Versant - Versant

Para otros usos, consulte Versant (desambiguación) .

El conjunto de pruebas Versant son pruebas computarizadas del lenguaje hablado disponibles en Pearson PLC . Las pruebas Versant fueron las primeras pruebas completamente automatizadas del lenguaje hablado que utilizaron tecnología avanzada de procesamiento del habla (incluido el reconocimiento de voz ) para evaluar las habilidades del lenguaje hablado de hablantes no nativos. El paquete de idiomas Versant incluye pruebas de inglés, español, holandés, francés y árabe. La tecnología Versant también se ha aplicado a la evaluación del inglés aeronáutico, la evaluación de la lectura oral de los niños y la evaluación de la alfabetización de adultos.

Historia

En 1996, Jared Bernstein y Brent Townsend fundaron Ordinate Corporation para desarrollar un sistema que utilizaría tecnología de procesamiento del habla y teoría lingüística y de pruebas para proporcionar una prueba de lenguaje hablado entregada y calificada automáticamente. La primera prueba de inglés se llamó PhonePass. Fue la primera prueba completamente computarizada del lenguaje hablado que utilizó tecnología de reconocimiento de voz . En 2002, el nombre PhonePass se cambió a PhonePass SET-10 (Prueba de inglés hablado) o simplemente SET-10. En 2003, Ordinate fue adquirida por Harcourt Assessment y, más tarde, en 2005, el nombre de la prueba cambió a su nombre actual, Versant. En enero de 2008, Pearson adquirió Harcourt Assessment (incluida Ordinate Corporation) y Ordinate Corporation pasó a formar parte del grupo de tecnologías del conocimiento de Pearson. En junio de 2010, se lanzaron Versant Pro Speaking Test y Versant Pro Writing Test.

Descripción del producto

Las pruebas Versant son típicamente pruebas de quince minutos de habilidades para hablar y escuchar para estudiantes adultos de idiomas. (La duración de la prueba varía ligeramente según la prueba). La prueba se entrega por teléfono o en una computadora y se califica mediante una computadora utilizando algoritmos predeterminados basados ​​en datos. Durante la prueba, el sistema presenta una serie de indicaciones grabadas a un ritmo de conversación y provoca respuestas orales del examinado. Las pruebas Versant están disponibles en varios productos:

  • Prueba de inglés Versant
  • Versant English - Prueba de nivel [1]
  • Versant English - Prueba de escritura
  • Prueba de español Versant
  • Prueba de árabe Versant
  • Prueba de francés Versant
  • Versant Aviation English

Además, se han creado varias pruebas específicas de dominio utilizando el marco Versant en colaboración con otras organizaciones. Estas pruebas incluyen la prueba de inglés de aviación Versant (para personal de aviación), la prueba de inglés para jóvenes Versant (para estudiantes de inglés de 5 a 12 años) y la prueba de inmigración holandesa (disponible exclusivamente a través de las embajadas holandesas). El sistema de puntuación de Versant también proporciona una puntuación automática de la parte hablada de la prueba de cuatro habilidades, Prueba de inglés de Pearson , disponible a finales de 2009.

Constructo de prueba Versant

Las pruebas de Versant miden la "facilidad en un lenguaje hablado", definida como la capacidad de comprender el lenguaje hablado en temas cotidianos y de responder adecuadamente a un ritmo de conversación similar al de un nativo. Mientras se mantiene el ritmo de la conversación, una persona tiene que hacer un seguimiento de lo que se dice, extraer el significado a medida que avanza el discurso y formular y producir una respuesta relevante e inteligible. Las pruebas Versant están diseñadas para medir estos aspectos psicolingüísticos en tiempo real del desempeño hablado en un segundo idioma.

Formato de prueba y tareas

Las pruebas Versant suelen tener seis tareas: lectura, repeticiones, preguntas de respuesta corta, construcción de oraciones, recuento de historias y preguntas abiertas.

Tarea Descripción
Una lectura Los examinados leen oraciones impresas y numeradas. Las oraciones son relativamente simples en estructura y vocabulario, por lo que las personas que saben leer y escribir en el idioma de destino las pueden leer con facilidad y fluidez.
B. Repite Los examinados repiten las frases textualmente. Las oraciones se presentan en orden de dificultad creciente. Las indicaciones de los elementos de audio se entregan a un ritmo de conversación natural.
C. Preguntas de respuesta corta Los examinados escuchan las preguntas y responden a cada una de estas preguntas con una sola palabra o frase corta. Cada pregunta solicita información básica o requiere inferencias simples basadas en el tiempo, la secuencia, el número, el contenido léxico o la lógica.
D. Construcciones de oraciones A los examinados se les presentan tres frases cortas. Las frases se presentan en orden aleatorio y se le pide al examinado que las reorganice en una oración.
E. Recuento de historias Los examinados escuchan una historia y luego se les pide que describan lo que sucedió con sus propias palabras. Se anima a los examinados a que cuenten la mayor parte de la historia que puedan, incluida la situación, los personajes, las acciones y el final.
F. Preguntas abiertas Los examinados escuchan una pregunta en la que se pide una opinión y brindan una respuesta con una explicación. Las preguntas tratan de la vida familiar o de las preferencias y elecciones del examinado. Esta tarea se utiliza para recopilar una muestra de habla espontánea. Las respuestas del examinado no se califican automáticamente, pero estas respuestas están disponibles para revisión humana por oyentes autorizados.

Tecnología Versant

Administración automatizada

Las pruebas de Versant se pueden administrar por teléfono o en una computadora. Los examinados pueden acceder y completar las pruebas desde cualquier lugar donde haya un teléfono fijo o una conexión a Internet.

Los examinados reciben un número de identificación de examen y escuchan la voz de un examinador grabado para recibir instrucciones que también se imprimen textualmente en el papel de examen o en la pantalla de la computadora. A lo largo de la prueba, los examinados escuchan las indicaciones de los elementos grabados leídos por una variedad de hablantes nativos. Debido a que la prueba es automática, se pueden administrar y calificar una gran cantidad de pruebas muy rápidamente.

Tecnología de puntuación automatizada

Los puntajes de las pruebas Versant se publican en línea a los pocos minutos de completar la prueba. Los administradores de la prueba y los examinados pueden ver e imprimir los resultados de la prueba ingresando su Número de identificación de la prueba en el sitio web de Versant. El informe de puntuación de Versant se compone de una puntuación general (una combinación ponderada de las subpuntuaciones) y cuatro subpuntuaciones de diagnóstico: dominio de oraciones (es decir, gramática), vocabulario, fluidez y pronunciación. La puntuación general y las subpuntuaciones se informan en una escala de 20 a 80.

La tecnología de puntuación automatizada se optimiza utilizando una gran cantidad de muestras de voz de hablantes nativos y no nativos. Por lo general, se lleva a cabo una amplia recopilación de datos para recopilar una cantidad suficiente de tales muestras de voz. Estas respuestas habladas luego se transcriben para entrenar un sistema automático de reconocimiento de voz.

Cada respuesta entrante es procesada automáticamente por el reconocedor de voz que se ha optimizado para voz no nativa. Las palabras, pausas, sílabas y teléfonos se encuentran en la señal grabada. El contenido de la respuesta se puntúa de acuerdo con la presencia o ausencia de las palabras correctas esperadas en las secuencias correctas, así como el ritmo, la fluidez y la pronunciación de esas palabras en frases y oraciones. Las medidas básicas se derivan luego de los segmentos, sílabas y palabras basadas en modelos estadísticos de hablantes nativos y no nativos. Se ha elaborado mucha documentación sobre la precisión del sistema de puntuación automatizado de Versant.

Uso de la puntuación

Las pruebas Versant las utilizan actualmente instituciones académicas, corporaciones y agencias gubernamentales de todo el mundo. Las pruebas Versant brindan información que puede usarse para determinar si los empleados o estudiantes tienen las habilidades del lenguaje hablado necesarias para interactuar de manera efectiva. Por ejemplo, la prueba de inglés Versant se utilizó en la Copa del Mundo de 2002 en Corea / Japón para medir las habilidades en inglés de más de 15.000 voluntarios y asignar a los trabajadores adecuados a las tareas más intensivas en inglés. La prueba de español de Versant se utilizó en un estudio de Blake, et al. (2008) para evaluar si los cursos a distancia son una forma tan válida de empezar a aprender una lengua extranjera como las tradicionales clases presenciales que se reúnen cinco veces por semana con respecto a la competencia oral.

Validación

Relación con otras pruebas

Las puntuaciones de las pruebas Versant se han alineado con el Marco Común Europeo de Referencia ( MCER ). A continuación se muestran las asignaciones de las puntuaciones de Versant y las puntuaciones de otras pruebas al MCER . Versant puntuaciones generales de inglés pueden ser utilizados para predecir MCER niveles en el MCER escala de Habilidades de Interacción oral con una precisión razonable.

Versant MCER IELTS TOEIC TOEFL iBT Speaking TOEFL iBT
20-80 A1-C2 0-9 10-990 0-30 0-120
20-25 <A1 0
26-35 A1 1-2 8-13
36-46 A2 3 13-19
47-57 B1 3,5-4,5 550+ 19-23 57-86
58-68 B2 5-6 23-28 87-109
69-78 C1 6.5-7 880+ 28+ 110-120
79-80 C2 7.5+

Una serie de estudios de validación ha encontrado que el Versant English Test se correlaciona razonablemente con otras medidas de las habilidades del inglés hablado. Por ejemplo, la correlación entre Versant English Test y TOEFL iBT Speaking es r = 0,75 y la correlación entre Versant English Test y IELTS Speaking es r = 0,77.

Correlación máquina-humano

Una de las críticas más comunes a las pruebas de Versant es que una máquina no puede evaluar las habilidades del habla tan bien como un humano. Knowledge Technologies, la compañía que produce y administra la prueba, afirma que los puntajes generados por la máquina de Versant English Test son virtualmente indistinguibles de los puntajes otorgados por evaluadores humanos independientes repetidos en el nivel general.

Otra crítica es que las pruebas de Versant no miden las habilidades comunicativas porque no hay intercambios de interacción entre los participantes en vivo. Versant, en Downey et al. (2008) afirman que las competencias psicolingüísticas que se evalúan en sus pruebas subyacen a un mayor rendimiento del lenguaje hablado. Esta afirmación está respaldada por los datos de validez concurrente de que los puntajes de las pruebas Versant se correlacionan en gran medida con otras pruebas de entrevista de competencia oral conocidas, como ACTFL OPI o ILR OPI.

La utilidad de los productos Versant ha sido cuestionada por un tercero.

administración

  • Alistair Van Moere, presidente
  • Ryan Down, director de gestión de productos

Ver también

Referencias

  1. ^ Balogh, J., Barbier, I., Bernstein, J., Suzuki, M. y Harada, Y. (2005). Un marco común para desarrollar pruebas automatizadas de lenguaje hablado en varios idiomas. Revista JART, 1 (1), 67-79.
  2. ^ Bernstein, J. y Cheng, J. (2007). Lógica y validación de test de inglés hablado totalmente automático. En M. Holland & FP Fisher (Eds.), El camino de las tecnologías del habla en el aprendizaje del lenguaje asistido por computadora: de la investigación a la práctica (págs. 174-194). Florence, KY: Routledge.
  3. ^ Balogh, J. y Bernstein, J. (2006). Modelos viables de desempeño estándar en inglés y español. En Y. Matsumoto, DY Oshima, OR Robinson y P. Sells (Eds.), Diversidad en el lenguaje: perspectiva e implicaciones (págs. 20-41). Stanford, CA: Centro para el estudio del lenguaje y las publicaciones de información.
  4. ^ "Comité Organizador de Corea para la Copa Mundial de la FIFA 2002-Corea / Japón ha elegido a Ordinate ..." AllBusiness.com. 2 de noviembre de 2008.
  5. ^ Blake, R., Wilson, NL, Pardo-Ballestar, C. y Cetto, M. (2008). Medir la competencia oral en aulas a distancia, presenciales y mixtas. Aprendizaje de idiomas y tecnología, 12 (3), páginas 114-127.
  6. ^ Bernstein, J. y De Jong, JHAL (2001). Un experimento para predecir la competencia dentro de los descriptores de nivel del marco común europeo. En YN Leung et al. (Eds.), Artículos seleccionados del Décimo Simposio Internacional sobre Enseñanza del Inglés (págs. 8-14). Taipei, República de China: The Crane Publishing.
  7. ^ Bernstein, J. De Jong, J. Pisoni, D. y Townshend, B. (2000). Dos experimentos sobre la puntuación automática del dominio del lenguaje hablado. En P. Delcloque (Ed.) Proceedings of InSTIL2000: Integrating Speech Technology in Learning (págs. 57-61). Universidad de Abertay Dundee, Escocia.
  8. ^ Consejo de Europa (2001). "Marco común europeo de referencia para las lenguas" (PDF) . Prensa de la Universidad de Cambridge.
  9. ^ Relacionando las puntuaciones de IELTS con el Marco Común Europeo del Consejo de Europa: "Copia archivada" (PDF) . Archivado desde el original (PDF) el 3 de febrero de 2007 . Consultado el 20 de enero de 2009 .Mantenimiento de CS1: copia archivada como título ( enlace )
  10. ^ Tannenbaum, Richard y Caroline E. Wylie (2005). "Informes de investigación: mapeo de las puntuaciones de las pruebas de dominio del idioma inglés en el marco común europeo" (PDF) . Servicios de pruebas educativas. Archivado desde el original (PDF) el 21 de noviembre de 2008 . Consultado el 20 de enero de 2009 .
  11. ^ "Mapeo de TOEFL iBT en el marco común europeo de referencia" (PDF) . 2007. Archivado desde el original (PDF) el 6 de febrero de 2009 . Consultado el 20 de enero de 2009 .
  12. ^ "Mapeo de TOEFL iBT en el marco común europeo de referencia" (PDF) . 2007. Archivado desde el original (PDF) el 6 de febrero de 2009 . Consultado el 20 de enero de 2009 .
  13. ^ Downey, R., Farhady, H., Present-Thomas, R., Suzuki, M. y Van Moere, A. (2008). Evaluación de la utilidad de la prueba Versant for English: una respuesta. Language Assessment Quarterly, 5, 160-167.
  14. ^ Christian W. Chun (2008): Comentarios sobre "" Evaluación de la utilidad de Versant para la prueba de inglés: una respuesta "": El autor responde, Language Assessment Quarterly, 5: 2, 168-172

enlaces externos