Estos estudiantes descubrieron que sus pruebas fueron calificadas por IA, y la manera fácil de hacer trampa

El lunes, Dana Simmons bajó las escaleras y encontró a su hijo de 12 años, Lazare, llorando. Había completado la primera tarea para su clase de historia de séptimo grado en Edgenuity, una plataforma en línea para el aprendizaje virtual. Había recibido un 50 sobre 100. Eso no fue en un examen de práctica, era su calificación real.

"Me dijo, voy a tener que sacar un 100 en todo el resto de esto para compensar esto", dijo Simmons en una entrevista telefónica con The Verge. "Estaba totalmente abatido".

Al principio, Simmons intentó consolar a su hijo. “Yo estaba como bueno, ya sabes, algunos maestros califican muy duramente al principio”, dijo Simmons, quien es profesora de historia. Luego, Lazare aclaró que había recibido su calificación menos de un segundo después de enviar sus respuestas. Simmons sabía que una maestra no podría haber leído su respuesta en ese momento: un algoritmo estaba calificando a su hijo.

Simmons observó a Lazare completar más tareas. Miró las respuestas correctas, que Edgenuity reveló al final. Supuso que la IA de Edgenuity buscaba palabras clave específicas que esperaba ver en las respuestas de los estudiantes. Y ella decidió jugarlo.

Ahora, para cada pregunta de respuesta corta, Lazare escribe dos oraciones largas seguidas de una lista desarticulada de palabras clave, cualquier cosa que parezca relevante para la pregunta. “Las preguntas son cosas como … '¿Cuál fue la ventaja de la ubicación de Constantinopla para el poder del imperio bizantino'”, dice Simmons. “Entonces, revisa, está bien, ¿cuáles son las posibles palabras clave asociadas con esto? Riqueza, caravana, barco, India, China, Medio Oriente, simplemente lanzó todas esas palabras ".

"Quería jugarlo porque sentía que era una manera fácil de obtener una buena calificación", dijo Lazare a The Verge. Por lo general, extrae las palabras clave del artículo o video en el que se basa la pregunta.

Aparentemente, esa "ensalada de palabras" es suficiente para obtener una calificación perfecta en cualquier pregunta de respuesta corta en un examen de Edgenuity.

Edgenuity no respondió a las repetidas solicitudes de comentarios, pero el centro de ayuda en línea de la compañía sugiere que esto puede ser por diseño. Según el sitio web , las respuestas a determinadas preguntas reciben un 0% si no incluyen palabras clave y un 100% si incluyen al menos una. Otras preguntas obtienen un cierto porcentaje en función de la cantidad de palabras clave incluidas.

Dado que COVID-19 ha impulsado a las escuelas de los EE. UU. A cambiar la enseñanza a modelos en línea o híbridos, muchas están subcontratando parte de la instrucción y la calificación a plataformas de educación virtual. Edgenuity ofrece más de 300 clases en línea para estudiantes de secundaria y preparatoria que abarcan materias que van desde matemáticas hasta estudios sociales, clases AP y optativas. Están compuestos de videos instructivos y tareas virtuales, así como pruebas y exámenes. Edgenuity proporciona las lecciones y califica las tareas. Las clases reales de matemáticas e historia de Lazare se llevan a cabo actualmente a través de la plataforma: su distrito, el Distrito Escolar Unificado de Los Ángeles, está completamente en línea debido a la pandemia. (El distrito se negó a comentar para esta historia).

Por supuesto, las preguntas de respuesta corta no son el único factor que afecta las calificaciones de Edgenuity; las clases de Lazare requieren otros formatos, incluidas preguntas de opción múltiple y entradas de una sola palabra. Un desarrollador familiarizado con la plataforma estimó que las respuestas breves representan menos del cinco por ciento del contenido del curso de Edgenuity, y muchos de los ocho estudiantes con los que habló The Verge para esta historia confirmaron que tales tareas eran una minoría de su trabajo. Aún así, la táctica ciertamente ha impactado el desempeño de clase de Lazare: ahora está obteniendo 100 en cada tarea.

Lazare no es el único que juega con el sistema. Más de 20,000 escuelas usan actualmente la plataforma, según el sitio web de la compañía , incluidos 20 de los 25 distritos escolares más grandes del país, y dos estudiantes de diferentes escuelas secundarias de Lazare me dijeron que encontraron una forma similar de hacer trampa. A menudo copian el texto de sus preguntas y lo pegan en el campo de respuesta, asumiendo que es probable que contenga las palabras clave relevantes. Uno me dijo que usaron el truco durante todo el último semestre y recibieron crédito completo "casi siempre".

Otro estudiante de secundaria, que usó Edgenuity hace unos años, dijo que a veces intentaba enviar lotes de palabras relacionadas con las preguntas “solo cuando no tenía ni idea”. El método funcionó "la mayoría de las veces". (Dimos anonimato a algunos estudiantes que admitieron haber hecho trampa, para que no se metieran en problemas).

Un estudiante, que me dijo que no habría aprobado su clase de Álgebra 2 sin el exploit, dijo que ha podido encontrar listas de palabras clave exactas o ejemplos de respuestas que buscan sus preguntas de respuesta corta; dice que puede encontrarlas. en línea "nueve de cada diez veces". Sin embargo, en lugar de enumerar los términos que encuentra, trató de incluir tres en cada una de sus respuestas. ("Cualquier buen tramposo no busca una puntuación perfecta", explicó).

Austin Paradiso, quien se graduó pero usó Edgenuity para varias clases durante la escuela secundaria, también era reacio a las ensaladas de palabras, pero usó el enfoque de palabras clave un puñado de veces. Funcionó el 100 por ciento del tiempo. “Siempre traté de hacer la respuesta al menos semi-coherente porque parecía un poco barato simplemente lanzar un montón de palabras clave en el campo de entrada”, dijo Paradiso. "Pero si fuera un poco más vago, fácilmente podría haber escrito una cadena aleatoria de palabras pertinentes a la pregunta y obtener el 100 por ciento".

Los maestros tienen la capacidad de revisar cualquier contenido que envíen los estudiantes y pueden anular las calificaciones asignadas a Edgenuity: el estudiante de Álgebra 2 dice que ha oído hablar de algunos estudiantes que han sido atrapados mezclando palabras clave. Pero la mayoría de los estudiantes con los que hablé, y Simmons, dijeron que nunca habían visto a un maestro cambiar una calificación que Edgenuity les asignó. “Si los maestros estaban mirando las respuestas, no les importaba”, dijo un estudiante.

La transición a Edgenuity ha sido frágil para algunas escuelas: los padres en el condado de Williamson, Tennessee, se rebelan contra el uso de la plataforma por parte de su distrito, alegando que innumerables contratiempos tecnológicos han afectado las calificaciones de sus hijos. Un distrito en Steamboat Springs, Colorado, tuvo su período de inscripción interrumpido cuando Edgenuity se vio abrumado por los estudiantes que intentaban registrarse.

Simmons, por su parte, está feliz de que Lazare haya aprendido a jugar con un algoritmo educativo; sin duda es una habilidad útil. Pero también admite que sus mejores calificaciones no reflejan una mejor comprensión del material de su curso, y le preocupa que explotaciones como esta puedan exacerbar las desigualdades entre los estudiantes. "Está obteniendo una A + porque sus padres tienen títulos de posgrado y están interesados en la tecnología", dijo. “De lo contrario, todavía estaría recibiendo Fs. ¿Qué te dice eso sobre … la brecha digital en este entorno de aprendizaje en línea? "