Guía
#56 ¿Cómo puedo calificar exámenes o trabajos con IA sin perder el criterio propio?
La IA puede ahorrarte muchas horas al revisar trabajos y generar retroalimentación, pero eso no significa que deba tener la última palabra sobre una calificación. Estudios con miles de ensayos muestran que los modelos pueden evaluar de manera diferente a los docentes y que esas diferencias no necesariamente afectan a todos los alumnos por igual. La IA puede ayudarte a revisar más rápido, pero el criterio sobre lo que aprendió un alumno sigue siendo tuyo.
Pongamos la montaña de exámenes sobre la mesa. Cuando tienes 30, 100 o 150 trabajos sobre el escritorio, revisar cada uno con calma puede convertirse en horas y horas de trabajo. Algunos docentes reportan ahorros enormes de tiempo al utilizar éxamenes o trabajos con IA. Pero hay un problema: una IA no necesariamente evalúa como tú. +
La cara optimista: el docente que revisa todo
David Cutler, docente y autor en Edutopia, probó CoGrader, una plataforma que, según su propia promesa, recorta hasta 80% el tiempo que uno pasa calificando y devuelve comentarios al instante sobre los borradores de los alumnos.
Su experimento fue sencillo: le dio a la herramienta un ensayo que él ya había calificado para poder comparar.
Pero hay un detalle importante en su método: ningún comentario generado por la IA llega al alumno sin que él lo revise primero.
Para Cutler, la calificación no importa únicamente por la nota. Lo importante es que el alumno reciba retroalimentación y pueda mejorar. Si la IA le ayuda a producir esa retroalimentación más rápido, entonces puede liberar tiempo para hacer justamente lo que más importa: acompañar el aprendizaje.
En la misma línea, Education Week recoge el caso de la maestra Jen Roberts, que con Brisk Teaching reporta una reducción de entre 70 y 80% en su tiempo de calificación. Los números suenan maravillosos. Sin embargo, hay otra cara...
La cara incómoda: la IA califica distinto según quién escribe
Investigadores de ETS, la organización detrás de exámenes como el TOEFL, compararon las calificaciones de la IA con las de evaluadores humanos expertos en más de 13 mil ensayos de estudiantes de secundaria.
Su experimento fue sencillo: le dio a la herramienta un ensayo que él ya había calificado para poder comparar.
Pero hay un detalle importante en su método: ningún comentario generado por la IA llega al alumno sin que él lo revise primero.
Para Cutler, la calificación no importa únicamente por la nota. Lo importante es que el alumno reciba retroalimentación y pueda mejorar. Si la IA le ayuda a producir esa retroalimentación más rápido, entonces puede liberar tiempo para hacer justamente lo que más importa: acompañar el aprendizaje. Casi un punto entero más abajo.
Y el detalle que más me inquietó: la diferencia no fue igual para todos los estudiantes. Según el reporte de Education Week, la brecha con los humanos rondó los 0.9 puntos para los estudiantes blancos, negros e hispanos, pero se estiró hasta 1.1 puntos en el caso de los asiaticoamericanos, el grupo peor parado.
Otro dato del mismo estudio que retrata bien la diferencia de criterio: los evaluadores humanos otorgaron 732 calificaciones perfectas; GPT-4o dio 3. Los propios investigadores describen el sistema como una «enorme caja negra» de algoritmos que operan de formas no del todo comprendidas (traducción).
Nadie sabe con certeza por qué pasa esto. Lo que sí sugieren los investigadores es que darle a la IA un puñado de ensayos de muestra, o afinar un poco las instrucciones de calificación, quizá alcance para recortar ese sesgo.
¿Entonces cómo la uso sin soltarle el volante?
Puedes usar IA para acelerar partes del proceso, pero el criterio final debe seguir siendo humano.
Education Week encontró que solo una minoría de docentes utiliza IA para calificar, y que el uso es todavía mucho más limitado cuando las evaluaciones tienen consecuencias importantes.
Según la encuesta de EdWeek, solo 13% de los maestros usa IA para calificar tareas de bajo impacto y apenas 3% para las de alto impacto.
Algunas formas de empezar:
- Usa la IA para el primer borrador de comentarios, nunca para la nota que va a la boleta. La calificación final la pones tú.
- Calibra antes de confiar: Dale trabajos que ya hayas calificado y compara sus resultados con los tuyos.
- Revisa los resultados buscando patrones raros. Si un grupo de alumnos sale sistemáticamente más bajo, desconfía de la herramienta antes que de los chicos.
- No delegues las decisiones importantes. Una calificación que afecta la trayectoria de un alumno merece más que una revisión automática.