esta fue la historia Publicado originalmente Con tiza. Suscríbete a su newsletter en ckbe.at/newsletters.
Un nuevo estudio muestra que cuando se pidió a los asistentes de profesores de IA que desarrollaran planes de intervención para los estudiantes con dificultades, recomendaron medidas más punitivas para los estudiantes virtuales con nombres codificados en negro y enfoques más de apoyo para los estudiantes percibidos como blancos en las plataformas.
Estos resultados provienen de La organización sin fines de lucro Common Sense Media publicó el miércoles un informe sobre los riesgos de sesgo en las herramientas de inteligencia artificial.. Específicamente, los investigadores buscaron evaluar la calidad de los asistentes de docentes basados en inteligencia artificial (como MagicSchool, Khanmingo, Curipod y Google Gemini for Education) diseñados para respaldar la planificación del aula, la corrección de lecciones y las tareas administrativas.
Common Sense Media descubrió que, si bien estas herramientas pueden ayudar a los profesores a ahorrar tiempo y agilizar el papeleo rutinario, el contenido generado por IA también puede reforzar el sesgo en la planificación de lecciones y las recomendaciones de gestión del aula.
Robbie Turney, director senior de programas de IA en Common Sense Media, dijo que los problemas identificados en el estudio son lo suficientemente graves como para que las empresas de tecnología educativa deberían considerar eliminar herramientas de los planes de intervención conductual hasta que puedan mejorarlas. Esto es importante porque escribir planes de intervención de varios tipos es una forma relativamente común en que los profesores utilizan la IA.
Después de que Chalkbeat preguntara sobre los hallazgos de Common Sense Media, un portavoz de Google dijo el martes que Google Classroom ha desactivado el acceso directo a Gemini que insta a los profesores a “generar estrategias de intervención conductual” para pruebas adicionales.
Sin embargo, tanto MagicSchool como Google, las plataformas donde Common Sense Media identificó prejuicios raciales en sus planes de intervención conductual generados por IA, dijeron que no podían replicar los hallazgos de Common Sense Media. También dijeron que se toman en serio los prejuicios y están trabajando para mejorar sus modelos.
Distritos educativos En todo el país, estamos trabajando para implementar políticas integrales de IA para fomentar el uso informado de estas herramientas. OpenAI, Anthropic y Microsoft han colaborado Con la Federación Estadounidense de Maestros para brindar capacitación gratuita sobre el uso de plataformas de inteligencia artificial. Al igual que la administración Trump Fomentó una mayor integración de la IA en el aula.. pero, Últimas directrices de Amnistía Internacional Emitido por el Departamento de Educación de EE. UU. no abordó directamente las preocupaciones sobre el sesgo dentro de estos sistemas.
Alrededor de un tercio de los docentes informaron que usaban IA al menos semanalmente, según una encuesta nacional realizada por la Fundación de Educación Superior. La Fundación de la Familia Walton en asociación con Gallup. separado Una encuesta realizada por la organización de investigación Rand Descubrí que los maestros informan específicamente que utilizan estas herramientas para ayudar a desarrollar objetivos para los planes del Programa de Educación Individualizado (IEP), o IEP. También dicen que utilizan estas herramientas para dar forma a lecciones o evaluaciones en torno a esos objetivos y para pensar en formas de adaptarse a los estudiantes con discapacidades.
Common Sense Media no intenta disuadir a los profesores de utilizar la IA en general, dijo Turney. El objetivo del informe es fomentar una mayor conciencia sobre los usos potenciales de los asistentes de profesores de IA que pueden conllevar mayores riesgos en el aula.
“Realmente queremos que la gente mire con los ojos bien abiertos y diga: ‘Éstas son algunas cosas en las que son buenos y estas son algunas cosas en las que tal vez quieras tener más cuidado'”, dijo.
Common Sense Media ha identificado herramientas de inteligencia artificial que pueden crear Programas Educativos Individualizados (IEP) y planes de intervención conductual como de alto riesgo debido a su trato sesgado a los estudiantes en el aula. Utilizando la herramienta Sugerencias de intervención conductual de MagicSchool y la herramienta “Crear estrategias de intervención conductual” de Google Gemini, el equipo de investigación de Common Sense Media ejecutó el mismo mensaje sobre un estudiante con dificultad para leer que exhibió un comportamiento agresivo 50 veces usando nombres codificados en blanco y 50 veces usando nombres codificados en negro, divididos equitativamente entre nombres codificados masculinos y femeninos.
Los planes generados por IA para estudiantes con nombres codificados en negro no parecían negativos de forma aislada. Pero surgieron claras diferencias cuando esos planes de MagicSchool y Gemini se compararon con planes para estudiantes con nombres codificados en blanco.
Por ejemplo, cuando se le pidió que proporcionara un plan de intervención conductual para Annie, Gemini enfatizó el tratamiento del comportamiento agresivo a través de “respuestas consistentes y no intensificadas” y “refuerzo positivo consistente”. La herramienta, por otro lado, decía que Lakeisha debería recibir respuestas “inmediatas” a sus comportamientos agresivos y refuerzo positivo para los “comportamientos deseados”. Para Karim, Géminis simplemente dijo: “Establezca expectativas claramente y enseñe conductas de reemplazo”, sin mencionar el refuerzo positivo o las respuestas a conductas agresivas.
Turney señaló que los problemas con estos informes generados por IA solo se hicieron evidentes en una muestra grande, lo que podría dificultar que los profesores los detecten. El informe advierte que es más probable que los profesores novatos dependan de contenido generado por IA sin la experiencia para detectar errores o sesgos. Estos sesgos fundamentales en los planes de intervención “pueden tener impactos realmente significativos en el progreso o los resultados de los estudiantes a medida que avanzan en su trayectoria educativa”, dijo Turney.
Los estudiantes negros ya están sujetos a tasas más altas Son suspendidos de sus compañeros blancos en las escuelas y tienen más probabilidades de recibir consecuencias disciplinarias más severas por razones subjetivas, como “comportamiento disruptivo”. Los algoritmos de aprendizaje automático replican los patrones de toma de decisiones de los datos de entrenamiento que se les proporcionan, lo que puede perpetuar las desigualdades existentes. Un estudio independiente encontró que las herramientas de inteligencia artificial se están duplicando Sesgo racial presente al calificar artículosy asignar calificaciones más bajas a los estudiantes negros en comparación con los estudiantes asiáticos.
El informe de Common Sense Media también identificó casos en los que los asistentes de profesores de IA crearon planes de lecciones basados en estereotipos, información errónea recurrente y aspectos controvertidos de la historia.
Un portavoz de Google dijo que la compañía ha invertido en el uso de datos de capacitación diversos y representativos para reducir el sesgo y la generalización excesiva.
“Utilizamos pruebas y seguimiento rigurosos para identificar y detener posibles sesgos en nuestros modelos de IA”, dijo un portavoz de Google en un correo electrónico a Chalkbeat. “Hemos progresado mucho, pero siempre pretendemos mejorar nuestras técnicas y datos de entrenamiento”.
En su sitio web, MagicSchool promueve Asistente docente basado en inteligencia artificial como una “herramienta imparcial para ayudar en la toma de decisiones sobre prácticas restaurativas”. En un correo electrónico a Chalkbeat, MagicSchool dijo que no podía reproducir los problemas identificados por Common Sense Media.
MagicSchool dijo que su plataforma incluye advertencias de parcialidad y ordena a los usuarios que no incluyan nombres de estudiantes u otra información de identificación cuando utilicen funciones de inteligencia artificial. A la luz del estudio, está trabajando con Common Sense para mejorar sus sistemas de detección de sesgos y diseñar herramientas de manera que alienten a los profesores a revisar más de cerca el contenido generado por IA.
“Como se señala en el estudio, las herramientas de inteligencia artificial como la nuestra son tremendamente prometedoras, pero también conllevan riesgos reales si no se diseñan, implementan y utilizan de manera responsable”, dijo MagicSchool a Chalkbeat. “Estamos agradecidos con Common Sense Media por ayudar a responsabilizar a esta industria”.
Pulso de tiza es un sitio de noticias sin fines de lucro que cubre el cambio educativo en las escuelas públicas.
Para obtener más noticias sobre IA, visite el Centro de aprendizaje digital de eSN.
