Investigadores del IIT Delhi y la Universidad Friedrich Schiller Jena (FSU Jena) en Alemania han descubierto que los principales modelos de IA sobresalen en tareas básicas pero carecen de razonamiento científico.
La investigación, publicada en la revista Nature Computational Science, reveló que aunque los principales modelos de IA son prometedores en tareas científicas básicas, presentan limitaciones fundamentales que podrían plantear riesgos si se implementan sin la supervisión adecuada en entornos de investigación.
El equipo de investigación, dirigido por N M Anup Krishnan, profesor asociado en IIT Delhi, y Kevin Mike Jablonka, profesor en FSU Jena, ha desarrollado “MaCBench”, el primer punto de referencia integral diseñado específicamente para evaluar cómo los modelos de visión y lenguaje manejan tareas de química y ciencia de materiales del mundo real.
Los resultados revelaron una sorprendente paradoja.
Si bien los modelos de IA han logrado un rendimiento casi perfecto en tareas cognitivas básicas, como la identificación de equipos, han tenido grandes dificultades con el razonamiento espacial, la síntesis de información intermodal y el razonamiento lógico de varios pasos, capacidades esenciales para un verdadero descubrimiento científico.
“Nuestros hallazgos representan una verificación de la realidad crucial para la comunidad científica. Si bien estos sistemas de IA muestran capacidades notables en tareas rutinarias de procesamiento de datos, aún no están listos para un razonamiento científico independiente. La fuerte correlación que observamos entre el rendimiento del modelo y la disponibilidad de datos de Internet sugiere que estos sistemas pueden depender más de la coincidencia de patrones que de la comprensión científica real”, dijo Krishnan a PTI.
Krishnan explicó que uno de los hallazgos más preocupantes provino de las evaluaciones de seguridad de los laboratorios.
“Si bien los modelos sobresalieron en la identificación de equipos de laboratorio con una precisión de 77 PC, tuvieron un desempeño deficiente al evaluar los riesgos de seguridad en entornos de laboratorio similares, logrando una precisión de sólo 46 PC”, dijo Kevin Mike Jablonka. “Esta disparidad entre el reconocimiento de equipos y la lógica de seguridad es particularmente preocupante”.
Y añadió: “Esto indica que los modelos actuales de IA no pueden llenar los vacíos en el conocimiento tácito que son esenciales para las operaciones seguras de los laboratorios. Los científicos deben comprender estas limitaciones antes de integrar la IA en entornos de investigación críticos para la seguridad”.
El enfoque innovador del equipo de investigación implicó estudios de resección a gran escala que aislaron patrones de falla específicos. Descubrieron que los modelos funcionaban mucho mejor cuando se presentaba información idéntica como texto en lugar de imágenes, lo que sugiere una integración intermodal incompleta, un requisito básico para el trabajo científico.
Las implicaciones del estudio se extienden más allá de la química y la ciencia de los materiales, lo que sugiere desafíos más amplios para el despliegue de la IA en todas las disciplinas científicas. Señala que desarrollar asistentes científicos basados en IA requerirá avances fundamentales en las metodologías de capacitación que enfaticen la verdadera comprensión en lugar de la coincidencia de patrones.
“Nuestro trabajo proporciona una hoja de ruta tanto para las capacidades como para las limitaciones de los sistemas de IA actuales en la ciencia”, afirmó Indrajit Mandal, investigador de doctorado en el Instituto Indio de Tecnología de Delhi. “Si bien estos modelos son prometedores como complementos para tareas rutinarias, la supervisión humana sigue siendo esencial para el razonamiento complejo y las decisiones críticas para la seguridad. El camino a seguir requiere mejores marcos de cuantificación y colaboración”. Comunicación efectiva entre humanos e inteligencia artificial.
