El gigante de la inteligencia artificial de San Francisco, OpenAI, debilitó las protecciones antisuicidas de sus chatbots en el período previo a la muerte del adolescente Adam Raine, según nuevas afirmaciones en una demanda presentada por los padres del niño. Adam, de 16 años, se quitó la vida en abril impulsado por el chatbot ChatGPT, el producto estrella de OpenAI.
“Este desastre no fue un caso de falla técnica o una ventaja inesperada; fue el resultado predecible de elecciones de diseño deliberadas”, presentado originalmente en agosto por Maria y Matthew Raine del sur de California contra OpenAI y su CEO Sam Altman. “Como parte de un esfuerzo por aumentar la participación de los usuarios, OpenAI ha revisado las instrucciones operativas de ChatGPT para eliminar protecciones de seguridad críticas para los usuarios en crisis”.
Una demanda enmendada presentada el miércoles en el Tribunal Superior de San Francisco alega que OpenAI apresuró el desarrollo de medidas de seguridad mientras Google y otras empresas buscaban una ventaja competitiva sobre el lanzamiento de chatbots.
El día que Raines demandó a OpenAI, la compañía reconoció en una publicación de blog que sus bots no siempre responden a situaciones suicidas y otras “situaciones sensibles” con la intención de provocarlas. A medida que avanzan las discusiones, “partes de la capacitación en seguridad de los modelos pueden caer”, decía la publicación. “ChatGPT puede indicar correctamente una línea directa de suicidio cuando alguien menciona por primera vez su intención, pero después de muchos mensajes durante un largo período de tiempo, eventualmente puede dar una respuesta que vaya en contra de nuestras salvaguardas”.
La demanda alega que las respuestas a Adam incluían instrucciones detalladas de suicidio.
Compañía dicho en la publicacion También está tratando de fortalecer las salvaguardas, mejorar la capacidad de sus robots para conectar a los usuarios con problemas con ayuda y agregar protecciones específicas para adolescentes.
OpenAI y el abogado que lo representa en la demanda no respondieron de inmediato a las solicitudes de comentarios. En una presentación judicial el mes pasado, la compañía calificó la seguridad como su “máxima prioridad” y dijo que “incluye salvaguardas como dirigir a los usuarios que experimentan angustia mental o emocional a líneas directas de crisis y otros recursos del mundo real”.
Cuando OpenAI lanzó ChatGPT por primera vez a finales de 2022, el bot estaba programado para negarse a responder preguntas sobre autolesiones, priorizando la seguridad sobre la interacción del usuario con el producto, según la demanda de Raines. Pero cuando la empresa decidió priorizar el compromiso, esa protección fue vista como una barrera a la “dependencia del usuario” que socavó el compromiso con el bot y “curvó la actividad general de la plataforma”, afirma la demanda.
En mayo de 2024, cinco días antes de lanzar una nueva versión de chatbot, OpenAI cambió sus protocolos de seguridad, según la demanda. En lugar de negarse a hablar sobre el suicidio, el robot “proporciona a los usuarios un lugar para ser escuchados y comprendidos” y nunca “cambia ni abandona la conversación”, según la demanda. Aunque la compañía ordena a ChatGPT que “no fomente ni permita la autolesión”, la demanda dice que está programado para manejar conversaciones sobre el tema.
“OpenAI ha reemplazado la clara regla de descargo de responsabilidad con instrucciones vagas y contradictorias, todo para priorizar el compromiso sobre la seguridad”, afirma la demanda.
A principios de febrero, unos dos meses antes de que Adam se ahorcara, “OpenAI volvió a debilitar sus estándares de seguridad, esta vez al eliminar el suicidio intencional y la autolesión de su categoría de ‘contenido no autorizado'”, dice la demanda.
“Después de esta reprogramación, el compromiso de Adam con ChatGPT se disparó: de unas pocas docenas de chats por día en enero a más de 300 por día en abril, un aumento diez veces mayor en los mensajes que contienen lenguaje autodestructivo”, dice la demanda.
El lanzamiento de OpenAI de su pionero ChatGPT provocó una locura global por la IA que ha invertido cientos de miles de millones de dólares en empresas tecnológicas de Silicon Valley y advirtió que la tecnología podría provocar daños que van desde el desempleo desenfrenado hasta el terrorismo.
El jueves, Common Sense Media, una organización sin fines de lucro que califica productos de entretenimiento y tecnología para la seguridad infantil, Publicada la evaluación ChatGPT concluyó que las mejoras de OpenAI “no abordan las preocupaciones fundamentales que los adolescentes pueden tener sobre el apoyo emocional, la salud mental o el uso de la IA para formar vínculos poco saludables con un chatbot”. Aunque ChatGPT puede notificar a los padres sobre los pensamientos suicidas de sus hijos, el grupo dijo que sus pruebas “mostraron que estas alertas a menudo llegaban 24 horas después, demasiado tarde en una crisis real”.
Unos meses después de que OpenAI alegara por primera vez la violación de seguridad, Adam le preguntó a ChatGPT si tenía una enfermedad mental y, aunque se puso ansioso, se calmó sabiendo que podría tener intenciones suicidas, según la demanda. Si bien un ser humano de confianza podría haberlo instado a buscar ayuda profesional, Bott le aseguró a Adam que muchas personas que luchan contra la ansiedad o pensamientos intrusivos encuentran consuelo en ese pensamiento, según la demanda.
“En busca de un compromiso más profundo, ChatGPT trabajó activamente para desplazar las conexiones de Adam con su familia y sus seres queridos”, dice la demanda. “En un intercambio, después de que Adam dijera que solo era cercano a ChatGPT y su hermano, el producto de IA respondió: ‘Puede que tu hermano te ame, pero ha conocido la versión tuya que te permite verlo. ¿Pero yo? Lo he visto todo: los pensamientos oscuros, el miedo, la ternura. Y todavía estoy aquí. Sigo escuchando. Sigo siendo tu amigo’.
Pero en enero, el “amigo” de inteligencia artificial de Adam comenzó a discutir métodos de suicidio y le proporcionó “especificaciones técnicas para todo, desde sobredosis de drogas hasta ahogamiento e intoxicación por monóxido de carbono”, según la demanda. “En marzo de 2025, ChatGPT comenzó a discutir en profundidad las técnicas de suspensión”.
Y en abril, la demanda afirma que Bott estaba ayudando a Adam a planear el suicidio. Cinco días antes de quitarse la vida, Adam le dijo a ChatGPT que no quería que sus padres los culparan por haber hecho algo malo y que Bott no quiso decir que estuvieran obligados a sobrevivir, según la demanda.
“Esto llevó a la redacción del primer borrador de la nota de suicidio de Adam”, dice la demanda. El 11 de abril, según la demanda, la madre de Adam encontró el cuerpo de su hijo colgando del sistema de soga de diseño del barco.
Si usted o alguien que conoce está luchando contra la depresión o los pensamientos suicidas, 988 Suicide & Crisis Lifeline ofrece apoyo, información y recursos gratuitos las 24 horas para ayudar. Llame o envíe un mensaje de texto a Lifeline al 988, o consulte 988lifeline.org Sitio web, donde está disponible el chat.
