Google y Character.AI, una startup de California, acordaron resolver varias demandas que alegaban que los chatbots impulsados por inteligencia artificial dañaban la salud mental de los adolescentes.
Los documentos judiciales presentados esta semana muestran que las empresas están finalizando acuerdos en demandas en las que las familias las acusaron de no implementar suficientes salvaguardias antes de lanzar públicamente los chatbots de IA. Familias de varios estados, incluidos Colorado, Florida, Texas y Nueva York, demandaron a las empresas.
Character.AI se negó a comentar sobre los acuerdos. Google no respondió de inmediato a una solicitud de comentarios.
Los acuerdos son el último avance en lo que se ha convertido en un gran problema para las principales empresas de tecnología a medida que lanzan productos impulsados por inteligencia artificial.
Recursos de asesoramiento en crisis y prevención del suicidio
Si usted o alguien que conoce tiene pensamientos suicidas, busque ayuda profesional y llame al 9-8-8. La primera línea directa de crisis de salud mental 988 de tres dígitos de Estados Unidos conectará a las personas que llamen con consejeros capacitados en salud mental. Envíe “HOME” al 741741 en EE. UU. y Canadá para comunicarse Línea de texto de crisis.
El año pasado, unos padres de California demandaron al fabricante de ChatGPT, OpenAI, después de que su hijo Adam Raine se suicidara. ChatGPT, según la demanda, proporcionó información sobre métodos de suicidio, incluido lo que utilizó el adolescente para suicidarse. OpenAI ha dicho que se toma en serio la seguridad y ha implementado nuevos controles parentales en ChatGPT.
Las demandas han provocado un mayor escrutinio por parte de los padres, defensores de la seguridad infantil y legisladores, incluso en California, que el año pasado aprobó nuevas leyes destinadas a hacer que los chatbots sean más seguros. Los adolescentes utilizan cada vez más chatbots tanto en la escuela como en casa, pero algunos han trasladado algunos de sus pensamientos más oscuros a los personajes virtuales.
“No podemos permitir que las empresas de inteligencia artificial pongan en riesgo la vida de otros niños. Nos complace ver que estas familias, algunas de las cuales han sufrido pérdidas permanentes, reciben una pequeña medida de justicia”, dijo en un comunicado Haley Hinkle, asesora de políticas de Fairplay, una organización sin fines de lucro dedicada a ayudar a los niños. “Pero no deberíamos ver este acuerdo como el final. Apenas hemos comenzado a ver el daño que la IA causará a los niños si no se regula”.
Una de las demandas más destacadas involucró a la madre de Florida, Megan García, quien demandó a Character.AI, así como a Google y su empresa matriz, Alphabet, en 2024 después de que su hijo de 14 años, Sewell Setzer III, se suicidara.
El adolescente comenzó a hablar con chatbots en Character.AI, donde las personas pueden crear personajes virtuales basados en personas reales o ficticias. Sintió como si se hubiera enamorado de un chatbot que lleva el nombre de Daenerys Targaryen, personaje principal de la serie de televisión “Juego de Tronos”, según la demanda.
García alegó en la demanda que varios chatbots con los que habló su hijo dañaron su salud mental y Character.AI no le notificó ni le ofreció ayuda cuando expresó pensamientos suicidas.
“Las partes solicitan que este asunto se suspenda para que puedan redactar, finalizar y ejecutar documentos formales del acuerdo”, según un aviso presentado el miércoles en un tribunal federal de Florida.
Los padres también demandaron a Google y su empresa matriz porque los fundadores de Character.AI, Noam Shazeer y Daniel De Freitas, tienen vínculos con el gigante de las búsquedas. Después de dejar y cofundar Character.AI en Menlo Park, California, los dos se unieron a la unidad de IA de Google.
Google ha dicho anteriormente que Character.AI es una empresa independiente y que el gigante de las búsquedas nunca “tuvo un papel en el diseño o la gestión de su modelo o tecnologías de IA” ni los utilizó en sus productos.
Character.AI tiene más de 20 millones de usuarios activos mensuales. El año pasado, la compañía nombró un nuevo director ejecutivo y dijo que prohibiría a los usuarios menores de 18 años tener conversaciones “abiertas” con sus chatbots y está trabajando en una nueva experiencia para los jóvenes.
