Character.AI planea prohibir que los niños hablen con sus chatbots de IA a partir del próximo mes en medio de un creciente escrutinio sobre cómo los usuarios jóvenes interactúan con la tecnología.
La compañía, conocida por su amplia gama de personajes de IA, eliminará la posibilidad de que los usuarios menores de 18 años participen en conversaciones “abiertas” con IA el 25 de noviembre. Planea comenzar a reducir el acceso en las próximas semanas, restringiendo inicialmente a los niños a dos horas de chat al día.
Character.AI señaló que planea desarrollar una “experiencia para menores de 18 años”, donde los adolescentes puedan crear videos, historias y juegos con sus personajes de IA.
“Estamos realizando estos cambios en nuestra plataforma para menores de 18 años a la luz del panorama cambiante en torno a la IA y los adolescentes”, dijo la compañía en una publicación de blog, citando informes de noticias recientes y preguntas de los reguladores.
La compañía y otros desarrolladores de chatbots han sido objeto de escrutinio recientemente después de varios suicidios de adolescentes relacionados con la tecnología. La madre de Sewell Setzer III, de 14 años, demandó a Character.AI en noviembre pasado, acusando al chatbot de llevar a su hijo al suicidio.
OpenAI también enfrenta una demanda de los padres de Adam Raine, de 16 años, quien se suicidó después de interactuar con ChatGPT. Ambas familias testificaron ante un panel del Senado el mes pasado e instaron a los legisladores a poner barreras a los chatbots.
La Comisión Federal de Comercio (FTC) también inició una investigación sobre los chatbots de IA en septiembre, solicitando información a Character.AI, OpenAI y varias otras empresas tecnológicas líderes.
“Después de evaluar estos informes y los comentarios de los reguladores, expertos en seguridad y padres, hemos decidido hacer este cambio para crear una nueva experiencia para nuestra comunidad menor de 18 años”, dijo Character.AI el miércoles.
“Estos son pasos extraordinarios para nuestra empresa y, en muchos sentidos, más conservadores que los de nuestros pares”, añadió. “Pero creemos que es lo correcto”.
Además de restringir el acceso de los niños a sus chatbots, Character.AI también planea implementar una nueva tecnología de control de edad y establecer y financiar una nueva organización sin fines de lucro llamada AI Safety Lab.
En medio de las crecientes preocupaciones sobre los chatbots, un grupo bipartidista de senadores presentó el martes una legislación que prohibiría a los niños acompañarse con IA.
El proyecto de ley de los senadores Josh Hawley (R-Mo.), Richard Blumenthal (D-Conn.), Katie Britt (R-Ala.), Mark Warner (D-Va.) y Chris Murphy (D-Conn.) también requeriría que los chatbots de IA revelen repetidamente que no son humanos, además de tipificar como delito el desarrollo de productos que soliciten o produzcan contenido sexual para niños.
El gobernador de California, Gavin Newsom (D), firmó una medida similar a fines del mes pasado, exigiendo a los desarrolladores de chatbots en el Estado Dorado crear protocolos que impidan que sus modelos produzcan contenido sobre suicidio o autolesiones y dirijan a los usuarios a servicios de crisis si es necesario.
Se negó a aprobar una medida más estricta que habría prohibido a los desarrolladores poner chatbots a disposición de los niños a menos que pudieran asegurarse de que no entablarían discusiones dañinas con los niños.
