El sitio de chatbot Character.ai está alejando a los adolescentes de conversar con personajes virtuales, generando duras críticas por la forma en que los jóvenes interactúan con sus pares en línea.
Fundada en 2021, millones de personas utilizan la plataforma para hablar con chatbots impulsados por inteligencia artificial (IA).
Pero Estados Unidos enfrenta una serie de demandas de padres, incluso por la muerte de un adolescente, algunas llamándola “Un peligro claro y presente“A la juventud.
Ahora, Character.ai dice que a partir del 25 de noviembre, los niños menores de 18 años podrán crear contenido como videos con sus personajes en lugar de hablar con ellos ahora mismo.
La empresa dijo que estaba realizando los cambios tras “informes y comentarios de reguladores, expertos en seguridad y padres”, que plantearon preocupaciones sobre las interacciones de sus chatbots con adolescentes.
Los expertos han advertido anteriormente que el potencial de los chatbots de IA para crear cosas demasiado entusiastas y empáticas podría representar una amenaza para los jóvenes y vulnerables.
“El anuncio de hoy es una continuación de nuestra creencia común de que necesitamos construir la plataforma de inteligencia artificial más segura del planeta con fines de entretenimiento”, dijo el jefe de Character.ai, Karandeep Anand, a BBC News.
Dijo que la seguridad de la IA era un “objetivo en movimiento”, pero que la empresa había adoptado un enfoque “agresivo”. Controles parentales y barandillas.
El grupo de seguridad en línea Internet Matters acogió con satisfacción el anuncio, pero dijo que se deberían incorporar medidas de seguridad desde el principio.
“Nuestra propia investigación muestra que los niños están expuestos a contenidos dañinos y corren riesgo cuando interactúan con la IA, incluidos los chatbots de IA”, dijo.
Hizo un llamado a las “plataformas, padres y responsables políticos” para garantizar que las experiencias de los niños utilizando la IA sean seguras.
Character.ai ha sido criticado en el pasado por albergar chatbots potencialmente dañinos u ofensivos de los que los niños pueden hablar.
Los avatares eran imitadores de Brianna Gay, una adolescente británica asesinada en 2023, y Molly Russell, quien se quitó la vida a la edad de 14 años después de ver material suicida en línea. Encontrado en el sitio en 2024 Antes de derribar.
Más tarde, en 2025, la Oficina de Periodismo de Investigación (TBIJ) descubrió un chatbot basado en el pedófilo Jeffrey Epstein que había registrado más de 3.000 chats con usuarios.
El medio informó El avatar de “Bestie Epstein” continuó coqueteando con su reportero cuando éste decía que era más joven. Fue uno de los varios bots señalados por TBIJ que luego fue eliminado por Character.ai.
Anand dijo que el nuevo enfoque de la compañía es proporcionar “características de juego (y) narración de juegos de rol mucho más profundas” para adolescentes, y agregó que sería “más seguro que lo que podrían hacer con un robot abierto”.
También llegarán nuevos métodos de verificación de la edad y la empresa financiará un nuevo laboratorio de investigación de seguridad de IA.
El experto en redes sociales Matt Navara dijo que se trataba de una “llamada de atención” para la industria de la IA, que está pasando “de la innovación sin licencia a la regulación poscrisis”.
“Cuando una plataforma que crea una experiencia adolescente se desconecta, está diciendo que los chats filtrados no son suficientes cuando la atracción emocional de la tecnología es fuerte”, le dijo a BBC News.
“No se trata de errores de contenido. Se trata de cómo los robots de IA imitan las relaciones reales y desdibujan las líneas para los usuarios más jóvenes”, añadió.
Navara también dijo que el gran desafío para Character.ai será crear una plataforma de IA atractiva que los adolescentes todavía quieran usar en lugar de recurrir a “opciones menos seguras”.
Mientras tanto, el Dr. que investiga sobre seguridad de la IA. Nomisha Kurian dijo que prohibir a los adolescentes el uso de chatbots era un “paso comprensible”.
“Ayuda a separar el juego creativo de intercambios más personales y emocionalmente sensibles”, dijo.
“Esto es especialmente importante para los usuarios jóvenes que todavía están aprendiendo a navegar por los límites emocionales y digitales.
“Las nuevas soluciones de Character.ai pueden reflejar una fase de maduración en la industria de la IA: la seguridad de los niños está siendo reconocida como una prioridad urgente para la innovación responsable”.
