La Internet Watch Foundation (IWF) dice que sus analistas han descubierto “imágenes criminales” de niñas de entre 11 y 13 años que parecen haber sido “creadas” usando Grok.
La herramienta de IA es propiedad de la firma xAI de Elon Musk. Se puede acceder a él a través de su sitio web y aplicación o mediante la plataforma de redes sociales X.
La IWF dijo que encontró “imágenes sexuales y en topless de niñas” en un “foro de la web oscura” en el que los usuarios afirmaron que habían usado Grok para crear las imágenes.
La BBC se ha puesto en contacto con X y XAI para solicitar comentarios.
Ngaire Alexander, de la IWF, dijo a la BBC que herramientas como Grok ahora corren el riesgo de “integrar la imagen sexualizada de los niños por la IA”.
Dijo que el contenido se clasificaría como Categoría C según la ley del Reino Unido, el nivel más bajo de contenido criminal.
Pero dijo que el usuario que lo subió utilizó una herramienta de inteligencia artificial diferente creada por xAI para crear imágenes de Categoría A, la categoría más crítica.
“Estamos profundamente preocupados por la facilidad y velocidad con la que las personas pueden crear material fotorrealista sobre abuso sexual infantil (CSAM)”, dijo.
Caridad, J. Tiene como objetivo eliminar el contenido de abuso sexual infantil Desde Internet, opera una línea directa donde se pueden denunciar sospechas de CSAM y emplea analistas que evalúan la legitimidad y gravedad del contenido.
Sus analistas encontraron el contenido en la web oscura; las imágenes no se encontraron en la plataforma de redes sociales X.
Ofcom se puso en contacto previamente con X y xAI, luego de informes de que Grok podría usarse para crear “imágenes sexuales de niños” y desnudar mujeres.
La BBC ha visto varios casos de mujeres en la plataforma de redes sociales X pidiendo a chatbots que alteraran imágenes reales para aparecer en bikini sin su consentimiento, además de ponerlas en situaciones sexuales.
La IWF dijo que había recibido informes de tales imágenes en X, sin embargo, no se había evaluado que cumplieran con la definición legal de CSAM.
En una declaración anterior, X dijo: “Tomamos medidas con CSAM contra el contenido ilegal en X, eliminándolo, suspendiendo cuentas permanentemente y trabajando con el gobierno local y las autoridades según sea necesario.
“Cualquiera que use o solicite a Grok que cree contenido ilegal enfrentará las mismas consecuencias que subir contenido ilegal”.
