Puntos clave:
Cuando envié Gramms AI a la App Store, me enfrenté de frente a una pregunta que todo desarrollador que diseña para niños eventualmente enfrentará: ¿Qué significa realmente “apropiado para la edad” en la práctica? ¿Cómo se construyen sistemas que los apliquen de manera confiable?
Gramms es una aplicación de cuentos antes de dormir. Genera historias personales contadas en la voz del abuelo clonado. Parece bastante simple. Pero la estructura de seguridad detrás de esto no lo era.
Este es el relato de un profesional sobre las decisiones detrás de Gramms, y está escrito para ser útil para cualquiera que cree productos impulsados por IA para niños de 3 a 10 años. Nada de esto constituye asesoramiento legal, pero se gana con esfuerzo.
1. Grupos de edad: No todos los niños son el mismo público
La decisión de diseño más importante que tomará es abandonar la idea de que exista un único nivel de contenido “seguro para niños”. Una historia que sea apropiada para un niño de 9 años (conflicto leve, tensión narrativa, razonamiento moral de varios pasos) podría realmente asustar a un niño de 3 años. Y un niño de 9 años lo verá en unos 30 segundos si el contenido parece haber sido creado para un niño de 4 años.
Grams utiliza tres rangos de edad de desarrollo, cada uno con su propia clase de ingeniería de velocidad:
- De 3 a 5 años: vocabulario simple, historias de 200 a 400 palabras, narrativa de un solo protagonista, estructura repetitiva, sin conflictos que requieran resolución. Temas como la amistad, los animales y los ayudantes mágicos. La complejidad lingüística se dirige al grupo de jardín de infantes de Lexile.
- De 6 a 8 años: vocabulario más rico, desafíos y soluciones ligeros, dinámicas de dos a tres letras y suspenso alegre que se resuelve felizmente. Las historias tienen entre 400 y 600 palabras. Presenta una moralidad simple de causa y efecto.
- Edades 9-10: estructura tipo libro de un capítulo, tramas de varios pasos, humor que requiere inferencia, fuerza del protagonista y resultado. Las historias pueden tener entre 600 y 800 palabras. Comienza a presentar situaciones ambiguas con precisión precisa.
Estos rangos se codifican directamente en el mensaje del sistema enviado al modelo de lenguaje. La edad del niño no son sólo datos descriptivos. Es una restricción difícil que da forma a cada elemento de la generación: elección de palabras, estructura de oraciones, alcance temático y riesgos narrativos.
2. Estructura de consentimiento de los padres para el cumplimiento de COPPA
COPPA (Ley de Protección de la Privacidad Infantil en Línea) requiere el consentimiento de los padres verificable antes de recopilar información personal de niños menores de 13 años. En la aplicación de la inteligencia artificial, la “información personal” se interpreta de manera amplia. El nombre, la edad y los intereses del niño son todos elegibles.
Apple refuerza esto a través de sus Pautas de revisión de la App Store (Sección 5.1.4), que requieren la divulgación explícita de los servicios de inteligencia artificial de terceros que procesan datos de los usuarios. Grams destaca esto en el punto del consentimiento de los padres. Antes de guardar cualquier perfil, los padres ven una pantalla que nombra a OpenAI y Cartesia como nuestros proveedores de IA, detalla los datos que cada uno recibe y requiere un reconocimiento activo. Esta no es una casilla de verificación de Términos de servicio. Es un portal de empleo paralizante.
Dos notas prácticas para desarrolladores que creen algo similar:
En primer lugar, primero debe aprobarse el diseño como flujo principal. La creación del perfil del niño debe estar rodeada por una cuenta controlada por un adulto. No es un proceso de rehabilitación sencillo que un niño de siete años pueda completar solo.
En segundo lugar, las marcas de tiempo de aprobación de la tienda y los listados de proveedores del lado del servidor. Si su proveedor de IA cambia (migramos nuestro proveedor de texto a voz a mitad del desarrollo), necesita un registro de auditoría y un mecanismo para devolver las divulgaciones de consentimiento a los usuarios existentes.
3. Moderación de contenidos automatizada: Defensa en profundidad
La ingeniería ágil reduce el riesgo, pero no lo elimina. Los modelos de lenguaje son sistemas probabilísticos. Un enrutador cuidadosamente construido aún puede producir resultados que se filtren. Para un producto infantil, “mayormente seguro” no es un estándar de calidad aceptable.
Gramms implementa un sistema de dos pasadas. El primer paso es el nivel inmediato: el sistema orientado a la edad prohíbe explícitamente la violencia, los antagonistas que inducen miedo, el contenido romántico y las referencias geográficas o políticas del mundo real. El segundo pasaje es la moderación tras generación. Antes de entregar la historia a los padres o al niño, la API de moderación de contenido evalúa el texto completo de acuerdo con la Política de contenido para niños.
Cuando una historia no se puede moderar, el usuario ve un mensaje simple titulado “Crear una nueva historia”. Sin condición de error, sin explicación. La renovación es silenciosa. Ningún padre debería experimentar un momento en el que una aplicación le exponga a contenido que requiera filtrado.
Un patrón que vale la pena mencionar: es importante editar el texto narrativo por separado del texto de la historia. El texto narrativo (que añade claves dramáticas e indicaciones emocionales a la composición de la voz) puede introducir elementos tonales que no están presentes en la historia inicial. Si su proceso separa la creación y el formato narrativo como lo hace el nuestro, aplique moderación a ambos entregables de forma independiente.
4. Revisión de la App Store de Apple: lecciones para aplicaciones de datos infantiles basadas en inteligencia artificial
El proceso de revisión de Apple para aplicaciones en la categoría infantil es significativamente más estricto que el de las aplicaciones generales, y las funciones de inteligencia artificial invitan a un mayor escrutinio.
Nombra explícitamente a cada proveedor de IA. Apple preguntará. Su política de privacidad, la descripción de su tienda de aplicaciones y las divulgaciones dentro de la aplicación deben indicar las empresas específicas cuyas API procesan los datos del usuario. No sólo la categoría de tecnología. “Usamos IA” no es suficiente. “Usamos GPT-4o-mini de OpenAI para la generación de historias y Cartesia Sonic para la síntesis de audio” es lo que los revisores necesitan ver.
Mantenga los datos infantiles fuera del entrenamiento. Asegúrese (por escrito a los revisores, si así lo solicitan) de que los contratos de su proveedor de IA incluyan acuerdos de procesamiento de datos que prohíban el uso de datos asociados con niños para el entrenamiento de modelos. Los dos principales proveedores ofrecen esto. Es posible que deba seleccionar la capa API adecuada.
Separe los perfiles de niños de las cuentas de adultos en la capa de datos. La cuenta principal es propietaria de los perfiles del niño. Los datos de un niño nunca deberían poder procesarse de forma independiente. Solo debería ser accesible dentro del contexto de una sesión de origen autenticada. Esta estructura es una de las mejores prácticas de COPPA y una consulta común para la revisión de solicitudes.
Pruebe con niños reales antes de presentar la solicitud. No porque la revisión de las solicitudes lo requiera, sino porque la idoneidad para la edad es más fácil de calibrar empíricamente que teóricamente. La reacción de un niño de 4 años ante una historia que le pareció linda es una mejor indicación que cualquier modelo de auditoría de contenido.
El panorama más amplio
Crear productos de IA para niños no es más difícil que crearlos para adultos. Es difícil de otra manera. Las limitaciones técnicas son manejables. La empatía de diseño requerida es excelente. Cada decisión sobre la edad, cada flujo de consentimiento y cada umbral moderador representa un juicio sobre lo que es apropiado para un niño en particular en una etapa de desarrollo particular.
Sin embargo, aquí está la buena noticia: las familias están preparadas para productos de IA para niños bien diseñados. La preocupación no es la inteligencia artificial en sí. Se trata de negligencia. Demostrar que ha pensado detenidamente en su arquitectura de seguridad, ha nombrado a sus proveedores y ha incorporado una moderación y un consentimiento reales diseñados para los padres en lugar de registros sin fricciones, es la forma de ganarse esa confianza.
