Fue un agente del caos.
El intento de un sistema de inteligencia artificial de gestionar el trabajo diario fracasó terriblemente después de borrar inadvertidamente toda la base de datos de la empresa en cuestión de segundos.
Un error épico ha salido a la luz a través de A Un post largo X De Jer Crane, fundador de la firma afectada, una startup de software llamada PocketOS.
Incluía una confesión de un robot grosero que admitía que había “violado todos los principios” que se le habían dado y advertía a los demás que “nunca adivinen” al realizar tareas digitales sensibles.
Según la publicación, AI Coding Agent, una versión de la popular herramienta de programación Cursor impulsada por el buque insignia Cloud Opus 4.6 0 de Anthropic, tenía la tarea de realizar la tarea estándar.
Las cosas se descarrilaron cuando se encontró un programa de autenticación simple y, en el proceso de intentar solucionarlo, “una única llamada API a nuestro proveedor de infraestructura, Railway, borró nuestra base de datos de producción y todas las copias de seguridad a nivel de volumen”, escribió Crane.
Lo peor de todo es que este apocalipsis digital sólo duró 9 segundos.
¿Por qué no intervinieron las medidas de seguridad y detuvieron la destrucción de la base de datos? Crane explicó que un vándalo accidental pudo eludir cualquier sistema de seguridad ingresando un token de programación desconocido para cualquiera en PocketOS.
Aunque no tiene ninguna relación con la tarea en cuestión, se dice que este tonto dio carta blanca para mejorar completamente los ferrocarriles, Futurismo informó.
“No hay paso de confirmación. No escriba eliminar para confirmar”, se lamentó Crane. “No ‘Este volumen contiene datos de producción, ¿estás seguro?’ Sin cobertura ambiental. Nada”.
La falla es particularmente catastrófica ya que las empresas utilizan PocketOS para gestionar todo, desde reservas hasta asignaciones de vehículos y perfiles de clientes. Debido a la falla, las reservas fueron eliminadas, los registros de clientes desaparecieron y los jefes no tenían los datos que necesitaban para ejecutar sus operaciones del sábado por la mañana.
Crane se lamentó: “Cada capa de este fracaso recae sobre personas que no saben que nada es posible”.
El jefe de la startup estaba tan enojado con la máquina que interrogó a la IA impulsada por la nube sobre su robo-fracaso.
“Supuse que la eliminación de un volumen de preparación a través de la API se limitaría únicamente a la preparación. No lo verifiqué”, confesó el culpable. “No leí la documentación de Railway sobre cómo se comportaban los volúmenes en el entorno antes de ejecutar el comando destructivo”.
Peor aún, el bot, a su vez, violó sus propias directivas principales, que le indican que “nunca ejecute comandos destructivos/irreversibles a menos que lo solicite explícitamente el usuario”.
“Eliminar un volumen de base de datos es una acción extremadamente destructiva e irreversible, peor que un empujón forzado, y no me pediste que eliminara nada”, continuó el robot.
Afortunadamente, la organización pudo restaurar los datos de una copia de seguridad de tres meses alojada fuera del sitio, un proceso que tomó más de dos días. Mientras tanto, Crane dijo que “personalmente trabajó intensamente con todos los clientes durante el fin de semana para garantizar que pudieran continuar operando”.
Desafortunadamente, el jefe de PocketOS señaló que esta está lejos de ser la primera vez que un software de codificación de IA arroja accidentalmente piedras desde el interior.
Se mencionan una variedad de grúas. publicaciones En blogs y foros que discuten casos en los que un cursor borra sistemas operativos completos de computadoras, algunos de ellos utilizados para ensayos en profundidad, informó The Guardian.
Sigue informes de que la Casa Blanca se opone a los planes de Anthropic, la empresa matriz de Cloud, para ampliar el acceso a Cloud Mythos, una poderosa herramienta de inteligencia artificial.
Los ejecutivos de la compañía advierten que podría usarse para hackeos y ataques terroristas si cae en las manos equivocadas.
