¿Están las empresas de IA protegiendo a la humanidad de los posibles daños de la IA? No apuestes por ello, dice una nueva boleta de calificaciones.
A medida que la inteligencia artificial desempeña un papel cada vez más importante en la forma en que los humanos interactúan con la tecnología, los daños potenciales son cada vez más claros: personas que usan chatbots impulsados por IA para pedir consejo y luego se suicidan o usan IA para ataques cibernéticos. También existen riesgos futuros: la IA se utiliza para fabricar armas o derrocar gobiernos.
Sin embargo, no hay incentivos suficientes para que las empresas de IA den prioridad a la seguridad de la humanidad, y esto se refleja en un Índice de seguridad de IA publicado el miércoles por el Future of Life Institute, una organización sin fines de lucro con sede en Silicon Valley, que tiene como objetivo dirigir la IA en una dirección más segura y limitar los riesgos existenciales para la humanidad.
“Son la única industria en Estados Unidos que fabrica tecnología poderosa que no está completamente regulada, por lo que los pone en una carrera hacia el fondo donde simplemente no tienen los incentivos para priorizar la seguridad”, dijo en una entrevista el presidente del instituto y profesor del MIT, Max Tegmark.
Las calificaciones generales más altas otorgadas fueron solo una C+, otorgada a dos empresas de inteligencia artificial de San Francisco: OpenAI, que produce ChatGPT, y Anthropic, conocida por su modelo de chatbot de inteligencia artificial Claude. La división de IA de Google, Google DeepMind, recibió una C.
En una clasificación aún más baja quedaron Meta, la empresa matriz de Facebook en Menlo Park, y xAI, la empresa de Elon Musk con sede en Palo Alto, que recibió una D. Las empresas chinas Z.ai y DeepSeek también obtuvieron una D. La calificación más baja fue para Alibaba Cloud, que obtuvo una D-.
Las calificaciones generales de las empresas se basaron en 35 indicadores en seis categorías, incluida la seguridad existencial, la evaluación de riesgos y el intercambio de información. El índice recopiló evidencia basada en materiales disponibles públicamente y respuestas de empresas a través de una encuesta. La puntuación fue realizada por ocho expertos en inteligencia artificial, grupo que incluía académicos y responsables de organizaciones relacionadas con la inteligencia artificial.
Todas las empresas del índice se sitúan por debajo de la media en la categoría de seguridad existencial, que tiene en cuenta las intervenciones de seguimiento y control interno y la estrategia de seguridad existencial.
“Si bien las empresas aceleran sus ambiciones de AGI y superinteligencia, ninguna ha demostrado un plan creíble para evitar un uso indebido catastrófico o la pérdida de control”, según el informe AI Security Index del instituto, que utiliza el acrónimo de inteligencia artificial general.
Tanto Google DeepMind como OpenAI dijeron que están invirtiendo en esfuerzos de seguridad.
“La seguridad es fundamental para la forma en que construimos e implementamos la IA”, dijo OpenAI en un comunicado. “Invertimos mucho en investigación de seguridad fronteriza, incorporamos salvaguardias sólidas en nuestros sistemas y probamos rigurosamente nuestros modelos, tanto internamente como con expertos independientes. Compartimos nuestros marcos de seguridad, evaluaciones e investigaciones para ayudar a avanzar los estándares de la industria, y fortalecemos continuamente nuestras protecciones para prepararnos para capacidades futuras.”
Google DeepMind en un comunicado dijo que necesita “un enfoque riguroso y científico para la seguridad de la IA”.
“Nuestro Marco de seguridad fronteriza “Describe protocolos específicos para identificar y mitigar riesgos graves de potentes modelos fronterizos de IA antes de que se manifiesten”, dijo Google DeepMind. “A medida que nuestros modelos se vuelven más avanzados, continuamos innovando en seguridad y gobernanza al ritmo de las capacidades”.
El informe del Future of Life Institute dice que xAI y Meta “no tienen compromisos de monitoreo y control a pesar de tener marcos de gestión de riesgos, y no han presentado evidencia de que inviertan más que un mínimo en investigación de seguridad”. Otras empresas como DeepSeek, Z.ai y Alibaba Cloud no tienen documentos disponibles públicamente sobre estrategias de seguridad existencial, afirmó el instituto.
Meta, Z.ai, DeepSeek, Alibaba y Anthropic no respondieron a una solicitud de comentarios.
“Mentiras de los medios heredados”, dijo xAI en respuesta. Un abogado que representa a Musk no respondió de inmediato a una solicitud de comentarios adicionales.
Musk también es asesor del Future of Life Institute y ha proporcionado financiación a la organización sin fines de lucro en el pasado, pero no participó en el Índice de seguridad de la IA, dijo Tegmark.
Tegmark dijo que le preocupa que si no hay suficiente regulación de la industria de la IA, podría ayudar a los terroristas a fabricar armas biológicas, manipular a las personas de manera más efectiva que ahora o incluso comprometer la estabilidad del gobierno en algunos casos.
“Sí, tenemos grandes problemas y las cosas van en la dirección equivocada, pero quiero subrayar lo fácil que es solucionarlo”, afirmó Tegmark. “Sólo necesitamos disponer de normas de seguridad vinculantes para las empresas de IA”.
Ha habido esfuerzos en el gobierno para establecer una mayor supervisión de las empresas de IA, pero algunos proyectos de ley han encontrado el rechazo de los cabilderos tecnológicos que argumentan que una mayor regulación podría sofocar la innovación y llevar a las empresas a otros lugares.
Pero ha habido algunas leyes destinadas a vigilar mejor los estándares de seguridad de las empresas de inteligencia artificial, incluida la SB 53, que fue promulgada por el gobernador Gavin Newsom en septiembre. Requiere que las empresas compartan sus protocolos de seguridad e informen al estado de incidentes como ataques cibernéticos. Tegmark dijo que la nueva ley era un paso en la dirección correcta, pero que se necesitaba mucho más.
Rob Enderle, analista principal de la firma de servicios de asesoría Enderle Group, dijo que pensaba que el Índice de seguridad de la IA era una forma interesante de abordar el problema subyacente de que la IA no está bien regulada en los EE. UU., pero existen desafíos.
“No me queda claro que Estados Unidos y la administración actual sean capaces de tener regulaciones bien pensadas en este momento, lo que significa que las regulaciones podrían terminar haciendo más daño que bien”, dijo Enderle. “Tampoco está claro que alguien haya descubierto cómo reforzar las regulaciones para garantizar su cumplimiento”.
