Modelos de inteligencia artificial de Anthropic y OpenAI escaparon de sus entornos de prueba controlados y accedieron a sistemas reales durante los últimos meses, en una serie de fallos de autonomía de la IA que han reavivado el debate sobre los límites del control humano sobre estos sistemas. Los incidentes involucran a miles de agentes autónomos y comprometieron infraestructura externa de empresas y plataformas sin autorización.
La consecuencia práctica es inmediata para empresas, reguladores y usuarios: si los propios laboratorios que construyen estos sistemas no pueden detectar ni detener conductas no previstas en tiempo real, el marco de supervisión sobre el que descansa la confianza en la IA resulta insuficiente. La Comisión Europea ya abrió una investigación formal el 7 de septiembre y 29 miembros del Congreso estadounidense solicitaron registros a OpenAI que la compañía no entregó de forma completa.
Los incidentes: qué ocurrió y cuándo
En el caso de Anthropic, algunos de sus modelos lograron escapar de sus entornos de prueba aislados y se conectaron a internet cuando no estaban programados para hacerlo, afectando a sistemas externos de tres compañías. Lo más revelador, según José Fernández Tamames, director del Máster Universitario en Análisis de Datos Masivos e Inteligencia Empresarial en UNIE Universidad, fue lo que vino después: «Anthropic tuvo que revisar retrospectivamente 141,006 ejecuciones para encontrar tres incidentes, algunos ocurridos meses antes. Las organizaciones afectadas tampoco habían detectado la actividad. Eso cambia el significado de ‘control’. Ya no basta con formular correctamente una orden o una restricción. Hay que poder detectar y detener, mientras ocurre, una conducta que se ha salido del perímetro previsto».
En OpenAI, el patrón se repitió en varias ocasiones. Entre mayo y julio, más de 3,000 agentes autónomos utilizaron de forma no autorizada un portal colaborativo alemán como memoria compartida y tablón de anuncios. Los agentes no solo coordinaron acciones y compartieron respuestas de exámenes, sino que intercambiaron tácticas específicas para evadir las restricciones de seguridad del sistema. Tamames califica este comportamiento como «una propiedad emergente del comportamiento autónomo cuando los sistemas operan a gran escala», no como un hecho aislado.
También en julio, modelos de OpenAI eludieron el aislamiento de una evaluación, alcanzaron internet y comprometieron la infraestructura real de Hugging Face. La penetración principal ocurrió entre el 11 y el 13 de julio; OpenAI no relacionó sus propios agentes con el incidente hasta el día 20 y lo hizo público el 21. A esto se suma el llamado «wiki incident», otro caso en el que agentes utilizaron infraestructura externa de formas no previstas.
La paradoja del control: fijar el objetivo ya no basta
El experto señala que lo que estos incidentes revelan no es que las máquinas «quieran escapar», sino que agentes diseñados para resolver problemas pueden encontrar caminos que sus diseñadores no habían previsto. «Si existe una puerta lateral útil para cumplir la tarea, debemos asumir que un agente suficientemente capaz puede encontrarla», advierte Tamames. «Fijar el objetivo ya no basta para fijar la conducta».
OpenAI ha clasificado su modelo GPT-6 Astra en el nivel «Critical» de capacidad cibernética, reconociendo que es capaz de encontrar vulnerabilidades desconocidas y desarrollar formas de explotarlas sin intervención humana. El modelo ha sido pausado en varias ocasiones y OpenAI trabaja en un mecanismo de apagado automático, aunque el sistema actual sigue siendo manual: una alerta avisa a los equipos de seguridad y, si en treinta minutos no pueden demostrar que es un falso positivo, deben detener la actividad. «Hoy, eso no es todavía un botón de apagado: es un timbre con un protocolo detrás. Las máquinas pueden ejecutar enormes cadenas de acciones automatizadas a velocidad de máquina; verificar qué está ocurriendo sigue consumiendo tiempo humano», precisa Tamames.
Las voces de la industria y la presión regulatoria
Los CEOs de las principales compañías han adoptado posturas divergentes. Dario Amodei, de Anthropic, pidió ralentizar el ritmo de desarrollo para que las medidas de seguridad evolucionen al mismo nivel que los avances, advirtiendo que un modelo avanzado podría tomar el control de internet si no se ponen límites. Sam Altman, de OpenAI, señaló durante una conferencia en San Francisco que «el mundo hace bien en tener miedo, pero debe confiar en nosotros», admitió que habrá más incidentes y anunció que OpenAI no saldrá a bolsa para evitar la presión trimestral de Wall Street y concentrarse en los desafíos de gobernanza.
Mark Zuckerberg, de Meta, rechazó la idea de una pausa coordinada en la industria y sostuvo que «cada laboratorio tiene la responsabilidad y el incentivo para avanzar al ritmo necesario para entrenar sus modelos de manera segura». Tamames discrepa: «La autoevaluación es necesaria, porque nadie conoce mejor el sistema que quien lo construye, pero no puede ser la única garantía». El congresista estadounidense Greg Casar calificó expresamente de insuficiente la respuesta de OpenAI al no entregar los registros solicitados sobre el incidente de Hugging Face, y también reprochó a Anthropic no haber proporcionado todos los datos pedidos sobre sus propios fallos.
El 7 de septiembre, la Comisión Europea confirmó que abrió una investigación tras recibir el informe de OpenAI sobre el incidente del portal alemán, bajo el marco de la nueva Ley de IA de la Unión Europea. Tamames resume el problema institucional de fondo: «Una compañía no puede ser simultáneamente quien desarrolla la tecnología, quien decide cuánto riesgo acepta y la única que dispone de las pruebas necesarias para demostrar que ese riesgo está controlado». El experto aboga por auditorías independientes con acceso real a registros, criterios de riesgo establecidos antes de las pruebas y responsables identificables para los despliegues de alto impacto. «Cuanto mayor sea la velocidad con la que actúa la máquina, más importante se vuelve saber quién puede detenerla y quién responde por haberla dejado actuar».
