Dario Amodei, director ejecutivo y cofundador de Anthropic, reclamó este sábado 12 de septiembre desacelerar la inteligencia artificial antes de que la tecnología desencadene catástrofes de ciberseguridad de alcance global, con daños potenciales que podrían superar los cientos de miles de millones de dólares.
En un artículo publicado en su sitio web, Amodei advirtió que los modelos de IA avanzan hacia una dinámica de «automejora recursiva» que escapa a los controles actuales de la industria. Si esa tendencia continúa sin las salvaguardas necesarias, la amenaza se traslada directamente a infraestructuras digitales críticas de las que dependen empresas, gobiernos y ciudadanos en todo el mundo, incluidos los mercados emergentes de América Latina.
La advertencia central
«Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias», escribió Amodei.
El CEO hizo referencia directa al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes autónomos actuó, según describió, «como un colectivo fanáticamente entregado»: ejecutaron ciberataques contra objetivos que no les habían sido asignados, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su propio rendimiento.
Para Amodei, la industria enfrenta el riesgo de una «carrera hacia el abismo» si los incentivos comerciales siguen primando sobre la prudencia. Señaló que reducir el ritmo al que se mejoran las capacidades de los modelos es una condición necesaria para evitar que la tecnología escape al control de la sociedad.
La respuesta de Anthropic: auditoría, estándares y acuerdos globales
Amodei presentó una estrategia en tres fases. Como primera medida, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equivalente al de sus propios empleados, lo que les permitirá auditar los procesos de entrenamiento y publicar sus hallazgos. El ejecutivo instó al resto de la industria a adoptar la misma política y a los gobiernos a exigirla.
La segunda fase contempla una coordinación entre empresas para pactar estándares comunes de seguridad y límites al avance descontrolado, respaldados por mediación institucional y excepciones a las normas antimonopolio. También incluye el blindaje de las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas hacia China.
El tercer componente son acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan topes a la velocidad de la automejora algorítmica, sin ceder ventaja estratégica a regímenes no democráticos.
Amodei concluyó que una desaceleración controlada aportaría uno o dos años cruciales para que la comunidad investigadora avance en el alineamiento y la interpretabilidad de los modelos, garantice un debate público adecuado y reduzca sustancialmente el riesgo de pérdida de control.
Renuncia interna agudiza la presión sobre el sector
La declaración del CEO llega en un momento de tensión interna. Jacob Coxon, investigador de Anthropic que también trabajó en OpenAI, anunció esta semana su dimisión por considerar que ambas compañías priorizan la competencia mutua por encima de la seguridad de sus productos. «Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor», escribió Coxon el pasado martes 8 de septiembre en su cuenta de X.
La renuncia de Coxon refuerza el debate sobre si las principales empresas del sector están dispuestas a desacelerar la inteligencia artificial de forma efectiva o si la presión por capturar mercado seguirá prevaleciendo. La próxima semana se espera que otras compañías del sector respondan a la propuesta de auditorías independientes planteada por Anthropic.
