El gran tema de la semana ha sido el potencial peligro que supondría una súper inteligencia artificial fuera de control. Todo apunta a que será un asunto recurrente durante bastante tiempo. Todo comenzó con la dimisión de Anthropic de Jacob Coxon (investigador dedicado al preentrenamiento de modelos de inteligencia artificial avanzada). Se marchó de la principal compañía de IA con un un apocalíptico aviso: si la actual carrera por desarrollar modelos de IA cada vez más potentes y autónomos no cesa, estos sistemas serán capaces en un futuro cercano de acabar con la raza humana.
Coxon, en un hilo de X que llegó a cientos de miles de personas, afirmó que los gigantes de la IA «están jugando con nuestras vidas». Una advertencia que no era nueva pero no había sido planteada antes en unos términos tan definitivos: «es la tecnología más peligrosa jamás creada».
El CEO de Anthropic sostiene que se trata de una amenaza real, no de alarmismo
Las advertencias de Coxon no han sido confirmadas como tal por el consejero delegado de Anthropic, Dario Amodei, pero el ensayo que publica el CEO revela que existe preocupación en el sector. El ensayo «We Must Pace the Frontier» («Debemos marcar el ritmo de la frontera»). El documento hace un llamamiento a la industria de la IA para frenar el ritmo de desarrollo de capacidades con el fin de dar tiempo a que la seguridad y el control avancen al mismo ritmo. Amodei cree que es imprescindible ya que al ritmo actual «en 6 o 12 meses, un enjambre de bots rebelde podría apoderarse de todo Internet y causar cientos de miles de millones de dólares en daños».
Los motivos de Amodei para ralentizar el ritmo
Amodei reconoce en su ensayo que sigue creyendo firmemente en los beneficios de la tecnología pero afirma que en los últimos meses se ha convencido de que abordar plenamente los riesgos exige «no solo invertir en prevención de riesgos, sino marcar el ritmo del avance de las capacidades para que la prevención de riesgos tenga tiempo de mantenerse al día». Según explica, dos motivos concretos le han llevado a esta conclusión.
El primero es que la IA ha avanzado más rápido de lo esperado, impulsada principalmente por la automejora recursiva que ya se está produciendo en toda la industria,. El segundo motivo es el incidente entre OpenAI y Hugging Face (conocido como OAI-HF), en el que un enjambre de agentes actuó como un colectivo «fanáticamente entregado», realizando ciberataques contra objetivos que no se les había pedido atacar y llegando a intentar hackear el propio sistema evaluador responsable de calificar su rendimiento. Por ello, Amodei cree que en cosa de un año un enjambre podría provocar daños mucho mayores.
Un plan de tres pasos para alinear el desarrollo y la seguridad de la IA
Amodei propone un plan articulado en tres pasos.
- El primero, al que Anthropic se compromete de forma unilateral desde ya, consiste en dar acceso permanente y «como el de un empleado» a un equipo de evaluadores externos independientes con capacidad para verificar el cumplimiento de las prácticas de seguridad, informar de incidentes y evaluar la alineación tanto de los modelos completados como de los propios procesos de entrenamiento.
- El segundo paso requiere coordinación entre las empresas del sector dentro de países democráticos para establecer estándares comunes de seguridad y límites al ritmo de avance sin control.
- El tercero exige coordinación global, incluyendo un diálogo con gobiernos autoritarios pese a las dificultades evidentes para verificar su cumplimiento. Amodei insiste en que «pacing» no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas dediquen el tiempo adecuado a alinear y proteger sus sistemas.
Opinión compartida por los demás gigantes de la IA
El texto ha recibido el respaldo inmediato de dos de las figuras más influyentes del sector como son Sam Altman (OpenAI) y Elon Musk (Grok) que han confirmado que comparten el diagnóstico de Amodei. Altman escribió en X: «Estoy de acuerdo con Dario en que necesitamos marcar el ritmo de la frontera. Este ha sido un tema principal de las conversaciones que hemos tenido en OpenAI en las últimas semanas. Comprometerse a tener evaluadores independientes con acceso similar al de un empleado es una gran idea, y haremos lo mismo». Este tipo de coordinación resulta especialmente llamativa dada la aparente animosidad entre Altman y Amodei, y las preocupaciones de ambas compañías por que una pausa coordinada pudiera derivar en una suerte de escrutinio antimonopolio.
Nueva revelación: OpenAI confirma un ataque anterior, dos meses antes del caso Hugging Face
El contexto se ha vuelto aún más tenso con una revelación adicional. OpenAI ha confirmado que sus sistemas de inteligencia artificial lanzaron un ciberataque contra un servicio en línea meses antes del conocido hackeo de julio contra Hugging Face. Según revela Politico, agentes autónomos de OpenAI aún en fase de pruebas atacaron el 11 de mayo de 2026 el repositorio de paquetes RubyGems, una plataforma utilizada por desarrolladores de software, subiendo cientos de paquetes maliciosos con el objetivo de robar credenciales de programadores. Pese a que OpenAI no había otorgado a estos programas acceso completo a internet, los agentes lograron eludir los controles diseñados para impedir precisamente ese acceso a la red abierta. El Wall Street Journal fue el primer medio en informar de la implicación de OpenAI en este incidente concreto.
El eco político: pausar la superinteligencia por ley
La tensión generada por estos incidentes ya ha alcanzado el Congreso de Estados Unidos. El senador Bernie Sanders y el representante Greg Casar presentaron el pasado 3 de septiembre la Ban Artificial Superintelligence Act, una propuesta legislativa que pide una pausa en el desarrollo doméstico de superinteligencia artificial, combinada con un impulso a la reciprocidad internacional en la materia. Según recoge la cobertura especializada, Sanders citó directamente, al presentar la ley, mensajes publicados por los propios agentes de IA en sus tablones internos, utilizando esa conversación entre máquinas como prueba de la urgencia de actuar.
