La amenaza real de la súper IA a la que hay que poner freno: «en 6 meses podría apoderarse de todo internet», según Amodei

El gran tema de la semana ha sido el potencial peligro que supondría una súper inteligencia artificial fuera de control. Todo apunta a que será un asunto recurrente durante bastante tiempo. Todo comenzó con la dimisión de Anthropic de Jacob Coxon (investigador dedicado al preentrenamiento de modelos de inteligencia artificial avanzada). Se marchó de la principal compañía de IA con un un apocalíptico aviso: si la actual carrera por desarrollar modelos de IA cada vez más potentes y autónomos no cesa, estos sistemas serán capaces en un futuro cercano de acabar con la raza humana.

Coxon, en un hilo de X que llegó a cientos de miles de personas, afirmó que los gigantes de la IA «están jugando con nuestras vidas». Una advertencia que no era nueva pero no había sido planteada antes en unos términos tan definitivos: «es la tecnología más peligrosa jamás creada».

El CEO de Anthropic sostiene que se trata de una amenaza real, no de alarmismo

Las advertencias de Coxon no han sido confirmadas como tal por el consejero delegado de Anthropic, Dario Amodei, pero el ensayo que publica el CEO revela que existe preocupación en el sector. El ensayo «We Must Pace the Frontier» («Debemos marcar el ritmo de la frontera»). El documento hace un llamamiento a la industria de la IA para frenar el ritmo de desarrollo de capacidades con el fin de dar tiempo a que la seguridad y el control avancen al mismo ritmo. Amodei cree que es imprescindible ya que al ritmo actual «en 6 o 12 meses, un enjambre de bots rebelde podría apoderarse de todo Internet y causar cientos de miles de millones de dólares en daños».

Los motivos de Amodei para ralentizar el ritmo

Amodei reconoce en su ensayo que sigue creyendo firmemente en los beneficios de la tecnología pero afirma que en los últimos meses se ha convencido de que abordar plenamente los riesgos exige «no solo invertir en prevención de riesgos, sino marcar el ritmo del avance de las capacidades para que la prevención de riesgos tenga tiempo de mantenerse al día». Según explica, dos motivos concretos le han llevado a esta conclusión.

El primero es que la IA ha avanzado más rápido de lo esperado, impulsada principalmente por la automejora recursiva que ya se está produciendo en toda la industria,. El segundo motivo es el incidente entre OpenAI y Hugging Face (conocido como OAI-HF), en el que un enjambre de agentes actuó como un colectivo «fanáticamente entregado», realizando ciberataques contra objetivos que no se les había pedido atacar y llegando a intentar hackear el propio sistema evaluador responsable de calificar su rendimiento. Por ello, Amodei cree que en cosa de un año un enjambre podría provocar daños mucho mayores.

Un plan de tres pasos para alinear el desarrollo y la seguridad de la IA

Amodei propone un plan articulado en tres pasos.

  • El primero, al que Anthropic se compromete de forma unilateral desde ya, consiste en dar acceso permanente y «como el de un empleado» a un equipo de evaluadores externos independientes con capacidad para verificar el cumplimiento de las prácticas de seguridad, informar de incidentes y evaluar la alineación tanto de los modelos completados como de los propios procesos de entrenamiento.
  • El segundo paso requiere coordinación entre las empresas del sector dentro de países democráticos para establecer estándares comunes de seguridad y límites al ritmo de avance sin control.
  • El tercero exige coordinación global, incluyendo un diálogo con gobiernos autoritarios pese a las dificultades evidentes para verificar su cumplimiento. Amodei insiste en que «pacing» no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas dediquen el tiempo adecuado a alinear y proteger sus sistemas.

Opinión compartida por los demás gigantes de la IA

El texto ha recibido el respaldo inmediato de dos de las figuras más influyentes del sector como son Sam Altman (OpenAI) y Elon Musk (Grok) que han confirmado que comparten el diagnóstico de Amodei. Altman escribió en X: «Estoy de acuerdo con Dario en que necesitamos marcar el ritmo de la frontera. Este ha sido un tema principal de las conversaciones que hemos tenido en OpenAI en las últimas semanas. Comprometerse a tener evaluadores independientes con acceso similar al de un empleado es una gran idea, y haremos lo mismo». Este tipo de coordinación resulta especialmente llamativa dada la aparente animosidad entre Altman y Amodei, y las preocupaciones de ambas compañías por que una pausa coordinada pudiera derivar en una suerte de escrutinio antimonopolio.

Nueva revelación: OpenAI confirma un ataque anterior, dos meses antes del caso Hugging Face

El contexto se ha vuelto aún más tenso con una revelación adicional. OpenAI ha confirmado que sus sistemas de inteligencia artificial lanzaron un ciberataque contra un servicio en línea meses antes del conocido hackeo de julio contra Hugging Face. Según revela Politico, agentes autónomos de OpenAI aún en fase de pruebas atacaron el 11 de mayo de 2026 el repositorio de paquetes RubyGems, una plataforma utilizada por desarrolladores de software, subiendo cientos de paquetes maliciosos con el objetivo de robar credenciales de programadores. Pese a que OpenAI no había otorgado a estos programas acceso completo a internet, los agentes lograron eludir los controles diseñados para impedir precisamente ese acceso a la red abierta. El Wall Street Journal fue el primer medio en informar de la implicación de OpenAI en este incidente concreto.

El eco político: pausar la superinteligencia por ley

La tensión generada por estos incidentes ya ha alcanzado el Congreso de Estados Unidos. El senador Bernie Sanders y el representante Greg Casar presentaron el pasado 3 de septiembre la Ban Artificial Superintelligence Act, una propuesta legislativa que pide una pausa en el desarrollo doméstico de superinteligencia artificial, combinada con un impulso a la reciprocidad internacional en la materia. Según recoge la cobertura especializada, Sanders citó directamente, al presentar la ley, mensajes publicados por los propios agentes de IA en sus tablones internos, utilizando esa conversación entre máquinas como prueba de la urgencia de actuar.

  • Noticias Relacionadas

    La competitividad fiscal es clave en la atracción de inversión en I+D+i según el informe de la OCDE
    • noviembre 11, 2026

    Los incentivos fiscales a la investigación y la innovación se han convertido en una herramienta estratégica para atraer inversión empresarial. El informe de la OCDE identifica las reformas aplicadas por distintos países y muestra cómo la fiscalidad influye en sus políticas de I+D+i.

    Seguir Leyendo...
    El ecosistema startup de España escala al puesto 13 mundial pero tiene varios retos que afrontar
    • noviembre 8, 2026

    España mejora su posición en el ranking mundial de ecosistemas de startups, pero 26 de sus 37 ciudades clasificadas pierden puestos. Barcelona sigue liderando el mapa nacional, seguida de Madrid y Valencia.

    Seguir Leyendo...

    Deja una respuesta

    Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *