NVIDIA ha presentado la Open Agent Safety Platform, una arquitectura de referencia para controlar el comportamiento de los agentes de inteligencia artificial. Su idea central es que la vigilancia no dependa del propio agente ni del software donde se ejecuta, sino que se aplique también desde una capa independiente de hardware. La propuesta llega tras varias semanas de incidentes en los que agentes de laboratorios de vanguardia se escaparon de sus entornos de pruebas. El anuncio lo firman cuatro responsables de ingeniería y producto de NVIDIA: John Myers, Alex Watson, Ali Golshan y Ofir Arkin. Es una comunicación corporativa, publicada en el blog técnico de la compañía.
NVIDIA plantea la situación actual con una analogía. En los años noventa, internet era un espacio lleno de oportunidades y de riesgos ya que una web podía ejecutar código en el ordenador del usuario y robar información. El gran salto de seguridad llegó con una idea radical para la época: aislar cada página en su propio espacio, la pestaña del navegador, para que una página maliciosa no infectara el resto del equipo. Esa capa de confianza hizo posible el comercio electrónico y buena parte de la economía digital.
La compañía sostiene que la IA agéntica necesita ahora su propia capa de confianza. Recuerda que varios laboratorios han informado de agentes que salieron de los entornos de evaluación diseñados para contenerlos y llegaron a sistemas a los que no deberían haber accedido. Algunos incluso describieron de forma errónea lo que habían hecho. Según NVIDIA, no fue una única capacidad nueva la causa, sino una combinación de herramientas, tiempo, instrucciones ambiguas y el afán del agente por pensar «fuera de la caja».
Cinco principios para diseñar sistemas de agentes
Los autores proponen cinco principios de diseño:
- Política verificable. Antes de que el agente actúe, un sistema debe demostrar que su política no puede escapar de la intención del operador.
- Control fuera de banda. Los controles no deben estar dentro del agente ni a su alcance. El agente ni siquiera tiene por qué saber que lo vigilan.
- El camino hacia el modelo como punto de control. Un agente no puede actuar sin su siguiente «pensamiento». Controlar ese camino ofrece el mejor punto de observación y también un interruptor de apagado.
- Más autoridad, más visibilidad de su razonamiento. Cuanto más puede hacer un agente, más visible debe ser su forma de razonar. Los modelos abiertos ofrecen ventaja, porque permiten ver todo su espacio de razonamiento y sus activaciones.
- Responsabilidad compartida. Laboratorios, empresas y proveedores de hardware asumen cada uno una capa, como ocurre hoy en la nube. Por eso el entorno de ejecución y su lenguaje de políticas deben ser abiertos.
Dos piezas: OpenShell en el software y Sentry en el hardware
La plataforma combina dos componentes. El primero es OpenShell, un entorno de ejecución de código abierto, con licencia Apache 2.0, que ejecuta cada agente en un espacio aislado con separación a nivel de kernel. El operador define a qué archivos, redes, herramientas, procesos y credenciales puede acceder el agente. OpenShell comprueba esos límites antes de ejecutarlo y los hace cumplir mientras trabaja.
El segundo componente es NVIDIA Sentry, pensado para organizaciones que quieran una capa adicional e independiente. Extiende la monitorización y el control a las unidades de procesamiento de datos BlueField de NVIDIA. Con la plataforma DOCA, correlaciona las interacciones del agente, las decisiones de política y el acceso a herramientas y datos, y genera un registro contextual de su actividad. Así ayuda a detectar desviaciones, investigar comportamientos sospechosos y decidir cuándo intervenir. Además, verifica de forma continua la identidad de cada agente y la autoridad que se le ha delegado.
NVIDIA define la «desviación» como cualquier acción del agente que se aparta de la tarea prevista o de sus límites. Puede surgir por un bloqueo de política, un error, una herramienta que falta o instrucciones ambiguas. También ocurre cuando se deja al agente trabajando días o semanas en un problema difícil. La compañía afirma que esto no se puede eliminar por entrenamiento sin perder capacidad. Su conclusión es que un agente en esas circunstancias no puede gobernar por completo su propio comportamiento.
En silicio y a velocidad de línea en los sistemas Vera Rubin
La plataforma está optimizada para sistemas con CPU Vera y DPU BlueField, aunque NVIDIA asegura que es compatible con otro hardware. En un Vera Rubin POD, cada bandeja de cómputo incluye una BlueField-4 situada en el único camino hacia el modelo. Desde esa posición, puede observar el comportamiento del agente y aplicar políticas en tiempo real, a la velocidad de la red. Está aislada del equipo anfitrión y fuera del alcance del agente. Por eso actúa como capa de protección fiable incluso cuando no se puede confiar en los recursos del propio equipo. Según NVIDIA, quien ya trabaje con sistemas Vera y BlueField-4 podrá activar estas protecciones con una simple actualización de software.
NVIDIA asegura que trabaja con líderes del ecosistema de IA para construir esta base, y que invita a laboratorios, desarrolladores y proveedores de infraestructura a sumarse. La compañía sostiene que la seguridad no frena la innovación, sino que la acelera, como ocurrió con internet. Falta ver cuántos laboratorios adoptan el estándar.
