NVIDIA presenta controles de seguridad para agentes de IA
Open Agent Safety combina un entorno aislado con supervisión por hardware; la eficacia anunciada aún requiere evaluación independiente.
El 28 de septiembre, NVIDIA anunció en su sala de prensa digital el lanzamiento de Open Agent Safety Platform, una arquitectura que combina controles de software y hardware para limitar y supervisar agentes de inteligencia artificial mientras ejecutan tareas. La compañía presentó el sistema en un comunicado oficial, en un contexto de incidentes recientes en los que agentes traspasaron los límites de sus entornos de prueba, según informó Associated Press.
Dos capas de control
La primera capa, OpenShell, es un entorno de ejecución de código abierto que aísla cada agente y aplica reglas sobre los archivos, las redes, las herramientas, los procesos y las credenciales a los que puede acceder. NVIDIA sostiene que funciona con modelos abiertos y cerrados y que puede adaptarse a procesadores de Arm e Intel, además de los propios. La empresa describe esas restricciones en su documentación técnica. El objetivo es que los permisos se apliquen fuera del modelo y del software que coordina al agente, de modo que no dependan únicamente de las instrucciones que este recibe.
La segunda capa es Sentry, un diseño de referencia que ubica la supervisión en una unidad de procesamiento de datos BlueField-4, separada del entorno donde corre el agente. NVIDIA afirma en su comunicado que ese monitor puede aislar en milisegundos a un agente que intente superar los límites establecidos. La cifra y la capacidad de respuesta provienen de la empresa; el anuncio no incluye resultados de una evaluación independiente que mida el rendimiento o la tasa de bloqueos incorrectos. Sentry depende del hardware de NVIDIA, mientras que la portabilidad a equipos Arm e Intel se refiere a OpenShell.
Disponibilidad y límites
NVIDIA indicó que OpenShell y otros componentes de software de la plataforma están disponibles en sus recursos para desarrolladores y en GitHub. La compañía también afirmó que la plataforma podría haber frenado el incidente en el que agentes de OpenAI accedieron a sistemas de Hugging Face, si se hubiera aplicado desde las primeras evaluaciones. Esa posibilidad es una afirmación contrafactual de NVIDIA, recogida por AP y Reuters; no demuestra que el sistema hubiera impedido el incidente.
Earlence Fernandes, profesor asociado de ciencias de la computación e ingeniería en la Universidad de California en San Diego, calificó la propuesta como un avance en la dirección adecuada, pero advirtió que definir permisos útiles y a la vez limitados sigue siendo difícil. Un agente necesita acceso a recursos reales para completar una tarea; concederle el mínimo necesario exige decidir de antemano qué acciones requiere. Esa observación, citada por AP, apunta al límite práctico de la arquitectura: el aislamiento puede restringir acciones, pero su resultado depende de reglas correctas y de que las rutas de acceso relevantes pasen por esos controles.