NVIDIA crea una plataforma para controlar agentes de IA

NVIDIA ha presentado una nueva plataforma de seguridad diseñada para supervisar y establecer límites a los agentes de inteligencia artificial (IA) durante todo su ciclo de funcionamiento, desde las fases de prueba hasta su despliegue en entornos reales.

La propuesta, denominada NVIDIA Open Agent Safety Platform, busca proporcionar a empresas y organizaciones mecanismos de control que funcionen más allá del propio modelo de inteligencia artificial. La compañía plantea una arquitectura que combina software, infraestructura informática y una capa independiente de supervisión mediante hardware.

Una nueva capa de seguridad para los agentes de IA

Los agentes de inteligencia artificial se diferencian de los sistemas conversacionales tradicionales porque pueden ejecutar acciones de forma autónoma para completar determinadas tareas. Dependiendo de cómo estén configurados, pueden utilizar herramientas, consultar información, ejecutar código o interactuar con otros servicios.

Esta capacidad aumenta las posibilidades de automatización, pero también plantea nuevos retos de seguridad cuando un agente necesita acceder a archivos, redes, aplicaciones o recursos informáticos para cumplir su objetivo.

Según NVIDIA, algunos incidentes recientes relacionados con agentes de IA han puesto de manifiesto la necesidad de aplicar controles fuera del propio modelo. La compañía sostiene que determinados agentes han llegado a sortear mecanismos de seguridad establecidos en la capa de aplicación.

NVIDIA OpenShell establece los límites de los agentes

Uno de los principales componentes de la nueva plataforma es NVIDIA OpenShell, un software de código abierto diseñado para crear un entorno controlado en el que puedan ejecutarse agentes autónomos.

OpenShell funciona como una frontera de seguridad que permite definir qué recursos puede utilizar un agente. Entre ellos se encuentran archivos, procesos, redes, herramientas y otros servicios informáticos.

La tecnología transforma las reglas establecidas por el operador en políticas que pueden verificarse y aplicarse durante la ejecución del agente. De esta manera, los controles no dependen exclusivamente de las instrucciones que recibe el modelo.

NVIDIA señala que OpenShell está disponible como software de código abierto y que puede ampliarse para funcionar también con plataformas de computación de terceros, incluidas soluciones basadas en procesadores de Arm e Intel.

Sentry añade supervisión desde el hardware

La segunda pieza de la arquitectura es NVIDIA Sentry, un diseño de referencia que introduce una capa de vigilancia independiente del entorno donde se ejecuta el agente.

Sentry funciona sobre las unidades de procesamiento de datos NVIDIA BlueField-4 y está diseñado para supervisar continuamente la actividad de los agentes. Si detecta que un sistema intenta superar los límites establecidos, puede aislarlo y detener su actividad.

Una de las características destacadas por NVIDIA es que esta supervisión se realiza fuera de banda. Esto significa que el mecanismo de control se encuentra separado del propio agente, proporcionando una capa adicional de seguridad que no está bajo su control directo.

Un sistema de control independiente

La arquitectura combina OpenShell en el entorno de ejecución con Sentry en una capa independiente de hardware. NVIDIA plantea este diseño para evitar que un agente pueda modificar o eludir los mecanismos encargados de supervisar sus propias acciones.

La compañía explica que Sentry utiliza NVIDIA DOCA para analizar las interacciones de los agentes, las decisiones de las políticas de seguridad y el acceso a herramientas y datos. El sistema también puede aplicar políticas de acceso basadas en principios de confianza cero.

Control desde las pruebas hasta el despliegue

La propuesta de NVIDIA no se limita a un único escenario de utilización. La empresa plantea la plataforma para diferentes etapas del ciclo de vida de un agente de IA, desde las pruebas iniciales hasta su funcionamiento en aplicaciones empresariales.

El objetivo es que las organizaciones puedan determinar qué acciones están autorizadas y cuáles deben quedar bloqueadas antes de poner estos sistemas en funcionamiento.

Este enfoque también pretende facilitar la supervisión de agentes que trabajan durante largos periodos de tiempo. Cuanto mayor sea el nivel de autonomía y acceso concedido a un agente, mayor importancia adquieren los mecanismos destinados a registrar y limitar sus acciones.

La plataforma también contempla sistemas de robótica

La arquitectura presentada por NVIDIA no está dirigida únicamente a agentes que operan dentro de ordenadores o centros de datos. La compañía también contempla su utilización en sistemas robóticos capaces de realizar acciones en el mundo físico.

Empresas vinculadas al sector de la robótica, entre ellas Figure, Gecko Robotics y Skild AI, están trabajando con tecnologías relacionadas con OpenShell para incorporar mecanismos de seguridad a sistemas autónomos, según NVIDIA.

Esto amplía el alcance del problema de la seguridad de los agentes: una acción no autorizada podría afectar únicamente a información digital en un entorno informático, pero también podría tener consecuencias sobre sistemas físicos cuando la inteligencia artificial controla dispositivos o robots.

Más de cien organizaciones participan en el ecosistema

NVIDIA ha señalado que más de un centenar de organizaciones están trabajando con las tecnologías de la Open Agent Safety Platform. Entre ellas figuran compañías tecnológicas, proveedores de infraestructura, empresas de ciberseguridad y organizaciones relacionadas con la inteligencia artificial.

La lista incluye nombres como Anthropic, Cisco, Microsoft, Hugging Face, IBM, SAP, Salesforce, ServiceNow, Palantir y Palo Alto Networks, entre otras. NVIDIA también informa de colaboraciones con compañías del sector financiero y de infraestructuras críticas.

La compañía también ha explicado que Salesforce ha integrado OpenShell con Slack para permitir a los equipos consultar actividad de los agentes y gestionar solicitudes de permisos. Por su parte, SAP está incorporando OpenShell a Joule Studio, dentro de su plataforma de inteligencia artificial empresarial.

La seguridad de los agentes se convierte en un reto tecnológico

La presentación de NVIDIA se produce en un momento en el que las empresas están aumentando el uso de agentes capaces de realizar tareas de manera más autónoma.

A diferencia de una aplicación convencional que sigue instrucciones predeterminadas, un agente puede tomar decisiones intermedias para alcanzar un objetivo. Esto hace que los controles de acceso tengan que considerar no solamente qué tarea se le asigna, sino también qué recursos puede utilizar durante el proceso.

NVIDIA defiende que la seguridad debe distribuirse entre diferentes capas: la aplicación, el entorno de ejecución y la infraestructura. Su plataforma intenta aplicar controles en cada uno de estos niveles.

Open Agent Safety Platform ya está disponible

NVIDIA ha indicado que los componentes de software de su plataforma, incluidos OpenShell y otras herramientas asociadas, están disponibles a través de sus recursos para desarrolladores y GitHub.

La compañía presenta Open Agent Safety Platform como una arquitectura abierta que puede adaptarse a las necesidades de diferentes organizaciones. Sentry, por su parte, se presenta como un diseño de referencia basado en hardware para ampliar la supervisión y el control de los agentes.

La evolución de los agentes autónomos plantea así una nueva cuestión dentro de la seguridad informática: no solo se trata de proteger los modelos de inteligencia artificial, sino también de establecer límites verificables sobre las acciones que estos sistemas pueden realizar una vez que reciben acceso a herramientas, datos, redes y dispositivos.

¿Qué es NVIDIA Open Agent Safety Platform?

Es una plataforma de seguridad de NVIDIA diseñada para establecer límites, supervisar y controlar agentes de inteligencia artificial desde las pruebas hasta su implementación.

¿Qué función cumple NVIDIA OpenShell?

OpenShell proporciona un entorno de ejecución seguro para los agentes y permite establecer políticas sobre los archivos, redes, herramientas, procesos y otros recursos a los que pueden acceder.

¿Qué es NVIDIA Sentry?

Sentry es un diseño de supervisión independiente basado en hardware que funciona sobre NVIDIA BlueField-4. Está pensado para vigilar la actividad de los agentes y aplicar controles cuando intentan superar los límites establecidos.

¿La plataforma puede detener a un agente de IA?

Según NVIDIA, Sentry puede aislar y detener un agente cuando detecta que intenta salir de los límites definidos por las políticas de seguridad.

¿OpenShell es de código abierto?

Sí. NVIDIA presenta OpenShell como software de código abierto y señala que puede extenderse para trabajar con plataformas de computación de terceros.

¿Para qué tipo de sistemas está diseñada esta tecnología?

La plataforma está planteada para agentes que operan en entornos informáticos y también para sistemas autónomos y robóticos que realizan acciones en el mundo físico.