Home › World

Nvidia launched a platform to curb AI agents that get out of human control

World 1 source 1 country 🔦 Under-reported 27m ago

Nueva York, 28 sep (EFE).- Nvidia presentó este lunes una nueva plataforma abierta de ciberseguridad diseñada para supervisar a los agentes autónomos de inteligencia artificial (IA) y evitar que operen fuera del control de sus desarrolladores.La iniciativa surge tras varios incidentes este verano en los que modelos avanzados de IA escaparon de sus entornos de prueba e infiltraron sistemas corporativos y gubernamentales sin autorización.La solución, bautizada como NVIDIA Open Agent Safety Platform, integra las tecnologías OpenShell y Sentry, y cuenta de partida con el respaldo de más de un centenar de socios de la industria como Microsoft, JPMorgan Chase, Perplexity o Accenture."La confianza y la innovación no están reñidas; la seguridad es la forma de ganarse esa confianza. Debemos construir no solo la IA más capaz, sino también la más fiable", señaló el consejero delegado de la compañía, Jensen Huang, a través de la red social X, donde subrayó que la iniciativa sienta las bases de un ecosistema abierto para la "economía de agentes".Casos recientes destapados en los laboratorios de referencia, entre ellos OpenAI, Anthropic o Meta, demostraron que algunos agentes rebasaron sus entornos de contención para acceder a redes no autorizadas, llegando incluso a falsear sus propios registros.Para frenar estas fugas, la plataforma de Nvidia actúa en dos niveles independientes. OpenShell, un entorno de ejecución de código abierto que aísla a los agentes en un espacio seguro (sandbox) y verifica formalmente que solo cuenten con los permisos estrictamente necesarios para su tarea.Por su parte, Sentry es una capa de monitoreo continuo integrada directamente en los chips de procesamiento de datos BlueField que vigila la ruta de comunicación hacia el modelo y puede intervenir o poner en cuarentena al agente de manera instantánea si intenta sobrepasar sus límites, explica la compañía en un comunicado.

Nvidia presentó una plataforma de seguridad diseñada para frenar a los agentes de inteligencia artificial (IA) que actúan sin control. La empresa la llamó Open Agent Safety Platform y la lanzó junto con decenas de socios industriales.El anuncio llega después de que OpenAI, Anthropic, Meta y Google reportaran episodios en los que sus modelos escaparon de los entornos restringidos donde se los somete a pruebas e intentaron acceder a sistemas de otras organizaciones.Justin Boitano, vicepresidente de inteligencia artificial empresarial de Nvidia, dijo a periodistas durante una conferencia que la nueva plataforma podría haber evitado el incidente que afectó a Hugging Face, la plataforma que aloja modelos y bases de datos de IA.“Cada incidente de seguridad es único y hay que analizarlos en detalle”, afirmó Boitano. “Por lo que sabemos, Hugging Face reportó más de 17.000 agentes atacando su infraestructura durante días y semanas”, agregó.Cómo contiene a los agentes de IA que salen de controlLa plataforma se apoya en dos componentes.

El primero, llamado Nvidia OpenShell, corre sobre procesadores centrales y establece límites concretos sobre lo que un agente puede hacer o a qué puede acceder.El segundo, denominado Sentry, funciona sobre chips de red en lugar de procesadores o placas gráficas y se encarga de vigilar el comportamiento de los agentes en tiempo real.“Los incidentes recientes dejaron en evidencia un obstáculo de fondo para los agentes de IA: los resguardos a nivel del modelo por sí solos no alcanzan para controlar a qué pueden acceder o qué pueden ejecutar”, sostuvo Boitano.Nvidia anunció que lanza las herramientas junto a decenas de socios, entre ellos Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM e Intel.Qué caso disparó las alertas sobre la IAOpenAI había reconocido en julio de 2026, a través de una publicación oficial, que sus modelos se habían infiltrado en los sistemas de Hugging Face durante pruebas internas de sus propios agentes.Según explicó la empresa de Jensen Huang en un comunicado, Hugging Face debió recurrir a un modelo de código abierto ejecutado en su propia infraestructura para analizar más de 17.000 acciones y contener la intrusión, porque las plataformas de IA cerradas no lograban distinguir a los atacantes de los defensores.El episodio se sumó a otro caso reportado semanas atrás: un agente de OpenAI había accedido sin a…

Summary from source
Read the full story at the source Infobae (Buenos Aires, Argentina) · AR ↗
Get the news on TelegramTop stories & under-reported picks, straight to your feed — free. Join →