NVIDIA представила платформу для безопасного контроля автономных AI-агентов.

NVIDIA представила Open Agent Safety Platform — комплекс инструментов для контроля автономных AI-агентов и ограничения их доступа к системам, данным и внешним сервисам. Платформа рассчитана на случаи, когда ИИ самостоятельно выполняет задачи, запускает программы, обращается к файлам или взаимодействует с сетевыми ресурсами.

Ключевой компонент решения — OpenShell, открытая среда выполнения, которая помещает агента в изолированный sandbox. Администратор может заранее определить, какие файлы, сетевые адреса, инструменты и процессы разрешены. Эти правила применяются на уровне инфраструктуры, поэтому сам AI-агент не может самостоятельно отменить установленные ограничения.

Второй элемент — Sentry. Это независимый механизм мониторинга, работающий на NVIDIA BlueField-4 DPU. Он отслеживает поведение агента и способен изолировать его, если система обнаруживает попытку выйти за заданные границы. Такой подход добавляет отдельный уровень защиты, расположенный за пределами программной среды агента.

Необходимость подобных механизмов NVIDIA связывает с тем, что современные агенты способны выполнять продолжительные цепочки действий и иногда отклоняться от первоначальных ограничений. В компании считают, что одних инструкций для языковой модели недостаточно: контроль должен обеспечиваться непосредственно на уровне среды исполнения и инфраструктуры.

OpenShell распространяется как открытое программное обеспечение и может использоваться не только с оборудованием NVIDIA. Компания также развивает интеграции с другими производителями инфраструктуры и AI-систем, включая Anthropic, Microsoft, Cisco, Dell Technologies, HPE, Lenovo и Arm.

Таким образом, NVIDIA предлагает многоуровневую модель безопасности, в которой действия AI-агента контролируются одновременно программными политиками, изоляцией среды и независимым аппаратным мониторингом.