NIST представил классификацию атак на ИИ-агентов и способов защиты от них

Документ SP 2400-102 E2026 систематизирует угрозы для предиктивных, генеративных и агентных систем и предлагает общий язык для их описания. На эту классификацию NIST планирует опираться при подготовке будущих стандартов и практических руководств по безопасности ИИ.

В новой редакции основное внимание уделено атакам на агентные системы. Нарушитель может вмешаться в постановку задачи, планирование, выполнение действий или обработку результатов работы инструментов. Среди возможных целей — нарушение доступности и целостности, раскрытие чувствительных данных и использование агента во вредоносных целях.

В проекте рассмотрены атаки через пользовательские запросы, цепочку поставки модели, недоверенные документы, веб-страницы и базы знаний. Подложные инструкции могут попасть и в долговременную память агента, из-за чего их влияние сохранится между рабочими сеансами. Отдельно описаны риски инструментов, подключаемых навыков и взаимодействия нескольких агентов: скомпрометированный компонент способен передавать вредоносные сообщения остальным.

Реклама

Для защиты NIST рассматривает обучение моделей распознавать инструкции в недоверенном содержимом, системные ограничения на передачу данных и выполнение операций, а также изоляцию инструментов с потенциально опасным кодом. При этом авторы отмечают, что специально подготовленные атаки могут обходить защиту на уровне модели, поэтому важны независимые проверки допустимости операций и ограничения последствий на уровне всей системы.

Публичное обсуждение проекта продлится до 18 декабря 2026 года. После рассмотрения замечаний NIST должен подготовить итоговую редакцию документа.