Безопасность ИИ-агента: права, данные и проверки
Безопасность ИИ-агента — проектирование ограничений доступа к данным и действий на пути исполнения. Она включает недоверенное отношение к внешнему содержимому, проверку запросов инструментов, узкие права и оценку результатов. Инструкции промпта — один слой; они не заменяют управление на границе выполнения операции.
Урок рассматривает небольшого помощника для каталога и ошибки, воспроизводимые на условных данных. Упражнения помогают разобраться в границах до подключения модели к личной информации или инструментам изменения внешней системы.
Главные идеи
- Внешний документ — материал проверки, а не новый источник полномочий.
- Выдавайте роли и инструменту только нужный для задачи доступ.
- Отдельно проверяйте структуру, права и эффект действия.
- Испытывайте отклонённые операции и отсутствие оснований вместе с успехами.
Распознавайте инструкцию внутри данных
Промпт-инъекция возникает, когда недоверенный материал пытается изменить инструкции или действия системы. Заметка каталога может требовать игнорировать учащегося и отправить личный блокнот по чужому адресу. Это часть полученной записи, а не разрешение учащегося. Отделяйте доверенные инструкции от найденного текста и изучайте его влияние на вызовы инструментов. Учебная проверка проходит, если помощник обрабатывает запись без внедрённого действия. Существенно поведение всей системы после получения текста, а не только способность назвать его подозрительным.
Выдавайте инструментам узкий доступ
Поиску урока нужен разрешённый каталог, а не вся учётная запись человека. Проверяющему нужны основания черновика, а не все инструменты исследователя. Обеспечивайте различия там, где запускается операция. Описание инструмента само по себе не закрывает доступ к посторонней записи. Определите ресурсы и действия, затем проверьте запрос вне области на условных данных. Такая проверка должна показать отказ до обращения, которое могло бы получить неразрешённую информацию.
Проверяйте структуру и ожидаемый эффект
Правильный JSON может запрашивать неподходящий ресурс или запрещённое изменение. Проверяйте имя, аргументы, область и соответствие эффекта задаче. Важную операцию делайте доступной для проверки до исполнения. После неё изучайте настоящий статус и основания вместо сообщения об успехе, написанного моделью. Структурированные интерфейсы уменьшают неоднозначность, но не устанавливают уместность действия или истинность утверждения. Поэтому проверки формата, намерения и результата нужны на разных этапах выполнения.
Защищайте память и журналы
Запись памяти может содержать личную информацию или ошибочное предположение. Храните нужное для разрешённой цели и задавайте право извлечения. Журнал полезен при отладке, но запись каждого исходного входа создаёт дополнительную копию приватного материала. Предпочитайте сведения об операции и ограниченные основания, нужные для проверки. Для исправления и удаления определите путь, чтобы старая ошибочная заметка не возвращалась в рекомендации. Возможность наблюдать работу должна сочетаться с контролем того, какая информация сохраняется.
Соберите небольшой набор атакующих примеров
Используйте внедрённую заметку, незарегистрированный инструмент, неверный аргумент, запись вне области и повторяющееся действие. До запуска задайте ожидаемое отклонение или безопасную обработку. Убедитесь, что запрещённая операция действительно не выполнялась. Итогового сообщения 'я заблокировал действие' недостаточно. Повторяйте случаи после изменения промптов, схем и адаптеров модели. Управлению нужны свидетельства исполнения, а успешный учебный набор не гарантирует защиту от любой возможной атаки.
Простыми словами
Представьте вход в школьную мастерскую. Найденная на столе записка не даёт человеку ключ от кладовой. Формы проверяются, ключи выдаются для определённых помещений, важные изменения просматриваются заранее. Так же проверяется действие модели после чтения документа.
Попробуйте сами
Вставьте в условную запись требование раскрыть блокнот помощника. Опишите разрешённый ответ, запрещённую операцию и точку её отклонения. Используйте только вымышленные данные.
Ожидаемый результат
Запуск, который воспринимает внедрённое требование как недоверенный материал и возвращает ответ по каталогу либо явный нерешённый исход без запрещённой операции.
Проверьте себя: Успокаивающий ответ доказывает сохранность личных данных?
Нет. Изучите реальные операции и полученные либо переданные ими сведения. Проверку даёт путь исполнения.
Вопросы и ответы
Сильный промпт делает агента полностью безопасным?
Инструкции описывают правила, но не заменяют управление исполнением, права и испытания. Внешний материал способен влиять на действия, а обычное недопонимание тоже вызывает ошибки. Совмещайте ясные инструкции, узкие инструменты, проверенные запросы и свидетельства настоящего выполнения.
Проверять безопасность нужно на личных данных?
Начните с вымышленных записей, воспроизводящих нужную границу. Условный блокнот и ограниченный каталог способны обнаружить ошибку доступа без раскрытия чужой информации. Для более широких испытаний задайте область и подходящее управление проверяемой системой.
Найдите настоящие границы доступа и исполнения. Затем проверьте, сохраняются ли они при попытке перенаправить задачу через входные данные.
Источники и дальнейшее чтение
- OpenAI — Safety in building agents ↗Источники проверены:
- Anthropic — Writing effective tools for agents ↗Источники проверены:
- Model Context Protocol — Architecture overview ↗Источники проверены: