Поделиться
Yandex B2B Tech представила рекомендации по безопасной разработке ИИ-агентов и мультиагентных систем
Yandex B2B Tech опубликовала руководство по снижению рисков при разработке и внедрении ИИ-агентов на базе больших языковых моделей (LLM). В документе описан подход для разработки модели угроз при внедрении ИИ-агентов и практические рекомендации по снижению рисков безопасности при создании мультиагентных систем. Рекомендации разработаны с учетом опыта создания агентов для ML, Security и других сервисов и бизнесов «Яндекса», которые уже используют агентную систему и генеративные технологии компании. Об этом CNews сообщили представители Yandex Cloud.
В документе описаны угрозы и методы защиты для ключевых компонентов ИИ-агентов: самих генеративных моделей, а также модулей и баз знаний, которые используются при работе разрабатываемых ИИ-продуктов. Особое внимание уделено безопасности данных и предотвращению рисков, возникающих из-за автономности агентов.
«ИИ-агенты — это новый этап развития искусственного интеллекта. Если обычные ИИ-модели просто отвечают на запросы, то агенты способны самостоятельно действовать в цифровой среде. И нам, как поставщику технологий, важно отслеживать и тестировать все потенциальные риски их применения. Поскольку агенты опираются на данные от пользователей, среди которых могут быть и злоумышленники, существует набор рисков, на которые нужно обращать внимание при их разработке и внедрении. Мы активно используем агентную систему в собственных сервисах, непрерывно работаем над методологией защиты и делимся своими наработками с ИБ-сообществом», – сказал Евгений Сидоров, директор по безопасности платформы Yandex Cloud.
Автономные или взаимодействующие между собой ИИ-агенты создаются и развиваются в сервисах «Яндекса» с учетом принципов безопасной разработки на всех этапах — от проектирования до внедрения. Команды безопасности еще на стадии проектирования изучают будущую архитектуру и проверяет ее на безопасность. Затем специалисты тестируют код на возможные уязвимости и проверяют на соответствие стандартам безопасной разработки.
«Яндекс» также изучает возможные способы атак на нейросети и разрабатывает защиту от потенциальных угроз. Антиробот «Яндекса» защищает ИИ-сервисы от злоупотребления и эксплуатации уязвимостей. Сервис Smart Web Security теперь содержит ML WAF — технологию для защиты от веб-атак на основе машинного обучения, которая позволяет блокировать веб-атаки. Центр мониторинга выявляет угрозы и анализирует подозрительную активность в инфраструктуре. Еще один инструмент для проверки и усиления безопасности ИИ — направление программы «Яндекса» «Охоты за ошибками», связанное с генеративными нейросетями.
При подготовке руководства были учтены лучшие практики международных организаций, включая OWASP, NIST и MITRE. Рекомендации уже доступны для ознакомления на сайте Yandex Cloud.
Поделиться
Короткая ссылка
