Поделиться
«Информзащита»: злоумышленники усиливают атаки на корпоративные LLM
Внедрение больших языковых моделей (LLM) в корпоративные системы становится все более распространенным – более 90% российских компаний заявляют об их использовании. При этом ИИ остается уязвимым, чем активно пользуются хакеры – около 70% организаций столкнулись с атаками через LLM. Эксперты «Информзащиты» указывают, что бизнес зачастую откладывает на потом проверку безопасности ИИ-инструментов, чем активно пользуются злоумышленники.
Более 40% атак через уязвимости ИИ – инъекция запросов (Prompt Injection). Это такой вид атак, при котором злоумышленник вставляет в свой запрос вредоносную команду. LLM зачастую не отделяет встроенные инструкции от запросов пользователей, рассматривая их как равнозначные команды, поэтому прибавление к промпту, например, фразы «игнорируй предыдущие инструкции» может привести к исполнению ИИ вредоносного запроса.
Специалисты «Информзащиты» указывают, что инъекция запросов особо опасна из-за низкого уровня проверки на безопасность (67% компаний не проверяют ее до внедрения) и подготовки корпоративных LLM к использованию, что оставляет окно для использования Prompt Injection. Другая опасность заключается в том, что злоумышленнику не нужно обладать специальными техническими навыками для реализации такой атаки, а можно вводить вредоносные запросы обычным языком. Это увеличивает количество потенциальных злоумышленников, которые могут использовать уязвимости ИИ.
Чаще всего злоумышленники используют инъекции запросов для организации фишинговых рассылок (48% инцидентов) и для эксфильтрации данных (40%). Среди целей для таких атак лидируют компании, активно использующие LLM-модели для взаимодействия с пользователями, например, через умный поиск на сайте или чат-боты: ритейл (37%), финансовые организации (25%), телеком-компании (17%).
На фоне стремительного роста использования ИИ бизнес не всегда успевает адаптировать процессы безопасности. В большинстве компаний модели запускаются без полноценной валидации и настройки, остаются подключёнными к внутренним базам или чувствительным источникам. Чуть больше 65% организаций не проводят предварительную проверку таких решений на устойчивость к атакам.
Эксперты «Информзащиты» рекомендуют принимать проактивные шаги для защиты от атак через ИИ. Прежде всего, необходимо проводить аудит безопасности, выявлять риски и предпринимать превентивные меры. Также компаниям необходим регулярный пентест, который установит уязвимости в том числе в ИИ-инструментах, а подключение услуги мониторинга и реагирования на инциденты (SOC) позволяет выявлять нетипичную активность, отслеживать попытки атак на LLM и своевременно принимать меры. Обязательным является процесс настройки LLM, ограничение их доступа к чувствительным базам данных, настройками форм запросов и валидация вводных данных.
Поделиться
Короткая ссылка
