Поделиться
«Яндекс» привлечет белых хакеров для проверки безопасности генеративных нейросетей
«Яндекс» запустил новое направление программы «Охоты за ошибками», связанное с генеративными нейросетями. Компания готова выплатить до 1 млн руб. исследователям, которым удастся отыскать технические уязвимости в семействах моделей YandexGPT, YandexART и сопутствующей инфраструктуре. Об этом CNews сообщили представители «Яндекса».
Участникам «Охоты» предстоит искать технические ошибки, которые могут повлиять на результаты работы и процесс обучения нейросетевых моделей: скажем, привести модель к сбою или изменить ее поведение так, чтобы она повлияла на работу других сервисов «Яндекса».
Размер выплаты зависит от серьезности ошибки и простоты ее применения. К критичным относятся уязвимости, которые позволят раскрыть данные о внутренней конфигурации модели, ее служебный промт с техническими данными или другую чувствительную информацию. Максимальное вознаграждение за такие ошибки — 1 млн руб. В «Охоте» могут участвовать только отчеты о технических уязвимостях. К ним, например, не относятся сообщения о неточных ответах Алисы или некорректных изображениях в «Шедевруме».
Генеративные нейросети все шире используются в сервисах «Яндекса» и партнерами компании. YandexGPT и YandexART уже нашли применение более чем в 20 сервисах и продуктах для пользователей и бизнеса — от «Алисы» и «Поиска с Нейро» до «Директа» и решений Yandex Cloud, в том числе доступных сторонним разработчикам через API. Появление генеративных нейросетей в «Охоте» позволит проводить их независимую проверку и еще раз убедиться, что сервисы «Яндекса» и новые технологии отвечают самым строгим стандартам безопасности.
Все технологии «Яндекса», включая генеративные модели, создаются и развиваются с учетом принципов безопасной разработки на каждом этапе — от проектирования до внедрения. Для этого команда безопасности еще на стадии проектирования изучает будущую архитектуру сервиса, проверяет ее на возможные уязвимости и соответствие стандартам. «Яндекс» также изучает возможные способы атак на нейросети и разрабатывает защиту от потенциальных угроз. Например, «Антиробот» «Яндекса» защищает ИИ-сервисы от DDoS-атак, а центр мониторинга выявляет угрозы и анализирует подозрительную активность в инфраструктуре. Также «Яндекс» регулярно проводит внутренние аудиты для проверки защищенности сервисов.
Поделиться
Короткая ссылка
