13 Мая 2026 10:17 | 13 Мая 2026 10:17 | |

Поделиться

Евгений Вовк, «Лаборатория Касперского»: Независимые тесты выявляют реальные возможности ИБ-решений

CNews: Какие организации тестируют защитные решения?

Евгений Вовк: Есть много организаций и специалистов, проводящих сравнительные тестирования защитных решений. Это и журналисты (PCMag, ComputerBild, Chip и другие), и блогеры, и крупные организации (Stiftung Warentest, International Consumer Research & Testing, Роскачество и другие), и независимые институты для проведения тестов защитных решений (AV-Comparatives, AV-Test, SE Labs и другие). Также есть аналитические агентства, такие как Gartner, Forester, которые делают сравнения и обзоры рынков корпоративных решений различных направлений (но сегодня речь не о них).

Журналисты пишут обзоры и для сравнения защитных продуктов могут использовать в том числе данные измерительных тестов. Кто-то использует результаты, полученные профессиональными институтами тестирования, а кто-то — итоги собственных тестов. Профессиональная реализация журналистами/агентствами сложных методик тестирования не всегда возможна в силу имеющихся ограничений в необходимых знаниях и опыте в области актуальных угроз и уязвимостей, ресурсах по подготовке необходимой инфраструктуры, методик и актуальных тестовых наборов. При этом в большинстве случаев производителям защитных решений не дают возможности перепроверить результаты, что означает отсутствие прозрачности (transparency) в результатах, а это одно из главных свойств профессиональных тестов. Более того, иногда выводы в публикациях совершенно неожиданно отличаются от результатов тестов большинства независимых лабораторий. Возникает вопрос, насколько можно доверять таким обзорам.

Блогеры часто еще сильнее ограничены в ресурсах (не обязательно финансовых, скорее инженерных и временных), и их тесты обычно узкоспециализированные. Из-за того, что блогеры зависимы от конкретных метрик (например, подписчиков и лайков), всегда существует риск умышленного или неумышленного предоставления приоритета одним защитным решениям перед другими. Но надо отметить, что на рынке есть много непредвзятых и профессиональных блогеров.

Крупные организации, например Stiftung Warentest и ICRT, всегда старались быть независимыми, вплоть до своей политики не контактировать с вендорами и не делиться с ними ничем под предлогом «чтобы не скомпрометировать себя и свои коллекции зловредов и атак». То есть пропуски или ложные срабатывания, которые они вменяют защитным решениям, известны только им и никому другому. Поэтому их невозможно проверить и отработать. Это означает, что результаты испытаний непрозрачны. Возможно, в отдельных предметных областях этот подход имеет право на жизнь.

Например, при тестировании некоторых продуктов для конечных пользователей, таких как стиральные машины, тостеры, пылесосы, существует естественный консенсус по критериям успеха и однозначность трактовки результатов. Однако в случае с защитными решениями всегда возможен риск множественной трактовки одного и того же результата. Есть классический пример с вредоносным ПО, нацеленным на поиск на устройстве конкретных защитных решений. После запуска зловред проверяет факт запущенных процессов конкретных антивирусов и в случае их обнаружения просто завершает свою активность. В этом случае защитному решению не за что детектировать этот зловред (не было попытки вредоносного действия), а перед тестером порождается дилемма — наказывать за отсутствие детекта (что недопустимо при отсутствии вредоносных действий) или наградить за то, что благодаря именно этому защитному решению зловред «принял решение» прекратить работу.

Независимые институты и лаборатории, профессионально занимающиеся тестированием решений безопасности, используют максимально прозрачные методики выполнения тестов и получения результатов. Оставаясь коммерческими компаниями, они ставят своей миссией максимально качественные анализ и оценку эффективности защитных продуктов различных классов по определенным параметрам. Когда говорят о независимом тестировании ИБ-решений, в первую очередь речь идет о таких организациях.

CNews: Почему недостаточно внутренних тестирований, которые компания проводит самостоятельно?

Евгений Вовк: Мы можем проверить свои технологии и решения только на тех вредоносных или чистых файлах и ссылках, которые имеем в своих потоках и коллекциях, и, соответственно, уже проклассифицировали и учли в процессах детектирования или обеления. А вот тестовые организации способны проверить продукты на угрозах, которые у нас отсутствуют, и угрозах с применением новых техник и подходов. Иногда они находят такие варианты техник и/или вредоносного ПО, которые не попали в нашу коллекцию. Тесты на них и позволяют понять, насколько наши решения готовы отразить все многообразие атак в мире.

CNews: Участие в тестах независимых лабораторий платное?

Евгений Вовк: Да, как таковое бесплатное тестирование практически отсутствует. Помним про «бесплатный сыр». Тестирующие лаборатории даже юридически оформлены как коммерческие организации, они нацелены на прибыль и получают ее в форме платы за вход в тесты. Плата за проведение испытаний служит компенсацией затрат на создание и реализацию методик, проведение контроля результатов, публикацию.

CNews: По каким параметрам оценивают решения кибербезопасности?

Евгений Вовк: Классический перечень параметров зафиксирован в рекомендациях AMTSO (Anti-Malware Testing Standards Organization — международной организации по стандартизации тестирования средств защиты информации). Он включает в себя уровень обнаружения или защиты, уровень ложных срабатываний и производительность. Важны все три параметра, ведь быть успешным только в одном в ущерб остальным достаточно легко. Например, можно детектировать практически все подряд и тем самым эффективно распознавать вредоносное ПО, только при этом и уровень ложноположительных срабатываний окажется огромным. Показывать высокие результаты по каждому из трех параметров одновременно — это вызов, сложная задача для любых защитных решений.

По каждому из параметров разные тестеры используют разные подходы. Например, уровень защиты можно анахронично замерять в режиме on-demand scan (сканирование статично лежащих на диске или флешке файлов без их запуска) без доступа защитных решений к своим облачным сервисам репутации или с доступом. Оба варианта очень ограничены в своей ценности. Ведь пока вредоносное ПО не запускается, оно фактически не может нанести вред системе или данным пользователя. Соответственно, отсутствие детектирования в данном случае не дает полноценного вывода о качестве защиты. По сути, только при запуске можно сделать вывод — смог ли зловред нанести вред (выполнить несанкционированные действия) или был задетектирован и удален, с откатом всех сделанных им действий. В таком случае ИБ-решения могут использовать свои наиболее прогрессивные технологии — защиту на основе анализа поведения и предотвращения эксплуатирования уязвимостей, в том числе с применением машинного обучения и искусственного интеллекта (ML/ИИ).

Производительность защитного решения оценивается через уровень его влияния на время выполнения типичных пользовательских сценариев — копирование файлов, открытие документов, установка и запуск приложений, открытие сайтов, просмотр видео и т.п. При этом каждый сценарий исполняют на нескольких аппаратных конфигурациях и с большим количеством итераций.

Помимо базовых параметров, используются и более сложные. Например, в случае тестирования решений обнаружения и реагирования на угрозы на конечных устройствах ( Endpoint Detection and Response, EDR) важно не просто задетектировать или заблокировать какое-либо отдельное действие атаки, но и сделать это на как можно более раннем этапе атаки, плюс предоставить максимально исчерпывающую информацию (телеметрию) по произошедшему событию.

CNews: Откуда тестовые лаборатории берут зловреды, которые используют в тестах? Как имитируют атаки кибергрупп?

Евгений Вовк: Наиболее распространенный подход — искать и использовать реально существующие киберугрозы. Вариантов поиска масса, но специфика реализации и применение их в той или иной мере является секретом тестовых лабораторий. Приведу лишь наиболее очевидные и существующие годами примеры. Исследователи вводят в поисковике определенные ключевые слова для поиска сайтов, на которых с большой вероятностью обнаружатся вредоносные файлы. Как вариант, нередко пользователи ищут активационные коды, или кряки, к легальному программного обеспечению, а студенты — доклады и рефераты своих предшественников в надежде сэкономить свои силы и время. Вот в таком контенте часто и размещают угрозы. Другой подход — аналитики настраивают спам-ловушки (ряд очевидных почтовых адресов типа admin@, support@, плюс уникальные адреса, которые потом размещаются во всевозможных формах регистрации, анкетах для последующего попадания в базы спамеров) на выделенном почтовом сервере/домене. Рано или поздно на такие адреса начнут прилетать спам-письма, в которых ищут ссылки на фишинговые страницы и т.д. Также тестеры используют многочисленные онлайн-коллекции, обменники и прочее. Там не всегда есть новейшее вредоносное ПО либо бесплатный публичный доступ может быть существенно ограничен, но такой подход имеет право на жизнь.

Второе большое направление у тестеров — создание синтетического ПО, схожего с вредоносным, или стадий кибератак на базе имеющихся в сети знаний о том, как действовали прежде те или иные кибергруппы, какие ими применялись тактики и техники, в том числе в базе знаний MITRE ATT&CK (международной базе знаний о тактиках и техниках, применяемых киберпреступниками). Описания техник тестеры ищут в том числе в отчётах разных ИБ-исследователей.

CNews: Вендоры могут помогать в разработке методики тестирования?

Евгений Вовк: Открытые к мнению индустрии независимые тестовые лаборатории привлекают ИБ-вендоров к обсуждению новых методик тестирования в рамках экспертных совещаний и круглых столов. Они заранее описывают тему и цели планируемого исследования, потенциальные сценарии, приглашают на встречу для обсуждения. После этого самостоятельно оценивают собранные мнения, принимают решения по модификации методики и уведомляют об этом участников. После чего уже можно принять решение, участвовать в подобном исследовании или нет (правда, иногда тестеры самостоятельно выбирают продукты для теста без возможности отказаться). Были ситуации, когда лаборатории прислушивались ко всем мнениям от разных участников одинаково беспристрастно и взвешенно, и мы соглашались участвовать в тесте. А был случай, когда по финальному варианту методики стало ясно, что тестер прислушался ко мнению только одного участника, оставив разумные предложения остальных непринятыми.

Случалось, что в ходе разбора мы совместно с тестовой лабораторией выявляли ошибочный вариант реализации сценария, который приводил к некорректным измерениям. Иногда у вендора возникает потребность сделать тест по новой методике, которая прежде никем не реализовывалась. Например, выпущена новая продуктовая функциональность, работа которой не покрывается существующими тестами. Предварительно продумав нюансы и требования к методике, вендор приходит к тестовой лаборатории с предложениями, совместно обсуждает открытые вопросы. На выходе получается некая уникальная штучная методика. Будучи инициированной заказчиком, методика прорабатывается в том числе и тестером и при полном его согласии о ее непредвзятости. Такие тесты помечаются как заказные (commissioned test), и это лишь отражает тот факт, что тест уникален.

CNews: Как убедиться в корректности результатов тестов и обсуждаемы ли они?

Евгений Вовк: Подавая продукт в тест, мы как вендор заинтересованы в том, чтобы лаборатория была прозрачна в результатах. Мы ожидаем, что тестер предоставит всем участникам исследования возможность изучить вменяемые решению недостатки (пропуски, ложные срабатывания, падение производительности), изучит сформированную нами фактологически аргументированную апелляцию (так называемый фидбек) и примет технически обоснованное итоговое решение. Анализ результатов крайне важен, он позволяет исправить в продукте найденные проблемы (что ж, такое бывает, не существует идеальных решений), помогает выявить ошибки тестирования, которые случаются у всех тестеров (и очень даже нередко). Если в результате анализа предварительного результата подтверждается определенный недостаток (пропуск конкретного зловреда или стадии атаки, или ложное срабатывание), мы подтверждаем его тестеру, соглашаемся с результатом, вносим исправление в детектирующие и защитные технологии. Если же продукт задетектировал зловред во время теста или тестером была допущена ошибка того или иного рода, то оспариваем вменяемый недостаток с предоставлением фактов-доказательств (классификацию объекта с разбором функциональности, логи продукта из теста, другие артефакты теста). Часто предварительно вменяемые единицы и десятки пропусков и/или ложных срабатываний по факту оказываются ошибками классификации или исполнения на стороне тестера. Они признаются тестером на основе предоставленных нами доказательств, и результат анализа становится точнее.

Поэтому ключевой момент — разбирать предварительные результаты и делать «домашнюю работу». Да, это трудозатратный процесс, в нем участвует огромное количество коллег и тратится немало усилий на проверку всех фактов. Но это того стоит. Ведь в конечном счете совершенствуется качество защитных решений, а результаты тестов становятся точнее.

CNews: В исследованиях каких тестеров принимает участие «Лаборатория Касперского»?

Евгений Вовк: Мы стремимся участвовать в широком списке тестов от разных независимых тестирующих лабораторий. Но нам важно, чтобы соблюдались следующие критерии: качественная современная методология (отражающая реальный ландшафт угроз и выявляющая истинные способности защитных решений), прозрачность результатов через процесс фидбека, непредвзятость (отсутствие фактов ангажированности к кому-то из участников или третьей стороне) и выпуск отчетов на английском языке. В настоящее время этим критериям соответствуют тесты четырех лабораторий: AV-TEST, AV-Comparatives, SE Labs, Testing Ground Labs. Они остаются на текущий момент непредвзятыми и независимыми, поддерживают свои методики на высоком уровне, создавая новые по мере появления новых угроз и типов защитных решений, обеспечивают прозрачность результатов.

CNews: Какие решения отдает для тестирования «Лаборатория Касперского» и какие награды они получили?

Евгений Вовк: Мы тестируем оба сегмента решений — и корпоративный, и потребительский (B2B, и B2C). В частности, очень гордимся тем, что решение из новой линейки для защиты цифровой жизни домашних пользователей — Kaspersky Premium — в первые же годы своего существования получило высшие награды — «Продукт года» (Product of the Year 2023) и далее Top Rated Product 2024 и 2025 от AV-Comparatives, «Лучшее решение для домашних пользователей» (Best Home Security 2024 + Winner Consumer Endpoint Windows 2025) и от SE Labs, «Лучшая защита от продвинутых угроз» (Best Advanced Protection 2023) и «Лучшая защита без ложных срабатываний» (BEST Usability 2023 & 2024 & 2025), «Лучшая защита» (BEST Protection 2024), «Лучшая защита MacOS систем» (BEST MacOS Security 2023 & 2024 & 2025) от AV-TEST.

В 2024 году решение Kaspersky Security для бизнеса продемонстрировало 100%-ю защиту в тестах AV-Comparatives на защиту от несанкционированного доступа к учётным данным. Продукт был одобрен тестовой лабораторией за защиту от неавторизованного внедрения в процессы. В 2025 году решение продемонстрировало высокую устойчивость к направленным на него атакам, обеспечив непрерывность защиты пользовательских систем и данных. Также на протяжении всего 2024 года и трех кварталов 2025 года продукт показывал лучший результат Total Accuracy Rating во всех квартальных тестах SE Labs и заслужило годовую награду «Лучшее решение для корпоративных пользователей» (Winner Enterprise Endpoint Windows 2025). Стоит так же отметить заслуженные награды «Лучшая защита от продвинутых угроз» (BEST Advanced Protection 2023 & 2024 & 2025) и «Лучшая защита без ложных срабатываний» (BEST Usability 2023 & 2024 & 2025), «Лучшая защита» (BEST Protection 2024) от AV-TEST.

Решение Kaspersky EDR Expert было высоко оценено лабораторией за достижение 100%-го совокупного показателя активного реагирования (cumulative Active Response Rate) в тестировании EDR-решений на качество обнаружения и предотвращения сложных угроз (Endpoint Prevention and Response Test) и было сертифицировано в 2022-2025 годах и награждено статусом «Стратегического лидера» в третий раз подряд. Также решение продемонстрировало отличные способности детектирования стадий продвинутых угроз в ходе EDR Detection Certification Test и было сертифицировано в 2025 и 2026 годах.

Отдельно стоит упомянуть про Kaspersky Industrial Cyber Security for Nodes, которое успешно предотвратило все сценарии атак и связанные с ними действия в полностью автономном режиме и не допустило ложных срабатываний при обновлении легитимных приложений в тестировании систем защиты для операционных технологий и получило сертификат 2026 года.

Таким образом можно уверенно говорить о том, что мы стараемся тестировать наши защитные продукты регулярно и в разных тестах различных независимых лабораторий.

CNews: Как все же понять на основании многообразия существующих тестов, чьи продукты лучшие?

Евгений Вовк: Базовый подход выглядит просто: смотрим на результат конкретного теста и делаем вывод по списку продуктов из шорт-листа. Но сразу возникает несколько моментов, которые всё усложняют. Например, в некотором регулярно выполняемом тесте результаты у части продуктов меняются от раунда к раунду при стабильности результатов других решений. То есть следует обращать внимание не только на результат в крайнем тесте, но и на стабильность результатов во времени. При этом другие регулярные исследования обладают своими спецификами (например, выполняются раз в квартал или раз в год, и состоят из небольшого количества тестовых кейсов). Более того, некий продукт может нерегулярно участвовать в регулярных тестах, и не во всех остальных. При этом одни тесты методологически проще для прохождения (например, сертификация только в режиме сканирования по запросу, on-demand scan), а другие — сложнее, с применением сложных атак. Получается, что бессмысленно смотреть только на один тест или тип тестов и сравнивать по ним интересующие решения, надо учитывать сразу комплекс тестов за промежуток времени. Список нюансов можно продолжать. Главный вопрос в этом случае — и как быть, как понять, какие защитные решения/технологии от какого производителя лучше?

Задавшись этим вопросом некоторое время назад, мы разработали собственный подход и назвали его метрикой ТОП-3. Она рассчитывается для каждого производителя отдельно и показывает, насколько успешно решения компаний-разработчиков защитных решений проходили независимые тесты в течение календарного года. Такой подход объективнее и нагляднее, так как оценка рассчитывается исходя из результатов участия компаний сразу во всем многообразии доступных независимых тестов и покрывает описанные выше «но».

По нашему мнению, если какой-либо производитель участвовал в одном тесте в течение одного лишь месяца, этого недостаточно для комплексной оценки эффективности технологий. А вот если он участвовал в тестах разных тестовых лабораторий на протяжении календарного года (и более того, не только одного года и без перерывов), при этом показывает стабильность результатов у различных тестеров и для разных продуктов, то можно говорить о проверенных и подтвержденных качестве и стабильности стека детектирующих и защитных технологий конкретного вендора, соответственно и о способности его продуктов реагировать на новые угрозы при сдерживании уровня ложных срабатываний и достаточной производительности. Это в конечном счете и интересует как домашних пользователей, так и средний и крупный бизнес, где цена ошибки от выбора решения может быть очень дорогой.

Поделиться

Короткая ссылка