Поделиться
Crowdstrike ломал системы на Debian Linux прежде чем устроить всемирный разгром ОС Windows. Выводы сделаны не были
Недавний глобальный сбой, затронувший несколько миллионов Windows-компьютеров по всему миру по вине Crowdstrike, вероятно, является не первым эпизодом в истории ИБ-вендора, ставящим под сомнение качество оказываемых им услуг. По некоторым сведениям, похожий, но менее резонансный инцидент весной 2024 г. затронул инфраструктуру клиентов компании под управлением Linux.Повторение собственных ошибок
Американский поставщик ПО для обеспечения кибербезопасности Crowdstrike уже не в первый раз выпускает обновление своего продукта Falcon Sensor, приводящее к выходу из строя инфраструктуры клиентов, пишет TechSpot.
Напомним, что 19 июля 2024 г. произошел глобальный сбой информационных систем в самых разных отраслях –из-за него, в частности, некоторые крупные американские и европейские авиаперевозчики были вынуждены полностью или частично «приземлить» принадлежащие им воздушные флоты. Как оказалось, проблема скрывалась в обновленной версии приложения Falcon Sensor ИБ-компании Crowdstrike, которая вызывала «синий экран смерти» (BSoD) Microsoft Windows.
Инцидент Debian-машинами
Как рассказал пользователь портала Hacker News под псевдонимом JackC, серьезные происшествия, спровоцированные распространением заранее не протестированных апдейтов ПО Crowdstrike, случались и раньше. Более того, он лично оказался вовлечен в устранение последствий инцидента такого рода.
Пользователь не уточнил название организации, в которой он работает, лишь пояснив, что это техническая лаборатория, относящаяся к гражданскому сектору экономики и управляемая крупной компанией. Именно по инициативе руководства последней функцию по защите «разношерстной» инфраструктуры организации, работающей под управлением одного из наиболее популярных дистрибутивов Linux – Debian, было решено возложить на софт Crowdstrike.
19 апреля 2024 г. Crowdstrike выпустила обновление Falcon Sensor, которое оказалось несовместимым с актуальной версией Debian Linux стабильной ветки, используемой в организации JackC, поэтому ее специалистам пришлось «пропатчить» ОС, как они это делали в подобных ситуациях множество раз. Процедуры применения патча и обновления ПО CrowdStrike на первый взгляд прошли совершенно гладко и в работе системы каких-либо аномалий не наблюдалось. Однако спустя неделю совершенно неожиданно для администраторов весь парк Linux-машин организации одномоментно «упал», причем попытки заставить засбоившие компьютеры работать при помощи перезагрузки оказались тщетными.
Разбираясь в причинах сбоя, специалисты компании подключили один из системных дисков пострадавшей Linux-машины к другому компьютеру и изучили логи (журналы системных операций). Анализ логов показал, что предполагаемым виновником является ПО Crowdstrike. В результате было принято решение удалить его с одного из затронутых сбоем серверов, чтобы проверить данную гипотезу. Удаление действительно помогло – компьютер без проблемного софта сразу же успешно загрузился. Повторная установка софта Crowstrike в дальнейшем вновь приводила к отказу.
Взаимодействие со службой поддержки Crowdstrike
Лишь удостоверившись в том, что источником проблемы на самом деле является ПО Crowdstrike, специалисты компании обратились в службу поддержки ИБ-вендора через интернет. Ответ был получен спустя сутки – в нем предлагалось предоставить дополнительные доказательства того, что сбой в организации вызван некорректной работой Falcon Sensor по вине вендора. Как отмечает JackC, на следующий день служба поддержки признала факт наличия ошибки в продукте. По прошествии недели вендор сообщил о том, что работа очередной версии Falcon Sensor не была протестирована на совместимость с конфигурацией ПО, под управлением которого функционировала инфраструктура клиента.
По итогам разбирательства JackC с коллегами пришли к выводу о том, что предотвратить возникновение подобных инцидентов в будущем не представляется возможным из-за порочного подхода к доставке обновлений, выбранного Crowdstrike, который он описал следующей фразой: «Ставим софт на ваши машины когда хотим, вне зависимости от степени срочности, не тестируя его».
Примечательно, что, как и в случае с недавним глобальным сбоем, релиз «проблемного» апдейта продукта Crowdstrike состоялся накануне выходных – в пятницу 19 апреля 2024 г.
Ошибки совместимости с RHEL и производными
К рассказу JackC, не уточняющего свое место работы, можно и нужно относиться с определенной долей скепсиса – все-таки о деталях происшествия известно исключительно с его слов. Однако существуют и другие факты, указывающие на то, что обновление ПО CrowdStrike на Linux-машинах, выпущенное весной 2024 г., могло вызывать серьезные сбои.
Так, в базе знаний портала Red Hat упоминается возможность возникновения критической ошибки ОС (kernel panic) Red Hat Enterprise Linux (RHEL) версии 9.4 при загрузке ядра 5.14.0-427.13.1.el9_4.x86_64, вызванной процессом falcon-sensor. На аналогичные проблемы также жаловались пользователи Rocky Linux 9.4 (один из множества форков RHEL) на официальном форуме проекта в середине мая 2024 г.
Злоумышленники не дремлют
Агентство по кибербезопасности и защите инфраструктуры США (CISA) 19 июля 2024 г. призвало организации, пострадавшие в результате инцидента с ПО Crowdstrike, проявлять особую бдительность. По данным ведомства, на фоне возникшего хаоса активизировались киберпреступники, рассылающие от лица специалистов Crowdstrike фишинговые электронные письма, в которых предлагается «починить» вышедшие из строя системы за определенную сумму в криптовалюте.
Тем временем Crowdstrike выпустила исправление для Falcon Agent, а корпорация Microsoft 20 июля 2024 г. предложила бесплатный инструмент, который позволяет «починить» выведенные из строя в результате инцидента Windows-машины, загрузившись с USB-накопителя.
Поделиться
Короткая ссылка
