78 минути грешка, пет дни срив: какво учат CrowdStrike и Delta за възстановяването

Грешката продължи 78 минути и беше на друга компания. Възстановяването продължи от един до пет дни и то вече беше на всеки поотделно. На 19 юли 2024 г. един и същ срив удари няколко авиокомпании в Съединените щати. До следващия понеделник повечето работеха почти нормално. Delta Air Lines отмени близо 7000 полета за пет дни.

Защо един и същ срив струваше на едни един уикенд, а на друга пет дни? Този въпрос остава отворен и Delta и CrowdStrike се борят за него в съда. Delta казва, че е зависела повече от всеки друг от засегнатата технология; CrowdStrike — че възстановяването са удължили реакцията и инфраструктурата на самата Delta. Тази статия не решава спора. Онова, на което случаят учи всяка компания, независимо кой ще спечели, е, че колко време ще ѝ отнеме да се върне, до голяма степен се решава преди срива, с това, което е оставила подготвено.

Това е документираната история, час по час, с онова, което казва всяка страна: Delta и CrowdStrike, които се съдиха взаимно, и Microsoft, която отговори с писмо. Накрая — какво учи това всяка компания, която зависи от системите си, а днес това са почти всички.

Четвъртък, 10:09 вечерта в Мексико Сити

CrowdStrike продава програма за сигурност, наречена Falcon. Сензорът ѝ се инсталира на компютрите и сървърите, които компанията клиент иска да защити, и следи какво става вътре в операционната система, за да открива атаки. За да разпознава нови техники, той често получава малки актуализации на съдържанието: те не променят програмата, само я учат какво да търси.

В петък, 19 юли 2024 г., в 04:09 по универсално време (UTC), CrowdStrike публикува една от тези актуализации за устройствата с Windows [1]. На източното крайбрежие на Съединените щати беше 12:09 след полунощ [8]. В Мексико Сити — 10:09 вечерта в четвъртък.

Актуализацията носеше два нови шаблона за следене на това как програмите комуникират помежду си вътре в Windows. Единият от тях изискваше да се провери стойност, която никой не беше проверявал дотогава. Анализът на първопричината, който CrowdStrike публикува на 6 август, го обяснява така: този тип шаблон, създаден през февруари 2024 г., дефинираше 21 входни полета, но кодът, който го изпълняваше, му подаваше само 20 [2]. Месеци наред нищо не се случи, защото тестовете и предишните шаблони използваха заместващ символ в поле 21: «всяка стойност става». Шаблонът от 19 юли беше първият, който наистина сравняваше с това поле [2].

Програмата се опита да прочете стойност номер 21 извън паметта, отделена за 20-те, които получаваше, и Windows спря [1][2]. Инструментът, който трябваше да валидира съдържанието, преди да го изпрати, имаше собствена грешка и го пропусна [1]. Онова, което последва, видяха милиони хора: синият екран.

В 05:27 UTC, 78 минути по-късно, CrowdStrike изтегли актуализацията [1]. Устройствата, които се свързаха след това, вече не я получиха. Но онези, които я бяха получили, не можеха да изтеглят поправената версия, защото се сриваха, преди да довършат зареждането си.

Петък: 8,5 милиона сини екрана

На следващия ден Microsoft оцени обхвата: 8,5 милиона устройства с Windows, «по-малко от един процент от всички машини с Windows» (собствен превод) [3]. Малко като процент и огромно като последици. Microsoft го обясни така: икономическото и общественото въздействие отразяваше факта, че CrowdStrike се използва от компании, които поддържат много критични услуги [3]. Авиокомпаниите бяха сред тях.

Поправката съществуваше от ранни зори. Трудното беше да се приложи. Инструкциите на Microsoft изискваха, устройство по устройство, да се стартира в безопасен режим от екрана за възстановяване, да се влезе в папката на CrowdStrike, да се изтрият файловете C-00000291*.sys и да се рестартира [4]. И имаше една подробност, която превърна минутите в часове: на устройствата с диск, криптиран с BitLocker, инструмента за криптиране на Windows, това стартиране можеше да поиска ключа за възстановяване [4][5]. Дълъг ключ, различен за всяко устройство, който някой трябваше да е съхранил на място, до което да може да се стигне, докато всичко останало е паднало.

С други думи, на много устройства поправката изискваше някой да стои пред машината. По-късно Microsoft публикува инструмент на USB памет, който автоматизираше част от поправката, но и него трябваше да се свързва устройство по устройство [4]. Delta щеше да твърди в иска си, че в нейния случай устройствата «е трябвало да бъдат поправяни ръчно, едно по едно, и не са могли да бъдат поправени дистанционно» (собствен превод) [9]. Главният ѝ изпълнителен директор, Ед Бастиан, каза пред CNBC, че авиокомпанията е трябвало да рестартира ръчно 40 000 сървъра [10].

CrowdStrike отчете бързо възстановяване в клиентската си база: над 97 % от сензорите за Windows отново бяха онлайн на 24 юли и около 99 % на 29 юли, в сравнение с предходната седмица [5][2]. Общите цифри изглеждаха добре. Но средната стойност скриваше онзи, който не успяваше да се вдигне.

Събота и неделя: едни се вдигат, друга — не

Авиокомпаниите живеят от пъзел, който се нарежда всеки ден: кой самолет по кой маршрут лети, кой пилот и кой екипаж са на всеки полет и дали всеки човек спазва часовете за почивка, които изисква законът. Ако системата, която нарежда този пъзел, спре, самолетите може да са готови и въпреки това да не излитат, защото никой не знае със сигурност кой къде е.

Няколко засегнати авиокомпании отмениха полети в петък. Важното е какво стана след това. Според отчета на агенция AP от понеделник, 22 юли, United, втората най-силно засегната, беше отменила близо 1500 полета от петък насам, но в онзи понеделник, към средата на сутринта, бяха само 17. American, Spirit, Frontier и Allegiant бяха почти в нормален режим. Southwest и Alaska, които не използват CrowdStrike, имаха малко отмени [11].

Delta, напротив, имаше над 5500 отменени полета от петък насам, а в понеделник отмени още поне 700. Този ден Delta и регионалните ѝ авиокомпании съставляваха близо две трети от всички отмени в света, «включително почти всички в Съединените щати» (собствен превод) [11].

Понеделник: системата, която не смогваше да навакса

Какво се проваляше, щом компютрите вече се поправяха? Delta го обясни в онези дни със собствени думи.

Бастиан написа на клиентите си, че един от инструментите им за проследяване на екипажите е бил засегнат и не може да обработи огромния обем промени, предизвикан от срива. При пълни самолети в разгара на лятото, със заетост над 90 %, това «ограничава възможностите ни за пренасочване на пътниците» (собствен превод) [11]. На служителите си каза, че остават «още няколко дни», докато «най-лошото остане категорично зад нас» (собствен превод) [11].

Директорът по информационните технологии на Delta, Рахул Самант, беше по-точен. Според AP той каза, че двете приложения, които най-трудно се вдигат отново, са онова, което управлява трафика на летището в Атланта, главния ѝ оперативен център, и онова, което разпределя пилотите и стюардите по полетите. Второто вече работеше, но «трябва да наваксаме» (собствен превод); а според AP Самант е казал, че продължават да изникват нови проблеми [11].

Тук е сърцевината на случая. Компютрите могат да се поправят един по един. Но система, която координира хиляди хора, не се връща към нормалното само защото е включена: тя трябва да поеме всички промени, натрупани, докато е била спряла, а всеки отменен полет поражда още промени. Това е опашка, която расте, докато човек се опитва да я изпразни.

Вторник: идва регулаторът

Във вторник, 23 юли, Министерството на транспорта на Съединените щати (DOT) започна разследване срещу Delta. Според AP министерството е заявило, че го е започнало, след като е видяло продължаващите широко разпространени смущения в полетите на Delta, «и сигналите за тревожни провали в обслужването на клиентите» (собствен превод) [12]. Министърът на транспорта, Пийт Бутиджидж, вече беше разговарял с Бастиан и каза, че ведомството му е получило «стотици оплаквания» (собствен превод) [11].

В сряда, 24-ти, в 7:45 сутринта, Бастиан публикува ново писмо до клиентите: отмените и закъсненията във вторник бяха спаднали с 50 % спрямо понеделник, той очакваше минимални отмени в сряда и нормален четвъртък. Предложи мили и ваучери за пътуване «като допълнителен жест на извинение» (собствен превод) [13].

Към 31 юли Бастиан каза пред CNBC, че през предходните седем дни Delta е имала по-малко от 100 отмени при над 30 000 полета [10]. Операцията се беше върнала. Сметката едва започваше да се смята.

Сметката

В доклада си до борсовия регулатор от 8 август Delta посочи цифрите: около 7000 отмени за пет дни [6]. Пряк ефект върху приходите от 380 милиона долара, най-вече от възстановени суми и обезщетения в брой и в мили, и 170 милиона допълнителни разходи, главно възстановяване на разходи на клиенти и разходи за екипажи. В замяна, заради полетите, които не се осъществиха, похарчи около 50 милиона по-малко за гориво [6]. Нетно — около 500 милиона долара.

«Оперативно смущение с такава продължителност и мащаб е неприемливо и нашите клиенти и служители заслужават нещо по-добро» (собствен превод), каза Бастиан в същия доклад [6]. Засегнатите хора бяха над един милион, според иска на Delta [9]; 1,3 милиона, според Reuters [7].

Три версии на един и същ срив

Оттук нататък историята се превръща в спор. Добре е да се чете като това, което е: три страни с адвокати, всяка разказваща своята версия, но един-единствен съдебен спор, между две страни. Delta и CrowdStrike се съдиха взаимно в един и същ ден, всяка пред различен съд. Microsoft отговори с писмо и в тези искове не фигурира като страна. Следващото е взето от собствените им писма и искове.

Версията на Delta. На 29 юли адвокатът ѝ, Дейвид Бойс, изпрати на CrowdStrike писмо, в което ѝ отправяше претенции за инцидента и я заплашваше със съд [14]. Два дни по-късно, на 31 юли, Бастиан каза пред CNBC: «Не можете да влезете в критично важна операция, работеща 24/7, и да ни кажете, че имате бъг» (собствен превод) [10]. Обясни защо Delta е пострадала повече: «Ние сме, с голяма разлика, най-големите потребители и на двете [Microsoft и CrowdStrike] в индустрията и затова ни удари най-силно по отношение на способността ни да се възстановим» (собствен превод) [10]. Месеци по-късно, в иска си, заведен на 25 октомври 2024 г. в щатския съд на окръг Фълтън, в Джорджия, Delta твърди, че не е имала включени автоматични актуализации и че актуализацията все пак е стигнала до нея, и че «ако CrowdStrike беше тествала Дефектната актуализация дори на един-единствен компютър преди внедряването ѝ, компютърът щеше да се срине» (собствен превод) [9]. Претендира над 500 милиона долара за компютърно проникване, нарушение на договор и груба небрежност, наред с други основания [9].

Версията на CrowdStrike. Адвокатът ѝ, Майкъл Карлински, отговори на това писмо на 4 август. Според писмото му часове след инцидента CrowdStrike е предложила помощ на Delta; главният ѝ изпълнителен директор е предложил персонал на място на този на Delta и «не е получил отговор»; при последващото запитване са му казали, че «ресурсите на място не са необходими» (собствен превод) [14]. Поиска Delta да обясни «защо конкурентите ѝ, изправени пред сходни предизвикателства, възстановиха операциите си много по-бързо», и предупреди, че отговорността ѝ е «ограничена по договор до едноцифрена сума в милиони» (собствен превод) [14]. В собствения си иск, заведен в същия ден, 25 октомври, пред федералния съд, CrowdStrike твърди, че другите големи авиокомпании са се върнали към почти нормална работа на 20 юли и че именно «собствената реакция и ИТ инфраструктура на Delta» (собствен превод) са удължили възстановяването ѝ [8].

Версията на Microsoft. Delta беше обявила, че ще предяви претенции и към Microsoft [6], и Microsoft не замълча. Адвокатът ѝ, Марк Чефо, писа на 6 август, според съобщенията на CNBC и NBC News. Писмото казва, че Microsoft е предлагала безплатна помощ всеки ден от 19 до 23 юли и че Delta я е отклонила; че на 22 юли служител на Delta е отговорил «Всичко е наред…»; че главният изпълнителен директор на Microsoft, Сатя Надела, е писал на Бастиан на 24 юли и не е получил отговор; и че системата за проследяване на екипажите не е работела на Windows, нито на Azure, а е била обслужвана от «други доставчици на технологии, като IBM». И завърши: «Delta, за разлика от конкурентите си, явно не е модернизирала своята ИТ инфраструктура» (собствен превод) [15].

Репликата на Delta. Авиокомпанията отговори, че от 2016 г. е инвестирала «милиарди долари» (собствен превод) в системи [15]. Бойс писа отново на 8 август: «Няма основание, никакво, да се внушава, че Delta по някакъв начин е отговорна за дефектния софтуер» (собствен превод) [16]. Според специализираното издание Skift Delta освен това твърди, че предложението за помощ на място е дошло, когато вече е била възстановила повечето от критичните си системи [16].

Докъде стигна всичко

Повече от две години след срива съдебният спор между Delta и CrowdStrike продължава.

През май 2025 г. съдия Кели Лий Елърби от съда на окръг Фълтън отхвърли претенциите на Delta за умишлено въвеждане в заблуждение и за измама чрез премълчаване, но допусна да продължат тези за небрежност, включително теорията за груба небрежност, и тази за компютърно проникване [17]. Адвокатът на CrowdStrike каза тогава, че най-лошият сценарий за клиента му би бил плащане «в рамките на едноцифрена сума в милиони» (собствен превод) [17]. В тримесечния си доклад до борсовия регулатор от август 2026 г. CrowdStrike съобщи, че по иска на Delta в окръг Фълтън продължава фазата на разкриване (discovery), в която страните си искат и разменят доказателства преди процеса [18]. Тоест все още нямаше нито съдебен процес, нито присъда.

Регулаторът вече приключи своята част. Според Reuters, които се позоваха на материал на Politico, DOT е закрило разследването без глоба. Решението е взето през ноември предходната година и е станало известно през юни 2026 г. Говорител заяви, че проверката е установила, че пътниците на Delta са получили «своевременно възстановяване на суми, адекватна помощ с багажа» (собствен превод) и подходяща помощ за пътниците с увреждания [7].

Кой колко трябва да плати, ще реши съдът. Тази статия не взема страна по това. Онова, което можем да направим, е да погледнем това, което не е предмет на спор, и да попитаме на какво учи.

Какво учи този случай

1. Грешката беше чужда; възстановяването беше собствено

Нито една от трите версии не оспорва основното: срива го въведе доставчик и той удари много компании едновременно. Различно беше времето, което отне на всяка да се върне. CrowdStrike може да отговаря за грешката си пред съда. Но дните, които отне на операцията, ги платиха пътниците и самата авиокомпания, и това време никой не го връща. Delta претендира 500 милиона; CrowdStrike казва, че договорът ѝ ограничава онова, което би платила, до по-малко от десет. Какъвто и да е резултатът, договорът с доставчика не замества способността да се вдигнете отново.

Въпросът за един комитет не е «ами ако нашият доставчик се провали?». А е: когато се провали, колко време ще ни отнеме на нас?

2. Не се поправя онова, което не е описано

За да поправите на ръка, един по един, 40 000 сървъра, колкото според Бастиан Delta е трябвало да рестартира [9][10], първо трябва да знаете кои са, къде са, кой има достъп до всеки от тях и в какъв ред е добре да се вдигат. А за онези с криптиран диск — къде е ключът на всеки от тях [4][5]. Ако тези ключове живеят в система, която също е паднала, възстановяването спира, преди да е започнало.

Един опис, полезен при извънредна ситуация, не е таблица с имена на сървъри. Той казва какво прави всяко устройство, от какво зависи, кой отговаря за него, как се влиза, когато мрежата или директорията на потребителите не отговарят, и какво се вдига първо. Пише се на спокойствие и се съхранява там, където може да се прегледа, когато всичко останало е изключено.

3. Онова, което се възстановява накрая, не са компютрите

Случаят го показва ясно: компютрите на Delta постепенно се поправяха и въпреки това тя продължаваше да отменя полети. Според самата Delta системата, която разпределя екипажите, трябваше да поеме планина от натрупани промени [11]. Във версията ѝ тясното място беше бизнес система, а не машина.

Затова един план за възстановяване не свършва с «сървърът вече се включва». Той трябва да отговори кои бизнес системи се връщат първи, колко време им отнема да наваксат натрупаното, какво се прави на ръка междувременно и кой решава кои операции се спират, за да престане опашката да расте.

4. Процедура, която никога не е репетирана, е хипотеза

В писмото от 4 август CrowdStrike поиска от Delta да съхрани, наред с други неща, плановете си за резервиране, възстановяване и непрекъснатост на дейността, «както и всички свързани с тях тестове на тези планове» (собствен превод) [14]. Не знаем какво е имала написано Delta, нито какво е репетирала; точно това може да разкрие процесът. Но въпросът на адвоката е правилният за всяка компания: не стига да имате плана; важно е кога е тестван за последен път и колко време е отнел.

Една репетиция открива онова, което хартията не казва: ключа за възстановяване, който никой не намира, достъпа, който зависи от същата паднала система, стъпката, която само един човек знае как се прави.

5. Екип, който вече познава процедурата

Ръчната поправка на хиляди устройства изисква много ръце, които знаят точно какво да правят, с ясни инструкции и без импровизации. При извънредна ситуация всеки човек, който трябва да научи процедурата в същия ден, е изгубено време. Екипите, които се възстановяват бързо, не са непременно най-големите, а онези, които вече знаят кой какво прави.

6. Решете предварително кой влиза да помага

CrowdStrike и Microsoft казват, че са предложили помощ и че Delta я е отклонила; Delta казва, че помощта е дошла късно [14][15][16]. Отвъд въпроса кой е прав, епизодът оставя практически урок: в разгара на кризата приемането на външна помощ означава да дадете достъп, да обясните средата и да координирате нови хора, а това струва време. Това решение е добре да се вземе предварително: кой може да влезе, с какъв достъп, кой го координира и кога се задейства.

Пет въпроса за следващия ви комитет

1. Ако утре доставчик изведе от строя половината ни компютри, колко време ще ни отнеме да се върнем? Знаем ли го, защото сме го измерили, или защото го предполагаме?
2. Имаме ли опис, който работи, когато всичко е изключено? Кои устройства, от какво зависят, как се влиза и в какъв ред се вдигат.
3. Къде са ключовете за възстановяване на криптираните дискове и могат ли да се прегледат, ако директорията на потребителите е паднала?
4. Коя бизнес система би била нашата «система за екипажите»? Онази, която, дори машините да се върнат, има нужда от дни, за да навакса.
5. Кога за последен път репетирахме възстановяването, кой участва и какво се провали?

Ако два или повече отговора са «не знам», рискът не е в доставчика: той е в онова, което остава да се подготви.

Откъде да започнете тази седмица

Не е нужен голям проект. Изберете една критична система, онази, чието спиране за един ден би ви заболяло най-много, и поискайте от екипа си три неща в писмен вид: списъка с устройствата, от които зависи, стъпките, за да се вдигне от нулата, ако нищо друго не работи, и името на човека, който ги изпълнява. След това го помолете да ги следва в тестова среда, с хронометър. Колкото време отнеме, и онова, което липсва на хартията, е вашата отправна точка.

Какво прави Hábil: как може да ви помогне

Hábil не е участвала в инцидента с CrowdStrike, нито във възстановяването на Delta. Следващото е онова, което правим по принцип, за два момента: деня на срива и месеците преди него.

Когато нещо критично падне, нашият Екип SWAT влиза с метод: първо ограничава щетите и стабилизира падналото, след това открива какво се е случило и от кога, коригира първопричината и възстановява операцията на стъпки, за да не създаде друг проблем. Накрая ви предава технически доклад с доказателствата: какво е открито, какво е направено, как е проверено и какво остава от ваша страна. Работим с вашия екип, не вместо него, в облака или във вашия център за данни.

А преди спешния случай, с Изграждане на инфраструктура ви помагаме да оставите солидна и документирана основа, така че в деня, в който нещо се провали, екипът ви да знае какво да вдигне първо и как.

Първият разговор е безплатен: целта му е да установи коя система би ви заболяло най-много да загубите, какво имате днес, за да я вдигнете, и какво ви липсва. Пишете ни в WhatsApp.

Често задавани въпроси

Кибератака ли беше?

Не. Delta, CrowdStrike и Microsoft го третират като дефектна актуализация. Анализът на CrowdStrike описва грешка в програмирането и във валидирането на собственото ѝ съдържание, а не проникване [1][2].

Защо не се поправи дистанционно, щом грешката беше коригирана за 78 минути?

Защото засегнатите устройства се сриваха, преди да довършат зареждането си, и не успяваха да изтеглят поправката. На много от тях поправката изискваше човек пред машината: стартиране в безопасен режим, изтриване на един файл и, при криптираните дискове, въвеждане на ключ за възстановяване [4][5]. Delta твърди, че в нейния случай не е имало начин това да се направи дистанционно [9].

Защо на Delta ѝ отне повече време, отколкото на други авиокомпании?

Точно това е предмет на спора. Delta казва, че е зависела повече от всеки друг от засегнатата технология и че системата ѝ за екипажите не е могла да се справи с обема промени [10][11]. CrowdStrike и Microsoft отдават бавността на инфраструктурата и на реакцията на Delta [8][15]. Ще реши съдът.

Изложена ли е компанията ми на риск, ако не използва CrowdStrike?

Всяка компания, която получава автоматични актуализации от доставчик, било то за сигурност, за операционната система или за приложение, зависи от това актуализацията да мине добре. Полезният въпрос не е кой доставчик използвате, а колко време би ви отнело да се възстановите, ако една актуализация се провали.

Не ме ли защитава договорът с доставчика?

Може да ви даде право на претенция, но не ви връща операцията. В този случай CrowdStrike твърди, че отговорността ѝ е ограничена по договор до едноцифрена сума в милиони долари, срещу над 500-те милиона, които претендира Delta [9][14].

Какво е добре да се подготви първо?

Опис на една критична система, който може да се прегледа, когато всичко е изключено, писмена процедура за възстановяване, репетирана с хронометър, и имената на хората, които я изпълняват.

Цитатите са преведени от английски (собствен превод). Версиите на Delta, CrowdStrike и Microsoft са онова, което всяка страна твърди в писмата и исковете си, а не доказани факти. Състоянието на делото е според последния тримесечен доклад на CrowdStrike (август 2026 г.), прегледан на 21 октомври 2026 г.