Ne Mac, ne pan… ti by zavolali mně první. Pořád si pamatuju, když mě Howard najímal. Bylo to v roce 2009, hned po finančním krachu.
Pochopil, že infrastruktura není glamour, ale že drží pohromadě všechno ostatní. Chlapík asi nikdy neviděl kolaps sítě ve tři ráno, nikdy nemusel vystopovat kabel přes patnáct let přístaveb a úprav, aby našel to jediné spojení, co způsobovalo občasné výpadky. Cainey jen přikyvoval a dělal si poznámky do tabletu, nejspíš si psal něco jako “starý chlap nerozumí pokroku” nebo něco podobně povýšeného. Říkal, že bychom se měli soustředit na řešení budoucnosti místo údržby starých závislostí.
O tom, jaké to je, být brán jako člověk, ne jako kus vybavení, který přežil svou užitečnost. Každý systém, co jsem za ty roky postavil, byl propojený s každým dalším systémem, a ty spoje nebyly popsány v žádné příručce, kterou by Kaney uměl přečíst. Snažil jsem se to celé zdokumentovat, ale vždycky existovaly výjimky, vždycky podivné zvláštnosti, které dávaly smysl jen tomu, kdo u toho byl, když se něco rozbilo ve tři ráno. Třeba autentifikační server, který se musel restartovat v přesném pořadí, nebo záložní databáze, co fungovala správně jen po vyčištění dočasných logů, nebo síťový switch v budově C, který občas ztrácel spojení bez zjevného důvodu.
Nebyly to vyloženě chyby. Byly to důkazy patnácti let krizového řízení, půlnočních oprav a práce s tím, co jsme měli, místo s tím, co jsme potřebovali. Rozdíl je v tom, že většina firem nakonec vymění systémy, co nasbírají moc jizev. On ale byl dost dlouho na to, aby věděl, že nejspolehlivější řešení není vždy to nejelegantnější.
Někdy systém funguje, protože ho někdo, kdo zná jeho zvláštnosti, hlídá, ne proto, že je perfektně navržený. Takže jsem udělal, co by udělal každý rozumný člověk, kterého má nahradit stroj. Bylo to zahrabané v sekci 7. 3.
2 technických specifikací, v části, kterou by si pořádně přečetl jen někdo s mojí úrovní prověření. Nedal jsem to najevo, nezvýraznil to, nezvětšil písmo, nedal to do vlastní sekce. Jen jsem to vsunul mezi standardní formulace o záložních postupech a pravidlech uchovávání dat. Obnovy smluv klientů, dohody s dodavateli, servisní smlouvy – všude, kde to šlo, jsem to přidal do požadavků na infrastrukturu.
Pokaždé to právní oddělení orazítkovalo jako standardní jazyk. Pokaždé to klient podepsal bez řečí. Ne že bych to plánoval použít, rozumíte mi. Nainstalovali monitorovací software, který dokázal sledovat stovky metrik v reálném čase, ale nedokázal rozlišit hardwarovou poruchu od plánovaného okna údržby.
On byl ve firmě skoro tak dlouho jako já, chápal rozdíl mezi teoretickým zlepšením a praktickým řešením. Začali jsme mít tiché hovory u kávy, takové, kde neřeknete, co si opravdu myslíte, ale oba to stejně víte. “Pořád o tom přemýšlíš? ” zeptal se jednou ráno, míchaje cukr do kávy, jako by to vyžadovalo jeho plnou pozornost.
“Pořád,” odpověděl jsem. “Já taky, i když slyším, že už se vlastně neptají. ”
Psaní na zdi viděl každý, kdo byl v korporátu dost dlouho na to, aby uměl číst mezi řádky. První byl nárůst teploty v racku C.
Systém umělé inteligence to zalogoval jako běžný externí provoz, protože to zůstalo pod objemovými prahy, které Cainův tým nastavil. Ale já jsem tenhle vzorec už viděl. Pomalý, metodický, trpělivý. Takové skenování trvá týdny, ale dá útočníkům kompletní plán infrastruktury, než udeří.
Většina automatických systémů to přehlédne, protože hledají dramatické špičky nebo zřejmé signatury útoku. Cainův monitoring ukazoval zelená světla napříč celým systémem, zálohy dokončeny úspěšně, všechny soubory přeneseny, žádné chyby. Ne, že by byly očividně poškozené, otevřely by se a zobrazily normálně, ale když byste z nich zkusili obnovit data během skutečné havárie, zjistili byste, že asi 30 % dat je nepoužitelných. Grafy ukazovaly snížené reakční časy a vylepšené statistiky dostupnosti.
“Ale co když se stane něco, co se nikdy nestalo? ” zeptal jsem se. Cain se usmál tím trpělivým úsměvem, který používají konzultanti, když si myslí, že jednají s dinosaury, kteří nerozumí pokroku. “Přesně k tomu máme eskalační protokoly.
Systém označí vše, co nezvládne, a nasměruje to na příslušné lidské zdroje. ”
Lidské zdroje, ne lidské odborníky, ne lidi, co systémům rozumí, jen generické lidské zdroje, jako bychom byli zaměnitelné díly. Automatizované systémy to označovaly jako běžný provoz, protože to zůstávalo pod objemovými prahy a neodpovídalo to žádným známým signaturám útoku. Pomalé, systematické, profesionální.
Někdo s trpělivostí a odborností si dával na čas, aby pochopil naši infrastrukturu, než začne jednat. Tahle parta stráví měsíce poznáváním cílových systémů, identifikací kritických serverů, mapováním síťových závislostí. A když pak zaútočí, ví přesně, na které systémy udeřit pro maximální škody a minimální čas detekce. Kdysi jsem trávil první hodinu dne kontrolou nočních logů, ověřováním, že se všechny automatické zálohy dokončily správně, že náš systém detekce průniku nic důležitého nezmeškal.
V 9:47 ráno začaly první servery padat. Kancelář se ponořila do chaosu. Lidé pobíhali mezi kabinami, telefony zvonily bez přestání. Bryce řval do náhlavní soupravy na nějakou firmu pro řešení krizových situací, kterou našel na Googlu.
Jeho hlas byl s každým dalším neúspěšným pokusem vyšší a víc panický. Útočníci zmapovali celou topologii naší sítě během těch týdnů průzkumu a věděli přesně, které servery zasáhnout jako první, aby maximalizovali škody a minimalizovali čas detekce. Pak přišli na řadu záložní kontroléry, takže obnova z automatických záložních systémů byla nemožná. Nakonec izolovali databázové servery, aby i kdybychom znovu získali kontrolu, nemohli jsme ověřit integritu dat.
Profesionální práce. “Tyhle ještě vyžadují ruční autorizaci od někoho s odpovídajícím prověřením a znalostí systému,” řekl jsem. Pod pažemi měl potní skvrny a jeho obvykle dokonalé vlasy byly rozcuchané od toho, jak si jimi projížděl. “Žádné hry.
” “Ale nemůžu autorizovat postupy obnovy po havárii bez řádné dokumentace. Všechny operace obnovy po havárii vyžadují autorizaci od určeného vedoucího infrastruktury s odpovídající znalostí systému a prověřením. Nemám pravomoc provádět změny v celém systému. ”
Ticho se protáhlo dost dlouho na to, abychom slyšeli Kanea v pozadí, jak někomu vysvětluje, proč automatické přepínací systémy nefungují.
Monica Stevens z právního oddělení dorazila o dvacet minut později s nouzovou dokumentací, která mě jmenovala úřadujícím vedoucím infrastruktury s plnou autorizací k obnově systému. Obnova trvala šest hodin, ne proto, že by to bylo technicky náročné, ale protože jsem postupoval metodicky, ověřoval každý krok, kontroloval závislosti, které nebyly v žádné příručce. Musel jsem systémy spouštět v přesném pořadí, ověřovat jedno po druhém. Nakonec jen tiše seděl, dělal si poznámky a začínal chápat rozdíl mezi tím, jak systémy mají fungovat, a tím, jak skutečně fungují, když se všechno pokazí.
Všechna data obnovena, žádné výkupné zaplaceno, minimální trvalé škody. Šifrovací klíče útočníků byly k ničemu, protože nikdy skutečně nepronikli do našich jádrových záložních systémů, těch, které vyžadovaly ruční autorizaci. Bryce prý zavolal tátovi, když firma pro řešení krizí chtěla půl milionu dolarů za profesionální služby obnovy po ransomware s nulovou zárukou úspěchu. Zvýšení platu, akciový balíček a mandát integrovat automatizované systémy s lidskou odborností místo nahrazení jednoho druhým.
Hele, pokud tohle posloucháte a je vám přes pětačtyřicet, pracujete v IT nebo v jakémkoli oboru, kde pořád mluví o tom, že automatizace nahradí zkušenosti, tady je, co jsem se naučil. Nejde o to bojovat proti pokroku. Jde o to zajistit, že jste jediný, kdo ví, kde jsou všechny vypínače. Nenechte si říkat, že jste zastaralí.
Jste institucionální znalost, a to má větší cenu než jakýkoli systém umělé inteligence, který si můžou koupit.
