Obří výpadek služeb T-Mobile způsobily dvě chyby v diskovém poli

  13:25
Přesně před týdnem se T-Mobile potýkal s velkým výpadkem služeb. Nefungovala samoobsluha, aplikace, web, infolinka, autorizační SMS. Mnoho čtenářů se nás v diskuzích i pod jinými články ptalo na důvod a technické podrobnosti. Zde jsou.

Pokud byste chtěli fotit techniky a techničky při řešení velkého výpadku, vynesou vás v zubech. Spokojme se proto s generickým snímkem z fotobanky. | foto: Profimedia.cz

Již v době výpadku Martina Kemrová z tiskového oddělení operátora upřesnila, že za problémy stojí technická závada v datovém centru v Hradci Králové. Což samozřejmě může být cokoli od softwarové chyby při aktualizaci nějakého prvku přes hackerský útok na infrastrukturu operátora až po požár.

Na základě velkého čtenářského zájmu jsme požádali o podrobnosti. „Jednalo se o dvojitou HW závadu v rámci jedné paritní skupiny disků v rámci hlavního centrálního diskového pole. Postižena tímto výpadkem byla i integrační vrstva, takže došlo k preventivnímu odstavení celého aplikačního ekosystému tak, aby nemohlo dojít k případnému poškození a nekonzistenci dat. V praxi se to pak projevilo nedostupností interních systémů, z pohledu zvenčí pak primárně nedostupností (samo)obslužných kanálů,“ upřesnila nám mluvčí T-Mobile.

Diskové pole si můžete představit jako skříně se šuplíky plnými zapojených pevných disků, na kterých jsou uložena všechna data potřebná pro chod webu, aplikací a všech systémů. Data jsou zálohována a uložena tak, aby selhání určitého množství pevných disků nezpůsobilo vážnější problém, disky se vymění za nové, systém do nich sestaví chybějící obsah a „jede se dál“. Zde však došlo k většímu selhání, kdy již tento mechanismus obnovy dat nestačil. 

Proces obnovy není snadný

„Jeden z chybných disků se povedlo oživit již 30.6.2020, kdy mohla začít kontrola parity. Paralelně s touto obnovou byl zajištěn dovoz a instalace nového diskového pole, na kterém by bylo v případě potřeby možné obnovit data z existujících záloh. Kontrola parity byla úspěšně dokončena v noci na 2. července 2020 a ve 14:00 téhož dne byla obnovena činnost všech systémů,“ pokračuje Martina Kemrová. 

Reportáž

Tieto

Podívejte se s námi do finského datového centra, které vytápí město a řídí jej z Ostravy.

V rámci diskového pole se zpravidla neuchovává vše ve více kompletních exemplářích jednoduchým zrcadlením, jak je běžné v domácích NASech, protože by to celý systém významně prodražilo (celá kapacita by se musela vynásobit počtem zrcadlených záloh a vše stále udržovat v provozu) a navíc to není z hlediska rychlosti práce z daty nejvhodnější konfigurace.

Místo toho se používá některý ze systémů ukládání dat s využíváním takzvaných parit. To jsou vypočítaná kontrolní data, ze kterých lze jednak ověřit bezchybnost uložených a přenesených dat a navíc z nich v případě potřeby poškozená původní data zrekonstruovat.

Obnovení ze záloh je vlastně „posledním řešením“ pro případ, že by se nepovedlo data z živého diskového pole obnovit. Jednak je časově náročné, jednak zálohy se dělají pravidelně, ale i tak tam chybí vše, co se odehrálo od poslední zálohy, což může být pro některé části systému u takto živého provozu nepříjemný problém.

Hodiny práce

„V prvním kroku bylo potřeba vyřešit HW problém. To si vynutilo i nezbytné paritní přepočítání dat. Vzhledem k tomu, že se jedná o vysoce kapacitní pole, tato operace trvala nějakou dobu. Následně bylo potřeba postupně zprovoznit jednotlivé databázové systémy a aplikace, a to v předem daném a řízeném pořadí. Tato operace v komplexním prostředí operátora zabere také hodiny práce,“ přibližuje náročnost obnovy běžného provozu Kemrová.

Zajímavost

Místo racku bazének, místo hluku ticho. Fujitsu na svém fóru v Mnichově...

Jedním z klíčových systému datacentra je chlazení. Podívejte se, jak to vyřešili u Fujitsu.

Nešlo tedy pouze o obnovu dat a kontrolu jejich celistvosti, ale také opětovné spuštění a ověření funkčnosti různých na sebe navazujících aplikací a systémů. Teprve poté mohly být zpřístupněné zákazníkům. 

„V tuto chvíli vyhodnocujeme průběh incidentu i jeho dopady. Součástí závěrečné zprávy budou zcela jistě konkrétní kroky, jak se v budoucnosti této – pro zákazníky tak nepříjemné – situaci vyhnout. V tuto chvíli se na nich teprve pracuje, konkrétní být nemůžeme,“ uzavírá tisková mluvčí.

Pro úplnost se sluší připomenout, že výpadek postihl podpůrné systémy. Samotné telekomunikační služby, tedy volání, SMS, data, fungovaly během výpadku normálně.  

Autor:
  • Nejčtenější

Kam pro filmy bez Ulož.to? Přinášíme další várku streamovacích služeb do TV

v diskusi je 125 příspěvků

26. března 2024

S vhodnou aplikací na vás mohou v televizoru na stisk tlačítka čekat tisíce filmů, seriálů nebo...

Z jaderné triády zbyly Britům už jen ponorky. A ty musejí posílit

v diskusi je 76 příspěvků

27. března 2024

Jadernou triádu tvoří strategické bombardéry s jadernými zbraněmi, mezikontinentální balistické...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Rusko zastavilo odlet na ISS s první Běloruskou, letět měla i Američanka

v diskusi je 50 příspěvků

21. března 2024  10:23,  aktualizováno  14:26

Ve čtvrtek 21. března se necelých deset minut před půl třetí odpoledne měla vydat na Mezinárodní...

Hlučínsko patří nám. Před 100 lety byl podepsán definitivní protokol o hranici

v diskusi je 10 příspěvků

28. března 2024

Před 100 lety definitivně skončily tahanice o československo-německé hranice. 28. března 1924 byl...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Načapali jsme otesánka, který se velkého sousta nezalekne. Boeing 747-400F

v diskusi je 8 příspěvků

21. března 2024

Poté, co na Letiště Václava Havla Praha přestaly v barvách Qatar Airways létat nákladní Boeingy...

Američané odepsali modul, který je vrátil po půl století na Měsíc

v diskusi je 15 příspěvků

28. března 2024,  aktualizováno  11:41

Od začátku letošního roku je na Měsíci a kolem něj poměrně rušno. Vedle řady sond, které zamířily...

Hlučínsko patří nám. Před 100 lety byl podepsán definitivní protokol o hranici

v diskusi je 10 příspěvků

28. března 2024

Před 100 lety definitivně skončily tahanice o československo-německé hranice. 28. března 1924 byl...

Úspěšný let prototypu XB-1 vrací do hry cestování nadzvukovou rychlostí

v diskusi je 31 příspěvků

27. března 2024  17:17

Po více než dvaceti letech, od ukončení provozu letounu Concorde, se možná opět dočkáme nadzvukové...

Jarní bouře ničila před 100 lety Prahu. Napáchala obří škody

v diskusi je 10 příspěvků

27. března 2024

Prahou prošla před 100 lety, 27. března 1924, neobvykle silná jarní bouřka. V části hlavního města...

Rána pro britskou monarchii. Princezna Kate má rakovinu, chodí na chemoterapii

Britská princezna z Walesu Kate (42) se léčí s rakovinou. Oznámila to sama ve videu na sociálních sítích poté, co se...

Smoljak nechtěl Sobotu v Jáchymovi. Zničil jsi nám film, řekl mu

Příběh naivního vesnického mladíka Františka, který získá v Praze díky kondiciogramu nejen pracovní místo, ale i...

Rejžo, jdu do naha! Balzerová vzpomínala na nahou scénu v Zlatých úhořích

Eliška Balzerová (74) v 7 pádech Honzy Dědka přiznala, že dodnes neví, ve který den se narodila. Kromě toho, že...

Pliveme vám do piva. Centrum Málagy zaplavily nenávistné vzkazy turistům

Mezi turisticky oblíbené destinace se dlouhá léta řadí i španělská Málaga. Přístavní město na jihu země láká na...

Kam pro filmy bez Ulož.to? Přinášíme další várku streamovacích služeb do TV

S vhodnou aplikací na vás mohou v televizoru na stisk tlačítka čekat tisíce filmů, seriálů nebo divadelních...