Ratunkowy przewóz macierzy po awarii klimatyzacji
W ciągu 4 godzin podstawiliśmy auto z agregatem, aby schłodzić i bezpiecznie przewieźć przegrzewający się sprzęt do zastępczej lokalizacji.
W upalny czwartek lipca 2024 roku w głównym węźle FinCorp Group doszło do awarii chłodzenia. Temperatura w serwerowni zaczęła rosnąć o 2 stopnie co kwadrans, zagrażając 86 dyskom z danymi transakcyjnymi.
Wyzwanie
Gdy klimatyzacja w biurowcu przy ul. Marszałkowskiej przestała działać o 14:12, czujniki szybko pokazały 34 stopnie Celsjusza. Klient stanął przed wizją fizycznego uszkodzenia macierzy, które przechowują operacje finansowe z ostatnich 7 lat. Naprawa systemu chłodzenia miała zająć 48 godzin, co było niedopuszczalne przy obecnym tempie nagrzewania się elektroniki. Każda godzina zwłoki to ryzyko, że serwery jadą w pionie – ale tylko metaforycznie, bo sprzęt po prostu by się spalił.
Dodatkowym problemem był brak specjalistycznych opakowań na miejscu i konieczność zniesienia 12 szaf rackowych przez wąski korytarz techniczny. Tradycyjna firma kurierska odmówiła podjazdu w czasie krótszym niż 24 godziny. FinCorp Group potrzebowało kogoś, kto zabezpieczy czułą elektronikę przed wibracjami miejskimi i zapewni chłód już podczas samego załadunku.
Podejście
Zgłoszenie otrzymaliśmy o 14:21 i natychmiast wysłaliśmy zespół 4 techników z bazy na Woli. Do akcji ruszył nasz furgon wyposażony w niezależny agregat chłodniczy i system stabilizacji ładunku. Na miejscu byliśmy po 38 minutach, co pozwoliło zacząć demontaż, zanim temperatura przekroczyła krytyczne 42 stopnie.
Skupiliśmy się na bezpieczeństwie fizycznym. Użyliśmy wózków z amortyzacją hydrauliczną, które niwelują drgania do zera, co jest kluczowe dla talerzy w starych macierzach HDD. Sprawdzaliśmy mocowania co 80 kilometrów, choć trasa do Piaseczna liczyła tylko 22 kilometry. Chodziło o to, by mieć pewność, że zero wstrząsów to nie tylko hasło, ale fakt.
Rozwiązanie
Dostarczyliśmy łącznie 148 jednostek sprzętowych do zapasowej lokalizacji w kontrolowanej temperaturze 19,2 stopnia Celsjusza. Wykorzystaliśmy specjalne pasy z czujnikami naciągu, które chroniły obudowy przed porysowaniem i przemieszczaniem się wewnątrz auta. Cały sprzęt był podpięty pod nasze ubezpieczenie, które obejmuje każdy dysk z osobna.
Po dotarciu do celu nasz zespół nie tylko rozładował towar, ale też pomógł w ponownym montażu w nowej szafie rackowej. Dzięki temu inżynierowie FinCorp Group mogli skupić się na podpinaniu kabli, a nie na dźwiganiu ciężkich modułów. Cały proces, od wejścia do serwerowni na Marszałkowskiej do uruchomienia systemów w Piasecznie, zajął nam dokładnie 3 godziny i 14 minut.
Rezultaty
Udało się uniknąć przestoju w obsłudze klientów banku i trwałego uszkodzenia nośników danych. Sprzęt dotarł w stanie nienaruszonym, a temperatura wewnątrz transportu nie wahnęła się o więcej niż 0,5 stopnia.
Harmonogram
-
14:21Odebranie połączenia alarmowego od administratora IT
-
14:59Przyjazd ekipy Richit Host i rozpoczęcie demontażu
-
15:55Zakończenie załadunku do schłodzonego furgonu
-
17:35Potwierdzenie stabilnej pracy systemów w nowym miejscu
"Początkowo bałem się o drgania podczas szybkiego pakowania, ale ekipa Richit Host działała spokojnie i z precyzją. Serwery ruszyły w Piasecznie bez ani jednego błędu w logach."