“Klimatyzacja serwerowni była gotowa. Jedyne, co pozostało do zrobienia, to przeprowadzenie odpowiednich testów. Symulacja obciążenia cieplnego serwerowni załączona. Start. Wyłączyliśmy zasilanie. Automatyka rozdzielni głównej załączyła do pracy agregat prądotwórczy. Wyłączyła się również klimatyzacja, a następnie, po podaniu zasilania, długo startowała. Jednak w tym czasie temperatura zdążyła już osiągnąć poziom krytyczny. Coś poszło nie tak. Analiza sekwencji załączeń klimatyzacyjnych, zmiana nastawień i wielokrotne próby pozwoliły wreszcie na właściwą parametryzację i uzyskanie oczekiwanego rezultatu. Niestety, zabrało to nadprogramowe trzy dni.”
Przytoczona przez nas historia miała miejsce w 2015 roku. Przez wzgląd na zobowiązania osób trzecich i strategiczny charakter inwestycji nie możemy przytoczyć precyzyjnych nazw i miejsc. Z pewnością jednak nie jest to odosobniony przypadek. Jak się okazuje, nawet najlepszym projektantom, mimo posiadania ogromnej wiedzy, zdarza się czasem przeoczyć jakiś z pozoru całkiem nieistotny szczegół. Szczegół, którego nieuwzględnienie w projekcie może zakończyć się katastrofą.
Opis problemu
Jakość zasilania miejskich sieci elektroenergetycznych w Polsce i na świecie nie zawsze jest zadowalająca. Co prawda przerwy w dostawie energii występują coraz rzadziej, jednak polegające na gwałtownym obniżeniu napięcia „przysiady” lub przeciwstawne im „piki” są bardzo powszechne. Ich wystąpienie można zaobserwować co najmniej kilka razy w ciągu doby. Do tego dochodzą jeszcze chwilowe odchylenia częstotliwości oraz odchylenia harmoniczne. Samemu zanikowi zasilania natomiast, a właściwie jego powrotowi, towarzyszą stany nieustalone, zwane przepięciami. Wszystkie te zjawiska w bardzo niekorzystny sposób oddziałują na całą szeroko pojętą infrastrukturę serwerowni. Często w ich następstwie dochodzi do uszkodzenia zasilaczy w serwerach, przepalenie zabezpieczeń czy nawet spalenie elementów pojemnościowych. Czasem też impuls przedostaje się na płytę główną, zamieniając serwer w bezużyteczny odpad elektroniczny. A to tylko kilka powodów, dla których projektowanie systemów odpornych na zanik zasilania jest tak istotne.
Co może pójść nie tak, czyli błędy układów pomiarowych
Przytoczony we wstępie przypadek, dotyczy sytuacji, w której zawiódł tak zwany czynnik ludzki. Błędy projektowe, oznaczające w tym miejscu nieuwzględnienie wymagań stawianych systemom klimatyzacyjnym obiektu, ujawniły się dopiero w trakcie przeprowadzanych testów. Nie jest to jednak jedyna z możliwych do wykrycia na etapie testów niepokojących nieprawidłowości.
Punkty pomiaru temperatury
Inny problemem, z którym zdarza się wykonawcom spotkać najczęściej, to pominięcie lub wyznaczenie zbyt małej liczby punktów pomiarowych do kontroli prawidłowości pracy instalacji. Wyobraźmy sobie, że projektant zaproponował trzy punkty pomiarowe i rozmieścił je na ścianach pomieszczenia, poza strefą pracy urządzeń. Okazało się to niewystarczające dla zapewnienia właściwego monitoringu całej przestrzeni. Finalnie zastosowano siatkę pomiarową złożoną z kilku, kilkunastu czujników, zainstalowanych na elementach, które umożliwiały ich dowolne przemieszczanie w czasie eksploatacji pomieszczenia.
Czułość instalacji pomiarowej
Kolejną możliwością, idącą zresztą w parze z poruszoną wyżej kwestią, jest nieodpowiednie ustawienie czułości instalacji pomiarowej systemów ochrony przeciwpożarowej. Zbyt mała prowadzi oczywiście do nieszczęścia, ale zbyt duża, wbrew pozorom, również nie jest właściwością pożądaną. Stosowana w serwerowniach aparatura do pomiaru powietrza próbkuje je pod kątem obecności dymu. Wyposażona w niedostatecznie wrażliwe sensory nie wykryje pojawiającego się zagrożenia. Zbyt czułe ustawienie może natomiast spowodować wystąpienie specyficznego błędu — urządzenie zdiagnozuje jako dym cząsteczkę kurzu, która nieopatrznie podleciała zbyt wysoko. Co się w takim przypadku się stanie? Aktywowany zostanie automatyczny system gaszenia, który w serwerowniach wykorzystuje akumulowany w butlach gaz. W zależności od wielkości instalacji koszty takiej pomyłki mogą sięgać kwot od kilkudziesięciu do nawet kilkuset tysięcy złotych. Dodatkowym niebezpiecznym skutkiem będzie nieplanowe pozbawienie pomieszczenia ochrony, związane z czasem potrzebnym na uzupełnienie zapasów materiału gaśniczego.
Zimno – ciepło, czyli problem temperatury w serwerowniach
Powracając jednak do historii naszego eksperta, warto zastanowić się, jakie wykorzystywane w praktyce rozwiązania pozwalają zapobiegać podobnym zdarzeniom. W jaki sposób wymagającym specyficznych warunków pracy urządzeniom elektronicznym można zapewnić bezpieczeństwo? W celu poprawienia efektywności chłodzenia w serwerowniach stosowane są tzw. zamknięcia stref gorących lub zimnych. W przypadku zamknięcia strefy zimnej, czyli inaczej mówiąc zimnych korytarzy, najczęściej stosuje się systemy oparte o szafy klimatyzacyjne ustawione pod ścianami pomieszczenia i nawiewające powietrze pod podłogę podniesioną. Strefa gorąca stanowi całą wolną przestrzeń pomieszczenia, zimne powietrze natomiast dostarczane jest pod podłogą do stref zimnych.
Układ taki daje nam następujące korzyści:
- układ chłodzący może pracować na wyższych temperaturach i w sposób naturalny oszczędzać energię, nie zmniejszając bezpieczeństwa działania systemu
- układy tego typu pracując w swoich optymalnych parametrach powietrza powyżej punktu rosy, praktycznie nie zmieniając parametru wilgotności względnej i nie usuwając wilgoci z powietrza obiegowego.
Bezpieczna temperatura, czyli technologie chłodzenia
Jak można na podstawie dotychczas przedstawionego przykładu wywnioskować, odpowiednie dobranie temperatury panującej w przestrzeni korytarzy zimnych w trakcie normalnej pracy jest kwestią niezmiernie ważną. Ma ona bowiem bezpośrednie przełożenie na żywotność eksploatacyjną infrastruktury informatycznej. Dla zachowania jej bezpiecznej wartości niezmiernie istotne jest zapewnienie odpowiedniego czasu załączenia awaryjnego zasilania oraz startu pracy szaf klimatyzacyjnych. Nie mniej ważnym elementem pozostaje dobór odpowiedniej technologii i nadmiarowości chłodzenia.
Sprężarkowe szafy klimatyzacyjne
Najbardziej popularna z nich opiera się na zjawisku bezpośredniego odparowania, które wykorzystuje się w szafach klimatyzacyjnych, wyposażonych w jedną lub dwie sprężarki. Czynnikiem chłodniczym w tym wypadku jest f-gaz np. R410a.
Szafy klimatyzacji precyzyjnej
Drugim powszechnie stosowanym typem technologii są szafy klimatyzacji precyzyjnej, wykorzystujące wodę lodową. Szafy te posiadają jedynie wymiennik chłodu i wentylatory. W ostatnich latach bardzo często stosowane są systemy freecoolingowe, łączące cechy ww. technologii.
Chłodzenie do zadań specjalnych, czyli technologie na czas kryzysu
Pierwszym skutkiem zaniku napięcia jest automatyczna aktywacja zabezpieczeń, czyli wyłączenie urządzeń, w tym również chłodzących, i ich zatrzymanie w trybie awaryjnym, a następnie wznowienie ich pracy według określonej sekwencji. Urządzenia klimatyzacyjne jednak na anomalie zasilania reagują w nieco odmienny sposób. W skrajnych przypadkach może dojść do zadziałania zabezpieczeń zaworów bezpieczeństwa układów chłodniczych i uwolnienie czynnika chłodniczego do pomieszczenia. Wydostający się z urządzenia wraz z olejem czynnik chłodniczy tworzy „mgłę”, którą systemy pożarowe mogą zdiagnozować jako dym i załączyć system automatycznego gaszenia. Skupmy się jednak na innym poważnym problemie, jakim jest nagły, skokowy wzrost temperatury w obszarze zamkniętym. To ogromne zagrożenie dla delikatnych komponentów elektronicznych występuje w przypadkach nagłych przerw dostaw energii elektrycznej. W jaki więc sposób można strukturę IT przed skutkami tego zjawiska skutecznie zabezpieczyć?
Zasilacz bezprzerwowy
Popularną formą zabezpieczenia systemu informatycznego przed niebezpiecznymi skutkami awarii energetycznej jest instalacja specjalnego zasilacza, znanego pod nazwą UPS. W przypadku zaniku zasilania miejskiego zapewnia on bezprzerwowe podtrzymanie dopływu prądu do sprzętu IT. Co jednak istotne, nie zapewnia on przepływu energii dla szaf klimatyzacyjnych, które nie tylko mają odmienną od sprzętu komputerowego charakterystykę elektroniczną pracy, ale wymagają znacznej mocy. W przypadku szaf klimatyzacyjnych konieczne jest więc podanie zasilania awaryjnego z agregatu prądotwórczego.
Stacjonarny agregat prądotwórczy
W przypadku agregatu stacjonarnego proces rozruchu od wydania polecenia startu trwa od 10 do 15 sekund. Czas, w którym napięcie i częstotliwość znajdą się w dopuszczalnych granicach, nie powinien przekroczyć 1 minuty. To rozwiązanie wiąże się z potencjalnym ryzykiem — jeśli przełączenie z jednego źródła energii na drugie będzie trwać zbyt długo, może nastąpić wzrost temperatury w zimnym korytarzu ponad temperaturę krytyczną, prowadząc do uszkodzenia serwerów. Szansa na wystąpienie takiego scenariusza jest jednak niewielka. Tolerancja serwera na temperaturę pracy w warunkach krytycznych jest na tyle wysoka, że powinna ona zapewnić jego bezpieczeństwo przez określony czas.
System monitorowania temperatury
Aby w odpowiedni sposób kontrolować parametry pracy serwerów wskazane jest zastosowanie systemu monitoringu temperatury szaf serwerowych już na etapie testów i prób przed przekazaniem serwerowni do eksploatacji. ASHRAE zaleca montowanie trzech czujników temperatury w każdym stelażu: po jednym u góry, pośrodku i u dołu, od frontu urządzenia. Po instalacji układów pomiarowych, do szaf serwerowych wprowadza się nagrzewnice, które generują ciepło równoważne temu wydzielanemu przez serwery. Dzięki ich wykorzystaniu możliwe jest dobranie parametrów takich jak temperatura nawiewu oraz czas ponownego startu szaf klimatyzacyjnych, które zapewnią utrzymanie nieprzekraczalnych, bezpiecznych dla sprzętu wartości. Ponieważ proces ten opiera się na metodzie prób i błędów, zabiegi te są nie tylko czasochłonne, ale i wymagające zmiany ustawień w sterowaniu szaf. Szczególne znaczenie ma to w przypadku szaf sprężarkowych, gdzie regulacji polega zarówno sterowanie sprężarki, jak i wentylatora. Według ASHRAE zalecany zakres temperatur dla sprzętu klasy A1 do A4 wynosi od 18 do 27℃, choć można spotkać się z opiniami, że dzisiejszy sprzęt doskonale radzi sobie z temperaturą znacznie wyższą. Nie zmienia to jednak faktu, że zmiana klimatu wewnętrznego w centrach danych może wpłynąć na trwałość sprzętu serwerowego i pamięci masowej.
Podsumowanie, czyli jak uniknąć kryzysu
Błędy zdarzają się na każdym etapie realizacji inwestycji, a Data Center nie są odosobnionym przypadkiem. Tak, jak w czasie realizacji każdego innego zadania, tak
i podczas projektowania pomieszczeń serwerowni należy brać pod uwagę rozmaite czynniki. Tylko dokładnie przeprowadzona analiza możliwości i warunków środowiska pracy infrastruktury informatycznej pozwoli zapewnić urządzeniom komputerowym
i ludziom je obsługującym ochronę na odpowiednim poziomie.
Efekt taki udało się z powodzeniem osiągnąć w sytuacji przytoczonej we wstępie tego artykułu. Wówczas skutecznym rozwiązaniem okazało się dostawienie jeszcze jednej szafy klimatyzacyjnej, która załączała się do pracy natychmiast po zaniku napięcia
w drugim urządzeniu. Dzięki odpowiedniej konfiguracji jej praca skutecznie schładzała narażone na uszczerbek delikatne komponenty serwerowni, a podstawowe urządzenie klimatyzacyjne zyskało czas na osiągnięcie parametrów w trybie normalnym.
Wiele firm, nauczone latami doświadczeń i prowadzonych obserwacji, angażuje się
w procesy badawcze, których celem jest znalezienie optymalnego rozwiązania omówionego w niniejszym artykule problemu. Przykładem ich działań mogą być stosowane już pojemnościowe układy wody lodowej z zasobnikami kumulującymi chłód, zapewniającymi urządzeniom te niezbędne kilka minut na powrót zasilania. Spotkać można również systemy szybkiego rozruchu układów chłodniczych.
Jak jednak rozwiązania te będą wyglądały w przyszłości? Czy powstaną alternatywne, lepiej dostosowane do zagrożeń i szybciej reagujące systemy zabezpieczeń dla infrastruktury IT? Czas pokaże.