Wewnętrzne CFD serwerowni.

Dlaczego symulować wnętrze serwerowni?

Wewnętrzna symulacja CFD serwerowni to historyczny rdzeń działalności EOLIOS: ponad 350 przeanalizowanych centrów danych w 20 krajach. Pracujemy przy każdym rodzaju serwerowni, od data hall hyperscale do serwerowni firmowej lub kolokacyjnej, zarówno na etapie projektu, jak i na obiektach istniejących, które audytujemy i modelujemy. Klimatyzacja serwerowni może być poprawnie dobrana pod względem mocy i zawodzić lokalnie: wszystko rozstrzyga się w rozdziale powietrza.

Globalne bilanse cieplne potwierdzają, że zainstalowana moc chłodnicza pokrywa moc rozpraszaną. Nie mówią jednak nic o tym, co najważniejsze: o temperaturze powietrza, które rzeczywiście wpływa do każdego serwera. Między jednostką klimatyzacyjną a szafą powietrze się miesza, omija ją i recyrkuluje; dwie sąsiednie szafy mogą zasysać powietrze różniące się o 10 °C. Tę niewidoczną drogę symulacja CFD czyni widoczną.

Co zabezpiecza wewnętrzna symulacja CFD

Przepływ powietrza w serwerowni

Wzorcowa organizacja rozdziela strumienie na korytarze zimne, gdzie świeże powietrze nawiewane jest przed czołami szaf, oraz na korytarze ciepłe, które zbierają powietrze wyrzucane z tyłu. Plenum podłogi podniesionej, płyty perforowane i jednostki CRAC/CRAH zamykają obieg.

Ten rozdział nigdy nie jest doskonały. Pogarszają go dwa zjawiska i właśnie je CFD dokładnie wylicza.

Odczyt termiczny: bypass, recyrkulacja i punkty przegrzewania

Odczyt ciśnienia: różnica między korytarzem zimnym a ciepłym

Kilka paskali wystarczy, aby serwerownia przeszła z jednego stanu w drugi, i w tym cała trudność regulacji: za mało ciśnienia po stronie zimnej i ciepłe powietrze wraca do wlotów, za dużo i zimne powietrze omija serwery, wracając wprost do poboru. Poniższa skala streszcza ten odczyt, stosowany przez naszych inżynierów od pierwszego obliczenia, jednostka po jednostce i płyta po płycie.

Co odtwarza model CFD

Model odtwarza serwerownię taką, jaka jest, albo jaka będzie: geometrię, urządzenia i stany pracy. Następnie rozwiązuje równania mechaniki płynów na milionach komórek siatki, aby pokazać pola prędkości, temperatury i ciśnienia w każdym punkcie.

Jakość wyniku zależy od wierności tych danych wejściowych. W istniejącej serwerowni kampania pomiarowa (temperatury, strumienie powietrza, termografia, próby dymowe) pozwala skalibrować model: cyfrowy bliźniak najpierw odtwarza stan zaobserwowany, a następnie służy jako wiarygodne stanowisko próbne dla zmian. Ten etap nie jest obowiązkowy: w nowym projekcie model pracuje wprost na rysunkach i danych producentów.

„Strumień powietrza z kratki w podłodze podniesionej może się różnić o ponad 50 % w zależności od jej położenia, układu serwerowni i odległości od układów klimatyzacji.”

ASHRAE, CAT, SIT: kryteria, które rozstrzygają

Serwerowni nie ocenia się „średnio”. Wytyczne CFD dużych operatorów kolokacyjnych i hyperscale opierają się na dwóch znormalizowanych temperaturach, których musi dotrzymać każdy zasymulowany przypadek.

Dokładne progi różnią się między operatorami i zależą od sposobu chłodzenia: ostrzejsze dla układów z agregatami chłodniczymi, szersze dla free coolingu i chłodzenia wyparnego. Wszystkie mieszczą się w publicznych ramach ASHRAE TC 9.9: zalecany zakres od 18 do 27 °C, a następnie zakresy dopuszczalne klas A1 do A4 które dopuszczają kontrolowane odstępstwa. W każdym przypadku zgodność ocenia się przy N jednostkach chłodniczych, przy wyczerpanej redundancji, zarówno dla wilgotności, jak i temperatury; w stanie nieustalonym obowiązuje wyższa tolerancja, ale ściśle ograniczona czasowo.

Prezentacja wyników w przedziałach SIT

Raport nie ogranicza się do minimum i maksimum: każda szafa jest przypisana do przedziału SIT, przypadek po przypadku. Taki odczyt od razu pokazuje, ile szaf jest zgodnych, ile działa na granicy i gdzie skupiają się przekroczenia.

Scenariusze: kaskada przypadków, od nominalnego do najgorszej awarii

Stan nominalny

Pierwsze obliczenie tworzy mapę odniesienia: temperaturę powietrza na wejściu każdej szafy, strumienie rzeczywiście podawane przez każdą płytę, równowagę ciśnień. Ujawnia istniejące punkty przegrzewania i porządkuje działania naprawcze: regulację płyt, zaślepienie wolnych U, wyrównanie strumieni, obudowę korytarzy, aż do regulacji szczegółowych, jak rozmieszczenie kratek, nastawy jednostek CRAC/CRAH czy temperatura wody lodowej.

Kaskada przypadków z wytycznych hyperscale

Specyfikacje CFD operatorów hyperscale i kolokacyjnych nie zostawiają wyboru scenariuszy: narzucają podejście kaskadowe, w którym każdy przypadek dziedziczy po poprzednim i odpowiada na konkretne pytanie. Nasze analizy stosują je natywnie.

Scenariusze awarii

Serwerownia zgodna w stanie nominalnym może się przewrócić w kilka minut, gdy zatrzyma się jedno urządzenie. Symulacja ocenia najpierw typowe awarie eksploatacyjne: utratę jednego lub kilku układów klimatyzacji, wyłączenie jednostki do serwisu, zamknięcie przepustnicy. Poszukiwanie najgorszego przypadku jest systematyczne: nie wyłączamy jednostki na chybił trafił, symulujemy wiele kombinacji wyłączeń, w tym awarie elektryczne, bo jedna rozdzielnica może wyłączyć kilka jednostek naraz. Na skalibrowanym modelu sprawdzamy, czy pozostałe klimatyzatory utrzymają obciążenie tak, by żadna szafa nie wyszła z zakresu dopuszczalnego, wskazujemy najbardziej narażone rzędy i realnie potwierdzamy zadeklarowaną redundancję (N+1, 2N), zamiast uznawać ją za pewnik.

Projekty rozwoju

Zwiększanie gęstości, wejście szaf AI lub HPC o dużej mocy, przejście na obudowę korytarzy, podniesienie nastaw w celu poprawy PUE: każdy wariant jest testowany wirtualnie na skalibrowanym modelu. Decyzje opierają się na porównanych mapach temperatury, nie na regułach ryczałtowych. Program rozwoju nie kończy się zresztą na serwerowni: dodatkowe obciążenie przenosi się na zasilacze UPS, rozdzielnice główne i baterie, których chłodzenie należy doanalizy termicznej pomieszczeń technicznych. Ten sam model pozwala też ułożyć kolejność prac: które szafy przenieść najpierw, które jednostki wyłączyć w czasie migracji i w jakiej kolejności, nie wychodząc z zakresu dopuszczalnego.

Analiza wewnętrzna łączy się wreszcie z zewnętrzną symulacją CFD data center: zasysanie plum ciepłego powietrza na dachu i spadek wydajności chłodnic wentylatorowych w warunkach ekstremalnych wprost warunkują moc chłodniczą dostępną w serwerowni. Wytyczne wymagają tego zresztą wyraźnie: przypadki wewnętrzne symuluje się przy najgorszym scenariuszu z zewnętrznego CFD, uwzględniając wynikające z niego obniżenie parametrów urządzeń wytwarzających chłód.

Zanik zasilania: minuty, które się liczą

Najbardziej krytyczny scenariusz rozpatruje się w stanie nieustalonym: co dzieje się przy zaniku zasilania na obiekcie? Obliczenie śledzi wzrost temperatury minuta po minucie i wylicza dostępny czas do osiągnięcia progów krytycznych serwerów. Uwzględnia bezwładność obiegu wody lodowej, sekwencję przejścia na zasilacze UPS, a potem na agregaty prądotwórcze, oraz ponowny rozruch urządzeń rezerwowych, wskazując najbardziej narażone serwery. Ten obiektywny czas staje się kluczową daną wejściową procedur eksploatacyjnych i doboru układów rezerwowych.

Nic tu nie jest ryczałtowe. Każde źródło bezwładności termicznej jest uzasadnione: objętość obiegu wody lodowej, zbiorniki buforowe, masa płyty i szaf. Czasy ponownego rozruchu agregatów chłodniczych i generatorów pochodzą z prób fabrycznych (FAT) jeśli się odbyły; w przeciwnym razie symulację powtarzamy, gdy próby dostarczą rzeczywistych czasów. A gdy obiekt ma chłód gwarantowany w sposób ciągły, analiza nieustalona służy doborowi jego bezwładności, a nie dowodzeniu jego potrzeby. Te zapasy chłodu są zresztą przedmiotem odrębnych analiz CFD: uwarstwienie zbiorników buforowych warunkuje energię rzeczywiście oddawaną w chwili zaniku, a zachowanie hydrauliczne obiegu wody lodowej i jego instalacji wyznacza szybkość, z jaką ten chłód dociera do serwerowni.

Analizę dopełnia kryterium, o którym często się zapomina: temperatura osiągana w korytarzu ciepłym jest porównywana z progiem zadziałania głowic tryskaczowych, aby sprawdzić, że zanik zasilania nie przerodzi się w przypadkowe zadziałanie instalacji gaśniczej nad szafami.

Obudowa korytarzy, wysoka gęstość i chłodzenie cieczą

Fizyczna obudowa korytarzy to najbardziej znacząca dźwignia rozdzielenia strumieni. Wybór rozwiązania zależy od serwerowni, jej wysokości, sposobu poboru powietrza i ograniczeń eksploatacyjnych: CFD pozwala porównać opcje na Twojej rzeczywistej geometrii.

W każdym przypadku rzeczywista skuteczność zależy od nieszczelności: brakujących paneli, przepustów kablowych, pustych szaf. Symulacja to uwzględnia i nie przeszacowuje zysku z obudowy teoretycznie doskonałej.

Obudowa korytarzy to także dźwignia finansowa: może uprawniać do świadectw efektywności energetycznej (białych certyfikatów) na podstawie karty dotyczącej obudowy korytarzy w serwerowni. Udokumentowana analiza CFD, z wyliczonymi zyskami przed i po, jest solidnym dokumentem do wniosku.

Przyjęcie wysokiej gęstości i DLC w istniejącej serwerowni

Wprowadzenie szaf o wysokiej gęstości lub chłodzonych cieczą (DLC, Direct Liquid Cooling) wywraca istniejące serwerownie i wymaga dwuetapowego podejścia. Najpierw bilans dostępnych zasobów: symulacja pokazuje zasoby rzeczywiście dostępne (moc elektryczną, produkcję chłodu, strumienie), nie wymyśla ich. Następnie ograniczenia fizyczne których obliczenie nie ujmuje bezpośrednio: nośność podłogi, strefy ruchu, czynności serwisowe i wymiana maszyn. Te wstępne sprawdzenia warunkują wartość analizy.

Potem następuje wybór „mix cooling”: pogodzenie w jednej serwerowni chłodzenia powietrzem, DLC i drzwi chłodzących. CFD porównuje możliwe rozkłady i ujawnia skutki nieoczywiste: wiry i lokalne podciśnienia, oddawanie ciepła przez szynoprzewody, straty ciśnienia w instalacjach hydraulicznych.

Serwerownie hybrydowe: powietrze i ciecz obok siebie

Chłodzenie cieczą nie znosi przepływu powietrza, tylko go przebudowuje. Część ciepła nadal trafia do powietrza: elektronika towarzysząca szafom DLC, zasilacze, wymienniki jednostek CDU oraz klasyczne szafy, które wytyczne każą wstawiać między pozycje cieczowe. Specyfikacje wymagają więc utrzymania minimalnego strumienia powietrza, czyli części strumienia nominalnego określonej w wytycznych: CFD sprawdza, czy ten resztkowy strumień, podawany przez mniejszą liczbę jednostek, dociera jeszcze do każdej szafy chłodzonej powietrzem.

Model uwzględnia jednostki CDU, instalacje hydrauliczne prowadzone w korytarzu ciepłym nad szafami wraz z ich granicami obciążenia na odgałęzienie, jednostki chłodzenia powietrzem wyłączone dla zwolnienia miejsca oraz wynikającą z tego zabudowę plenum. Rozkład powietrze i ciecz w każdym rzędzie rozstrzyga się na mapach temperatury, pozycja po pozycji, także dla przyszłych wdrożeń, które serwerownia będzie musiała przyjąć.

Metoda EOLIOS

EOLIOS to biuro inżynierskie inżynierów wyspecjalizowanych w projektowaniu klimatu centrów danych. Wewnętrzne CFD nie jest dla nas ćwiczeniem w wizualizacji: to narzędzie projektowe, oparte na codziennej praktyce w serwerowniach.

Nasze zespoły projektują i uniezawadniają serwerownie dla podmiotów hyperscale, z rynku kolokacji oraz dla infrastruktury firmowej, w Europie i na świecie. Działamy w całym cyklu życia obiektu: dobór układów klimatycznych już na etapie koncepcji, rozplanowanie korytarzy, potwierdzenie redundancji w scenariuszu ekstremalnym, commissioning z bankami obciążeń, a następnie wsparcie eksploatacji przez cyfrowego bliźniaka. Ta podwójna kultura, projektowa i eksploatacyjna, pozwala nam przekładać każdą symulację na realistyczne plany działań, zgodne z czynnościami eksploatacyjnymi i ciągłością usługi. Inwestorzy, integratorzy i operatorzy opierają się na naszych analizach, aby wybierać architekturę klimatyczną i dokumentować zobowiązania dostępności.

Bo narzędzie nie wystarcza: bez spojrzenia operatora symulacja pozostaje obrazkiem. Każda analiza kończy się konkretnymi i wprost stosowalnymi zaleceniami (strategie regulacji, tryby awaryjne, wskaźniki monitorowania), uszeregowanymi według dwóch stałych priorytetów: ciągłości usługi i efektywności energetycznej.

Nasze analizy natywnie odpowiadają na specyfikacje CFD operatorów hyperscale i kolokacyjnych: narzucona kaskada przypadków, kryteria CAT i SIT, minimalna zawartość raportu, opracowania w języku angielskim, gdy wytyczne tego wymagają. A ponieważ projekt nie czeka: nasza dedykowana moc obliczeniowa pozwala prowadzić symulacje w trybie pilnym, z pierwszymi wynikami w kilka dni, gdy potrzeba klienta tego wymaga.

Wyniki mają formę obrazów i animacji 3D zrozumiałych dla wszystkich uczestników projektu, od inwestora do operatora, użytecznych na spotkaniu i w dokumentacji technicznej. Gdy wymaga tego poufność, modele można otworzyć wyłącznie w dedykowanej przeglądarce udostępnianej przez EOLIOS.