Zagadnienie chłodzenia centrów danych
Chłodzenie centrów danych jest zagadnieniem strategicznym, wpływa wprost na ich efektywność energetyczną, niezawodność i oddziaływanie na środowisko.
Zoptymalizowane zarządzanie ciepłem pozwala uniknąć przegrzania sprzętu informatycznego, obniżyć zużycie energii oraz zminimalizować ryzyko przerw w pracy. Jako specjaliści mechaniki płynów łączymy symulacja CFD, analizę energetyczną i optymalizację strumieni ciepła aby doprowadzić operatorów do wydajnych i trwałych rozwiązań chłodzenia.
Wytwarzanie ciepła przez sprzęt informatyczny
Centra danych mieszczą wiele serwerów i urządzeń pracujących bez przerwy; ta nieustanna praca wytwarza znaczne ilości ciepła. Każdy element elektroniczny, procesory, moduły pamięci, nośniki danych , wytwarza ciepło podczas pracy, co wynika ze strat energii nieodłącznych od obliczeń i przetwarzania danych.
Gęstość mocy w nowoczesnych centrach danych może dochodzić do kilku kilowatów na metr kwadratowy. Według badań centra danych zużywają nawet 50 razy więcej energii na jednostkę powierzchni niż typowy budynek komercyjny. W 2017 roku ich zużycie stanowiło 19 % światowego zużycia energii sektora cyfrowego , a takie zużycie przekłada się wprost na proporcjonalną emisję ciepła.
Skutki złego zarządzania ciepłem
Główne następstwa
- Przegrzanie elementów , nieprawidłowa praca, błędy obliczeń i awarie sprzętu; wyjście z zakresu pracy obniża niezawodność i wydajność.
- Zwiększone zużycie energii , układy chłodzenia nadrabiają każdy niekontrolowany wzrost temperatury; odpowiadają za blisko 40 % całkowitego zużycia energii data center.
- Skrócenie żywotności , długotrwałe narażenie na wysokie temperatury przyspiesza starzenie elementów i podnosi koszty wymiany.
- Wzrost kosztów eksploatacji , przerwy w usługach, nieplanowane naprawy i inwestycje w wydajniejsze rozwiązania.
Cele skutecznego układu chłodzenia
Cele główne
- Temperatura stabilna i jednorodna , zwykle w zakresie 18 a 27 °C; równomierny rozdział zapobiega punktom przegrzewania.
- Optymalizacja efektywności energetycznej , obniżenie zużycia energii przez technologie zaawansowane (free cooling, chłodzenie cieczą).
- Zmniejszenie śladu środowiskowego , ograniczenie zużycia wody i energii; wykorzystanie ciepła nadmiarowego (ogrzewanie budynków w sąsiedztwie).
Zarządzanie ciepłem w centrach danych jest więc zagadnieniem kluczowym które wpływa wprost na wydajność, trwałość i oddziaływanie na środowisko. Wdrożenie właściwych i skutecznych układów jest niezbędne wobec rosnącej gęstości energii infrastruktury cyfrowej.
Podstawowe zasady chłodzenia
Potrzeba właściwego chłodzenia
Centra danych to infrastruktura niezbędna do przechowywania i przetwarzania danych cyfrowych. Ich nieprzerwana praca wytwarza znaczne ilości ciepła, głównie z powodu wysokiej gęstości urządzeń. Skuteczne zarządzanie ciepłem jest kluczowe dla wydajności, niezawodności i długowieczności tych urządzeń.
Mechanizmy przenoszenia ciepła
Przewodzenie
- Przenoszenie przez ciała stałe (elementy, konstrukcje serwerów), ze strefy ciepłej do zimnej przez bezpośredni kontakt.
Konwekcja
- Przenoszenie ciepła przez płyny (powietrze): ciepłe powietrze z serwerów jest odprowadzane i zastępowane chłodniejszym.
Promieniowanie
- Ciepłe powierzchnie emitują promieniowanie podczerwone; mniej znaczące, ale współtworzy całkowite odprowadzanie ciepła.
Organizacja przepływów powietrza: korytarze ciepłe i zimne
Częstym rozwiązaniem jest podzielenie serwerowni na korytarze ciepłe i zimne aby rozdzielić strumienie i zapobiec ich mieszaniu, co poprawia skuteczność chłodzenia.
Korytarze zimne
- Tworzone przez przednie ściany szaf, gdzie nawiewane jest chłodne powietrze do chłodzenia urządzeń.
Korytarze ciepłe
- Znajdują się z tyłu szaf i odbierają ciepłe powietrze wyrzucane po chłodzeniu.
Naprzemienne rozmieszczenie i obudowanie tych korytarzy przegrodami fizycznymi ogranicza mieszanie strumieni powietrza: utrzymuje niższe temperatury na wejściu serwerów i zmniejsza obciążenie układów klimatyzacji. Stosowanie podłóg podniesionych z płytami perforowanymi ułatwia równomierny rozdział chłodnego powietrza.
Różnica ciśnienia między korytarzami: główna przyczyna punktów przegrzewania
Poza samym rozdzieleniem strumieni to równowaga ciśnień między korytarzem zimnym i ciepłym rzeczywiście decyduje o skuteczności chłodzenia. Powietrze zawsze płynie ze strefy wysokiego ciśnienia do strefy niskiego ciśnienia: aby każdy serwer był prawidłowo zasilany, korytarz zimny musi być utrzymany na lekkim nadciśnieniem względem korytarza ciepłego, rzędu kilku paskali. To nadciśnienie zapewnia, że chłodne powietrze przechodzi przez szafy, a nie je omija.
Gdy ta różnica ulega pogorszeniu, przy złym rozdziale strumienia z jednostek CRAC i CRAH, niedociśnionej przestrzeni podpodłogowej, źle rozmieszczonych płytach perforowanych albo częściowo pustych szafach bez paneli zaślepiających, pojawiają się dwa zjawiska. Obejście: zimne powietrze trafia wprost do korytarza ciepłego, nie chłodząc serwerów, co marnuje energię. Recyrkulacja: odwrotnie, ciepłe powietrze wraca nad szafami albo wokół nich do wlotów powietrza, zwłaszcza w górnej części szaf, gdzie ciśnienie zasilania jest najmniejsze. Właśnie tam powstają punktów przegrzewania, czyli miejscowe strefy, w których temperatura przekracza zalecenia ASHRAE.
Mapowanie ciśnienia w poszukiwaniu punktów przegrzewania
Symulacja CFD odtwarza pełne pole ciśnienia serwerowni: ujawnia strefy podciśnienia na wejściu szaf, wylicza strumienie obejścia i recyrkulacji oraz pozwala wyrównać ciśnienia (regulacja płyt, obudowa korytarzy, zaślepienie wolnych U) jeszcze przed rozpoczęciem eksploatacji.
Zalecane temperatury i wilgotność
Utrzymanie właściwych warunków środowiskowych jest niezbędne.ASHRAE (American Society of Heating, Refrigerating and Air-Conditioning Engineers) podaje dokładne wytyczne:
Zalecenia ASHRAE
- Temperatura , zakres 18 do 27 °C dla urządzeń klas od A1 do A4, równoważący efektywność energetyczną i niezawodność.
- Wilgotność względna , od 20 % do 80 %, przy maksymalnym punkcie rosy 22 °C: zbyt niska wilgotność powoduje wyładowania elektrostatyczne, zbyt wysoka kondensację i korozję.
Zalecenia mogą się różnić w zależności od specyfiki urządzeń: stały monitoring (czujniki, systemy zarządzania) jest niezbędny, aby szybko wykryć i skorygować każde odchylenie.
Układy chłodzenia w serwerowni
Klimatyzacja jednostkami CRAC i CRAH
Jednostki CRAC
- Działają jak klimatyzatory domowe: sprężarka i czynnik chłodniczy.
- Ciepłe powietrze zasysane, chłodzone na wymienniku i podawane ponownie.
- Samodzielne, właściwe dla obciążeń < 200 kW.
Jednostki CRAH
- Bez sprężarki: wentylatory i wymienniki chłodzone wodą lodową.
- Chłodzenie scentralizowane, sprawniejsze energetycznie.
- Właściwe dla obciążeń > 200 kW.
Jednostki CRAC wykorzystują sprężarkę i czynnik chłodniczy do chłodzenia powietrza: ciepłe powietrze jest zasysane, chłodzone na wymienniku z czynnikiem, a następnie podawane ponownie. Są zwykle samodzielne i szczególnie właściwe dla centrów danych małych i średnich.
Jednostki CRAH są wyposażone w wentylatory i wymienniki chłodzone wodą lodową z zewnętrznego układu wytwarzania. Sprawniejsze energetycznie, bo korzystają z chłodzenia scentralizowanego, nadają się do centrów danych większej wielkości.
Podłogi podniesione i prowadzenie strumieni
Stosowanie podłóg podniesionych jest powszechną praktyką optymalizacji obiegu powietrza. Podłogi te tworzą płyty modułowe ułożone na konstrukcji metalowej, co daje pustą przestrzeń, nazywaną przestrzenią podpodłogową , między posadzką pierwotną a podłogą, która służy jako kanał rozdziału chłodnego powietrza.
Zimne powietrze jest prowadzone pod podłogą podniesioną i rozdzielane do korytarzy zimnych przez płyty perforowane; urządzenia zasysają chłodne powietrze do chłodzenia swoich elementów, a następnie wyrzucają ciepłe powietrze do korytarzy ciepłych, skąd jest odbierane przez jednostki CRAC albo CRAH do ponownego ochłodzenia. Ten rozdział minimalizuje mieszanie strumieni i poprawia efektywność energetyczną.
Obiegi chłodzenia i odprowadzanie ciepła
Agregaty chłodnicze i układy wody lodowej
Dwa uzupełniające się elementy
- Agregaty chłodnicze , urządzenia termodynamiczne wytwarzające wodę lodową (obieg sprężania i rozprężania). Woda jest chłodzona do 6 °C do 12 °C, a następnie prowadzona do jednostek CRAH albo wymienników; mogą zawierać free coolingu.
- Układy wody lodowej , woda lodowa krąży w sieci rurociągów, aby zasilić jednostki CRAH albo klimatyzatory międzyszafowe (InRow) blisko szaf; w obiegu zamkniętym woda wraca do agregatów po odebraniu ciepła.
Te klasyczne układy są niezbędne do utrzymania optymalnych warunków termicznych; ich wybór zależy od wielkości instalacji, gęstości mocy, ograniczeń budżetowych i celów efektywności energetycznej.
Free cooling: powietrze zewnętrzne i wymienniki ciepła
Free coolingu wykorzystuje zewnętrzne warunki klimatyczne do chłodzenia, zmniejszając zależność od układów mechanicznych. Dwa rozwiązania:
Free cooling bezpośredni
- Chłodne powietrze zewnętrzne jest filtrowane i podawane wprost do serwerowni; skuteczne poniżej około 25 °C, ale wymaga kontroli jakości i wilgotności powietrza.
Free cooling pośredni
- Powietrze zewnętrzne chłodzi czynnik pośredni przez wymiennik; lepsza kontrola wilgotności i jakości powietrza.
Skuteczność free coolingu zależy silnie od miejscowych warunków klimatycznych: rozstrzygająca w regionach o mroźnych zimach, bardziej ograniczona w klimacie gorącym.
Chłodzenie adiabatyczne i odparowanie
Chłodzenie adiabatyczne opiera się na odparowaniu wody, które odbiera ciepło z powietrza i obniża jego temperaturę (nawilżanie powietrza wlotowego albo wymienniki adiabatyczne). Szczególnie skuteczne w klimacie suchym, zmniejsza zależność od agregatów chłodniczych, obniża zużycie energii i poprawia PUE.
Głównym wyzwaniem jest zarządzanie wilgotnością: jej nadmiar może prowadzić do kondensacji i korozji, dlatego potrzebna jest dokładna kontrola wilgotności. Innym aspektem jest zużycie wody, czasem znaczne, co rodzi pytania środowiskowe i prawne (w szczególności ICPE i ryzyko chłodni wentylatorowych), co czyni je właściwym tylko w dobrze opanowanych warunkach.
Rozwiązania zaawansowane i innowacje
Chłodzenie hybrydowe: powietrze i woda
Systemy chłodzenia hybrydowe łączą zalety free coolingu i układów mechanicznych, aby zoptymalizować efektywność energetyczną. Układ hybrydowy może korzystać z free coolingu, gdy warunki zewnętrzne są sprzyjające, i przełączyć się na chłodzenie mechaniczne gdy temperatura zewnętrzna rośnie: taka elastyczność obniża zużycie energii, zapewniając stabilną temperaturę.
Innym przykładem jest zastosowanie chłodnic adiabatycznych w połączeniu z jednostkami mechanicznymi: powietrze jest najpierw chłodzone przez odparowanie, a następnie układ mechaniczny koryguje temperaturę. Takie podejście zmniejsza obciążenie układów mechanicznych, wydłużając ich żywotność i obniżając koszty eksploatacji.
Chłodzenie cieczą: immersja i kontakt bezpośredni
Wraz ze wzrostem gęstości mocy chłodzenie powietrzem dochodzi do swoich granic. Chłodzenie cieczą jest alternatywą, w której płyny odbierają ciepło wprost z elementów. Dwie główne metody:
Chłodzenie immersyjne
- Serwery są zanurzone w nieprzewodzącej cieczy dielektrycznej która odbiera ciepło, odprowadzane następnie przez wymienniki. Eliminuje wentylatory, obniża hałas i zużycie energii oraz pozwala na większą gęstość mocy.
Chłodzenie w kontakcie bezpośrednim (direct-to-chip)
- Płyty zimne są montowane wprost na elementach krytycznych (procesory); krąży w nich płyn, który odbiera ciepło i przenosi je do wymiennika. Dokładna kontrola temperatury, wdrożenie przy minimalnych zmianach.
Chłodzenie cieczą daje znaczące korzyści w sprawności termicznej i w obniżeniu zużycia energii. Wymaga jednak wyższych nakładów początkowych oraz specjalistycznego serwisu do obsługi płynów i zapewnienia szczelności.
Chłodzenie na układzie i technologie wschodzące
Chłodzenie na układzie (direct-to-chip) wprowadza mikrokanały wprost w układach albo modułach procesorów: krąży w nich płyn, który odbiera ciepło u źródła. Ta metoda daje odprowadzanie ciepła wyjątkowo skuteczne, niezbędne przy obliczeniach o dużej intensywności i serwerach przeznaczonych do sztucznej inteligencji.
Do technologii wschodzących należą układy dwufazowe (płyn zmienia stan, odbierając ciepło, co daje większą pojemność), a także badania nad materiałami zmiennofazowymi a nanopłynami.
Analiza porównawcza metod chłodzenia
Wybór najlepszej metody
Efektywność energetyczna i oddziaływanie centrów danych na środowisko zależą w dużej mierze od zastosowanych układów chłodzenia. Analizujemy je według kilku kryteriów: PUE, zużycie energii, ślad ekologiczny, ograniczenia techniczne, koszty, a także bezpieczeństwo.
Ostrzeżenie o bezpieczeństwie
Bezpieczeństwo jest kryterium podstawowym: każda awaria, przegrzanie albo uszkodzenie może wywołać kosztowne przerwy w usługach i zagrozić integralności danych. Wybór układu chłodzenia musi zapewnić niezawodność urządzeń i ograniczyć ryzyko nieprawidłowości termicznych.
Jednym z głównych ryzyk jest przegrzanie elementów, które może prowadzić do przedwczesnego zużycia i nieoczekiwanych przestojów, aż do nieodwracalnego uszkodzenia procesorów albo nośników danych. Aby uniknąć takich zdarzeń, układy muszą być projektowane z mechanizmami redundancji uruchamiającymi obieg rezerwowy przy awarii.
Więcej: symulacje pożaru w centrach danychPoza zarządzaniem ciepłem należy uwzględnić ryzyko wycieku cieczy , w szczególności przy chłodzeniu cieczą: wprowadzenie czynnika przenoszącego ciepło w pobliże elementów elektronicznych wymaga rygorystycznego monitoringu, czujników wycieku oraz układów zabezpieczających.
Porównanie ryzyk: metody oparte na powietrzu, choć mniej sprawne energetycznie, wiążą się z mniejszym ryzykiem: brak bezpośredniego kontaktu z cieczami, mniej zdarzeń mechanicznych; wymagają jednak regularnej obsługi filtrów i wentylacji. Technologie takie jak chłodzenie adiabatyczne i free coolingu należy oceniać pod kątem wpływu na bezpieczeństwo całości (kondensacja z powodu wilgotności, jakość powietrza zewnętrznego).
Kryteria wydajności energetycznej
Power Usage Effectiveness (PUE) jest podstawowym wskaźnikiem: obliczamy go, dzieląc całkowite zużycie energii data center przez zużycie samego sprzętu informatycznego. PUE równe 1,0 oznacza sprawność optymalną; we Francji średnie PUE wynosi 1,36.
Wpływ na PUE
- Chłodzenie powietrzem , wyższe PUE (klimatyzatory i wentylatory zużywające dużo energii).
- Chłodzenie cieczą , skuteczniejsze odprowadzanie ciepła; może poprawić PUE o ponad 15 %.
- Free cooling , znacznie obniża zużycie energii na chłodzenie, poprawiając PUE.
Oddziaływanie na środowisko
Trzy dźwignie
- Zużycie energii , powietrze jest energochłonne (wysoki ślad węglowy); ciecz i free cooling zużywają mniej.
- Zużycie wody , chłodzenie adiabatyczne zużywa wodę, co jest problemem w regionach o ograniczonych zasobach.
- Odzysk ciepła , wykorzystanie ciepła do ogrzewania budynków w sąsiedztwie poprawia sprawność całości.
Ograniczenia techniczne i granice
Każda metoda ma zalety, ale też ograniczenia. Wybór zależy od konfiguracji data center, miejscowych warunków klimatycznych, kosztów instalacji i eksploatacji oraz wymagań efektywności energetycznej.
Chłodzenie powietrzem , rozwiązanie sprawdzone, niezawodne i dostępne, o umiarkowanych kosztach instalacji (idealne dla infrastruktury małej i średniej); jego sprawność termiczna spada jednak przy dużej gęstości, co podnosi zużycie energii i ślad węglowy.
Chłodzenie cieczą , optymalna sprawność termiczna dla infrastruktury o dużej gęstości, obniża zużycie energii, a ciepło odpadowe może zasilić sieć ciepłowniczą; wysoki koszt instalacji, złożony serwis i ryzyko wycieków do opanowania.
Free cooling , obniża zużycie energii, wykorzystując powietrze zewnętrzne, i poprawia PUE; zależy jednak silnie od klimatu lokalizacji i wymaga zaawansowanej filtracji.
Chłodzenie adiabatyczne , łączy efektywność energetyczną z obniżeniem kosztów, zwłaszcza w środowisku suchym; opiera się jednak na wodzie (zarządzanie zasobami wodnymi) i traci skuteczność przy zbyt wysokiej wilgotności.
| Metoda | Sprawność termiczna | Koszt instalacji | Utrzymanie | Oddziaływanie na środowisko | Główne ograniczenie |
|---|---|---|---|---|---|
| Powietrze (CRAC i CRAH) | Umiarkowana , mniejsza przy dużej gęstości | Umiarkowane | Prosty — filtry i wentylacja | Wysokie , energochłonne | Mało właściwe przy dużych gęstościach |
| Ciecz (immersja i direct-to-chip) | Optymalna , duże gęstości | Wysokie | Złożony — płyny i szczelność | Zmniejszone , ciepło do wykorzystania | Ryzyko wycieków do opanowania |
| Free cooling | Wysoka , zależnie od klimatu | Umiarkowane do wysokich | Wymagana zaawansowana filtracja | Niskie | Zależy od klimatu lokalnego |
| Adiabatyczne | Wysoka , w klimacie suchym | Umiarkowane | Kontrola wilgotności | Woda , zużycie do monitorowania | Traci skuteczność przy wilgotnym powietrzu |
Podsumowując, każda metoda oznacza równowagę między wydajnością, kosztami i ograniczeniami eksploatacyjnymi. Wybór rozwiązania optymalnego zależy od konkretnych potrzeb data center, warunków środowiskowych i celów trwałości.
Optymalizacja chłodzenia z EOLIOS
Podejście całościowe
Optymalizacja układów chłodzenia jest zagadnieniem kluczowym dla nowoczesnych centrów danych: efektywność energetyczna i zarządzanie ciepłem wpływają wprost na koszty eksploatacji, trwałość i oddziaływanie na środowisko. EOLIOS wspiera uczestników branży przez podejście zintegrowane oparte na symulacji CFD, aby analizować i optymalizować odprowadzanie ciepła w serwerowni oraz jego usuwanie na zewnątrz.
Więcej: czym jest symulacja CFD?Obniżenie zużycia energii przez optymalizację strumieni ciepła
Złe prowadzenie strumieni powietrza tworzy strefy przegrzania (hot spoty) i nadmierne zużycie energii. EOLIOS wykonuje analizy CFD wewnętrzne aby zmapować obieg powietrza i wskazać nieefektywności. Wynika z tego kilka działań:
Dźwignie działania
- Optymalizacja korytarze ciepłe i zimne aby ograniczyć recyrkulacje ciepłego powietrza.
- Poprawa rozmieszczenia jednostek CRAC i CRAH zgodnie z rzeczywistymi potrzebami.
- Wskazanie punktów przegrzewania i zalecenia ich ograniczenia.
- Wprowadzenie rozwiązań obudowy korytarzy (przegrody, podłogi perforowane).
Te działania znacząco obniżają zużycie energii układów klimatyzacji, maksymalizując skuteczność chłodzenia i ograniczając przeciążenie termiczne sprzętu IT.
Odprowadzanie ciepła wewnętrznego metodą CFD
EOLIOS wykonuje wewnętrzne symulacje CFD aby pokazać strumienie ciepła i gradienty temperatury w serwerowni oraz zoptymalizować kilka aspektów:
Optymalizacje
- Ograniczenie zjawiska recyrkulacji ciepłego powietrza.
- Potwierdzenie i optymalizacja układów przez wirtualne badanie różnych scenariuszy.
- Poprawa parametrów jednostek uzdatniania powietrza dla bardziej jednorodnego odprowadzania ciepła.
Odprowadzanie ciepła na zewnątrz i oddziaływanie na środowisko
Po odebraniu ciepła z urządzeń musi ono zostać skutecznie odprowadzone na zewnątrz. EOLIOS wykonuje zewnętrzne symulacje CFD uwzględniające kilka czynników:
Analizowane czynniki
- Analiza wyrzutów ciepła aby uniknąć kumulacji ciepła wokół budynków.
- Optymalizacja rozmieszczenia wymienników i agregatów chłodniczych.
- Analiza zewnętrznych strumieni powietrza aby zminimalizować recyrkulacje i zmaksymalizować free cooling.
Zabezpieczenie infrastruktury przez zarządzanie ciepłem
Poza efektywnością energetyczną bezpieczeństwo termiczne jest zagadnieniem najważniejszym. EOLIOS traktuje je jako kluczowy parametr swoich analiz CFD, aby wyprzedzać i ograniczać ryzyka:
Spojrzenie prognostyczne
- Wskazanie możliwych punktów awarii związanych ze zmianami temperatury.
- Ocena skutków nieprawidłowej pracy w celu doboru redundancji.
- Optymalizacja prowadzenia strumieni przy awarii częściowej, aby uniknąć szybkiego wzrostu temperatury.
W stronę centrów danych wydajniejszych i trwalszych
Łącząc analizę energetyczną, wewnętrzne i zewnętrzne symulacje CFD oraz optymalizację bezpieczeństwa, EOLIOS pomaga obniżyć zużycie energii i poprawić PUE, zoptymalizować rozmieszczenie urządzeń, ograniczyć oddziaływanie wyrzutów ciepła na środowisko i wzmocnić bezpieczeństwo instalacji. Optymalizacja termiczna staje się w ten sposób dźwignią sprawności i wydajności.
Analizy CFD wewnętrzne i zewnętrzne, PUE, free cooling, bezpieczeństwo termiczne: nasi inżynierowie optymalizują Twoje chłodzenie.
