Wird die Einführung von Flüssigkeitskühlung in Rechenzentren zum Nullpunkt?

Scott Fulton III | 24. August 2023

Es war ein Lichtblick in einem ansonsten düsteren Marktupdate für Rechenzentrumsserver, das Anfang dieses Monats von Omdia veröffentlicht wurde: Während der Forschungszweig von Informa Tech seine weltweite Serverauslieferungsprognose für 2023 in diesem Jahr zum zweiten Mal auf 11 % herabgestuft hat- Trotz des Rückgangs im Jahresvergleich ist ein beispielloses Wachstum beim Einsatz von Flüssigkeitskühlungen zu verzeichnen.

„Vorläufige Datenpunkte zu Kühlgeräten für Rechenzentren deuten auf einen starken Anstieg des Einsatzes von Flüssigkeitskühlungen hin“, berichtete Vlad Galabov, Leiter der Forschungspraxis für Cloud- und Rechenzentren bei Omdia, zum Zeitpunkt der Veröffentlichung des Berichts und berief sich dabei auf Zahlen, die von Anbietern von Wärmemanagementgeräten bereitgestellt wurden. Einige Anbieter, die bereits in der zweiten Hälfte des letzten Jahres berichtet hatten, dass der Umsatz mit Wärmegeräten um das Zwanzigfache gestiegen sei (das ist kein Tippfehler), verzeichneten in der ersten Hälfte des Jahres 2023 weitere Steigerungen von mehr als 50 %.

Verwandt: Stromversorgung und Kühlung von Rechenzentren im Jahr 2023: Bisherige Top-Storys

Die Daten von Omdia scheinen im Widerspruch zur jährlichen Umfrageanalyse des Uptime Institute vom letzten Monat zu stehen. Uptime berichtete von einem sinkenden Interesse von Facility Managern und Designern, in naher Zukunft zumindest in erheblichem Umfang Flüssigkeitskühlung einzusetzen.

Dennoch gibt es einen roten Faden, der beide Beobachtungen erklärt, so Galabov und sein Omdia-Kollege, Data Center Compute & Networking Principal Analyst Manoj Sukumaran. In separaten Notizen zu Data Center Knowledge teilten uns Galabov und Sukumaran mit, dass Betreiber und Bauherren von Rechenzentren (merkwürdigerweise mit Ausnahme bestimmter Hyperscaler) ihre Investitionen auf Geräte mit höherer Dichte konzentrieren, die für KI-Arbeitslasten vorgesehen sind. Dies sind genau die Serverklassen, die für den Einsatz von Flüssigkeitskühlungen infrage kommen sollten.

Verwandte Themen: Rechenzentren verlieren ihre Coolness

Hier ist das aufkommende Phänomen: Diese Server mit höherer Dichte sind natürlich teurer, was den Anstieg der durchschnittlichen Stückpreise (AUP) für ausgelieferte Server erklären würde. Aber die Betreiber benötigen nicht so viele davon (natürlich, da es sich um Einheiten mit hoher Dichte handelt), was zu einem Rückgang der Sendungszahlen führt. Da diese neuen Einheiten jedoch wahrscheinlich für KI-Arbeitslasten bestimmt sind, könnten sich die Investitionen der Betreiber in die Flüssigkeitskühlung auf diese KI-Subsysteme beschränken. Und das würde die steigende Nachfrage nach luftbetriebenen Kühlsystemen mit höherer Effizienz erklären.

„Die Leistungsdichte von Racks für allgemeine Datenverarbeitung und Speicherung in den Rechenzentren von Cloud-Dienstanbietern beträgt 10 bis 20 kW“, heißt es in der Zusammenfassung von Galabovs Bericht. „Im Vergleich dazu beträgt die Leistungsdichte von Racks, die das Training von KI-Modellen berechnen, immer mehr als 20 kW.“

Man könnte meinen, dass dies der Notfall ist, für den Hyperscaler bereits geplant haben. Wie sich herausstellte, betreibt Meta, Eigentümer und Betreiber von Facebook, Anlagen, die nicht für Flüssigkeitskühlung optimiert sind, so Sukumaran. Das Beste, was Meta erreichen kann, ist die luftunterstützte Flüssigkeitskühlung (AALC). AALC wurde gemeinsam mit Microsoft entwickelt und ist ein Konzept, das Meta-Ingenieure schon vor der COVID-19-Pandemie als Innovation angepriesen haben, die die Möglichkeiten der Luftkühlung in konventionelleren Einrichtungen erweitern kann.

Ein luftunterstütztes, flüssigkeitsgekühltes Olympus RackServer-Chassis, das erstmals auf dem OCP Virtual Summit 2020 vorgeschlagen wurde.

AALC wurde erstmals im Jahr 2020 demonstriert und beinhaltet die Einführung einer Flüssigkeitskühlung mit geschlossenem Kreislauf in luftgekühlten Racks. Hier beginnt der Flüssigkeitsweg mit Kühlplatten, die an den Prozessoren angebracht sind (in frühen Tests an GPUs), verläuft über Verteiler auf Rackebene, in einen Wärmetauscher an der hinteren Tür (HX) und eine modifizierte Kühlmittelverteilungseinheit (CDU). Die von den Kühlplatten aufgenommene Wärme wird über den HX und dann über den vorhandenen Abluftstrom abgeführt.

Es handelt sich mit Sicherheit um einen Flüssigkeitskühlungsaufsatz, der für Herstellungszwecke als DLC-Komponente (Direct Liquid Cooling) gilt. Aber das Endprodukt ist nach der Installation offiziell ein luftgekühltes Rack. Dies erklärt, warum DLC-Einsätze zunehmen können, während luftgekühlte Einrichtungen weitgehend so bleiben, wie sie sind.

Während die Einrichtungen von Meta für AALC ausgestattet sind, sagte Sukumaran gegenüber Data Center Knowledge: „Es ist nicht so effizient wie das Einblasen kalter Luft von außen, um Server abzukühlen. Die zusätzliche Energie, die für die CDU und die großen Ventilatoren benötigt wird, wird die Nicht-IT leicht in die Höhe treiben.“ Stromverbrauch wirkt sich auf PUE aus.“

Als die Kennzahl „Power Usage Effectiveness“ (PUE) erstellt wurde, schien sie eine sinnvolle Methode zu sein, um zu messen, wie viel des Gesamtstroms eines Rechenzentrums von den IT-Wartungsgeräten verbraucht wird. Aber wie der Gerätehersteller Vertiv kürzlich betonte, senkt eine wirklich innovative Kühllösung sowohl den Stromverbrauch von IT-Geräten als auch den Gesamtstromverbrauch – den Nenner bzw. den Zähler des PUE-Verhältnisses. Daher ist es durchaus möglich, dass die Auswirkungen einer großen Innovation sowohl bei der Kühlung als auch bei der Stromversorgung für PUE völlig unsichtbar bleiben.

Das würde ein Phänomen erklären, das sowohl Uptime als auch Omdia beobachtet haben: Die PUE-Trends bleiben seit der Pandemie flach. Ironischerweise wird es schwieriger, dieselben wichtigen Innovationen effektiv zu vermarkten, wenn der PUE nicht sinkt. (Egal, wie oft PUE für tot erklärt wurde.)

„Ich denke, die PUE-Werte haben bereits stagniert“, sagte Galabov von Omdia gegenüber Data Center Knowledge, „und ich sehe nicht die umfassenden Maßnahmen, die erforderlich sind, um sie zu ändern.“

Daniel Bizo, Forschungsdirektor von Uptime Intelligence, sagte gegenüber Data Center Knowledge, dass etwa jede fünfte Einrichtung ein gewisses Maß an Flüssigkeitskühlung in ihren Racks einsetzt, wobei die Mehrheit damit rechnet, DLC innerhalb von fünf Jahren einzuführen. Ob die meisten dieser mit DLC ausgestatteten Racks jedoch offiziell als luftgekühlt eingestuft werden, hängt von Faktoren ab, die wir möglicherweise noch nicht vorhergesehen haben. Während dies geklärt wird, bleibt die Flüssigkeitskühlung die vorherrschende Wahl von weniger als 10 % der von Uptime befragten Betreiber.

„Alles in allem sieht Uptime in den kommenden Jahren eine kontinuierliche, schrittweise Einführung von DLC über die Marktzyklen hinweg“, sagte Bizo. „Die stärksten Treiber sind die Zunahme von Workloads mit hohen Rechenanforderungen und zunehmend die miteinander verflochtenen Bereiche Kostenoptimierung, Energieeffizienz und Nachhaltigkeit.“

„Unsere Daten zeigen, dass Racks mit sehr hoher Dichte (30–40 kW und mehr) tatsächlich immer häufiger vorkommen, aber weiterhin die Ausnahme bleiben. KI-Entwicklung und KI-gestützte Arbeitslasten werden wahrscheinlich zur Verbreitung von Racks mit hoher Dichte beitragen.“ Ergänzung zu bestehenden Installationen für technisches Rechnen wie Ingenieursimulationen, große Optimierungsprobleme und Big-Data-Analysen.“

Sukumaran von Omdia warnt davor, dass KI die Dichtetrends dennoch in die entgegengesetzte Richtung treiben könnte, insbesondere wenn die KI-Subsysteme von mehr Einrichtungen offiziell weiterhin luftgekühlt bleiben. „Wir sehen auch, dass die Rackdichte aufgrund der GPU- und CPU-basierten Server mit hohem Stromverbrauch abnimmt“, sagte Sukumaran. „Es könnte also Rückenwind für mehr Platz und Stromkapazität sein.“

Letzten Monat gaben HPE und Intel ihre gemeinsame Beteiligung an einem Gehäuse- und Rack-Standard bekannt, der ihrer Meinung nach die Lebensdauer luftgekühlter Anlagen verlängern wird. Die Cray XD220v-Servereinheit von HPE ist etwa anderthalb Zoll breiter als die ProLiant Um den Befürchtungen der Bediener Rechnung zu tragen, die immer noch Angst vor dem täglichen Umgang mit dielektrischen Flüssigkeiten haben, brachten die Hersteller die Behauptung vor, dass die Leistung des XD220v nur geringfügig zunahm (durchschnittlich 1,8 %), wenn die optionale DLC-Kühlung die herkömmliche Luftkühlung ersetzte.

Natürlich ging es bei DLC nie um die Verbesserung der Prozessorleistung, sondern nur um die Kosten dafür. Ein einfacher Klick auf die Diagramme von HPE zeigt, dass DLC die Leistung pro Watt des XD220v bei den branchenüblichen SPECrate-, SPEChpc- und Linpack-Testbatterien tatsächlich um fast 20 % verbessert hat.

Doch es ist offensichtlich, welche Botschaft die Marketingteams der Hersteller hier hervorheben wollten: Es wird nicht so schlimm für Sie sein, wenn Sie Ihre Investitionen in die Flüssigkeitskühlung um weitere fünf Jahre verschieben.

Unterdessen hat der Hersteller von Wärmegeräten JetCool Technologies seine neueste DLC-Technologie angepriesen. Seine SmartPlate- und SmartLid-Systeme bestehen aus Kühlplatten, die gekühlte Flüssigkeit über mikrokonvektive Kanäle, wie JetCool es nennt, direkt an die Oberfläche von Prozessoren liefern.

Unter Berufung auf Daten zur Betriebszeit, die belegen, dass die Kosten für Infrastrukturverbesserungen das Haupthindernis für Betreiber darstellen, die sich für die Einführung einer kompletten Flüssigkeitskühlung entscheiden, argumentiert ein kürzlich gemeinsam mit Dell erstelltes JetCool-Whitepaper, dass Rechenzentren genug zu befürchten haben, ohne dass Überschwemmungen zu ihrer Sorgenliste gehören.

„Mit einer eigenständigen Einheit entfällt die Notwendigkeit umfangreicher Infrastruktur-Upgrades“, erklärt JetCool. „Das Fehlen komplexer Sanitär- und Rohrleitungssysteme minimiert auch das Risiko von Lecks oder Systemausfällen, was möglicherweise die Reparatur- und Austauschkosten senkt und potenzielle Lecks auf Serverebene und nicht auf Rack- oder Anlagenebene eindämmt.“

Es handelt sich um eine Marketingbotschaft, die nicht nur auf die unmittelbaren Bedürfnisse der Kunden zugeschnitten zu sein scheint, sondern auch auf deren Widerwillen, solche Bedürfnisse anzuerkennen. Probieren Sie DLC aus, der Aufruf zum Handeln lautet. Es wird wahrscheinlich helfen. Und wenn nicht, was könnte es dann schaden? Es ist besser, als alle Ihre Anlagen mit flüssigkeitsführenden Rohren nachzurüsten, wenn Sie dies noch nicht müssen.

„Eine umfassende Umstellung auf DLC ist mit technischen und geschäftlichen Reibungen behaftet“, sagte Bizo von Uptime gegenüber Data Center Knowledge, „hauptsächlich aufgrund fehlender Standards und einer unzusammenhängenden organisatorischen Schnittstelle zwischen Facility Management und IT-Teams. und Kostenerwartungen (auch wenn dadurch Strom verschwendet wird) für die meisten Anwendungsfälle – und dazu gehören auch die neuesten stromhungrigen Chips von Intel, AMD und Nvidia.“

Darüber hinaus, so Bizo weiter, sei die technische Auslastung der meisten Rechenzentren heute nach wie vor niedrig. Es gibt viel Raum für mehr IT – weshalb die Investitionen in KI-fähige Server steigen, während die serverbezogenen Ausgaben insgesamt sinken. Es besteht also kein dringender Bedarf, die Serverdichte zu erhöhen. Infolgedessen geht Uptime davon aus, dass „die Marktakzeptanz von DLC nicht gleichmäßig verteilt sein wird und die Nachfragesignale gemischt sein werden.“

„Ehrgeizige Prognosen zum Technologiewandel in Rechenzentren“, bemerkte Bizo, „enttäuschen tendenziell.“

Anmerkung der Redaktion:Sowohl Omdia als auch Data Center Knowledge sind Teil von Informa Tech.

Weitere Informationen zu Textformaten