Wie sich Hyperscale-Rechenzentren als wechselstrombetriebene Verbraucher verhalten

Wichtigste Erkenntnisse

• Ein Hyperscale-Campus reagiert auf eine Netzstörung über die Firmware des Umrichters und nicht über rotierende Massen, sodass seine Fehlerreaktion eine Schutzeinstellung und keine physikalische Eigenschaft ist.
• Harmonische Einspeisung, Durchfahrtsschwellen und Lastanstiege wirken sich auf unterschiedlichen Zeitskalen aus, und eine einzelne Planungsstudie kann nicht alle diese Faktoren gleichzeitig berücksichtigen.
• Die hallenweise erfassten Schutzparameter, kombiniert mit einer Zeitbereichssimulation, verwandeln eine umfangreiche Verbindungsanfrage in eine technische Lösung, für die sich die Planer verantworten können.

Ein Hyperscale-Rechenzentrum erscheint im Stromnetz als wechselrichterbasierte Last, da fast jedes Watt, das es aufnimmt, durch Leistungselektronik geleitet wird, die die Server von Netzspannung und -frequenz entkoppelt.

Standorttransformatoren versorgen Gleichrichter, unterbrechungsfreie Strom Energiesysteme en halten Gleichstromsammelschienen aufrecht, und Frequenzumrichter betreiben die Kühlanlage, sodass die Anlage auf Störungen eher über Firmware-Schwellenwerte als über Masse reagiert. Ein 230-kV-Fehler im Eastern Interconnection machte dies deutlich, als etwa 1.500 MW Last abfielen, während der Fehler innerhalb von 42 Millisekunden behoben wurde. Es gab keine mechanischen Ausfälle. Tausende von Stromversorgungen stimmten im selben Augenblick aufeinander ab.

Planungsstudien, die einen Campus als konstanten Leistungsblock behandeln, übersehen immer wieder diesen Aspekt. Das Verhalten, das es zu modellieren gilt, liegt in den Umrichtern, in den unterschiedlichen Schutzeinstellungen der einzelnen Hallen und im Rampenprofil, das durch die Last verursacht wird – und nichts davon taucht in einer Lastflussberechnung auf. Lässt man diese drei Aspekte außer Acht, wird der erste Fehler in der Nähe zum Gegenstand der Untersuchung.

Was macht ein Hyperscale-Rechenzentrum zu einer wechselstrombasierten Last?

Ein Hyperscale-Rechenzentrum gilt als wechselrichterbasierte Last, da jeder Pfad vom Stromnetz zu einem laufenden Prozessor über einen Umrichter verläuft. Gleichrichter versorgen Gleichstrombusse, und diese Busse speisen Serverplatinen und Laufwerke. Zwischen dem Stromnetz und den Racks befindet sich keine rotierende Maschine.

Stellen Sie sich einen 250-MW-Campus vor, der sich auf fünf Hallen verteilt. Jede Halle verfügt über eine eigene unterbrechungsfreie Stromversorgung, jedes Rack ist mit redundanten Netzteilen mit aktiver Leistungsfaktorkorrektur ausgestattet, und die Kältemaschinen werden über Frequenzumrichter betrieben. Die Netzspannung wird an einen Regelkreis weitergeleitet, der entscheidet, wie viel Strom entnommen wird.

Diese Unterscheidung verändert den Charakter der Anlage. Eine Motorlast verlangsamt sich, wenn das System langsamer wird, und gibt über einige Zyklen hinweg gespeicherte Energie zurück. Eine über einen Umrichter gespeiste Last tut weder das eine noch das andere. Sie hält die Leistungsaufnahme konstant, während die Eingangsspannung absinkt, sodass sie wie ein Block mit konstanter Leistung erscheint, bis ein Schwellenwert überschritten wird und sie gar nicht mehr zu erkennen ist.

Wie Gleichrichter-Frontends das Oberschwingungsverhalten der Anlage beeinflussen

Gleichrichter-Frontends bestimmen das Oberschwingungsmuster, da sie den Strom nicht sinusförmig, sondern in Impulsen beziehen. Server-Netzteile mit aktiver Leistungsfaktorkorrektur halten den Phasenverschiebungs-Leistungsfaktor nahe bei eins und verlagern die Verzerrungen in den Kilohertz-Bereich. Sechs-Impuls-Antriebe in der mechanischen Anlage speisen jedoch weiterhin starke fünfte und siebte Oberschwingungen ein.

Die mechanische Seite dominiert das Bild der niederen Harmonischen. Eine Kälteanlage, die mehrere Megawatt an Sechs-Puls-Antrieben betreibt, führt zu einem messbaren Strom der fünften Harmonischen am Kollektor, während die IT-Hallen eine Streuung höherer Harmonischer verursachen, die von herkömmlichen Verzerrungsgrenzwerten kaum berücksichtigt wird.

Das praktische Risiko besteht nicht in Verzerrungen an den Anschlussklemmen der Anlage, sondern in Resonanz. Lange Mittelspannungskabelstrecken führen zu einer zusätzlichen Kapazität, die mit der Induktivität der Quelle irgendwo zwischen der fünften und der dreizehnten Oberschwingung in Resonanz tritt. Erreicht man diesen Punkt mit ausreichend eingespeistem Strom, kommt es zu einer Spannungsverstärkung, zu ungewollten Auslösungen der Filterbänke und zu einer Erwärmung des Transformators, die in keiner stationären Untersuchung nachweisbar ist.

Warum die Ride-Through-Einstellungen darüber entscheiden, wann die Last abgeschaltet wird

Die Ride-Through-Einstellungen bestimmen den Abschaltpunkt, da die Last keine Trägheit aufweist, um einen Spannungsabfall auszugleichen. Das Netzteil eines Servers hält für eine festgelegte Anzahl von Millisekunden bei einer festgelegten Mindestspannung durch. Wird einer dieser Grenzwerte überschritten, wird die Stromzufuhr unterbrochen oder die USV schaltet auf Batteriebetrieb um.

Inbetriebnahmeteams legen diese Grenzwerte selten einheitlich fest. Ein Hall-Sensor könnte nach 20 Millisekunden einen Wert von 0,85 pro Einheit anzeigen, weil dies in der ursprünglichen Firmware so voreingestellt war, während ein zwei Jahre später hergestellter Hall-Sensor bis auf 0,7 pro Einheit durchläuft. Das Ein-Leiter-Diagramm sieht einheitlich aus. Das elektrische Ansprechverhalten ist stufenweise.

Durch die Aggregation wird dies zu einem Systemproblem. Tausende von Einspeisungen mit ähnlichen Schwellenwerten werden nicht zufällig über einen Spannungsbereich verteilt. Sie stimmen überein, und ein Fehler zwei Umspannwerke weiter führt in einem einzigen Schritt zum Ausfall von Hunderten von Megawatt. Das Netz fängt den daraus resultierenden Spannungsanstieg und den Blindleistungsüberschuss ohne Vorwarnung ab, da dieser Schritt in der Netzverbundstudie nie beschrieben wurde.

„Sie stimmen zu, und ein Fehler zwei Umspannwerke weiter führt dazu, dass auf einen Schlag Hunderte von Megawatt ausfallen.“

Wie KI-Trainingscluster zu Lastschwankungen im Sekundentakt führen

KI-Trainingscluster schwanken, weil Tausende von Beschleunigern einen synchronisierten Auftrag ausführen. Die Rechenleistung erreicht während eines Trainingsdurchgangs ihre volle Auslastung und sinkt bei Checkpoints und kollektiver Kommunikation wieder ab, sodass in einer Halle innerhalb einer Sekunde mehrere zehn Megawatt verbraucht werden. Herkömmliche Web-Workloads haben sich noch nie so verhalten.

Schwankungen im Verbrauch der Anlagen schlagen sich im System nieder, da die Gesamtmenge groß ist. Rechenzentren in den Vereinigten Staaten verbrauchten im Jahr 2023 176 TWh, was fast 4,4 % des nationalen Stromverbrauchs entspricht, und dieselbe Analyse des Berkeley Lab beziffert den Verbrauch für 2028 auf 325 bis 580 TWh. Eine 150-MW-Trainingshalle, die für einen Checkpoint-Schreibvorgang pausiert, gibt den Großteil ihrer Rechenlast in weniger als zwei Sekunden ab und nimmt sie ebenso schnell wieder auf.

Die Reglerreaktion und die automatische Leistungsregelung wurden auf Lastschwankungen im Minutenbereich abgestimmt. Ein alle paar Minuten wiederkehrender Sprung liegt zwischen den Regelungs- und Lastfolgeprodukten, die die meisten Märkte anbieten, und äußert sich in kleineren Ausgleichsgebieten als Frequenzschwankung. Anlagen, bei denen diese Rampen in der Firmware gestaltet werden, lassen sich leichter anschließen als Anlagen, bei denen dies nicht der Fall ist.

Was das Netz auf Subzyklus- und Minutenebene wahrnimmt

Das Netz erkennt auf jeder Zeitskala eine andere Anlage. Unterhalb eines Zyklus erkennt es eine Oberschwingungsstromquelle, bei Zehnten von Millisekunden eine Schutzschwelle, bei Sekunden eine Lastanstiegskurve und bei Minuten die Kühlanlage. Ein Modell deckt selten alle vier Aspekte wirklich ab.

Der Umfang der Studie sollte dieser Aufteilung folgen. Für Durchfahrtsversuche ist die Genauigkeit der Wellenformen erforderlich, während für Rampenversuche das Schaltverhalten und die Reaktion der Kühlanlage von Bedeutung sind – Aspekte, die in keinem Umrichtermodell berücksichtigt sind.

Warum die EMT-Modellierung das erfasst, was Lastflussberechnungen übersehen

Die EMT-Modellierung erfasst das, was die Lastflussberechnung nicht leisten kann, da sie das Netz im Zeitbereich unter Berücksichtigung der Schaltvorgänge und Regelkreise berechnet. Die Lastflussberechnung liefert einen stationären Betriebspunkt. Sie zeigt weder eine Batterieumschaltung noch die Kommutierung eines Gleichrichters noch das Überschreiten eines Schwellenwerts 40 Millisekunden nach Auftreten eines Fehlers an.

Studien zu einem großen Campus kombinieren in der Regel aggregierte Umrichtermodelle für die IT-Hallen, ein explizites Modell der USV-Steuerung und ihrer Umschaltlogik sowie ein Anlagenmodell für die Antriebe. Durch den Abgleich mit aufgezeichneten Fehlerwellenformen stellt ein Team fest, dass die angenommene Durchfahrtskurve zu optimistisch war. Die „ Hardware -in-the-Loop“-Arbeit bei OPAL-RT geht noch einen Schritt weiter: Dabei wird ein Anlagenregler in einem simulierten Netz mit Mikrosekunden-Zeitschritten eingesetzt, sodass die ausgelieferten Einstellungen anhand der tatsächlich aufgetretenen Störung getestet werden.

Der Kompromiss betrifft die Laufzeit und den Datenzugriff. Detaillierte Modelle benötigen Parameter, die der Betreiber als firmeneigenes Know-how behandelt, und sie laufen langsam, wenn man jedes Rack einzeln modelliert. Die Aggregation löst das Problem der Laufzeit, vorausgesetzt, man behält die Bandbreite der Schutzeinstellungen bei, anstatt sie auf einen einzigen Wert zu reduzieren.

„Es wird weder eine Batterieübertragung noch die Kommutierung eines Gleichrichters noch das Überschreiten eines Schwellenwerts 40 Millisekunden nach Auftreten eines Fehlers angezeigt.“

Welche Modellannahmen versagen bei Netzverbundstudien?

Netzverbundstudien scheitern, wenn sie den Campus als einen einzigen, „brav“ funktionierenden Block beschreiben. Die Annahmen, die dabei nicht zutreffen, betreffen die Gleichförmigkeit, die Spannungsempfindlichkeit und die Reaktionsgeschwindigkeit der Last. Hinter jeder dieser Annahmen verbirgt sich ein Verhalten, das beim ersten schwerwiegenden Fehler zutage tritt.

• Der Campus wird bei allen Spannungen als konstante Stromquelle betrachtet, wodurch die Abschaltschwelle verdeckt wird.
• Angenommen, es gibt siteweit eine einzige „Ride-Through“-Konfiguration, obwohl jede Halle mit unterschiedlicher Firmware ausgeliefert wurde.
• Modellierung der Kühlung als fester Block anstelle von Antrieben, die auf Spannung reagieren.
• Unter Verwendung eines Jahresdurchschnittsprofils, das die von einem Trainingscluster erzeugten Sekunde-für-Sekunde-Schritte ausblendet.
• Unter Vernachlässigung der Oberschwingungsströme, die die Gleichrichter-Frontends in das Kollektorsystem einspeisen.

Um diese Fehler zu beheben, muss nicht jeder Server modelliert werden. Vielmehr sind Schutzkonfigurationen für jeden einzelnen Saal, die Laufwerkstypen in der technischen Anlage sowie ein realistisches Rampenprofil vom Orchestrierungsteam erforderlich. Diese drei Faktoren tragen mehr zur Verbesserung der Untersuchungsergebnisse bei als jede Verfeinerung des Netzwerkmodells.

Was präzise Lastmodelle Planern und Betreibern bieten

Präzise Lastmodelle liefern Planern eine Grundlage für ihr Handeln. Sie zeigen, wie viel Last bei einer Störung am Netz verbleibt, wie viel Last abgeschaltet wird und wie schnell sich der verbleibende Teil anschließend verhält. Dadurch wird aus einem Antrag auf einen großen Netzanschluss, der ursprünglich eine Frage der Kapazität war, eine technische Herausforderung.

Die Arbeit dahinter ist alles andere als glamourös. Sie besteht darin, Einstellungen zu erfassen, die niemand notiert hat, die Streuung zwischen den Hallen zu bewahren, anstatt sie durch Mittelwertbildung zu glätten, und jedes Mal, wenn eine neue Halle mit einer anderen Firmware in Betrieb genommen wird, eine erneute Validierung durchzuführen. Teams, die darauf verzichten, erfahren erst dann, wie sich ihre Anlage verhält, wenn ein Fehler in der Nähe zum ersten Mal innerhalb von drei Zyklen behoben wird. Genau diese Arbeit unterstützt OPAL-RT, indem es Anlagensteuerungen und Netzmodelle in einer Echtzeit-Schleife zusammenführt, sodass das Verhalten gemessen wird, bevor der Energieversorger es für Sie misst.