MuSE: Clustering, Erweiterbarkeit und nahezu unendliche I/O mit OPAL-RT-Simulationen

OPAL-RT hat die Benutzererfahrung bei der Verwendung mehrerer Simulatoren, entfernter Ziele oder bei der Notwendigkeit von Cluster-Maschinen für erhöhte I/O oder andere Fähigkeiten verbessert. Diese Hochgeschwindigkeitsverbindung wird als MuSE(Multi-System Expansionlink) bezeichnet.

Irène Pérès, MuSEs Product Owner bei OPAL-RT, sprach kürzlich mit uns über die unglaubliche Leistungsfähigkeit, Flexibilität, Vielseitigkeit und Benutzerfreundlichkeit dieses speziellen Add-ons, das so viel mehr ist als nur ein Erweiterungspaket.

Interviewer (IV): Danke, dass Sie sich uns anschließen, Irène! Ich habe teilweise verstanden, dass MuSE eine Art hardware ist, das das Clustering mehrerer Maschinen ermöglicht und häufig zur Erweiterung der verfügbaren I/O verwendet wird. Würden Sie es so beschreiben?

Irène Pérès (IP): "MuSE umfasst tatsächlich einige hardware : Glasfaser und SFP (Small Form-factor Pluggable)-Transceiver. Die hardware ist jedoch nur die Spitze des Eisbergs, denn das Wesentliche von MuSE liegt in den von uns entwickelten software . Das Problem, das wir lösen mussten, lautete: Wenn ein Benutzer mehr I/O benötigt, als in einem Gehäuse verfügbar sind, wie können wir die Verbindung mit anderen Gehäusen erleichtern, um diese zusätzliche I/O hinzuzufügen?"

IV: MuSE wurde für Simulationen in Branchen eingesetzt, in denen viel mit I/O gearbeitet wird, wie z.B. in der Luft- und Raumfahrt - ist das richtig?

IP: "Ja! Wir haben den Link zunächst mit Blick auf diese Branchen entwickelt. Aber tatsächlich sehen wir einen gewinnen zunehmend an Bedeutung Trend, MuSE in sehr unterschiedlichen Anwendungen und auch für kleinere Systeme einzusetzen. Die Benutzerfreundlichkeit durch das modulare Zusammenfügen der Systeme ist ein sehr überzeugendes Verkaufsargument für die Verwendbarkeit. Das macht die Sache sehr viel einfacher. Wenn Sie beispielsweise einen OP4510-Simulator mit 128 I/O haben und mehr I/O benötigen, können Sie mit PCIe ein OP4520-Erweiterungsgehäuse hinzufügen und die Kapazität auf 256 E/As verdoppeln - aber was, wenn Sie noch mehr benötigen? Der OP4510 ist ein recht kleines Gehäuse, das nicht mehr als eine PCIe-Karte aufnehmen kann. Mit den vier SFP-Ports an der Vorderseite des Gehäuses können wir nun aber vier I/O an das OP4510 anschließen, und diese Gehäuse können jeder Kategoriegrößere wie das OP5607 mit 256 I/O , wodurch sich die I/O exponentiell erhöht."

IV: Sie meinen also, Sie können jede Kategorie von OPAL-RT-Chassis mit MuSE mischen?

IP: "In der Tat! Wie ich bereits erwähnte, verwendeten wir SFPs für den Anschluss an Geräte von Drittanbietern (Verstärker, MMC-Controller) und hatten bereits SFP-Ports an allen unseren neueren Systemen. Die von uns entwickelte software ist also mit allen Systemen kompatibel, so dass der Benutzer je nach seinen Anforderungen und seinem Budget ein Netzwerk von Simulatoren und Erweiterungsgehäusen verschiedener Typen aufbauen kann. Unser OP5707-Simulator verfügt zum Beispiel über 16 SFP-Ports, so dass wir 16 OP5607-Chassis mit jeweils bis zu 256 E/As anschließen können. Vor kurzem haben wir sogar die OP5600-Familie um MuSE-Fähigkeiten erweitert, und zwar mit dem neuen OP5650, der mit einem Artix-7 FPGA und 4 SFP-Ports ausgestattet ist.

IV: Also wirklich: bis zu 4.096 I/O ? Haben wir jemals so etwas gemacht, soweit Sie wissen?

IP: "Nun, lassen Sie uns einige außergewöhnliche Simulationsherausforderungen durchspielen, damit Sie eine Vorstellung von der Flexibilität und Erweiterbarkeit bekommen, die wir bieten können. Konfigurationen wie diese waren mit PCIe einfach nicht auf eine benutzerfreundliche Weise möglich, wenn überhaupt:

• Einer unserer Kunden musste seinen OP4510-Simulator (der mit RT-LAB läuft) erweitern, um die Echtzeitsteuerung von Leistungselektronik und elektrischen Maschinen auf einem Prüfstand durchzuführen. In diesem Fall ermöglichte die Hinzufügung von vier geclusterten OP4200 die Steuerung auf einem Echtzeitrechner des OP4510, während die Wechselrichter gesteuert und Daten aus Messungen auf den OP4200 gesammelt wurden;
• Ein anderer Kunde hat zwei Installationen, eine OP5707 mit vier OP4520 und eine weitere OP5707 mit vier OP4200, die mit HYPERSIM betrieben werden. In diesem Fall sind die entfernten Einheiten etwa 100 Meter vom Simulator entfernt, und die Kund:innen müssen die in ihrem Gebäude vorinstallierte Glasfaser verwenden. Wir konnten keine Echtzeit-Synchronisationskabel zwischen den Einheiten verlegen, wie wir es zuvor getan hatten. Deshalb haben wir unser Echtzeit-Synchronisationssignal in die MuSE-Verbindung integriert, so dass die gesamte Kommunikation nun über eine einzige Verbindung läuft.
• Schließlich hatte einer unserer langjährigen Kunden mehrere unserer Chassis (OP5600, OP4520, OP5707, OP4510) gekauft und wollte diese für ein größeres Projekt, das er vorbereitete, wiederverwenden. Durch die Hinzufügung der MuSE-Fähigkeit können sie ihre OP4510 und OP4520 mit dem OP5707 verbinden, um Messdaten zu sammeln, und dennoch in der Lage sein, ein OP4510 einfach abzutrennen, um es bei Bedarf als eigenständiges Chassis für andere Experimente zu verwenden."

IV: Wir haben viel über die hardware gesprochen, aber Sie erwähnten, dass die software einen großen Teil der Verbindung ausmacht. Was genau bringt sie in Bezug auf die Erweiterbarkeit?

IP: "Die Benutzerfreundlichkeit, sowohl bei der Modellvorbereitung als auch bei der Ausführung der Simulation, war unser Hauptziel. In der Vergangenheit hatten wir eine generische Xilinx Aurora-Schnittstelle entwickelt, mit der die Benutzer FPGA-Bitströme für unser Chassis vorbereiten konnten. Aber die Verwaltung des Packens/Entpackens von Daten und der zeitlichen Beschränkungen des Protokolls war mühsam, und wir verstanden, dass unsere Benutzer offensichtlich mehr an der Entwicklung ihrer Steuerungsalgorithmen interessiert waren als an der Lösung dieser Low-Level-Probleme. Jetzt wird die Aurora-Integration in den Bitstream vollständig von unserer RT-XSG-Toolbox während der Generierung des Bitstreams übernommen."

"Und für das CPU-Modell haben wir es durch die RT-LAB- und HYPERSIM einfach gemacht: Der Benutzer muss nur Remote-Einheiten über die GUIs hinzufügen. Der Bitstream des Simulators muss nicht geändert werden, wenn der Benutzer später eine weitere Remote Unit verwenden möchte - alles ist bereits erledigt. Das ist viel benutzerfreundlicher und ein großer Schritt nach vorn!"

IV: Ziemlich außergewöhnlich, und wir haben ihnen allen geholfen. Okay, also das, was wir als MEAMore Electric Aircraft) bezeichnen, oder zum Beispiel Elektroboote - es ist nicht schwer, sich ein Szenario vorzustellen, in dem wir tatsächlich 4.056 Stecker brauchen! In Anbetracht der zunehmenden elektrischen/elektronischen Komplexität einiger Transport- und anderer elektronischer Netzwerke und Infrastrukturen, die es gibt.

IP: "Wir wissen durch die Installationen, die ich Ihnen oben beschrieben habe, dass diese Systeme zuverlässig funktionieren. Da wir dies wissen, ist es im Hinblick auf die Erweiterbarkeit eher eine Frage der Zeit und der Latenz - wie viele Daten können Sie in einem Zeitschritt übertragen? Aber es gelten die gleichen Überlegungen wie bei PCIe. Irgendwann stoßen wir an unsere Grenzen - aber das ist keine Einschränkung, die sich aus MuSE ergibt oder von OPAL-RT auferlegt wird."

IV: Und was die Leistung betrifft, verringern die Glasfasern die Latenzzeit?

IP: "Eigentlich ist es nicht der Link selbst, der die Latenz beseitigt, sondern die Tatsache, dass wir nicht mehr einen oder mehrere PCIe-Slots, die von der Hauptplatine des Chassis verwaltet werden, und verschiedene PCIe-Verbindungskarten und Kabel mit verschiedenen Chassis verwenden müssen. Die einzige PCIe-Verbindung, die noch besteht, ist die zwischen der Hauptplatine des Simulators und dem internen FPGA des Simulators. Der Rest der Kommunikation findet direkt zwischen den FPGAs der verschiedenen Chassis statt. Wir steuern auch die Netzwerk-Enumeration, die Erkennung der Anzahl und Kategorie der angeschlossenen Chassis usw."

IV: Handelt es sich Ihrer Erfahrung nach um eine hochspezialisierte Konfiguration für eine bestimmte Kategorie von Nutzern...?

IP: "Ganz und gar nicht, vielleicht sogar das Gegenteil. Früher, als wir PCIe-Verbindungen hatten, mussten sich die Benutzer nicht darum kümmern, das war Sache der Hauptplatine. Wir wollten also die gleiche Benutzerfreundlichkeit mit SFP und Glasfasern erreichen. Im Allgemeinen muss der Benutzer nur die SFPs verkabeln und den Simulator und sein Remote-Chassis in RT-LAB oder HYPERSIM konfigurieren. Die Art und Weise, wie die Benutzer im Modell interagieren, ist die gleiche wie bei jedem anderen Chassis - es gibt nichts Besonderes zu programmieren."

IV: Soweit ich weiß, wird dadurch nicht nur die I/O des Rechners erhöht, sondern es werden auch viele andere Verbindungsarten ermöglicht. Es handelt sich also nicht nur um eine lineare Verbesserung der Nutzung, sondern um eine exponentielle. Sind weitere Entwicklungen zu erwarten?

IP: Natürlich! Wir haben die Benutzerfreundlichkeit für das CPU-Modell und die Bitstream-Vorbereitung erreicht. Aber wir befassen uns jetzt mit anderen Aspekten der FPGA-zu-FPGA-Kommunikation, die von unseren Benutzern benötigt werden: Modelle, die über mehrere FPGAs verteilt sind, Kommunikation mit Leistungsverstärkern, mit MMC-Controllern usw. Ich denke, wir befinden uns erst in der ersten Phase dieses MuSE-Projekts, und es gibt noch viele interessante Funktionen , die noch kommen werden!

Über die befragte Person

Irène Pérès kam 2001 zu OPAL-RT und war an der Entwicklung von OPAL-RT-Simulatoren beteiligt, einschließlich software , Firmware und Aspekten des hardware .

Heute ist sie Produktmanagerin und technische Mitarbeiterin und konzentriert sich auf die Entwicklung der OPAL-RT Multi-FPGA-Plattformen.
Seit ihren frühen Berufsjahren (sie promovierte 1990 in Plasmaphysik an der Paul-Sabatier-Universität in Toulouse, Frankreich) hat sie ein starkes Interesse an anspruchsvollen, komplexen technischen Projekten und strebt danach, diese Herausforderungen einfach zu gestalten.