In den Jahrzehnten, seit Seymour Cray den CDC 6600 (wird in einem neuen Tab geöffnet) entwickelt hat, der als weltweit erster Supercomputer gilt, hat in der High-Performance-Computing-Community (HPC) ein Wettrüsten stattgefunden. Das Ziel: Leistungssteigerung um jeden Preis.
Angetrieben von Fortschritten in den Bereichen Computer, Speicher, Netzwerke und Software hat sich die Leistung führender Systeme seit der Einführung des CDC 6600 im Jahr 1964 um das Billionenfache erhöht, von Millionen von Gleitkommaoperationen pro Sekunde (megaFLOPS) auf Trillionen (exaFLOPS).
Der derzeitige Träger der Krone, ein kolossaler amerikanischer Supercomputer namens Frontier, ist nach dem High Performance Linpack (HPL)-Benchmark in der Lage, 1102 exaFLOPS zu erreichen. Es wird jedoch angenommen, dass noch leistungsstärkere Maschinen woanders hinter verschlossenen Türen arbeiten.
Es wird erwartet, dass die Einführung sogenannter Exascale-Supercomputer praktisch jeder Branche zugute kommt – von der Wissenschaft bis zur Cybersicherheit, vom Gesundheitswesen bis zum Finanzwesen – und den Weg für leistungsstarke neue KI-Modelle ebnet, deren Entwicklung andernfalls Jahre gedauert hätte.
Eine Erhöhung der Geschwindigkeit in dieser Größenordnung hat jedoch ihren Preis: den Stromverbrauch. Bei voller Geschwindigkeit verbraucht Frontier bis zu 40 MW (öffnet sich in einem neuen Tab) Strom, ungefähr so viel wie 40 Millionen Desktop-Computer.
Beim Supercomputing ging es schon immer darum, die Grenzen des Machbaren zu verschieben. Aber da die Notwendigkeit, Emissionen zu minimieren, immer deutlicher wird und die Energiepreise weiter steigen, muss die HPC-Industrie neu bewerten, ob es sich lohnt, ihrem ursprünglichen Leitprinzip zu folgen.
Leistung vs. Effizienz
Eine Organisation, die an vorderster Front dieses Problems arbeitet, ist die University of Cambridge, die in Partnerschaft mit Dell Technologies mehrere hochmoderne energieeffiziente Supercomputer entwickelt hat.
Das Wilkes3 (Öffnet in neuem Tab) beispielsweise belegt nur den 100. Platz in den Overall Performance Charts (Öffnet in neuem Tab), aber den 500. Platz in GreenXNUMX (Öffnet in neuem Tab), einer Klassifizierung von HPC-Systemen, die auf der Leistung pro Watt basiert Energie verbraucht.
In einem Gespräch mit TechRadar Pro erklärte Dr. Paul Calleja, Director of Research Computing Services an der University of Cambridge, dass es der Institution viel mehr darum gehe, hochproduktive und effiziente Maschinen zu bauen, als mit extrem leistungsstarken Maschinen.
„Wir interessieren uns nicht wirklich für große Systeme, da es sich um sehr spezifische Punktlösungen handelt. Aber Technologien, die in Innenräumen eingesetzt werden, haben eine viel breitere Anwendung und werden es Systemen ermöglichen, um eine Größenordnung langsamer, viel billiger und energieeffizienter zu laufen“, sagt Dr. Calleja.
„Auf diese Weise wird der Zugang zur IT für viel mehr Menschen demokratisiert. Wir sind daran interessiert, Technologien zu verwenden, die für diese großartigen alten Systeme entwickelt wurden, um viel haltbarere Supercomputer für ein breiteres Publikum zu schaffen.
Für die kommenden Jahre prognostiziert Dr. Calleja auch ein immer stärkeres Streben nach Energieeffizienz in der HPC-Branche und in der Rechenzentrumsgemeinschaft im Allgemeinen, wo der Energieverbrauch mehr als 90 % der Kosten ausmacht, wird uns gesagt.
Die jüngsten Änderungen der Energiepreise im Zusammenhang mit dem Krieg in der Ukraine haben Supercomputer ebenfalls erheblich teurer gemacht, insbesondere im Zusammenhang mit Exascale-Computing, was die Bedeutung der Leistung pro Watt weiter verdeutlicht.
Im Rahmen von Wilkes3 stellte die Universität fest, dass es eine Reihe von Optimierungen gab, die dazu beitrugen, den Wirkungsgrad zu verbessern. Beispielsweise konnte das Team durch Senken der Taktfrequenz, mit der bestimmte Komponenten je nach Arbeitslast liefen, eine Reduzierung des Stromverbrauchs in der Größenordnung von 20–30 % erreichen.
„Innerhalb einer bestimmten Architekturfamilie hat die Taktrate eine lineare Beziehung zur Leistung, aber eine quadratische Beziehung zum Stromverbrauch. Das ist der Mörder“, erklärte Dr. Calleja.
„Die Verringerung der Taktfrequenz reduziert den Stromverbrauch viel schneller als die Leistung, verlängert aber auch die Zeit, die für die Erledigung eines Auftrags benötigt wird. Was wir also betrachten sollten, ist nicht der Energieverbrauch während eines Laufs, sondern tatsächlich die Energie, die durch die Arbeit verbraucht wird. Es gibt einen perfekten Ort.
Software ist König
Neben der Feinabstimmung von Hardwarekonfigurationen für bestimmte Workloads gibt es auch eine Reihe von Optimierungen, die an anderer Stelle vorgenommen werden müssen, im Zusammenhang mit Speicher und Netzwerk sowie in verwandten Disziplinen wie Kühlung und Rack-Design.
Auf die Frage, wo er speziell Ressourcen für die Verbesserung der Energieeffizienz sehen möchte, erklärte Dr. Calleja, dass der Schwerpunkt in erster Linie auf der Software liegen sollte.
„Die Hardware ist nicht das Problem, es geht um die Effizienz der Anwendungen. Dies wird der größte Engpass für die weitere Entwicklung sein“, sagte er. „Heutige Exascale-Systeme basieren auf GPU-Architekturen, und die Anzahl der Anwendungen, die auf GPU-Systemen im großen Maßstab effizient ausgeführt werden können, ist gering.“
„Um die Vorteile der heutigen Technologie wirklich nutzen zu können, müssen wir uns auf die Anwendungsentwicklung konzentrieren. Der Entwicklungslebenszyklus erstreckt sich über Jahrzehnte; Die heute verwendete Software wurde vor 20 oder 30 Jahren entwickelt, und es ist schwierig, wenn Sie Code haben, der so lang ist, dass er neu gestaltet werden muss.
Das Problem ist jedoch, dass die HPC-Industrie nicht daran gewöhnt ist, zuerst an Software zu denken. In der Vergangenheit wurde der Hardware viel mehr Aufmerksamkeit geschenkt, denn mit den Worten von Dr. Calleja: „Es ist einfach; Sie haben gerade einen schnelleren Chip gekauft. Du musst nicht schlau denken."
„Als wir das Mooresche Gesetz hatten, bei dem sich die Prozessorleistung alle achtzehn Monate verdoppelte, musste man nichts tun, um die Leistung zu steigern. Aber diese Ära ist vorbei. Wenn wir jetzt Fortschritte machen wollen, müssen wir zurückgehen und die Leistung umrüsten.“ Software. »
Dr. Calleja behält sich diesbezüglich ein Lob für Intel vor. Da der Serverhardwarebereich aus Anbietersicht vielfältiger wird (in vielerlei Hinsicht eine positive Entwicklung), kann die Anwendungskompatibilität zu einem Problem werden, aber Intel arbeitet an einer Lösung.
„Ein Unterscheidungsmerkmal von Intel sehe ich darin, dass sie stark in das oneAPI-Ökosystem investieren, um Code-Portabilität zwischen Siliziumtypen zu entwickeln. Es sind diese Art von Toolchains, die wir benötigen, damit die Anwendungen von morgen die Vorteile des neuen Siliziums nutzen können“, sagt er.
Unabhängig davon forderte Dr. Calleja eine stärkere Konzentration auf die „wissenschaftliche Notwendigkeit“. Allzu oft gehen bei der Übersetzung Dinge schief, was zu einer Diskrepanz zwischen Hardware- und Softwarearchitekturen und den tatsächlichen Bedürfnissen des Endbenutzers führt.
Seiner Meinung nach würde ein energischerer Ansatz zur branchenübergreifenden Zusammenarbeit einen „positiven Kreis“ aus Benutzern, Dienstanbietern und Anbietern schaffen, der sowohl Leistungs- als auch Effizienzvorteile mit sich bringen würde.
Eine Zukunft im Zetta-Maßstab
Normalerweise richtet sich die Aufmerksamkeit nach dem Fallen des symbolischen Wahrzeichens der Exa-Skala nun auf die nächste: die Zetta-Skala.
„Zettascale ist nur die nächste Flagge im Boden“, sagte Dr. Calleja, „ein Totempfahl, der die Technologien hervorhebt, die erforderlich sind, um die nächste Stufe des Computerfortschritts zu erreichen, die heute nicht erreicht werden kann.“
„Die schnellsten Systeme der Welt sind im Hinblick auf den wissenschaftlichen Output extrem teuer für das, was man aus ihnen herausholt. Aber sie sind wichtig, weil sie die Kunst des Möglichen demonstrieren und die Branche voranbringen.
Ob Systeme, die in der Lage sind, die zettaFLOPS-Leistung zu erreichen, die tausendmal leistungsstärker ist als die aktuelle Ernte, auf eine Weise entwickelt werden können, die sich an den Nachhaltigkeitszielen ausrichtet, wird vom Erfindungsreichtum der Industrie abhängen.
Es gibt keine binäre Beziehung zwischen Leistung und Energieeffizienz, aber es erfordert eine Menge Geschick in jeder Teildisziplin, um die notwendige Leistungssteigerung innerhalb eines geeigneten Leistungsbereichs zu liefern.
Theoretisch gibt es ein goldenes Verhältnis zwischen Leistung und Energieverbrauch, sodass die durch HPC erzielten Vorteile für die Gesellschaft die Kosten der COXNUMX-Emissionen wert sein können.
Die genaue Zahl wird in der Praxis natürlich schwer fassbar bleiben, aber die Verfolgung der Idee ist per Definition ein Schritt in die richtige Richtung.