Cerebras Systems, Hersteller des weltweit größten Chips, gab bekannt, dass sein CS-2-System jetzt PyTorch und TensorFlow unterstützt, was es Forschern ermöglicht, Modelle mit Milliarden von Parametern schnell und einfach zu trainieren.
Das CS-2 des Unternehmens ist das weltweit schnellste KI-System und wird von seinem Wafer-Scale Engine 2 (WSE-2)-Prozessor angetrieben. Mit der Veröffentlichung von Version 1.2 der Cerebras Software Platform (CSoft) unterstützt CS-2 jetzt zusätzliche Frameworks für maschinelles Lernen, die Entwicklern noch mehr Auswahlmöglichkeiten bei der Art der Modelle geben, die sie ausführen möchten.
Emad Barsoum, Senior Director of AI Framework bei Cerebras Systems, erklärte in einer Pressemitteilung, wie CSoft es Entwicklern jetzt ermöglicht, in TensorFlow oder PyTorch geschriebene Modelle auszudrücken, und sagte:
„Von Anfang an war es unser Ziel, das Framework für maschinelles Lernen, auf dem unsere Kunden schreiben wollten, nahtlos zu unterstützen. Unsere Kunden schreiben in TensorFlow und PyTorch, und unser Software-Stack CSoft ermöglicht es, Ihre Modelle schnell und einfach im Rahmen Ihrer Wahl auszudrücken. Dabei haben unsere Kunden Zugriff auf die 850,000 KI-optimierten Kerne und 40 Gigabyte On-Chip-Speicher des Cerebras CS-2."
Skalierung großer Sprachmodelle
CSoft Version 1.2 ermöglicht es Entwicklern jetzt, ihre Modelle in den Open-Source-Frameworks PyTorch oder TensorFlow zu schreiben und sie ohne Änderungen in Cerebras CS-2 auszuführen. Gleichzeitig kann ein KI-Modell, das entweder für eine GPU oder eine CPU geschrieben wurde, ohne Änderungen in CSoft auf CS-2 ausgeführt werden.
Mit der kombinierten Leistung von CS-2 und CSoft können Entwickler von kleinen Modellen wie BERT zu größeren bestehenden Modellen wie GPT-3 skalieren.
Das Training großer Modelle mit einer GPU ist schwierig und zeitaufwändig, während das Training von Grund auf mit neuen Datensätzen oft Wochen und Dutzende von Megawatt Leistung auf großen Clustern von Altgeräten in Anspruch nimmt. Außerdem steigen Leistung, Kosten und Komplexität exponentiell, wenn die Größe des Clusters zunimmt.
Cerebras Systems hat den CS-2 entwickelt, um diese Herausforderungen zu meistern, und sein KI-System kann selbst die größten Modelle in nur wenigen Minuten einrichten. Da Entwickler mit CS-2 weniger Zeit für die Installation, Konfiguration und das Training ihrer Modelle aufwenden, können sie mehr Ideen in noch kürzerer Zeit untersuchen.
