Dank Microsoft Bing scheint heutzutage jeder über ChatGPT zu sprechen, aber angesichts der Natur von Large Language Models (LLMs) wäre es einem Spieler verziehen, wenn er ein kleines Déjà-vu-Gefühl verspürt.
Sie sehen, obwohl LLMs auf riesigen Cloud-Servern laufen, verwenden sie spezielle GPUs, um das gesamte Training durchzuführen, das sie zum Ausführen benötigen. Typischerweise bedeutet das, eine geradezu obszöne Datenmenge durch neuronale Netze zu speisen, die auf einem GPU-Array mit ausgefallenen Tensorkernen laufen, und das ist nicht nur eine Menge Leistung, sondern auch eine Menge tatsächlicher GPUs, um dies in großem Umfang zu tun.
Es klingt sehr nach Kryptomining, ist es aber nicht. Kryptomining hat nichts mit maschinellen Lernalgorithmen zu tun, und im Gegensatz zu maschinellem Lernen besteht der einzige Wert von Kryptomining darin, ein hochspekulatives digitales Produkt namens Token herzustellen, von dem einige Leute glauben, dass es etwas wert ist, und daher bereit sind, dafür echtes Geld auszugeben.
Dadurch entstand eine Krypto-Blase, die in den vergangenen zwei Jahren zu GPU-Engpässen führte, als Krypto-Miner von 2020 bis 2022 alle Nvidia Ampere-Grafikkarten aufkauften und Gamer gleichgültig ließen. Diese Blase ist nun geplatzt und die GPU-Aktie hat sich mittlerweile stabilisiert.
Aber sehen wir mit dem Aufstieg von ChatGPT eine Wiederholung der letzten zwei Jahre? Es ist unwahrscheinlich, aber auch nicht ausgeschlossen.
Ihre Grafikkarte wird die Haupt-LLMs nicht steuern
Während Sie vielleicht denken, dass die beste Grafikkarte, die Sie kaufen können, genau das ist, was Machine Learning-Typen für ihre Setups wollen, liegen Sie falsch. Wenn Sie nicht an einer Universität nach Algorithmen für maschinelles Lernen suchen, reicht eine Consumer-Grafikkarte nicht aus, um die Art von Algorithmus zu steuern, die Sie benötigen.
Die meisten LLMs und andere generative KI-Modelle, die Bilder oder Musik produzieren, betonen wirklich das erste L: groß. ChatGPT verarbeitete eine unergründliche Menge an Text, und eine Verbraucher-GPU ist für diese Aufgabe nicht so gut geeignet wie industrietaugliche GPUs, die auf einer Serverinfrastruktur laufen.
Dies sind die GPUs, die sehr gefragt sein werden, und das macht Nvidia so begeistert von ChatGPT – es ist nicht so, dass ChatGPT den Menschen helfen wird, sondern dass so ziemlich alle GPUs auf Server-Niveau von Nvidia zum Ausführen erforderlich sind, was bedeutet, dass Nvidia ist dabei, die Aufregung von ChatGPT zu nutzen.
Das nächste ChatGPT wird in der Cloud ausgeführt, nicht auf lokaler Hardware
Sofern Sie nicht Google oder Microsoft sind, betreiben Sie keine eigene LLM-Infrastruktur. Sie nutzen jemand anderen in Form von Cloud-Diensten. Das bedeutet, dass Sie keine Startups haben werden, die alle Grafikkarten aufkaufen, um ihre eigenen LLMs zu entwickeln.
Höchstwahrscheinlich werden wir LLMaaS oder Large Language as a Service-Modelle sehen. Sie verfügen über Microsoft Azure- oder Amazon Web Services-Rechenzentren mit riesigen Serverfarmen voller GPUs, die Sie für Ihre maschinellen Lernalgorithmen mieten können. Das ist es, was Startups lieben. Sie hassen es, andere Ausrüstung als eine Tischtennisplatte oder einen Sitzsack zu kaufen.
Das bedeutet, dass ChatGPT und andere KI-Modelle mit zunehmender Verbreitung nicht lokal auf Consumer-Hardware ausgeführt werden, selbst wenn die Leute, die es ausführen, ein kleines Entwicklerteam sind. Sie werden auf Server-Hardware ausgeführt, sodass niemand nach Ihrer Grafikkarte suchen wird.
Die Spieler sind noch nicht über dem Berg
Dann gibt es also nichts zu befürchten? Gut...
Die Sache ist die, während Ihr RTX 4090 sicher sein könnte, stellt sich die Frage, wie viele RTX 5090 Nvidia herstellen wird, wenn es nur eine begrenzte Menge an Silizium hat, und die Verwendung dieses Siliziums für GPUs auf Serverniveau kann erheblich rentabler sein. als es für eine GeForce-Grafikkarte zu verwenden?
Wenn es vor dem ChatGPT-Boom etwas zu befürchten gibt, dann ist es wirklich die Möglichkeit, dass weniger Consumer-GPUs hergestellt werden, weil die Aktionäre fordern, dass mehr Server-GPUs hergestellt werden, um den Gewinn zu maximieren. Es ist auch keine unnötige Drohung, denn so wie die Regeln des Kapitalismus derzeit geschrieben sind, müssen Unternehmen oft alles tun, was den Aktionärsgewinn maximiert, und die Cloud wird immer profitabler sein als der Verkauf von Grafikkarten an die Spieler.
Auf der anderen Seite ist es sehr viel eine Nvidia-Sache. Team Green setzt zwar auf Server-GPUs mit einem geringen Bestand an Consumer-Grafikkarten, aber sie sind nicht die einzigen, die Grafikkarten herstellen.
AMD RDNA 3-Grafikkarten haben gerade Hardware-KI eingeführt, aber sie kommen nicht an die Tensor-Kerne von Nvidia-Karten heran, was Nvidia de facto zur Wahl für maschinelles Lernen macht. Dies bedeutet, dass AMD der Standard-Kartenhersteller für Gamer werden könnte, wenn Nvidia voranschreitet.
Es ist durchaus möglich, und im Gegensatz zu Krypto ist AMD wahrscheinlich keine zweitklassige LLM-Karte, die immer noch gut für LLMs ist, wenn Sie keine Nvidia-Karte bekommen können. AMD ist überhaupt nicht wirklich für maschinelles Lernen gerüstet, insbesondere nicht auf dem von LLMs geforderten Niveau, also spielt AMD hier einfach keine Rolle. Das bedeutet, dass es für Gamer immer herkömmliche Grafikkarten geben wird, und auch gute, es wird möglicherweise nicht mehr so viele Nvidia-Karten geben wie zuvor.
Unterstützer des grünen Teams mögen diese Zukunft vielleicht nicht, aber sie ist höchstwahrscheinlich auf den Aufstieg von ChatGPT zurückzuführen.