Nvidias Grace Hopper Superchips für generative KI gehen in die Serienproduktion

Die GH200-basierten Systeme sind ebenfalls auf Workloads für Hochleistungsrechnen (HPC) ausgerichtet und ergänzen mehr als 400 Systemkonfigurationen, die auf den neuesten CPU- und GPU-Architekturen von Nvidia basieren – darunter Nvidia Grace, Nvidia Hopper und Nvidia Ada Lovelace –, die entwickelt wurden, um der steigenden Nachfrage gerecht zu werden für generative KI.

Auf der Computex-Messe in Taiwan Das gab Nvidia-CEO Jensen Huang bekannt neue Systeme, Partner und zusätzliche Details rund um den GH200 Grace Hopper Superchip, der die Arm-basierten Nvidia Grace CPU- und Hopper GPU-Architekturen mithilfe der Nvidia NVLink-C2C-Verbindungstechnologie vereint.

Dies liefert eine Gesamtbandbreite von bis zu 900 GB/s – oder siebenmal mehr Bandbreite als die Standard-PCIe-Gen5-Lanes, die in herkömmlichen beschleunigten Systemen zu finden sind, und bietet unglaubliche Rechenkapazität für die anspruchsvollsten generativen KI- und HPC-Anwendungen.

„Generative KI verändert Unternehmen rasant, eröffnet neue Möglichkeiten und beschleunigt die Entdeckung im Gesundheitswesen, im Finanzwesen, bei Unternehmensdienstleistungen und vielen weiteren Branchen“, sagte Ian Buck, Vizepräsident für beschleunigtes Computing bei Nvidia, in einer Erklärung. „Da Grace Hopper Superchips in voller Produktion sind, werden Hersteller weltweit bald die beschleunigte Infrastruktur bereitstellen, die Unternehmen benötigen, um generative KI-Anwendungen zu erstellen und bereitzustellen, die ihre einzigartigen proprietären Daten nutzen.“

Globale Hyperscaler und Supercomputing-Zentren in Europa und den USA gehören zu mehreren Kunden, die Zugang zu GH200-basierten Systemen haben werden.

„Wir alle erleben die Freude darüber, was riesige KI-Modelle leisten können“, sagte Buck in einer Pressekonferenz.

Hunderte beschleunigte Systeme und Cloud-Instanzen

Taiwans Hersteller gehören zu den vielen Systemherstellern weltweit, die Systeme mit der neuesten Nvidia-Technologie einführen, darunter Aaeon, Advantech, Aetina, ASRock Rack, Asus, Gigabyte, Ingrasys, Inventec, Pegatron, QCT, Tyan, Wistron und Wiwynn.

Darüber hinaus bieten die globalen Serverhersteller Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo, Supermicro und Eviden, ein Atos-Unternehmen, eine breite Palette an Nvidia-beschleunigten Systemen an.

Zu den Cloud-Partnern für Nvidia H100 gehören Amazon Web Services (AWS), Cirrascale, CoreWeave, Google Cloud, Lambda, Microsoft Azure, Oracle Cloud Infrastructure, Paperspace und Vultr.

Nvidia AI Enterprise, die Softwareschicht der Nvidia AI-Plattform, bietet über 100 Frameworks, vortrainierte Modelle und Entwicklungstools, um die Entwicklung und Bereitstellung von Produktions-KI, einschließlich generativer KI, Computer Vision und Sprach-KI, zu optimieren.

Systeme mit GH200-Superchips werden voraussichtlich noch in diesem Jahr verfügbar sein.

Nvidia stellt MGX-Serverspezifikation vor

Um den vielfältigen Anforderungen von Rechenzentren an beschleunigtes Computing gerecht zu werden, hat Nvidia heute das Nvidia vorgestellt
MGX-Serverspezifikation, die Systemherstellern eine modulare Referenzarchitektur bietet, um schnell und kostengünstig mehr als 100 Servervarianten für eine breite Palette von KI-, Hochleistungs-Computing- und Omniverse-Anwendungen zu erstellen.

ASRock Rack, ASUS, GIGABYTE, Pegatron, QCT und Supermicro werden MGX einführen, was die Entwicklungskosten um bis zu drei Viertel senken und die Entwicklungszeit um zwei Drittel auf nur sechs Monate verkürzen kann.

„Unternehmen suchen nach schnelleren Rechenoptionen, wenn sie Rechenzentren entwerfen, die ihren spezifischen Geschäfts- und Anwendungsanforderungen entsprechen“, sagte Kaustubh Sanghani, Vizepräsident für GPU-Produkte bei Nvidia, in einer Erklärung. „Wir haben MGX entwickelt, um Unternehmen bei der Einführung von Unternehmens-KI zu unterstützen und ihnen gleichzeitig viel Zeit und Geld zu sparen.“

Mit MGX beginnen Hersteller mit einer grundlegenden Systemarchitektur, die für beschleunigtes Computing für ihre Servergehäuse optimiert ist, und wählen dann ihre GPU, DPU und CPU aus. Designvarianten können einzigartige Arbeitslasten abdecken, wie etwa HPC, Datenwissenschaft, große Sprachmodelle, Edge Computing, Grafik und Video, Unternehmens-KI sowie Design und Simulation.

Mehrere Aufgaben wie KI-Training und 5G können auf einer einzigen Maschine erledigt werden, während Upgrades auf zukünftige Hardwaregenerationen reibungslos erfolgen können. MGX lässt sich laut Nvidia auch problemlos in Cloud- und Unternehmensrechenzentren integrieren.

QCT und Supermicro werden als erste auf den Markt kommen, MGX-Designs erscheinen im August. Das heute angekündigte ARS-221GL-NR-System von Supermicro wird den Nvidia GraceTM CPU-Superchip enthalten, während das ebenfalls heute angekündigte S74G-2U-System von QCT den Nvidia GH200 Grace Hopper Superchip verwenden wird.

Darüber hinaus plant SoftBank die Einführung mehrerer Hyperscale-Rechenzentren in ganz Japan und die Nutzung von MGX zur dynamischen Zuweisung von GPU-Ressourcen zwischen generativen KI- und 5G-Anwendungen.

„Da generative KI den Lebensstil von Unternehmen und Verbrauchern durchdringt, ist der Aufbau der richtigen Infrastruktur zu den richtigen Kosten eine der größten Herausforderungen für Netzwerkbetreiber“, sagte Junichi Miyakawa, CEO von SoftBank, in einer Erklärung. „Wir gehen davon aus, dass Nvidia MGX solche Herausforderungen meistern und Mehrzweck-KI, 5G, ermöglichen kann.“
und mehr, abhängig von den Echtzeit-Workload-Anforderungen.“

MGX unterscheidet sich von Nvidia HGX dadurch, dass es eine flexible, generationenübergreifende Kompatibilität mit Nvidia-Produkten bietet, um sicherzustellen, dass Systementwickler vorhandene Designs wiederverwenden und Produkte der nächsten Generation ohne teure Neudesigns problemlos übernehmen können. Im Gegensatz dazu basiert HGX auf einer mit NVLink verbundenen Multi-GPU
Maßgeschneidertes Baseboard zur Schaffung der ultimativen KI- und HPC-Systeme.

Nvidia kündigt den KI-Supercomputer DGX GH200 an

Nvidia kündigte außerdem eine neue Klasse von KI-Supercomputern mit großem Speicher an – einen Nvidia DGX-Supercomputer mit Nvidia GH200 Grace Hopper Superchips und dem Nvidia NVLink Switch System – der entwickelt wurde, um die Entwicklung riesiger Modelle der nächsten Generation für generative KI-Sprachanwendungen zu ermöglichen, so Empfehlung Systeme und Datenanalyse-Workloads.

Der gemeinsam genutzte Speicherbereich des Nvidia DGX GH200 nutzt die NVLink-Verbindungstechnologie mit dem NVLink Switch System, um 256 GH200-Superchips zu kombinieren, sodass sie als eine einzige GPU arbeiten können. Dies bietet 1 Exaflop Leistung und 144 Terabyte gemeinsam genutzten Speicher – fast 500-mal mehr Speicher als in einem einzelnen Nvidia DGX A100-System.

„Generative KI, große Sprachmodelle und Empfehlungssysteme sind die digitalen Motoren der modernen Wirtschaft“, sagte Huang. „DGX GH200 AI-Supercomputer integrieren Nvidias fortschrittlichste beschleunigte Technologie
Computer- und Netzwerktechnologien, um die Grenzen der KI zu erweitern.“

GH200-Superchips machen eine herkömmliche CPU-zu-GPU-PCIe-Verbindung überflüssig, indem sie eine Arm-basierte Nvidia Grace-CPU mit einer Nvidia H100 Tensor Core-GPU im selben Paket kombinieren und dabei Nvidia NVLink-C2C-Chipverbindungen verwenden. Dadurch wird die Bandbreite zwischen GPU und CPU im Vergleich zur neuesten PCIe-Technologie um das Siebenfache erhöht, der Verbindungsstromverbrauch um mehr als das Fünffache gesenkt und ein 600-GB-GPU-Baustein mit Hopper-Architektur für DGX GH200-Supercomputer bereitgestellt.

Der DGX GH200 ist der erste Supercomputer, der Grace Hopper Superchips mit dem Nvidia NVLink Switch System kombiniert, einer neuen Verbindung, die es allen GPUs in einem DGX GH200-System ermöglicht, als eine Einheit zusammenzuarbeiten. Das System der vorherigen Generation sah nur die Kombination von acht GPUs mit NVLink als eine GPU vor, ohne dass die Leistung beeinträchtigt wurde.

Die DGX GH200-Architektur bietet zehnmal mehr Bandbreite als die vorherige Generation und bietet die Leistung eines riesigen KI-Supercomputers mit der Einfachheit der Programmierung einer einzelnen GPU.

Google Cloud, Meta und Microsoft gehören zu den ersten, die voraussichtlich Zugriff auf den DGX GH200 erhalten, um seine Fähigkeiten für generative KI-Workloads zu erkunden. Nvidia beabsichtigt außerdem, das DGX GH200-Design als Blaupause für Cloud-Dienstleister und andere Hyperscaler bereitzustellen, damit diese es weiter an ihre Infrastruktur anpassen können.

„Der Aufbau fortschrittlicher generativer Modelle erfordert innovative Ansätze für die KI-Infrastruktur“, sagte Mark Lohmeyer, Vizepräsident für Compute bei Google Cloud, in einer Erklärung. „Die neue NVLink-Skala und der gemeinsame Speicher der Grace Hopper Superchips beseitigen wichtige Engpässe in der groß angelegten KI und wir freuen uns darauf, ihre Fähigkeiten für Google Cloud und unsere generativen KI-Initiativen zu erkunden.“

Nvidias DGX GH200-Supercomputer werden voraussichtlich Ende des Jahres verfügbar sein.

Schließlich kündigte Huang an, dass ein neuer Supercomputer namens Nvidia Taipei-1 mehr beschleunigte Rechenressourcen nach Asien bringen wird, um die Entwicklung von KI und industriellen Metaverse-Anwendungen voranzutreiben.

Taipei-1 wird die Reichweite des Nvidia DGX Cloud AI Supercomputing-Dienstes in der Region um 64 erweitern
DGX H100 KI-Supercomputer. Das System wird außerdem 64 Nvidia OVX-Systeme umfassen, um die lokale Beschleunigung zu ermöglichen
Forschung und Entwicklung sowie Nvidia-Netzwerke für effizientes, beschleunigtes Computing in jeder Größenordnung.
Das System gehört Nvidia und wird von Nvidia betrieben. Es wird erwartet, dass es noch in diesem Jahr online geht.

Führende taiwanesische Bildungs- und Forschungsinstitute werden zu den ersten gehören, die Zugang zu Taipei-1 erhalten, um voranzukommen
Gesundheitswesen, große Sprachmodelle, Klimawissenschaft, Robotik, intelligente Fertigung und industrielle Digitalisierung
Zwillinge. Die National Taiwan University plant, als erstes Taipei-1-Projekt das Erlernen großer Sprachmodelle zu untersuchen.

„Forscher der National Taiwan University widmen sich der Weiterentwicklung der Wissenschaft in einem breiten Spektrum von Bereichen
Disziplinen, ein Engagement, das zunehmend beschleunigtes Rechnen erfordert“, sagte Shao-Hua Sun, Assistentin
Professor der Fakultät für Elektrotechnik an der National Taiwan University, in einer Erklärung. „Der Supercomputer Nvidia Taipei-1 wird unseren Forschern, Lehrkräften und Studenten dabei helfen, KI und digitale Zwillinge zu nutzen, um komplexe Herausforderungen in vielen Branchen zu bewältigen.“