Nvidia onthult Blackwell B200 GPU, “de krachtigste chip ter wereld” voor kunstmatige intelligentie

Nvidia's onmisbare H100 AI-chip heeft het tot een miljardenbedrijf gemaakt, een bedrijf dat wellicht meer waard is dan Alphabet en Amazon, en concurrenten hebben gevochten om hun achterstand in te halen. Maar Nvidia staat misschien op het punt zijn voorsprong uit te breiden – met zijn nieuwe Blackwell B200 GPU en “superchip” GB200.

Nvidia zegt dat de nieuwe B200 GPU tot 20 levert Petaflops van FP4-pk uit 208 miljard transistors en de GB200 die twee van deze GPU's combineert met een enkele Grace CPU kan tot 30x de prestaties leveren voor LLM-inferentiewerklasten, terwijl hij potentieel aanzienlijk efficiënter is. Nvidia zegt dat het “de kosten en het energieverbruik tot 25 keer verlaagt” vergeleken met de H100.

Nvidia beweert dat het trainen van een model met 1,8 biljoen parameters voorheen 8.000 Hopper GPU's en 15 megawatt aan vermogen nodig zou hebben gehad. Tegenwoordig zegt de CEO van Nvidia dat 2.000 Blackwell GPU's dat kunnen doen, terwijl ze slechts vier megawatt verbruiken.

Met betrekking tot de GPT-3 LLM-benchmark met 175 miljard parameters zegt Nvidia dat de GB200 iets bescheidener presteert, zeven keer zo hoog als de H100, en Nvidia zegt dat hij een trainingssnelheid van 4x biedt.

Nvidia vertelde verslaggevers dat een van de belangrijkste verbeteringen een compiler-engine van de tweede generatie is die de rekenkracht, bandbreedte en modelgrootte verdubbelt door vier bits per neuron te gebruiken in plaats van acht (vandaar de twintig petaflops van FP4 die ik eerder noemde). Het tweede grote verschil ontstaat pas bij het aansluiten van grote aantallen van deze GPU’s: een NVLink-switch van de volgende generatie die 576 GPU’s met elkaar laat praten, met 1,8 Tbps bidirectionele bandbreedte.

Daarvoor moest Nvidia een geheel nieuwe netwerkswitchingchip bouwen, één met 50 miljard transistors en een deel van zijn eigen rekenkracht: 3,6 teraflops van FP8, zegt Nvidia.

Voorheen, zegt Nvidia, besteedde een cluster van slechts zestien GPU's 60 procent van de tijd aan communicatie met elkaar en slechts 40 procent aan daadwerkelijk computergebruik.

Nvidia vertrouwt er uiteraard op dat bedrijven grote hoeveelheden van deze GPU's kopen en verpakt ze in grotere ontwerpen, zoals de GB200 NVL72, die 36 CPU's en 72 GPU's in één vloeistofgekoeld rack verpakt voor een totaal van 720 petaflops aan vermogen. . AI-trainingsprestaties of 1440 petaflops (ook bekend als 1.4 com.exaflops) van gevolgtrekking. Er zit bijna drie kilometer aan kabel in, met 5.000 afzonderlijke kabels.

Elke lade in het rack bevat twee GB200-chips of twee NVLink-adapters, met 18 van de eerste en negen van de laatste per rack. In totaal zegt Nvidia dat een van deze racks een modelparameter van 27 biljoen kan ondersteunen. Het gerucht gaat dat GPT-4 ongeveer 1,7 biljoen parametermodellen bevat.

Amazon, Google, Microsoft en Oracle zijn al van plan NVL72-racks aan te bieden in hun cloudserviceaanbod, zegt het bedrijf, hoewel het niet duidelijk is hoeveel racks ze kopen.

Natuurlijk biedt Nvidia bedrijven ook graag de rest van de oplossing aan. Hier is de DGX Superpod voor de DGX GB200, die acht systemen in één combineert voor een totaal van 288 CPU's, 576 GPU's, 240 TB geheugen en 11,5 exaflops FP4-rekenkracht.

Nvidia zegt dat zijn systemen tot tienduizenden GB200-superchips kunnen hebben, samen verbonden op 800 Gbps-netwerken met de nieuwe Quantum-X800 InfiniBand (voor maximaal 144 verbindingen) of Spectrum-X800 ethernet (voor maximaal 64 verbindingen).

We verwachten vandaag niets te horen over nieuwe gaming-GPU's, omdat dit nieuws afkomstig was van Nvidia's GPU-technologieconferentie, die zich doorgaans bijna volledig richt op GPU-computing en AI, en niet op gaming. Maar de Blackwell GPU-architectuur zal dat wel doen Het zal waarschijnlijk ook een toekomstige line-up uit de RTX 50-serie aandrijven Van desktop grafische kaarten.