NVIDIA presenteert innovaties op Hot Chips die de prestaties en energie-efficiëntie van datacenters verhogen.
Tijdens vier presentaties op de conferentie delen NVIDIA-ingenieurs details over het NVIDIA Blackwell-platform, nieuw onderzoek naar vloeistofkoeling en AI-agents die chipontwerp ondersteunen. Een diepgaande technologieconferentie voor processor- en systeemarchitecten uit de industrie en de academische wereld is uitgegroeid tot een belangrijk forum voor de biljoenen dollar markt van datacentercomputing.
Op Hot Chips 2024, volgende week, zullen senior NVIDIA-ingenieurs de nieuwste innovaties presenteren die het NVIDIA Blackwell-platform aandrijven, samen met onderzoek naar vloeistofkoeling voor datacenters en AI-agents voor chipontwerp.
Zij laten zien hoe:
NVIDIA Blackwell meerdere chips, systemen en NVIDIA CUDA-software samenbrengt om de volgende generatie AI aan te sturen voor verschillende toepassingen, industrieën en landen.
NVIDIA GB200 NVL72 — een multi-node, vloeistofgekoelde, rack-scale oplossing die 72 Blackwell GPU's en 36 Grace CPU's verbindt — de lat hoger legt voor AI-systeemontwerp.
NVLink-interconnecttechnologie zorgt voor GPU-naar-GPU-communicatie, waardoor een recordhoge doorvoer en lage latentie voor generatieve AI mogelijk worden.
Het NVIDIA Quasar Quantization System de grenzen van de fysica verlegt om AI-computing te versnellen.
NVIDIA-onderzoekers AI-modellen bouwen die helpen bij het ontwerpen van processoren voor AI.
Tijdens een presentatie over NVIDIA Blackwell op maandag 26 augustus worden ook nieuwe architecturale details en voorbeelden van generatieve AI-modellen die op Blackwell-silicium draaien belicht.
Hieraan voorafgaand zijn er op zondag 25 augustus drie tutorials over hoe hybride vloeistofkoelingsoplossingen datacenters kunnen helpen om te schakelen naar energie-efficiëntere infrastructuur en hoe AI-modellen, waaronder agents aangedreven door grote taalmodellen (LLM’s), ingenieurs kunnen helpen bij het ontwerpen van de volgende generatie processoren.
Samen tonen deze presentaties aan hoe NVIDIA-ingenieurs innoveren op elk gebied van datacentercomputing en -ontwerp om ongekende prestaties, efficiëntie en optimalisatie te leveren.
Maak je klaar voor Blackwell!
NVIDIA Blackwell is de ultieme full-stack computing uitdaging. Het omvat meerdere NVIDIA-chips, waaronder de Blackwell GPU, Grace CPU, BlueField dataverwerkingsunit, ConnectX netwerkinterfacekaart, NVLink Switch, Spectrum Ethernet switch en Quantum InfiniBand switch.
Ajay Tirumala en Raymond Wong, directeuren van architectuur bij NVIDIA, geven een eerste blik op het platform en leggen uit hoe deze technologieën samenwerken om een nieuwe standaard voor AI en versnelde computerprestaties te leveren, terwijl de energie-efficiëntie wordt bevorderd.
De multi-node NVIDIA GB200 NVL72-oplossing is een perfect voorbeeld. LLM-inferentie vereist lage latentie en hoge doorvoer bij tokengeneratie. GB200 NVL72 fungeert als een uniform systeem dat tot 30x snellere inferentie levert voor LLM-werkbelastingen, wat de mogelijkheid biedt om modellen met biljoenen parameters in real-time uit te voeren.
Tirumala en Wong zullen ook bespreken hoe het NVIDIA Quasar Quantization System — dat algoritmische innovaties, NVIDIA-softwarebibliotheken en -tools, en de tweede generatie Transformer Engine van Blackwell combineert — hoge nauwkeurigheid ondersteunt op lage-precisiemodellen, met voorbeelden die LLM’s en visuele generatieve AI tonen.
Datacenters koel houden.
Het traditionele gebrom van luchtgekoelde datacenters kan een relikwie uit het verleden worden nu onderzoekers efficiëntere en duurzamere oplossingen ontwikkelen die gebruik maken van hybride koeling, een combinatie van lucht- en vloeistofkoeling.
Vloeistofkoeling voert warmte efficiënter af dan lucht, waardoor het makkelijker wordt voor computersystemen om koel te blijven, zelfs bij het verwerken van grote werkbelastingen. De apparatuur voor vloeistofkoeling neemt ook minder ruimte in beslag en verbruikt minder stroom dan luchtkoelsystemen, waardoor datacenters meer serverracks — en dus meer rekenkracht — kunnen toevoegen aan hun faciliteiten.
Ali Heydari, directeur van datacenterkoeling en infrastructuur bij NVIDIA, zal verschillende ontwerpen voor hybride gekoelde datacenters presenteren.
Sommige ontwerpen voorzien in de aanpassing van bestaande luchtgekoelde datacenters met vloeistofkoelunits, wat een snelle en gemakkelijke oplossing biedt om vloeistofkoelingsmogelijkheden toe te voegen aan bestaande racks. Andere ontwerpen vereisen de installatie van leidingen voor directe vloeistofkoeling van de chip met behulp van koelingsdistributie-eenheden of door servers volledig onder te dompelen in onderdompelingskoeltanks. Hoewel deze opties een grotere initiële investering vereisen, leiden ze tot aanzienlijke besparingen in zowel energieverbruik als operationele kosten.
Heydari zal ook het werk van zijn team delen als onderdeel van COOLERCHIPS, een programma van het Amerikaanse ministerie van Energie om geavanceerde koelingstechnologieën voor datacenters te ontwikkelen. Als onderdeel van het project gebruikt het team het NVIDIA Omniverse-platform om fysica-geïnformeerde digitale tweelingen te creëren die hen helpen bij het modelleren van energieverbruik en koelefficiëntie om hun datacenterontwerpen te optimaliseren.
AI-agents dragen bij aan processorontwerp
Het ontwerpen van halfgeleiders is een enorme uitdaging op microscopische schaal. Ingenieurs die geavanceerde processoren ontwikkelen, proberen zoveel mogelijk rekenkracht op een stukje silicium van slechts enkele centimeters groot te passen, waarbij de grenzen van wat fysiek mogelijk is worden getest.
AI-modellen ondersteunen hun werk door de ontwerpkwaliteit en productiviteit te verbeteren, de efficiëntie van handmatige processen te verhogen en enkele tijdrovende taken te automatiseren. De modellen omvatten voorspellings- en optimalisatietools om ingenieurs snel ontwerpen te laten analyseren en verbeteren, evenals LLM’s die ingenieurs kunnen helpen met het beantwoorden van vragen, genereren van code, oplossen van ontwerpproblemen en meer.
Mark Ren, directeur van design automation research bij NVIDIA, zal een overzicht geven van deze modellen en hun toepassingen in een tutorial. In een tweede sessie richt hij zich op agent-gebaseerde AI-systemen voor chipontwerp.
Door LLM’s aangedreven AI-agents kunnen zelfstandig taken uitvoeren, wat brede toepassingen in verschillende industrieën mogelijk maakt. In microprocessorontwerp ontwikkelen NVIDIA-onderzoekers agent-gebaseerde systemen die kunnen redeneren en actie ondernemen met behulp van aangepaste circuitontwerptools, interactie hebben met ervaren ontwerpers, en leren van een database met ervaringen van mensen en agents.
NVIDIA-experts bouwen niet alleen deze technologie — ze gebruiken het ook. Ren zal voorbeelden delen van hoe ingenieurs AI-agents kunnen gebruiken voor analyse van timingrapporten, optimalisatieprocessen van celclusters en codegeneratie. Het werk aan celclusteroptimalisatie won onlangs de prijs voor beste paper op de eerste IEEE International Workshop on LLM-Aided Design.