A jelenlegi AI adatközpontok két alapvető szűk keresztmetszettel szembesülnek a skálázásban, és a - felfelé és a - skálán a modellek küzdenek a GIGA - skála AI igények teljesítése érdekében:
- Scale Up korlátozások: Egyetlen rendszerek vagy állványok korszerűsítésével érhető el (pl. A GPU számának növelése vagy az egy - eszköz teljesítményének javítása), de az infrastruktúra, például a vízhűtés energia mennyezete korlátozza. A meglévő adatközpontok fizikai küszöbértékekkel rendelkeznek az energiabevitelhez és a hőeloszláshoz, megakadályozva a számítási sűrűség végtelen növekedését állványonként vagy adatközpontonként.
- skála korlátozások: Bővítve állványok és szerverek hozzáadásával a klaszterek méretezésére, de korlátozva a fizikai tér egyetlen helyszínen, és kemény sapkákat vonhat maga után a berendezés kapacitására.
Ennek a dilemmának a leküzdése érdekében az NVIDIA javasolja a "Scale - átfogó" új dimenzióját, a földrajzilag szétszórt adatközpontok közötti hálózati kommunikáció optimalizálását, hogy az elosztott AI klaszterek együttműködjenek. Az NVIDIA alapítója és vezérigazgatója, Jensen Huang ezt a keresztet írja le a - regionális AI szupergyárat az AI ipari forradalom kulcsfontosságú infrastruktúrájaként, a - XGS spektrumával.
A spektrum alaptechnológiái - XGS
A spektrum - XGS nem teljesen új hardverplatform, hanem az NVIDIA meglévő spektrumának alakulása - X Ethernet ökoszisztéma. A 2024 -es indítás óta a - X Spectrum 1,6x magasabb generatív AI hálózati teljesítményt adott, mint a hagyományos Ethernet, a - 4 Architecture SN5600 kapcsolóján és a Bluefield - 3 DPU -n keresztül, az NVIDIA GPUS -t használó Bluefield. A Spectrum-XG-ben az áttörés három algoritmikus innovációban és hardver-szinergiában rejlik, amelyek a kommunikációs késéssel, torlódásokkal és szinkronizálási kihívásokkal foglalkoznak a regionális GPU-klaszterekben.
1. Core Algoritmusok: Dinamikus adaptáció a hosszú - távoli hálózati jellemzőkhöz
Spektrum - XGS magja a "Távolság - tudományos optimalizálási algoritmusok" halmaza, amelyek elemzik a Cross - - központi kommunikáció kulcsfontosságú paramétereit a valós- idő (távolság, forgalommintázatok, Coninger szintek, teljesítmény -metrika) és dinamikus beállítási szakaszban:
Távolság - Adaptív torlódásvezérlés:Ellentétben a hagyományos Ethernet minden csatlakozás egyenletes kezelésével, a spektrum - XGS algoritmusok automatikusan beállítják a torlódási küszöbértékeket az adatközpontok közötti tényleges távolságok alapján (jelenleg a telepítések támogatása több száz kilométerig), elkerülve a csomagveszteséget vagy a felhalmozódást hosszú - távolságtermelésben.
Pontos késleltetési menedzsment:A Per - csomag finom - szemcsés adaptív útválasztáson keresztül kiküszöböli a késleltetési zaklatást a hagyományos hálózatok csomagok továbbításából. A Jitter kritikus veszélyt jelent az AI klaszterekben: Ha a késedelem miatt egyetlen GPU lemarad, akkor az összes együttműködő GPU -nak várnia kell, közvetlenül befolyásolva az általános teljesítményt.
Vége: - a - end telemetria: Real - Teljes - linkteljesítmény adatait a GPU -tól a kapcsolókhoz és a Cross - adatok - A Center Links milliszekundumos - szintes visszajelzést biztosít az algoritmikus kiigazításokhoz, biztosítva a hálózati állapot dinamikus állapotának egyeztetését az AI munkaterhelés igényeihez.
2. Hardver -szinergiák: Spectrum kihasználása - X ökoszisztéma magas - sávszélesség -alapítvány
A spektrum - XGS az optimális teljesítményt ér el, ha a specifikus NVIDIA hardverrel kombinálva:
Spectrum - X kapcsolók: Mint az alapjául szolgáló hálózati gerinc, nagy portsűrűség és alacsony - késleltetés -továbbítás biztosítása.
ConnectX-8 Supernic: 800 GB/s ai - dedikált hálózati adapter magas - sebesség adatátvitelhez a GPU -k és a kapcsolók között.
Blackwell Architecture hardver: Például a B200 GPU -k és a GB10 Superchips, mélyen integrálva a spektrumba - XGS, hogy a - végét - end latenciára csökkentsék. Az NVIDIA validálva az NCCL (Collective Communications Library) Benchmarks segítségével: Spectrum - XGS fokozza a kommunikációs teljesítményt a kereszt - adatok között - Center Gpus 1,9x -rel, miközben a -}}}}}}}}}}}}}}}}}}}}} -et irányítja. reagálónak és késleltetettnek érzi magát - ingyenes a felhasználói interakciókhoz, megfelel a valós - időigénynek az AI következtetésére.
Teljes - verem optimalizálás az AI edzéshez és a következtetés hatékonyságához spektrummal - XGS
A spektrum - XGS nem izolált technológia, hanem kulcsfontosságú kiegészítője az NVIDIA teljes - Stack AI ökoszisztémájának. Ebben a kiadásban az NVIDIA feltárta a - szintű teljesítményjavításokat is, amelyek szinergizálják a - XGS -rel a - algoritmus - szoftver együttműködését:
Dynamo szoftverfrissítés: Optimalizálva a Blackwell Architecture (pl. B200 Systems) számára, hogy növelje az AI modell következtetési teljesítményét akár 4x -ig, ami jelentősen csökkenti a számítási fogyasztást a nagy modell következtetéseire.
Spekulatív dekódolási technológia: Egy kis vázlatmodellt használ a fő AI modell következő kimeneti tokenjének előrejelzésére, a főmodell kiszámítását és a következtetési teljesítmény további 35%-kal történő javítását. Ez különösen alkalmas a nagy nyelvű modellekben (LLM) beszélgető következtetési forgatókönyvekhez.
Az NVIDIA gyorsított számítástechnikai osztályának igazgatója, Dave Salvator kijelentette, hogy ezen optimalizációk alapvető célja az ambiciózus ügynöki AI alkalmazások méretezése. Függetlenül attól, hogy a billió kiképzése - paraméter nagy modelleket vagy az AI következtetési szolgáltatásokat támogatja -e egyidejű felhasználók milliói számára, a spektrum - XGS és a szoftver ökoszisztéma kombinációja kiszámítható teljesítményt nyújt.
A spektrum korai alkalmazásai és ipari hatása - XGS
Első felhasználók: CoreWeave Pioneers Cross - Domain AI Super FactoryA GPU felhőalapú szolgáltató, a CoreWeave a - XGS Spectrum első alkalmazottja. A vállalat CO - alapítója és a CTO Peter Salanki megjegyezte, hogy ez a technológia lehetővé teszi ügyfeleinek, hogy hozzáférjenek a GIGA - skála AI képességekhez, felgyorsítva az áttöréseket az iparágakban. Például az Ultra - nagy - Scale AI projektek támogatása, mint például az Oracle, a SoftBank és az Openai Stargate Initiative.
Ipari trendek: Ethernet az Infiniband helyettesítése AI hálózati mainstreamNoha az Infiniband 2023 -ban az AI Backend Network piacának kb. 80% -át birtokolta, az ipar gyorsan az Ethernet felé vált. Az NVIDIA úgy dönt, hogy a spektrum kidolgozására - XGS az Ethernet -en igazodik ehhez a tendenciához:
Kompatibilitási és költség -előnyök:Az Ethernet az univerzális szabvány a globális adatközpontok számára, jobban ismeri a hálózati mérnököket, és olcsóbb a telepítéshez, mint az Infiniband.
Piaci méretarányos előrejelzések:A Dell'oro Group adatai azt mutatják, hogy az Ethernet Data Center Switch piac közel 80 milliárd dollárt fog elérni az elkövetkező öt évben.
Nvidia saját növekedése: 650 csoportjelentés jelzi az NVIDIA -t, mint a "leggyorsabb- növekvő szállító" a 2024 -es Data Center Switch piacon, a hálózatépítési üzleti bevétele eléri az 5 milliárd dollárt a Q 2 2024 (április 27 -i végéig), 56% -kal {- - év alatt.
A Spectrum - XGS bevezetése kiterjeszti az NVIDIA teljes - verem monopóliumi stratégiáját az AI infrastruktúrában, miközben új versenydinamikát idéz elő:
Nvidia teljes - verem elrendezése: GPU -tól (Blackwell), összekapcsolások (NVLink/NVLink Switch), Networks (Spectrum - x/spektrum - XGS, Quantum - x infiniband) szoftverre (cuda, tensorrt {3} llm, nim microservices) Zárt hurok -borítás "Számítás - Csatlakoztassa a - szoftvert" az AI infrastruktúra számára. Spectrum - XGS szinergetik az nvlink -rel három - szint skálázás: intra {- állvány (nvlink), intra - adatok - center (spektrum - x) és kereszt {{13} adatok {}} adatok {}}}}}}}}}}}}}} {} adatok {}} adatok (spektrum {{12} x) és kereszt (Spectrum - XGS).
A versenytársak válaszai: A Broadcom korábbi Sue technológiája hasonló célokat oszt meg a Spectrum - XGS -vel, amelynek célja az Ethernet teljesítményének optimalizálása az Infiniband rés megszüntetése érdekében. Ezenkívül az olyan gyártók, mint az Arista, a Cisco és a Marvell, felgyorsítják az Ai - dedikált Ethernet kapcsolókat, a versenyre összpontosítva a- költségre - ökoszisztéma kompatibilitásra.
A - XGS spektrum alapértéke abban rejlik, hogy az AI adatközpont -skálázást az "single - webhely -korlátozások" -ról "cross - regionális együttműködés" -re tolja. Mivel a hatalom és a föld kemény korlátokká válik az egyes adatközpontok számára, a Cross - város és a Cross - ország AI szupergyárak lesznek a következő -} generációs AI alkalmazások támogatásával (pl. Általános mesterséges intelligencia, nagy - Scale Agent Clusters).
Amint az NVIDIA hálózati osztályának vezető alelnöke, Gilad Shainer a Hot Chips konferencián áttekintett: "Cross - Data - Center Optic Fizikai Hálózatok már régóta léteznek, de a szoftver algoritmusok, mint például a spektrum - xgs, a kulcs a kulcsfontosságúak ezen a fizikai infrastruktúra valódi teljesítményének kizárásához.
