AI Cluster Network Design: Spine-Leaf, RoCE & NICs

AI-klusternätverksdesign är processen att dimensionera GPU-server-NIC, blad-ryggradsbandbredd, överabonnemangsförhållande, RoCE-inställningar, optik och kablar så att distribuerad träningstrafik förblir förutsägbar när klustret skalas. Om du gör något av dessa fel så blir nätverket - inte GPU:n - flaskhalsen.

Varför AI Cluster Networking är annorlunda

I ett traditionellt företagsdatacenter hanterar nätverket en blandning av nord-sydlig användartrafik, lagringsåtkomst, virtualisering och hantering. Öst-västtrafik finns men är sällan den dominerande belastningen. I ett AI-kluster vänder situationen. GPU-servrar som kör distribuerade utbildningsgradienter och synkroniserar parametrar under varje steg i jobbet. Denna kommunikation är en del av beräkningen, inte en bieffekt av den.

Om en 30 000 USD GPU spenderar 30 % av sin tid på att vänta på nätverket under alla -reducer-operationer, betalar klustret i praktiken för 30 % av sin beräkningskapacitet för att vara inaktiv. Det är den ekonomiska anledningen till att AI-nätverk får så mycket uppmärksamhet.

Tre arbetsbelastningsegenskaper driver designen:

• Sprucken öst-västtrafik.Kollektiva kommunikationsoperationer som alla-förminskar, alla-samlar och minskar-spridning producerar synkroniserade skurar över många noder samtidigt.
• Svans-latenskänslighet.En enda långsam nod fördröjer hela träningssteget. Förutsägbar latens är viktigare än genomsnittlig latens.
• Skala ut-tillväxt.Kluster som börjar på 32 GPU:er växer ofta till 256 eller 1 024 inom 18 månader. Tyget måste skala utan omdesign.

Varför Spine-Leaf passar AI-kluster

Spine-leaf är standardtyget för hyperskala datacenter eftersom det ger varje server-till-server samma hoppantal och samma teoretiska bandbredd. För AI-arbetsbelastningar översätts denna enhetlighet direkt till mer förutsägbara träningsstegtider.

I en ryggrads-bladtopologi ansluter GPU-servrar till bladswitchar och varje blad ansluter till varje ryggrad. Alla GPU-till-GPU-kommunikation korsar exakt ett blad, en ryggrad och ytterligare ett blad. Det finns inga aggregeringslager som introducerar variabel latens eller chokepoints.

Förutsägbar latens

Equal-cost multi--routing (ECMP) sprider flöden över ryggradsbrytare. När den är korrekt konfigurerad med adaptiv routing eller dynamisk lastbalansering förhindrar detta hashkollisioner som gör att vissa flöden blir mycket långsammare än andra - ett känt problem i statiska ECMP-tyger som bär få men stora flöden, vilket är precis vad AI-träning genererar.

Hög bisektionsbandbredd

Bisektionsbandbredd är den tillgängliga genomströmningen mellan två lika stora halvor av klustret. AI-träning drar nytta av icke-blockerande eller nästan-icke-blockerande design där blad-till-upplänkskapaciteten är lika med eller nästan lika med nedlänkskapaciteten mot servrarna. IETF definierar och diskuterar dessa begrepp iRFC 7938, som täcker BGP-dirigerade Clos-tyger som ofta används i storskaliga-datacenter.

Enklare skala ut-

Lägg till fler blad för att lägga till fler servrar. Lägg till fler ryggar för att lägga till mer halveringsbandbredd. För kluster över några tusen GPU:er, en super-ryggrad (5-Clos) eller rälsoptimerad topologi förlänger samma princip ytterligare ett lager.

Kärnkomponenter i ett AI-klusternätverk

GPU-servrar och nätverkskort

NIC är där tyget möter värden. I AI-kluster driver NIC-valet allt nedströms - switchporthastighet, optikval och kabeltäthet.

Urvalskriterier för AI-arbetsbelastningar:

• Porthastighet:200G, 400G eller 800G per port. Matcha till GPU-generering och PCIe-bandbredd.
• PCIe generation:Ett 400G NIC behöver PCIe Gen5 x16 för att undvika värd-sidostrypning. PCIe Gen4 x16 caps vid ~256 Gbps användbara.
• RDMA and RoCEv2 support:Krävs för att-kärna förbi GPU-kommunikationsbibliotek som NCCL.
• GPUDirect RDMA:Tillåter direkt GPU-till-NIC DMA, vilket tar bort värdminneskopior.
• Multi-rälskapacitet:Många AI-servrar använder 4 eller 8 NIC per nod, en per GPU-par, för järnvägs-optimerade topologier.

En typisk 8-GPU-server använder idag antingen 4× 400G NIC (en per två GPU) eller 8× 400G NIC (en per GPU) beroende på arbetsbelastning och budget. Referensarkitekturer frånNVIDIA nätverksdokumentationtäcka designavvägningarna i detalj.

Omkopplare för blad och rygg

Urvalskriterier för switchar för AI-tyger skiljer sig från företagsval. Buffertstorlek, trafikstockningskontroll och telemetri har större betydelse än funktionsbredden.

• Per-porthastighet och radix:En 51,2 Tbps switch ASIC levererar 64× 800G-portar eller 128× 400G-portar. Radix avgör hur platt tyget kan vara.
• Buffertarkitektur:Djupa buffertar absorberar ingjutna skurar men lägger till latens. Grunda buffertar minskar latensen men kräver exakt överbelastningskontroll.
• RoCE-funktionsuppsättning:ECN-märkning, PFC, DCQCN eller motsvarande överbelastningskontroll och korrekt hantering av prioriterade köer från -till-ände.
• Telemetri:Inband network telemetri (INT), per-ködjupsrapportering och mikrosekunds-upplösningsräknare för ECN-märken och PFC-pauser.

Optik, DAC och AOC-kablar

Vid 400G och 800G blir kabelanläggningen ett verkligt ingenjörsproblem. Formfaktorer, länkbudgetar och breakout-konfigurationer behöver alla tidig planering.

• DAC (Direct Attach Copper):Upp till ~3 meter för 400G, lägsta kostnad och lägsta effekt. Tung och skrymmande i skala.
• AOC (Active Optical Cable):Upp till ~30 meter, tunnare än DAC, men fast-längd och förbrukar optikkraft i båda ändar.
• Pluggbar optik:Krävs bortom AOC-avstånd. QSFP-DD- och OSFP-formfaktorer dominerar 400G/800G. MPO/MTP-fiberenheter hanterar de parallella-fiberanslutningarna.

För inter-racklänkar och strukturerad kablage vid 400G/800G är parallelloptik över MPO-avslutningar nu standard. Valet mellan trunkablar och breakout-enheter beror på din tilldelning av switchport - se vårMPO breakout kabelguideför den praktiska urvalslogiken, och den bredareJämförelse mellan MPO-stammen och breakoutnär du planerar löv-till-löpningar.

RoCE och Lossless Ethernet i AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) är den dominerande Ethernet-transporten för AI-arbetsbelastningar. Det låter NIC:er flytta data direkt mellan GPU-minnesregioner utan att kärnan involveras i någon ände. NCCL, GPU-kommunikationsbiblioteket som ligger bakom nästan alla distribuerade utbildningsramverk, använder RoCEv2 när InfiniBand inte är tillgängligt.

RoCE fungerar bra när den är korrekt konfigurerad. Det misslyckas fult när det konfigureras felaktigt. DeInfiniBand Trade Associationpublicerar RoCE-specifikationerna, och de flesta NIC- och switchleverantörer publicerar detaljerade konfigurationsguider som bör följas från början{0}}till{1}}.

Varför förlustfritt beteende är viktigt

RDMA designades med antagande av en förlustfri transport. När paket tappas är RDMA-återställning dyrt - gå-tillbaka-N omsändning kan stoppa ett träningssteg i millisekunder, vilket är enormt i förhållande till RDMA-budgeten i mikrosekunders-skala.

För att uppskatta förlustfritt beteende på Ethernet använder tyget två mekanismer som arbetar tillsammans:

• PFC (Priority Flow Control, IEEE 802.1Qbb):En switch pausar inkommande trafik på en specifik prioritetskö när dess buffert fylls. Detta är en sista-utvägsmekanism.
• ECN (Explicit Congestion Notification, RFC 3168):Växlar märkespaket när köerna närmar sig en tröskel. NIC minskar sin sändningshastighet innan buffertarna faktiskt fylls, och undviker helst PFC helt.

Målet är att ECN ska sköta nästan all trängselhantering, med PFC som skyddsnät. Om du ser frekventa PFC-pauser i konstant-trafik är dina ECN-trösklar felaktiga eller så är tyget underdimensionerat.

Vanliga RoCE-distributionsfel

Hur man designar ett AI-klusternätverk: ett fungerande ramverk

Det här är avsnittet som de flesta "AI-nätverk"-artiklar hoppar över. De sju stegen nedan ger dig konkreta input och output i varje steg.

Steg 1: Definiera arbetsbelastning och skala

Ingångar:Arbetsbelastningstyp (förträning, finjustering,-inferens, blandad), mål-GPU-antal idag, mål-GPU-antal om 18 månader, modellstorleksintervall.

Produktion:En arbetsbelastningsprofil som informerar NIC-hastighet och överabonnemangstolerans. Stor förträning av gränsmodeller kräver icke-blockerande 400G+-tyger. Finjusterande-arbetsbelastningar kan tolerera 2:1 överprenumeration. Inferenskluster behöver ofta lägre bandbredd men lägre svanslatens.

Steg 2: Välj NIC-hastighet och antal per server

Beslutslogik:

• Förträning av stora modeller, 8-GPU-servrar → 4–8× 400G NIC per server, eller 4×800G
• Träning i medel-skala, 8-GPU-servrar → 2–4× 400G NIC per server
• Slutledningsvisning → 1–2× 200G eller 400G NIC per server, beroende på modellparallellism

Verifiera PCIe-bandbredden på värden. En enda 400G-port kräver att PCIe Gen5 x16 körs med linjehastighet; fördubbling till 800G kräver Gen6 eller uppdelning på två platser.

Steg 3: Storlek på bladlagret

Exempel på - 32-nodkluster, 8 GPU:er per nod, 4× 400G NIC:er per nod:

• Totalt antal server-portar som behövs: 32 × 4=128 portar vid 400G
• Nedlänksbandbredd per nod: 4 × 400=1.6 Tbps
• Total nedlänksbandbredd för kluster: 32 × 1.6=51.2 Tbps

Genom att använda en 64-portars 400G leaf switch (25,6 Tbps total kapacitet), kan varje blad ansluta 32 serverportar och använda de återstående 32 portarna som upplänkar. Med 4 blad täcker du alla 128 serverportar. Varje blad bidrar med 32 × 400 G=12.8 Tbps upplänk mot ryggraden.

Steg 4: Storlek på rygglagret

För en icke-blockerande (1:1) design måste total upplänkskapacitet vara lika med total nedlänkskapacitet. Från steg 3:

• Total bladupplänk krävs: 4 blad × 12,8 Tbps=51.2 Tbps
• Om varje ryggrad har 32× 400G-portar=12.8 Tbps behöver du 4 ryggar
• Varje blad ansluts till alla fyra ryggarna med 8 upplänkar per rygg (8 × 400G × 4=12.8 Tbps per blad - matchningar)

Om du använder 64-portars 400G ryggradsväxlar har varje ryggrad ledig kapacitet för att växa klustret, vilket är användbart för 18-månadersplanen från steg 1.

Steg 5: Ställ in överteckningskvoten

Steg 6: Separera beräknings-, lagrings- och hanteringstrafik

Tre alternativ, i ordningsföljd för ökad isolering:

• Delat tyg med QoS-klasser:Beräkna, lagring och hantering på separata DSCP-prioriteringar. Lägsta kostnad; kräver noggrann QoS-konfiguration.
• Logiskt separerade VLAN/VRF:Samma hårdvara, separata kontrollplan. Användbar för kluster med flera-hyresgäster.
• Fysiskt separata tyger:Dedikerade nätverkskort, switchar och kablar för datorer kontra lagring. Högsta kostnad; vanligt i frontier-modellkluster där alla påståenden är oacceptabel.

Lagringstrafik för AI är i sig tung - kontrollpunktsskrivningar för en stor modell kan flytta hundratals gigabyte i korta skurar. Planera för det explicit. En strukturerad kabelanläggning med hög-densitet som använderMPO/MTP stamkablarförenklar körning av parallella tyger i samma fysiska infrastruktur.

Steg 7: Validera före produktion

Tester på nätverks-nivå upptäcker några problem. Tester på arbetsbelastningsnivå- fångar resten.

• Bandbredd:iperf3 eller ib_send_bw mellan varje nodpar; bör nå 90 %+ av NIC-linjehastigheten.
• Latens:ib_read_lat eller liknande; kontrollera distribution, inte bara genomsnittlig. P99.9 betyder mer än genomsnittligt.
• Paketförlust:Kör 24-timmars blötläggningstest under belastning; varje förlust som inte är noll i RoCE-trafikklass är ett problem.
• ECN-märkningsbeteende:Kontrollera att märken visas innan PFC avfyras; om PFC-pauser är frekventa i steady state, ställ om.
• Kollektiv kommunikation:Kör NCCL-tester (all_reduce_perf, all_gather_perf) med full klusterstorlek. Jämför mot säljarens referensnummer.
• Jobb-nivåtest:Kör ett representativt utbildningsjobb under 4–6 timmar. Titta på GPU-användning - bibehållna värden under 50 % på en modell med rätt-storlek indikerar vanligtvis ett nätverksproblem.

Traditionellt datacenternätverk kontra AI Spine-Lövtyg

Ethernet RoCE vs InfiniBand: Snabbguide för beslut

Frågan dyker upp i nästan alla AI-klusterprojekt. Båda fungerar. Valet beror vanligtvis på operativ passform, inte ren prestanda.

• Välj InfiniBand om:Ditt team använder redan InfiniBand-tyger, du vill ha den enklaste vägen till förlustfri transport eller så köper du en helt-integrerad leverantörsreferensarkitektur.
• Välj Ethernet RoCE om:Ditt operativa team är Ethernet-inbyggt, du vill ha fler-leverantörsväxlingsalternativ, du måste integrera AI-tyget med befintliga datacenternätverk, eller så förutser du skalning utöver vad nuvarande InfiniBand-topologier stöder rent.

Ultra Ethernet Consortium, som bildades 2023, arbetar aktivt med att standardisera Ethernet-förbättringar specifikt för AI-arbetsbelastningar. För de flesta nya kluster 2026 är Ethernet RoCE en försvarbar standard om det inte finns en specifik anledning att välja något annat.

Vanliga misstag att undvika

Uppgradera switchar utan att kontrollera nätverkskort

Ett 800G switch-tyg gör ingenting för dig om dina nätverkskort körs på 400G eller din värd-PCIe får slut på bandbredd. Designa värdsidan först, sedan switchsidan. PCIe Gen5 x16 begränsar en enstaka port till cirka 504 Gbps verkliga-genomströmning - bekvämt för 400G, marginellt för 800G.

Optimerar porthastighet men ignorerar kabeltäthet

Vid 64-port 400G kan kablarna under varje switch bli fysiskt ohanterliga utan planering. Använd brytkablar där det är lämpligt, dra fibrer genom strukturerade vägar och standardisera anslutningstyper. Kontaktkvalitet och terminering spelar roll vid höga hastigheter - vårfiberoptiska kontakttyper guidetäcker avvägningarna mellan LC, MPO och framväxande formfaktorer med hög-densitet.

Behandla RoCE som Plug-and-Play

Det största designfelet i riktiga AI-kluster är att inte välja fel switch - det är att underskatta hur mycket end-to-end RoCE-konfigurationsarbete som krävs. Budgettid för justering av ECN-trösklar, PFC-prioriteringar och MTU-konsistens. Planera en dedikerad valideringsfas innan någon produktionsbelastning körs.

Blanda all trafik på ett tyg utan QoS

Lagringsreplikering, övervakningsagenter och hanteringstrafik kan förstöra träningsstegtider om de delar buffertar med datortrafik. Separera dem antingen fysiskt eller upprätthåll strikta QoS-klasser med separata prioriteringar och ECN-konfiguration.

Byggnad endast för dagens kluster

De flesta AI-kluster växer 4–8× inom två år efter den första implementeringen. Välj omkopplarradix och ryggradskapacitet som tillåter icke-störande expansion. Att dra kablar i ett live AI-datacenter är dyrt; planering av kanal- och patchkapacitet vid driftsättning är billig.

När ska man gå upp från 400G till 800G

800G NIC och switchar är tillgängliga men dyrare per port. Överväg att öka när:

• Per-GPU-bandbreddsbehov överstiger vad 400G kan ge - till exempel förväntar H100 och nyare GPU:er med NVLink 5 högre extern bandbredd
• NCCL alla-minskar tidsskala dåligt med klusterstorlek, vilket indikerar nätverksmättnad
• Kabeltäthet vid 400G blir fysiskt ohanterlig - färre 800G-portar kan ersätta fler 400G-portar
• Nästa GPU-generation i din färdplan förväntas behöva den inom klustrets avskrivningsfönster
• Du bygger ett utbildningskluster för gränsöverskridande-modeller där all inaktiv beräkningstid kostar betydligt mer än optikuppgraderingen

För de flesta produktionskluster 2026 förblir 400G den rätta balansen mellan kostnad, ekosystemmognad och kapacitet. 800G är vettigt i den höga delen och som en framtidsinvestering för kluster som byggs idag och förväntas pågå i 4–5 år.

Slutsats

Det starkaste AI-klusternätverket är inte det med de snabbaste switcharna. Det är den där NIC-val, storlek på blad/rygg, överabonnemang, RoCE-konfiguration, trafikseparering och fysiska kablar alla stödjer varandra och den arbetsbelastning de valts för.

Utgå från arbetsbelastningen och 18-månaders tillväxtplan. Beräkna bandbreddsbehov för varje lager med hjälp av reella siffror, inte bara tumregler. Konfigurera RoCE-slut-till-slut och validera med riktiga kollektiva kommunikationsriktmärken. Budget för kabelanläggningen - vid 400G och 800G är det fysiska lagret inte längre trivialt.

Klustret som håller sina GPU:er upptagna med 95 %+ utnyttjande genom varje träningssteg är det som uppmärksammade alla dessa lager. Klustret som levereras med en snabbare switch och ett långsammare tyg kommer att ägna år åt att förklara varför GPU:erna är inaktiva.

Ytterligare läsning

• RFC 7938 - BGP i storskaliga-datacenter
• InfiniBand Trade Association - RoCE-specifikationer
• NVIDIA nätverksdokumentation
• Installationsguide för fiberoptisk kabel
• Insättningsförlust vs returförlust förklaras