Ett 100G-rygg-blad är ett av de mest pålitliga sätten att ansluta 25G-servrar, 100G-upplänkar, lagringskluster och öst-väst-tunga arbetsbelastningar i ett modernt datacenter. Attraktionskraften hos QSFP28 är dess flexibilitet: en enda port kan bära en inbyggd 100G-länk eller bryta ut i fyra 25G-serveranslutningar, så en switch kan tjäna både åtkomstkanten och tygkärnan.
Snabba växlar är den enkla delen. En 100G-design lever eller dör på de beslut som fattades innan inköpsordern: hur varje port tilldelas, hur överteckningsförhållandet ser ut under normala och felförhållanden, vilken optik som matchar de verkliga kabeldragningarna, hur mycket värme den optiken tillför och om tyget kan växa mot 400G utan en gaffeltruckuppgradering.
Den här guiden är en-leverantörsneutral planeringsreferens för nätverks- och infrastrukturteam. Siffrorna nedan följer aktuella IEEE 802.3 Ethernet-specifikationer och relevanta optiska multi-avtal, men varje switch och transceiver har sitt eget datablad, så bekräfta de exakta siffrorna för hårdvaran du köper.
Så här läser du exemplen i den här guiden.Om inget annat anges antar de enstaka-hemservrar med en 25G NIC vardera, 48 värdportar per blad, 100G leaf-to-upplänkar, ett fullständigt nät där varje blad ansluts till varje ryggrad och framåtriktad felkorrigering aktiverad där optiken kräver det. Dubbla-adresser, snabbare nätverkskort eller olika portantal kommer att ändra varje nummer som följer.
Vad är ett 100G Spine-Leaf Network?
Spine-leaf är en två-datacenterarkitektur byggd av bladomkopplare och ryggradsväxlar. Bladswitchar sitter överst i varje rack och ger server-portar plus upplänkar till ryggraden. Ryggswitchar bildar höghastighetsryggraden.- Varje blad ansluter till varje rygg, så trafik mellan ställen flyttar blad till rygg till blad längs en lika lång bana.
Designen är populär eftersom den levererar:
- Förutsägbar, lika väglängd mellan två valfria rack
- Inbyggt stöd för tung öst-västtrafik
- Alla upplänkar är aktiva genom ECMP snarare än blockerade av spaning tree
- Enkel horisontell skalning - lägg till blad för portar, lägg till ryggar för kapacitet
I ett 100G-tyg körs länkar från blad-till-rygg på 100G, medan server-portar körs på 10G, 25G, 50G eller 100G beroende på arbetsbelastningen. Idag är 25G-access med 100G-upplänkar den vanligaste företagskombinationen.
Fysisk design vs logisk design
"Nätverksdesign" täcker två lager som är lätta att blanda ihop. Den här guiden koncentrerar sig på det fysiska och kapacitetslagret - portar, optik, överabonnemang, kablage - eftersom det är vad du förbinder dig till när du köper hårdvara. Men det logiska lagret avgör hur tyget skickar trafik och det formar flera fysiska val.
På den fysiska sidan sitter switch och portval, NIC-hastigheter, överabonnemang, optik, kablage, ström och kylning. På den logiska sidan sitter ECMP-belastningen- och balanserar över upplänkar; ett överlägg såsom VXLAN med ett BGP EVPN-kontrollplan för fler-hyresgäster Layer 2 och Layer 3 över ett dirigerat underlag; dubbel-homing med MLAG eller MC-LAG och LACP vid åtkomstkanten; och misslyckad-domänstorlek. För RDMA-tyger måste du också konstruera ett nästan-förlustfritt nätverk, som beskrivs nedan. Avgör den logiska modellen tidigt, eftersom det påverkar antalet upplänkar, hur många spines du vill ha för ECMP-bredd och om löv används som MLAG-par.
Steg 1 - Definiera serverhastighet och arbetsbelastning
Börja med arbetsbelastningen, inte optiken. Ett allmänt virtualiseringskluster, ett lagringstyg och en AI-träningspod har väldigt olika behov, och rätt design följer trafiken.
25G-servrar med 100G upplänkar
För de flesta företags- och privata-molnmiljöer är 25G-åtkomst med 100G leaf-to-upplänkar det bästa stället: ett stort hopp över 10G samtidigt som kostnaderna för nätverkskort, kabel och switchar är rimliga. En typisk version parar 25G-nedlänkar, 100G-upplänkar och ett förhållande på 2:1 till 3:1 för allmän beräkning, med lägre överabonnemang reserverad för lagrings- och{13}}känsliga nivåer för latens. Det passar virtualisering, privat moln, webbnivåer och huvuddelen av företagsdatacenter.
Native 100G för lagring, AI och HPC
Vissa arbetsbelastningar behöver inbyggt 100G till servern: distribuerad och NVMe-ofF-lagring, AI och maskin-inlärningsträning, HPC, stor-analys och RDMA med låg-latens. Här bör överprenumerationen vara låg - ofta icke-blockerande eller nära den - eftersom trafikmönstret är problemet, inte bara volymen.
AI-, HPC- och RDMA-arbetsbelastningar genererar tät, synkroniserad, allt-till-all öst-västtrafik: många noder sänder till många noder samtidigt, så den statistiska utjämningen som sparar dig på ett virtualiseringstyg gäller inte längre. RDMA over Converged Ethernet (RoCE) lägger till en andra begränsning, eftersom den förväntar sig ett nästan-förlustfritt tyg, vilket i praktiken innebär Priority Flow Control (PFC) och Explicit Congestion Notification (ECN) avstämda från början. Ett tyg som släpper ramar under trängsel kommer att se RoCE-prestanda kollapsa, så dessa kluster är vanligtvis byggda i 1:1 med noggrann buffert- och trängselkonfiguration.
Steg 2 - Hur man beräknar blad- och ryggomkopplarportar för ett 100G tyg
Hamnplanering börjar vid bladet, inte ryggraden. Arbeta utåt från servrarna:
- Räkna server-portar per rack.
- Bestäm om var och en är inbyggd 25G, inbyggd 100G eller en breakout-fil.
- Reservera QSFP28-portar för ryggradsupplänkar.
- Lägg till reservportar för tillväxt, redundans, test och ersättning.
- Beräkna om överteckningen efter att breakout har tilldelats, inte innan.
Räkna server-portar
För varje rack, ange serverantal, NIC-hastighet, NIC per server, enkel- eller dubbel-hemd och nödvändiga reservdelar. Ett rack med 48 servrar med ett 25G NIC vardera behöver 48 värdportar. Dubbel-hem dessa servrar till ett lövpar och åtkomstporten räknas över paret fördubblas.
Reservera upplänksportar och se dubbel-räkningen
Efter värdportar, reservera QSFP28-portar för ryggraden. Det är här det vanligaste misstaget gömmer sig: om samma QSFP28-portar används för 4x25G breakout är de inte längre tillgängliga som upplänkar. Det enskilt största planeringsfelet är att inte räkna fel på 100G-upplänkar, utan att överskatta de upplänksportar som blir över när breakout har ätit i dem. Tilldela breakout före överteckningen matematik, eller förhållandet du beräknade är fiktion.
Ett fungerande exempel hjälper. Ta ett vanligt 1U-blad med 48 SFP28-värdportar och 8 QSFP28-portar:
| Hamngrupp | Roll | Kapacitet |
|---|---|---|
| 48 x 25G (SFP28) | Enkel-hemserveråtkomst | 1,200G |
| 6 x 100G (QSFP28) | Spine uplinks | 600G |
| 2 x 100G (QSFP28) | Reserverat: tillväxt, lagring eller reserv | - |
Med sex upplänkar som bär åtkomsttrafiken på 1 200 G, går bladet i 2:1 och två QSFP28-portar förblir i reserv. Ge varje port en enda, tydlig roll i ett kalkylblad innan du ändrar storlek på något annat.
Lämna ledig kapacitet
Konsumera inte varje port på dag ett. Reservera utrymme för nya servrar, extra spines, tillfälliga testlänkar, misslyckade-portbyten, övervakningstryck och migrering. Lite oanvänd kapacitet är mycket billigare än en omdesign.
Steg 3 - Beräkna överprenumeration, inklusive N-1
Överprenumeration jämför den totala serverns-bandbredd på ett blad med dess totala upplänksbandbredd mot ryggraden:
Överteckningsförhållande=total nedlänksbandbredd / total upplänksbandbredd
För bladet ovan, 48 x 25G=1,200G ner och 6 x 100G=600G upp, vilket ger 1200 / 600=2:1. Det betyder dubbelt så mycket teoretisk åtkomstbandbredd som upplänksbandbredd - vanligtvis bra för allmän beräkning, där servrar sällan alla sänder med linjehastighet samtidigt, men en verklig begränsning för lagring, AI, HPC och RDMA.
Kontrollera alltid N-1-väskan
Ett tyg kan se friskt ut i normal drift och kvävas under ett fel. Tänk på ett blad med åtta 100G upplänkar fördelade jämnt över fyra ryggar - två per rygg, 800G totalt, så 1 200 G åtkomst ger 1,5:1. Tappa en ryggrad och bladet tappar två upplänkar till 600G, vilket pressar förhållandet till 2:1 under hela avbrottet. Om ditt mål är "inte sämre än 2:1 även under misslyckande" måste du börja nära 1,5:1. Beräkna både det normala förhållandet och N-1-förhållandet efter att ha förlorat en ryggrad eller upplänk; den andra siffran är den som biter under underhåll.
Planeringsintervall efter arbetsbelastning
Det finns inget universellt förhållande, så behandla följande som planeringsintervall, inte standarder, och validera mot uppmätt trafik där du kan:
| Arbetsbelastning | Designriktning |
|---|---|
| AI / HPC / RDMA | 1:1 eller nästan icke-blockerande |
| Distribuerad lagring | 1:1 till 2:1 |
| Allmän virtualisering | 2:1 till 3:1 |
| Webb-/applikationsnivåer | 3:1 eller högre om trafiken är förutsägbar |
| Dev / test | Kostnads-optimerade förhållanden är acceptabla |
Vid en uppgradering, granska nuvarande upplänksutnyttjande, topp- och öst-västmönster, lagringsflöden och backupfönster innan du bestämmer dig för ett förhållande.
Steg 4 - Välj QSFP28 Optik och kablar
QSFP28 100G-gränssnitt är standardiserade av IEEE 802.3 -802.3bm tillägglade till 100GBASE-SR4, tillsammans med singelläget LR4 PHY-. Välj optik efter avstånd, fibertyp, kontakt, ström och switchkompatibilitet, och motstå standardinställning till längsta räckvidd: räckvidd du inte behöver betyder vanligtvis kostnad och kraft du inte behöver. Matcha modulen till körningen med en vettig marginal.
DAC och AOC för korta serverlänkar
För anslutningar i-rack och intilliggande-rack är QSFP28 direkt-koppar (DAC) och aktiva optiska kablar (AOC) praktiska. Passiv DAC passar de kortaste hoppen - några meter - till lägsta kostnad och effekt, medan AOC utökar räckvidden och är lättare och mer flexibel där kopparbulk blir ett problem. För 25G-åtkomst är QSFP28-till-4x SFP28 breakout-DAC eller AOC vanligt när switchen stöder breakout.
100GBASE-SR4 för korta upplänkar i flera lägen
SR4 bär 100G överåtta fibrer av parallell multimodmed en MPO/MTP-kontakt, vilket gör det till ett kostnads-effektivt val för korta blad-till-ryggrader på en rad. Dess räckvidd beror på fiberkvaliteten - ungefär 70 m på OM3 och 100 m på OM4 - så det lönar sig att veta vilken räckvidd du kan förvänta dig frånOM3, OM4 och OM5 multimodfiberi ditt golv. Den huvudsakliga planeringsbegränsningen är den parallella kabeldragningen: MPO-patchning och polaritet måste utarbetas i förväg.
CWDM4 eller FR för enkel-läge körs till cirka 2 km
För länkar mellan-rader, mellan-rum eller mellan-hallar passar enkel-optik som CWDM4 eller FR bättre. De100G CWDM4 MSAdefinierar en räckvidd på 2 km över ett enda par enkel-modefibrer med en duplex LC-kontakt och FEC. Eftersom de använder duplexfiber istället för parallell MPO, faller CWDM4- och FR-optik ofta in i en enda-lägesanläggning renare än SR4 - och över dessa avstånd kan valet mellanOS1 och OS2 enkel-fiberbörjar spela roll för din förlustbudget. Kortare enkellägesvarianter- som DR täcker cirka 500 m där det är allt du behöver.
100GBASE-LR4 för campus och DCI
LR4 är alternativet för lång-räckvidd, som bär 100Gupp till cirka 10 km över duplex enkel-fiberför campus, byggnad-till-byggnad eller länkar för sammankoppling av-datacenter-. Använd den endast där avståndet verkligen kräver det; optik med lång-räckvidd på korta hopp inom-datacenter-tillför helt enkelt kostnad, kraft och värme utan att förbättra tyget.
QSFP28 100G Optics Comparison
Tabellen sammanfattar var varje alternativ passar. Behandla räckvidden som typiska planeringssiffror och bekräfta de exakta siffrorna, fiberkvaliteten och FEC-kraven på varje moduls datablad.
| Alternativ | Media/fiber | Anslutning | Typisk räckvidd | Där det passar |
|---|---|---|---|---|
| QSFP28 DAC (passiv koppar) | Twinax koppar | Integrerad | ~1–3 m | I-rackserver eller blad-till-blad |
| QSFP28 AOC | Multimode (integrerad) | Integrerad | ~upp till 30 m | Intilliggande-rackservrar, korta länkar |
| 100GBASE-SR4 | Parallellt multiläge, 8 fibrer (OM3/OM4) | MPO/MTP | ~70 m OM3 / 100 m OM4 | Kort i-radblad-till-ryggraden |
| 100G CWDM4 | Duplex enkel-läge | LC | upp till ~2 km | Upplänkar mellan-rad/inter-hallar |
| 100GBASE-FR / DR | Duplex enkel-läge | LC | ~500 m (DR) till ~2 km (FR) | Medelstora körningar i enkel-läge |
| 100GBASE-LR4 | Duplex enkel-läge | LC | upp till ~10 km | Campus/byggnad-till-byggnad/DCI |
Bearbetade exempel: små, medelstora och stora tyger
Dessa är förenklade planeringsmodeller, inte ritningar. Ryggantal väljs vanligtvis för att dela upp länkarna jämnt och ställa in ECMP-bredden: två ryggar är det praktiska minimum för redundans, fyra ger finare N-1-granularitet och bättre belastningsspridning, och åtta passar stora tyger. Bladantalet skalar med de serverportar du behöver.
Litet tyg
- 8 st bladbrytare
- 2 ryggradsbrytare
- 48 x 25G serverportar per blad
- 4 x 100G upplänkar per blad
- 384 enkla-hemanslutna 25G-serverportar
Per blad: 1200G ner, 400G upp, alltså 3:1. Fungerar för allmän beräkning, men tight för tung lagring eller AI. Lägg till upplänkar eller trimma åtkomst per blad om du behöver ett lägre förhållande.
Medium tyg
- 16 st bladbrytare
- 4 ryggradsbrytare
- 48 x 25G serverportar per blad
- 6 x 100G upplänkar per blad
- 768 enkla-hemanslutna 25G-serverportar
Per blad: 1 200 G ner, 600 G upp, alltså 2:1. En solid balans för virtualisering och företagsarbetsbelastningar, och fyra spines sprider ECMP bättre än två.
Stort tyg
- 32 st bladbrytare
- 8 ryggradsbrytare
- 48 x 25G serverportar per blad
- 8 x 100G upplänkar per blad
- 1 536 enstaka-25G-serverportar
Per blad: 1 200 G ner, 800 G upp, alltså 1,5:1. Mer upplänkshöjd, men mer optik, fiber, kostnad, kraft och kablage att hantera. I denna skala är dokumentation en del av designen: märkning, portkartor, polaritet, reservoptik, luftflöde och övervakning måste planeras innan installation.
QSFP28 Breakout Planning (100G till 4x25G)
Breakout är den mest användbara och mest missförstådda delen av QSFP28-designen. Där switchen, kabeln och konfigurationen tillåter det delas en QSFP28-port upp i fyra 25G SFP28-länkar som ansluter fyra 25G-servrar från en enda 100G-port. Den tjänar sin plats när du behöver hög 25G-densitet, har gott om QSFP28-portar, vill sänka kostnaden per serveranslutning eller bygger ett övergångsmaterial för 25G/100G med QSFP28-till-4x SFP28 DAC, AOC ellerMTP/MPO breakout kablarberoende på avstånd.
Haken är att breakout förbrukar QSFP28-portar. Om en QSFP28-switch med 32-portar dedikerar 16 portar till 4x25G breakout, stöder dessa 16 portar 64 servrar – men endast 16 QSFP28-portar återstår för upplänkar, lagring, sammankopplingar och reservdelar. Tumregeln är att först räkna breakout-portar och sedan räkna vad som finns kvar för upplänkar.
Innan du förbinder dig, bekräfta några saker och bestäm tidigt om varje körning ska vara enstammen eller en utbrytningsenhet:
- Vilka portar stöder breakout, och finns det port-gruppbegränsningar?
- Inaktiverar aktivering av breakout intilliggande portar?
- Stöder switchoperativsystemet det läge du behöver?
- DAC, AOC eller breakout-optik för varje körning?
- Behövs alla fyra körfälten nu, eller först senare?
- Hur kommer breakout att påverka en framtida övergång till inbyggda 100G-servrar?
Ström, kyla och kabelhantering
Ett 100G-tyg producerar mer än bandbredd - det producerar värme, luftflödesbelastning och kabeltäthet. Effektbudgeteringen bör täcka switchchassi och fläktar, QSFP28 optiska moduler (och DAC eller AOC där de används), redundanta förbrukningsmaterial, rack-kapacitet och tillväxtmarginal. Kylning bör ta hänsyn till varm- och kall-gångslayout, konsekvent främre-till-bakåt eller bakåt-till-luftflöde, släckande paneler, kablar, omgivningstemperatur och modul-temperaturövervakning, eftersom en ryggrad packad med optik är en verklig belastning.
Kablar skalas snabbt: 16 blad till 4 ryggar är redan 64 blad-till-rygglänkar, som var och en måste märkas, dirigeras, testas och dokumenteras. Ett full-mesh-tyg är mycket lättare att bygga och underhålla med för-avslutadMPO/MTP trunkkabelän med fält-terminerad fiber. Lag bör också lösa anslutnings- och polaritetskonventioner i förväg; depraktiska skillnader mellan MTP och MPOär värda att bekräfta innan du beställer. Slartig dokumentation kostar ingenting på dag ett och en hel del under det första avbrottet.
Designar för en 400G-uppgradering
Designa tyget med en realistisk uppgraderingsväg. Du behöver inte 400G överallt dag ett, men du bör undvika val som gör flytten smärtsam senare. Börja tänka på 400G-beredskap när ryggradsupplänkar redan är hårt belastade, när det blir besvärligt att lägga till fler 100G-ryggar, när ECMP-vägantalet närmar sig plattformsgränser eller när AI-, lagrings- eller öst-västtillväxten accelererar.
Den vanliga strategin är att uppgradera ryggraden först: bladen behåller sina 100G-upplänkar medan en ryggrad med högre-kapacitet - använder portar som t.ex.QSFP-DD- ger utrymme, ofta med 400G-portar som bryter ut i 4x100G tillbaka mot de befintliga bladen. Den bredare banan sätts av branschen: denEthernet Alliance färdplankörs nu genom 400G, 800G och vidare, till stor del driven av AI. När du utvärderar switchar, kontrollera att plattformen stöder de hastigheter, optik, breakout-lägen och mjukvarufunktioner som en stegvis uppgradering behöver.
När en 100G-rygg-Lövdesign inte är rätt val
Denna design är inte universell, och några fall kräver något annat. En handfull servrar i ett eller två rack motiverar sällan en full ryggrad-, där ett par redundanta switchar är enklare och billigare. Mycket stora AI-träningskluster kan komma förbi vad ett 100G-åtkomst- och 100G-ryggtyg klarar bra, och landar på 400G- eller 800G-tyger - eller till och med ett dedikerat InfiniBand-nätverk - från början. Och om nästan all trafik är nord-syd till en gateway snarare än öst-väst mellan ställen, spelar de östliga-västliga fördelarna med ryggradsblad mindre roll, så topologin bör motiveras på tillväxt- och driftsskäl snarare än antas. Matcha arkitekturen till trafiken och skalan, inte tvärtom.
Vanliga 100G Spine-Lövdesignmisstag
- Räknar QSFP28-portar två gånger.En port är antingen en 4x25G breakout eller en 100G upplänk, aldrig båda. Ge varje hamn en roll.
- Att välja optik genom maximal räckvidd.Längre räckvidd ökar kostnaden och kraften; matcha optiken till det faktiska fiberavståndet och typen.
- Ignorerar N-1.Kontrollera förhållandet under normal drift och efter att du tappat en ryggrad.
- Glömma optisk kraft och värme.En ryggrad full av QSFP28-moduler är en äkta termisk belastning, så inkludera optik i kraft- och kylningsmatten.
- Behandla kablage som en eftertanke.Routing, märkning, polaritet och dokumentation hör hemma i designen, inte installationen.
- Designar endast för dagens serverhastighet.Om 25G-åtkomst ändras till 100G, lämna plats för inbyggt 100G eller en 400G-ryggrad.
FAQ
F: Vilket är det bästa överteckningsförhållandet för ett 100G-nätverk-?
S: Det finns inget enskilt bästa förhållande. För allmän beräkning är 2:1 eller 3:1 ofta praktiskt. För lagrings-, AI-, HPC- eller RDMA-arbetsbelastningar, använd 1:1 eller en lägre-överabonnemangsdesign där det är möjligt och validera mot uppmätt trafik.
F: Ska jag använda QSFP28 SR4 eller CWDM4 för blad-till-länkar?
S: Använd SR4 för korta multimodekörningar där MPO/MTP-kablar är tillgängliga. Använd CWDM4 eller en liknande enkel-optik när avståndet är längre eller när en duplex LC enkel-anläggning är att föredra, upp till cirka 2 km.
F: Kan QSFP28 bryta ut i 4x25G?
S: Ja, många QSFP28-plattformar stöder 4x25G breakout, men stödet beror på switchmodell, portgrupp, operativsystem och kabeltyp. Kontrollera alltid switchens kompatibilitetsmatris innan du designar runt breakout.
F: Är 100G-rygg-blad fortfarande värt det nu när 400G finns?
S: Ja, för de flesta företags- och molnmiljöer med 25G- eller 100G-serveråtkomst. 400 tjänar G sin högre kostnad när upplänkkapacitet, AI-trafik eller stor-bandbredd från öster-väst motiverar det.
F: Hur många ryggradsbrytare behöver jag?
S: Minst två för redundans. Större tyger använder ofta fyra eller fler för bättre ECMP-distribution och mer upplänkkapacitet. Rätt antal beror på antal blad, upplänkshastighet, överteckningsmål och plattformsgränser.
F: Vilket är det enskilt vanligaste designfelet?
A: Port felräkning. Lag planerar först upplänkar och upptäcker senare att breakout-kablar förbrukade QSFP28-portarna de förväntade sig att använda för ryggraden. Tilldela breakout-portar innan du slutför upplänkskapacitet.
Slutsats
En bra 100G rygg-design är summan av beslut som fattas innan hårdvaran kommer: definiera arbetsbelastningen, räkna portar korrekt, beräkna överabonnemang under både normala förhållanden och felförhållanden, välja optik efter avstånd, planera utbrott medvetet, budgetera för ström och kyla och lämna plats för 400G. För de flesta företagsdatacenter förblir 25G-åtkomst med 100G QSFP28-upplänkar en stark balans mellan prestanda, kostnad och skala, medan lagring, AI och HPC helt enkelt kräver lägre överabonnemang och strängare validering. Det tillförlitliga tillvägagångssättet förändras inte: designa från servern och utåt, bevisa matematiken under normala och N-1-förhållanden, och dokumentera varje länk före driftsättning.
