10 GbE hálózat beállítása: Hardver, kábelezés és sebességtesztek

10 GbE beállítás

Ha csak egy részt olvas el, olvassa el ezt:

• Minden kapcsolat mindkét végén 10 GbE interfész kell. Egy gyors hálózati kártya nem hoz létre gyors kapcsolatot.
• A köztük lévő adathordozónak kompatibilisnek kell lennie mindkét porttal:Cat6A RJ45-höz, DAC-hoz vagy optikához SFP+-hoz.
• Két eszköz közvetlenül csatlakoztatható. Egy kapcsoló csak akkor szükséges, ha egy harmadik eszköz csatlakozik.
• Hagyja az MTU-t 1500-on az üzembe helyezés során. A Jumbo keretek optimalizálás, nem követelmény.
• Bizonyítsa be a hálózatot ezzeliperf3első. Csak ezután hibáztasd a NAS-t, a CPU-t vagy a protokollt.
• Az alábbiakban minden elmagyarázza, hogyan kell helyesen meghozni ezt az öt döntést, és hogyan lehet megállapítani, hogy melyik összetevő tartja vissza a hivatkozást, amikor a számok csalódást okoznak.

Mire van szüksége egy 10 GbE hálózathoz?

Egy minimális 10 GbE kapcsolat két alkalmas végpont és egy kompatibilis kapcsolat közöttük. Egy nagyobb hálózat egy kapcsolót ad hozzá elegendő 10 GbE porttal.

• 10 GbE hálózati interfész kártyák vagy beépített 10 GBASE-T portok
• 10 GbE kapcsoló – kivéve, ha a két eszköz közvetlenül össze van kötve
• Rézkábelek, DAC-k, AOC-k vagy adó-vevők plusz szál
• A gazdagépek és a tárhely elég gyors a tervezett munkaterheléshez
• Illesztőprogramok, firmware és operációs rendszer támogatás a kiválasztott hardverhez

Az operatív szó azösszeegyeztethető. Az SFP+ port csak akkor fogad RJ45 patch vezetéket, ha egy támogatott 10GBASE-T SFP+ modul vagy médiakonverter van köztük, és az SFP+port és modul alaktényezője, nem szálas csatlakozó - az optikai SFP+ modulok szinte mindig duplex LC-ben végződnek.

A hálózati interfész kártya kiválasztása

A hálózati kártya megrendelése előtt négy dolog dönti el, hogy valóban 10 Gbps-on fog-e futni: a slotnak fizikailag elérhetőnek kell lennie; a foglalatnak elegendő használható PCIe sávszélességet kell biztosítania (egy kártya elfér egy x8-as bővítőhelyen, amely x1 elektromosan van bekötve); az illesztőprogramnak léteznie kell a kernelhez vagy a kiszolgálóhoz; és a kártya nem főzheti magát passzívan hűtött asztalon. A régebbi szerverek és néhány 10GBASE-T szilícium kifejezetten melegen fut.

The most common surprise here is lane allocation. A lapkakészlethez csatlakoztatott bővítőhelyben elhelyezett hálózati kártya, amely megosztja a sávszélességet egy M.2 meghajtóval, szűkebb PCIe-kapcsolatot hoz létre, és az operációs rendszer boldogan "10 Gbps"-t jelez az Ethernet oldalon, miközben a busz csendesen 6–7 Gbps-ra korlátozza.

Kapcsoló vagy közvetlen kapcsolat?

A switch is not always necessary. A direct link works well when exactly two systems need the bandwidth - a video-editing workstation and a NAS, for example - with a static address pair on a dedicated subnet.

Mozgás aváltott kialakításamikor kettőnél több eszköznek van szüksége 10 GbE-re, ha több munkaállomás is eléri ugyanazt a tárolókészletet, ha a 10 GbE szegmensnek el kell érnie a meglévő LAN-t, vagy ha a VLAN-ok és a központi felügyelet számít. Ha ezt teszi, becsülje meg a portokat: egy nyolcportos switch gyorsan elveszíti a portokat a NAS-kapcsolatok, a router-uplink és a kapcsolók közötti kapcsolatok miatt.

Tárolás és gazdagép teljesítménye

Egy 10 GbE kapcsolat sebessége 10 gigabit/s. A fájlátvitelnek nincs semmi ilyesmi. A meghajtók száma és a RAID elrendezés, a NAS CPU, az SSD gyorsítótár viselkedése, a fájlrendszer többletterhelése, az SMB vagy NFS konfiguráció, a titkosítás, a kliens CPU, a PCIe sávszélesség és a készletet megosztó felhasználók száma korlátozza.

Ezért a hálózati benchmark és a fájlátviteli benchmark két különböző teszt, és ezért a futtatás sorrendje fontosabb, mint bármely hangolási paraméter.

Valójában szüksége van 10 GbE-re?

A 10 GbE akkor éri el a költségeit, ha egy helyi hálózat rendszeresen tömegesen mozgatja az adatokat, vagy több egyidejű klienst szolgál ki: nagy felbontású videók szerkesztése megosztott tárhelyről, projektfájlok mozgatása munkaállomások és NAS között, több rendszer biztonsági mentése egyetlen szerverre, virtuális gépek futtatása hálózati tárolóról, szerverek közötti replikáció vagy nagy kapacitású uplink biztosítása a switchek között.

Nem gyorsítja az internetkapcsolatot. Csak ott javítja a forgalmat, ahol a teljes útvonal támogatja a magasabb arányt.

Amikor 2,5 GbE vagy 5 GbE a jobb vétel

A több gigabites frissítés gyakran az okosabb pénz, ha a legtöbb végponton már van 2,5 GbE, amikor a tárolórendszer amúgy sem tudja megközelíteni a 10 Gbps sebességet, amikor a domináns munkaterhelés az internet-hozzáférés, nem pedig a helyi átvitel, vagy ha a kábelezés nem cserélhető.

Gyakori és hatékony kisirodai minta: 2,5 GbE az asztaloknál, 10 GbE a switchek, szerverek és tárhely között. A sávszélesség oda megy, ahol a forgalom konvergál, ahelyett, hogy olyan portokra szóródna, amelyek soha nem fogják használni.

Követelmény, topológia és média

RJ45, DAC vagy Fiber?

A Cisco 10 GBASE SFP+ dokumentációjaa passzív twinax DAC-t 5 méterig, az aktív változatokat pedig 10 méterig sorolja fel,10GBASE-SRelérve a 300 m-t az OM3-on és a 400 m-t az OM4-en, és10GBASE-LRszabványos egymódusú optikai szálon eléri a 10 km-t. Kezelje ezeket a szabvány által meghatározott mennyezetként, és erősítse meg a megvásárolni kívánt tényleges modulokkal és kapcsolókkal.

10GBASE-T Cat6 vagy Cat6A felett

Ahol már létezik RJ45 strukturált kábelezés, ott általában a 10GBASE-T a legkisebb ellenállás útja. A gyakorlati szabályok:

• Adja megCat6Aminden új 100 méteres 10 GbE csatornához.
• A Cat6 képes 10 GbE-t szállítani rövidebb távon - 55 m ez a szám általában megfelelő feltételek mellett - de ez engedély, nem garancia.
• Tesztelje acsatorna, nem a kábeldob. A patch panelek, a trapézkövek, a csatolók és a patch vezetékek mind számítanak, és a csatorna csak annyira jó, mint a legrosszabb összetevője.

Különböztesse meg a natív 10GBASE-T kapcsolóportot a réz SFP+ modultól. A réz SFP+ modulok általában rövidebb 10 Gbps hatótávolságúak és magasabb hőigényűek; A Cisco legfeljebb 30 métert ír elő 10 Gbps sebességgel az egyik SFP+ RJ45 moduljához. Ha még mindig rézzel méred az üveget egy futáshoz, aréz kategória összehasonlításhasznos kiindulópont.

Fiber: SR, LR és What Actually Goes Wrong

Használja az SR-t a megfelelő többmódusú fokozattal, az LR-t egymódusúval. Egyezzen meg az Ethernet szabványnak, a hullámhossznak és a száltípusnak mindkét végén, tartsa a vételi teljesítményt a támogatott ablakon belül, és ellenőrizze, hogy a kapcsoló elfogadja-e a vásárolt modult.

A gyakorlatban az optikai 10 GbE kapcsolatokon tapasztalt hibák ritkán egzotikusak. Ezek piszkos végfelületek, egy APC patch vezeték egy UPC-láncban, és egy modul, amelyet a kapcsoló udvariasan nem hajlandó felismerni. A csatlakozók fényezése nem részlet: az LC/UPC dominál az adatkommunikációban, és a UPC és APC végfelületek keverése megbízható módszer több dB veszteségre. Ha először helyezi üzembe az üvegszálat, a költségvetés ideje alatttisztítsa meg és ellenőrizze az összes csatlakozótmielőtt bedugja – és ha az SR/LR megkülönböztetés továbbra is homályos, olvassa el aegymódusú és többmódusú összehasonlításoptika rendelése előtt nem küldheti vissza.

10 GbE hálózat beállítása lépésről lépésre

1. lépés: Térképezze fel az eszközöket és a forgalmat

Soroljon fel minden eszközt, és azonosítsa, hogy mely adatfolyamok vannak jelenleg korlátozva. Rögzítse a forrást és a célállomást, az aktuális portsebességet, a kábeltávolságot, a várható egyidejű felhasználókat, a rendelkezésre álló bővítőhelyeket és a meglévő uplinkeket. Ez az, ami megakadályozza a teljes hálózat cseréjét, amikor három linket kellett frissíteni.

2. lépés: Válassza ki a topológiát és a médiát

Használja a fenti döntési táblázatot, majd készítsen egy anyagjegyzéket, amely felsorolja az összes portot, modult és kábeltvége. Egy érmefeldobás egy optikai adó-vevő, amelyet anélkül rendeltek, hogy tudnák, mi van a túlsó végén.

3. lépés: Ellenőrizze a kompatibilitást papíron

Ellenőrizze a támogatott portsebességet, az SFP+ és DAC kompatibilitási listákat, az automatikus egyeztetési viselkedést, az illesztőprogramokat, a hálózati kártya és a kapcsoló firmware-jét, a maximálisan támogatott MTU-t és a hőkorlátokat. Egyes SFP+ portok csak 10 Gbps sebességgel futnak; mások 1G SFP modulokat is elfogadnak. Néhány 10GBASE-T port 1G/2.5G/5G/10G; mások szűkebb halmazt támogatnak.

4. lépés: Telepítse a hálózati kártyákat és készítse elő a kapcsolót

A belső kártyák tápellátása leállt, kivéve, ha a hot-plug kifejezetten támogatott. Ezután telepítse az aktuális illesztőprogramot, frissítse a hálózati kártya firmware-jét ott, ahol a gyártó javasolja, ellenőrizze, hogy az operációs rendszer látja az interfészt, és - ez az a lépés, amelyet az emberek kihagynak - ellenőrizze, hogy a hálózati kártya megegyezett-e a várható PCIe-generációval és kapcsolatszélességgel. Frissítse a kapcsoló firmware-ét, mielőtt elkezdené a gyártást, és címkézze fel a portokat és kábeleket, amíg még emlékszik rájuk.

5. lépés: Csatlakoztassa és erősítse meg a kapcsolat sebességét

Minden linknek jelentenie kell, 10 Gbps, full duplex, hibaszámlálók felmászása nélkül. Digitális diagnosztikával ellátott optikai kapcsolatokon tekintse meg a hőmérsékletet és vegyen áramot. Ha egy link 1G, 2,5G vagy 5G-n egyeztet, állítsa le és javítsa ki. Nincsenek pontos hangolási protokollok egy olyan fizikai réteg tetején, amely már hazudik neked.

6. lépés: Az IP-címzés konfigurálása (egy működő példával)

Meglévő LAN-on a 10 GbE interfész egyszerűen a normál alhálózaton élhet. Közvetlen tárolókapcsolat esetén egy külön alhálózat tisztán tartja a gyors elérési utat. Megbízhatóan működő konfiguráció:

• Munkaállomás, 10 GbE port: 192.168.50.10 / 255.255.255.0, átjáró üresen hagyva
• NAS, 10 GbE port: 192.168.50.20 / 255.255.255.0, átjáró üresen hagyva
• Mindkét eszköz megtartja a meglévő 1GbE interfészta normál LAN-alhálózaton, az ott konfigurált átjáróval

Ha a 10 GbE interfészen üresen hagyjuk az átjárót, az megakadályozza, hogy a hétköznapi internetes forgalom egy sehová sem tartó hivatkozásra vándoroljon. Az útválasztási viselkedés ellenőrzéséhez ellenőrizze, hogy a NAS felé irányuló forgalom a gyors útvonalon halad-e - Windowson Get-NetRoute és Test-NetConnection, Linuxon az ip route a 192.168.50.20 címet kapja -, és csatolja a megosztást a 192.168.50.x címe helyett a gazdagépnév alapján, mivel a névfeloldás gyakran az 1GbE címet adja át.

Ahol VLAN-okat használnak, konfigurálja azokat a kapcsolón, egyeztesse a címkézett/címkézetlen beállításokat a gazdagépen, ellenőrizze, hogy a VLAN engedélyezett-e a felfelé irányuló linkeken, és tesztelje az alapvető elérhetőséget, mielőtt megérintené a teljesítményt. Egyszerre egy dolgot változtass meg.

7. lépés: Hagyja békén az MTU-t (egyelőre)

Jutalék a szabványos 1500 bájtos MTU-n. A Jumbo keretek csökkenthetik a csomagonkénti CPU többletterhelését nagy szekvenciális átvitelek esetén, deAz Intel útmutatása egyértelmű: csak akkor engedélyezze őket, ha az útvonalon lévő összes eszköz támogatja őket, és azonos keretméretre vannak konfigurálva. Először állapítsa meg az alapvonalat; nem tudod megmondani, hogy segített-e a változás, ha "korábban" soha nem mértél.

8. lépés: Tesztelje a hálózatot az iperf3 - segítségével, és olvassa el megfelelően az eredményt

iperf3Az ESnet által karbantartott, az elérhető IP-hálózati sávszélességet lemez érintése nélkül méri. Szerver egy gépen:

iperf3 -s

Ügyfél a másik oldalon:

iperf3 -c
iperf3 -c-P 4 - négy párhuzamos folyam
iperf3 -c-R - fordított irány
iperf3 -c-t 30 - tartós futás

Most az a rész, amelyet a legtöbb útmutató kihagy – mit jelentenek a számok:

• 9,3–9,5 Gbit/s egy adatfolyam:egy egészséges 10GbE kapcsolat. TCP és keretezési többletköltség a többi; nem fogod látni a 10.0-t.
• Körülbelül 8 Gbit/sec egyetlen adatfolyam, de 9,4 -P 4 esetén:jó a link. Egyetlen adatfolyam CPU-hoz van kötve egy magon. Normál szerény asztali CPU-kon, és nem hiba.
• Nincs javulás párhuzamos adatfolyamokkal és telített maggal:a CPU a mennyezet. Mielőtt a hálózatot hibáztatná, nézze meg az RSS és a kitöltés beállításait.
• Gyors előre, lassítás -R gombbal:aszimmetria pontok az egyik végponton, nem a kábelen. Gyanús, hogy egy illesztőprogram, egy virtuális kapcsoló vagy egy biztonsági szoftver ellenőrzi a bejövő forgalmat.
• 4-6 Gbit/s mindkét irányban, stabil:szinte mindig PCIe vagy külső adapter korlátozás, nem Ethernet.
• Böjtöljön tíz másodpercig, majd összeessen:termikus. Ellenőrizze a modult és a NIC hűtőbordát.

Rögzítse a feltételeket az eredménnyel: operációs rendszer, illesztőprogram verziója, MTU, CPU, adatfolyamok száma, teszt időtartama. Egy átviteli szám környezete nélkül egy pletyka.

9. lépés: Tesztelje a valós munkaterhelést

Csak a hálózat áthaladása után tesztelje a NAS-t, a biztonsági mentési feladatot vagy a szerkesztési idővonalat – együtt figyelje az olvasási/írási átviteli sebességet, a lemezhasználatot, a CPU-t, a NIC-használatot és a RAID-tevékenységet. Egyetlen nagy szekvenciális fájl nem úgy viselkedik, mint tízezer kicsi, ezért a munkaterhelést az eredmény mellett rögzítse ahelyett, hogy egyetlen csúcsszámot jelentene.

Két diagnózis, amelyekbe valószínűleg belefutsz

1. eset: az iperf3 gyors, a fájlmásolatok nem

Egy négyrekeszes NAS forgó lemezekkel, DAC-on keresztül egy közeli kapcsolóhoz csatlakoztatva. Az iperf3 mindkét irányban 9,4 Gbit/sec sebességet jelez. Egy 40 GB-os videofájl másolása nagyjából 190 MB/s sebességgel megy, és nem hajlandó magasabbra menni.

Semmi sem tört . 190 MB/s körülbelül 1,5 Gbit/s, ami egy meglehetősen átlagos szekvenciális plafon az adott tömbnek. Soha nem a hálózat volt a kényszer – a tömb az. A jumbo keretek hozzáadása, az offload hangolása vagy a DAC cseréje pontosan ugyanannyit eredményezett volna. A javítás, ha akarunk, egy SSD gyorsítótár vagy több orsó, nem hálózati változás.

A diagnosztikai szabály ezt szemlélteti: ha a hálózati teszt sikeres, a fájlteszt pedig nem, akkor nem a hálózat az elsődleges szűk keresztmetszet. Tesztelje helyileg a tárolót mindkét végén, mielőtt bármi máshoz nyúlna.

2. eset: A link 1 Gbps sebességgel jött létre

Új 10GBASE-T NIC egy irodában meglévő Cat6 kábelezéssel. Az interfész 1 Gbps sebességet jelez. A vízszintes kábel rendben van; a javítópanel Cat5e, évekkel korábban lett telepítve, és soha többé nem látogatták meg.

A csatorna, nem a kábel az, ami tárgyal. Ez az egyetlen leggyakoribb oka a 10 GbE "törött" telepítésének, és ez teljes mértékben papírmunka probléma – a 3. lépésben látható, ha a kompatibilitási táblázatot őszintén kitöltik.

Gyakori 10 GbE szűk keresztmetszetek

• Fizikai réteg:kábelkategória és végződés, port sebesség konfiguráció, nem támogatott SFP+ modulok vagy DAC kódolás, sérült szál, piszkos csatlakozók, mászási hibaszámlálók.
• Tárolás:meghajtók száma, RAID szint, véletlenszerű I/O, paritás, írás-gyorsítótár házirend, pillanatfelvétel vagy dedup overhead, titkosítás, háttér-újraépítés.
• Busz és CPU:szűkített PCIe kapcsolatszélesség, sávszélesség-megosztás, telített magok, hiányzó RSS vagy offload, USB/Thunderbolt adapterek, amelyek sávszélességet osztanak meg a tárhellyel, nem megfelelő virtuális hálózati kártya a virtuális gépen belül, minden bájtot ellenőrző biztonsági szoftver.
• Termálok:nagy teljesítményű réz SFP+ modulok, ventilátor nélküli kapcsolók, sűrű SFP+ csoportok, zárt szekrények, porvédett hűtőbordák. Tünet: eleinte rendben, percek után lealacsonyodik.
• Túlfizetett felfelé irányuló linkek:egy 10 GbE-s munkaállomás, amely egy 1 GbE-s uplink mögött ülő szerverrel beszél, semmit sem nyert. Tekintse át a teljes útvonalat – kapcsolók közötti kapcsolatok, tűzfal interfészek, tároló-vezérlő kapcsolatok, virtuális kapcsolók felfelé irányuló kapcsolatai.

Speciális lehetőségek: Jumbo Frames, Összevonás, Többcsatornás

Ezek a már működő hálózatok optimalizálásai. Olyanra alkalmazva, amelyik nem, többnyire megnehezítik az eredeti hiba megtalálását.

Jumbo kereteknagy szekvenciális és tárolási forgalmat segíthet. Először 1500-nál erősítse meg az útvonalon lévő összes eszközt - beleértve a virtuális kapcsolókat és a tárolófelületeket is -, hogy támogatja-e a tervezett keretméretet, alkalmazza azt következetesen, tesztelje azokat a csomagokat, amelyek nem tudnak fragmentálni, futtassa újra az iperf3-at és a munkaterhelést, és csak akkor tartsa meg a változtatást, ha mérhetően segített. Az inkonzisztens MTU valóban zavaró tüneteket produkál: a pingek sikeresek, a nagy átvitelek elakadnak, és a kapcsolatok csak egy irányban működnek.

Linkösszesítésaggregált kapacitást és redundanciát ad sok folyamon. Nem duplázza meg egyetlen fájlátvitelt: a kapcsoló-összesítés általában egy folyamot egy taghivatkozáshoz rögzít egy hash segítségével, így egy munkamenet egy hivatkozáson marad.

SMB többcsatornásegy másik mechanizmus. PerA Microsoft dokumentációjaAz SMB 3.x munkamenetenként több TCP-kapcsolatot hoz létre, összesíti a rendelkezésre álló sávszélességet, hibatűrést biztosít, és - RSS-képes adapteren - a processzormagok között szétosztja a feldolgozást, ahelyett, hogy egyhez rögzítené. Ez az utolsó pont az oka annak, hogy egy egyfolyamos iperf3 eredmény közepesnek tűnhet, miközben a valós munkaterhelés rendben van.

Összegzés

A NAS és a közeli SFP+ switch közötti rövid kapcsolat létrehozásához kezdje el egy támogatott DAC-val. Új fali kábelezés esetén, amelynek 10 GbE-t kell továbbítania az épület távolságain, telepítsen és tanúsítson egy Cat6A csatornát. A berendezési helyiségek, a padlótól a padlóig terjedő szakaszok és az elektromosan zajos környezetek esetében értékelje az SR-szálatOM4 multimódusú patch kábelek, LR egymódussal, ahol az elérés vagy a jövőbeni kapacitás indokolja. Otthoni vagy kis irodában csak azokat a hivatkozásokat frissítse, amelyek koncentrált forgalmat hordoznak; A 10 GbE NAS és a 2,5 GbE felhasználói hozzáférés feletti mag uplink rendszerint felülmúlja az épület minden portjának cseréjét.

És tesztelje a hálózatot a tárolótól elkülönítve. A sikeres 10 GbE beállítást nem határozza meg a kapcsolón lévő címke. Egy kompatibilis végpontok közötti útvonal határozza meg, amely kibírja azt a munkaterhelést, amelyre létrehozta.