Ръководство за надграждане на 800G Ethernet: Оптика, влакна и комутатори

800G Ethernet е високо{1}}скоростен Ethernet интерфейс, който пренася 800 гигабита в секунда през един порт, изграден от осем електрически или оптични ленти, работещи с приблизително 100 Gb/s всяка. Той удвоява честотната лента на-порт на 400G Ethernet, което позволява на мрежата да носи същия капацитет през по-малко връзки между комутатори, графични процесори и хранилище - или много повече капацитет при същия брой стелажи.

Но частта, която има значение при реалните внедрявания, не е заглавната цифра. 800G променя оптиката, която купувате, влакното и конекторите, които изтегляте, мощността и охлаждането, които трябва да поеме всяка стойка, и начина, по който проверявате връзките, преди да бъдат активирани. Отнасяйте се към него като към-препятствие на пристанището и ще срещнете проблеми, които могат да бъдат избегнати; третирайте го като архитектурно решение и то се превръща в един от най-чистите начини за мащабиране на AI или облачна тъкан.

Какво е 800G Ethernet?

800G Ethernet, наричан още 800GbE, предава Ethernet рамки при обща скорост от 800 Gb/s. Нито един физически сигнал не носи цялата тази скорост. Вместо това интерфейсът разпръсква данни през осем паралелни ленти - осем електрически ленти от ASIC на превключвателя към модула и осем оптични ленти (или дължини на вълните) към влакното - и ги представя на останалата част от мрежата като една логическа връзка.

Всяка лента използва PAM4 сигнализация при около 100 Gb/s (106,25 Gb/s по кабела). Осем от тези ленти ви дават 800 Gb/s. Тази 8×100G структура е определящата характеристика на днешното 800G поколение и затова един 800G порт може да се намести за два 400G порта или осем 100G порта - при условие, че комутаторът, оптиката, окабеляването и устройството в далечния край са съгласни как се разделя този капацитет.

800G Ethernet срещу 400G Ethernet: Какво всъщност се променя

Очевидната разлика е, че 800G носи два пъти по-голяма обща честотна лента от 400G. Практическите разлики са това, което ръководи плана на проекта:

Единственият най-пренебрегван ред е изискването за ASIC. 800G QSFP-DD800 модул е ​​механично съвместим с 400G QSFP-DD клетка, така че физически пасва -, но се нуждае от хост ASIC, който поддържа 100G-на-лента сигнализация. Пуснете един в 50G-per-лента 400G превключвател и той няма да достави 800G. Планирането на капацитета започва там, а не от лицевата плоча.

Защо 800G Ethernet има значение сега

Корпоративният трафик се движеше предимно на север-юг, между потребители и приложения. Обучението с изкуствен интелект, широко{2}}изводите и разпределеното съхранение обърнаха това: тежкият трафик сега е на изток-запад, между ускорителите и между възлите за съхранение вътре в тъканта. Когато хиляди графични процесори синхронизират градиенти или обменят параметри, мрежата -, а не компютърът - се превръща в пречка.

Осиновяването отразява този натиск. СпоредПрогнозата за превключване на центъра за данни на Dell'Oro Group, доставките на порт 800G преминаха 20 милиона единици в рамките на около три години от първата доставка - крайъгълен камък 400G отне шест до седем години, за да достигне - изтеглен почти изцяло от AI backend мрежите-. Рампата е стръмна именно защото работните натоварвания са-гладни за честотна лента по начин,-както изчисленията с общо предназначение никога не са били.

AI и тъкани за машинно обучение

В бек-мрежата с изкуствен интелект истинският въпрос не е дали 800G е по-бърз, а дали намалява свръхабонамента между GPU, без да създава ново термично или кабелно затруднение. Колективните операции като all-reduce са чувствителни към най-бавния път, така че структура, която намалява наполовина броя на връзките, като същевременно поддържа латентността и задръстванията под контрол, директно подобрява времето за завършване на заданието. Ето защо 800G се появява първо при върховете-to-leaf нагоре и GPU-to-leaf връзките в клъстери, изпълняващи RoCEv2, където поведението без загуби и балансирането на натоварването са толкова важни, колкото и необработената пропускателна способност.

Облак и хипермащаб

Хипермащабните оператори използват по-високи скорости на портове, за да увеличат честотната лента, без да нараства сложността на стелажа със същата скорост. Един 800G ъплинк замества два 400G ъплинка, което означава по-малко кабели, по-малко оптика за управление и повече пространство за багажник. В мащаб това се изразява в по-малко точки на повреда и по-опростена кабелна инсталация - оперативни спестявания, които често надхвърлят разликата в разходите за-порт.

Плътност на честотната лента и мощност

Тъй като тъканите се мащабират, честотната лента на стелаж се превръща в твърдо ограничение при дизайна. Изграждането на 800 Gb/s от много по-бавни портове изгаря пространството на лицевата плоча, умножава окабеляването и добавя оперативни разходи. Консолидирането на това в 800G портове може да намали изразходваната енергия за преместен бит -, но само понякога. Действителната мощност на бит зависи от ASIC на превключвателя, оптичния тип (LPO модул с линейно-задвижване може да черпи 4–10 W, докато DSP модул черпи 14–17 W), обхвата и дизайна на охлаждане. Отнасяйте се към „по-ефективен“ като към претенция за проверка спрямо вашия собствен ASIC и оптика, а не като гаранция.

800G Ethernet стандарти: IEEE 802.3df, 800GBASE-R и Lane Architecture

Това е мястото, където много прегледи на 800G спират. „800G“ не е единична спецификация -, това е набор от свързани стандарти, които определят как скоростта се кодира, коригира и пренася по медни и оптични кабели.

От 800GBASE-R до IEEE 802.3df

Първата официална спецификация на 800G идва отEthernet Technology Consortium през 2020 г. като 800GBASE-R. Вместо да измисли нова архитектура, той пренасочи два набора от съществуващата 400G логика от IEEE 802.3bs, модифицирана за разпространение на данни в осем 106-Gb/s физически ленти, и запази стандартната RS(544,514) корекция на грешки напред, така че новата скорост да остане съвместима със съществуващото мислене на физическия слой. Това повторно използване е причината 800G да пристигне толкова бързо: по-голямата част от твърдата логика вече съществуваше при 400G.

След това IEEE ратифицира официалния стандарт.IEEE 802.3df-2024беше публикувано през март 2024 г. като изменение 9 към IEEE Std 802.3-2022, добавящо MAC параметри, физически слоеве и параметри за управление за 800 Gb/s (и допълнителни 400 Gb/s физически слоеве) въз основа на 100 Gb/s-на-лента сигнализиране по мед, многомодово влакно и едномодово-влакно. Електрическият интерфейс между ASIC и модула следва IEEE 802.3ck за сигнализиране на 100G-на-лента. Работата по следващата стъпка - 200 Gb/s на лента, позволяваща четири-лента 800G и осем-лента 1.6T - напредва в IEEE 802.3dj.

Какво всъщност правят слоевете

Високо{0}}скоростната Ethernet връзка е повече от кабел. Четири слоя вършат истинската работа и разбирането им е това, което ви позволява да прочетете правилно листа с данни на трансивъра:

• MACобработва форматирането на Ethernet рамки и достъпа до средата.
• PCS(Physical Coding Sublayer) кодира данните и ги разделя в осемте ленти. В 800GBASE-R два 400G PCS екземпляра са адаптирани да захранват един 800G MAC.
• FEC(Forward Error Correction) открива и поправя битови грешки. При скорости на PAM4 необработеният процент грешки е достатъчно висок, така че FEC не е по избор - това е, което прави връзката използваема, а типът FEC влияе върху латентността.
• PAM4изпраща два бита на символ, използвайки четири нива на амплитуда вместо двете нива на по-старото NRZ сигнализиране, удвоявайки скоростта на данни на лента при същата скорост на предаване - на цената на много по-тесни маржове на сигнал-към-шум.

Типовете PMD, които определят 800G

Подслоят, зависим от физическата среда (PMD), е мястото, където "800G" се превръща в конкретен модул, който можете да поръчате. IEEE 802.3df-2024 дефинира семейство от осем-ленти, 100G-на лента PMD:

• 800GBASE-CR8- осем ленти по мед (директно свързване).
• 800GBASE-KR8- осем ленти над задна платка.
• 800GBASE-VR8 / 800GBASE-SR8- осем ленти по многомодово влакно, много къс и малък обхват.
• 800GBASE-DR8 и 800GBASE-DR8-2- осем успоредни единични-ленти за приблизително 500 м и 2 км.

Една често срещана точка на объркване си струва да се коригира: популярните модули 800G "FR4" и "LR4" сане802.3df PMD с осем-ленти. На практика те се доставят като2×FR4и2×LR4- две независими 400G-оптични машини FR4/LR4, използващи CWDM4 дължини на вълните върху дуплексно едно-режимно влакно - или, в най-новото поколение, като истинска четири-лентова оптика, изградена на 200 Gb/s-за-лента сигнализиране съгласно IEEE 802.3dj. Когато доставчик посочи „800G FR4“, потвърдете дали това е група 2×400G или част от 200G-на-лента, защото двете взаимодействат с различни неща.

800G оптика и форм-фактори: OSFP срещу QSFP-DD800

Два включващи се форм фактора доминират 800G: OSFP и QSFP-DD800. И двете имат осем ленти при 100G PAM4. Разликата е в термиките, плътността и обратната съвместимост - и правилният отговор зависи от това какво изграждате.

OSFP

OSFP (Octal Small Form{0}}factor Pluggable) е проектиран от самото начало за осем високо-скоростни ленти и високо разсейване на мощността. СпоредOSFP MSA, форм-факторът поддържа 400G (8×50G), 800G (8×100G) и 1.6T (8×200G), побира до 36 порта в 1U лицева плоча, а стандартният вариант се доставя с интегриран радиатор за топлинна височина. Това пространство е причината OSFP да е по подразбиране в новите клъстери с изкуствен интелект от клас NVIDIA-, където модулите могат да работят 12–17 W и повече.

Една подробност за внедряване, която се обединява: OSFP се предлага във вариант на интегриран-охладител (IHS) и вариант на-радиатор (RHS). NIC и някои сървърни портове изискват RHS; поръчайте IHS модули за тези слотове и те физически няма да се поберат. Потвърдете типа радиатор спрямо хоста, преди да купите.

QSFP-DD800

QSFP-DD800 разширява доказаното семейство QSFP-DD до 800G, като запазва същия компактен отпечатък. Основното му предимство е обратната съвместимост: катоQSFP-DD800 MSAописва, портът QSFP-DD800 също приема модули QSFP+, QSFP28, QSFP56 и 400G QSFP-DD, което позволява на операторите да използват повторно модули, за които индустрията вече е похарчила приблизително 9 милиарда долара. Ако надграждате инсталиран QSFP имот, вместо да изграждате на зелено, тази приемственост е ценна. QSFP-DD800 надгражда директно върху по-широкотоQSFP-DD форм фактор, така че клетките, панелите и оперативните инструменти се пренасят напред. Базираните на DSP-QSFP-DD800 модули обикновено консумират 14–17 W, с LPO варианти в диапазона 4–10 W.

800G OSFP срещу QSFP-DD800: Кое да изберете?

Честното разделение е: изграждане за термики и пътната карта 1.6T или изграждане за плътност и повторно използване.

• Изберете OSFPза нови платове за обучение с изкуствен интелект, където всеки порт работи горещо, топлинният запас е от значение и искате чист път до 1,6T (OSFP-XD / OSFP1600).
• Изберете QSFP-DD800когато разширявате съществуващ QSFP-DD превключващ комплекс, имате нужда от плътност на предния-панел и искате да защитите предишни инвестиции в оптика и кабели.

Не залагайте на популярността. Решението се ръководи от платформата за превключване, която сте избрали, реално наличната оптика за нея, разстоянията на връзката, които трябва да покриете, вашия тип влакно и вашия дизайн на охлаждане.

Типове оптика 800G по обхват и влакно

След като форм-факторът е зададен, оптиката се избира според разстоянието и влакното, а не според скоростта на порта. Това е единствената най-полезна таблица за избор за 800G проект - това е разликата между поръчването на модул, който свети, и този, който не може да достигне далечния край. Обхватите по-долу са типични ценности за индустрията; винаги потвърждавайте спрямо конкретния лист с данни.

Няколко практически правила излизат направо от тази таблица. SR8 и VR8 са единствените многомодови опции иСтепен OM3/OM4/OM5 сте инсталираликапачки докъде достигат. Всеки един-оптичен режим по-горе работи върху OS2 и точноедномодов тип влакно-влияе на загубата и разстоянието. Под оптичните опции медните и активните кабели покриват много късите обхвати: пасивен DAC за пробег до няколко метра, активен електрически кабел (AEC) за диапазона от около 3–7 m вътре и между съседни стелажи и AOC, където е удобен фиксиран модул-плюс-влакнесто сглобяване.

800G Пробив: 2×400G, 4×200G и 8×100G

Едно от най-полезните свойства на 800G платформите е пробивът. Тъй като пристанището е с осем платна, то може да бъде разделено. В зависимост от модула на превключвателя, оптиката и кабела, 800G порт може да работи като 1×800G, 2×400G, 4×200G или 8×100G.

Това има значение, защото почти никоя мрежа не преминава към 800G навсякъде наведнъж. Реалистичното внедряване поставя 800G в гръбначния стълб или задната част на AI-, докато листата, съхранението и сървърните портове остават на 100G, 200G или 400G. 800G DR8 порт, например, обикновено преминава към 2×400G-DR4 или 8×100G, за да захранва тези устройства с по-ниска-скорост, докато 2×FR4 модул свързва две съществуващи 400G-FR4 крайни точки без изобщо прекъсващ кабел.

Пробивът също е мястото, където предположенията се объркват. Конекторът, полярността на влакното, картографирането на лентите, версията на NOS на превключвателя, оптичният тип и поддържаните скорости трябва да са подредени - и не всеки 800G порт поддържа всеки режим на прекъсване във всяка версия на софтуера. Планирайте физическата страна отрано: избор надесен кабел за прекъсване на MPOтъй като разделянето, което възнамерявате, е толкова важно, колкото и самият модул, и по-широкоРешение за конектор MTP срещу MPOвлияе върху плътността и удобството за използване на цялата тъкан.

Къде се използва 800G Ethernet - и какво изисква всеки случай

Случаите на използване се припокриват, но изискванията зад тях се различават. Съответствието на оптиката и топологията с работното натоварване е това, което отличава работещата 800G тъкан от скъпата.

• AI обучение и тъкани за изводи.Приоритетът е ниска, предвидима латентност при тежка синхронизация, транспорт без загуби (RoCEv2) и чисто балансиране на натоварването (ECMP) в мрежата. Обхватът обикновено е малък, така че SR8 вътре в багажника и DR8 през гръбначния стълб-доминират листата; термиките ги избутват към OSFP.
• Облак и хипермащаб.Приоритетът е мащабируем, повторяем капацитет на тъканта. 800G консолидира гръбначните-листови връзки нагоре и между-честотната лента на под; обратната съвместимост и простотата на работа често ги насочват към QSFP-DD800.
• Високо{0}}производителни изчисления.Приоритетът е предвидимото движение на данни между изчислителните възли и възлите за съхранение, което означава, че контролът на задръстванията и превключването с ниска-закъснение са по-важни от пиковата пропускателна способност.
• Съхранение и анализи.Приоритетът е поддържана пропускателна способност за движение на голям набор от данни и контролни точки; ограничението обикновено е колко бързо съхранението и тъканта могат да останат захранвани, а не скоростта на порта.
• Взаимосвързаност на центъра за данни.Приоритетът се измества към обхват, наличност на оптични влакна и бюджет за захранване. Тук 2×FR4 (2 км), 2×LR4 (10 км) и кохерентният ZR/ZR+ (80 км+) са подходящият избор, често пренасян върху голям-брой-влакнаMPO/MTP магистрално окабеляванев гръбначния стълб.

Кога трябва да надстроите от 400G на 800G?

800G печели своето място, когато има измеримо пречка -, а не когато е просто наличен. Потърсете конкретни сигнали, преди да се ангажирате:

• 400G връзки нагоре, работещи постоянно над приблизително 50–70% използване, преценено по 95-ия персентил, а не по пикове.
• Свръх абонамент за Fabric, който не можете да разрешите чрез повторно балансиране на трафика или добавяне на няколко връзки.
• Клъстер на графичен процесор, мащабиращ се до точка, в която търсенето на честотна лента на-ускорител изпреварва това, което 400G предоставя без голямо свръхабонаментиране.
• Броят на портовете на гръбначния стълб или пътищата на влакната наближават изтощението.
• Нова компилация около 51.2T-class switching, където 800G е просто естествената скорост на порта.

400G все още е правилният отговор, когато връзките се използват недостатъчно, приложенията не са-свързани с мрежата, текущите комутатори нямат 100G-PAM4-съвместими ASIC (така че 800G ще наложи надстройка на мотокар) или захранването и охлаждането не са готови за 12–17 W на порт при висока плътност.

Примерен сценарий за миграция.Екип работи с 400G гръбначен-плат от листа, който е удобен в продължение на две години. Нов GPU клъстер идва онлайн, трафикът на изток-запад се покачва и 95-то-процентно използване на гръбначните връзки нагоре се установява около 80%. Вместо да пре-кабелират повече 400G връзки, те въвеждат 800G само на гръбнака: 800G DR8 над единичен-режим за 500 m гръбнак-до-линии, като всеки 800G порт е разбит на 2×400G, където каца на съществуващи 400G листови комутатори. Достъпът до сървъра остава на 200G. Печалбите са реални - броят на връзките на гръбначния стълб приблизително наполовина и пространството за височина се връща -, но проектът показва три неща, които трябва да се справят първо: новият комутатор се нуждае от 100G-PAM4 SerDes, всеки порт добавя ~15 W топлина, която стелажите трябва да поемат, а DR8 връзките изискват едно-модово влакно, така че всяко многомодово работи, останало от по-ранен ера трябва да бъдат заменени, а не повторно използвани.

Как да планирате надграждане на 800G Ethernet

Надграждането на 800G е проект за мрежова архитектура, а не опресняване на хардуера. Тези стъпки се движат по ред от „защо“ до „валидиране“.

Стъпка 1: Дефинирайте проблема с трафика

Започнете с тясното място, а не с пристанището. Претоварени ли са трайно 400G връзките нагоре? Трафикът от изток-запад надхвърля ли структурата? Прекомерни ли са работните натоварвания на AI или съхранение? Прекалена ли е абонамента за тъканта или ви свършват портове или влакна? Ако не можете да посочите конкретен проблем с капацитет или задръстване с данни зад него, 800G е преждевременно.

Стъпка 2: Картирайте топологията

Решете къде първо отива 800G. Обичайните входни точки са връзки нагоре-към-листа, AI back-ткани, агрегиране с висок-капацитет, DCI връзки и агрегиране на съхранение. Повечето екипи въвеждат 800G в гръбначния стълб или AI fabric, като същевременно запазват достъпа до сървъра на 100G, 200G или 400G, като пробивът свързва двете.

Стъпка 3: Проверете възможностите на Switch и ASIC

Два комутатора с 800G портове не са равни. Потвърдете броя на 800G портовете, поддържаните форм-фактори, капацитета на превключване, латентността и поведението на буфера, поддръжката за прекъсване, функциите RoCEv2 / без загуби, куките за телеметрия и автоматизация, зрелостта на NOS и тестовете за оперативна съвместимост на доставчика. За AI и HPC поведението на задръстванията при натоварване е толкова решаващо, колкото и необработената пропускателна способност.

Стъпка 4: Изберете правилната оптика

Използвайте таблицата с обхват-и-влакна по-горе. Съпоставете оптиката с разстоянието, типа влакно, конектора, мощностния бюджет, температурния диапазон, нуждите от прекъсване и проверената съвместимост на превключвателя - след това проверете времето за изпълнение, което е било истинско ограничение за 800G оптика и DSP. Винаги потвърждавайте таблицата с данни на трансивъра спрямо матрицата за съвместимост на превключвателя, преди да поръчате.

Стъпка 5: Валидирайте оптични влакна и кабели

800G разкрива слабости, толерирана по-бавна връзка. Преди да надстроите, проверете типа и степента на влакното, състоянието и чистотата на конектора, полярността, капацитета на пач-панела, радиуса на огъване и въздействието на въздушния поток от по-плътното окабеляване. Преди всичко потвърдете, че връзката остава в нейнатавмъкване-бюджет за загуба- при PAM4 маргинален конектор или замърсен край, който е преминал при по-ниски скорости, може да тласне връзка към грешки. Един бърз порт е безполезен, ако физическият слой не е чист и стабилен.

Стъпка 6: Планирайте захранването и охлаждането

800G оптика и превключватели натискат по-силно мощността и термичните параметри. Един плътен 800G комутатор може да черпи от порядъка на 700–1000 W, а всеки порт добавя приблизително 12–17 W топлина. Прегледайте мощността на стелажа, въздушния поток отпред-към-зад, мониторинг на температурата на модула, поведението на вентилатора, препятствията на кабела, дизайна на топъл/студен коридор и дали е необходимо течно или усъвършенствано охлаждане. Пренебрегването на това води до дроселиране, нестабилност на връзката или съкратен живот на хардуера.

Стъпка 7: Тествайте преди мащабиране

Валидирайте в контролиран пилот преди внедряване: извеждане-на връзка, поведение на FEC, латентност, загуба на пакети, обработка на задръствания, поведение при прекъсване, видимост на телеметрията, температура на оптиката, оперативна съвместимост на много-доставчици и преход при срив. Пилотът разкрива проблеми, които са много по-трудни за отстраняване, след като тъканта е в производство.

Често срещани грешки при 800G, които трябва да избягвате

• Третиране на 800G като добавяне-.Може да изисква нова оптика, влакна, охлаждане, конфигурация на превключвател и наблюдение - и ASIC на превключвател, който поддържа 100G на лента.
• Игнориране на подробности за пробив.Потвърдете софтуера за превключване, оптиката, кабелите, устройствата от далечния{0}}край и картографирането на платната, преди да поръчате. 800G порт, който "поддържа прекъсване", може да не поддържа точния режим, от който се нуждаете, на точния NOS, който изпълнявате.
• Избор на оптика само по обхват.Захранването, термичните характеристики, типът на конектора, оперативната съвместимост и наличността са от значение - и смесването на типове влакна е класически провал, тъй като DR8/FR4/LR4 се нуждаят от единичен-режим и няма да работят в многомодова система.
• С изглед към контрола на задръстванията.За AI и HPC честотната лента сама по себе си не гарантира производителност; транспортът без загуби, управлението на претоварването и балансирането на натоварването решават.
• Забравяне на операции.Високо{0}}скоростните връзки се нуждаят от силна телеметрия - оптична мощност, температура на модула, FEC грешки, изпускане на пакети, дълбочина на опашката и стабилност на връзката - всички те се нуждаят от внимание.

Ключови изводи

800G Ethernet се превърна в основна инфраструктура за центрове за данни от ерата на AI-, дефинирани от осем-лента, 100G-на-лента архитектура на IEEE 802.3df-2024 и 800GBASE-R. Той осигурява по-висока честотна лента на порт и практичен път за мащабиране за AI, облак, HPC и плътни тъкани - и ясна писта към 1,6T.

Но успешното надграждане на 800G зависи от повече от по-бързи комутатори. Това означава съпоставяне на форм фактора (OSFP или QSFP-DD800) с работното натоварване, избор на оптика по обхват и влакно, потвърждаване, че ASIC на превключвателя поддържа 100G на лента, валидиране на оптичната инсталация срещу по-строги бюджети за загуби и планиране за 12–17 W топлина на порт. Ако мрежата ви наближава границите от 400G или изграждате за AI и високо-производителни натоварвания, започнете с анализ на трафика, валидирайте физическия слой, пилотирайте ограничено внедряване и след това мащабирайте ясна пътна карта за миграция.