400G срещу 800G NIC: Кое да изберете?

Изборът между 400G NIC и 800G NIC е решение за структура, а не сравнение на-страница за плащане. По-бързият адаптер се изплаща само когато сървърът, комутаторът, оптиката и кабелите могат да пренесат тази скорост от край до край. Това ръководство разглежда компромис-от гледна точка на внедряване и доставка, така че можете да решите, преди да отделите бюджет за адаптери, комутатори, приемо-предаватели, DAC, AOC, AEC или оптични влакна.

Кратката версия: 400G NIC е зряла,-рентабилна по подразбиране за повечето от днешните работни натоварвания на AI, HPC, съхранение и облак и се картографира чисто към NDR InfiniBand и PCIe Gen5 хостове. 800G NIC печели своята премия, когато изграждате AI тъкан от следващо-поколение с по-плътни графични процесори, по-натоварен трафик от изток-запад и пътна карта към XDR InfiniBand, 800G Ethernet и евентуално 1,6T.

400G срещу 800G NIC

Изберете 400G NIC, когато вашите сървъри, комутатори и оптична инсталация вече са стандартизирани на 400G Ethernet или NDR InfiniBand, или когато работното натоварване не насища всеки път от GPU-към-GPU. Това е и по-безопасното обаждане, когато наличността, бюджетът и времето за квалификация са по-важни от пиковата скорост на порта.

Изберете 800G NIC, когато мрежата се превръща в пречка за широко-обучение, GPU сървъри с висока-плътност или ускорители от следващо-поколение. Той грубо намалява наполовина броя на връзките и оптичните модули, необходими за дадена честотна лента, и подготвя структурата за следващото надграждане.

800G порт си струва да се купува само когато останалата част от системата може да го захранва. Ако хостът не може да изложи достатъчно PCIe ленти на адаптера, 800G NIC се превръща в скъп, недостатъчно използван порт, а не в надстройка на производителността.

Какво е 400G NIC?

400G NIC е мрежов адаптер, който прехвърля до 400 гигабита в секунда на порт. В AI и HPC среди той обработва GPU-клъстерна мрежа, разпределено обучение, достъп до съхранение, MPI трафик, RoCE тъкани и NDR InfiniBand връзки. За повечето оператори 400G вече е голям скок от 100G или 200G и премахва очевидните тесни места, без да налага редизайн на сървъра и нивата на превключване.

Къде 400G NIC пасват днес

400G адаптерите са работещи по подразбиране в обучителни клъстери с изкуствен интелект на графични процесори от текущо-поколение, HPC и научни-компютърни тъкани, високо-мрежи за съхранение, RoCEv2 Ethernet и InfiniBand тъкани, общи облачни сървърни паркове и надстройки от 100G/200G-до-400G в помещения със смесено поколение. При тези настройки 400G рядко е компромис. Това е просто правилният клас на скорост, когато размерът на клъстера, броят на GPU и бюджетът не оправдават добавената сложност на 800G.

Защо 400G все още има смисъл

Изборът на NIC е проблем-с баланса на системата. Ако хостът не може да захранва 800G адаптер, ако работното натоварване е обвързано с изчисления- или съхранение-, или ако гръбнакът все още е 400G, тогава премахването на 800G NIC повишава разходите, без да променя производителността на приложението. Добре-изградена 400G тъкан, с ниско свръхабонаментиране, чиста топология, RDMA, качествена оптика и настроен контрол на задръстванията, все още изпълнява комфортно взискателните AI и HPC задачи.

Какво е 800G NIC?

800G NIC осигурява до 800 гигабита в секунда на порт. Той е насочен към следващо-поколение AI центрове за данни, големи GPU клъстери и хипермащабни тъкани, където комуникационното търсене изпреварва конвенционалните сървърни мрежи. Поколението 800G вече е стандартизирано:стандартът IEEE 802.3df, ратифициран през 2024 г, дефинира 800 Gigabit Ethernet и поддържа под-скорости като 1x800G, 2x400G и 8x100G, което прави миграцията със смесена-скорост практична.

Стойността не е само удвоената честота на заглавие. 800G позволява на архитектите да повишат плътността на честотната лента, да намалят броя на връзките и модулите и да поддържат по-големи обучителни структури с по-агресивен трафик от всички-към-всички.

Защо AI клъстерите преминават към 800G

Обучението на голям-модел генерира огромен трафик от GPU-към-GPU и сървър-към-сървър. Градиентна обмяна, всички-намаляване, смесица-от-експертно маршрутизиране, контролни точки и съхранение-тежки тръбопроводи, всичко това удря структурата. Тъй като ускорителите стават по-бързи, мрежата трябва да поддържа темпото или скъпите графични процесори стоят неактивни в очакване на синхронизация. 800G NIC отговарят на това, като повишават честотната лента на възел, на ускорител или на мрежова шина.

800G е решение за плат, а не просто адаптер

Преминаването към 800G променя избора на превключвател, оптиката, планирането на обхвата, топлинния дизайн, въздушния поток и оформлението на стелажа. По-специално изборът на оптични и медни кабели става по-строг: 800G порт може да използва OSFP или QSFP-DD модул, а модулите от страната на комутатора-и NIC-страната могат да се различават по термичен и механичен дизайн дори при една и съща скорост. Ако вашето предприятие използва структурирани влакна, потвърдете типовете модули и конектори рано; нашиятпреглед на форм фактора QSFP-DDпокрива където пасва спрямо OSFP. Отнасяйте се към 800G като към програма на-ниво на структура, а не към размяна на единичен ред-елемент.

400G NIC срещу 800G NIC

Кога да изберете 400G NIC

Изберете 400G NIC, когато целта е високо-производителна мрежа със зрял хардуер, предвидимо внедряване и контролирани разходи.

Вие надграждате съществуваща 400G инфраструктура

Ако вашите комутатори, кабели, оптика и сървърни платформи вече са стандартизирани за 400G, оставането с 400G NIC премахва кръг от проверки за съвместимост и ви позволява да използвате повторно по-голямата част от текущата екосистема. Това е особено вярно при надграждане от 100G или 200G, където печалбата в производителността е голяма и екосистемата е много по-зряла от 800G.

Вашето работно натоварване с AI не насища тъканта

Не всяка работа с ИИ се нуждае от 800G на сървър. Много от тях са-обвързани с изчисления, съхранение-, памет-или ограничени от ефективността на софтуера, а не от честотната лента на мрежата. Ако профилирането покаже, че мрежата не е основното тясно място, 400G NIC обикновено осигурява по-добра възвращаемост.

Имате нужда от-рентабилен HPC

Много работни натоварвания на HPC са чувствителни към забавяне, поведение-предаване на съобщения и задръстване на мрежата, а не към необработена честотна лента. Една добре-настроена 400G тъкан често побеждава лошо интегрирана 800G такава. Полезният въпрос не е кой NIC е по-бърз, а кой мрежов дизайн осигурява най-добрата производителност на приложението за долар.

Имате нужда от по-бързо снабдяване с-нисък риск

400G адаптери, оптика и кабели са по-лесни за доставяне и квалифициране в повече сървърни и суич платформи. Когато екипът разполага с ограничено време за валидиране, 400G е изборът с по-нисък-риск, който все пак премахва повечето тесни места.

Кога да изберете 800G NIC

Изберете 800G NIC, когато приложението, GPU платформата и платът действително могат да използват допълнителната честотна лента.

Вие проектирате структура за обучение с изкуствен интелект от следващо-поколение

Големите клъстери за обучение генерират интензивна комуникация от всички-към-всички и изток-запад. С нарастването на размера на модела, броя на GPU и паралелизма мрежата се превръща в ограничител. Тук 800G NIC повишават пропускателната способност на-възел и намаляват риска тъканта да дроселира GPU.

Имате нужда от по-висока плътност на честотната лента

800G намалява броя на портовете, връзките и модулите, необходими за доставяне на дадена честотна лента. Това има значение при гъсти клъстери, където пространството в стелажа, броят на портовете на предния-панел, управлението на кабелите и основата на комутатора са ограничени. По-малко, по-бързи връзки могат да опростят изграждането, при условие че комутаторът и планът за окабеляване са проектирани за това.

Планирате GPU платформи от следващо-поколение

Ако пътната карта включва GPU сървъри от следващо-поколение, по-висока плътност на мощността на стелажа, течно охлаждане и по-големи клъстери, 800G е по-силното стратегическо решение. Купуването на 400G днес все още може да бъде разумно, но тъканта трябва да бъде проектирана с миграционен път към 800G или повече.

Искате да намалите прекъсването на дългосрочното-надстройване

Поетапната стратегия за 800G намалява болката при бъдеща миграция. Първо разположете комутатори с възможност за 800G-свързване на съществуващи 400G NIC чрез пробив или смесени-скоростни дизайни, след което надстройте сървърите до 800G по-късно. Това защитава текущата инвестиция, докато създава тъканта за следващото поколение.

Кога НЕ трябва да избирате 800G NIC

Това често е по-полезният въпрос и филтрира повечето покупки, за които съжалявате. Задръжте 800G, когато някое от следните е вярно:

• Хостът не може да изложи пълен PCIe Gen6-клас x16 път към адаптера. Портът ще работи гладно и ще сте платили за честотна лента, която сървърната шина не може да достави.
• Гръбнакът е презаписан или все още 400G. По-бързата NIC не коригира ограничена тъкан; просто премества тясното място на един скок разстояние.
• Натоварването е обвързано със закъснение- или MPI-а не с честотна лента-. Допълнителната пропускателна способност прави малко за задания, управлявани чрез синхронизиране или поведение на малки-съобщения.
• Оптика, окабеляване или охлаждане за 800G не могат да бъдат получени и валидирани във вашата времева линия. Неквалифициран модул, който клати при натоварване, е по-лош от по-бавна връзка, която остава активна.
• Няма конкретна пътна карта за растеж, която да оправдава премията днес.

Ако се прилагат две или повече от тях, 400G почти сигурно е правилният отговор за тази компилация, като 800G се запазват в резерв за следващото опресняване.

400G срещу 800G NIC за облачни центрове за данни

Облачните тъкани рядко работят с една скорост навсякъде. Те сегментират по клас трафик и изборът на NIC следва сегмента, а не центъра за данни като цяло.

• Преден-край / север-южен трафик:400G обикновено е достатъчно за потребителски-и нива на API, където честотната лента на-поток е скромна и броят на връзките доминира.
• Склад и трафик изток-запад:отговорът зависи от това колко дезагрегирана е архитектурата. 400G обхваща повечето общи групи; 800G помага там, където големи, разпределени устройства за съхранение са издържали натоварване от изток-запад.
• AI заключение:400G е достатъчно за много облаци за изводи, докато 800G подхожда на гъста смес-от-експертно маршрутизиране или разпокъсано обслужване, където токените се движат през много възли.
• Плат-за много клиенти:тук коефициентът на свръхабонамент и изолацията на наемателя оформят производителността много повече от пиковия процент на NIC. Балансирана тъкан от 400G със силна изолация често побеждава по-бърза, но претоварена.

Тъй като растежът на облака изток-запад се основава на структурирани влакна, планирайте магистрално окабеляване заедно с NIC; нашиятръководство за MPO/MTP магистрално окабеляванеобхваща изпълнения с висока{0}}плътност. Като основно правило използвайте 400G за повечето предни-облачни нива и запазете 800G за сегментите, където доминират гъстите AI услуги или големите източно-западни басейни.

Ключови фактори за избор извън скоростта на порта

По-бързият NIC не гарантира по-бързи натоварвания, освен ако цялата платформа не го поддържа. Пет фактора решават дали един 800G порт доставя или не работи.

Генериране на PCIe и честотна лента на хоста

NIC достига до хоста през PCIe и тази връзка е твърд таван. 400 Gb/s порт се нуждае от приблизително 50 GB/s на посока, които PCIe Gen5 x16 слот, с около 63 GB/s използваеми на посока, може да носи. 800 Gb/s порт се нуждае от приблизително 100 GB/s на посока, отвъд Gen5 x16 слот, поради което 800G адаптерите обикновено очакватспецификацията PCIe 6.0 от PCI-SIG(64 GT/s, до 256 GB/s двупосочно на x16) или необичаен x32 дизайн. Преди да се ангажирате с 800G, потвърдете:

• PCIe поколение
• Брой ленти и окабеляване на слотове
• NUMA разположение и пътя от GPU-към-NIC
• Проверка-на доставчика на сървъра за адаптера
• Поддръжка на BIOS и фърмуер

В GPU сървърите разположението на NIC спрямо процесорите и графичните процесори решава колко чисто се движат данните. NIC от клас Gen6-, пуснат в слот Gen5 x8, е най-често срещаното самопричинено затруднение в полето.

Switch Fabric и свръхабонамент

Скоростта на мрежовата карта трябва да съответства на платката. 800G адаптерите не правят нищо, ако листовият-гръбнак е претоварен или връзките нагоре са тънки. Проверете скоростите на листовия и гръбначния порт, коефициента на презаписване, броя на мрежовите релси, модела изток-запад, дизайна на неуспешен-домейн и необходимата честотна лента на разделяне на две части. За обучение, по-нисък коефициент на презаписване обикновено прави повече за производителността, отколкото по-бърз NIC.

RoCE, InfiniBand и Ultra Ethernet

AI и HPC тъканите разчитат на RDMA, за да намалят натоварването на процесора, а протоколът оформя NIC, комутатора, контрола на задръстванията и операциите. Днес NDR InfiniBand работи при 400 Gb/s на порт иXDR InfiniBand достига 800 Gb/s на порт, който се подрежда директно с нивата на 400G и 800G NIC. От страната на Ethernet,

Спецификация 1.0 на Ultra Ethernet Consortiumдефинира RDMA{0}}over-Ethernet стек, обхващащ мрежови карти, комутатори, оптика и кабели, насочен директно към AI и HPC мащаб-.

Изберете InfiniBand за тясно интегрирана HPC или AI структура с ниска-закъснение, когато екипът ви познава тази екосистема. Изберете Ethernet или RoCE за по-широк избор на доставчик и облачна интеграция. Помислете за Ultra Ethernet, когато искате стандартизиран, отворен път за следващо-поколение високо-производителен Ethernet.

Оптика, форм-фактори и окабеляване

При 400G и 800G физическата съвместимост е толкова важна, колкото скоростта. Два модула могат да споделят една и съща скорост, но се различават по форма, термичен дизайн и изисквания към хоста. Проверете OSFP срещу QSFP112 срещу QSFP-DD, плосък-горен срещу оребрен-горен OSFP, превключвател-страна срещу NIC-странични изисквания за модул, DAC, AEC, AOC или оптичен обхват, поддръжка за пробив и кодиране и фърмуер на доставчика. Не предполагайте, че 800G OSFP, който работи в превключвател, ще седи и охлажда правилно в NIC; много превключватели и NIC модули използват различни термични и механични конструкции.

Мощност, въздушен поток и топлинна валидация

800G компонентите черпят повече енергия и работят по-горещо. Валидирайте мрежовата карта, оптиката, портовете на превключвателя и пътя на въздушния поток при продължително натоварване, а не на празен ход. Потвърдете мощността на NIC и оптичния-модул, посоката на въздушния поток и височината на охлаждане, максималната температура на входа, плътността на кабела и блокирането на въздушния поток и предположенията за въздушно- срещу течно-охлаждане. Термичната нестабилност се проявява като прекъсвания на връзката и нарастващи проценти на грешки, вид периодична повреда, която е бавна и скъпа за преследване в производството.

Често срещани грешки, които трябва да избягвате

Купуване на 800G само защото е по-бързо

800G не е автоматично по-добро. Ако работното натоварване, сървърът или структурата не могат да използват честотната лента, допълнителните разходи не се превръщат в производителност на приложението. Свържете порта с тясното място, което всъщност имате.

Игнориране на PCIe честотната лента

NIC може да премества данни само толкова бързо, колкото позволява хост шината. Проверете генерирането на PCIe, броя на лентите и топологията на сървъра, преди да изберете клас на скорост, а не след пристигането на хардуера.

Избор на грешен оптичен модул

При тези скорости форм-факторът на модула и термичният дизайн са критични. Грешен вариант на OSFP може да не пасне на дадена клетка или може да пасне, но да прегрее при постоянен трафик, създавайки грешки, които изглеждат като проблем с тъканта.

Забравяйки обхвата на кабела

DAC, AEC, AOC, многомодова оптика и едно-модова оптика обслужват различни диапазони на разстояние, а различните класове влакна носят различни разстояния; нашиятразбивка на границите на достигане на OM1 до OM5показва къде е върха на всяка степен. Изборът на грешна връзка добавя забавяне, разходи или преработка.

Третиране на мрежови карти, комутатори и оптика като отделни покупки

Поръчайте адаптера, превключвателя, оптиката и окабеляването като една валидирана спецификация на материалите. Несъответствието, открито след внедряването, означава порт, който се свързва, но се затваря, или хардуер, който трябва да бъде върнат по време на-сглобяване, което е много по-разрушително от хващането му по време на квалификацията.

Окончателна препоръка

Изберете 400G NIC за доказан, ценово-ефективен адаптер, който пасва на днешните AI, HPC, съхранение и облачни тъкани. Това е практичният избор за повечето съществуващи GPU клъстери и стаи със смесено-генериране. Изберете 800G NIC, когато плътността на честотната лента, широкомащабната-комуникация на графичния процесор и готовността за надграждане надхвърлят предварителните разходи и когато целият път е изграден за това.

Решението никога не е само в скоростта. Това е дали вашите сървъри, комутатори, оптика, окабеляване, захранване и охлаждане могат да превърнат тази скорост в производителност на приложението. Дисциплината, която защитава бюджета, е проста: валидирайте NIC, комутатора, оптиката и окабеляването като една система, преди да направите поръчката.