Проектиране на клъстерна мрежа с изкуствен интелект: Spine-Leaf, RoCE и NIC

AI клъстерен мрежов дизайн е процес на оразмеряване на GPU сървърни NIC, leaf-ширина на честотната лента, коефициент на презаписване, RoCE настройки, оптика и окабеляване, така че разпределеният тренировъчен трафик остава предвидим, докато клъстерът се мащабира. Сбъркайте някое от тези неща и мрежата -, а не GPU - се превръща в тясно място.

Защо AI клъстерната мрежа е различна

В традиционен корпоративен център за данни мрежата обработва комбинация от потребителски трафик от север-юг, достъп до хранилище, виртуализация и управление. Трафикът от изток-запад съществува, но рядко е доминиращият товар. В AI клъстер ситуацията се обръща. GPU сървърите, изпълняващи разпределено обучение, обменят градиенти и синхронизират параметри по време на всяка стъпка от работата. Тази комуникация е част от изчислението, а не страничен ефект от него.

Ако GPU на стойност $30 000 прекарва 30% от времето си в изчакване в мрежата по време на всички-операции за намаляване, клъстерът ефективно плаща за 30% от изчислителния си капацитет, за да остане неактивен. Това е икономическата причина AI мрежите да получават толкова много внимание.

Три характеристики на натоварване управляват дизайна:

• Бурен трафик на изток-запад.Колективни комуникационни операции, като all{0}}reduce, all-gather и reduce{2}}scatter, произвеждат синхронизирани изблици в много възли едновременно.
• Чувствителност-закъснение на опашката.Един бавен възел забавя цялата стъпка на обучение. Предвидимото забавяне е по-важно от средното забавяне.
• Мащаб{0}}растеж.Клъстерите, които започват от 32 графични процесора, често нарастват до 256 или 1024 в рамките на 18 месеца. Тъканта трябва да се мащабира без редизайн.

Защо Spine{0}}Leaf пасва на AI клъстери

Spine{0}}leaf е стандартната структура за хипермащабирани центрове за данни, защото дава на всеки път от сървър-до-сървър еднакъв брой скокове и еднаква теоретична честотна лента. За работните натоварвания с изкуствен интелект тази еднаквост директно се превръща в по-предвидими времена на стъпките на обучение.

В листова топология на spine-, GPU сървърите се свързват с листови комутатори и всеки лист се свързва с всеки spine. Всяка комуникация -с-GPU пресича точно един лист, един гръбнак и още един лист. Няма слоеве за агрегиране, които да въвеждат променлива латентност или chokepoints.

Предсказуема латентност

Equal{0}}cost multi-path (ECMP) маршрутизирането се разпространява потоци през основни комутатори. Когато се конфигурира правилно с адаптивно маршрутизиране или динамично балансиране на натоварването, това предотвратява хеш колизиите, които карат някои потоци да бъдат много по-бавни от други - известен проблем в статичните ECMP тъкани, пренасящи малко, но големи потоци, което е точно това, което генерира AI обучението.

Висока честотна лента на бисекция

Ширината на честотната лента на разполовяване е наличната пропускателна способност между всеки две равни половини на клъстера. Обучението с изкуствен интелект се възползва от не-блокиращи или почти-не-блокиращи дизайни, при които капацитетът на връзката нагоре от листа-до-гръбнака е равен или почти равен на капацитета на връзката надолу, обърнат към сървърите. IETF дефинира и обсъжда тези концепции вRFC 7938, който обхваща BGP-маршрутизирани Clos тъкани, широко използвани в широко-мащабни центрове за данни.

По-лесно мащабиране-

Добавете още листа, за да добавите още сървъри. Добавете още шипове, за да добавите повече честотна лента на бисекция. За клъстери над няколко хиляди графични процесора, супер-шип (5-етап Clos) или оптимизирана за релса топология разширява същия принцип още един слой.

Основни компоненти на AI клъстерна мрежа

GPU сървъри и мрежови карти

NIC е мястото, където тъканта се среща с хоста. В AI клъстерите изборът на NIC управлява всичко надолу по веригата - скорост на превключвателния порт, избор на оптика и плътност на кабелите.

Критерии за избор на натоварвания на AI:

• Скорост на порта:200G, 400G или 800G на порт. Съвпадение с GPU поколение и PCIe честотна лента.
• PCIe поколение:400G NIC се нуждае от PCIe Gen5 x16, за да избегне дроселиране-от страната на хоста. PCIe Gen4 x16 ограничава при ~256 Gbps използваеми.
• Поддръжка на RDMA и RoCEv2:Изисква се за ядро-заобикаляне на GPU комуникационни библиотеки като NCCL.
• GPUDirect RDMA:Позволява директно GPU-към-NIC DMA, премахвайки копия на паметта на хоста.
• Възможност за множество-релси:Много сървъри с изкуствен интелект използват 4 или 8 мрежови карти на възел, по една на GPU двойка, за rail-оптимизирани топологии.

Типичният 8-GPU сървър днес използва или 4× 400G NIC (една на две GPU) или 8× 400G NIC (една на GPU) в зависимост от натоварването и бюджета. Референтни архитектури отМрежова документация на NVIDIAпокрийте компромисите в дизайна в детайли.

Листови и гръбначни превключватели

Критериите за избор на превключвател за AI платове се различават от избора на предприятие. Размерът на буфера, поведението за контрол на задръстванията и телеметрията имат повече значение от широчината на функциите.

• Скорост на-порт и основа:51,2 Tbps превключвател ASIC осигурява 64 × 800G портове или 128 × 400G портове. Radix определя колко плоска може да бъде тъканта.
• Буферна архитектура:Дълбоките буфери поглъщат incast изблици, но добавят латентност. Плитките буфери намаляват латентността, но изискват прецизен контрол на задръстванията.
• RoCE набор от функции:ECN маркиране, PFC, DCQCN или еквивалентен контрол на претоварването и правилно боравене с приоритетни опашки от край-до-край.
• Телеметрия:Вътрешнолентова мрежова телеметрия (INT), отчитане на-дълбочината на опашката и броячи на разделителна способност за микросекунди-за ECN маркировки и PFC паузи.

Оптика, DAC и AOC кабели

При 400G и 800G инсталацията за окабеляване се превръща в истински инженерен проблем. Факторите на формата, бюджетите за връзки и конфигурациите за прекъсване се нуждаят от ранно планиране.

• DAC (директно свързване на мед):До ~3 метра за 400G, най-ниска цена и най-ниска мощност. Тежки и обемисти в мащаб.
• AOC (Активен оптичен кабел):До ~30 метра, по-тънък от DAC, но с фиксирана-дължина и консумира оптична мощност от двата края.
• Щепселна оптика:Изисква се извън AOC разстояние. QSFP-DD и OSFP форм факторите доминират 400G/800G. MPO/MTP влакнестите модули управляват паралелните-влакнести връзки.

За -връзки между стелажи и структурно окабеляване при 400G/800G, паралелната оптика през MPO терминалите вече е стандартна. Изборът между магистрални кабели и модули за прекъсване зависи от разпределението на портовете на вашия комутатор - вижте нашияРъководство за прекъсване на кабела MPOза практическата логика на подбора и по-широкоСравнение на MPO ствол срещу пробивкогато планирате бягане-до-шипа.

RoCE и Ethernet без загуби в AI Fabrics

RoCEv2 (RDMA през конвергентен Ethernet v2) е доминиращият Ethernet транспорт за натоварвания на AI. Той позволява на мрежовите карти да преместват данни директно между областите на паметта на GPU без участие на ядрото от двата края. NCCL, GPU комуникационната библиотека, която е в основата на почти всички разпределени рамки за обучение, използва RoCEv2, когато InfiniBand не е наличен.

RoCE работи добре, когато е конфигуриран правилно. Той се проваля грозно, когато е конфигуриран неправилно. TheТърговска асоциация InfiniBandпубликува спецификациите на RoCE и повечето доставчици на мрежови карти и комутатори публикуват подробни ръководства за конфигуриране, които трябва да се следват от край-до-край.

Защо поведението без загуба има значение

RDMA е проектиран като се приема транспорт без загуби. Когато пакетите отпадат, възстановяването на RDMA е скъпо - отидете-назад-N повторното предаване може да спре стъпка на обучение за милисекунди, което е огромно в сравнение с микросекундния-бюджет на RDMA.

За да се доближи до поведението без загуби в Ethernet, тъканта използва два механизма, работещи заедно:

• PFC (Приоритетен контрол на потока, IEEE 802.1Qbb):Превключвателят поставя на пауза входящия трафик на определена опашка с приоритет, когато буферът му се запълни. Това е последен -механизъм.
• ECN (изрично известие за претоварване, RFC 3168):Превключвателите маркират пакети, когато опашките достигнат праг. NIC намалява скоростта на изпращане преди буферите действително да се запълнят, като в идеалния случай напълно избягва PFC.

Целта е ECN да извърши почти цялото управление на задръстванията, с PFC като предпазна мрежа. Ако виждате чести паузи на PFC в стационарно-трафик, праговете ви за ECN са грешни или тъканта ви е по-малка.

Често срещани грешки при внедряване на RoCE

Как да проектираме AI клъстерна мрежа: Работна рамка

Това е разделът, който повечето статии за AI мрежи пропускат. Седемте стъпки по-долу ви дават конкретни входове и резултати на всеки етап.

Стъпка 1: Определете работното натоварване и мащаба

входове:Тип работно натоварване (предварително обучение, фина{0}}настройка, извод, смесено), целеви GPU брой днес, целеви GPU брой след 18 месеца, диапазон на размера на модела.

Изход:Профил на работното натоварване, който информира скоростта на NIC и толерантността към свръхабонамент. Голямото предварително обучение на гранични модели изисква не-блокиращи тъкани 400G+. Натоварванията за фина{5}}настройка могат да толерират презаписване 2:1. Клъстерите за изводи често се нуждаят от по-ниска честотна лента, но по-ниска латентност на опашката.

Стъпка 2: Изберете скорост на NIC и брой на сървър

Логика на решението:

• Предварително обучение на големи модели, сървъри с 8 GPU → 4–8 × 400G NIC на сървър или 4 × 800G
• Средно{0}}обучение, сървъри с 8 GPU → 2–4 × 400G NIC на сървър
• Обслужване на извод → 1–2 × 200G или 400G NIC на сървър, в зависимост от паралелизма на модела

Проверете честотната лента на PCIe на хоста. Единичен 400G порт изисква PCIe Gen5 x16, за да работи със скорост на линията; удвояването до 800G изисква Gen6 или разделяне на два слота.

Стъпка 3: Оразмерете слоя с листа

Работен пример - 32-възлов клъстер, 8 GPU на възел, 4 × 400G NIC на възел:

• Общо необходими-сървърни портове: 32 × 4=128 порта при 400G
• Скорост на връзката надолу за възел: 4 × 400=1.6 Tbps
• Обща честотна лента на връзката надолу към клъстера: 32 × 1.6=51.2 Tbps

С помощта на 64-портов 400G листов комутатор (25,6 Tbps общ капацитет), всеки лист може да свърже 32 сървърни порта и да използва останалите 32 порта като връзки нагоре. С 4 листа покривате всичките 128 сървърни порта. Всеки лист допринася с 32 × 400G=12.8 Tbps връзка нагоре към гръбнака.

Стъпка 4: Оразмерете слоя гръбнак

За не{0}}блокиращ (1:1) дизайн общият капацитет на връзката нагоре трябва да е равен на общия капацитет на връзката надолу. От стъпка 3:

• Необходима е обща връзка нагоре: 4 листа × 12,8 Tbps=51.2 Tbps
• Ако всеки гръбначен стълб има 32× 400G портове=12.8 Tbps, имате нужда от 4 гръбнака
• Всяко листо се свързва с всичките 4 гръбнака, използвайки 8 връзки нагоре на гръбнак (8 × 400G × 4=12.8 Tbps на лист - съвпада)

Ако използвате 64-портови 400G гръбначни комутатори, всеки гръбнак има свободен капацитет за разрастване на клъстера, полезен за 18-месечния план от Стъпка 1.

Стъпка 5: Задайте коефициента на свръхабонамент

Стъпка 6: Отделете трафика за изчисления, съхранение и управление

Три опции, в реда на увеличаване на изолацията:

• Споделена тъкан с QoS класове:Изчисляване, съхранение и управление на отделни DSCP приоритети. Най-ниска цена; изисква внимателно конфигуриране на QoS.
• Логически разделени VLAN/VRF:Същият хардуер, отделни контролни равнини. Полезно за клъстери с много-клиенти.
• Физически разделени тъкани:Специализирани мрежови карти, комутатори и окабеляване за изчисления срещу съхранение. Най-висока цена; често срещано в граничните-моделни клъстери, където всяко съревнование е неприемливо.

Трафикът на хранилището за AI сам по себе си е тежък - записите на контролна точка за голям модел могат да преместят стотици гигабайти на кратки импулси. Планирайте го изрично. Инсталация за структурно окабеляване с висока-плотностMPO/MTP магистрални кабелиопростява работата на паралелни тъкани в една и съща физическа инфраструктура.

Стъпка 7: Валидирайте преди производство

Тестовете-на ниво мрежа улавят някои проблеми. Тестовете-за нивото на работното натоварване улавят останалото.

• Честотна лента:iperf3 или ib_send_bw между всяка двойка възли; трябва да достигне 90%+ от скоростта на NIC линията.
• латентност:ib_read_lat или подобен; проверка на разпределението, а не само средно. P99.9 има повече значение от средното.
• Загуба на пакети:Изпълнете 24-часов тест за накисване под товар; всяка ненулева загуба в трафик клас RoCE е проблем.
• Поведение при маркиране на ECN:Маркировките за проверка се появяват преди PFC да се задейства; ако PFC паузите са чести в стационарно състояние, настройте отново.
• Колективна комуникация:Изпълнете NCCL тестове (all_reduce_perf, all_gather_perf) при пълния размер на клъстера. Сравнете с референтните номера на продавача.
• Тест-за ниво на работа:Изпълнете представителна обучителна работа за 4–6 часа. Наблюдавайте използването на графичния процесор - устойчиви стойности под 50% при подходящ-оразмерен модел обикновено показват мрежов проблем.

Традиционна мрежа от центрове за данни срещу AI Spine{0}}Leaf Fabric

Ethernet RoCE срещу InfiniBand: Ръководство за бързо вземане на решения

Въпросът възниква в почти всеки AI клъстерен проект. И двете работят. Изборът обикновено се свежда до оперативна годност, а не до чиста производителност.

• Изберете InfiniBand, ако:Вашият екип вече работи с платове InfiniBand, искате най-простия път към транспортиране без загуби или купувате напълно-интегрирана референтна архитектура на доставчика.
• Изберете Ethernet RoCE, ако:Вашият оперативен екип е естествен-Ethernet, искате опции за превключване на множество-доставчици, трябва да интегрирате AI структурата със съществуващи мрежи на центрове за данни или очаквате мащабиране отвъд това, което текущите топологии на InfiniBand поддържат чисто.

Консорциумът Ultra Ethernet, създаден през 2023 г., работи активно върху стандартизирането на подобренията на Ethernet специално за натоварвания на AI. За повечето нови клъстери през 2026 г. Ethernet RoCE е защитима настройка по подразбиране, освен ако няма конкретна причина да изберете друго.

Често срещани грешки, които трябва да избягвате

Надграждане на комутатори без проверка на NIC

800G превключваща тъкан не прави нищо за вас, ако вашите NIC работят на 400G или вашият хост PCIe изчерпи честотната лента. Първо проектирайте страната на хоста, а след това страната на превключвателя. PCIe Gen5 x16 ограничава един порт до около 504 Gbps реална-светова пропускателна способност - удобна за 400G, маргинална за 800G.

Оптимизиране на скоростта на порта, но игнориране на плътността на кабелите

При 64-порта 400G напуска, окабеляването под всеки комутатор може да стане физически неуправляемо без планиране. Използвайте прекъснати кабели, където е подходящо, направете влакна през структурирани пътища и стандартизирайте типовете конектори. Качеството на конектора и терминирането имат значение при високи скорости - нашитеРъководство за видовете оптични конекториобхваща компромисите между LC, MPO и нововъзникващите форм фактори с висока{0}}плътност.

Третиране на RoCE като Plug{0}}and-Play

Най-голямата грешка при проектирането на истински AI клъстери е да не изберете грешен превключвател - това е подценяване колко много-до-конфигурация на RoCE е необходима работа. Бюджетно време за настройка на ECN прагове, PFC приоритети и последователност на MTU. Планирайте специална фаза на валидиране, преди да започне каквото и да е производствено натоварване.

Смесване на целия трафик на една структура без QoS

Репликацията на хранилище, агентите за наблюдение и управлението на трафика могат да унищожат времената на обучение, ако споделят буфери с изчислителния трафик. Или ги разделете физически, или наложете стриктни QoS класове с отделни приоритети и ECN конфигурация.

Изграждане само за днешния клъстер

Повечето AI клъстери нарастват 4–8 пъти в рамките на две години от първоначалното внедряване. Изберете радикс на превключване и капацитет на гръбнака, който позволява не-разрушително разширяване. Издърпването на кабели в жив AI център за данни е скъпо; планиране на тръбопровод и капацитет на корекция по време на внедряване е евтин.

Кога да преминете от 400G на 800G

Предлагат се 800G NIC и комутатори, но по-скъпи на порт. Помислете за засилване, когато:

• За-нуждата от честотна лента на GPU надхвърля това, което 400G може да осигури - например, H100 и по-новите графични процесори с NVLink 5 очакват по-висока външна честотна лента
• NCCL всички-намаляват времената, мащабират се лошо с размера на клъстера, което показва насищане на мрежата
• Плътността на кабела при 400G става физически неуправляема - по-малко 800G портове могат да заменят повече 400G портове
• Очаква се следващото поколение GPU във вашата пътна карта да се нуждае от него в рамките на прозореца за амортизация на клъстера
• Вие изграждате граничен{0}}моделен клъстер за обучение, където всяко изчислително време на престой струва значително повече от надстройката на оптиката

За повечето производствени клъстери през 2026 г. 400G остава правилният баланс между разходи, зрялост на екосистемата и възможности. 800G има смисъл във високия клас и като бъдеща инвестиция за клъстери, които се изграждат днес и се очаква да работят 4–5 години.

Заключение

Най-силната AI клъстерна мрежа не е тази с най-бързите комутатори. Това е този, при който изборът на NIC, оразмеряването на листа/гръбнака, свръхабонаментът, конфигурацията на RoCE, разделянето на трафика и физическото окабеляване се поддържат взаимно и работното натоварване, за което са избрани.

Започнете от натоварването и 18-месечния план за растеж. Изчислете нуждите от честотна лента на всеки слой, като използвате реални числа, а не просто правила. Конфигурирайте RoCE от край-до-край и валидирайте с реални бенчмаркове за колективна комуникация. Бюджет за кабелната инсталация - при 400G и 800G физическият слой вече не е тривиален.

Клъстерът, който поддържа своите GPU заети при 95%+ използване през всяка стъпка на обучение, е този, който обръща внимание на всички тези слоеве. Клъстерът, който се доставя с по-бърз превключвател и по-бавна структура, ще прекара години, обяснявайки защо графичните процесори не работят.

Допълнително четене

• RFC 7938 - BGP в широкомащабни-центрове за данни
• InfiniBand Trade Association - RoCE спецификации
• Мрежова документация на NVIDIA
• Ръководство за инсталиране на оптичен кабел
• Обяснени загуби при вмъкване срещу загуби при връщане