Изкуственият интелект променя дизайна на центровете за данни. По-голямата част от вниманието отива към графичните процесори, ускорителите и охлаждането, но нивото, което тихо решава дали останалата част от компилацията е успешна, е окабеляването. В AI клъстер физическият слой определя дали действително можете да достигнете 400G и 800G, дали високо-скоростните връзки остават достатъчно чисти, за да преминат трафика, дали въздушният поток оцелява в напълно запълнена стелаж и дали следващият ви скок на скоростта е смяна на карта или надграждане на мотокар.
Това ръководство е написано за екипи за инфраструктура и-оптични мрежи. Обяснява какво прави окабеляването с изкуствен интелект различно, изискванията, които имат значение за реалните числа, как да сравнявате DAC, AOC и структурирани влакна, работен процес на планиране стъпка-по-стъпка, какво да подготвите преди миграция на 400G или 800G и списък за проверка, който всъщност можете да използвате. Техническите справки тук се основават на текущите стандарти IEEE 802.3 и ANSI/TIA-942.
Защо работните натоварвания на AI променят изискванията за окабеляване на центъра за данни
Традиционните корпоративни центрове за данни бяха изградени около сравнително предвидим трафик на приложения, голяма част от който на север-юг, движещ се между потребители, приложения и външни мрежи. AI клъстерите обръщат този модел. По време на обучение и -мащабни изводи доминиращият поток е изток-запад: графичните процесори непрекъснато обменят градиенти и активации помежду си чрез колективни операции като all-намаляване, обикновено през мрежа за отдалечен директен достъп до паметта (RDMA).
Това се вижда в референтните дизайни на продавача. NVIDIA изгражда GPU изчислителната мрежа като RDMA-базирана leaf-основна тъкан, използвайкиrail-оптимизирана топология, така че всеки GPU да е най-много на един скок от всеки друг, което поддържа комуникацията с много-GPU ефективна в мащаб. Последствието от окабеляването е чист брой портове: единичен осем-GPU възел може да представи осем 400G (или 800G) източно-западни порта, а модул за обучение с няколко листови превключвателя на стелаж умножава магистралното влакно и кръпката много бързо.
Когато физическият слой е недостатъчно-планиран, проблемите не се появяват в първия ден. Те се появяват по-късно, като задръстени пътища, които задушават въздушния поток, като изолиране на повреда, което отнема часове вместо минути, и като преработка по време на първия цикъл на надграждане. Детайл, който изглежда тривиален, като обърната полярност на MPO или замърсен край, може да извади цяла релса офлайн. За AI инфраструктурата окабеляването принадлежи към архитектурата от самото начало, а не като последната задача преди пускането в експлоатация.
Традиционно срещу{0}}готово за изкуствен интелект окабеляване на центъра за данни
Разликата между традиционното окабеляване и окабеляването, готово-за AI, е промяна в приоритетите на дизайна, а не просто по-голям брой кабели. Традиционните дизайни оптимизират за днешната свързаност; AI-готовите проекти оптимизират за скоростна миграция, плътност, предсказуемо качество на връзката и обслужване при множество цикли на надграждане.
| Дизайн фактор | Традиционно окабеляване на центъра за данни | AI{0}}окабеляване на центъра за данни |
|---|---|---|
| Модел на трафика | Предсказуем, често север-южен тежък | Тежък трафик от изток-запад GPU-към-GPU през RDMA тъкани |
| Планиране на скоростта | Оразмерен за текущи скорости на мрежата | Планиран за 400G и 800G, с път към 1.6T |
| Плътност | Умерен порт и плътност на влакната | Паралелно влакно с висока-плътност, база-8 и база-16 MTP/MPO |
| Управление на кабели | Третира се основно като организация | Третира се като част от въздушния поток, времето на работа и поддръжката |
| Път за надграждане | Често изисква повторно-издърпване на кабела | Модулно: разменете оптиката и касетите, запазете инсталацията за влакна |
| Поддръжка | Ръчно проследяване, по-бавно | Тестван, етикетиран, документиран, с дефинирани пътища |
Целта е завод за влакна, който може да поеме поне един скок на скоростта и едно разширяване на капацитета без редизайн.
Основни изисквания за окабеляване за AI центрове за данни
Планирайте физическия слой за 400G и 800G, не само за днешната скорост
AI клъстерите бързо се изкачват по стълбата на скоростта от 100G към 400G, 800G и накрая 1,6T. Интерфейсите 400G и 800G вече са официално стандартизирани:IEEE 802.3df, одобрен през 2024 г., определя MAC, физическия слой и параметрите за управление за 400 Gb/s и 800 Gb/s Ethernet, включително типове физически носители като 800GBASE-SR8 и 800GBASE-DR8. От страна на оборудването, 400G обикновено живее във форм-фактори QSFP-DD или QSFP112, докато 800G използва OSFP или QSFP-DD800. Ако сравнявате опаковката на трансивъра и картографирането на платната, товаQSFP-DD технически прегледе полезна отправна точка.
Практическото правило: тип размер на влакното, брой влакна и основа на конектора, така че растението да оцелее при следващия скок. Багажник, оразмерен само за днешната скорост на пристанището, се превръща в пречка в момента, в който смените силикона и оптиката се придвижат напред.
Използвайте MTP/MPO влакна с висока{0}}плътност за GPU{1}}клъстерна свързаност
Високо{0}}скоростните AI връзки са паралелна оптика, а паралелната оптика се картографира директно върху броя на влакната. 400G-DR4 връзка използва четири ленти или осем влакна, обикновено завършващи с MPO-12 накрайник. Връзка 800G-SR8 или 800G-DR8 използва осем ленти или шестнадесет влакна, често MPO-16 с APC крайни повърхности. Base-8 и base-16 MTP/MPO стволове, съчетани с касети, консолидират стотици от тези връзки на стелаж и превръщат разгръщането в повторяеми, фабрично тествани ходове, вместо снаждане на място. Предварително прекратеноMTP/MPO магистрални кабелии пробивните възли (MPO към LC или MPO към MPO) са гръбнакът на този подход.
Плътността все още трябва да се планира, а не да се максимизира. Опаковането на влакна в шкаф, без да се мисли за запълването на пътя и въздушния поток, създава обратно-налягане върху изпускателната тръба на оборудването и прави портовете невъзможни за обслужване. Задайте коефициенти на запълване и правила за-управление на застой преди, а не след първата инсталация.
Управлявайте загубата на вмъкване, чистотата на конектора и полярността
Високо{0}}скоростната AI оптика е по-малко прощаваща от връзките, дошли преди тях. Сигнализацията PAM4, използвана при 400G и 800G, работи с по-строги бюджети за загуба на канали в сравнение с по-старите NRZ връзки и всяка свързана двойка MPO или LC добавя загуба на вмъкване, често няколко десети от децибела на връзка. В структуриран канал с няколко точки на свързване и дължина на влакното този бюджет изчезва бързо, така че броят на конекторите е променлива в дизайна, а не последваща мисъл. Разликата между вмъкната загуба и обратната загуба и защо и двете имат значение за паралелната оптика, си струва да разберете, преди да финализирате канал; този обяснител навмъкнати загуби във влакнести мрежиобхваща механиката.
Замърсяването е една от водещите причини за повреда на полевата връзка, така че всяка крайна повърхност трябва да бъде инспектирана и почистена преди свързване. Полярността се нуждае от ясна схема (метод A, B или C), а паралелните връзки в един-режим обикновено използват APC конектори под ъгъл, за да контролират загубата на връщане. Радиусът на огъване има значение при плътни панели, където влакната, които не са чувствителни на огъване, купуват печалба. Надеждността тук е дисциплина за монтаж и поддръжка, както и избор на компонент.
Проектирайте модулна, мащабируема структурирана-архитектура за окабеляване
AI инфраструктурата се променя на кратък цикъл, така че инсталация, която е трудна за модифициране, забавя всяко бъдещо внедряване. Структурно окабеляване, изградено от стволове, касети, кутии и дефинирани пътеки, позволява на екипите да добавят капацитет или да пре-пренасочат плат без повторно-дърпане на кабела.ANSI/TIA-942 определя минималните изисквания за телекомуникационна инфраструктура за центрове за даннии топология на окабеляване, предназначена да приспособи бъдещи приложения, което е точно положението, от което се нуждае едно изграждане на AI. С тази основа повечето надстройки на скоростта стават въпрос на смяна на оптика и касети, вместо на възстановяване на физическия слой.
Прокарайте кабели за въздушен поток и охлаждане в стелажи с висока-плътност
AI стелажите се нагряват. Плътността на мощността в най-плътните GPU стелажи може да надхвърли 100 kW и при тези нива претовареното окабеляване директно причинява рециркулация и локализирани горещи точки.Насоките на ASHRAE TC 9.9 оформят термичен контрол около входа на ИТ оборудването и чисто горещо{1}}преминаване/студено{2}}отделяне на пътеките, а окабеляването или поддържа това, или работи срещу него. На практика това означава пътеки за оптични влакна над главата, където е възможно, ясно разделение на мощността и данните, вертикални и хоризонтални мениджъри, оразмерени за реалния брой кабели, дисциплинирана хлабина и маршрутизиране, което никога не блокира задната изпускателна тръба или коминния шкаф. Управлението на кабелите, което поддържа връзките проследими, също намалява човешките грешки по време на премествания и промени.
DAC, AOC или структурирани влакна? Матрица за избор на кабели за AI център за данни
Няма единствена най-добра среда за AI клъстер; правилният избор се определя от обхвата и ролята. Вътре в стелаж медта с малък{1}}обсег все още печели по цена, мощност и латентност. Тъй като връзките обхващат редове и зали, едно-модовото влакно се превръща в скалируем гръбнак. Матрицата по-долу сравнява общите опции по начина, по който прегледът на дизайна ги претегля.
| опция | Типичен обхват | Типична скорост | Където пасва | Медия и конектор | Цена и мощност | Най-добрият-случай на употреба |
|---|---|---|---|---|---|---|
| Пасивен DAC | До около 3м | До 400G (например 400G-CR8) | Вътрешен-багажник и съседен-багажник отгоре-на-багажник | Twinax мед, интегрирани краища | Най-ниска цена, най-ниска мощност, най-ниска латентност | GPU или сървър за прелистване в рамките на същия или следващия шкаф |
| AOC | Няколко метра до приблизително 30 м, в някои случаи по-дълго | 400G и 800G | В рамките на един ред, през близките стелажи | Многомодово ядро, фиксирани краища на трансивъра | Ниска мощност, без почистване на края на полето | Постоянни сървър-за-лифт връзки извън обсега на DAC |
| Многомодово структурирано влакно (OM4/OM5) | Десетки метри, до около 100 м, по-къси при 800G | 400G и 800G SR/VR | Листо-гръб в рамките на зала | OM4/OM5 с MTP/MPO и LC | За многократна употреба и обслужване | Къси връзки от-до-гръб и от-ред-ред |
| Едно{0}}модово структурирано влакно (OS2) | 500 м до 2 км (DR/FR), до 10 km (LR) | 400G и 800G DR/FR/LR | Гръбнак, кръст-стая, кръст-сграда | OS2 с MTP/MPO (APC) и LC/APC | Най-висок обхват и мащабируемост | Spine uplinks, cross{0}}hall и по-големи GPU тъкани |
Ето защо общо твърдение като „влакната винаги се предпочитат“ се нуждае от предупреждение: влакната са мащабируемата основа за тъканта, но пасивният DAC все още е по-добрият инженерен избор за едно-метров скок в стелаж.
Как да планирате окабеляване на AI център за данни, стъпка по стъпка
Стъпка 1: Картирайте работното натоварване на AI и мрежовата топология
Започнете с натоварването. Голям тренировъчен модул, високо{1}}флот за изводи за високопроизводителна производителност, HPC клъстер и-усилено разполагане на хранилище не споделят един и същ профил на трафик. След това картографирайте къде се свързват GPU изчисленията (изток-запад), съхранението, север-юг и -извън-мрежите за управление на обхвата. Разгръщането с чист извод може изобщо да не се нуждае от голяма източна-западна тъкан, докато модул за обучение с много-стойки ще го направи. Проектирайте съобразно действителния трафик, а не само надморската височина.
Стъпка 2: Заключете текущи и бъдещи цели за скорост
Определете както първата, така и следващата фаза. Ако една капсула работи 400G днес и 800G следващата година, заводът за влакна трябва да бъде оразмерен за 800G сега. Отвъд този хоризонт работата по Ethernet от terabit-клас вече е в ход:Работната група на IEEE P802.3dj дефинира 200G, 400G, 800G и 1,6 Tb/s работа, използвайки 200 Gb/s-на-лента за сигнализиране. Знаейки накъде отива пътната карта, ви казва колко влакна и капацитет на пътя да запазите.
Стъпка 3: Изберете медии и конектори с поле
Въпросът за OS2-срещу-OM4 е предимно въпрос за достигане. OM4 е добър за под-100 m връзки лист-шип, но обхватът се свива с нарастване на скоростта, така че след като връзките пресичат редове или коридори, или щом искате 800G DR/FR пространство, еднорежимният OS2 е по-безопасната основа. Преглед награници на разстоянието от OM1 до OM5 многомодово влакноправи компромис-конкретна. Съпоставете основата на MPO (12 срещу 16) с картата на оптичните влакна и планирайте полярността отрано; за панели с висока-плътност товаРъководство за избор на MTP срещу MPOобхваща разликите, които имат значение. Когато трансивърът и скоростта на порта не съвпадат, планирайте пробиви (MPO към LC), вместо да импровизирате по време на инсталиране.
Стъпка 4: Планирайте плътността на стелажа, пътищата и въздушния поток заедно
Оформлението на стелажа, насочването на кабелите и охлаждането са едно решение в среда с висока{0}}плътност на ИИ, а не три. Преди инсталиране пребройте колко кабела влизат и излизат от всяка стойка, решете къде се намират пач панелите, планирайте хлабината и потвърдете, че техник може да достигне и замени порт, без да нарушава живите връзки. Оставете място за растеж в тави и съотношения на пълнене. Стелаж, който изглежда чист при пускане в експлоатация, става негоден за обслужване след два цикъла на надграждане, ако пътеките са били максимизирани в първия ден.
Стъпка 5: Тествайте, документирайте и поддържайте до спецификациите
Тествайте всяка връзка към спецификацията на проекта, което за високо{0}}скоростни влакна означава тестване на-загуби при вкарване, OTDR, където е подходящо, проверка на поляритета и проверка на челната повърхност. Документирайте всеки порт, ствол, касета и път, включително схемата на полярността, дължината и измерените загуби, с етикети, които се съпоставят с-изградените чертежи. След това поддръжката става рутинна: почистване на челните повърхности, периодични одити и контрол на етикетите и промените. Следващ звукпрактика за инсталиране на оптичен кабелза издърпване на напрежение и радиус на огъване защитава бюджета на загубите, за който сте тествали.
Какво да подготвите преди миграция на 400G или 800G
Миграциите се провалят на физическия слой по-често, отколкото на оптичния. Преди да отрежете, преминете през следното:
- Потвърдете типа и броя на влакната и се уверете, че съществуващият OM4 все още достига с целевата скорост, тъй като поддържаното разстояние намалява с нарастване на скоростта на линията.
- Проверете дали основата на конектора съвпада с новата оптика (MPO-12 срещу MPO-16) и дали схемата на полярността все още поддържа край до край.
- Изчислете отново бюджета за загуба на връзка за PAM4, след това намалете броя на връзките, където можете, и повторно -проверете всеки край.
- Потвърдете капацитета на пътеката и тавата за добавеното окабеляване и потвърдете топлинната височина на стелажа за оптика с по-висока-мощност.
- Сценични касети, багажници, етикети и план за тестване предварително, така че преходът да е размяна, а не повторно изтегляне.
Често срещани грешки, които трябва да избягвате
Оразмеряване само за днешната честотна лента.Завод, създаден за настоящите скорости, датира бързо. Изградете реалистичен път към по-висока скорост и по-висока плътност на портовете.
Третиране на кабелния мениджмънт като козметика.Изрядното окабеляване е полезно, но управлението всъщност е свързано с въздушния поток, достъпа и изолирането на грешките, а не външния вид.
Жертване на достъпа за поддръжка за плътност.Високата-плътност не е „възможно най-компактен“. Ако техник не може безопасно да проследи и замени връзка, дизайнът ще ви струва по време на реални операции.
Закупуване на компоненти в изолация.Кабели, конектори, панели, трансивъри, стелажи и пътеки образуват един канал. Част, която сама по себе си изглежда евтина, може да покрие цялата тъкан, когато се мащабира.
Контролен списък за-готовност за готовност за окабеляване
Прегледайте ги, преди да мащабирате GPU. Всеки елемент има конкретно условие за преминаване, а не неясно да или не.
- Свободна скорост:Може ли инсталираното влакно да поддържа поне един скок на скоростта (например 400G до 800G) без повторно-издърпване и броят на влакната съобразен ли е с картата на лентата на оптиката (осем или шестнадесет влакна)?
- Бюджет на загубата:Всеки високоскоростен-канал вътре в своята PAM4 вмъкната-допустима загуба ли е, с потвърден брой връзки и проверка на края?
- Плътност срещу услуга:Може ли техник да достигне, проследи и замени който и да е порт, без да наруши релса под напрежение?
- Въздушен поток:Поддържат ли пътеките чисти задната изпускателна система и задържането на коридора и дали захранването и данните са разделени?
- Документация:Всяка връзка тествана и записана ли е със схемата на полярността, дължината и загубата и етикетирана ли е, за да съответства на-изградените чертежи?
- Мащаб:Оптимизираната топология на leaf-spine, rail-разширява ли се до следващата група без редизайн?
- Напасване на медиите:Средата за всяка връзка избрана ли е според обхвата, скоростта, термичното въздействие и възможността за обслужване, с DAC в -стойка и OS2 в зали?
Ако няколко отговора са отрицателни, препроектирайте физическия слой преди мащабирането на работните натоварвания на AI, а не след първото разширяване.
ЧЗВ
Въпрос: Какво окабеляване се нуждае от 400G и 800G AI мрежи?
О: Те работят на паралелна оптика през MTP/MPO влакно. Връзка 400G-DR4 използва осем влакна, обикновено MPO-12, докато 800G-SR8 или 800G-DR8 използва шестнадесет влакна, често MPO-16 с APC. OM4 или OM5 покриват къс обхват, OS2 покрива по-дълъг обхват, а пасивният DAC се справя с най-късите скокове в шкафа. Самите интерфейси са дефинирани в IEEE 802.3df.
Въпрос: Един{0}}режимно или многомодово влакно по-добро ли е за AI центрове за данни?
О: Зависи от разстоянието. Многомодовият OM4 или OM5 е ценово-ефективен за листови-гръбначни връзки под приблизително 100 m, но поддържаното разстояние се свива при 800G. OS2 с един-режим е по-добрата основа, след като се свържат кръстосани редове или зали, или когато искате 800G DR/FR обхват и бъдеща височина от 1,6T. Много големи тъкани стандартизират OS2 поради тази причина.
Въпрос: Кога центърът за данни с изкуствен интелект трябва да използва DAC, AOC или оптични приемо-предаватели?
A: Използвайте пасивен DAC за връзки до около три метра вътре или между съседни стелажи, където осигурява най-ниска цена, мощност и латентност. Използвайте AOC за постоянни връзки от няколко метра до грубо десетки метри. Използвайте щепселни трансивъри със структурирани влакна, когато имате нужда от обхват, повторно използване и възможност за обслужване на връзката.
Въпрос: Как изчислявате бюджета за загуба на кабели за високо{0}}скоростни връзки?
О: Започнете от допустимата-загуба при вмъкване на канал, посочена от стандарта на трансивъра (например 800GBASE-SR8 или 800GBASE-DR8). Извадете затихването на влакното, умножено по дължината, плюс загубата на всяка свързана двойка конектори, което често е няколко десети от децибела, плюс всички снаждания, и запазете маржа в резерв. Бюджетите на PAM4 са по-строги от по-старите NRZ връзки, така че броят на връзките и чистотата на края директно решават дали даден канал преминава.
Въпрос: Как окабеляването влияе върху охлаждането в -стойки с изкуствен интелект с висока плътност?
О: Претоварените кабелни снопове възпрепятстват въздушния поток, създават обратно-налягане върху изпускателната тръба на оборудването и причиняват рециркулация и горещи точки, което има значение при гъстота на стелажа на GPU, която може да надвишава 100 kW. Горни пътеки, разделени захранване и данни, правилно оразмерени мениджъри и маршрути, които поддържат отработените газове и херметичността чисти, защитават дизайна на охлаждането.
В: Медта все още ли е подходяща за AI центрове за данни?
О: Да, за кратко свързване на -рейк и съседни-ракове, където DAC е ефективният избор. Високата-плътност и по-дългите линии преминават към влакна за честотна лента, обхват и мащабируемост.
В: Защо MTP/MPO конекторите са често срещани в AI кабелите?
О: Те пренасят осем до двадесет-влакна в една ферула, което е точно това, от което се нуждае паралелната оптика, и те позволяват-прекратени стволове за бързи, повтарящи се инсталации с висока-плътност.
Ключови изводи
Работните натоварвания на AI пренаписват изискванията за окабеляване на центъра за данни около по-висока честотна лента, по-плътни паралелни влакна, ниски бюджети за загуби, маршрутизиране-съобразено с въздушния поток и кратки цикли на надграждане. Физическият слой няма да направи графичните процесори по-бързи сам по себе си, но грешният ограничава производителността, надеждността и скоростта на надграждане на цялата среда.
Най-сигурният принцип на проектиране е да планирате инсталацията за влакна, капацитета на пътя, архитектурата за корекции и модела на документацията преди GPU стелажите да се приземят, а не след първия цикъл на разширяване. Създавайте за поне един скок на скоростта, избирайте медии по роля, а не по навик, и третирайте чистотата, полярността и въздушния поток като първокласни-ограничения на дизайна. Преди внедряване или разширяване, прегледайте текущото си окабеляване спрямо списъка за проверка по-горе; за структурно окабеляване и MTP/MPO компоненти, разгледайте нашитеоптични решения.
