100G QSFP28 Spine{2}}Leaf Design: Избягвайте грешки в портовете

100G spine{1}}leaf fabric е един от най-надеждните начини за свързване на 25G сървъри, 100G връзки нагоре, клъстери за съхранение и източно-запад-тежки работни натоварвания в модерен център за данни. Привлекателността на QSFP28 е неговата гъвкавост: един порт може да носи нативна 100G връзка или да се разпадне в четири 25G сървърни връзки, така че един комутатор може да обслужва както границата на достъп, така и ядрото на тъканта.

Бързите превключватели са лесната част. Дизайнът от 100G живее или умира в зависимост от решенията, взети преди поръчката за покупка: как се разпределя всеки порт, как изглежда коефициентът на презаписване при нормални и неизправни условия, коя оптика съответства на реалните кабелни линии, колко топлина добавя тази оптика и дали тъканта може да нарасне до 400G без надграждане на мотокар.

Това ръководство е-неутрална справка за планиране за мрежови и инфраструктурни екипи. Фигурите по-долу следват текущите спецификации на IEEE 802.3 Ethernet и съответните споразумения за оптични много-източници, но всеки комутатор и трансивър има свой собствен лист с данни, така че потвърдете точните числа за хардуера, който купувате.

Как да прочетете примерите в това ръководство.Освен ако не е посочено друго, те приемат единични-хоум сървъри с по един 25G NIC всеки, 48 хост порта на лист, 100G връзки нагоре-към-шип, пълна мрежа, в която всеки лист се свързва с всеки гръбнак, и активирана корекция на грешки напред, където оптиката го изисква. Двойно-насочване, по-бързи мрежови карти или различен брой портове ще променят всяко следващо число.

Какво представлява 100G Spine{1}}Leaf Network?

Spine-leaf е дву{1}}архитектура на центъра за данни, изградена от leaf и spine суичове. Листовите превключватели се намират в горната част на всяка стойка и осигуряват портове,-с лице към сървъра плюс връзки нагоре към гръбнака. Превключвателите на гръбначния стълб образуват високоскоростния-гръбнак. Всеки лист се свързва с всеки гръбнак, така че трафикът между стелажите се движи от лист до гръбнак към лист по път с еднаква-дължина.

Дизайнът е популярен, защото осигурява:

• Предсказуема, еднаква дължина на пътя между всеки два стелажа
• Вградена поддръжка за натоварен трафик от изток-запад
• Всички връзки нагоре са активни чрез ECMP, а не са блокирани от spanning tree
• Обикновено хоризонтално мащабиране - добавете листа за портове, добавете бодли за капацитет

В 100G структура връзките от листо-към-гръбнака работят на 100G, докато обърнатите към сървъра-портове работят на 10G, 25G, 50G или 100G в зависимост от натоварването. Днес 25G достъп със 100G връзки нагоре е най-често срещаната корпоративна комбинация.

Физически дизайн срещу логически дизайн

„Дизайн на мрежа“ обхваща два слоя, които лесно се обединяват. Това ръководство се концентрира върху физическия и капацитетния слой - портове, оптика, свръхабонамент, окабеляване -, защото това е, с което се ангажирате, когато купувате хардуер. Но логическият слой решава как тъканта препраща трафика и оформя няколко физически избора.

От физическата страна се намира превключвател и избор на порт, скорости на NIC, свръхабонамент, оптика, окабеляване, захранване и охлаждане. От логическата страна стои ECMP натоварване-балансиране между връзките нагоре; наслагване, като VXLAN с BGP EVPN контролна равнина за много-наематели на слой 2 и слой 3 върху маршрутизирана основа; двойно-насочване с MLAG или MC-LAG и LACP на границата на достъп; и неуспешно-оразмеряване на домейн. За RDMA тъкани също трябва да проектирате мрежа почти-без загуби, описано по-долу. Уредете логическия модел рано, защото той засяга броя на връзките нагоре, колко шипове искате за ширината на ECMP и дали листата са разгърнати като двойки MLAG.

Стъпка 1 - Определете скоростта на сървъра и работното натоварване

Започнете с натоварването, а не с оптиката. Един общ клъстер за виртуализация, плат за съхранение и модул за обучение на AI имат много различни нужди и правилният дизайн следва трафика.

25G сървъри със 100G връзки нагоре

За повечето корпоративни и частни-облачни среди 25G достъпът със 100G връзки нагоре-to-spine е сладкото място: голям скок над 10G, като същевременно поддържа разумни разходи за мрежова карта, кабел и превключвател. Типичната компилация съчетава 25G връзки надолу, 100G връзки нагоре и съотношение 2:1 до 3:1 за общи изчисления, с по-ниско свръхабонаментиране, запазено за нива на съхранение и-чувствителни към забавяне. Той пасва на виртуализация, частен облак, уеб нива и по-голямата част от корпоративните центрове за данни.

Роден 100G за съхранение, AI и HPC

Някои работни натоварвания се нуждаят от собствени 100G към сървъра: разпределено и NVMe-oF хранилище, обучение за AI и машинно-обучение, HPC, анализи в голям-мащаб и RDMA с ниска-закъснение. Тук свръхабонаментът трябва да е нисък - често не-блокиращ или близо до него -, защото моделът на трафика е проблемът, а не само обемът.

AI, HPC и RDMA работни натоварвания генерират плътен, синхронизиран трафик от целия-към-изток-запад: много възли предават към много възли в един и същи момент, така че статистическото изглаждане, което ви спестява от мрежа за виртуализация, вече не се прилага. RDMA през конвергиран Ethernet (RoCE) добавя второ ограничение, тъй като очаква почти -ткань без загуби, което на практика означава приоритетен контрол на потока (PFC) и изрично известие за претоварване (ECN), настроени от край до край. Тъкан, който изпуска рамки при претоварване, ще наблюдава срив на производителността на RoCE, така че тези клъстери обикновено се изграждат в 1:1 с внимателна конфигурация на буфера и претоварването.

Стъпка 2 - Как да изчислим портовете на превключвателя на листа и гръбнака за 100G тъкан

Планирането на пристанището започва от листа, а не от гръбнака. Работете навън от сървърите:

1. Преброяване на портовете,-срещащи сървъра на стелаж.
2. Решете дали всеки е естествен 25G, естествен 100G или пробивна лента.
3. Резервирайте QSFP28 портове за гръбначни връзки нагоре.
4. Добавете резервни портове за растеж, резервиране, тестване и подмяна.
5. Преизчисляване на свръхзаписването след присвояване на пробив, не преди това.

Преброяване на сървър-срещащите се портове

За всеки стелаж определете броя на сървърите, скоростта на мрежовата карта, мрежовата карта на сървър, единично- или двойно-насочване и необходимите резервни части. Стелаж от 48 сървъра с един 25G NIC всеки се нуждае от 48 хост порта. Двойно-насочване на тези сървъри към листова двойка и броят на портовете за достъп в двойката се удвоява.

Резервирайте портове за връзка нагоре и наблюдавайте двойното-броене

След хост портове, резервирайте QSFP28 портове за гръбнака. Това е мястото, където се крие най-честата грешка: ако същите QSFP28 портове се използват за 4x25G прекъсване, те вече не са налични като връзки нагоре. Единствената най-голяма грешка при планирането не е погрешното отчитане на 100G връзки нагоре, а надценяването на портовете за връзка нагоре, останали след като пробивът ги изяде. Задайте пробив преди математиката за свръхабонамент или изчисленото от вас съотношение е измислица.

Работен пример помага. Вземете обикновен 1U лист с 48 SFP28 хост порта и 8 QSFP28 порта:

С шест връзки нагоре, пренасящи 1200G трафик за достъп, листът работи при 2:1, а два QSFP28 порта остават в резерв. Дайте на всеки порт една изрична роля в електронна таблица, преди да оразмерите нещо друго.

Оставете свободен капацитет

Не консумирайте всеки порт в първия ден. Запазете място за нови сървъри, допълнителни шипове, временни тестови връзки, неуспешни-размени на портове, кранове за наблюдение и миграция. Малко неизползван капацитет е много по-евтино от редизайн.

Стъпка 3 - Изчислете презаписването, включително N-1

Свръх абонаментът сравнява общата честотна лента на-сървъра на листа с общата честотна лента на връзката към гръбначния стълб:

Коефициент на свръхабонамент=обща честотна лента на връзката надолу / обща честотна лента на връзката нагоре

За листа отгоре, 48 x 25G=1,200G надолу и 6 x 100G=600G нагоре, което дава 1200 / 600=2:1. Това означава два пъти по-голяма теоретична честотна лента за достъп от честотната лента на връзката нагоре - обикновено е добре за общи изчисления, където рядко всички сървъри предават със скорост на линия наведнъж, но реално ограничение за съхранение, AI, HPC и RDMA.

Винаги проверявайте случая N-1

Платът може да изглежда здрав при нормална работа и да се задави при повреда. Помислете за лист с осем 100G връзки нагоре, разпределени равномерно в четири гръбнака - по два на гръбнака, общо 800G, така че 1200G достъп дава 1,5:1. Загубата на един гръбнак и листът изпуска две връзки нагоре до 600G, увеличавайки съотношението до 2:1 за продължителността на прекъсването. Ако целта ви е "не по-лоша от 2:1 дори при неуспех", трябва да започнете близо до 1,5:1. Изчислете както нормалното съотношение, така и съотношението N-1 след загуба на един гръбнак или връзка нагоре; вторият номер е този, който хапе по време на поддръжката.

Диапазони на планиране по натоварване

Няма универсално съотношение, така че третирайте следното като диапазони на планиране, а не стандарти, и валидирайте спрямо измерен трафик, където можете:

При надграждане прегледайте текущото използване на връзката нагоре, пиковите и източно-западните модели, потоците за съхранение и резервните прозорци, преди да се ангажирате със съотношение.

Стъпка 4 - Изберете оптика и кабели QSFP28

QSFP28 100G интерфейсите са стандартизирани от IEEE 802.3 -802.3bm изменениедобави 100GBASE-SR4, заедно с единичния-режим LR4 PHY. Изберете оптика по разстояние, тип влакно, конектор, захранване и съвместимост на превключватели и се противопоставете на най-дългия обхват по подразбиране: обхватът, от който не се нуждаете, обикновено означава цена и мощност, от които не се нуждаете. Съпоставете модула с цикъла с разумна граница.

DAC и AOC за кратки сървърни връзки

За свързване в -рак и съседни-ракове, QSFP28 пряко-закрепване на мед (DAC) и активни оптични кабели (AOC) са практични. Пасивният DAC отговаря на най-късите скокове - на няколко метра - при най-ниската цена и мощност, докато AOC разширява обхвата и е по-лек и по-гъвкав, когато обемът на медта се превръща в проблем. За 25G достъп QSFP28-to-4x SFP28 breakout DAC или AOC е често срещан, когато комутаторът поддържа breakout.

100GBASE-SR4 за кратки многомодови връзки нагоре

SR4 носи 100Gосем паралелни многомодови влакнаизползвайки MPO/MTP конектор, което го прави ценово-ефективен избор за къси линии от лист-до-гръб вътре в ред. Обхватът му зависи от класа на влакното - приблизително 70 m за OM3 и 100 m за OM4 -, така че си струва да знаете обхвата, който можете да очакватеOM3, OM4 и OM5 многомодово влакновъв вашия етаж. Основното ограничение при планиране е паралелното окабеляване: свързването на MPO и полярността трябва да се обмислят предварително.

CWDM4 или FR за единичен-режим работи на около 2 км

За връзки между-редове, между-стаи или между-зали, оптиката с един-режим като CWDM4 или FR е по-подходяща. The100G CWDM4 MSAопределя обхват от 2 km върху единична двойка едно-модови влакна с дуплексен LC конектор и FEC. Тъй като те използват дуплексни влакна вместо паралелни MPO, CWDM4 и FR оптиката често попадат в едно-модово устройство по-чисто от SR4 - и на тези разстояния изборът междуOS1 и OS2 едно-модово влакнозапочва да има значение за вашия бюджет за загуби. По-късите варианти с един-режим като DR покриват приблизително 500 m, където това е всичко, от което се нуждаете.

100GBASE-LR4 за кампус и DCI

LR4 е опцията за дълъг-обхват, носеща 100Gдо около 10 км през дуплексно едномодово-влакноза кампус, междусвързани връзки между-сграда-сграда или-център-за данни. Използвайте го само там, където разстоянието наистина го изисква; оптика с дълъг-обхват на къси интра-данни-скачвания просто добавя разходи, мощност и топлина, без да подобрява тъканта.

QSFP28 100G сравнение на оптиката

Таблицата обобщава къде е подходяща всяка опция. Третирайте обсега като типични цифри за планиране и потвърдете точните числа, степента на влакното и изискването за FEC в листа с данни на всеки модул.

Работени примери: малки, средни и големи тъкани

Това са опростени модели на планиране, а не чертежи. Броят на върховете обикновено се избира, за да се разделят равномерно връзките нагоре и да се зададе ширината на ECMP: два щипа са практическият минимум за излишък, четири осигуряват по-фина N-1 детайлност и по-добро разпределение на натоварването, а осем отговарят на големи тъкани. Броят на листата се мащабира със сървърните портове, от които се нуждаете.

Малък плат

• 8 листови превключвателя
• 2 гръбначни превключвателя
• 48 x 25G сървърни порта на лист
• 4 x 100G връзки нагоре на лист
• 384 единични-насочени 25G сървърни порта

На лист: 1200G надолу, 400G нагоре, така че 3:1. Работещ за общи изчисления, но стегнат за тежко съхранение или AI. Добавете връзки нагоре или отрежете достъпа на лист, ако имате нужда от по-ниско съотношение.

Средна материя

• 16 листови превключвателя
• 4 гръбначни превключвателя
• 48 x 25G сървърни порта на лист
• 6 x 100G връзки нагоре на лист
• 768 единични-насочени 25G сървърни порта

На лист: 1200G надолу, 600G нагоре, така че 2:1. Солиден баланс за виртуализация и корпоративни работни натоварвания и четири гръбнака, разпространяващи ECMP по-добре от две.

Едър плат

• 32 крилови превключвателя
• 8 гръбначни превключвателя
• 48 x 25G сървърни порта на лист
• 8 x 100G връзки нагоре на лист
• 1536 единични-насочени 25G сървърни порта

На лист: 1200G надолу, 800G нагоре, така че 1,5:1. Повече пространство за връзка нагоре, но повече оптика, влакна, цена, мощност и кабели за управление. В този мащаб документацията е част от дизайна: етикетирането, картите на портовете, полярността, резервната оптика, въздушният поток и мониторингът трябва да бъдат планирани преди инсталирането.

QSFP28 Breakout Planning (100G до 4x25G)

Пробивът е най-полезната и най-неразбрана част от дизайна на QSFP28. Когато комутаторът, кабелът и конфигурацията го позволяват, един QSFP28 порт се разделя на четири 25G SFP28 връзки, свързвайки четири 25G сървъра от един 100G порт. Той печели своето място, когато се нуждаете от висока 25G плътност, имате много QSFP28 портове, искате да намалите цената на връзка към сървър или изграждате преходна 25G/100G тъкан, използвайки QSFP28 към 4x SFP28 DAC, AOC илиMTP/MPO прекъснати кабелив зависимост от разстоянието.

Уловката е, че пробивът консумира QSFP28 портове. Ако 32-портов QSFP28 превключвател отделя 16 порта за 4x25G прекъсване, тези 16 порта поддържат 64 сървъра - но остават само 16 QSFP28 порта за връзки нагоре, съхранение, свързване и резервни части. Основното правило е първо да се преброят пробивните портове, а след това да се преброи това, което остава за връзки нагоре.

Преди да се ангажирате, потвърдете няколко неща и решете рано дали всяко изпълнение трябва да бъде aбагажник или прекъсвач:

• Кои портове поддържат breakout и има ли-ограничения за групи портове?
• Активирането на breakout деактивира ли съседни портове?
• Операционната система Switch поддържа ли режима, от който се нуждаете?
• DAC, AOC или пробивна оптика за всеки цикъл?
• Необходими ли са и четирите ленти сега или по-късно?
• Как пробивът ще се отрази на бъдещо преминаване към собствени 100G сървъри?

Захранване, охлаждане и управление на кабелите

Плат от 100G произвежда повече от честотна лента - тя произвежда топлина, натоварване на въздушния поток и плътност на кабела. Бюджетирането на захранването трябва да обхваща шасита и вентилаторите на превключвателите, оптичните модули QSFP28 (и DAC или AOC, където се използват), резервни консумативи, капацитет на нивото на шкаф-и марж за растеж. Охлаждането трябва да отчита разположението на топъл- и студен-проход, последователен въздушен поток отпред-към-зад или отзад-към-пред, глухи панели, запушване на кабела, температура на околната среда и-мониторинг на температурата, тъй като гръбначният стълб, пълен с оптика, е истинско топлинно натоварване.

Окабеляването се мащабира бързо: 16 листа до 4 гръбнака са вече 64 връзки от лист-към-гръбнака, всяка от които трябва да бъде етикетирана, маршрутизирана, тествана и документирана. Пълна-мрежеста тъкан е далеч по-лесна за изграждане и поддръжка с предварително-завършенаMPO/MTP магистрално окабеляванеотколкото с полево{0}}терминирано влакно. Екипите също трябва да уредят конвенциите за конекторите и полярността отпред; напрактически разлики между MTP и MPOзаслужават потвърждение преди да поръчате. Небрежната документация не струва нищо в първия ден и много при първото прекъсване.

Проектиране за надстройка до 400G

Проектирайте тъканта с реалистичен път за надграждане. Не се нуждаете от 400G навсякъде в първия ден, но трябва да избягвате избори, които правят преместването болезнено по-късно. Започнете да мислите за готовност за 400G, когато върховете на гръбнака вече са силно натоварени, когато добавянето на още 100G гръбнака става неудобно, когато броят на ECMP пътищата се доближава до границите на платформата или когато AI, съхранението или растежът на изток-запад се ускоряват.

Обичайната стратегия е първо да надстроите гръбначния стълб: листата запазват своите 100G връзки нагоре, докато гръбнакът с по-висок-капацитет - използва портове катоQSFP-DD- добавя пространство, често с 400G портове, които се разделят на 4x100G обратно към съществуващите листа. По-широката траектория се задава от индустрията:Пътна карта на Ethernet Allianceсега работи през 400G, 800G и отвъд, до голяма степен управляван от AI. Когато оценявате превключватели, проверете дали платформата поддържа скоростите, оптиката, режимите на прекъсване и софтуерните функции, от които се нуждае поетапното надграждане.

Когато 100G гръб-дизайн на листа не е правилният избор

Този дизайн не е универсален и някои случаи изискват нещо друго. Няколко сървъра в един или два стелажа рядко оправдават цялостно изграждане-на лист, където чифт излишни комутатори е по-прост и по-евтин. Много големите клъстери за обучение с изкуствен интелект може да надминат това, с което се справят добре 100G достъп и 100G гръбначна тъкан, кацайки на 400G или 800G тъкани - или дори специална InfiniBand мрежа - от самото начало. И ако почти целият трафик е на север-юг към шлюз, а не на изток-запад между стелажите, източно-западните предимства на гръбначния-лист са по-малко важни, така че топологията трябва да бъде обоснована от съображения за растеж и работа, а не да се предполага. Съобразете архитектурата с трафика и мащаба, а не обратното.

Често срещани грешки при дизайна на листа от 100G Spine-

• Преброяване на QSFP28 портовете два пъти.Един порт е или 4x25G пробив, или 100G връзка нагоре, никога и двете. Дайте на всеки порт една роля.
• Избор на оптика по максимален обхват.По-дългият обхват добавя цена и мощност; съпоставете оптиката с действителното разстояние и тип влакно.
• Игнориране на N-1.Проверете съотношението по време на нормална работа и след загуба на гръбнак.
• Забравяйки оптичната мощност и топлината.Гръбнак, пълен с модули QSFP28, е истинско термично натоварване, така че включете оптика в математиката за захранване и охлаждане.
• Третиране на окабеляването като последваща мисъл.Маршрутизирането, етикетирането, полярността и документацията принадлежат към дизайна, а не към инсталирането.
• Проектиране само за днешната скорост на сървъра.Ако 25G достъпът ще се прехвърли на 100G, оставете място за естествен 100G или 400G гръбнак.

Заключение

Един добър 100G spine-leaf дизайн е сборът от решения, взети преди хардуерът да пристигне: дефинирайте работното натоварване, пребройте правилно портовете, изчислете свръхабонамента както при нормални, така и при неуспешни условия, изберете оптика според разстоянието, планирайте умишлено прекъсване, бюджет за захранване и охлаждане и оставете място за 400G. За повечето корпоративни центрове за данни 25G достъпът със 100G QSFP28 връзки нагоре остава силен баланс между производителност, цена и мащаб, докато съхранението, AI и HPC просто изискват по-ниско свръхабонаментиране и по-строго валидиране. Надеждният подход не се променя: проектирайте от сървъра навън, докажете математиката при нормални и N-1 условия и документирайте всяка връзка преди внедряване.