InfiniBand срещу RoCE за AI Inference Networks

ИзберетеInfiniBandкогато работното ви натоварване за изводи живее или умира от предсказуема латентност на опашката и изберетеRoCE(RDMA през конвергентен Ethernet), когато искате производителност от клас RDMA-на Ethernet тъкан, можете да мащабирате, споделяте и работите с екипа, който вече имате. Нито една опция не печели навсякъде. Правилното обаждане зависи от вашия модел на извод, вашите цели за латентност на p99 и p999, мащаб на графичния процесор, бюджет и колко експертни познания за настройка на Ethernet -без загуби всъщност се намират във вашия екип.

Защо мрежата има повече значение, отколкото очакват екипите за изводи

Години наред изводите се третираха като лесната половина от историята на GPU: модел, зареден на един възел, заявки, обслужвани независимо, много малко източно-западно движение. Тази снимка вече е остаряла. Модерният извод е все по-разпространен и няколко модела оказват истински натиск върху тъканта.

• Тензорен паралелизъмразделя един слой между GPU, така че всяка стъпка на токена задейства всички-намаляване или всички-събиране на операции между тях. Това е чест, чувствителен към забавяне-напречен-GPU трафик, който GPU блокира, докато чака.
• Паралелизъм на тръбопроводапредава активации от един етап на следващ, често между възли, като добавя кръстосан{0}}зависимост на възел към всяко преминаване напред.
• Дезагрегирано предварително попълване и декодиранеразделя изчислителната{0}}тежка фаза на предварително запълване от латентно-чувствителната фаза на декодиране, след което премества KV кеша между тях. Тези трансфери са големи и бурни и всяко забавяне се показва директно като по-бавно време-до-първи-токен и между-токен латентност.
• Извличане-разширено генериране (RAG)добавя трафик от изток-запад към векторни услуги и услуги за търсене. Обикновено е по-малко забавяне-критично от колективните операции, но все пак зарежда структурата, особено при голям обем на заявките.
• Обслужване на много{0}}наемателипоставя много модели и потребители на една и съща тъкан, където микроизбухванията и шумните-ефекти на съседи се превръщат в доминиращ риск.

Когато мрежата е тясното място, симптомите са скъпи: по-високо време-до-първи-токен, GPU спират, докато чакат данни, пропускателна способност, която се срива при импулси, и нестабилни p95 и p99. И ето частта, която спъва бенчмарковете: средното забавяне скрива всичко. Изводите за производство се оценяват по опашката, а не по средната стойност.

InfiniBand срещу RoCE: Обобщена таблица за AI Inference

Какво е InfiniBand?

InfiniBand е целево-изградена мрежова тъкан, проектирана от самото начало за ниска латентност, висока пропускателна способност и комуникация без загуби. Това не е по-бърза версия на Ethernet. Той идва със собствени адаптери за хост канал, комутатори, подмрежов мениджър, кабелна екосистема и-модел за контрол на задръстванията. Неговата определяща стойност е детерминистичното поведение: много графични процесори могат да комуникират с ограничени изисквания за време и тъканта продължава да се държи последователно дори когато колективният трафик е тежък.

Съвременните AI{0}}ориентирани InfiniBand платформи разширяват тази база с възможности, насочени директно към големи GPU клъстери. Линията Quantum InfiniBand на NVIDIA, например, добавяадаптивно маршрутизиране, в-мрежово изчисление и телеметрия-базиран контрол на претоварването, които помагат на тъканта да разпространява интелигентно трафика и да изолира товара на един наемател от друг. За извод, InfiniBand печели своето място, когато работното натоварване не може да понесе трептене или когато няколко GPU възела трябва да обменят данни бързо и последователно.

Компромисите-са разходи, концентрация на екосистемата и оперативна специализация. Специализирана тъкан InfiniBand означава специални превключватели, адаптери, кабели или оптични модули и инженерите се чувстват комфортно с управлението на тъканта InfiniBand. За една организация, която вече управлява големи Ethernet имоти, свързването на отделна тъкан добавя сложност на доставките, планиране на резервни-части и допълнителни разходи за наблюдение.

Какво е RoCE (RDMA през конвергиран Ethernet)?

RoCE предоставя RDMA, директно движение на данни от-към-памет с ниско натоварване на процесора, към Ethernet мрежи. RoCEv2, версията, използвана в съвременните центрове за данни, може да бъде маршрутизирана през IP мрежи от слой 3 и е стандартизирана отТърговска асоциация InfiniBand. Тази възможност за маршрутизиране е това, което позволява на RoCE да се вмести естествено в дизайна на Ethernet leaf-spine, като същевременно използва повторно познати NIC, комутатори, оптика и инструменти за наблюдение.

Уловката е, че RDMA транспортите предполагат почти-мрежа без загуби. Пуснете пакет и транспортът се връща към поведение на повторно предаване, което разрушава латентността на опашката. Така че RoCE се нуждае от Ethernet под себе си, за да се държи като плат без загуби и това зависи от внимателната конфигурация на два механизма по-специално:Контрол на приоритетния поток (IEEE 802.1Qbb), който поставя на пауза един клас трафик, за да предотврати падания, иИзрично известие за претоварване (ECN), което сигнализира за задръстване рано, така че подателите да забавят, преди буферите да се препълнят. Добавете към това управление на опашки, разпределение на буфери и QoS картографиране и става ясно, че високо-производителният RoCE не е обикновен Ethernet.

Направен добре, RoCE осигурява достатъчно забавяне и пропускателна способност за широк спектър от услуги за производствени изводи и много работни натоварвания за изводи са по-малко синхронизирани от разпределеното обучение, което работи в полза на RoCE. Направено лошо, то води до загуба на пакети, блокиране на-на-линия, разпространение на задръстванията и нестабилни опашки, като всички те се превръщат директно в влошено качество на услугата.

InfiniBand срещу RoCE Latency: Кое е по-добро за p99 Inference?

И двете платна могат да предоставят мрежа с висока-честотна лента и ниска-закъснение. Те се различават по това как стигат до там. InfiniBand е детерминистичен по конструкция, така че трептенето остава ниско дори при смесено натоварване. RoCE може да го съпостави за много работни натоварвания, но резултатът зависи от Ethernet тъканта и колко добре е настроена.

От гледна точка на внедряването, истинският проблем в производството рядко е пиковата честотна лента. Той трепти при смесен, бурен, мулти-трафик. Тъкан RoCE, който се справя с чист тест за пропускателна способност в стил iperf-, все още може да пропусне своята цел p99 в момента, в който микроизбухванията и конкуренцията навлязат в картината. Тази разлика между лабораторен бенчмарк и производствено SLA е мястото, където се намират повечето изненади.

InfiniBand има тенденция да има предимство, когато:

• Услугата има строги цели за латентност p99 или p999.
• Изводът обхваща множество GPU възли с тензорен или тръбопроводен паралелизъм или използва дезагрегирано предварително попълване и декодиране.
• Използването на GPU е силно чувствително към мрежово забавяне, така че сергиите са скъпи.
• Клъстерът изпълнява малък брой работни натоварвания с висок-приоритет, където предвидимостта надделява над гъвкавостта.

RoCE обикновено е достатъчно добър, когато:

• Заявките са предимно независими или връзката е разхлабена.
• Работата се извършва в рамките на възел или малък брой възли.
• Пакетната пропускателна способност е по-важна от ултра-ниската латентност на опашката.
• Екипът вече работи с Ethernet и гъвкавостта на цената или доставчика е приоритет.
• Клъстерът поддържа множество наематели или смесени натоварвания.

RoCE срещу InfiniBand разходи: Какво всъщност движи TCO?

RoCE често се нарича по-евтиният вариант, но цената на превключвателя е малка част от картината. Реалистичното сравнение разглежда целия стек: мрежови адаптери или HCA, комутатори, оптични модули, DAC, AOC и оптично окабеляване, топология на стелажа, захранване и охлаждане, мрежова операционна система, мониторинг и телеметрия, време за инженеринг, резервни части, поддръжка от доставчика и пътя до 400G или 800G.

InfiniBand обикновено носи по-високи първоначални разходи, защото изисква специална тъкан и специализирани компоненти. В среди, където детерминистичното поведение е основен приоритет, това може да намали усилията за настройка и отстраняване на неизправности, които изисква една Ethernet тъкан без загуби. RoCE намалява разходите за хардуер, когато съществуващ Ethernet имот, с правилната поддръжка на Data Center Bridging, може да се използва повторно, но пренасочва усилията към проектиране, валидиране, наблюдение и отстраняване на неизправности в структурата без загуби. Ниска-разходна конструкция на RoCE става скъпа бързо, ако причинява нестабилно забавяне и повтарящи се пожарогасителни действия.

Разходите и рискът се концентрират на физическия слой с нарастването на скоростите. При 400G и 800G оптиката доминира както в режимите на сметката, така и в режимите на повреда. Повечето високо-скоростни пристанища кацатQSFP-DD или сравними форм фактори, и съвпадение вдясноедно-модова или многомодова оптикадо действителния ви обхват е един от най-лесните начини да избегнете преразхода за плат, който не се нуждае от модули за дълги-разстояния.

Казано направо: RoCE не е по-евтиният вариант, ако на екипа ви липсва експертен опит в-Ethernet без загуби. Икономиите от хардуер могат бързо да бъдат изядени от инженерните разходи за поддържане на тъканта стабилна.

Мащабируемост и операции

Мащабируемостта е повече от броя на портовете. Това включва колко лесно тъканта се разгръща, наблюдава, разширява и възстановява, когато нещо се повреди.

InfiniBand е силен, когато клъстерът е проектиран като специална високо{0}}производителна тъкан от първия ден. Той осигурява последователно поведение в мащаб, но очаква InfiniBand-специфични инструменти, като мениджър на подмрежи и унифицирано управление на тъканта, и персонал, който се чувства добре с концепциите на InfiniBand. Това го прави естествено подходящ за централизирани AI клъстери, изградени около работни натоварвания на GPU.

RoCE се включва в проектите на Ethernet центрове за данни: leaf-spine топологии, IP маршрутизиране, ECMP и познати практики за наблюдение. Точно затова се харесва на облачен-стил и много-наемна GPU инфраструктура. Дисциплината, която изисква, е последователност. PFC, ECN, QoS, управлението на буфера и контролът на задръстванията трябва да бъдат проектирани съгласувано по целия път, защото малка неправилна конфигурация в един ъгъл на структурата може да разпространи и влоши много работни натоварвания наведнъж. Физическият слой също трябва да се мащабира чисто; висока-плътностMPO и MTP магистрално и прекъсващо окабеляванеподдържа растящата лист{0}}гръбначна тъкан управляема, вместо да превръща всяко разширение в пъзел за окабеляване.

Заслужава си да се посочи огледалното{0}}изражение: InfiniBand е трудно да се оправдае, когато изводът остава предимно в рамките на един възел и тъканта почти не се упражнява.

Коя мрежа за всяко работно натоварване за изводи

Когато RoCE е достатъчно добър и когато стане рисковано

RoCE е достатъчно добър за независими или слабо свързани заявки, групова работа,-ориентирана към пропускателната способност, и клъстери с много-наематели, където можете да настроите изолацията, особено когато екипът владее отлично Ethernet за свързване на центъра за данни. Става рисковано по специфични, разпознаваеми начини:

• PFC бури.Кадрите на пауза се разпространяват нагоре и замразяват трафика, който няма нищо общо с първоначалното задръстване.
• Блокиране-на-линия.Грубото съпоставяне на приоритета позволява на един претоварен клас да спре други, които споделят опашка.
• Грешна настройка на ECN.Маркирайте твърде късно и получавате капки; маркирайте твърде агресивно и ненужно намалявате пропускателната способност.
• Задръстване с микровзрив.Под-секундните импулси препълват буферите, но остават невидими за наблюдението на тези проби с разделителна способност от една-секунда.
• Непоследователна конфигурация.Несъответстващите настройки в листа и гръбнака причиняват задръстванията да се разпространяват, вместо да останат локални.

Нито едно от тези не е причина да избягвате RoCE. Те са причини да проектирате платното без загуби кохерентно от край до край и да инвестирате в фина-зърнеста телеметрия,-познаваща microburst, преди да мащабирате.

Когато InfiniBand си заслужава и когато купувате повече

InfiniBand си заслужава своята премия за стриктни цели p99 и p999, тясно свързано много-обслужване на възли и критични-работни натоварвания, при които SLA санкциите са високи, особено на специален GPU клъстер, проектиран около структурата. Вероятно прекалявате, когато изводът остава в рамките на възел, когато работата е партида,-ориентирана към пропускателна способност, когато се нуждаете от една и съща структура, за да пренасяте и облачен трафик за съхранение, управление и-мултитенант, или когато просто ви липсва оперативният капацитет да управлявате добре InfiniBand.

Разходите, които не се показват в офертата за превключване, са реални: концентрация на екосистема, режийни разходи за работа на втора тъкан паралелно с вашата Ethernet мрежа и отделно планиране за резервни части, оптика и мониторинг.

Как да тествате InfiniBand срещу RoCE, преди да изберете

Не вземайте решение за репутация на протокол или спецификационен лист. Изберете бенчмарк, който прилича на производство. Практическа последователност:

• Дефинирайте SLA в опашки.Задайте p50, p95, p99 и p999 за време-до-първи-токен и между-токен закъснение, а не само средно.
• Повторете реалистичен трафик.Използвайте разпръснати, смесени размери на модели и едновременност на много-наематели, вместо един чист поток.
• Натоварване до задръстване.Избутайте тъканта, докато наистина се надигне, след това измерете използването на GPU. Ако GPU блокират в мрежата, тъканта е вашето тясно място.
• Гледайте правилните броячи.Проследявайте рамки за пауза, ECN маркировки, изпускания на пакети, повторни предавания, броячи на грешки в портове и, при 400G и 800G, FEC грешки.
• Валидирайте физическия слой.Чистото, правилно инсталирано влакно има значение;внимателен монтаж на влакнапредотвратява периодичните, трудни-за-диагностициране грешки, към които са склонни високо-скоростните връзки.

Ако RoCE поддържа своята цел p99 при реалистично, оспорвано, много-натоварване със стабилни броячи, това е силен и-рентабилен избор. Ако преминава само чисти тестове за един-поток, все още не сте тествали нещото, което решава вашето SLA.

Често срещани грешки, които трябва да избягвате

• Ако приемем, че всички изводи са леки мрежи.Някои изводи са прости и независими; някои са разпределени,-чувствителни към забавяне и-необходими за честотна лента. Третирането на всичко като лесно води до недостатъчно изградена инфраструктура.
• Сравняване само на средна латентност.Изводът за производство зависи от опашката. Винаги оценявайте p95, p99 и p999 при реалистичен трафик.
• Третиране на RoCE като plug{0}}and-Ethernet.Високо{0}}производителният RoCE се нуждае от умишлен дизайн без{1}}загуби, контрол на претоварването и непрекъсната видимост.
• Избор на InfiniBand само защото е по-бърз.Най-добрият вариант за ефективност не винаги е най-добрият бизнес вариант. Ако работното натоварване не се нуждае от детерминистично поведение, RoCE може да осигури по-добра стойност.
• Игнориране на физическия слой.При 400G и 800G кабелите, оптиката, конекторите и чистотата на влакната създават периодични грешки, които са трудни за намиране и скъпи за отстраняване.

Долен ред

За извода на AI InfiniBand и RoCE са валидни и обслужват различни приоритети. Изберете InfiniBand, когато се нуждаете от най-последователната мрежа с ниска-закъснение за реално-време, SLA-чувствителен или тясно свързан извод. Изберете RoCE, когато се нуждаете от мащабируема, Ethernet-базирана, ценово-ефективна структура за пакетно извеждане, много-наемни GPU услуги, RAG работни натоварвания и гъвкава инфраструктура.

Решението трябва да започне с работното натоварване, целта за латентност, мащаба на клъстера, способността ви за операции и пътната карта за надграждане, а не с протокола. Ако вашият клъстер трябва да поддържа строг p99 при голямо натоварване, InfiniBand заслужава сериозно внимание. Ако целта ви е да мащабирате икономично изводите в Ethernet център за данни, RoCE обикновено е по-практичният път. И в двата случая направете сравнителен анализ при производство-като зареждане, преди да се ангажирате.