InfiniBand vs Ethernet pour les clusters IA : la guerre des fabrics dans l’usine IA

À l’intérieur de chaque usine IA, l’argument silencieux ne porte pas seulement sur quel GPU ou accélérateur sur mesure gagne. Il porte sur le fabric GPU qui assemble des milliers d’accélérateurs en un seul job d’entraînement — et sur le fabric différent qui sert l’inference en bordure du même campus. Ce contest se cadre souvent en InfiniBand vs Ethernet IA, mais la réalité 2025–2026 est plus nuancée : les deux camps livrent désormais des réseaux scale-out RDMA capables 400G et 800G, les deux chassent un comportement lossless et une latence de queue basse, et les deux courent vers l’optique co-packagée et les designs multi-sites « scale-across ».

Cet article cartographie la guerre des fabrics pour les praticiens qui doivent choisir — ou mélanger délibérément — les technologies de réseaux de clusters IA. Il couvre les formes de trafic entraînement versus inference, latence et RDMA (dont RoCE), contrôle de congestion, NVIDIA Quantum InfiniBand et Spectrum-X, Broadcom Tomahawk et Jericho3-AI, l’Ultra Ethernet Consortium, coût et opérations, et les perspectives de court terme. Chaque affirmations numérique ci-dessous est lié à une source listée en fin d’article.

Scale-up, scale-out, et pourquoi le fabric compte

Un cluster GPU moderne n’est pas un seul réseau. Le cadrage fabric IA de Dell, qui colle à la façon dont les hyperscalers parlent du problème, sépare au moins quatre plans : un domaine scale-up (NVLink, Infinity Fabric / xGMI, et liens similaires in-node ou in-pod), un fabric scale-out ou back-end est–ouest entre nœuds, un fabric front-end pour stockage et applications, et un réseau de management. Le débat InfiniBand-versus-Ethernet porte presque entièrement sur le fabric GPU scale-out — le chemin qui porte les communications collectives (AllReduce, AllGather, ReduceScatter, all-to-all) pendant qu’un modèle s’entraîne ou qu’un grand graphe d’inference est shardé.

Le narratif networking public de NVIDIA va plus loin : NVLink pour le scale-up, Quantum InfiniBand ou Spectrum-X Ethernet pour le scale-out, et Spectrum-XGS pour le « scale-across » multi-data-center. L’histoire produit compte parce qu’elle montre qu’un seul vendor traite désormais Ethernet et InfiniBand comme des réponses parallèles au même problème d’usine IA, pas comme des religions mutuellement exclusives.

Fabrics d’entraînement versus fabrics d’inference

L’entraînement et l’inference punissent le réseau différemment.

L’entraînement distribué est synchrone, bursty et lourd en collectives. Le write-up SIGCOMM-facing de Meta sur RoCE pour l’entraînement IA décrit une faible entropie de flux, des bursts on/off à l’échelle de la milliseconde, et des elephant flows qui peuvent frapper le line rate NIC. Quand des milliers de GPU finissent ensemble une étape de compute, ils inondent le fabric de messages larges et répétitifs. La latence de queue et la micro-congestion étirent directement le job completion time. C’est pourquoi les back-ends d’entraînement IA exigent RDMA, une topologie soignée (souvent Clos rail-optimized), et soit le credit-based flow control natif InfiniBand, soit une stack RoCE soigneusement engineered avec PFC, buffers profonds, adaptive routing, ou admission receiver-driven.

L’inference est plus hétérogène. Le serving mono-nœud ou multi-GPU petit peut à peine toucher le fabric scale-out. Le serving de grands modèles avec parallélisme tenseur ou pipeline, prefill/decode désagrégé, ou mouvement de KV-cache entre nœuds a encore besoin de haute bande passante et de latence prévisible — mais le trafic est souvent moins synchronisé qu’un AllReduce full-cluster, et les opérateurs se soucient davantage de la latence de queue pour time-to-first-token et tokens-per-second sous charge multi-tenant. NVIDIA positionne explicitement Spectrum-X pour les clouds d’IA générative multi-tenant, avec l’isolation de performance comme exigence de premier ordre — une préoccupation en forme inference et cloud plus qu’une préoccupation HPC d’entraînement mono-tenant classique.

En pratique, beaucoup d’opérateurs standardisent encore une technologie back-end pour les deux, puis tunent QoS, tenancy et oversubscription. Le point de design important n’est pas le slogan « InfiniBand pour l’entraînement, Ethernet pour l’inference ». C’est : matcher comportement lossless et bande passante effective au pattern collectif réellement exécuté, et ne pas assumer qu’un leaf-spine Ethernet front-end se comportera comme un fabric GPU back-end sans RDMA, politique de congestion et scheduling topology-aware.

Latence, RDMA et le pont RoCE

InfiniBand comme Ethernet IA moderne gagnent en gardant le CPU hors du data path. Le RDMA laisse une NIC distante écrire dans de la mémoire enregistrée (et, avec GPUDirect RDMA, souvent directement entre mémoires GPU). InfiniBand a été conçu autour de ce modèle. Ethernet a rattrapé via RoCE (RDMA over Converged Ethernet) : RoCE v1 était essentiellement InfiniBand sur un header Ethernet L2 ; RoCE v2, standardisé par l’InfiniBand Trade Association en 2014, place le RDMA dans UDP/IP pour que le trafic puisse être routé sur des fabrics L3 — la forme que les hyperscalers déploient réellement.

La comparaison TrendForce d’octobre 2025, résumant le marché scale-out, place la latence RDMA InfiniBand native sous environ 2 µs et RoCE v2 sous environ 5 µs sur des ports 800 Gbps mainstream, InfiniBand s’appuyant sur le credit-based flow control et RoCE sur les outils Ethernet (dont PFC et ECN). Ces chiffres sont des caractérisations d’analystes industrie, pas un résultat lab universel, mais ils capturent l’écart qualitatif dont les opérateurs parlent encore : InfiniBand reste un peu plus « natif », tandis que RoCE est « assez bon » quand le reste de la stack est co-designé.

La preuve publique de Meta est plus forte que n’importe quelle slide de micro-benchmark. En mars 2024, la société a décrit deux clusters H100 de 24 576 GPU : l’un sur Arista 7800 plus OCP Wedge400/Minipack2 RoCE, l’autre sur NVIDIA Quantum-2 InfiniBand, tous deux à endpoints 400 Gbps. Via co-design de réseau, software et architecture modèle — dont scheduling topology-aware et routing NCCL-aware — Meta a rapporté un entraînement GenAI large réussi sur les deux, y compris l’entraînement Llama 3 sur le cluster RoCE, sans goulots réseau. Ce seul déploiement a définitivement affaibli le affirmations que seul InfiniBand peut entraîner des modèles frontier à l’échelle.

Contrôle de congestion : crédits, PFC, Spectrum-X et Ultra Ethernet

Le monde InfiniBand basé sur les crédits

Le credit-based flow control de couche liaison InfiniBand n’envoie que lorsque le récepteur a des crédits de buffer. Combiné à un subnet manager, à l’adaptive routing, et (sur les plateformes NVIDIA Quantum) aux collectives in-network SHARP et au contrôle de congestion basé télémétrie, le fabric vise une livraison lossless ordonnée avec bande passante déterministe. La documentation plateforme Quantum-X800 de NVIDIA décrit de l’InfiniBand bout-en-bout 800 Gb/s, des switches 144 ports, SHARP v4, adaptive routing et contrôle de congestion télémétrie visant l’entraînement à l’échelle du trillion de paramètres.

La réalité opérationnelle de RoCE

RoCE v2 sur Ethernet dépend typiquement du Priority Flow Control (PFC) pour pauser les classes sensibles à la perte, des marques ECN pour la notification de congestion, et historiquement d’un rate control style DCQCN sur les NIC. Le billet d’ingénierie de Meta d’août 2024 est inhabituellement candide : après des difficultés à tuner DCQCN à 400G, Meta a fait tourner de l’entraînement IA en production pendant une période étendue avec PFC et sans DCQCN, en s’appuyant sur des spines deep-buffer, une admission clear-to-send receiver-driven dans le chemin collectif, et un traitement haute priorité des paquets CTS. La leçon pour les promoteurs n’est pas « éteignez le contrôle de congestion », mais que les collectives IA ont besoin de contrôles sensibles à la charge de calcul ; les réglages DCQCN par défaut de l’ère stockage ne se transfèrent pas automatiquement à l’entraînement GPU.

NVIDIA Spectrum-X

Spectrum-X est la réponse NVIDIA quand le client veut des opérations Ethernet avec un comportement IA type InfiniBand. NVIDIA le décrit comme livrant environ 1,6× la performance réseau d’un Ethernet off-the-shelf pour l’IA, avec RoCE accéléré, adaptive routing (packet spray coordonné avec réordonnancement / direct data placement SuperNIC), contrôle de congestion, et isolation de performance pour clouds multi-tenant. Spectrum-X couple switches Spectrum Ethernet, SuperNIC ConnectX et DPU BlueField ; Spectrum-XGS étend l’histoire entre sites. Dans le cadrage NVIDIA, Quantum InfiniBand reste le choix basse latence usine IA et HPC avec compute in-network, tandis que Spectrum-X cible les clouds IA Ethernet.

Broadcom Tomahawk et Jericho3-AI

Broadcom attaque le même problème depuis le silicium merchant. Tomahawk 5 (classe 51,2 Tbps, jusqu’à 64×800GbE dans les matériaux networking IA Broadcom) ancre des fabrics endpoint-scheduled : NIC et endpoints schedulent ; les switches Tomahawk high-radix forwardent avec load balancing dynamique/adaptatif. Jericho3-AI (BCM88890) ancre des fabrics switch-scheduled avec spines Ramon : Broadcom documente jusqu’à 18×800GbE (ou 36×400GbE) de ports network-facing par device, support RoCEv2, load balancing cell-based parfait, scheduling bout-en-bout pour limiter le head-of-line blocking, et des affirmations d’échelle de l’ordre de dizaines de milliers d’accélérateurs 800G dans un fabric schedulé (Broadcom cite 32 000 × 800G dans son white paper AI/ML et ses matériaux produit). Le post networking OCP 2024 de Meta montre les deux familles dans des designs hyperscale : leaves de distributed switch fabric basées Jericho3-AI et switches Minipack3 51,2T basés Tomahawk5.

La table silicium TrendForce 2025 place aussi Broadcom Tomahawk 6 à 102,4 Tbps (1,6 Tbps/port × 64) avec des fonctionnalités orientées Ultra Ethernet telles que multipath packet spraying, link-layer retry et options de credit-based flow control — preuve que le silicium Ethernet absorbe des mécanismes longtemps associés à InfiniBand.

Ultra Ethernet Consortium

L’Ultra Ethernet Consortium (UEC), lancé en 2023 avec des membres fondateurs dont AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta et Microsoft, a publié la Specification 1.0 le 11 juin 2025 : une approche Ethernet full-stack pour IA et HPC avec transport style RDMA moderne, interopérabilité multi-vendor, et capacité à monter en charge déclarée vers des millions d’endpoints. La Specification 1.1 (12 octobre 2026) ajoute des optimisations scale-up (dont un Unified Forwarding Header que l’UEC dit économiser 20 octets versus un paquet IP traditionnel), un mapping UET Verbs pour la compatibilité applicative, des collectives in-network optionnelles, des tags de télémétrie in-band Congestion Signaling (CSIG), et des API Programmable Congestion Management. L’UEC n’est pas « RoCE avec un nouveau logo » ; c’est une tentative de standardiser le prochain transport Ethernet pour l’IA afin que les opérateurs ne soient pas lock-in dans les extensions RoCE propriétaires d’un seul vendor.

Coût, opérations et paysage vendeurs

Les comparaisons de coût sont là où les white papers vendor divergent le plus — et là où les acheteurs doivent exiger des bills of materials apples-to-apples. La table TrendForce 2025 caractérise le coût hardware InfiniBand comme à peu près 3× Ethernet à ports 800G mainstream comparables (estimation analyste, pas une liste de prix publique). Le guide fabric équilibré de Dell insiste sur les coûts plus soft : familiarité staff Ethernet, concurrence multi-vendor, et capacité à réutiliser des switches Ethernet vieillissants sur front-end, stockage ou fabrics de management ; InfiniBand gagne souvent sur un bring-up back-end plus rapide out-of-box (subnet manager versus extensive tuning RoCE/PFC/ECN) et l’outillage opérationnel Unified Fabric Manager. Broadcom argumente que radix et bande passante Ethernet plus élevés réduisent tiers, optique et puissance pour les grands clusters ; NVIDIA argumente que le compute in-network de Quantum et le co-design bout-en-bout de Spectrum-X élèvent la bande passante effective et raccourcissent assez le temps de job pour rembourser le silicium premium.

La carte vendeurs fin 2026 ressemble à peu près à ceci :

Cisco, Marvell et d’autres publient des benchmarks fabric IA contre InfiniBand et Spectrum-X ; traitez-les comme vendor-sponsored jusqu’à reproduction dans votre topologie. Le fait durable est la concurrence : l’Ethernet IA n’est plus un science project, et InfiniBand n’est plus le seul fabric GPU sérieux.

Ce que montrent réellement les données lab et production

Les micro-benchmarks vendor peuvent faire paraître InfiniBand et Ethernet interchangeables sur un graphe de latence two-node. La production raconte une histoire plus bruitée. Le narratif public de tuning AllGather de Meta pour ses clusters 24k-GPU est instructif : l’utilisation de bande passante collective large-cluster out-of-the-box était initialement inconsistante — parfois bien au-dessous de la fourchette 90 %+ vue sur de petits clusters optimisés — jusqu’à ce que le scheduling topology-aware et le routing NCCL-aware restaurent la performance large-cluster au régime small-cluster. C’est autant un finding opérations qu’un finding silicium : le fabric GPU ne livre qu’après que scheduler, entropie de routing et bibliothèque collective s’accordent.

Une étude workshop SC ’25 comparant RDMA over Converged Ethernet et InfiniBand pour l’entraînement LLM insiste de même sur la configuration. Les auteurs rapportent que RoCE peut atteindre un scaling quasi linéaire comparable à InfiniBand quand il est correctement configuré, et que le RDMA — sur Ethernet ou InfiniBand — compte bien plus que TCP/IP pour le comportement de scaling des grands modèles. Les posts fabric AI/ML Silicon One de Cisco cadrent également Ethernet comme compétitif quand load balancing dynamique et packet spray sont mesurés contre des baselines Spectrum-X et InfiniBand sur des pods H100 denses. Aucun de ces résultats ne donne un chèque en blanc à l’Ethernet leaf-spine commodity sans engineering RoCE ; ils autorisent un RFP evidence-based qui score la bande passante effective sous charge collective, pas l’allégeance de marque.

Pour les clouds IA lourds en inference, ajoutez des tests noisy-neighbor. Le positionnement Spectrum-X de NVIDIA et les arguments Ethernet multi-tenant de Dell impliquent tous deux que l’isolation de performance sous jobs concurrents est une exigence de premier ordre. Un fabric qui gagne un soak test d’entraînement dédié peut encore perdre quand tenancy, bursts stockage et chatter control-plane partagent les buffers. Budgétez du temps pour des soak tests multi-job avant de couper un bon de commande.

Perspectives : coexistence, CPO et scale-across

L’équilibre de court terme est la coexistence, pas un KO. InfiniBand garde une forte emprise partout où les clusters d’entraînement mono-tenant priorisent collectives SHARP, comportement lossless plug-and-play, et la stack complète NVIDIA. Ethernet — RoCE aujourd’hui, Ultra Ethernet demain — continue de prendre des parts partout où les opérateurs veulent appels d’offres ouverts, talent networking partagé, multi-tenancy, et réutilisation across rôles front-end et back-end. Meta a déjà prouvé que RoCE peut entraîner des modèles classe Llama ; UEC 1.1 essaie de faire de cette classe de performance un standard multi-vendor plutôt qu’un exercice de co-design héroïque.

Deux tendances couche physique remodeleront les deux camps. D’abord, l’optique co-packagée (CPO) et la photonique silicium déplacent l’optique sur le package switch pour couper puissance et reach à mesure que les vitesses de port montent vers 1,6T ; TrendForce et NVIDIA décrivent tous deux des roadmaps CPO sur plateformes Quantum et Spectrum, tandis que Broadcom a livré des générations Tomahawk CPO successives. Ensuite, le scale-across — relier des usines IA entre bâtiments ou campus avec long-haul optique et comportement congestion/NCCL spécialisé — étend la guerre des fabrics au-delà d’une seule salle. Les affirmations Spectrum-XGS de NVIDIA et le messaging industrie « scale-across » d’août 2025 (tel que résumé par TrendForce) montrent que le prochain goulot après le leaf-spine peut être la fibre métro entre salles.

Pour les promoteurs qui écrivent des RFP aujourd’hui, une checklist pragmatique bat la loyauté tribale :

1. Profilez la charge. Entraînement LLM synchrone, all-to-all mixture-of-experts, et isolation d’inference multi-tenant sont des fabrics différents même s’ils partagent un ASIC switch.
2. Exigez le RDMA bout-en-bout sur le back-end (InfiniBand ou RoCEv2/UE), plus des chemins classe GPUDirect là où applicable.
3. Testez les collectives, pas seulement le ping. Le job completion time NCCL/RCCL sous panne et sous bruit multi-job compte plus que la latence à vide.
4. Prixez le système entier : switches, optique, NIC/SuperNIC, spares, puissance, et les gens qui peuvent débugger des orages PFC ou des events subnet manager à 3 h du matin.
5. Demandez le chemin standards. Extensions RoCE, fonctionnalités Spectrum-X, scheduling Jericho et CSIG/INC UEC 1.1 n’interopéreront pas tous le jour 1 — planifiez des îles ou insistez sur des engagements multi-vendor écrits.

Conclusion

InfiniBand vs Ethernet pour l’IA n’est plus une simple hiérarchie de performance. InfiniBand offre encore un chemin credit-based, SHARP-accéléré, étroitement intégré que beaucoup d’usines IA préfèrent pour l’entraînement dédié. Ethernet — avec RoCE en production à l’échelle Meta, Spectrum-X pour les clouds IA Ethernet NVIDIA, fabrics schedulés Broadcom Tomahawk/Jericho, et spécifications UEC 1.0/1.1 — a suffisamment refermé l’écart pour que coût, opérations, multi-tenancy et stratégie vendeur décident souvent le RFP. La vraie « guerre des fabrics dans l’usine IA » est une guerre de systèmes : topologie, contrôle de congestion, bibliothèques collectives, optique et scheduling doivent être designés ensemble. Choisissez le fabric GPU que votre charge, votre staff et votre roadmap peuvent réellement opérer à pleine bande passante effective — pas celui qui gagne un micro-benchmark de présentation commerciale.

À lire aussi

• Réseau multi-campus IA : scale-across entre usines
• Entraînement multi-trillions de paramètres : ce que doit livrer le prochain silicium
• Microsoft Fairwater et la superfactory IA distribuée

< !– Schema.org NewsArticle (CF_SEO) — image paths relative to draft ; replace with absolute CDN URLs at publish –>

Images : illustrations originales créées pour AndBeyond.Tech ; aucun logo ni aucune personne réelle n’y figurent.