Superfactories IA distribuées : comment le réseau s’étire entre les campus

L’électricité, le foncier, l’eau et les permis — et pas seulement le silicium — déterminent désormais jusqu’où une usine d’IA peut grandir dans un seul bâtiment. Quand un site ne peut plus accueillir les cent mille accélérateurs suivants, les opérateurs font ce que les réseaux électriques ont toujours fait : ils répartissent la charge. C’est ainsi qu’apparaît une nouvelle catégorie de réseau IA multi-campus, où les tâches d’entraînement et d’inférence désagrégée traitent plusieurs installations comme une seule machine. Ce passage du scale-out de baie à baie à une connectivité de bâtiment à bâtiment, puis de métropole à métropole, porte un nom de plus en plus répandu dans l’industrie : le scale-across.

Le scale-across n’est pas un simple nouveau nom pour le vieux lien de secours. L’interconnexion de data centers (DCI) traditionnelle transportait des réplicas, des snapshots et le trafic cloud nord-sud. Une fabric scale-across moderne doit acheminer les opérations collectives entre GPU, des fragments de cache KV et d’activations, des rafales de checkpoints et la télémétrie du plan de contrôle, avec assez de capacité, de diversité de chemins et de maîtrise de la congestion pour qu’un job synchrone ne se retrouve pas à attendre le réseau. Cet article explique comment tout cela fonctionne : la physique de la distance, l’optique cohérente et Coherent-Lite, les systèmes de ligne et le spectre C+L, le peering et la fibre noire, le scale-across au niveau paquet (dont NVIDIA Spectrum-XGS), les stratégies logicielles d’entraînement multi-sites et ce que les essais terrain ont réellement mesuré.

Du scale-up et du scale-out au scale-across

À l’intérieur d’un hall, le réseau IA se découpe déjà en couches bien connues. Le scale-up relie les accélérateurs au sein d’un nœud ou d’un pod (NVLink et équivalents). Le scale-out relie les pods entre eux sur une fabric GPU back-end sans perte, ou presque, en InfiniBand ou en Ethernet RoCE. L’Ethernet front-end continue de gérer l’ingestion du stockage, les API et les utilisateurs. Le briefing scale-across de Cisco de juillet 2026 rappelle cette séparation, puis pose la question qui fâche : laquelle de ces fabrics peut-on prolonger quand la prochaine baie alimentée se trouve dans un autre bâtiment, voire une autre agglomération ?

Le billet d’ingénierie de NVIDIA de septembre 2025 définit le scale-across comme une troisième dimension de la connectivité des fabrics de calcul IA, orthogonale au scale-up et au scale-out. Spectrum-XGS Ethernet, annoncé le 22 août 2025 à Hot Chips, est la concrétisation commerciale de cette idée par NVIDIA : des algorithmes qui adaptent le contrôle de congestion et le routage adaptatif à la distance entre installations, afin que plusieurs data centers se comportent comme une seule « super-factory » d’IA. NVIDIA positionne la technologie pour des liens au-delà d’environ 500 mètres — entre bâtiments d’un campus comme sur des trajets à l’échelle d’une ville ou d’une région. NVIDIA annonce jusqu’à 1,9 fois plus de bande passante en all-reduce NCCL qu’un Ethernet standard lors de tests sur 10 km, les gains les plus importants concernant les gros messages typiques de l’entraînement.

La distance n’est pas un surcoût facultatif : c’est de la physique. NVIDIA rappelle que la lumière se propage dans la fibre à environ 5 nanosecondes par mètre ; 1 km coûte donc environ 5 µs dans un sens. Imperceptible pour un humain, mais redoutable pour un AllReduce étroitement synchronisé. Les commutateurs à buffers profonds, véritables « amortisseurs » qu’utilisent les opérateurs télécoms sur les liaisons longue distance, peuvent masquer les pertes, mais ils ajoutent de la latence et de la gigue, que les jobs IA synchrones détestent. Les architectures paquet scale-across cherchent donc à conserver des buffers peu profonds et un pilotage par la télémétrie, tout en absorbant le produit bande passante-délai du long trajet.

Pourquoi campus et régions doivent partager un même job

Trois forces poussent les opérateurs vers des architectures multi-sites.

L’électricité et le foncier. L’essai de Lumentum sur le scale-across, publié en septembre 2026, résume la formule : il est souvent plus simple de déplacer des gigaoctets que des gigawatts. Les clusters IA concentrent des charges électriques et thermiques colossales ; quand les raccordements au réseau, les transformateurs et le terrain ne suivent plus à une même adresse, le calcul doit se disperser là où la capacité arrive en premier.

La fongibilité des installations. Selon NVIDIA, une architecture Ethernet unifiée scale-out / scale-across permet de réaffecter les mêmes commutateurs Spectrum-X et SuperNIC ConnectX-8 entre usages intra-site et inter-sites, ce qui améliore le retour sur investissement de capacités autrement inutilisées. C’est pour cette raison que CoreWeave s’est publiquement engagé très tôt sur des déploiements Spectrum-XGS.

La géographie des charges de travail. STL Partners décrit un cycle de vie de l’IA où l’on entraîne dans une région, affine dans une autre et sert l’inférence depuis de nombreuses métropoles, ce qui génère des flux DCI multidirectionnels et en rafales. Selon leurs travaux, chaque mégawatt de calcul IA peut générer jusqu’à deux fois le débit DCI d’une capacité cloud classique — un chiffre d’analyste, mais cohérent avec la course de l’industrie vers davantage de longueurs d’onde et des routes maillées.

Rien de tout cela ne signifie que chaque entraînement doit s’étaler sur un continent. Cela signifie que l’architecture réseau doit être prête le jour où la carte de l’électricité et la taille des modèles l’imposeront.

Réseau optique IA : cohérent, Coherent-Lite et C+L

Dès que le trajet sort du bâtiment, le cuivre et l’optique IM-DD courte portée ne suffisent plus. À l’échelle du campus et de la métropole, le réseau optique IA passe de plus en plus par des modules cohérents enfichables, branchés sur des routeurs et des commutateurs DCI, ainsi que par des systèmes de ligne ouverts qui allument de nombreuses longueurs d’onde sur une fibre partagée.

Normes : 400ZR, 800ZR et la route vers le 1,6T

L’Optical Internetworking Forum (OIF) a rendu la DCI cohérente multi-fournisseurs praticable avec le 400ZR, publié pour la première fois en mars 2020 et largement reconnu comme le déclencheur des architectures de data centers distribuées grâce à des modules cohérents au format client. Le 30 octobre 2024, l’OIF a publié l’Implementation Agreement 800ZR pour des liaisons DWDM amplifiées à une seule portée de 80 à 120 km, destinées à la DCI : il transporte des clients Ethernet de 100GE jusqu’à 800G agrégés sur une seule ligne cohérente, avec des modules enfichables basse consommation adaptés à la haute densité. L’OIF a aussi mis à jour le 400ZR (IA 3.0) et poursuit ses travaux sur des variantes 1600ZR / Coherent-Lite pour des portées plus longues et plus courtes utiles à l’IA, comme le résument ses documents d’ateliers jusqu’en 2026.

Le cadrage du panel cohérent de Marvell à l’OFC 2026 offre une taxonomie utile (présentation d’un fournisseur, mais alignée sur les classes de portée de l’OIF) : Coherent-Lite / campus pour environ 2 à 20 km en fibre noire O-band basse latence ou sur des portées optimisées ; classe ZR pour environ 20 à 120 km en DWDM C/L ; et ZR+ et modes PCS plus longs pour les trajets régionaux et backbone de plus de 1 000 km, avec une feuille de route commerciale de modules enfichables passant de 400G à 800G puis 1,6T.

Scale-across proche ou lointain

Le billet de blog de Ciena sur le scale-across, publié en février 2026 par son directeur produit et technologie, distingue deux types de demande client : les architectures proches et lointaines.

Le scale-across proche vise des emprises métropolitaines ou régionales avec un minimum de sites d’amplification intermédiaires. Les hyperscalers ont demandé une portée maximale sans abris ILA, « coûte que coûte ». Ciena y répond en combinant des modules cohérents enfichables en bandes C et L (dont le WaveLogic 6 Nano 800G, en bande L comme en bande C) avec une configuration compacte du système de ligne RLS C+L — environ 6U pour un terminal à protection optique — ainsi qu’une amplification Raman pour étirer les portées uniques et une commutation de protection optique intégrée sur le spectre C ou L. Les enjeux commerciaux sont extrêmes : certains clients évoquent des dizaines de Pb/s de trafic inter-sites et des dizaines de milliers de connexions à mettre en service dans des délais resserrés.

Le scale-across lointain accepte des amplificateurs de ligne intermédiaires, mais exige une densification radicale. Les châssis ILA traditionnels, qui terminent une paire de fibres par châssis, ne peuvent pas prendre en charge économiquement des centaines de paires de fibres pour une IA multirégionale. La configuration RLS Hyper-Rail de Ciena promet une densité de fibres multipliée par un ordre de grandeur dans l’emprise des baies existantes, afin d’éviter la multiplication des abris d’amplification.

La page solutions de Ciena décrit explicitement ce continuum : DCI de campus en Coherent-Lite ; DCI métropolitaine en 400ZR/800ZR ; scale-across dédié avec des modules C&L ultra-basse consommation et des systèmes de ligne à routes diversifiées ; puis backbone et sous-marin pour les plus longues distances (avec les annonces de WaveLogic 6 pour des réseaux de classe 1,6 Tb/s).

Peering, fibre noire et routes maillées

L’optique n’a d’intérêt que si des chemins de fibre existent, avec la bonne diversité et les bonnes conditions commerciales. Pour STL Partners, les rafales multidirectionnelles de l’IA cassent le modèle DCI classique en étoile : le trafic doit emprunter des chemins maillés directs entre installations plutôt que de faire des détours par un cœur unique. Les opérateurs considèrent de plus en plus la redondance multi-routes — chez un même fournisseur ou plusieurs — comme obligatoire, et recherchent de la fibre noire pouvant être allumée ou mise à niveau rapidement lorsqu’une campagne d’entraînement s’emballe.

Le livre blanc de Nokia sur le MOFN (managed optical fiber network) décrit le menu commercial que les hyperscalers négocient réellement : longueurs d’onde en bande passante gérée achetées à un opérateur (CSP) ; constructions privées sur fibre noire louée ou détenue, où l’hyperscaler possède le système de ligne et les équipements cohérents ; et modèles MOFN hybrides où le client influe sur la conception tandis que le CSP exploite l’infrastructure. Pour une IA à l’échelle d’un continent, les trajets traversent souvent plusieurs réseaux d’opérateurs, un CSP chef de file assemblant les segments de ses partenaires — du peering au sens optique et commercial, pas seulement du BGP sur un point d’échange Internet.

Les variables de conception de Cisco pour le scale-across sont sans détour : la distance est le premier facteur de dégradation du RDMA ; les fabrics GPU back-end doivent garder un taux de sursouscription plus faible que les fabrics front-end ; les buffers profonds relèvent du cas par cas, pas du dogme ; et l’optique doit correspondre à la portée (FR/DR/LR contre ZR/ZR+ cohérent), vérifiée par des tests plutôt que par l’optimisme des fiches techniques. La méthodologie de son Zeus AI Lab mesure le débit RDMA PerfTest, les opérations collectives NCCL et les métriques de jobs MLPerf sur des topologies d’extension front-end et back-end, de 100 mètres à plusieurs centaines de kilomètres.

En résumé, un réseau IA multi-campus relève autant d’une stratégie de fibre et de peering que d’une stratégie d’ASIC de commutation : des routes diversifiées, une optique maîtrisée et assez de spectre en réserve pour qu’un fourreau coupé ou une tempête d’AllReduce soudaine ne laisse pas en plan un entraînement à un milliard de dollars.

Entraînement synchrone multi-sites : ce que montrent les faits

Peut-on réellement entraîner un modèle unique sur plusieurs campus sans sacrifier l’essentiel de ses FLOPs au WAN ? Les données publiques récentes répondent oui — avec le bon parallélisme et le bon transport.

Logiciel : masquer le RTT

La documentation de NVIDIA NeMo Frameworks 25.02 / Megatron-Core 0.11.0 (billet technique de mai 2025) décrit quatre techniques d’entraînement de LLM multi-data centers : une orchestration adaptative des ressources qui privilégie, sur le WAN, le parallélisme de données et de pipeline tolérant à la latence plutôt que les schémas tenseur/expert très bavards ; un AllReduce hiérarchique qui réduit d’abord à l’intérieur d’un site, effectue l’AllReduce entre sites, puis rassemble localement ; un optimiseur distribué qui fragmente l’état au sein de chaque site et ne synchronise les gradients qu’une fois entre sites ; et des transferts inter-sites par blocs, recouverts par le calcul. Lors d’un entraînement de Nemotron-4 340B sur des sites d’Oracle Cloud à Chicago et Ashburn — distants d’environ 1 000 km, avec un RTT mesuré de 21 ms —, NVIDIA indique que 3 072 GPU (1 536 par site) ont atteint plus de 96 % du débit d’un site unique, l’utilisation des FLOPS du modèle passant seulement de 51 % à 49 %.

Ce résultat ne prétend pas offrir la latence d’un InfiniBand de hall sur mille kilomètres. Il montre que la topologie logicielle peut garder les GPU occupés lorsque la longue distance ne transporte que des phases collectives soigneusement choisies.

Essai terrain optique : 120 km, 800G C+L

À l’OFC 2025, le China Telecom Research Institute a présenté un essai terrain d’entraînement d’un LLM de 175 milliards de paramètres sur 1 024 GPU répartis entre deux data centers distants de 120 km, via un réseau de transport optique WDM 800 Gbit/s C+L à haute fiabilité. L’efficacité d’entraînement a atteint jusqu’à 99,41 % en parallélisme de pipeline et 98,95 % en parallélisme de données. C’est l’une des preuves publiques les plus claires qu’un OTN métropolitain, associé à la bonne stratégie de parallélisme, peut maintenir l’efficacité multi-sites au niveau d’un site unique.

Scale-across paquet : Spectrum-XGS à 10 km

La comparaison NCCL de NVIDIA sur 10 km entre Spectrum-XGS et un Ethernet standard (jusqu’à 1,9 fois plus de bande passante en all-reduce, selon NVIDIA) traite un autre pan du problème : quand le long trajet reste une « fabric Ethernet IA » et non un circuit OTN classique, le contrôle de congestion et le routage adaptatif doivent tenir compte de la distance, faute de quoi les gros messages d’entraînement en pâtissent. Spectrum-XGS partage le matériel Spectrum-X, si bien que scale-out et scale-across forment un seul domaine opérationnel avec une télémétrie de bout en bout — un contraste important avec l’ajout d’un boîtier DCI à buffers profonds sur une fabric IA par ailleurs peu bufferisée.

Pistes de recherche : RDMA sans perte sur DC-OTN

La recherche académique et industrielle continue de s’attaquer aux derniers modes de défaillance du RDMA longue distance : boucles d’ACK allongées, pression sur les buffers de destination et échelles de temps de congestion mêlant intra- et inter-data centers. GeoPipe (arXiv, octobre 2025) démontre un parallélisme de pipeline amélioré sur un réseau de transport optique de data centers compatible RDMA sans perte, entre trois sites, avec de fortes réductions du taux de « bulles » de calcul lorsque la communication inter-data centers est recouverte par le calcul. D’autres propositions de RDMA conscient de l’OTN (par exemple l’adaptation de débit de type MatchRDMA) ciblent les pathologies d’ACK et de buffers du RoCE géodistribué. Ces travaux sont encore jeunes, mais ils convergent vers une même conclusion : pour l’entraînement, le réseau optique IA est un problème de pile complète — DSP, FEC, bufferisation OTN, contrôle de débit des NIC et parallélisme du modèle doivent être conçus ensemble.

Concevoir l’étirement : un plan pratique

Les opérateurs qui assemblent une superfactory distribuée peuvent aborder le problème comme une série de contrats par couches.

1. Classer la portée. Campus (de quelques centaines de mètres à quelques kilomètres), métropole (quelques dizaines de kilomètres) ou région (plusieurs centaines de kilomètres), selon la terminologie de Cisco. L’optique, l’amplification et la possibilité de prolonger la fabric back-end elle-même changent selon le niveau.

2. Décider de ce qui passe par la fibre. Prolonger le front-end pour le stockage et l’orchestration est plus simple que prolonger le back-end sans perte. Beaucoup d’architectures gardent l’essentiel des opérations collectives back-end en local et n’envoient entre sites que des étages de pipeline, des réductions hiérarchiques ou des fragments d’inférence désagrégée — exactement la philosophie d’orchestration de NeMo.

3. Provisionner le spectre et la diversité avant les GPU. Le doublement C+L, les portées uniques assistées par Raman, une densité ILA de classe Hyper-Rail et un maillage à double fourreau sont des décisions optiques qui prennent plus de temps que l’installation des serveurs. Les recommandations de STL Partners sur le maillage et la fibre noire ont leur place sur le chemin critique d’un projet de campus IA, pas dans un ticket de suivi.

4. Mesurer la gigue, pas seulement les bits. Le succès du scale-across, c’est un temps d’exécution prévisible. Mesurez les métriques NCCL et celles des jobs sur l’infrastructure de fibre réelle ; les portées ZR annoncées par les fournisseurs sont nécessaires, mais pas suffisantes.

5. Expliciter le peering commercial. Que vous achetiez des longueurs d’onde gérées, du MOFN ou de la fibre noire que vous allumez vous-même, inscrivez dans le contrat la diversité, les budgets de latence et les droits de montée en capacité en rafale. Le caractère très pointu du trafic IA fait d’une tarification statique au 95e percentile une fausse économie si une vague d’entraînement exige soudain un débit de classe Pb/s entre halls.

Inférence, désagrégation et chemin retour

L’entraînement fait les gros titres, mais les fabrics multi-campus transportent de plus en plus aussi du trafic d’inférence et de service désagrégé. Le prefill peut tourner là où l’électricité est la moins chère ; le decode peut se rapprocher des utilisateurs ; les fragments de cache KV et d’experts peuvent circuler entre halls sur des longueurs d’onde cohérentes initialement allumées pour l’AllReduce. Ce chemin retour obéit à d’autres équations — messages plus petits, latence de queue plus stricte, cycle d’utilisation plus continu —, mais il repose sur le même socle optique et de peering. Les opérateurs qui optimisent l’interconnexion uniquement pour l’entraînement synchrone risquent de sous-dimensionner le maillage d’inférence, celui qui rentabilise réellement les GPU entre deux campagnes d’entraînement.

La formule de Lumentum, « des gigaoctets plutôt que des gigawatts », s’applique aussi ici : déplacer des activations et l’état du cache entre campus coûte souvent moins cher que de dupliquer chaque pool d’accélérateurs dans chaque métropole. Avec un Ethernet conscient de la distance de type Spectrum-XGS pour les courtes portées métropolitaines et du ZR/ZR+ cohérent pour la DCI plus longue, l’usine devient un graphe programmable de halls plutôt qu’une adresse unique. La discipline d’ingénierie reste la même que pour l’entraînement : mesurer des SLO de temps d’exécution sur l’infrastructure de fibre réelle, expliciter la diversité dans les contrats et refuser de traiter le WAN comme un détail une fois les baies remplies.

Perspectives : le réseau devient l’atelier de l’usine

Fin 2026, le tableau stratégique est clair. Le scale-out au sein d’un hall reste essentiel, mais le plafond des usines d’IA est de plus en plus fixé par l’interconnexion de data centers IA — modules cohérents enfichables, systèmes de ligne ouverts, fibre noire et fabrics Ethernet conscientes de la distance —, ainsi que par des logiciels d’entraînement qui tiennent compte de la géographie. Le 800ZR de l’OIF et les travaux émergents sur le 1,6T industrialisent la couche optique ; Ciena, Marvell, Lumentum et leurs concurrents densifient les infrastructures C+L ; NVIDIA Spectrum-XGS et des piles paquet scale-across similaires tentent de garder des opérations collectives saines sans la gigue des buffers profonds ; la communication hiérarchique à la NeMo et les essais terrain présentés à l’OFC montrent qu’un entraînement synchrone multi-sites peut conserver l’essentiel de l’efficacité d’un site unique lorsque le parallélisme est adapté au RTT.

Les gagnants ne seront pas ceux qui louent simplement le plus de longueurs d’onde. Ce seront ceux qui traitent le réseau IA multi-campus comme une partie intégrante du complexe d’accélérateurs : planifié avec la carte de l’électricité, allumé avec un spectre cohérent diversifié, interconnecté pour encaisser les rafales et les pannes, et ordonnancé pour que les GPU attendent les algorithmes — pas la lumière encore en transit entre deux campus.

À lire aussi

• InfiniBand ou Ethernet pour les clusters IA : la guerre des fabrics au cœur de l’usine d’IA
• Microsoft Fairwater et l’essor de la superfactory IA distribuée
• Entraînement à plusieurs milliers de milliards de paramètres : ce que doit offrir la prochaine génération de silicium

< !– Schema.org NewsArticle (CF_SEO) — image paths relative to draft ; replace with absolute CDN URLs at publish –>

Images : illustrations originales créées pour AndBeyond.Tech ; aucun logo ni aucune personne réelle n’y figurent.