InfiniBand vs Ethernet para clústeres de IA: la guerra de fabrics en la fábrica de IA

Dentro de cada fábrica de IA, el argumento silencioso no es solo qué GPU o acelerador a medida gana. Es el fabric GPU que cose miles de aceleradores en un solo job de entrenamiento — y el fabric distinto que sirve inference en el borde del mismo campus. Ese contienda se enmarca a menudo como InfiniBand vs Ethernet IA, pero la realidad 2025–2026 es más matizada: ambos campos envían ya redes scale-out capaces de RDMA a 400G y 800G, ambos persiguen comportamiento lossless y baja latencia de cola, y ambos corren hacia óptica co-empaquetada y diseños multi-site «scale-across».

Este artículo mapea la guerra de fabrics para practicantes que deben elegir — o mezclar a propósito — tecnologías de redes de clústeres de IA. Cubre formas de tráfico entrenamiento frente a inference, latencia y RDMA (incluido RoCE), control de congestión, NVIDIA Quantum InfiniBand y Spectrum-X, Broadcom Tomahawk y Jericho3-AI, el Ultra Ethernet Consortium, coste y operaciones, y la perspectiva de corto plazo. Cada claim numérico abajo está ligado a una fuente listada al final.

Scale-up, scale-out y por qué importa el fabric

Un clúster GPU moderno no es una sola red. El marco de fabric IA de Dell, que encaja con cómo hablan del problema los hiperescaladores, separa al menos cuatro planos: un dominio scale-up (NVLink, Infinity Fabric / xGMI y enlaces similares in-node o in-pod), un fabric scale-out o back-end este–oeste entre nodos, un fabric front-end para almacenamiento y aplicaciones, y una red de management. El debate InfiniBand-frente-a-Ethernet es casi por completo sobre el fabric GPU scale-out — el camino que lleva las comunicaciones colectivas (AllReduce, AllGather, ReduceScatter, all-to-all) mientras un modelo entrena o un grafo grande de inference se shardéa.

La narrativa pública de networking de NVIDIA va más lejos: NVLink para scale-up, Quantum InfiniBand o Spectrum-X Ethernet para scale-out, y Spectrum-XGS para el «scale-across» multi-data-center. La historia de producto importa porque muestra que un solo proveedor trata ya Ethernet e InfiniBand como respuestas paralelas al mismo problema de fábrica de IA, no como religiones mutuamente excluyentes.

Fabrics de entrenamiento frente a fabrics de inference

El entrenamiento y la inference castigan la red de forma distinta.

El entrenamiento distribuido es síncrono, bursty y pesado en colectivas. El write-up SIGCOMM-facing de Meta sobre RoCE para entrenamiento de IA describe baja entropía de flujos, bursts on/off a escala de milisegundos y elephant flows que pueden golpear el line rate de la NIC. Cuando miles de GPU terminan juntos un paso de computación, inundan el fabric con mensajes grandes y repetitivos. La latencia de cola y la micro-congestión estiran directamente el job completion time. Por eso los back-ends de entrenamiento de IA exigen RDMA, topología cuidadosa (a menudo Clos rail-optimized) y o bien credit-based flow control nativo de InfiniBand o una pila RoCE cuidadosamente diseñada con PFC, buffers profundos, adaptive routing o admisión receiver-driven.

La inference es más heterogénea. El serving mono-nodo o multi-GPU pequeño apenas puede tocar el fabric scale-out. El serving de grandes modelos con paralelismo tensor o pipeline, prefill/decode desagregado o movimiento de KV-cache entre nodos sigue necesitando alto ancho de banda y latencia predecible — pero el tráfico suele ser menos sincronizado que un AllReduce full-cluster, y los operadores cuidan más la latencia de cola para time-to-first-token y tokens-per-second bajo carga multi-tenant. NVIDIA posiciona explícitamente Spectrum-X para nubes de IA generativa multi-tenant, con aislamiento de rendimiento como requisito de primer orden — una preocupación con forma de inference y cloud más que una preocupación HPC de entrenamiento mono-tenant clásica.

En la práctica, muchos operadores siguen estandarizando una tecnología back-end para ambas y luego afinan QoS, tenancy y oversubscription. El punto de diseño importante no es el eslogan «InfiniBand para entrenamiento, Ethernet para inference». Es: empatar comportamiento lossless y ancho de banda efectivo al patrón colectivo que realmente se ejecuta, y no asumir que un leaf-spine Ethernet front-end se comportará como un fabric GPU back-end sin RDMA, política de congestión y scheduling topology-aware.

Latencia, RDMA y el puente RoCE

Tanto InfiniBand como el Ethernet IA moderno ganan manteniendo la CPU fuera del data path. El RDMA deja que una NIC remota escriba en memoria registrada (y, con GPUDirect RDMA, a menudo directamente entre memorias GPU). InfiniBand se diseñó en torno a ese modelo. Ethernet alcanzó vía RoCE (RDMA over Converged Ethernet): RoCE v1 era esencialmente InfiniBand sobre un header Ethernet L2; RoCE v2, estandarizado por la InfiniBand Trade Association en 2014, pone RDMA en UDP/IP para que el tráfico pueda enrutarse por fabrics L3 — la forma que los hiperescaladores despliegan de verdad.

La comparación de TrendForce de octubre de 2025, resumiendo el mercado scale-out, sitúa la latencia RDMA nativa de InfiniBand por debajo de unos 2 µs y RoCE v2 por debajo de unos 5 µs en puertos 800 Gbps mainstream, con InfiniBand apoyado en credit-based flow control y RoCE en herramientas Ethernet (incluidos PFC y ECN). Esas cifras son caracterizaciones de analistas de industria, no un resultado de lab universal, pero capturan la brecha cualitativa de la que siguen hablando los operadores: InfiniBand sigue siendo un poco más «nativo», mientras RoCE es «suficientemente bueno» cuando el resto de la pila está codiseñada.

La evidencia pública de Meta es más fuerte que cualquier slide de micro-benchmark. En marzo de 2024 la compañía describió dos clústeres H100 de 24.576 GPU: uno sobre Arista 7800 más OCP Wedge400/Minipack2 RoCE, otro sobre NVIDIA Quantum-2 InfiniBand, ambos a endpoints 400 Gbps. Mediante co-diseño de red, software y arquitectura de modelo —incluido scheduling topology-aware y routing NCCL-aware— Meta reportó entrenamiento GenAI a gran escala exitoso en ambos, incluido el entrenamiento de Llama 3 en el clúster RoCE, sin cuellos de red. Ese solo despliegue debilitó de forma permanente el claim de que solo InfiniBand puede entrenar modelos de frontera a escala.

Control de congestión: créditos, PFC, Spectrum-X y Ultra Ethernet

El mundo InfiniBand basado en créditos

El credit-based flow control de capa de enlace de InfiniBand solo envía cuando el receptor tiene créditos de buffer. Combinado con un subnet manager, adaptive routing y (en plataformas NVIDIA Quantum) colectivas in-network SHARP y control de congestión basado en telemetría, el fabric busca entrega lossless ordenada con ancho de banda determinista. La documentación de la plataforma Quantum-X800 de NVIDIA describe InfiniBand extremo a extremo a 800 Gb/s, switches de 144 puertos, SHARP v4, adaptive routing y control de congestión por telemetría orientado al entrenamiento a escala de billones de parámetros.

La realidad operativa de RoCE

RoCE v2 sobre Ethernet suele depender de Priority Flow Control (PFC) para pausar clases sensibles a pérdida, marcas ECN para notificación de congestión y, históricamente, rate control estilo DCQCN en las NIC. El post de engineering de Meta de agosto de 2024 es inusualmente cándido: tras problemas afinando DCQCN a 400G, Meta corrió entrenamiento de IA en producción durante un periodo prolongado con PFC y sin DCQCN, apoyándose en spines deep-buffer, admisión clear-to-send receiver-driven en el camino colectivo y tratamiento de alta prioridad de paquetes CTS. La lección para desarrolladores no es «apaga el control de congestión», sino que las colectivas de IA necesitan controles carga de trabajo-aware; los defaults DCQCN de la era del almacenamiento no se transfieren automáticamente al entrenamiento GPU.

NVIDIA Spectrum-X

Spectrum-X es la respuesta de NVIDIA cuando el cliente quiere operaciones Ethernet con comportamiento IA tipo InfiniBand. NVIDIA lo describe como entregando alrededor de 1,6× el rendimiento de red de un Ethernet off-the-shelf para IA, con RoCE acelerado, adaptive routing (packet spray coordinado con reordenación / direct data placement SuperNIC), control de congestión e aislamiento de rendimiento para nubes multi-tenant. Spectrum-X empareja switches Spectrum Ethernet con SuperNIC ConnectX y DPU BlueField; Spectrum-XGS extiende la historia entre sites. En el marco de NVIDIA, Quantum InfiniBand sigue siendo la opción de baja latencia para fábrica de IA y HPC con cómputo in-network, mientras Spectrum-X apunta a nubes de IA Ethernet.

Broadcom Tomahawk y Jericho3-AI

Broadcom ataca el mismo problema desde silicio de mercado. Tomahawk 5 (clase 51,2 Tbps, hasta 64×800GbE en materiales de networking IA de Broadcom) ancla fabrics endpoint-scheduled: NIC y endpoints schedulean; los switches Tomahawk de alto radix forwardan con load balancing dinámico/adaptativo. Jericho3-AI (BCM88890) ancla fabrics switch-scheduled con spines Ramon: Broadcom documenta hasta 18×800GbE (o 36×400GbE) de puertos network-facing por dispositivo, soporte RoCEv2, load balancing cell-based perfecto, scheduling extremo a extremo para limitar el head-of-line blocking, y claims de scaling del orden de decenas de miles de aceleradores 800G en un fabric scheduleado (Broadcom cita 32.000 × 800G en su white paper AI/ML y materiales de producto). El post de networking OCP 2024 de Meta muestra ambas familias en diseños a hiperescala: leaves de distributed switch fabric basadas en Jericho3-AI y switches Minipack3 51,2T basados en Tomahawk5.

La tabla de silicio TrendForce 2025 también sitúa Broadcom Tomahawk 6 en 102,4 Tbps (1,6 Tbps/puerto × 64) con funciones orientadas a Ultra Ethernet como multipath packet spraying, link-layer retry y opciones de credit-based flow control — evidencia de que el silicio Ethernet está absorbiendo mecanismos largo asociados a InfiniBand.

Ultra Ethernet Consortium

El Ultra Ethernet Consortium (UEC), lanzado en 2023 con miembros fundadores que incluyen AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta y Microsoft, publicó la Specification 1.0 el 11 de junio de 2025: un enfoque Ethernet de pila completa para IA y HPC con transporte estilo RDMA moderno, interoperabilidad multi-proveedor y escalabilidad declarada hacia millones de endpoints. La Specification 1.1 (12 de octubre de 2026) añade optimizaciones scale-up (incluido un Unified Forwarding Header que el UEC dice ahorrar 20 bytes frente a un paquete IP tradicional), mapeo UET Verbs para compatibilidad de aplicaciones, colectivas in-network opcionales, tags de telemetría in-band Congestion Signaling (CSIG) y APIs Programmable Congestion Management. El UEC no es «RoCE con un logo nuevo»; es un intento de estandarizar el próximo transporte Ethernet para IA para que los operadores no queden locked-in en las extensiones RoCE propietarias de un solo proveedor.

Coste, operaciones y paisaje de proveedores

Las comparaciones de coste son donde más divergen los libros blancos de proveedor — y donde los compradores deben exigir bills of materials apples-to-apples. La tabla TrendForce 2025 caracteriza el coste de hardware InfiniBand como aproximadamente 3× Ethernet en puertos 800G mainstream comparables (estimación de analista, no una lista de precios pública). La guía de fabric equilibrado de Dell insiste en costes más blandos: familiaridad del staff con Ethernet, competencia multi-proveedor y la capacidad de reutilizar switches Ethernet envejecidos en front-end, almacenamiento o fabrics de management; InfiniBand suele ganar en un bring-up back-end más rápido out-of-box (subnet manager frente a un tuning extenso RoCE/PFC/ECN) y tooling operativo Unified Fabric Manager. Broadcom argumenta que mayor radix y ancho de banda Ethernet reducen tiers, óptica y potencia para clústeres grandes; NVIDIA argumenta que la capacidad de cómputo in-network de Quantum y el co-diseño extremo a extremo de Spectrum-X elevan el ancho de banda efectivo y acortan el tiempo de job lo bastante para recuperar el silicio premium.

El mapa de proveedores a finales de 2026 se parece aproximadamente a esto:

Cisco, Marvell y otros publican benchmarks de fabric IA frente a InfiniBand y Spectrum-X; trátenlos como proveedor-sponsored hasta reproducirlos en su topología. El hecho duradero es la competencia: el Ethernet de IA ya no es un science project, e InfiniBand ya no es el único fabric GPU serio.

Lo que muestran de verdad los datos de lab y producción

Los micro-benchmarks de proveedor pueden hacer que InfiniBand y Ethernet parezcan intercambiables en un gráfico de latencia two-node. La producción cuenta una historia más ruidosa. La narrativa pública de tuning AllGather de Meta para sus clústeres de 24k GPU es instructiva: la utilización de ancho de banda colectivo large-cluster listo para usar fue inicialmente inconsistente —a veces muy por debajo del rango 90 %+ visto en clústeres pequeños optimizados— hasta que el scheduling topology-aware y el routing NCCL-aware restauraron el rendimiento large-cluster al régimen small-cluster. Es un finding de operaciones tanto como de silicio: el fabric GPU solo entrega después de que scheduler, entropía de routing y biblioteca colectiva coincidan.

Un estudio workshop SC ’25 que compara RDMA over Converged Ethernet con InfiniBand para entrenamiento LLM insiste igualmente en la configuración. Los autores reportan que RoCE puede lograr scaling casi lineal comparable a InfiniBand cuando está bien configurado, y que el RDMA —sobre Ethernet o InfiniBand— importa mucho más que TCP/IP para el comportamiento de scaling de grandes modelos. Los posts de fabric AI/ML Silicon One de Cisco también enmarcan Ethernet como competitivo cuando el load balancing dinámico y el packet spray se miden contra baselines Spectrum-X e InfiniBand en pods H100 densos. Ninguno de estos resultados da carta blanca al Ethernet leaf-spine commodity sin engineering RoCE; sí autorizan un RFP basado en evidencia que puntúe el ancho de banda efectivo bajo carga colectiva, no la lealtad de marca.

Para nubes de IA pesadas en inference, añadan pruebas noisy-neighbor. El posicionamiento Spectrum-X de NVIDIA y los argumentos Ethernet multi-tenant de Dell implican ambos que el aislamiento de rendimiento bajo jobs concurrentes es un requisito de primer orden. Un fabric que gana un soak test de entrenamiento dedicado puede seguir perdiendo cuando tenancy, bursts de almacenamiento y chatter del control-plane comparten buffers. Presupuesten tiempo para soak tests multi-job antes de cortar una orden de compra.

Perspectiva: coexistencia, CPO y scale-across

El equilibrio de corto plazo es la coexistencia, no un KO. InfiniBand retiene un fuerte agarre dondequiera que los clústeres de entrenamiento mono-tenant prioricen colectivas SHARP, comportamiento lossless listo para usar y la pila completa de NVIDIA. Ethernet —RoCE hoy, Ultra Ethernet mañana— sigue ganando cuota dondequiera que los operadores quieran licitaciones abiertas, talento de networking compartido, multi-tenancy y reutilización across roles front-end y back-end. Meta ya demostró que RoCE puede entrenar modelos clase Llama; UEC 1.1 intenta convertir esa clase de rendimiento en un estándar multi-proveedor más que en un ejercicio de co-diseño heroico.

Dos tendencias de capa física remodelarán ambos campos. Primero, la óptica co-empaquetada (CPO) y la fotónica de silicio mueven la óptica al package del switch para recortar potencia y reach a medida que las velocidades de puerto suben hacia 1,6T; TrendForce y NVIDIA describen ambos hojas de ruta CPO en plataformas Quantum y Spectrum, mientras Broadcom ha enviado generaciones sucesivas Tomahawk CPO. Segundo, el scale-across —enlazar fábricas de IA entre edificios o campus con long-haul óptico y comportamiento congestión/NCCL especializado— extiende la guerra de fabrics más allá de una sola sala. Los claims Spectrum-XGS de NVIDIA y el messaging industria «scale-across» de agosto de 2025 (según resume TrendForce) muestran que el próximo cuello tras el leaf-spine puede ser la fibra metro entre salas.

Para desarrolladores que escriben RFP hoy, una lista de comprobación pragmática gana a la lealtad tribal:

1. Perfilen la carga. Entrenamiento LLM síncrono, all-to-all mixture-of-experts e aislamiento de inference multi-tenant son fabrics distintos aunque compartan un ASIC switch.
2. Exijan RDMA extremo a extremo en el back-end (InfiniBand o RoCEv2/UE), más caminos clase GPUDirect donde aplique.
3. Prueben colectivas, no solo ping. El job completion time NCCL/RCCL bajo fallo y bajo ruido multi-job importa más que la latencia en vacío.
4. Precifiquen el sistema entero: switches, óptica, NIC/SuperNIC, spares, potencia y la gente que pueda depurar tormentas PFC o eventos de subnet manager a las 3 a. m.
5. Pregunten por el camino de estándares. Extensiones RoCE, funciones Spectrum-X, scheduling Jericho y CSIG/INC UEC 1.1 no interoperarán todos el día 1 — planifiquen islas o insistirán en compromisos multi-proveedor por escrito.

Conclusión

InfiniBand vs Ethernet para IA ya no es una jerarquía simple de rendimiento. InfiniBand sigue ofreciendo un camino credit-based, acelerado por SHARP y estrechamente integrado que muchas fábricas de IA prefieren para entrenamiento dedicado. Ethernet —con RoCE en producción a escala Meta, Spectrum-X para nubes de IA Ethernet de NVIDIA, fabrics scheduleados Broadcom Tomahawk/Jericho y especificaciones UEC 1.0/1.1— ha cerrado lo bastante la brecha para que coste, operaciones, multi-tenancy y estrategia de proveedor decidan a menudo el RFP. La verdadera «guerra de fabrics dentro de la fábrica de IA» es una guerra de sistemas: topología, control de congestión, bibliotecas colectivas, óptica y scheduling deben diseñarse juntos. Elijan el fabric GPU que su carga, staff y hoja de ruta puedan operar de verdad a pleno ancho de banda efectivo — no el que gana un micro-benchmark de slide deck.

Lecturas relacionadas

• Red multi-campus de IA: scale-across entre fábricas
• Entrenamiento multi-billones de parámetros: qué debe entregar el próximo silicio
• Microsoft Fairwater y la superfactory de IA distribuida

Imágenes: ilustraciones originales creadas para AndBeyond.Tech; no aparecen logotipos ni personas reales.