InfiniBand vs RoCE vs Ethernet classique : Choisir l’infrastructure réseau en 2026

Trois options de transport reviennent systématiquement dans les appels d'offres pour les clusters d'IA multi-nœuds : InfiniBand, RoCE et Ethernet TCP/IP classique. Il ne s'agit pas de trois points sur une même ligne, mais de trois philosophies d'ingénierie différentes : une architecture HPC sans perte par conception, un Ethernet optimisé pour la réduction des pertes et l'architecture réseau courante utilisée par le reste du système informatique. Chacune de ces options présente des coûts, des empreintes opérationnelles et des solutions optimales très différentes selon l'application visée.

Cet article détaille chaque option, explique où vont réellement la latence et les coûts en 2026, et où se situe la limite entre « nous avons besoin de RDMA » et « nous avons besoin de RDMA et d'InfiniBand spécifiquement ». Nous terminons par une matrice de décision simple.

Public cible : personnes chargées de dimensionner un cluster d’IA de 2 à 32 nœuds et cherchant à déterminer si le coût d’un commutateur InfiniBand est justifié ou non. Voir aussi : N01 pour les bases du 25/100 GbE, N06 pour le budget de latence sous-jacent, N07 pour les boutons de routage, et N08 pour la mise en service pratique du RDMA.

Trois tissus, ce que chacun est réellement

InfiniBand natif est une infrastructure HPC conçue à cet effet. La couche liaison est sans perte par conception : le contrôle de flux basé sur le crédit garantit qu'un émetteur ne transmet jamais à moins que le récepteur ne dispose d'espace tampon suffisant. Ainsi, les paquets ne sont pas perdus en cas de congestion, contrairement à ce qui se produit avec Ethernet. Le routage est centralisé : chaque infrastructure possède un gestionnaire de sous-réseau (un opensm Il s'agit d'un processus (ou d'un SM intégré sur un commutateur géré) qui attribue des LID, calcule les chemins et se reconfigure en cas de changement de topologie. L'interface d'application est l'API des verbes. ibv_post_send, paires de files d'attente, files d'attente d'achèvement, régions de mémoire — la même API que le reste du monde RDMA a empruntée.

En 2026, la génération déployée sera la NDR (400 Gbit/s par port, commutateurs ConnectX-7 et Quantum-2). La XDR (800 Gbit/s, ConnectX-8 et Quantum-X800) est actuellement livrée aux hyperscalers et aux laboratoires d'IA ; l'IBTA a publié la spécification XDR en 2023 et les puces sont désormais produites en masse. La latence de commutation est inférieure à 100 ns sur les puces NDR traversantes, la plus faible disponible sur le marché, et ce depuis vingt ans, avec un facteur quatre environ le plus bas.

RoCEv2 (RDMA sur Ethernet convergé, version 2) est la même API de verbes RDMA exécutée sur UDP/IP sur Ethernet. La puce NIC est, sur un ConnectX-7 ou ConnectX-8, la puce exactement identique comme la version InfiniBand — un indicateur de firmware (LINK_TYPE_P1 = 1 pour l'IB, 2 Pour Ethernet, cela permet de basculer entre différents modes. Ce qui n'est pas gratuit : Ethernet est par défaut avec perte de transmission, tandis que RDMA suppose un transport sans perte. Un déploiement RoCE nécessite donc que l'infrastructure se comporte comme InfiniBand au niveau de la couche liaison, ce qui implique un contrôle de flux prioritaire (PFC) pour le freinage d'urgence à court terme, un ECN pour le signal de congestion à long terme et une boucle de contrôle comme DCQCN qui les relie. C'est ce travail de configuration — et le risque opérationnel — qui distingue RoCE d'Ethernet classique. Correctement implémenté, RoCEv2 offre une latence très proche de celle d'InfiniBand : 1.5 à 2.5 µs pour le RTT RDMA sur le même commutateur, contre environ 1 µs pour InfiniBand.

Ethernet TCP/IP simple Le reste du monde utilise une API Sockets, une pile réseau noyau, sans RDMA ni garantie de transmission sans perte. Les performances se situent dans une plage de latence de 10 à 30 µs par voie. N06Le débit est suffisant pour les transferts de données volumineux, et le processeur est sur le chemin des données. Cette architecture est adaptée au trafic de gestion, aux téléchargements de modèles, à la télémétrie et à la liaison Gigabit entre votre robot et votre serveur d'inférence. Elle n'est cependant pas adaptée aux calculs AllReduce de gradient synchrones sur 16 GPU.

Comparaison des titres

Considérez le coût relatif, et non absolu. En réalité, le prix par port d'un commutateur InfiniBand NDR est environ 2 à 3 fois supérieur à celui d'un commutateur Ethernet équivalent de qualité IA (Spectrum-X, Tomahawk 5/6). La carte réseau elle-même est identique dans les deux cas ; la différence réside dans la licence et le contrat de support.

Où se situe la latence ?

N06 prend un aller-retour RDMA microseconde par microseconde. Voici la version condensée, pertinente pour cette comparaison :

InfiniBand l'emporte sur la latence des ASIC de commutation ; c'est le seul écart qui persiste. Les commutateurs Ethernet IA modernes (Spectrum-X SN5600 / Tomahawk 5) atteignent une latence par saut de l'ordre de 400 à 600 ns, ce qui est suffisamment compétitif pour que, sur une architecture leaf-spine à deux sauts, la différence absolue soit de l'ordre de 1 µs. Ceci est crucial pour les opérations collectives étroitement liées au parallélisme des tenseurs. En revanche, cela n'a pas d'incidence sur les lectures de stockage ni sur l'inférence par lots.

La colonne relative au protocole TCP simple est celle qui effraie ceux qui ne connaissent la latence que par le biais des sockets. Le coût du noyau de 10 à 30 µs par trajet est calculé par paquet ; sur un réseau de messagerie collective de petite taille avec de nombreux allers-retours, ce coût s'accumule rapidement. L'utilisation de NCCL sur TCP est fonctionnelle, mais elle doit être envisagée en dernier recours.

Bande passante et réalité du NIC

En 2026, la même famille de cartes couvre à la fois InfiniBand et RoCE :

En bref : une carte ConnectX-7 achetée pour IB est identique à celle achetée pour RoCE. Son prix catalogue début 2026 se situe entre 1 500 € et 2 200 € pour une carte NDR à port unique ; la référence de la variante ne fait que préconfigurer le firmware. C’est pourquoi, dans la plupart des clusters, le passage d’IB à RoCE ne nécessite pas le rachat de la carte réseau : il s’agit d’une simple mise à jour du firmware, d’un changement d’émetteur-récepteur et d’une modification de la matrice de commutation.

Du côté d'AMD, la Pensando Pollara 400 (désormais intégrée aux plateformes MI300X/MI325) est la première carte réseau RDMA non-NVIDIA crédible déployée en production dans des applications d'IA. Broadcom a annoncé une carte réseau IA 800G pour 2025 (génération Thor Ultra/Thor 3). Pour la première fois depuis dix ans, le marché des cartes réseau RDMA n'est plus dominé par un seul fournisseur.

Les commutateurs : là où se trouve réellement l'argent

Le prix de la carte réseau est sensiblement le même quel que soit le mode. Ce n'est pas le cas du commutateur.

Le surcoût de 2 à 3 fois par port pour InfiniBand est stable depuis des années. Il s'agit d'un coût réel : un commutateur Quantum-2 NDR à 64 ports coûte entre 120 000 € et 180 000 € selon l'optique et le support ; un Spectrum-X SN5600 à 64 ports avec un nombre de ports similaire coûte entre 60 000 € et 90 000 € ; un Tomahawk 5 générique d'un OEM taïwanais peut coûter deux fois moins cher. Si l'on ajoute l'optique (les émetteurs-récepteurs OSFP NDR coûtent entre 600 € et 1 200 € l'unité en grande quantité), l'écart de coût total par port se creuse encore.

Là où il le fait pas Pour les liaisons internes, on utilise principalement des câbles optiques actifs (AOC) et des câbles cuivre à connexion directe (DAC). Un câble DAC de 3 m coûte environ 100 à 200 € dans les deux écosystèmes. Le coût des optiques devient vraiment important au-delà de 5 m environ, lorsqu'il faut des émetteurs-récepteurs SR/LR aux deux extrémités.

Le point de vue Spectrum-X : la présentation de l’« Ethernet IA » de NVIDIA

La réponse stratégique de NVIDIA à l'évolution vers Ethernet est Spectrum-X : un ensemble de puces de commutation Spectrum-4 (et désormais Spectrum-5), de cartes réseau BlueField/ConnectX et d'une solution de contrôle de la congestion de bout en bout qu'ils appellent « routage adaptatif + équilibrage de charge basé sur la télémétrie ». Selon leurs arguments marketing, Spectrum-X offre des performances AllReduce de classe InfiniBand sur Ethernet, validées sur des charges de travail réelles d'entraînement d'IA.

La réalité mesurée, issue des propres benchmarks de NVIDIA et de ceux de tiers :

• Spectrum-X comble environ 80 à 90 % de l'écart de performance entre AllReduce et InfiniBand NDR sur les charges de travail NCCL. L'écart restant est dû aux petits messages et aux comportements extrêmes en fin de chaîne.
• Le routage adaptatif par paquet (qui répartit les paquets sur plusieurs chemins et les réordonne à la réception) est la clé du succès. Le protocole ECMP standard hache les flux entiers, ce qui, pour une charge de travail d'IA à faible volume de flux, crée des points chauds. Spectrum-X s'affranchit de cette hypothèse de hachage des flux.
• Cela ne fonctionne qu'en pile. Si vous utilisez une carte réseau non-NVIDIA avec un commutateur Spectrum, le chemin de télémétrie de routage adaptatif est interrompu. C'est le compromis de la dépendance : vous sortez de l'écosystème InfiniBand pour y revenir ensuite via Ethernet.

En toute franchise : Spectrum-X est une véritable solution technique à un problème concret. Elle permet également à NVIDIA de rester impliquée à chaque étape d'un cluster d'IA, ce que les hyperscalers ont précisément cherché à éviter en optant pour Ethernet. La pertinence de ce choix dépend de l'opportunité de sacrifier la liberté d'intégration au détriment d'un écart de performance résiduel de 10 à 20 %.

L'alternative à NVIDIA est l'Ultra Ethernet (UEC 1.0), dont la spécification a été publiée en 2025 et qui bénéficie du soutien d'AMD, Broadcom, Cisco, HPE, Intel, Meta et Microsoft. Ce protocole offre le multipath, l'équilibrage de charge au niveau des paquets, la gestion de la congestion du réseau et une API ouverte. Les cartes réseau Pensando Pollara et Broadcom Thor 3 sont les premières à intégrer l'UEC. À partir de mi-2026, il s'agit de la solution Ethernet multiplateforme crédible pour l'IA, ne nécessitant pas l'ensemble de la suite NVIDIA.

Contexte des hyperscalers (et ce que cela signifie pour le reste d'entre nous)

Le constat majeur de ces deux dernières années : les géants du cloud ont largement délaissé InfiniBand. Meta a entraîné Llama 3 sur RoCE. L’infrastructure d’IA d’AWS repose entièrement sur Ethernet. Les pods TPU de Google ont toujours été personnalisés, mais ses parcs de GPU sont connectés à Ethernet. Microsoft Azure utilise une architecture hybride et investit massivement dans Ethernet pour ses nouvelles infrastructures. Début 2026, environ 70 % des nouveaux déploiements d’infrastructures d’IA ont opté pour Ethernet plutôt qu’InfiniBand, selon les résultats financiers de Broadcom, contre environ 80 % en 2023.

La conclusion publiée par Meta était sans équivoque : correctement paramétrées, les solutions RoCEv2 et InfiniBand offrent des performances d’entraînement équivalentes pour leurs charges de travail respectives. Le changement ne réside pas dans les performances brutes, mais dans la propriété des puces, la composition des équipes SRE, l’approvisionnement en composants et l’intégration du modèle opérationnel au reste du centre de données.

Pour le reste d'entre nous, qui n'utilisons pas de serveurs d'entraînement à 10 000 GPU, trois choses comptent :

1. La question de savoir si « Ethernet peut faire de l'IA » est réglée. C'est possible. La RoCEv2, avec ses puces de commutation IA modernes et sa gestion efficace de la congestion, est prête pour la production. Les fournisseurs de services cloud l'ont prouvé. Vous n'avez plus besoin de justifier ce choix dans un appel d'offres.
2. L'expertise opérationnelle a évolué avec le silicium. Il y a cinq ans, trois personnes dans votre pays étaient capables de configurer une architecture InfiniBand et une seule de régler correctement le PFC/DCQCN sur RoCE. Aujourd'hui, les compétences RoCE sont bien plus répandues, tandis que celles concernant InfiniBand sont concentrées dans les laboratoires de calcul haute performance et chez les partenaires de NVIDIA. Prévoyez vos effectifs en conséquence.
3. La situation liée à la dépendance vis-à-vis des fournisseurs s'est inversée. InfiniBand a toujours été un service mono-fournisseur (NVIDIA, anciennement Mellanox). L'Ethernet était l'alternative ouverte, jusqu'à ce que Spectrum-X propose également une solution Ethernet de bout en bout basée sur NVIDIA. La solution véritablement neutre en 2026 sera le RoCE de classe UEC avec des puces Broadcom ou AMD.

Quand InfiniBand est le bon choix

InfiniBand est la solution idéale lorsque la plupart de ces conditions sont remplies :

• Cluster d'entraînement dédié, plus de 16 nœuds, Exécution de gradients synchrones AllReduces à des cadences soutenues. L'avantage en termes de latence sur les petits ensembles de données s'accroît sur des milliers d'itérations.
• Vous achetez de toute façon des systèmes NVIDIA HGX ou DGX. Ces cartes mères sont conçues pour fonctionner selon les normes NDR/XDR. L'intégration de l'Ethernet sur un nœud DGX est complexe à mettre en œuvre.
• Vous disposez d'une expertise interne qui connaît le gestionnaire de sous-réseau, peut lire ibtracert Il maîtrise la production et est à l'aise avec la gestion UFM de NVIDIA.
• Le budget permet une surprime de 2 à 3 fois par port pour les commutateurs sans rompre les liens économiques du cluster.
• Ce regroupement de bâtiments constitue leur unique raison d'être. Un déploiement HPC/IA pur, sans stockage partagé ni trafic applicatif : InfiniBand simplifie le modèle opérationnel car il n’y a pas d’argument QoS à prendre en compte.

Si trois de ces cinq points correspondent à votre configuration, InfiniBand justifie son prix. Si un seul correspond, vous payez pour une technologie optimisée pour un autre besoin.

Quand RoCEv2 est l'appel pragmatique

Le RoCE est la solution idéale pour la plus grande partie de la clientèle de Kentino :

• 4 à 16 nœuds, charge de travail mixte, Formation, inférence et stockage sur le même support.
• Économique mais conforme à la norme RDMA. Le cluster effectue suffisamment d'entraînements multi-nœuds ou d'inférences distribuées pour que la surcharge de la pile du noyau du TCP simple soit inacceptable, mais la prime du commutateur InfiniBand l'est.
• Infrastructure partagée avec le trafic non lié à l'IA. Les opérations, le stockage et l'accès des développeurs reposent tous sur le même réseau Ethernet. RoCE coexiste avec celui-ci ; InfiniBand nécessite sa propre couche physique.
• Vous souhaitez avoir le choix parmi plusieurs fournisseurs. Il est possible d'associer des commutateurs Broadcom à des cartes réseau NVIDIA et à des nœuds AMD MI300. L'écosystème Ethernet le permet ; l'écosystème InfiniBand ne le permet pas.
• L'équipe possède déjà une solide expertise opérationnelle en matière d'Ethernet. Le réglage du PFC/ECN demande un véritable travail, mais il repose sur une base que tout le monde connaît déjà. Le SM que vous avez en tête correspond au plan de contrôle L2/L3 que vous utilisez depuis des années.

Le piège à signaler : RoCEv2 mal configuré est pire que le TCP simple. Les tempêtes de pauses PFC sur une infrastructure non segmentée peuvent mettre hors service le plan de gestion. Des seuils ECN mal configurés produisent une infrastructure qui semble saine lors d'un test de performance, mais qui s'effondre sous une charge AllReduce réelle. N08Attention : configurer manuellement le PFC sur un serveur générique est un projet complexe. Privilégiez un fournisseur proposant des modèles RoCE validés (NVIDIA Spectrum-X, Arista, Cisco Nexus 9000 avec le profil de service AI Fabric) ou faites appel à un professionnel expérimenté.

Quand un simple réseau Ethernet TCP/IP suffit

L'Ethernet pur — sans RDMA, sans PFC, sans réglage DCQCN, juste des sockets et la pile du noyau — est la bonne réponse plus souvent qu'on ne le reconnaît :

• Serveur mono-nœud 4× ou 8× GPU. Le trafic inter-GPU reste sur PCIe ou NVLink à l'intérieur du châssis. Le réseau sert uniquement à l'acheminement des données d'entraînement, à l'exportation des pondérations des modèles et à la transmission des données de télémétrie. Une liaison 25 GbE ou une liaison 100 GbE suffit.
• Inférence par groupes avec une coordination inter-nœuds légère. La latence par requête est principalement due au calcul du GPU ; 10 µs de réseau constituent du bruit.
• Laboratoire à usage mixte, Atelier de robotique, environnement de développement. Le cluster n'exécute pas d'entraînement synchrone continu. RDMA est surdimensionné.
• Configurations robotiques et d'IA embarquée comme décrit dans I01 — Le robot communique avec un serveur d'inférence, la latence est de l'ordre de quelques centaines de millisecondes, l'infrastructure est invisible.

Pour la plupart des clients de Kentino, le constat est clair : si vous achetez un seul K-AI 256 Turin Dual avec 8 cartes graphiques RTX 5090, vous n’avez besoin ni d’InfiniBand ni même de RoCE. Deux liaisons 100 GbE vers un commutateur de centre de données standard, les trames jumbo activées et le réglage par défaut du noyau : voilà la solution idéale, et elle coûte cinq fois moins cher que l’alternative.

L'avis honnête de Kentino

Nous vendons à des clients qui construisent des clusters de 1 à 8 nœuds avec des GPU grand public et professionnels (5090, 4090, RTX Pro 6000 Blackwell). Nous ne ciblons ni le marché de l'hyperscale, ni celui du HPC. Pour cette configuration :

• Boîtier mono-nœud 8 GPU : simple interface 25/100 GbE. Terminé. Pas de RDMA, pas de surcharge réseau. La bande passante intéressante se trouve à l'intérieur du châssis sur PCIe Gen5 ; la liaison externe est dédiée à l'acquisition et à la gestion des données.
• Cluster de 2 à 4 nœuds avec entraînement distribué occasionnel : RoCEv2 sur 100 GbE avec un modèle de commutateur IA pris en charge par le fournisseur. Spectrum-X si vous souhaitez une solution validée par NVIDIA ; Tomahawk 5 / Arista si vous préférez une solution multi-constructeurs. Prévoyez deux semaines pour la mise en service correcte du PFC/ECN. nccl-tests validation.
• Cluster d'entraînement soutenu de 4 à 8 nœuds : RoCEv2 sur 200 ou 400 GbE, avec le plan de gestion entièrement séparé. Il s'agit du point optimal pour la courbe de coût par port ; la différence par rapport à IB à cette échelle n'est pas suffisante pour justifier le surcoût du commutateur, sauf si la charge de travail est exceptionnellement sensible à la latence.
• Au-delà de 8 nœuds, entraînement intensif soutenu avec AllReduce : InfiniBand commence à mériter d’être pris en considération. Ce n'est pas automatique ; il faut le mesurer. Mais à cette échelle, la simplicité d'utilisation (« la structure est sans perte, le SM gère le routage, le NCCL fonctionne sans problème ») justifie pleinement l'investissement.
• Tout ce qui est véritablement à l'échelle DGX : pas nous. Achetez HGX, acceptez le pack InfiniBand.

---

Ceci fait partie du Kentino Wiki, une série de référence sur le calcul en intelligence artificielle et les systèmes qui le connectent. Les corrections sont les bienvenues. info@kentino.com.