Ethernet pour l'IA : Principes fondamentaux du 25/100/400 GbE

Ethernet est l'infrastructure par défaut pour tout cluster d'IA construit en dehors d'un hyperscaler. Ce n'est pas toujours l'option la plus rapide sur le papier. N02 Nous défendrons InfiniBand là où il est réellement avantageux — mais c'est l'option qui existe partout, qui prend en charge tous les outils connexes, qui coûte le moins cher par gigabit et qui ne vous lie à rien.

Pour les clusters de niveau Kentino (serveurs d'inférence mono-nœud, plateformes d'entraînement de 2 à 8 nœuds, petits laboratoires de recherche), l'Ethernet est quasiment toujours la solution idéale. Les questions essentielles sont : quel niveau de débit choisir ? Quelle carte réseau ? Cuivre ou fibre ? Et quel est le coût réel de chaque option supérieure ? Cet article y répond en toute transparence, avec des tarifs basés sur les prix de mi-2026.

Si vous déployez un seul serveur à 4 ou 8 GPU dédié à l'inférence, vous pouvez vous contenter de consulter le tableau des coûts en bas de page. La suite de cet article concerne les planificateurs multi-nœuds.

Pourquoi Ethernet l'emporte par défaut

Trois raisons, classées par ordre de fréquence à laquelle elles influencent réellement la décision :

1. Écosystème. Chaque serveur, commutateur, boîtier de stockage et orchestrateur utilise Ethernet. Les pilotes sont intégrés au noyau. Les outils de surveillance le supposent. Le premier jour d'un nouvel employé n'est pas consacré à lui expliquer InfiniBand.
2. Coût par gigabit. Un port de commutateur 100 GbE coûte environ quatre fois moins cher qu'un port InfiniBand HDR équivalent. Les convertisseurs numérique-analogique (DAC) et les émetteurs-récepteurs sont des produits courants. L'offre de cartes réseau est assurée par plusieurs fournisseurs (NVIDIA, Broadcom, Intel), ce qui contribue à maintenir des prix compétitifs. InfiniBand, quant à lui, est fourni par un seul fabricant.
3. Aucun verrouillage du tissu. Ethernet est un protocole de transport. Les commutateurs modernes gèrent le trafic TCP, RoCE, NVMe-oF et du plan de gestion sur le même câble avec une QoS optimale. InfiniBand s'inscrit pleinement dans la feuille de route de NVIDIA.

En contrepartie, l'Ethernet pour l'IA nécessite un réglage plus précis pour atteindre les mêmes performances qu'InfiniBand, qui offre un débit filaire dès sa mise en service. RoCEv2, PFC, ECN, DCQCN : toutes ces fonctionnalités sont configurables sur Ethernet, mais préconfigurées sur InfiniBand. N02 et N08 Couvrir ce combat.

Niveaux de vitesse et quand chacun est pertinent

L'erreur la plus fréquente concernant les devis de niveau Kentino est de surdimensionner la liaison. Un commutateur 400 GbE pour un serveur d'inférence à 8 GPU représente un gaspillage d'argent. Une liaison 10 GbE entre deux nœuds d'entraînement gaspille du temps GPU. C'est le schéma ci-dessous qui est pertinent.

Trois choses à intérioriser :

• Le 25 GbE n'est pas adapté à l'infrastructure d'IA. Il sert à tout ce qui l'entoure : administration, télémétrie, liaison avec le serveur de stockage lorsque celui-ci ne se trouve pas sur la même infrastructure RDMA. Qualifier le 25 GbE de « couche IA » est révélateur du fait que le fournisseur ne comprend pas la charge de travail.
• 100 GbE est la norme de base raisonnable pour les architectures multi-nœuds. En dessous de ce seuil, la synchronisation des gradients se bloque à chaque itération. Au-dessus, la question est de savoir si vos GPU peuvent générer des données suffisamment rapidement pour saturer la bande passante. Pour les systèmes mono-nœud Blackwell 5090 / RTX Pro 6000 effectuant des tâches de réglage fin, 100 GbE suffisent généralement.
• Le 400 GbE n'est rentable que pour les formations réelles multi-racks. Deux nœuds à 8 GPU effectuant un travail de réglage fin de 70 milliards de données n'en ont pas besoin. Seize nœuds effectuant un pré-entraînement sur du texte tokenisé, si.

L'interface 800 GbE existe, les puces sont disponibles (ConnectX-8, Thor Ultra), mais son déploiement reste pour l'instant réservé aux hyperscalers et aux serveurs de classe B200. À noter : il est peu probable qu'elle soit intégrée à une infrastructure Kentino en 2026.

familles NIC qui expédient réellement

En 2026, le marché des cartes réseau est dominé par la gamme ConnectX de NVIDIA, Broadcom et Intel se partageant le reste. Marvell, AMD/Pensando et quelques cartes Broadcom rebadgées existent, mais apparaissent rarement dans les nomenclatures Kentino.

Les choix les plus judicieux pour un travail du niveau de Kentino :

• Intel E810-CQDA2 Pour un client souhaitant une connexion 100 GbE à un prix abordable et acceptant que l'optimisation RoCE soit plus complexe qu'avec Mellanox. Prix public conseillé : environ 700 à 900 €.
• ConnectX-6 Dx Pour toute liaison 100 GbE nécessitant une exécution fiable de RoCE. Supplément de 1 100 € à 1 500 €. Solution à 90 %.
• ConnectX-7 Lorsque la plateforme est PCIe Gen 5 et que le 200 ou le 400 GbE est justifié par une véritable infrastructure multi-nœuds, la carte OSFP NDR400 à port unique est disponible aux alentours de 1 650 € et permet de basculer entre IB et Ethernet via le firmware — une fonctionnalité utile en cas de migration ultérieure de l'infrastructure.
• BlueField-3 et ConnectX-8 existent ; si vous êtes en train de les spécifier, vous ne lisez pas cet article.

PCIe représente le plafond silencieux. Une carte réseau 100 GbE dans un emplacement Gen 3 x8 fonctionne à la vitesse de liaison et à la moitié de sa vitesse réelle. La règle est la suivante :

Sur les plateformes EPYC 8 GPU de Kentino, les GPU occupent la majeure partie des ports x16 Gen 4/5 ; la carte réseau se retrouve dans un port x8 Gen 4 dans certaines configurations. Cela convient pour un port 100 GbE, mais est limite pour deux. Veuillez vérifier avant de faire un devis. W02 (Voies PCIe et topologie) est la version détaillée de cette histoire.

Les options métalliques et optiques — DAC, AOC, optique

Il existe trois façons de réaliser une liaison physique, avec un écart de coût considérable. Les acheteurs gaspillent de l'argent en optique alors qu'un convertisseur numérique-analogique aurait suffi.

Règles applicables à tous les fournisseurs :

• Convertisseur numérique-analogique (DAC) intégré dans un seul rack. Le cuivre passif à 100GBASE-CR4 est fiable jusqu'à 3 m, et jusqu'à 5 m pour les variantes actives. À 400 Gbit/s (100 Gbit/s PAM4 par voie), la limite pratique est de : 2 m passif — Il existe des DAC de 3 m, mais l'intégrité du signal devient fragile avec les coudes du câble.
• AOC pour les courses de 5 à 30 m, notamment entre baies adjacentes. L'émetteur-récepteur est collé à la fibre, donc une extrémité défectueuse implique la mise au rebut de tout le câble.
• Optique SR + MMF Pour les câblages intérieurs de plus de 30 m ou en présence d'un câblage structuré existant, la fibre OM5 offre une portée environ 50 % supérieure à celle de l'OM4 à 100 GbE SR et est le choix recommandé pour les nouvelles installations.
• Optique LR + SMF Pour traverser des bâtiments ou des pièces. Surdimensionné pour un seul cluster de 4 racks.

Calcul de la longueur des câbles pour un cluster de 4 racks. Une rangée de quatre baies 42U, d'environ 600 mm de large chacune, avec un espacement inter-baies d'environ 100 mm. Un commutateur en haut de la baie 1 est relié à une carte réseau en bas de la baie 4 : la longueur totale est d'environ 4 m, avec une marge de sécurité, soit environ 2.1 m à l'horizontale et 2 m à la verticale. À 100 GbE, vous atteignez la limite de la capacité de transmission ; à 400 GbE, vous la dépassez. Pour tout cluster de plus de deux baies à 400 GbE, prévoyez une passerelle optique ou un système de filtrage. Il s'agit de l'erreur de spécification la plus fréquente dans les devis multi-baies : supposer que la capacité de transmission sera suffisante car « les baies sont très proches les unes des autres ».

Liaison 100 GbE de bout en bout, distance inter-rack de 2 m, mi-2026 : Paire ConnectX-6 Dx ~2400 € + deux ports de commutation amortis ~1500 € + 2 m QSFP28 DAC ~90 € = Environ 4 000 € par lienLa même liaison à 400 GbE (paire ConnectX-7, ports de commutateur 400 GbE, DAC QSFP-DD de 2 m) coûte environ 14 4 € — soit quatre fois plus de bande passante pour environ 3.5 fois plus cher. Le rapport qualité-prix est bon ; la question est de savoir si la charge de travail le justifie.

Changer de paysage

Le marché des commutateurs Ethernet IA en 2026 se divise en trois catégories évidentes.

Deux appels tranchés :

• Pour les clusters d'entraînement de 4 à 8 nœuds à 100 ou 400 GbE, un seul Spectrum-X SN5600 ou Arista 7060X4 est la bonne réponse. Un seul commutateur, un seul domaine de panne, pas de Clos, modèles RoCE fournis par le fabricant. Le SN5600 offre 64 ports 800 GbE dans un format 2U avec une capacité agrégée de 51.2 Tb/s et des tampons profonds optimisés par IA ; le 7060X4 propose 32 ports 400 GbE dans un format 1U avec une latence de coupure d'environ 700 ns pour un coût nettement inférieur lorsque vous n'avez pas besoin de 800 GbE.
• Pour 16 nœuds et plus, planifiez le routage L3 Clos avec deux épines, BGP non numéroté entre les feuilles et les épines, ECMP à travers les épines. N08 couvre les mécanismes de liaison montante ; N04 couvre le choix de la topologie.

MTU et châssis jumbo

La MTU Ethernet par défaut est de 1 500 octets. À 100 GbE, cela représente environ 8.3 millions de paquets par seconde et par flux, chacun engendrant un coût de traitement par le noyau. Une MTU de 9 000 octets réduit le débit de paquets d'un facteur 6, diminue d'autant la charge du processeur et est quasiment indispensable pour toute infrastructure d'IA.

Pour RoCEv2 en particulier, la MTU de type IB est choisie parmi les plus grandes valeurs compatibles avec la MTU Ethernet. Une MTU Ethernet de 9 000 octets confère à RoCE une MTU de 4 096 octets, valeur attendue par toutes les piles NCCL et RDMA. En conservant une MTU de 1 500 octets, on obtient une MTU RoCE de 2 048 octets et une perte de performances notable pour toutes les opérations collectives.

Trois choses à savoir :

• Doit correspondre de bout en bout. Un seul périphérique avec une MTU de 1500 sur le chemin provoque une fragmentation silencieuse et une forte baisse du débit. Configurez-le sur chaque carte réseau, chaque port de commutateur et chaque routeur du VLAN d'IA.
• Confinez les gros appareils au VLAN IA. Votre réseau d'entreprise ne fonctionnera pas correctement avec une MTU de 9 000. Le plan de gestion restera à 1 500.
• Vérifier avec ip link et tracepathCe n'est pas en se fiant à la configuration que l'on risque de se tromper. Le nombre de clusters où quelqu'un a configuré la limite à 9000 sur les cartes réseau et a oublié de configurer les ports du commutateur est consternant.

Ethernet avec perte vs Ethernet sans perte : un aperçu

TCP/IP simple sur Ethernet est lossyLorsque les files d'attente sont pleines, les commutateurs abandonnent des paquets, TCP retransmet et le débit diminue. Cela convient au trafic web en continu, mais est fatal pour RDMA : une seule perte de paquet dans une requête RoCE allreduce interrompt le transfert et provoque l'expiration du délai NCCL.

La solution est Ethernet sans perte, obtenu grâce à deux mécanismes fonctionnant de concert :

• PFC (Priority Flow Control, 802.1Qbb) — Pause par priorité. Lorsque la mémoire tampon du commutateur pour la priorité 3 (priorité RDMA par convention) est pleine, il envoie une trame de pause au port en amont. Freinage d'urgence temporaire.
• ECN (Notification explicite de congestion) — Les commutateurs marquent les paquets dans les files d'attente qui se remplissent, le récepteur renvoie un CNP, l'émetteur ralentit. Contrôle de congestion à long terme.

Ensemble, ils forment DCQCN (Data Center Quantized Congestion Notification), la boucle de contrôle standard RoCEv2 des infrastructures Ethernet IA modernes. ECN assure la majeure partie du travail ; PFC n'intervient que lorsque ECN ne peut réagir assez rapidement.

En résumé : si vous utilisez RoCE, votre commutateur doit prendre en charge PFC et ECN sur la priorité RDMA, et votre carte réseau doit être configurée pour les signaler et les respecter. L’achat d’un commutateur auprès d’un fournisseur proposant des modèles RoCE documentés (NVIDIA Spectrum, Arista, Cisco Nexus 9000) vous fera gagner une semaine de configuration. N02 couvre la comparaison avec InfiniBand ; N07 Il s'étend en profondeur sur le contrôle de la congestion.

Profondeur de la zone tampon — faible vs profonde

L'autre axe des commutateurs d'IA est la profondeur du tampon. AllReduce est de type plusieurs-à-un à chaque itération : chaque nœud de l'anneau ou de l'arbre converge vers un seul nœud au même instant. incastet cela écrase les commutateurs à mémoire tampon superficielle.

• Interrupteurs à mémoire tampon superficielle (Anciens modèles Tomahawk, configuration standard pour entreprises) : mémoire tampon totale de 4 à 32 Mo. Économiques, faible latence, idéales pour le trafic est-ouest sur un réseau d'entreprise. Les paquets sont supprimés lors de la première tentative d'envoi.
• Commutateurs d'IA à mémoire tampon profonde (Jericho3-AI, Spectrum-X, certaines cartes de ligne 7800R3) disposent de centaines de mégaoctets à plusieurs gigaoctets de mémoire tampon. Elles absorbent le pic de trafic entrant et retiennent les paquets pendant que DCQCN réduit le nombre d'émetteurs.

Pour un cluster à deux nœuds, la profondeur du tampon est négligeable. En revanche, pour huit nœuds ou plus effectuant une exécution dense d'AllReduce, des tampons profonds font toute la différence entre un réseau performant et un réseau sujet aux interruptions et aux blocages dus à la correction du facteur de puissance (PFC). C'est une raison valable d'opter pour des commutateurs de classe IA plutôt que pour des commutateurs génériques.

Avis sincère : cela s’applique-t-il à votre configuration ?

Un serveur Kentino K-AI à nœud unique effectuant une inférence ou un réglage fin à nœud unique n'a besoin de rien de tout celaLes GPU communiquent via PCIe et NVLink ; la liaison Ethernet sert à la réception des requêtes, à l’envoi des jetons et à la lecture des données. Deux ports SFP28 25 GbE sur la carte réseau intégrée de l’hôte suffisent.

Vous lisez ceci car vous prévoyez de mettre en place au moins deux nœuds. La matrice :

• 1 nœud : 10 ou 25 GbE intégré. Aucune mise à niveau possible.
• 2 à 4 nœuds, réglage fin : 100 GbE via ConnectX-6 Dx, un commutateur, configuration RoCE. ~4 000 € par liaison.
• 4 à 8 nœuds, plus de 70 milliards de données d'entraînement : 100 ou 200 GbE avec ConnectX-7 si PCIe Gen 5 est disponible. Commutateur unique Spectrum-X SN5600 ou Arista 7060X4.
• 8 à 16 nœuds, apprentissage dense : 200 ou 400 GbE, routage L3 Clos avec deux spines, commutateurs à mémoire tampon profonde.
• 16+ nœuds : Au-delà de la gamme habituelle de Kentino, utilisez l'architecture de référence NVIDIA (Spectrum-X, BlueField-3 ou ConnectX-8) et un consultant.

---

Ceci fait partie du Kentino Wiki, une série de référence sur l'intelligence artificielle, la robotique et les systèmes qui les connectent. Commentaires et corrections bienvenus. info@kentino.com.