Topologies de cluster commutées : arbre gras, feuille-épine, libellule+, tesseract

Dans les présentations des fournisseurs, chaque schéma de cluster commence de la même manière : une rangée de cases intitulées « nœud », une autre rangée intitulée « commutateur », et des flèches entre elles. Ces schémas sont volontairement simples, car le choix sous-jacent – ​​la topologie, le niveau de surallocation et la vitesse par port – représente le principal poste de dépense d’un cluster d’IA après les GPU eux-mêmes.

Cet article décrit la couche topologique entre N02 (protocole utilisé : InfiniBand, RoCE ou Ethernet standard) et N06 à N08 (comportement effectif du réseau une fois la topologie établie). Il aborde les quatre familles d'architectures essentielles en 2026 : fat-tree/Clos/leaf-spine , dragonfly/dragonfly+ , tesseract/hypercube et la famille torus , qui a subsisté dans deux domaines spécifiques du calcul haute performance (HPC). Il conclut par un constat lucide : environ neuf clients Kentino sur dix n'ont pas besoin de ces informations, et cet article est destiné au dixième.

Public cible : personnes chargées de dimensionner un cluster de formation de 8 à 64 nœuds et le réseau associé. Il ne s’agit pas d’un guide de configuration Cisco/NVIDIA, mais du modèle mental qui permet de le comprendre.

Trois choses différentes que les gens appellent « bande passante »

Avant de tracer les cadres et les flèches, un mot sur le vocabulaire. Trois termes sont utilisés indifféremment dans la documentation sur les ventes groupées, et leur nombre diffère :

Un commutateur 32 ports 400 GbE offre une bande passante agrégée de 12.8 Tbit/s . Avec 16 nœuds connectés à 400 GbE chacun, on obtient une bande passante de bissection de 3.2 Tbit/s (8 nœuds × 400 Gbit/s de chaque côté de la coupure). Pour une étape de réduction où chacun des 16 GPU envoie la moitié de son gradient à travers la bissection, c'est cette bande passante de 3.2 Tbit/s qui divise le temps d'exécution de l'étape, et non 12.8.

En bref : la bande passante de bissection est la seule de ces trois valeurs qui permet de prédire la durée d’une étape d’entraînement pour une charge de travail limitée par la réduction. Lorsqu’une brochure de fournisseur mentionne une valeur agrégée, considérez mentalement la valeur la plus défavorable et divisez en conséquence pour revenir à la valeur de bissection.

Pour un cluster de 16 nœuds avec 8 GPU chacun (128 GPU au total) sur des nœuds à carte réseau unique 100 GbE :

Même nombre de nœuds, même débit, mais des chiffres différents selon le contexte. C'est dans ce cadre que le reste de l'article est construit.

Arbre gras, Clos, épine à feuilles — la même chose avec trois accents différents

En 1953, Charles Clos a démontré qu'un réseau multi-étages de petits commutateurs matriciels pouvait être non bloquant — toute entrée pouvant atteindre n'importe quelle sortie sans conflit — pour un coût bien inférieur à celui d'un seul commutateur matriciel géant. Tous les réseaux de centres de données modernes reposent sur une variante de ce principe. La terminologie est devenue complexe :

• A Réseau Clos Il s'agit de la structure mathématique : étapes d'entrée, de milieu et de sortie de commutateurs plus petits.
• A arbre gras (Charles Leiserson, 1985) est une variante de Clos où les troncs plus proches de la racine deviennent progressivement plus épais, de sorte que la largeur de bande de bissection est proportionnelle à N.
• A plié replie l'étage de sortie sur l'étage d'entrée. A épine en feuille Il s'agit d'un Clos plié à deux niveaux. Un Clos plié à trois niveaux, avec feuille, arête et super-arête, est ce que la plupart des gens appellent en pratique un arbre gras.

Architecture feuille-épine à deux niveaux : chaque feuille est connectée à chaque épine. La communication entre deux nœuds quelconques s’effectue en deux sauts seulement. La bissection complète garantit l’absence de sursouscription au niveau de l’épine.

Chaque feuille est connectée à chaque colonne vertébrale. Le trafic de type « tout à tout » s'effectue au maximum feuille → colonne vertébrale → feuille, soit deux sauts. Avec une bande passante suffisante sur la colonne vertébrale, le réseau est non bloquant : chaque nœud peut communiquer simultanément avec tous les autres à la vitesse de la ligne.

Le taux de sursouscription est le principal facteur déterminant du coût. Si chaque nœud dispose de 32 liaisons descendantes de 100 GbE (3.2 Tb/s vers le rack) et de 8 liaisons montantes de 100 GbE (800 Gb/s vers le rack), la sursouscription est de 4:1 : la bande passante entrante est quatre fois supérieure à la bande passante sortante. La bisection complète correspond à un ratio de 1:1 : autant de liaisons montantes que de liaisons descendantes. Un ratio de 2:1 est courant dans les datacenters classiques. Le ratio de 1:1 (bisection complète) est la configuration de référence pour les clusters d'IA.

Le coût double quasiment lorsqu'on passe d'un ratio de 4:1 à 1:1, car on achète deux fois plus de ports spine et deux fois plus d'optiques. C'est pourquoi tous les clusters d'IA sérieux paient ce prix : la sursouscription détruit le débit d'allreduce. Un allreduce synchronisé à 8 flux sur une infrastructure 4:1 sursouscrite ne fonctionne pas au quart de sa vitesse ; il s'effondre sous la contre-pression du PFC ( N07 ) et peut perdre en pratique 60 à 80 % de son débit théorique. Le calcul dit « diviser par 4 ». En réalité, il faut plutôt diviser par 5 à 10.

L'architecture de référence DGX SuperPOD de NVIDIA spécifie une architecture fat-tree à trois niveaux avec bisection complète sur Quantum-2 NDR InfiniBand à 400 Gbit/s par port. Les clusters d'entraînement RoCE publiés par Meta et la gamme Azure ND de Microsoft adoptent la même architecture sur Spectrum-X Ethernet. L'industrie s'est ralliée à l'architecture fat-tree avec bisection complète pour l'entraînement des IA , et l'évolution prévue pour 2024-2026 consiste à élargir cette architecture (de 400 Gbit/s à 800 Gbit/s par port) ou à l'optimiser pour les liaisons réseau (voir section suivante), sans modifier la topologie fondamentale.

Arbre gras optimisé pour les rails — le dialecte spécifique à l'IA

L'architecture fat-tree standard traite toutes les cartes réseau de la même manière. Or, l'entraînement des IA tient compte du gradient envoyé par la carte réseau du GPU , car les schémas de trafic allreduce ne sont pas uniformes. La variante optimisée par rails assigne chaque GPU d'un nœud à un « rail » spécifique (un chemin feuille-épine dédié) et garantit que le i-ème GPU de chaque nœud communique uniquement avec le i-ème GPU de chaque autre nœud via ce rail.

Architecture optimisée pour Rails : chaque emplacement GPU est associé à un plan spine indépendant dédié. L’anneau Allreduce sur le GPU 3 utilise uniquement Rail 3.

Huit arbres gras indépendants à deux niveaux, un par emplacement GPU. L'anneau Allreduce sur le GPU 3, réparti sur 16 nœuds, utilise exclusivement le Rail 3 et n'emprunte jamais d'autres rails. Avantages : aucune collision ECMP entre les rails, routage simplifié, radix de commutation plus faible par plan. Inconvénient : une tâche s'étendant sur plusieurs emplacements GPU (parallélisme tensoriel au sein d'un nœud, parallélisme de données entre les nœuds) est de toute façon répartie entre les rails par NCCL ; la topologie n'est donc avantageuse que si la charge de travail est alignée. Pour le parallélisme de données et la prise en compte des rails par NCCL, le gain est évident ; pour le parallélisme tensoriel s'étendant sur plusieurs rails, l'économie est nulle.

Libellule et Libellule+ — quand vous n'avez pas les moyens de vous offrir un arbre de grande taille.

Le coût d'une architecture « fat tree » augmente approximativement comme N log N — chaque doublement du nombre de nœuds nécessite une bande passante plus importante pour le réseau dorsal, et le troisième niveau double le nombre de commutateurs par point de terminaison. Pour 1 024 nœuds, une architecture « fat tree » à trois niveaux non bloquante est réalisable. À partir de 10 000 nœuds, le nombre de commutateurs et le coût des équipements optiques deviennent prohibitifs. Dragonfly, proposé par John Kim, William Dally et al. en 2008, a été spécifiquement conçu pour dépasser cette limite.

L'idée : regrouper les nœuds en clusters . Au sein d'un cluster, tous les commutateurs sont densément connectés (souvent un cluster plus petit). Entre les clusters, chaque cluster possède une liaison directe avec tous les autres. On obtient ainsi un réseau de diamètre 3 (saut local au cluster, saut inter-cluster, saut local au cluster) qui peut gérer un très grand nombre de nœuds avec beaucoup moins de câbles longue distance qu'un réseau Fat Tree.

Libellule : réseau Clos dense au sein d’un même groupe, une liaison globale par paire de groupes. Diamètre : 3. Peut gérer plus de 1 000 nœuds avec moins de câbles longue distance que le réseau Fat Tree.

L'économie principale réside dans le câblage optique . Les liaisons optiques longue distance entre les baies représentent la part la plus importante du coût d'une architecture « fat tree ». Dragonfly les remplace par une liaison « fat link » par paire de groupes, et non par combinaison feuille-épine. Pour un cluster de G groupes de S nœuds chacun, l'architecture « fat tree » nécessite environ G × S × log(G × S) câbles ; Dragonfly, quant à lui, requiert G(G − 1)/2 câbles inter-groupes, auxquels s'ajoute le câblage par groupe. Avec G = 32 groupes de 32 nœuds (soit 1024 câbles au total), le nombre de câbles longue distance est divisé par dix.

Dragonfly+ (Mellanox, 2017) perfectionne ce principe pour InfiniBand. L'infrastructure intra-groupe devient un petit réseau Clos bipartite, ce qui évite de recâbler les groupes lors de leur extension. Les liaisons inter-groupes utilisent un routage adaptatif pour contourner les groupes congestionnés. C'est la topologie employée dans Frontier (ORNL, AMD MI250X exascale) et El Capitan (LLNL, MI300A), tous deux câblés avec des commutateurs HPE Slingshot-11 en configuration « libellule », avec un diamètre maximal de trois sauts et un débit de 12.8 Tb/s par commutateur.

Le problème réside dans le mode de défaillance des petites tâches réparties sur plusieurs groupes . Dans une architecture en arbre gras, deux nœuds situés aux extrémités opposées du cluster partagent la même bande passante de bisection que deux nœuds distants d'un rack (modulo le nombre de sauts). Dans une architecture en libellule, deux nœuds appartenant à des groupes différents partagent leur liaison inter-groupes avec tous les autres flux inter-groupes. Si votre tâche d'entraînement 16 GPU est répartie sur 8 nœuds du groupe A et 8 du groupe B, vous partagez cette liaison inter-groupes avec tous les autres flux répartis sur la même paire de nœuds. Le routage adaptatif atténue le problème, mais ne le résout pas complètement.

Conséquences pratiques : l’architecture Dragonfly est parfaitement adaptée aux clusters hyperscalers (plus de 1 000 nœuds, avec des tâches dimensionnées pour remplir des groupes) et moins performante pour les clusters de taille moyenne avec des tâches diverses et de petite taille. Elle n’est pas adaptée à un cluster d’entraînement de 16 nœuds ; l’architecture Fat Tree est plus économique et plus rapide à cette échelle. En revanche, elle est idéale pour un supercalculateur de 1 024 nœuds exécutant une charge de travail mixte.

Tesseract — l'hypercube 4D

Un tesseract est un hypercube à 4 dimensions : 16 sommets, chacun connecté à exactement 4 voisins, de diamètre 4 (le plus long chemin entre deux nœuds quelconques). Généralisé à k dimensions, on obtient un k-cube : 2 ^{^k} nœuds, chacun relié par k liens directs, de diamètre k. Le routage par distance de Hamming (XOR entre les adresses source et destination, en inversant un bit à la fois) est trivialement déterministe et assure un équilibrage de charge efficace même en cas de trafic aléatoire.

Tesseract (hypercube 4D) : 16 nœuds, chacun avec 4 voisins. Les traits pleins représentent les arêtes du cube 3D ; les traits pointillés, les liens de la 4e dimension. Diamètre : 4. Chaque étiquette de nœud est une adresse de 4 bits ; les voisins diffèrent d’un seul bit.

Les topologies hypercubiques ont dominé le calcul massivement parallèle des années 1980. La Connection Machine CM-2 (Thinking Machines, 1987) comportait 65 536 nœuds câblés en hypercube à 12 dimensions. L'Intel iPSC/2 utilisait des hypercubes à 7 dimensions. La CM-5 (Thinking Machines, 1991) a abandonné les hypercubes au profit des arbres gras, car cette approche ne permettait pas une mise à l'échelle optimale au-delà d'environ 1 024 nœuds : chaque nouvelle dimension doublait le nombre de nœuds et nécessitait un recâblage complet de tous les nœuds existants.

En 2026, le terme « tesseract » apparaît encore à trois endroits qu'il convient de distinguer :

1. En tant que nom de système HPC de recherche / DiRAC. Le cluster DiRAC Tesseract d'EPCC (Édimbourg) est un cluster HPE SGI 8600 de 1 476 nœuds utilisant Intel Omni-Path. « Tesseract » est un terme marketing ; l'architecture est en réalité plus proche de Fat Tree.
2. En tant que terme de recherche « plan de contrôle SDN » (Tesseract : un plan de contrôle 4D, Yan et al.). Sans rapport avec la topologie physique.
3. Comme la topologie sous-jacente des grappes d'accélérateurs compacts sans commutateur. Un cluster de 16 nœuds câblé comme un hypercube 4D littéral présente des propriétés intéressantes : chaque nœud possède exactement 4 cartes réseau, il n’y a pas de commutateur central, le routage est déterministe et le diamètre est de 4. Nous abordons ce sujet en détail dans… N05 (topologies sans commutateur).

Ce qu'offre un tesseract en 2026 : absence de surcoût lié aux commutateurs, routage déterministe via XOR basé sur la distance de Hamming et faible diamètre (log₂(N)). Ses difficultés : N fixe (doit être une puissance de 2), complexité du câblage croissante avec la dimension, nombre de cartes réseau par nœud égal à k et les réseaux d'IA collectifs modernes (anneau/arbre NCCL) n'exploitent pas nativement la structure hypercube.

Torus — le survivant dans deux coins spécifiques

Le n-cube k-aire généralise l'hypercube : au lieu d'une adresse binaire avec un lien par dimension, on utilise une grille k × k × k avec boucle. Un tore 3D a chaque nœud connecté à 6 voisins (±x, ±y, ±z). Un tore 6D a 12 voisins.

IBM Blue Gene/L et /P fonctionnaient sur un tore 3D, pouvant atteindre des centaines de milliers de nœuds, chaque nœud ne disposant que de 6 liaisons haut débit. Fujitsu Tofu (l'interconnexion du supercalculateur K, 2011) a généralisé ce concept à un maillage/tore 6D : 158 976 nœuds sur Fugaku (actif jusqu'en 2026), organisés en une grille 24×23×24×2×3×2.

Le moteur à l'échelle de la plaquette de Cerebras utilise un tore 2D sur la plaquette : chaque élément de traitement a quatre voisins, avec un enroulement, à environ 1 ns par saut. Ceci est possible car les pistes sur la plaquette sont quasiment libres ; ce ne serait pas le cas avec des câbles hors plaquette.

Pourquoi Torus a-t-il échoué partout ailleurs ? À cause de chemins asymétriques et d'un comportement inadapté aux charges de travail d'IA non uniformes. Les charges de travail d'IA modernes (NCCL en anneau/arbre, algorithmes hiérarchiques de NVIDIA) supposent une bande passante uniforme pour les communications de type « tout à tout ». Torus ne respecte pas cette hypothèse. En 2026, Torus subsiste dans trois contextes : l'interconnexion sur puce de Cerebras, Fujitsu Fugaku et ses successeurs, et les nœuds SXM via NVSwitch. En dehors de ces niches, tous les nouveaux clusters d'IA en 2025-2026 utilisent Clos.

Tableau de Comparaison

Liaison montante du cluster — comment la topologie interagit avec le monde extérieur

Un réseau commuté est une île. Il doit se connecter au réseau d'entreprise (registres de modèles, stockage des jeux de données, S3, télémétrie), aux postes de travail des développeurs (SSH, Jupyter, copie des points de contrôle) et aux autres clusters (transfert d'entraînement vers l'inférence). Cette connexion constitue la liaison montante du cluster.

Deux modèles, avec des conséquences très différentes :

Point de liaison montante unique. Deux commutateurs centraux (ou un routeur de liaison montante dédié) centralisent toute la connectivité externe. Pare-feu, limitation de débit et surveillance simplifiés. Mode de défaillance : cette liaison constitue un point de défaillance unique ; sa saturation (copie d’un point de contrôle important, extraction d’un fragment de données de 10 Go) impacte simultanément tous les nœuds.

Liaison montante distribuée. Chaque terminal dispose d'une liaison montante distincte vers le réseau du campus, souvent plus lente (25 GbE) en complément de l'infrastructure 100 GbE. Les extractions de données et le trafic externe restent locaux au terminal, évitant ainsi toute congestion de l'infrastructure interne. Inconvénient : chaque terminal constitue une barrière de sécurité, la mise en place du pare-feu est beaucoup plus complexe et la surveillance est plus difficile.

Pour la configuration de base de Kentino (cluster d'entraînement de 4 à 16 nœuds), un seul point de liaison montante est la solution optimale. L'infrastructure interne est exclusivement RDMA (RoCE ou InfiniBand), optimisée pour une faible latence et un fonctionnement sans perte. La liaison montante est de type Ethernet standard, TCP, avec une QoS normale. Il est impératif de ne pas placer le stockage des objets de données sur la même infrastructure sans perte que le GPU allreduce : un client S3 défaillant ne doit pas pouvoir déclencher une contre-pression PFC sur le trafic d'entraînement. Deux infrastructures sont utilisées : le plan de données (RDMA sans perte) et le plan de gestion/liaison montante (TCP avec perte). La section N08 décrit la configuration pratique.

L'avis honnête de Kentino

La plupart des clients de Kentino achètent entre 1 et 4 nœuds. À cette échelle :

• 1 nœud. Pas de question de topologie. PCIe à l'intérieur du boîtier (K07), une carte réseau de gestion 25 GbE sortie, terminé.
• 2 nœuds. Un câble direct relie deux cartes réseau RDMA. Pas de commutateur. Aucune topologie à choisir.
• 3 à 4 nœuds. Un seul commutateur 100 GbE à 32 ports gère toutes les connexions entre elles avec une dichotomie complète pour un coût total de 30 000 à 50 000 $. Aucune topologie n'est encore disponible.

La question de la topologie commence à 8 nœuds , lorsque le nombre de ports d'un commutateur devient critique, et devient cruciale à 16 nœuds . En dessous de ce seuil, la solution idéale est : « Un seul commutateur performant, une bisection complète sur chaque port, et le tour est joué. » Au-delà, la solution optimale est : « Une architecture leaf-spine à deux niveaux, 100 ou 200 GbE par nœud, une bisection complète (1:1), et surtout, n'utilisez jamais le sursouscription, sauf obligation légale. »

Dragonfly+ est la solution idéale pour les calculs à très grande échelle. Tesseract/Hypercube est une option intéressante sans commutation pour les clusters compacts ( N05 ). Torus est une solution propriétaire pour les opérateurs HPC dont les charges de travail sont sensibles à la topologie. Pour tous les autres utilisateurs dans la gamme de prix de Kentino, l'arbre gras est la solution par défaut. Utilisez la bissection complète si votre budget le permet ; 2:1 si ce n'est pas possible ; et surtout pas 4:1 pour l'entraînement d'IA.

---

Cet article fait partie du Kentino Wiki, une série de référence sur l'intelligence artificielle, la robotique et les systèmes qui les connectent. Commentaires et corrections bienvenus à info@kentino.com.