Équilibrage de phase sur les racks d'IA : pourquoi c'est important et ce qui fonctionne réellement

Sur le papier, une alimentation triphasée de 32 A semble offrir une marge de manœuvre considérable. 32 A × 400 V × √3 = environ 22 kW. Cela suffit largement pour alimenter quatre serveurs K-AI à huit GPU en charge soutenue, avec une marge confortable. Alors pourquoi la moitié des laboratoires d'IA construits en interne finissent-ils par faire disjoncter le disjoncteur dès le premier mois ?

La réponse réside presque toujours dans l'équilibre des phases, ou plutôt dans son absence. La charge totale du rack est correcte. Une phase présente un problème.

Cet article explique comment l'alimentation triphasée est réellement distribuée dans une baie de serveurs d'IA, pourquoi les charges de travail d'IA accentuent le problème d'équilibrage d'une manière particulière, et ce qu'il faut faire au niveau de la prise PDU pour que le disjoncteur cesse de vous surprendre.

Les mathématiques, en bref

Pour une charge en étoile équilibrée avec tension entre phases Vll et puissance réelle totale Ptotal au facteur de puissance PF :

I_line  =  P_tot  /  (V_ll × √3 × PF)

Sur une alimentation européenne de 400 V avec un facteur de puissance de 0.98 et une puissance équilibrée de 20 kW : I_ligne = 20 000 / (400 × 1.732 × 0.98) ≈ 29.5 A. Convient pour un disjoncteur de 32 A. Chaque phase transporte environ 29.5 A, le neutre étant quasiment à zéro.

Répartissez les mêmes 20 kW de manière inégale : 12 kW sur L1, 5 kW sur L2, 3 kW sur L3 :

La puissance totale reste de 20 kW. Le disjoncteur de 32 A ne tient pas compte de la puissance totale ; il détecte le déclenchement monophasé en premier. L1 est à 165 % de sa capacité nominale. Les deux autres phases sont inactives.

Une charge déséquilibrée ne se contente pas de gaspiller de la capacité ; elle transforme l'espace libre que vous avez payé en un accident potentiel.

Le problème du courant neutre

Dans les systèmes triphasés en étoile, un quatrième conducteur, le neutre, est chargé de la somme vectorielle des trois courants de phase. En présence d'une charge linéaire parfaitement équilibrée, les trois courants s'annulent par intervalles de 120° et le neutre est alors neutre. En cas de déséquilibre, le neutre transporte le courant non nul.

Une approximation utile pour le courant neutre en cas de déséquilibre linéaire charge:

I_N  =  √( I_R² + I_Y² + I_B² − I_R·I_Y − I_Y·I_B − I_B·I_R )

Dans notre exemple 53/22/13, cela correspond à un courant d'environ 35 A circulant dans le neutre. Dans un tableau électrique où le conducteur neutre est dimensionné pour le courant nominal de la phase, un neutre de 35 A sur une phase de 32 A est problématique. Dans un tableau où le neutre est sous-dimensionné (installation ancienne, rénovation ou hypothèse d'une charge équilibrée), c'est là que l'on risque de voir l'isolant fondre.

En résumé : dans tout rack d’électronique digne de ce nom, le conducteur neutre doit avoir au moins la même section que les conducteurs de phase, et idéalement être surdimensionné. Nous reviendrons sur ce point dans la section consacrée au facteur K, car les charges non linéaires aggravent la situation.

Pourquoi les charges de travail d'IA mettent davantage l'accent sur ce point que l'informatique traditionnelle

Dans une baie d'entreprise traditionnelle (serveurs web, bases de données, quelques commutateurs réseau), la charge est statistiquement non corrélée d'une machine à l'autre. L'utilisation du processeur du serveur A connaît des pics à un instant donné, celle du serveur B à un autre, mais la moyenne sur l'ensemble de la baie est régulière. L'équilibrage sur trois phases fonctionne de manière satisfaisante car les fluctuations aléatoires s'annulent.

Les charges de travail d'IA contredisent cette hypothèse de deux manières spécifiques.

Corrélation de charge synchrone. L'entraînement distribué exécute la même étape sur chaque GPU simultanément. La rétropropagation démarre simultanément sur les huit GPU d'un serveur. Si l'entraînement est réparti sur quatre nœuds, les 32 GPU effectuent simultanément la phase de réduction, puis la rétropropagation suivante. La charge n'est pas une moyenne lissée ; il s'agit d'une onde carrée à la fréquence de l'étape d'entraînement, soit entre 0.5 et 5 Hz selon le modèle.

Si les quatre serveurs sont sur la même phase, cette phase reçoit l'intégralité du signal carré. Si les serveurs sont répartis sur plusieurs phases, chaque phase reçoit également le même signal carré, car les étapes sont synchrones. L'équilibrage de phase ne lisse pas les charges corrélées. Cela ne fait qu'aplanir la moyenne par phase.

Transitoires de sous-cycle. Une seule RTX 5090 est donnée pour une consommation de 575 W, mais peut subir des pics transitoires allant jusqu'à 738 W sur 5 à 10 ms, 824 W sur 1 à 5 ms et 901 W en moins d'une milliseconde. Un serveur K-AI à huit GPU a donc une consommation soutenue nominale d'environ 4 à 4.5 kW et un pic par milliseconde pouvant brièvement dépasser 7 kW. L'alimentation et le câblage du bâtiment absorbent la majeure partie de cette consommation, mais… actuel Les pics sont réels, ils ne sont pas sinusoïdaux et ils se propagent jusqu'à l'unité de données de protocole (PDU) en amont.

Les disjoncteurs thermomagnétiques classiques ignorent les transitoires de faible amplitude. Ce n'est pas toujours le cas des disjoncteurs hydrauliques-magnétiques et électroniques modernes ; certains se déclenchent sur la crête instantanée, et non sur la valeur efficace (RMS). Si votre disjoncteur se déclenche fréquemment pendant certaines phases de formation et que le courant circule par ailleurs dans sa plage de fonctionnement moyenne, vous analysez la courbe transitoire, et non la valeur moyenne.

Ce que l'équilibrage de phase peut et ne peut pas faire

C’est pourquoi les personnes issues des opérations de centres de données traditionnels se font parfois piéger : dans leur univers, l’équilibrage est primordial. Dans un rack dédié à l’IA, il est nécessaire, mais pas suffisant.

stratégie d'équilibrage au niveau des points de vente

La configuration pratique s'effectue au niveau des prises du PDU. Un PDU triphasé 32 A au format rack 0U présente des groupes de prises par phase. La disposition typique d'un PDU à 30 prises est la suivante : prises 1 à 10 sur L1, 11 à 20 sur L2 et 21 à 30 sur L3. Certains PDU utilisent une disposition en bandes ou alternée pour une meilleure gestion des câbles : prises 1, 4 et 7 sur L1 ; 2, 5 et 8 sur L2 ; 3, 6 et 9 sur L3. Les PDU destinés à la production utilisent un code couleur par phase.

La règle est simple et pourtant constamment enfreinte : Attribuer les serveurs de sorte que la somme des charges soutenues sur chaque phase soit à environ 10 % de celle des autres phases.Pour les unités identiques, c'est un système de rotation ; pour les charges mixtes, c'est un système de remplissage de bacs.

Exemple pratique : une PDU triphasée de 32 A (puissance nominale d’environ 22 kW, 17.6 kW en continu à 80 %) peut-elle accueillir combien de serveurs K-AI à huit GPU (consommation continue d’environ 4 kW chacun) ?

Le budget réaliste : une seule alimentation triphasée de 32 A pour rack peut alimenter environ trois serveurs d'IA à huit GPU, et non huit. Un serveur à quatre GPU avec une puissance de ~2 kW en continu double approximativement ce nombre, soit six par circuit.

Cela surprend la plupart des concepteurs de laboratoires. La marge théorique d'un circuit de 22 kW disparaît dès lors qu'on tient compte des courbes des disjoncteurs, des pics transitoires et de la réduction de puissance de 80 % en charge continue prévue par la plupart des normes électriques.

Mesurer la consommation d'énergie — PDU avec mesure à la sortie

Un PDU de base ne fournit rien. Un PDU avec mesure fournit le courant RMS par phase à l'entrée. compteur de sortie Le PDU vous fournit le courant par prise, ce qui correspond à l'unité dont vous avez réellement besoin.

Que regarder:

• Courant RMS par phase, tendance observée au fil du temps. La plupart des PDU avec mesure au niveau de la prise exposent SNMP ou une API REST ; collectez les données dans Prometheus, visualisez le graphique dans Grafana, déclenchez une alarme à 80 % de la valeur nominale.
• Courant de crête par phase dans une fenêtre d'échantillonnage. Si l'unité de données d'alimentation (PDU) expose une fonction de maintien de crête, enregistrez-la ; sinon, échantillonnez à une fréquence minimale de 1 Hz.
• rapport de déséquilibre de phase — (max − min) / max sur les trois phases. Un taux inférieur à 10 % est bon. Un taux supérieur à 25 % indique une capacité inutilisée.
• Courant neutreSi le PDU le signale, c'est le cas. Si le courant neutre représente plus de 30 % du courant de phase sous charge, il y a un problème d'équilibrage ou de teneur harmonique.

Un PDU 32 A est un équipement unique. Deux PDU 32 A redondants (alimentations A et B) doublent la quantité de données à suivre, mais aussi la tolérance aux pannes : en cas de défaillance d'une alimentation, les serveurs à double alimentation restent opérationnels et le PDU restant doit absorber toute la consommation. Dimensionnement recommandé : un rack à double alimentation doit faire fonctionner chaque PDU à environ 40 % de sa capacité nominale afin qu'une panne sur une seule alimentation reste dans les limites du disjoncteur.

Harmoniques et facteur K

Chaque alimentation de serveur d'IA est une alimentation à découpage, qui constitue une charge non linéaire : elle consomme du courant par impulsions autour du pic de chaque demi-cycle plutôt que sous forme d'une onde sinusoïdale continue. Ceci réinjecte des courants harmoniques dans l'alimentation, principalement de rang 3, 5 et 7 dans les systèmes monophasés et de rang 5, 7, 11 et 13 dans les systèmes triphasés en étoile.

La 3e harmonique est la plus douloureuse en triphasé : c'est une tripler Le terme « harmonique » désigne le fait que les courants harmoniques de rang 3 provenant des trois phases arrivent au neutre en phase, et non déphasés de 120°. Leur somme est arithmétique. Une charge linéaire équilibrée présente un courant de neutre quasi nul. Une charge non linéaire équilibrée avec une contribution harmonique 3 significative peut présenter un courant de neutre proche ou supérieur au courant de phase.

C’est pourquoi il existe des transformateurs à facteur K. Le K-1 est un transformateur à charge linéaire classique ; le K-13 est conçu pour supporter un contenu harmonique important ; le K-20 est la norme désormais spécifiée pour les centres de données d’IA les plus exigeants, car les clusters d’IA présentent une charge quasi 100 % non linéaire, sans moteurs ni éléments chauffants pour atténuer le contenu harmonique.

Pour un laboratoire à une seule baie, ce problème est rarement présent : le transformateur du bâtiment est en amont et dimensionné pour une charge mixte. Pour une salle d'IA multi-baies ajoutée à un bâtiment existant, demandez à l'électricien : quel est le courant nominal (K) du transformateur en amont ? La section du conducteur neutre est-elle au moins égale à celle des conducteurs de phase (un surdimensionnement est préférable) ? Le tableau électrique est-il dimensionné pour la réduction des harmoniques ? Si les réponses sont « K-1, identique à la phase, standard », cela convient pour une baie, mais il est conseillé de revoir la situation avant d'en installer quatre.

Le problème de l'honnêteté du rayon à moitié vide

L'équilibrage de phase suppose une charge suffisante à répartir. Un rack avec un serveur et vingt emplacements U vides ne peut être équilibré : ce serveur est alimenté par la phase sur laquelle il est branché. Les deux autres phases restent inactives, le neutre transporte l'intégralité du courant du serveur, et l'alimentation triphasée de 32 A est utilisée à environ 8 % de sa capacité, mais présente un déséquilibre total.

Trois options honnêtes :

1. Acceptez le déséquilibre. Il s'agit d'un seul serveur. Le panneau peut le gérer.
2. Passer au monophasé. Une alimentation monophasée de 32 A et 230 V fournit environ 7.3 kW, ce qui est suffisant pour un ou deux serveurs à 4 GPU. Plus simple, sans problème d'équilibrage ni de neutralité due aux harmoniques de rang 3. La solution idéale pour un petit laboratoire sans projet d'expansion dans les 12 prochains mois.
3. Prévoyez à l'avance, câblez à l'avance. Si vous prévoyez d'ajouter 6 ou 8 serveurs l'année prochaine, installez dès maintenant une alimentation triphasée et adaptez l'équilibrage au fur et à mesure. Le surcoût par rapport à une alimentation monophasée est minime comparé au coût d'un remplacement ultérieur.

Présentation d'un scénario réel

Un laboratoire de taille moyenne réaliste : deux racks, huit serveurs K-AI à huit GPU répartis sur chacun, ainsi que le réseau, le stockage et un banc de test Intel Arc. La consommation électrique totale soutenue est d’environ 35.5 kW (32 kW pour les serveurs K-AI, 2.5 kW pour le banc de test Arc et 1 kW pour les commutateurs et le stockage).

Schéma du circuit : répartir quatre serveurs K-AI par rack, chaque rack sur une alimentation triphasée de 63 A (~43.5 kW nominal, 34.8 kW continu — confortable pour quatre serveurs de 4 kW plus les auxiliaires).

Affectation des prises du rack A :

Par phase : L1 = 4.6 kW (20 A), L2 = 4.2 kW (18 A), L3 = 8 kW (35 A). Déséquilibre : deux unités K-AI partagent L3. Avec seulement quatre serveurs par rack, l’équilibrage parfait sur les trois phases est impossible ; une phase supporte toujours la surintensité. 35 A sur une alimentation de 63 A représentent 56 % du courant nominal, largement en dessous du seuil de déclenchement du disjoncteur. Acceptez-le. Le rack B reproduit la même configuration pour les quatre autres serveurs K-AI et le banc Arc.

La redondance à double alimentation est gérée en donnant à chaque serveur une connexion PSU d'alimentation A et une connexion PSU d'alimentation B sur deux PDU physiquement séparés — voir W04 pour savoir comment cela interagit avec la distribution fractionnée non redondante sur les PSU des serveurs AI.

Surveillance: Les deux PDU exportent le courant par phase et par prise via SNMP. Prometheus effectue une collecte de données toutes les 15 secondes, Grafana affiche la tendance sur 24 heures et déclenche une alarme si le courant d'une phase dépasse 80 % de sa valeur nominale pendant plus de 5 minutes, ou si le déséquilibre entre phases dépasse 25 % pendant plus de 30 minutes. Le lissage est important : le démarrage et l'arrêt des tâches d'entraînement provoquent des déséquilibres transitoires non exploitables.

---

Ceci fait partie du Kentino Wiki, une série de référence sur l'intelligence artificielle, la robotique et les systèmes qui les connectent. Commentaires et corrections bienvenus. info@kentino.com.