Nous avons construit un serveur d'IA de 576 Go exécutant GLM 5.2 dans votre propre bâtiment.

Le serveur d'IA sur site de Kentino embarque six cartes NVIDIA RTX PRO 6000 Blackwell Max-Q, deux processeurs EPYC et une redondance suffisante pour survivre à une coupure de courant — ainsi, les modèles de pointe fonctionnent sur votre propre terrain, et non dans le cloud de quelqu'un d'autre.

Tout le monde connaît One Miners. Voici maintenant Kentino.

Si vous suivez notre univers depuis un certain temps, vous connaissez One Miners. Kentino est sa société sœur et conçoit des machines : serveurs d’IA, stations de travail, PC de jeu – en bref, tout ce que vous pouvez imaginer.

Cet article décrit l'une de ces configurations. Il s'agit d'un système que nous avons assemblé pour un client, nous ne dévoilerons donc pas son identité. En revanche, nous pouvons vous montrer en détail la composition d'un serveur d'IA sur site, conçu sans compromis.

Le concept : une IA de classe Claude qui ne quitte jamais le bâtiment

Le principe de cette machine est simple : vous obtenez un assistant aussi performant que Claude Opus ou GPT, installé sur votre réseau. Que ce soit votre bureau, votre salle des serveurs ou votre domicile si vous y travaillez, chaque invite, chaque document, chaque ligne de code que vous y collez reste confinée à votre réseau.

Voici l'offre : pas de facturation par jeton évolutive selon l'utilisation, pas de file d'attente derrière les autres utilisateurs et aucun tiers ne contrôle votre fenêtre de contexte. Vous êtes propriétaire du matériel, donc vous maîtrisez la charge de travail.

À l'intérieur : six cartes graphiques professionnelles, 96 Go chacune

Ouvrez le boîtier et vous découvrirez immédiatement le mur de cartes graphiques : trois d'un côté, trois de l'autre. Chacune est une NVIDIA RTX PRO 6000 Blackwell Max-Q dotée de 96 Go de VRAM. Six cartes, soit environ 576 Go de mémoire vidéo, le tout dans un seul boîtier.

Cette configuration comporte six cartes, mais le châssis n'est pas plein. Il peut en accueillir jusqu'à huit, ce qui laisse de la place pour ajouter des GPU ultérieurement ou pour utiliser les emplacements à d'autres fins, comme un réseau fibre optique. Derrière la plaque dédiée aux GPU se trouvent deux processeurs AMD EPYC 7643 qui les alimentent.

Ce sont les aspects ingrats qui comptent.

Les performances d'une machine comme celle-ci reposent entièrement sur ses caractéristiques techniques, certes peu attrayantes. Mémoire : 512 Go de DDR4 installés sous forme de 8 barrettes LRDIMM de 64 Go, extensibles à 1.5 To en fonction de la charge de travail. Stockage : un disque système de 2 To et un disque NVMe de 4 To, car le poids des modèles doit être rapidement libéré du disque.

L'alimentation est assurée par cinq blocs d'alimentation redondants de 2 000 W. Si vous en retirez un en cours d'utilisation, le serveur continue de fonctionner ; il manifestera son mécontentement, certes, mais il continuera de fonctionner. Le refroidissement est assuré par douze ventilateurs haute pression de 15 000 tr/min, remplaçables à chaud et disposés en rangées sur le châssis. Vous pouvez retirer un ventilateur défectueux même lorsque la machine est en pleine charge, en insérer un nouveau, refermer le boîtier et vous éloigner. Il émet un sifflement pendant quelques secondes. Voilà toute la procédure de maintenance.

La carte mère intègre une gestion à distance dédiée, un double port LAN 10 Gigabit, un port VGA intégré pour un terminal, un port USB 3.2, ainsi qu'un bouton d'alimentation principal et un bouton d'alimentation secondaire, vous n'avez donc pas besoin de démonter quoi que ce soit pour la redémarrer.

Exécution locale de GLM 5.2

La charge de travail principale est GLM 5.2 au quatrième trimestre, soit environ 341 Go de poids de modèle répartis sur les six GPU. Il s'agit d'un modèle particulièrement volumineux, hébergé sur votre système. D'autres modèles ouverts sont également exécutés ; la mémoire vidéo est largement suffisante pour en maintenir plusieurs chargés ou pour basculer entre eux.

Un démarrage à froid n'est pas instantané, et nous préférons vous le dire plutôt que de vous laisser le découvrir. Entre l'énumération du matériel par le BIOS, le chargement par Linux d'un arbre de périphériques très volumineux, puis le transfert de 341 Go du SSD vers la VRAM, il faut compter plusieurs minutes avant l'affichage du premier jeton. Une fois le système chaud, il n'existe pas de valeur de débit unique, et quiconque vous en donne une ignore la question. Cela dépend de trois facteurs : le nombre de requêtes en cours, l'activation ou non du décodage spéculatif et la capacité du modèle à tenir sur une seule carte.

Pour GLM 5.2 réparti sur les six GPU : le décodage en simple requête simultanée, sans décodage spéculatif, atteint environ 25 à 40 jetons/seconde (c’est le calcul exact, et c’est le chiffre indiqué sur notre page produit publique). En activant le décodage spéculatif, toujours avec une seule requête à la fois, on passe à 40-60 jetons/seconde. C’est ce régime qui est utilisé dans la vidéo, ce qui explique pourquoi l’exécution filmée atteint environ 42 jetons/seconde. Avec l’ajout de la concurrence au décodage spéculatif, le même système atteint 60 à 120 jetons/seconde.

Il s'agit de chiffres pour des modèles haut de gamme, avec 341 Go répartis sur six cartes. Si l'on passe à un modèle tenant dans un seul GPU de 96 Go, on atteint des milliers de jetons par seconde, car on exécute six instances indépendantes au lieu d'une seule instance partitionnée. Même matériel, mais une différence d'un ordre de grandeur : c'est précisément pour cela qu'un chiffre unique ne veut rien dire.

Au-delà du chat et du code, cette même puce est un puissant outil de génération d'images, capable également de gérer la vidéo. La différence concrète par rapport à un point de terminaison cloud ne réside pas seulement dans la vitesse, mais aussi dans l'absence de file d'attente.

Pourquoi Max-Q et quel est le coût réel de cette option ?

Un détail important à préciser : il s’agit des versions Max-Q de la RTX PRO 6000. La Max-Q consomme 300 W. La carte non-Max-Q consomme 600 W, mais sa consommation peut être limitée à environ 400 W via les pilotes.

La technologie Max-Q sacrifie un peu de mémoire cache intégrée au profit d'une consommation d'énergie considérablement réduite. Dans un châssis à six cartes, ce compromis est essentiel pour un équilibre thermique et énergétique optimal. C'est le genre de décision qu'on prend une seule fois, lors de la conception, et qu'on assume ensuite sans problème – à condition d'en avoir été conscient.

À suivre — et comment s'en procurer un

Il y avait quelques autres composants sur le banc d'essai lors de ce tournage, qui ne font pas partie de ce serveur : une RTX 4090 et une NVIDIA CMP 170HX, une carte graphique de l'époque du minage d'Ethereum, vendue à 1 600 € sur notre site. Cette carte fera l'objet d'un test complet dans la prochaine vidéo ; nous n'allons donc pas nous contenter d'une explication superficielle ici.

Nous sommes également en train de constituer un véritable tableau de référence pour plusieurs modèles ouverts. Des chiffres, une méthodologie, sans approximations. Ce sera notre prochaine priorité.

Si vous souhaitez une machine comme celle-ci (ou une version plus compacte, une station de travail ou un PC gamer), Kentino est là pour vous. Parcourez notre gamme de serveurs IA ou faites-nous part de vos besoins et nous nous chargerons de la configuration.