Serveur pour l’IA : comment le choisirD’abord le modèle, puis les personnes qui l’utilisent en même temps, et enfin ce que supporte votre datacenter. Voici les calculs que nous faisons avant de recommander une machine.
gpt-oss-120b, le modèle ouvert d’OpenAI, compte 117 milliards de paramètres et tient sur un seul GPU de 80 Go. Deux ans plus tôt, un modèle de cette taille demandait plusieurs cartes. Il y parvient grâce au format : il stocke presque tous ses nombres en 4 bits au lieu de 16, et cela change la machine qu’il vous faut plus que n’importe quelle nouveauté du catalogue.
Nous partons donc du modèle et des personnes qui vont l’utiliser, et nous gardons le GPU pour la fin, quand il se choisit presque tout seul. Si vous en êtes encore au « pourquoi garder l’IA chez moi ? », nous l’expliquons dans pourquoi les entreprises montent leurs propres serveurs d’IA.
Combien de mémoire occupe le modèle
Un modèle de langage est, au fond, une énorme liste de nombres (les paramètres), et la première chose dont il a besoin est de la mémoire GPU pour les garder chargés en permanence. Le calcul est une simple multiplication : les paramètres par la taille de chacun, soit deux octets dans le format d’origine en 16 bits, un en 8 bits et un demi en 4 bits. Un modèle de 70 milliards de paramètres demande ainsi 140 Go à la sortie d’usine, environ 70 en 8 bits et environ 35 en 4 bits.
Llama 3.3 70B : la mémoire du modèle seul
En 8 bits, la qualité en souffre à peine, et c’est par là que nous vous proposons de commencer. En 4 bits, le modèle tombe juste presque à chaque fois, mais ce « presque » mérite d’être vérifié sur vos documents avant de lui faire confiance.
Beaucoup de modèles ouverts sont des mélanges d’experts, où seule une partie du modèle travaille pour chaque token (un token est chaque petit morceau du texte découpé, à peu près une syllabe ou un mot court). Ils répondent vite, mais ils réclament toute leur mémoire. Mistral Small 4, par exemple, utilise 6,5 milliards de paramètres par token et il faut garder chargés ses 119 milliards.
La dernière colonne laisse une marge raisonnable pour le modèle. Ce qu’elle ne compte pas encore, ce sont les conversations : elles viennent ensuite.
Combien de personnes l’utilisent à la fois
Chaque conversation ouverte occupe sa propre part de mémoire sur le GPU, car le modèle y note ce qu’il a déjà lu pour ne pas avoir à tout relire à chaque token qu’il écrit. Et cette part grandit à mesure que la conversation s’allonge. Sur Llama 3.3 70B, c’est environ 0,3 Mo par token, donc une conversation de 8 000 tokens (un rapport de quinze pages et quelques questions dessus) prend environ 2,5 Go. Sur un modèle de 8 milliards de paramètres comme Llama 3.1 8B, la même conversation s’en tient à 1 Go.
Mettez maintenant vingt personnes au travail en même temps sur de longs documents. Le 70B a besoin de 50 Go rien que pour leurs conversations, le double de ce qui reste libre sur une RTX PRO 6000 de 96 Go une fois le modèle chargé en 8 bits. Ces 25 Go suffisent pour environ huit longues conversations à la fois, ou le double si cette mémoire est elle aussi stockée en 8 bits, et avec des questions courtes il en tient beaucoup plus. Pour cent personnes en heure de pointe, il faut une autre machine, ou une file d’attente où personne ne veut être.
Une RTX PRO 6000 de 96 Go avec Llama 3.3 70B en 8 bits
La vitesse à laquelle chacun voit apparaître la réponse dépend surtout de la rapidité de cette mémoire, car pour écrire chaque token le modèle doit lire une bonne partie de ses paramètres. La HBM d’un H200 débite 4,8 To/s, environ trois fois plus que celle d’une RTX PRO 6000, et cela se sent quand beaucoup de monde regarde la réponse s’écrire mot à mot.
La taille du modèle vous dit s’il tient sur une carte ; le nombre de cartes dépend du nombre de personnes qui l’utilisent en même temps et des documents qu’elles traitent. Cela se mesure mieux que cela ne se devine, alors autant le mesurer avec votre charge avant d’acheter. Nous pouvons le faire pour vous, ou votre équipe peut apprendre à le faire dans la formation LLM en local et infrastructure GPU.
Quelle machine sort de ces calculs
Si le modèle est petit et que peu de personnes l’utilisent, ou si le travail tourne par lots la nuit, un CPU avec beaucoup de mémoire suffit. Mais dès que quelqu’un attend la réponse, le café à la main, le GPU cesse d’être optionnel.
Le cas le plus courant en entreprise est un serveur rack avec une à huit cartes PCIe. La L4, de 24 Go, va bien pour les petits modèles ; la L40S monte à 48 Go, et la RTX PRO 6000 Blackwell à 96 Go, juste ce que demande aujourd’hui un 70B en 8 bits. Avec ces cartes, on monte aussi bien le ThinkSystem SR650a V4, avec jusqu’à quatre cartes en 2U, que les Supermicro 4U à huit cartes, où tiennent tous les modèles du tableau jusqu’à DeepSeek-V4-Flash.
Au-dessus viennent les cartes HGX : huit GPU de datacenter (H200, B200 ou B300, de 141 à 288 Go chacun) reliés par NVLink, une connexion directe entre eux plusieurs fois plus rapide que le PCIe. Avec elle, un modèle de plusieurs centaines de milliards de paramètres se répartit sur les huit comme s’il s’agissait d’un seul GPU. C’est la machine pour des modèles comme DeepSeek-V3, pour des centaines d’utilisateurs ou pour entraîner vos propres modèles, et chez Lenovo elle s’appelle ThinkSystem SR680a V4, avec des B300 et un refroidissement par air. L’acheter pour qu’un service résume des contrats, c’est sortir l’artillerie lourde pour écraser une mouche.
De la machine la plus simple à la plus grande
Un CPU avec beaucoup de mémoire
sans GPUPetits modèles, peu de personnes ou traitements par lots la nuit.
D’une à quatre cartes PCIe
2UAvec une RTX PRO 6000 de 96 Go, un 70B en 8 bits.
Jusqu’à huit cartes PCIe
4UTous les modèles du tableau jusqu’à DeepSeek-V4-Flash.
Carte HGX : huit GPU reliés par NVLink
141 à 288 Go par GPUDeepSeek-V3 et R1, des centaines d’utilisateurs ou l’entraînement de vos propres modèles.
NVIDIA n’est pas la seule option. AMD vend ses cartes Instinct et vLLM fonctionne aussi dessus. La plupart des logiciels d’IA sont toutefois d’abord testés sur NVIDIA : mieux vaut vérifier que ce que vous comptez utiliser tourne déjà bien sur AMD.
Les configurations de chacun se trouvent sur nos pages serveurs Lenovo pour l’IA et serveurs Supermicro pour l’IA.
Ce que votre datacenter doit supporter
Le calcul qui fait le plus peur, c’est celui de la salle. Un DGX B200 de NVIDIA, avec huit GPU, consomme jusqu’à 14,3 kW, plus que deux foyers avec un abonnement de 6 kVA, le tout dans une seule baie. Avant de commander quoi que ce soit, il faut savoir quelle puissance arrive à la baie, si la climatisation peut évacuer cette chaleur et si le sol supporte le poids.
Les cartes PCIe sont plus faciles à vivre, mais moins qu’il n’y paraît : chaque RTX PRO 6000 peut atteindre 600 W, et huit font presque 5 kW rien qu’en GPU. Certains serveurs les brident, comme le SR650a V4, qui accepte les quatre à 450 W. Et si la salle ne supporte pas plus de climatisation, il existe des versions à refroidissement liquide comme le SR780a V3, qui loge huit B200 en 5U.
Puissance électrique, en kW
Si la machine va dans un bureau ou une usine sans datacenter, ce qui compte, c’est la profondeur de l’armoire et la température. Pour ces endroits, il existe des serveurs courts comme le ThinkEdge SE455 V3, de 438 mm de profondeur, qui dans certaines configurations supporte jusqu’à 55 °C.
Qui s’occupe du logiciel
Une fois la machine choisie, reste ce qui la fait fonctionner : le système d’exploitation, les pilotes du GPU et le programme qui sert le modèle. Les trois doivent aller ensemble, car un pilote NVIDIA qui ne correspond pas à la version de CUDA transforme le GPU en presse-papiers hors de prix. Nous travaillons avec deux piles déjà éprouvées. L’une est Ubuntu, qui depuis la 26.04 LTS intègre CUDA (les bibliothèques de NVIDIA pour utiliser le GPU) dans ses propres dépôts, avec le support de Canonical. L’autre est Rocky Linux dans son édition RLC Pro AI, avec CUDA, les pilotes réseau et PyTorch déjà validés et le support de CIQ, plus pratique si vos serveurs sont déjà de la famille Red Hat.
Par-dessus vient vLLM, le programme open source qui répartit la mémoire entre les conversations. Il parle le même langage que l’API d’OpenAI, donc les applications que vous avez déjà changent à peine. Si plusieurs équipes doivent partager les GPU, on ajoute Kubernetes pour les répartir entre équipes, ce que l’on pratique précisément dans la formation vLLM sur Kubernetes. Comme nous sommes partenaires de Canonical et de CIQ, la même équipe s’occupe du serveur, du système et du support. Et si vous préférez ne pas vous battre avec tout cela, nous vous le livrons monté sous forme de service d’inférence sur vos propres serveurs.
Questions fréquentes
De combien de mémoire GPU a besoin un modèle de 70 milliards de paramètres ?
Pour le modèle seul, 140 Go en 16 bits, environ 70 en 8 bits et environ 35 en 4 bits. Il faut y ajouter environ 2,5 Go par longue conversation. Une RTX PRO 6000 de 96 Go le sert en 8 bits à quelques personnes à la fois.
Peut-on faire tourner de l’IA en local sans GPU ?
Oui. Avec de petits modèles, peu d’utilisateurs ou des traitements par lots, un CPU avec assez de mémoire suffit. Quand des gens attendent une réponse ou que le modèle grossit, il faut un GPU.
Combien de personnes un serveur avec un seul GPU peut-il servir ?
Cela dépend du modèle et de la longueur des conversations, car chacune occupe de la mémoire. Un 70B en 8 bits sur une RTX PRO 6000 gère environ huit longues conversations à la fois, et un modèle de 8 milliards de paramètres sur la même carte, des dizaines. Le plus fiable est de le mesurer avec votre charge.
Combien coûte un serveur pour l’IA ?
Ce qui pèse le plus sur le prix, c’est le nombre et la classe des GPU ; viennent ensuite la mémoire, le réseau et les années de support. Le prix découle du modèle que vous allez servir et du nombre de personnes qui l’utiliseront. Avec ces deux données, dans le configurateur ou en nous parlant, nous vous faisons une proposition ferme.
De quel serveur avez-vous besoin ?
Dites-nous quel modèle vous voulez servir, pour combien de personnes et où ira la machine. Si besoin, nous mesurons votre charge avant l’achat, et la même équipe s’occupe du serveur, du système et du support. Si vous préférez faire les calculs vous-même, le configurateur vous permet de la monter étape par étape.
Serveurs Lenovo et Supermicro pour l’IA, avec Ubuntu ou Rocky Linux et support · sixe.beBlog!
Notre mission
SIXE garantit que vos infrastructures basées sur les technologies IBM®, Red Hat®, Canonical® et SUSE® restent stables, sécurisées et optimisées aussi longtemps que vous en avez besoin.
Chez SIXE, nous nous engageons pour la durabilité. C’est pourquoi nous vous aidons à concevoir, mettre en œuvre et maintenir des solutions technologiques durables et efficaces.
