RTX PRO 6000 Blackwell pour l’IACe qui change entre ses trois versions, dans quels serveurs elle s’installe, quand une H200 est préférable et comment la diviser en quatre avec MIG.
La RTX PRO 6000 Blackwell est une carte PCIe dotée de 96 Go de mémoire, et ce chiffre explique pourquoi on la retrouve dans tant de configurations de serveurs d’IA. 96 Go suffisent pour un modèle de 70 milliards de paramètres en 8 bits, avec de la place pour quelques conversations, ce qui exigeait jusqu’ici deux cartes ou un GPU de datacenter bien plus cher.
Une bonne partie des serveurs de notre catalogue l’accueillent, et avant d’en configurer un, il faut décider quelle version commander, combien de cartes tiennent dans chaque machine et comment en partager une entre plusieurs équipes.
Les trois versions de la RTX PRO 6000
Toutes les trois ont la même puce, les mêmes 96 Go de GDDR7 à correction d’erreurs et les mêmes 24 064 cœurs CUDA, et toutes les trois prennent en charge MIG. Ce qui change, c’est la puissance qu’elles peuvent consommer et leur refroidissement, et cela détermine où chacune peut aller.
Pour un serveur en rack, il vous faut la Server Edition, car elle n’a pas de ventilateurs et se refroidit avec l’air que déplace le châssis lui-même. La Workstation Edition rejette sa chaleur à l’intérieur du boîtier et elle est conçue pour une seule carte dans un poste de bureau. La Max-Q consomme moitié moins et rejette l’air par l’arrière, ce qui permet d’en installer plusieurs côte à côte dans une station de travail, au prix de performances inférieures à celles des modèles de 600 W.
Dans quels serveurs elle s’installe et combien en mettre
Deux cartes font 192 Go, de quoi servir un modèle de 70 milliards de paramètres à beaucoup de monde en même temps, ou un modèle de plus de 100 milliards en 8 bits. C’est ce qu’embarquent le Supermicro SYS-212GB-FNR, qui les loge en 2U avec un seul Xeon, et l’AS-5126GS-TNRT, livré avec deux cartes et qui laisse la place pour monter à huit le moment venu.
Chez Lenovo, le ThinkSystem SR650a V4 en accepte quatre en 2U si elles sont limitées à 450 W, ou deux à 600 W. Pour quatre ou huit cartes à pleine puissance, il y a le SYS-422GA-NRT avec quatre cartes, le même châssis avec huit et 768 Go de mémoire GPU au total, et le ThinkSystem SR675 V3, qui en accepte aussi huit.
Avec huit cartes, les GPU seuls peuvent demander presque 5 kW : avant de choisir le châssis, vérifiez donc quelle puissance arrive à la baie et quelle chaleur la salle peut évacuer. Tous les calculs, du modèle au datacenter, se trouvent dans notre guide pour choisir un serveur pour l’IA.
RTX PRO 6000 face à la H200 et à la RTX 5090
La H200 NVL, elle aussi en PCIe, dispose de 141 Go de mémoire HBM3e lue à 4,8 To/s, trois fois plus vite que celle de la RTX PRO 6000. C’est cette vitesse qui fixe la rapidité d’apparition de chaque mot de la réponse quand beaucoup de personnes attendent, et les H200 peuvent en plus être reliées entre elles par des ponts NVLink. Les RTX PRO 6000 n’ont pas de NVLink et communiquent par le PCIe : elles donnent donc le meilleur d’elles-mêmes quand chaque modèle tient sur une carte ou sur quelques-unes.
Si vous allez servir plusieurs modèles d’environ 70 milliards de paramètres au maximum, ou un seul de cette taille à un service de l’entreprise, la RTX PRO 6000 suffit en général. S’il s’agit d’un grand modèle réparti sur plusieurs GPU et utilisé par des centaines de personnes, la H200 ou une carte HGX avec des B200 ou des B300 justifie son surcoût. Si vous hésitez, nous pouvons le mesurer avec votre charge avant l’achat.
La GeForce RTX 5090 revient souvent dans cette comparaison parce qu’elle utilise la même génération de puce, mais elle n’a que 32 Go, ne prend pas en charge MIG et son refroidissement est conçu pour une tour de bureau. Elle convient pour essayer de petits modèles sur un poste de travail, mais sur un serveur partagé, c’est la mémoire qui manque avant la puissance.
Diviser la RTX PRO 6000 en quatre avec MIG
MIG (Multi-Instance GPU) divise la carte au niveau matériel en GPU plus petits, chacun avec sa mémoire et ses cœurs, de sorte que ce qui se passe sur l’un n’affecte pas les autres. D’après le guide MIG de NVIDIA, la RTX PRO 6000 accepte jusqu’à quatre instances de 24 Go, la RTX PRO 5000 jusqu’à deux, et les H100, H200 et B200 jusqu’à sept. Quatre tranches de 24 Go permettent de servir en même temps plusieurs petits modèles, comme un modèle d’embeddings, un classificateur et un modèle de transcription vocale, sans qu’ils se disputent la mémoire.
Pour l’activer, il faut le pilote R575 (575.51.03) ou ultérieur et une version minimale du vBIOS, le micrologiciel de démarrage de la carte. Certaines RTX PRO 6000 sont sorties d’usine avec un vBIOS antérieur, et nvidia-smi -i 0 -mig 1 répond alors par un « Not Supported » qui n’en explique pas la cause. Vous pouvez le vérifier avec nvidia-smi --query-gpu=vbios_version --format=csv, et s’il est trop ancien, la mise à jour se demande au fabricant du serveur ou à celui qui vous a vendu la carte.
Sur une station de travail à une seule carte, MIG exige que la carte fonctionne en mode calcul, et dans ce mode elle n’alimente plus l’écran. Sur un serveur, le problème ne se pose pas, puisque l’affichage passe par la carte mère.
Si la carte va dans un cluster Kubernetes, le GPU Operator de NVIDIA configure les tranches sur chaque nœud et les présente comme des GPU normaux. Nous expliquons comment les combiner avec le partage par tranches de temps et les files d’attente par équipe dans Partage de GPU sur Kubernetes.
Questions fréquentes
Combien de mémoire a la RTX PRO 6000 Blackwell ?
96 Go de GDDR7 à correction d’erreurs, dans ses trois versions, avec une bande passante d’environ 1,6 To/s.
Quel modèle de langage tient sur une RTX PRO 6000 ?
Un modèle de 70 milliards de paramètres en 8 bits occupe environ 70 Go : il tient donc avec environ 25 Go libres pour les conversations. gpt-oss-120b, qui est en 4 bits, tient aussi. Pour les modèles de plus de 100 milliards en 8 bits, il faut deux cartes ou plus.
La RTX PRO 6000 a-t-elle NVLink ?
Non. Les cartes communiquent par PCIe 5.0 : elles fonctionnent donc mieux quand chaque modèle tient sur une carte ou sur quelques-unes. Pour répartir un très grand modèle sur huit GPU, on utilise des cartes HGX avec NVLink.
Quelle différence entre la Server Edition et la Max-Q ?
La Server Edition n’a pas de ventilateurs, peut consommer entre 400 et 600 W et s’installe dans des serveurs en rack. La Max-Q reste à 300 W, possède un ventilateur qui rejette l’air par l’arrière et elle est conçue pour les stations de travail à plusieurs cartes.
Pourquoi ne puis-je pas activer MIG sur ma RTX PRO 6000 ?
Vérifiez d’abord le vBIOS. NVIDIA exige une version minimale pour chaque édition et certaines cartes sont sorties avec une version antérieure. Vérifiez-le avec nvidia-smi --query-gpu=vbios_version --format=csv et contrôlez aussi que le pilote est R575 ou ultérieur.
Combien de RTX PRO 6000 vous faut-il ?
Dites-nous quel modèle vous voulez servir et pour combien de personnes, et nous vous proposons le serveur avec les cartes, le système installé et le support inclus. Si vous préférez faire les calculs vous-même, le configurateur vous permet de le monter étape par étape.
Serveurs Lenovo et Supermicro avec RTX PRO 6000, avec Ubuntu ou Rocky Linux et supportBlog!
Notre mission
SIXE garantit que vos infrastructures basées sur les technologies IBM®, Red Hat®, Canonical® et SUSE® restent stables, sécurisées et optimisées aussi longtemps que vous en avez besoin.
Chez SIXE, nous nous engageons pour la durabilité. C’est pourquoi nous vous aidons à concevoir, mettre en œuvre et maintenir des solutions technologiques durables et efficaces.
