SupermicroSYS-422GA-NRT-01-G2

Supermicro destine cette famille aux plateformes d'inférence partagées, et c'est là qu'elle donne le meilleur d'elle-même : un serveur sollicité en même temps par l'équipe data, celle qui développe des agents et deux ou trois services en production. Chaque RTX PRO 6000 peut être découpée avec MIG (le partitionnement NVIDIA d'un GPU en instances isolées) en quatre parts au plus, chacune avec sa propre mémoire. La machine peut ainsi se répartir en seize petits GPU ou fonctionner avec quatre grands, selon ce que demande chaque charge. Les 144 cœurs des deux Xeon 6960P suffisent largement pour le prétraitement, les bases vectorielles et les autres services qui entourent un modèle.

Les quatre GPU communiquent via un commutateur PCIe 5.0, sans le réseau NVLink des machines HGX, et c'est ce qui fixe sa limite. Pour servir un modèle réparti sur les quatre, cela fonctionne bien ; pour entraîner un grand modèle, où les GPU échangent des données en permanence, l'option est une HGX B300, car NVLink relie les GPU bien plus vite que le PCIe. Le réseau standard est en 10 GbE, suffisant si les modèles résident sur les disques E1.S locaux, insuffisant si vous les chargez depuis un stockage partagé.

Ce que nous prenons en charge

Nous l'intégrons à OpenShift AI ou à Kubernetes avec le NVIDIA GPU Operator, qui répartit les instances MIG entre les projets et permet à chaque équipe de demander le GPU dont elle a besoin sans toucher à la machine. Par-dessus, nous installons vLLM pour les modèles en production, ainsi que les notebooks et les pipelines de données de l'équipe data. Si vous voulez voir l'architecture complète, nous la décrivons dans inférence d'IA sur Kubernetes et Ceph.