SupermicroAS-2115HS-TNR-01-G2

Un AMD EPYC 9655P de 96 cœurs, 1,5 To de DDR5 et une DPU NVIDIA BlueField-3 dotée de deux ports 200 GbE ou InfiniBand NDR200, dans un Hyper 2U mono-socket à 24 baies.

Supermicro AS-2115HS-TNR-01-G2Rack 2U · Gold Series G2

La configuration exacte

Fiche technique officielle

Face avant schématique  survolez chaque composant.
Processeur1× AMD EPYC 9655P96 cœurs · 2,6 GHz
Mémoire1,5 To24× 64 Go DDR5-6400
Stockage2× 7,6 To U.2 NVMe
RéseauNVIDIA BlueField-3 B3220 DPU, 2-port 200 GbE / NDR200
FormatRack 2U
Garantie
3 ans pièces et main-d'œuvre
Intervention sur site
En option  le jour ouvré suivant, pendant 3 ans
Logiciel
Supermicro Data Center Management Suite, licence par nœud

Bases de données en mémoire au service de l'inférence

Les bases vectorielles, les caches de caractéristiques ou l'index qu'interroge un modèle avant de répondre sont des bases de données en mémoire au service de l'inférence, et deux choses y comptent : que tout le jeu de données tienne en RAM, et 1,5 To laissent de la marge, et qu'il parte sur le réseau sans que le CPU passe son temps à déplacer des paquets. C'est le rôle de la BlueField-3, une DPU (carte réseau dotée de ses propres processeurs Arm) qui prend en charge le chiffrement, l'accès au stockage distant et l'isolation réseau, et laisse les 96 cœurs à la base de données. Face à un serveur bi-socket équipé d'une carte réseau 200G classique, ce travail de réseau et de chiffrement ne pèse pas ici sur le CPU.

Avec un seul processeur, les 24 emplacements fonctionnent à deux modules par canal et la vitesse descend à 4 000 MT/s : si votre charge dépend davantage de la bande passante que de la capacité, la version -02 vous offre la moitié de la mémoire à 5 200 MT/s. Quant à la DPU, elle n'est rentable que si votre plateforme en tire parti ou si quelqu'un va la programmer ; pour un réseau 25 GbE classique, elle est superflue.

Ce que nous prenons en charge

Ici, l'essentiel du travail porte sur le réseau. Nous installons RHEL ou Ubuntu avec les pilotes et le firmware de la BlueField-3, nous la configurons en mode Ethernet ou InfiniBand selon ce qui se trouve à l'autre bout du câble et, si les modèles tournent sur Kubernetes ou OpenShift, nous raccordons le nœud comme couche de données de ce cluster. La façon dont il s'intègre au reste est détaillée dans inférence IA sur Ceph, OpenStack et Kubernetes.

Face au reste de la famille

ModèleCe qu'il embarqueQuand le choisir
AS-1126HS-TN-01-G22x AMD EPYC 9355 · 1,5 ToDeux EPYC à haute fréquence en seulement 1U.
AS-2115HS-TNR-02-G21x AMD EPYC 9655P · 768 GoLes mêmes 96 cœurs avec une mémoire plus rapide et du 25 GbE.
AS-2126HS-TN-01-G22x AMD EPYC 9965 · 1,5 To384 cœurs pour consolider, avec peu de mémoire par cœur.
SYS-112H-TN-02-G21x Intel Xeon 6731P · 1 ToUn Xeon, 32 Go par cœur et 4×25 GbE.
SYS-222H-TN-01-G22x Intel Xeon 6740P · 1 ToDeux Xeon en 2U, avec emplacements et place pour des GPU.
AS-2115GT-HNTR-01-G21x AMD EPYC 9534 · 512 GoQuatre serveurs de 64 cœurs en 2U, pour un cluster.
AS-1115CS-TNR-01-G21x AMD EPYC 9555P · 384 GoNœud de métadonnées à quatre ports 200G.
AS-1115CS-TNR-02-G21x AMD EPYC 9115 · 64 GoEntrée de gamme en EPYC 9005, avec de la marge pour évoluer.
SYS-122C-TN-01-G22x Intel Xeon 6736P · 1 ToDeux Xeon 6 en 1U, pour de nombreux nœuds identiques.
AS-3015MR-H8TNR-01-G21x AMD EPYC 4565P · 64 GoHuit petits nœuds rapides en 3U, un par client.
AS-1015A-MT-01-G21x AMD EPYC 4564P · 32 GoBureau distant en 1U et 43 cm de profondeur.

Voir tous les serveurs rack

Ce que comprend la livraison

En usine

  • Configuration assemblée et testée par Supermicro
  • Garantie de 3 ans pièces et main-d'œuvre

De notre côté

  • Montage en rack
  • Gestion à distance (BMC) et firmware à jour
  • Système d'exploitation et pile logicielle installés
  • Tests avec votre charge avant la mise en production

Si vous en avez besoin

  • Astreinte 24×7 avec SLA
  • Intervention sur site le jour ouvré suivant pendant les 3 ans

Comment nous le mettons en place

Ce qui tourne sur ces serveurs, expliqué en détail 

Questions sur la AS-2115HS-TNR-01-G2

Quelle différence avec l'AS-2115HS-TNR-02-G2 ?

Même châssis et même EPYC 9655P. Le -01 double la mémoire jusqu'à 1,5 To, plus lente toutefois puisqu'elle passe à deux modules par canal, et remplace le réseau 25 GbE par la BlueField-3 à 200 GbE. Le -02 reste à 768 Go à 5 200 MT/s et c'est le choix raisonnable si vous n'allez pas exploiter la DPU.

La BlueField-3 fonctionne-t-elle en Ethernet ou en InfiniBand ?

Les deux ports fonctionnent en 200 GbE ou en InfiniBand NDR200 (la génération d'InfiniBand à 200 Gb/s par port), et le mode se fixe par configuration. Nous la préparons selon le commutateur auquel elle sera raccordée, car c'est la première chose à décider avant de commander câbles et transceivers.

Accepte-t-il des GPU ?

Le châssis accepte jusqu'à deux GPU double largeur, comme la NVIDIA RTX 6000 Ada ou la RTX A6000, selon la répartition des emplacements PCIe avec la DPU. La configuration Gold n'en comprend aucun : si vous voulez que le même nœud exécute le modèle en plus de servir les données, indiquez-le-nous à la commande pour que nous vérifiions emplacements, alimentations et refroidissement.

Le AS-2115HS-TNR-01-G2 convient-il à votre projet 

Décrivez-nous la charge et le centre de données qui l'accueillera  nous vous répondons avec le prix, le délai confirmé et ce qu'il faut pour le mettre en service.