Partenaire de CIQ

Cluster HPC sous Rocky Linux : tous les nœuds identiques, toujours

Nous déployons votre cluster avec Warewulf Pro, qui démarre tous les nœuds par le réseau depuis la même image, et nous exécutons les calculs dans des conteneurs Apptainer. Nous le montons avec Slurm et le maintenons avec notre équipe, en français.

Pour x86_64 et ARM, avec GPU NVIDIA ou AMD.

Pourquoi un cluster finit par dériver

Un cluster commence avec tous ses nœuds identiques. Quelques mois plus tard, chacun a sa version de bibliothèque, son correctif et sa retouche manuelle. Le jour où un calcul échoue sur le nœud 47 et pas sur le 12, personne ne sait pourquoi, et réinstaller à la main ne passe pas à l'échelle.

Avec Warewulf, les nœuds n'ont rien d'installé sur disque : ils démarrent par le réseau depuis une image et, quand l'image change, ils changent tous. Par-dessus, Apptainer met chaque application et ses dépendances dans un conteneur, et ce qui fonctionne sur un nœud fonctionne sur tous.

Ce que comprend la pile HPC de CIQ
Warewulf ProDémarrage réseau sans état des nœuds (iPXE et HTTP), avec des images prêtes pour OpenHPC, Slurm et OpenPBS.
GestionInterface web pour les images, catalogue d'overlays et accompagnement des mises à jour majeures.
Apptainer ProVersions à support long, vérification GPU, CUDA, ROCm et MPI avant lancement, et trace de chaque exécution.
ConteneursSIF, OCI et Docker, sans root, avec Open MPI, MPICH, Intel MPI et PMIx.
Hors ligneMiroirs d'images locaux et paquets signés pour les réseaux isolés.
BaseRocky Linux ou RLC Pro en x86_64 et ARM.

La brique qu'il vous faut

Warewulf Pro

Si vous montez un nouveau cluster ou si le vôtre est devenu ingérable. C'est la base de tout le reste.

Apptainer Pro

Si vos utilisateurs travaillent déjà avec des conteneurs, si vous venez de Singularity ou si vous devez savoir quelle image a tourné sur quel nœud.

Fuzzball

Si vous voulez que les chercheurs lancent leurs calculs depuis le navigateur, sans ligne de commande, au-dessus de votre Slurm ou PBS.

Ascender Pro

Si vous devez aussi corriger et auditer beaucoup de serveurs avec Ansible, dans le cluster et en dehors.

Pour les nœuds GPU, le système adapté est RLC Pro AI. Toutes les éditions de Rocky sont sur notre page support Rocky Linux.

Ce que nous apportons

CIQ fait le logiciel ; concevoir le cluster, le déployer et rendre votre équipe autonome, c'est notre travail.

  1. Conception

    Nœuds, réseau et stockage

    Avec des serveurs Supermicro si besoin, et le stockage que demande votre charge : Ceph, Lustre ou IBM Storage Scale.

  2. Déploiement

    Warewulf et Slurm

    Les images de nœud, les overlays et l'ordonnanceur, testés avec vos vrais calculs.

  3. Conteneurs

    Apptainer pour vos applications

    Nous migrons vos conteneurs Singularity et préparons les images de votre équipe.

  4. Formation

    Votre équipe aux commandes

    Avec notre formation Slurm et le reste de nos formations HPC.

  5. Au quotidien

    Support en français

    Mises à jour, incidents et croissance du cluster, avec CIQ derrière nous pour Warewulf et Apptainer.

Questions fréquentes

Qu'est-ce que Warewulf ?

Un système open source pour déployer et gérer des clusters HPC. Les nœuds démarrent par le réseau depuis une image commune et ne gardent rien sur disque : ils sont tous identiques, et changer le système de cent nœuds revient à changer une image. CIQ est le principal moteur du projet.

Qu'apporte Warewulf Pro par rapport au Warewulf communautaire ?

Des images de nœud prêtes et maintenues pour OpenHPC, Slurm et OpenPBS, un catalogue d'overlays de configuration, une interface web pour gérer les images, des paquets Warewulf et Apptainer toujours à jour et un accompagnement pour passer d'une version majeure à l'autre.

Apptainer et Singularity, c'est la même chose ?

Apptainer est le projet Singularity sous un autre nom depuis son arrivée à la Linux Foundation en 2021. Les conteneurs SIF continuent de fonctionner, et il s'exécute sans privilèges root, ce qui le rend adapté aux clusters partagés.

Peut-on déjà souscrire Apptainer Pro ?

Il est en accès anticipé, surtout pour les équipes qui viennent de Singularity. Nous vous dirons où il en est quand nous parlerons de votre cluster.

Est-ce que cela fonctionne avec Slurm ou PBS ?

Oui. Warewulf Pro fournit des images prêtes pour Slurm, OpenPBS et OpenHPC, et Apptainer Pro fonctionne avec Slurm et Fuzzball. Vous gardez votre ordonnanceur.

Dites-nous ce que vous allez faire tourner

Avec le nombre de nœuds, le type de calculs et le stockage dont vous avez besoin, nous vous disons comment le monter et quelles briques prendre.