Migration de Lustre FS vers IBM Storage Scale (GPFS)

Dans cet article, nous te racontons comment nous avons migré dans les environnements HPC de SIXE de LUSTRE à GPFS, bien, maintenant appelé IBM Storage Scale (et il n’y a pas longtemps Spectrum Scale). Comme tu le sais, les environnements de calcul haute performance (HPC) jouent un rôle essentiel dans la recherche scientifique, l’ingénierie et l’innovation dans une grande variété de domaines. Pour réaliser tout le potentiel de ces infrastructures, un système de stockage efficace et performant est indispensable. L’un des systèmes de fichiers parallèles les plus utilisés dans les environnements HPC est Lustre FS, mais parfois, migrer vers des solutions plus avancées et plus polyvalentes devient une nécessité. Dans cet article, nous allons explorer le processus de migration de Lustre FS vers IBM Storage Scale (anciennement connu sous le nom de GPFS) dans une infrastructure HPC composée de centaines de nœuds de calcul avec stockage interne ou externe, connectés à un réseau haute performance, tel qu’InfiniBand ou 10G Ethernet.

Pourquoi migrer vers IBM Storage Scale (GPFS) ?

IBM Storage Scale, anciennement connu sous le nom de GPFS (General Parallel File System), est un système de fichiers parallèles hautement évolutif et robuste conçu pour les applications hautes performances, notamment les environnements HPC. Alors que les besoins en stockage et en performance continuent de croître dans les environnements HPC, la migration vers une solution comme IBM Storage Scale peut offrir des avantages significatifs :

1. Évolutivité: IBM Storage Scale peut évoluer horizontalement pour s’adapter à une augmentation de la quantité de données et de nœuds de calcul de façon transparente. Cela est essentiel dans les environnements HPC où les charges de travail peuvent être extrêmement exigeantes en matière de stockage.
2. Haute performance: IBM Storage Scale est conçu pour des performances élevées en lecture et en écriture, ce qui le rend idéal pour les applications HPC qui nécessitent un accès rapide et efficace à de grands ensembles de données.
3. Stabilité et sécurité: IBM Storage Scale est connu pour sa fiabilité et sa sécurité. Il offre des fonctions de tolérance aux pannes qui garantissent la disponibilité des données critiques à tout moment. Des données qui peuvent être protégées par un cryptage si nécessaire.
4. Intégration aux environnements HPC: IBM Storage Scale s’intègre bien aux réseaux haute performance utilisés dans les environnements HPC, tels que InfiniBand ou 10G Ethernet, ce qui simplifie la transition.
5. Assistance: SIXE assure l’assistance et la maintenance continues de Storage Scale, ce qui garantit que ton système de stockage est soutenu par une entreprise ayant plus de 20 ans d’expérience dans cette technologie. Nous le faisons par l’intermédiaire d’IBM, dont nous sommes un partenaire commercial à valeur ajoutée.
6. Une architecture plus facile à déployer, à faire évoluer et à entretenir. Pour nous, c’est le point clé qui nous fait recommander d’entreprendre cette migration. Lustre FS au-delà d’une certaine échelle devient complexe à administrer, à surveiller et à mettre à jour, tandis que GPFS fonctionne parfaitement dans 90 % des scénarios avec quelques ajustements supplémentaires.

Planifier la migration à partir de Lustre FS

La migration d’un système de fichiers parallèle dans une infrastructure HPC est une tâche complexe et critique qui nécessite une planification minutieuse. Voici quelques étapes clés à prendre en compte :

1. Évaluation des besoins: Avant de commencer la migration, il est essentiel de comprendre les exigences de stockage et de performance de ta charge de travail HPC. Cela permettra de déterminer la configuration optimale d’IBM Storage Scale. Nous devons comprendre les cas d’utilisation et les besoins spécifiques de l’environnement. Et aussi les points où Lustre FS a particulièrement bien ou mal fonctionné :)
2. Conception de l’architecture : nous avons conçu la meilleure architecture possible pour IBM Storage Scale en tenant compte de la topologie de ton réseau haute performance, du stockage et de la répartition des nœuds de calcul. Cela doit être fait de manière à minimiser ou à éliminer les temps d’arrêt pendant la migration. C’est à ce stade que nous déciderons d’utiliser IBM COS (Cloud Object Storage), ESS (Elastic Storage) ou Spectrum Scale (GPFS) déployés directement sur les serveurs de stockage, les serveurs de calcul ou les deux.
3. Préparation des données: nous nous assurons que tes données sont organisées et prêtes pour la migration. Cela peut impliquer de nettoyer les données indésirables ou de réorganiser les données existantes.
4. Tests dans un environnement de développement: avant la migration vers la production, nous effectuons des tests approfondis dans un environnement de développement afin d’identifier les problèmes potentiels et d’ajuster la configuration si nécessaire.
5. Planification de la migration à chaud: Nous déterminons le meilleur moment pour effectuer la migration à chaud, en minimisant l’impact sur les opérations HPC. Cela peut nécessiter de programmer la migration pendant les périodes de faible activité. Storage Scale dispose de plusieurs fonctionnalités qui permettent une migration non-stop des environnements. C’est essentiel car le déplacement des données peut prendre des jours.
6. Exécution de la migration: Nous effectuons la migration en suivant le plan établi. Cela peut inclure le transfert de données et la configuration d’IBM Storage Scale.
7. Test et validation: nous effectuons des tests approfondis pour nous assurer que toutes les données ont été migrées avec succès et que le nouveau système de stockage répond aux exigences de performance.
8. Formation: nous assurons la formation des utilisateurs et du personnel informatique pour leur permettre de s’adapter au nouveau système de fichiers.
9. Maintenance et assistance permanentes: élabore un plan de maintenance permanente pour t’assurer que ton système de stockage fonctionne de façon optimale au fil du temps.

Conclusions

La migration de Lustre FS vers IBM Storage Scale (anciennement GPFS) dans une infrastructure HPC peut être une tâche difficile mais gratifiante. Ce faisant, les centres de recherche et les organisations peuvent profiter d’un système de fichiers parallèles hautement évolutif, fiable et performant. Cependant, une planification minutieuse, des tests et une formation adéquate sont essentiels pour garantir le succès de la migration et minimiser toute perturbation des opérations HPC.

Si tu envisages une migration vers IBM Storage Scale, nous te proposons de le faire en étroite collaboration avec SIXE. Nous sommes des experts en stockage et des consultants spécialisés en calcul intensif pour que la transition se fasse le plus harmonieusement et le plus efficacement possible. Avec la bonne approche et le bon investissement en temps et en ressources, tu peux améliorer considérablement la capacité de ton infrastructure HPC à prendre en charge la recherche et les applications de haute performance à l’avenir.