Description
Formation pour l’équipe plateforme qui doit faire passer un modèle du test avec Ollama à un service utilisé par toute l’entreprise : vLLM qui sert le modèle sur Kubernetes, llm-d qui répartit la charge entre les répliques, et des GPU partagés entre équipes. Tout est monté sur un cluster de laboratoire avec GPU et mesuré sous charge, pour savoir ce qu’apporte chaque brique avant de la passer en production.
Informations sur la formation
| Code SIXE : SXIA08 | Catégorie : Intelligence artificielle / Plateforme IA |
| Modalité : En ligne et en présentiel | Durée : 3 jours |
Pour qui
Équipes plateforme, SRE et systèmes qui administrent déjà Kubernetes et vont exploiter des modèles de langage pour plusieurs équipes de l’entreprise.
Prérequis
Bonne maîtrise de Kubernetes (déploiements, services et Helm) et de Linux. Avoir servi un modèle avec Ollama ou vLLM aide ; sinon, la formation LLM en local et infrastructure GPU couvre cette base.
Ce que tu vas apprendre
- D’Ollama à vLLM : ce qui change quand on sert beaucoup de monde : la mémoire de chaque conversation, le traitement par lots continu (les requêtes entrent et sortent du GPU sans attendre les autres) et l’API compatible OpenAI.
- vLLM sur Kubernetes : le GPU Operator de NVIDIA, le déploiement avec KServe ou Helm et les modèles sur un stockage partagé pour ne pas les télécharger à chaque démarrage.
- Répartir la charge avec llm-d : routage selon ce que chaque réplique a déjà en mémoire, séparation de la lecture de la question et de l’écriture de la réponse, et quand cela vaut mieux qu’un répartiteur classique.
- Partager les GPU : quotas et priorités avec Kueue pour que plusieurs équipes utilisent les mêmes cartes sans se marcher dessus.
- L’exploiter : métriques de vLLM dans Prometheus (temps jusqu’au premier mot et tokens par seconde), alertes et comment tester une nouvelle version de vLLM avant de mettre à jour.
On travaille avec un modèle ouvert sur un cluster avec GPU, et tu repars avec deux répliques derrière llm-d, un tableau de bord de métriques et un test de charge qui compare l’avant et l’après.
Ce que tu emportes
- Des manifestes de déploiement de vLLM et llm-d réutilisables.
- Un tableau de bord avec les métriques de service du modèle.
- Un script de test de charge et la procédure de mise à jour de vLLM.
Si tu préfères que nous le montions et le supportions, c’est notre service d’inférence IA sur tes propres serveurs. Et si l’équipe n’a pas encore choisi de modèle ni de GPU, commence par la formation LLM en local et infrastructure GPU.
Questions fréquentes
Combien de temps dure la formation ?
3 jours.
Est-elle en ligne ou en présentiel ?
Les deux : dans tes locaux ou à distance, avec un formateur en direct.
Que dois-je savoir avant de commencer ?
Bonne maîtrise de Kubernetes (déploiements, services et Helm) et de Linux. Avoir servi un modèle avec Ollama ou vLLM aide ; sinon, la formation LLM en local et infrastructure GPU couvre cette base.
Faut-il avoir ses propres GPU ?
Pas pour la formation : le laboratoire a des GPU. Si tu as déjà des serveurs avec GPU, les travaux pratiques peuvent se faire dessus.
En quoi est-elle différente de la formation LLM en local ?
La formation LLM en local choisit le modèle, le sert sur un serveur et dimensionne le GPU. Celle-ci part de là et le porte sur Kubernetes pour beaucoup d’utilisateurs et plusieurs équipes.
Peut-on l’adapter à mon équipe ?
Oui. Nous adaptons les exemples et les travaux pratiques aux outils et aux processus de l’équipe, et elle peut être combinée avec d’autres formations en IA.
