Description
Formation pour les équipes systèmes qui veulent un modèle de langage qui tourne sur leurs propres serveurs et savoir de quel matériel elles ont besoin avant de l’acheter. On déploie un LLM derrière une API à accès restreint, on mesure ce qu’il supporte et on localise le goulot d’étranglement.
Informations sur la formation
| Code SIXE : SXIA03 | Catégorie : Intelligence artificielle / Infrastructure |
| Modalité : En ligne et en présentiel | Durée : 3 jours |
Pour qui
Administrateurs Linux, architectes systèmes, équipes plateforme et datacenter qui doivent mettre en route un LLM en local ou choisir les serveurs à acheter pour le faire.
Prérequis
Linux, conteneurs, HTTP et lecture de logs. Pas besoin de savoir entraîner des modèles ni d’administrer Kubernetes.
Ce que tu vas apprendre
- Choisir le modèle : poids, licences, quantification, longueur de contexte et mémoire nécessaire pour chaque option.
- Le servir via une API : vLLM ou un autre runtime compatible, avec authentification, limites et suivi des utilisateurs.
- Mesurer : latence, mémoire et concurrence sous une charge définie, en comparant deux configurations.
- Trouver le goulot d’étranglement : CPU, GPU, stockage ou réseau, avec des métriques défendables ; par exemple, un GPU à l’arrêt parce que les données arrivent trop lentement.
- L’exploiter : mettre à jour le modèle, revenir à la version précédente et préparer le plan de capacité du pilote.
On travaille sur un serveur Linux isolé avec un modèle dont la licence a été vérifiée, et tu repars avec un service reproductible, ses mesures et la procédure pour le mettre à jour.
Ce que tu emportes
- La configuration du service, avec son contrôle d’accès, prête à reproduire.
- Les mesures de qualité, de mémoire et de latence des configurations testées.
- Une carte des données qui sortent du serveur et la procédure de mise à jour et de retour arrière.
Pour le contexte, nous avons expliqué pourquoi les entreprises montent leurs propres serveurs d’IA et comment faire tourner vLLM sur IBM Power sans GPU.
Questions fréquentes
Combien de temps dure la formation ?
3 jours.
Est-elle en ligne ou en présentiel ?
Les deux : dans tes locaux ou à distance, avec un formateur en direct.
Que dois-je savoir avant de commencer ?
Linux, conteneurs, HTTP et lecture de logs. Pas besoin de savoir entraîner des modèles ni d’administrer Kubernetes.
Un modèle local garantit-il qu’aucune donnée ne sort du serveur ?
Pas à lui seul. La formation passe en revue téléchargements, télémétrie, intégrations et connexions pour vérifier ce qui sort et ce qui ne sort pas.
De quel GPU ai-je besoin ?
Cela dépend de la qualité, de la concurrence, du contexte et de la latence nécessaires. La formation apprend à le mesurer avant de choisir le matériel.
Peut-on l’adapter à mon équipe ?
Oui. Nous adaptons les exemples et les travaux pratiques aux outils et aux processus de l’équipe, et elle peut être combinée avec d’autres formations en IA.
