Description
Formation big data avec Apache Spark pour préparer les données qui alimentent les modèles et assistants d’IA sur ton propre stockage : Ceph, stockage compatible S3 ou systèmes de fichiers parallèles, pas un service cloud. On construit une chaîne de traitement qu’on peut relancer sans dupliquer les données et qui explique d’où vient chaque résultat.
Informations sur la formation
| Code SIXE : SXIA06 | Catégorie : Intelligence artificielle / Données |
| Modalité : En ligne et en présentiel | Durée : 3 jours |
Pour qui
Data engineers, analystes avancés et équipes plateforme qui doivent déplacer et préparer de gros volumes de données pour entraîner ou alimenter des modèles.
Prérequis
Bases de Python et de SQL. Aucune expérience préalable de Spark ou de Hadoop n’est nécessaire.
Ce que tu vas apprendre
- Concevoir la chaîne de traitement : schémas, contrats de données, formats comme Parquet et contrôles qualité dès l’entrée.
- Spark de l’intérieur : partitions, shuffle et pourquoi un job est lent ; quand Python suffit et quand distribuer devient rentable.
- Lire et écrire sur ton stockage : Spark sur un stockage compatible S3 comme Ceph, et l’effet du réseau et des disques sur les performances.
- Chargements incrémentaux : ne traiter que les nouveautés, relancer sans doublons et reprendre un chargement interrompu.
- Données en temps réel : événements avec Spark Structured Streaming, fenêtres et données qui arrivent en retard.
On travaille avec trois sources d’exemple (un CSV, une API et un flux d’événements) et tu repars avec une chaîne Spark prête à alimenter un modèle, avec son lignage et ses contrôles.
Ce que tu emportes
- Une chaîne Spark avec contrats et contrôles qualité.
- Le registre du lignage et de chaque chargement.
- Un test de reprise d’un chargement interrompu.
Le stockage est presque toujours le goulot d’étranglement de ces charges : nous l’expliquons dans quel stockage choisir pour l’IA et le HPC. Si tu utilises Ceph, nous proposons une formation Ceph et du support Ceph pour l’IA et le HPC.
Questions fréquentes
Combien de temps dure la formation ?
3 jours.
Est-elle en ligne ou en présentiel ?
Les deux : dans tes locaux ou à distance, avec un formateur en direct.
Que dois-je savoir avant de commencer ?
Bases de Python et de SQL. Aucune expérience préalable de Spark ou de Hadoop n’est nécessaire.
Faut-il un cluster Hadoop ?
Non. Spark tourne en local, sur Kubernetes ou sur un petit cluster. La formation utilise un environnement de laboratoire et explique comment le transposer chez toi.
Est-ce utile sans Ceph ?
Oui. Tout stockage compatible S3 ou système de fichiers partagé convient.
Peut-on l’adapter à mon équipe ?
Oui. Nous adaptons les exemples et les travaux pratiques aux outils et aux processus de l’équipe, et elle peut être combinée avec d’autres formations en IA.
