Qu’est-ce qu’une usine IA et comment la construire avec l’open source
Qu’est-ce qu’une usine IA et comment la construire avec l’open source dans votre datacenter
Le concept d’AI Factory est sur toutes les lèvres depuis deux ans — mais peu d’organisations comprennent réellement ce qu’il implique techniquement, ni comment le mettre en œuvre sans dépendre d’un fournisseur cloud. Voici une explication sans détour, avec le stack concret que nous utilisons en production.
Qu’est-ce qu’une usine IA exactement ?
Le terme « AI Factory » a été popularisé par Jensen Huang de NVIDIA en 2023 pour décrire ce que deviennent les centres de données : des machines qui produisent de l’intelligence en continu, à la manière d’une usine qui fabrique des biens. La métaphore n’est pas poétique — elle est techniquement précise.
Une usine IA classique comprend quatre composantes distinctes : un système de stockage pour les poids des modèles et les datasets (qui pèsent des dizaines voire des centaines de gigaoctets), une couche de calcul GPU pour exécuter l’inférence, un orchestrateur qui gère quel modèle tourne sur quel matériel, et une API qui expose les modèles au reste de l’organisation. Quand ces quatre composantes fonctionnent efficacement ensemble, vous avez une usine IA.
Ce qui la distingue d’un « LLM qui tourne sur un serveur », c’est l’échelle, la fiabilité et la gestion. Une usine IA sert plusieurs modèles en parallèle, gère des files d’attente de requêtes, garantit la disponibilité et surveille l’utilisation des ressources. C’est de l’infrastructure de production — pas un environnement de test.
La Commission européenne a engagé plus de 1,5 milliard d’euros pour construire des AI Factories réparties dans les États membres dans le cadre du programme EuroHPC. L’objectif explicite est que l’Europe dispose d’une infrastructure IA souveraine, sans dépendance envers les fournisseurs américains ou asiatiques. L’Espagne participe via le BSC à Barcelone. La même stack technologique qu’ils utilisent peut être déployée dans votre datacenter.
Pourquoi les organisations rapatrient leur inférence IA on-premise
Trois arguments reviennent systématiquement dans chaque conversation que nous avons avec des clients qui évaluent une infrastructure IA propre. Ce ne sont pas des arguments marketing : ce sont des réalités opérationnelles et financières.
Coûts prévisibles
Les factures GPU en cloud public peuvent varier de 30 à 40 % d’un cycle de facturation à l’autre selon la demande. Avec une infrastructure propre, le coût est fixe, amortissable et sans surprise. À partir d’un volume d’inférence moyen, l’investissement est récupéré en 12 à 18 mois par rapport au cloud.
Zéro vendor lock-in
APIs propriétaires, formats fermés, modèles fine-tunés hébergés chez un tiers. Avec un stack open source, vos modèles et vos données vous appartiennent — toujours portables, sans négociations de sortie ni contrats bloquants.
Conformité réglementaire
Le RGPD et l’AI Act exigent de savoir précisément où les données sont traitées. Si votre inférence touche des données de patients, de citoyens ou de clients bancaires, vous avez besoin d’un contrôle total sur l’infrastructure. L’on-premise est la seule réponse architecturalement viable.
Depuis le 2 août 2025, la deuxième phase de l’AI Act est entrée en vigueur : les règles sur les modèles GPAI et les premières sanctions sont applicables. Les amendes peuvent atteindre 35 millions d’euros ou 7 % du chiffre d’affaires mondial en cas de non-conformité. La Belgique ne dispose pas encore de législation nationale spécifique, mais les obligations européennes s’appliquent sans exception. La maîtrise de l’infrastructure d’inférence est le premier levier de conformité.
La question n’est plus de savoir s’il faut construire sa propre infrastructure IA, mais quand et comment le faire sans répéter les erreurs de la ruée vers le cloud il y a dix ans : vitesse sans architecture.
— Équipe technique SIXE
Cela dit, une usine IA on-premise n’est pas adaptée à tout le monde. Si vous traitez dix requêtes d’inférence par jour et n’avez pas de contraintes réglementaires strictes, le cloud est probablement la bonne réponse pour l’instant. L’on-premise commence à avoir du sens quand les volumes sont soutenus, quand les données sont sensibles, ou quand vous devez faire tourner des modèles fine-tunés propriétaires sans exposer les poids à des tiers.
Le stack open source : trois technologies, zéro dépendance propriétaire
Une combinaison de trois technologies a émergé comme standard de facto pour construire des usines IA on-premise dans les environnements d’entreprise européens. Le même stack que le BSC. Le même que celui qui propulse les infrastructures souveraines en France, en Allemagne et en Italie. Et le même que celui que nous déployons chez SIXE.
Ceph : le stockage distribué conçu pour l’IA
Les modèles de langage sont lourds. Llama 3 70B occupe environ 40 Go en précision float16. Mixtral 8x7B avoisine les 90 Go. Un catalogue raisonnable de modèles pour une organisation de taille moyenne peut facilement dépasser 500 Go — sans compter les datasets de fine-tuning ni les journaux d’inférence.
Ceph résout ce problème avec un stockage distribué qui unifie l’object storage (compatible S3 nativement), le block storage et le filesystem dans un seul cluster. Il évolue des téraoctets aux pétaoctets sans interruption, supporte l’erasure coding pour l’efficacité du stockage et dispose d’une intégration native avec Kubernetes via CSI. Dans une usine IA, Ceph constitue la colonne vertébrale où résident les poids des modèles, les datasets et les résultats d’inférence.
Nous sommes Canonical Partner et déployons des clusters Ceph en production depuis des années, y compris dans des environnements IA et HPC. Ceph ne s’active pas d’un simple clic : il nécessite un dimensionnement soigné, une conception réseau adaptée et des politiques de réplication calibrées à la charge. Sur les clusters à 3 nœuds, les considérations de quorum ne s’improvisent pas. Nous proposons une formation dédiée et un support pour que votre équipe opère Ceph en toute autonomie — sans dépendance de conseil permanente.
OpenStack : votre cloud privé avec gestion native des GPU
OpenStack transforme votre matériel en cloud privé d’entreprise. Pour une usine IA, son rôle principal est la gestion des ressources GPU : PCI passthrough pour un accès direct au GPU depuis les VMs, vGPU pour partager un GPU physique entre plusieurs charges de travail, et NVIDIA MIG (Multi-Instance GPU) pour partitionner les GPU A100 et H100 en instances indépendantes.
Sous la Linux Foundation depuis 2024, OpenStack fonctionne en production sur plus de 45 millions de cœurs dans des organisations comme Walmart, GEICO ou LINE Corp. Il ne s’agit pas d’une technologie émergente — c’est une infrastructure éprouvée à grande échelle, avec une gouvernance indépendante qui en garantit la pérennité.
OpenStack n’est pas trivial. Il couvre plus de 30 projets de services et nécessite des équipes expérimentées en systèmes distribués. Si votre équipe vient d’un environnement VMware, la courbe d’apprentissage existe. Notre service de formation couvre la montée en compétences pratique pour que votre équipe puisse opérer le stack en autonomie — sans dépendance de conseil à long terme.
Kubernetes + vLLM : la couche d’orchestration de l’inférence
Kubernetes est le standard CNCF pour l’orchestration de charges de travail conteneurisées, avec planification GPU native via le NVIDIA GPU Operator. Les moteurs d’inférence sont déployés sur Kubernetes — et vLLM est le plus pertinent pour les modèles de langage actuellement.
vLLM implémente PagedAttention, une technique qui gère efficacement la mémoire KV cache et permet de servir plusieurs requêtes en parallèle sans gaspiller la VRAM. En production, vLLM atteint 3 à 5 fois le débit d’une implémentation naïve du même modèle. Il expose une API compatible OpenAI, ce qui facilite la migration des applications qui consomment déjà GPT-4 ou des modèles similaires.
Pour les modèles de vision ou d’embedding, Triton Inference Server de NVIDIA complète vLLM et permet des optimisations matérielles spécifiques comme TensorRT-LLM.
Architecture de référence : de la donnée au modèle en production
Une usine IA on-premise avec ce stack suit un flux en quatre couches. Ce n’est pas le seul design possible, mais c’est celui qui équilibre le mieux la complexité opérationnelle, les performances et la portabilité.
Ceph S3
Modèles, datasets, résultats d’inférence. API compatible S3 pour l’intégration avec les pipelines MLOps.
OpenStack
Planification GPU, bare metal, réseaux isolés par projet. PCI passthrough et MIG pour une efficacité maximale.
Kubernetes
GPU Operator, autoscaling des pods d’inférence, gestion du cycle de vie des déploiements.
vLLM / Triton
APIs d’inférence, RAG, agents. Compatibilité OpenAI pour une intégration sans friction.
La clé de ce design : chaque couche est indépendante et remplaçable. Si demain un meilleur orchestrateur que Kubernetes émerge pour les charges IA, vous pouvez le substituer sans toucher au stockage ni à la couche de calcul. C’est ce que signifie vraiment l’absence de vendor lock-in : pas seulement que le logiciel est open source, mais que l’architecture dispose d’une réelle séparation des responsabilités.
Qui a réellement besoin d’une usine IA on-premise
Tous les secteurs n’ont pas la même urgence ni les mêmes contraintes. Dans quatre domaines, l’infrastructure IA propre n’est pas une préférence — c’est la seule réponse architecturalement viable.
Santé et pharma
Dossiers cliniques, imagerie diagnostique, données génomiques. Le RGPD et le règlement européen sur l’espace des données de santé imposent des restrictions strictes sur les transferts vers des pays tiers. L’inférence on-premise est l’architecture de conformité par défaut.
Banque et assurance
Scoring de crédit, détection de fraude, analyse de risque. Les lignes directrices de l’ABE sur l’IA dans les services financiers et l’AI Act classent ces systèmes comme à haut risque, avec des exigences de traçabilité et de contrôle que seule une architecture on-premise peut satisfaire.
Secteur public et défense
Souveraineté numérique, NIS2, données classifiées. La stratégie européenne d’IA exige que les systèmes IA à usage public opèrent sur une infrastructure européenne ou nationale. Sans discussion possible.
Industrie et manufacture
Vision artificielle en ligne de production, maintenance prédictive, contrôle qualité. La latence du cloud n’est pas viable quand vous avez besoin d’une réponse en millisecondes sur le site de production. L’inférence edge ou dans votre propre datacenter est le seul modèle qui fonctionne.
Les questions à se poser avant de commencer
Construire une usine IA on-premise n’est pas un projet de week-end. Cela nécessite une analyse préalable honnête sur quatre dimensions qui déterminent si c’est pertinent et comment bien l’exécuter.
Quels modèles allez-vous servir et à quels volumes ?
Le dimensionnement GPU dépend directement de la taille des modèles (nombre de paramètres et précision) et des objectifs de débit (requêtes par seconde, latence P99 acceptable). Un modèle de 7 milliards de paramètres en float16 tient dans un seul GPU L40S de 48 Go de VRAM. Un modèle de 70 milliards nécessite plusieurs GPU avec du tensor parallelism. Il n’y a pas de raccourcis ici : un dimensionnement correct exige de connaître les charges réelles, pas des estimations optimistes.
Votre équipe a-t-elle la capacité d’opérer ce stack ?
C’est la question la plus importante — et celle que l’on pose le moins souvent. Une équipe avec une expérience en Linux, Kubernetes et systèmes distribués peut apprendre à opérer ce stack. Mais si vous partez de zéro, la courbe d’apprentissage doit être intégrée au plan, pas oubliée. SIXE propose des formations certifiées en Ceph, OpenStack et Kubernetes (en tant qu’IBM Business Partner et Canonical Partner) précisément pour que la transition ne crée pas de dépendance de conseil indéfinie.
Quel est le TCO réel sur 3 ans ?
Le logiciel est open source, donc il n’y a pas de coûts de licences. L’investissement porte sur le matériel (GPU, serveurs, réseau haute performance) et la montée en compétences de l’équipe. Comparé au coût des GPU cloud au même volume d’inférence sur cette période, les chiffres parlent généralement d’eux-mêmes. Mais le modèle financier doit inclure la maintenance, les mises à jour et le temps d’exploitation de l’équipe. Rien n’est gratuit — et les projets qui partent de ce postulat se retrouvent souvent face à de mauvaises surprises.
Avant tout déploiement, nous réalisons une évaluation d’architecture : nous auditons vos charges de travail réelles, vos exigences de latence, vos volumes de données et vos obligations réglementaires. Nous livrons un design complet — dimensionnement GPU, topologie réseau, architecture de stockage Ceph et plan de capacité sur 12 à 24 mois. Pas de promesses d’économies non calculées. Seulement une analyse technique sur la pertinence du projet et la façon de l’exécuter.
Votre usine IA, avec le stack que nous utilisons nous-mêmes
IBM Business Partner et Canonical Partner. Plus de 15 ans à déployer de l’open source en production. Nous concevons l’architecture, formons votre équipe et vous accompagnons jusqu’à ce que l’infrastructure fonctionne seule. Notre travail se termine quand le vôtre commence vraiment.
