LLM en local : pourquoi les entreprises montent leurs propres serveurs IA.

Les deux premiers chiffres viennent de The Great AI Re-Architecture, enquête Cloudera menée par Wakefield Research auprès de 1 500 architectes dans des entreprises de plus de 1 000 salariés, publiée le 11 août 2026. Le chiffre d’investissement est la prévision IDC pour 2026 : 487 milliards de dollars en infrastructure IA.

Pourquoi maintenant

Le service juridique a appris à poser la question

« Où les fournisseurs américains traitent-ils mes données ? » : la question que personne ne voulait poser et que tout le monde pose désormais, en général la semaine avant un audit.

Le vrai problème n’est pas le fournisseur, c’est le trajet. Sortir des données personnelles de l’Espace économique européen oblige à tenir le dossier d’un transfert international : évaluer le pays de destination, documenter les garanties, informer la personne concernée. Traiter dans votre propre centre de données vous épargne ce dossier. Attention, cela ne vous épargne pas le reste du RGPD, et si le fournisseur de votre salle européenne est la filiale d’une maison mère américaine, la conversation sur l’accès aux données reste ouverte.

La facture cloud ne prévient pas, elle arrive

Payer au token semblait bon marché jusqu’à ce que quelqu’un regarde le premier mois avec le pilote déjà en production. Un serveur a un coût fixe : passé un certain volume d’inférence, le calcul s’inverse. Où se situe ce point, personne ne le sait à l’avance : cela dépend de votre volume, de votre modèle et de ce que la machine fait le reste de la journée. Mieux vaut le calculer avant d’acheter, pas après.

Soyons clairs, parce que le secteur aime les absolus : cela ne veut pas dire que tout le monde quitte le cloud. La même enquête recense des organisations qui vont dépenser plus en cloud et des organisations qui vont dépenser plus en on-premise, en même temps. Ce qui meurt, c’est la réponse unique.

Latence : on supprime le trajet, pas la réflexion

Une précision s’impose, parce que deux choses se mélangent. Traiter en local ne fait pas réfléchir le modèle plus vite ; cela supprime l’aller-retour vers un centre de données qui peut se trouver sur un autre continent. Si l’IA est enchâssée dans un processus déjà lent, ce trajet est la seule chose que vous pouvez raccourcir sans toucher au modèle. Si votre problème est que le modèle met du temps à réfléchir, déplacer la machine ne vous sauvera pas.

Le plus gros modèle n’est plus nécessaire

Llama, Mistral, Qwen ou Phi publient des versions réduites précisément pour cela, et pour un chatbot interne, classer des documents ou résumer des comptes rendus, ces versions font le travail. Ce qui s’impose, c’est la répartition : le petit modèle absorbe le gros des requêtes et seules les plus complexes montent vers un grand.

Quel matériel il vous faut

C’est la mémoire qui commande, et elle découle du format du modèle. Quantifié en 4 bits, il occupe environ un demi-gigaoctet par milliard de paramètres ; en FP16, environ deux gigaoctets. Ajoutez le contexte, qui grandit avec la longueur de la conversation, et vous avez votre plancher.

Les poids se calculent en multipliant les paramètres par les bits. La RAM conseillée est supérieure parce qu’elle doit aussi loger le contexte, le système et la marge pour que le serveur ne tourne pas à la limite. Et elle ne tient toujours pas compte du nombre de requêtes simultanées, la partie que presque personne ne calcule.

Et c’est là qu’est l’erreur coûteuse. Nous avons vu acheter une carte de centre de données pour faire tourner un modèle qui résume des comptes rendus : ça marche, comme un camion marche pour aller chercher le pain. La taille du modèle dit s’il tient dans la machine. Les requêtes simultanées disent s’il tourne.

Parmi les pièces restantes, la plus sous-estimée est le stockage. Les poids se chargent entièrement en mémoire au démarrage : un disque lent se paie à chaque redémarrage et à chaque changement de modèle. Si vous gérez plusieurs modèles ou de gros jeux de données, un NVMe isolé ne suffit plus et un système distribué entre en jeu : nous les avons comparés dans Storage Scale face à Ceph pour l’inférence.

Que ce soit faisable sans GPU n’est pas de la théorie. Nous l’avons monté sur IBM Power avec vLLM, sur AIX avec llama.cpp et même sur IBM i via PASE, le candidat le plus improbable des trois.

Questions fréquentes

L’étape suivante

Avant de regarder des catalogues, il faut dimensionner, et cela tient en trois questions : quel modèle vous allez faire tourner, combien de requêtes simultanées, et quel temps de réponse vous convient. La mémoire, le CPU, le GPU et le stockage en découlent, dans cet ordre et pas un autre.

C’est pour cela que nous avons monté un configurateur de serveurs : vous choisissez le cas d’usage, l’échelle et vos priorités, et vous voyez la machine se construire devant vous. Sans part numbers et sans marque imposée. À la fin, nous vous appelons avec une proposition ferme.