LLMs sur AIX : expérimentation technique au-delà de l’engouement pour les GPUs
À LibrePower, nous avons publié Llama-AIX: une preuve de concept pour exécuter l’inférence de modèle LLM léger directement sur AIX 7.x, en utilisant seulement le CPU et la mémoire, sans GPU.
Il faut être clair dès le départ : il s’agit d’amusement technique et d’expérimentation, pas d’un produit, pas d’une promesse commerciale, pas d’une alternative aux grandes plateformes d’IA accélérées par le GPU.
Cela dit, l’expérience repose sur une base technique solide.
La théorie : tous les cas d’utilisation du LLM ne sont pas liés au GPU.
Dans de nombreux scénarios professionnels courants dans les environnements Power :
- RAG (Retrieval Augmented Generation)
- Questions sur la documentation interne
- Assistants techniques sur place
- Recherche sémantique sur ses propres connaissances
- Analyse de texte fortement dépendante de la latence et de la proximité des données.
Le goulot d’étranglement n’est pas toujours le calcul de la masse, mais.. :
- CPU
- Largeur de la mémoire
- Temps de latence de l’accès aux données
- Localisation des données
Dans ces cas, les inférences petites et bien délimitées peuvent être raisonnablement exécutées sans GPU, surtout lorsque le modèle n’est pas le centre du système, mais juste une autre pièce du système.
⚙️ CPU, MMA et accélérateurs basse consommation
L’évolution naturelle ne concerne pas seulement les GPU :
- Des processeurs de plus en plus vectorisés
- Extensions en tant que MMA
- Accélérateurs dédiés et économes en énergie (comme le futur Spyre).
- Intégration plus étroite avec le système d’exploitation et la pile de données
Ce type d’accélération est particulièrement pertinent dans les architectures de puissance, où la conception donne la priorité au débit soutenu, à la cohérence et à la fiabilité, et pas seulement aux pics de FLOPS.
🧩 Pourquoi AIX ?
L’exécuter sur AIX n’est pas une nécessité, c’est un choix conscient :
- Comprendre les limites réelles
- Explorer sa faisabilité technique
- Démonter les hypothèses simplistes
- Apprendre comment les LLM s’intègrent dans les systèmes d’alimentation existants
De nombreux clients Power exploitent des infrastructures stables, amorties et critiques, où le déplacement des données vers le cloud ou l’introduction de GPU n’est pas toujours souhaitable ou viable.
🔍 Ce qui est (et ce qui n’est pas) Llama-AIX
- ✔ Un PoC technique
- ✔ Une exploration honnête
- ✔ Un exercice d’ingénierie
- ✔ Source ouverte
- ✖ Pas un benchmark
- ✖ Pas une plateforme d’IA complète
- ✖ Pas destinée à concurrencer les solutions GPU
- ✖ Pas de ” marketing de l’IA “.
L’idée est simple : voir au-delà du battage médiatique, comprendre les nuances et évaluer où les LLM apportent une réelle valeur dans les environnements Power et AIX.
Purement par curiosité technique.
Et parce que l’expérimentation reste un élément fondamental de l’ingénierie.
Dans quel cas d’utilisation spécifique un LLM in Power sur site aurait-il du sens pour toi ?
