LLM sur IBM i via PASE — Sans Linux ni GPU

Ce qu'on a fait exactement

On a pris llama.cpp — le moteur d'inférence LLM open source le plus utilisé — on l'a installé directement depuis le dépôt PASE de base d'IBM sur une partition IBM i V7R5 et on lui a passé un modèle GGUF big-endian. Ça a fonctionné du premier coup. On l'a également vérifié depuis sur IBM i 7.6.

$ uname -a
OS400 WWW 5 7 007800001B91

$ /QOpenSys/pkgs/bin/python3 -c "import platform; print(platform.platform())"
OS400-5-007800001B91-powerpc-64bit

$ /QOpenSys/pkgs/bin/python3 -c "import sys; print('Byte order:', sys.byteorder)"
Byte order: big

IBM i V7R5 sur pub400.com — un système IBM i public. Big-endian, powerpc-64bit, OS400. Pas Linux, pas AIX. IBM i.

Le type de binaire

$ file /QOpenSys/pkgs/bin/llama-cli
/QOpenSys/pkgs/bin/llama-cli: 64-bit XCOFF executable or object module

Un binaire XCOFF 64 bits — le format exécutable natif d'AIX, que PASE exécute tel quel. Sur IBM i, le binaire vient directement du dépôt PASE de base d'IBM (yum install llama-cpp) ; sur AIX, nous maintenons toujours notre propre build à côté des modèles GGUF big-endian sur aix.librepower.org et huggingface.co/librepowerai.

Première exécution

$ llama-cli --help
usage: llama-cli [options]

  -m, --model FNAME       chemin du modèle
  -p, --prompt STRING     prompt de départ
  --no-cnv                désactive le mode conversation (one-shot)
  ...

Le binaire charge, lie libggml et libllama, analyse les arguments et répond. Tout à l'intérieur de PASE. Pour lancer une vraie inférence, on lui passe un modèle GGUF big-endian :

$ llama-cli \
    -m models/tinyllama-1.1b-chat-be.gguf \
    -p "Qu'est-ce qu'IBM i ?" -n 100 -t 4 --no-cnv

Pourquoi ça a du sens pour un environnement IBM i

En 2026, la conversation sur l'IA dans la communauté IBM i est plus active que jamais. IBM vient de lancer Bob (le successeur de WCA for i), un assistant de codage pour les développeurs RPG. 70 % des clients IBM i prévoient des mises à jour matérielles cette année. Et pourtant, une question reste sans réponse claire :

Comment intégrer un modèle de langage dans mes applications IBM i sans dépendre d'un service externe ?

Les options habituelles aujourd'hui :

PASE : le pont que vous aviez déjà

PASE (Portable Application Solutions Environment) est un environnement d'exécution intégré à IBM i qui exécute des binaires AIX de façon native. Ce n'est pas de l'émulation — c'est une couche qui expose les appels système AIX directement sur le noyau IBM i. Si quelque chose tourne sur AIX, ça peut tourner sur IBM i via PASE.

Sur IBM i, llama.cpp est déjà dans le dépôt PASE de base d'IBM — pas besoin d'un port tiers. Pour les systèmes AIX, on maintient toujours notre propre build via le dépôt AIX de LibrePower, avec plus de 30 paquets open source installables via DNF. PASE fait le reste.

Le problème du big-endian (et comment on l'a résolu)

Il y a une raison pour laquelle personne n'avait fait ça proprement avant : l'ordre des octets. IBM i et AIX sont big-endian. La quasi-totalité des logiciels d'IA — x86, ARM, Linux ppc64le — suppose un ordre little-endian. Un fichier GGUF téléchargé directement depuis HuggingFace ne fonctionne pas sur IBM i : les octets sont dans le mauvais sens.

On avait déjà résolu ce problème dans notre travail sur AIX. La solution : convertir les modèles avant de les distribuer. On les publie sur huggingface.co/librepowerai, validés sur du vrai matériel AIX et prêts à être chargés directement dans IBM i PASE.

Ce sont les mêmes modèles qu'on fait tourner sur AIX POWER, qui se chargent sans conversion sur IBM i via PASE. Sur IBM i POWER10, l'accélération matérielle MMA est disponible via OpenBLAS. Les benchmarks seront publiés séparément une fois les chiffres validés de bout en bout.

De la preuve de concept à la production

Exécuter --help prouve que le binaire charge. Le chemin réel vers quelque chose d'utile pour vos applications comporte trois étapes — et la première est déjà disponible.

Étape 1 : Inférence directe (disponible maintenant)

Depuis n'importe quelle session SSH ou QSH sur l'IBM i :

# Inférence one-shot en ligne de commande
llama-cli \
    -m /chemin/vers/modele.gguf \
    -p "Résume ce bon de commande" -n 200 -t 8 --no-cnv

--no-cnv désactive le mode conversation — à utiliser pour des prompts one-shot dans un script (jobs batch, appels depuis CL, cron). Utile pour les scripts CL, les jobs en batch, ou simplement pour vérifier que le modèle charge et répond correctement sur votre matériel avant d'aller plus loin.

Étape 2 : Serveur API compatible OpenAI (prochainement)

llama.cpp inclut llama-server, qui expose un endpoint HTTP compatible avec l'API OpenAI. Une fois actif dans PASE, n'importe quel programme RPG peut l'appeler via QSYS2.HTTP_POST — comme n'importe quelle autre API :

# Démarrer le serveur d'inférence sur IBM i via PASE
llama-server \
    -m /chemin/vers/modele.gguf \
    --host 0.0.0.0 --port 8080 -t 8

// Appel depuis RPG — le LLM est sur localhost
dcl-s url varchar(256) inz('http://localhost:8080/v1/chat/completions');
dcl-s corps varchar(65535);
dcl-s reponse varchar(65535);
// QSYS2.HTTP_POST — aucune donnée ne quitte IBM i

L'essentiel : localhost. Le modèle est sur la même machine. Les données ne quittent pas la partition.

Étape 3 : Intégration applicative métier (en développement)

• Analyse de documents : passer des rapports Db2 au LLM pour générer des résumés automatiques
• Requêtes en langage naturel : l'utilisateur écrit en français, le LLM renvoie du SQL
• Modernisation du code RPG : le LLM analyse et documente les programmes existants sans quitter IBM i
• Supervision intelligente : analyser les messages QSYSOPR et les journaux de travaux avec un contexte sémantique

Comment l'essayer vous-même

Si vous avez accès à un IBM i avec PASE actif, c'est trois étapes.

1. Installer llama.cpp

Sur IBM i : llama.cpp est déjà dans le dépôt PASE de base d'IBM — pas besoin d'un port tiers.

# Depuis QSH ou SSH sur l'IBM i
yum install llama-cpp

Sur AIX : utilisez notre port depuis aix.librepower.org (sources et packaging sur gitlab.com/librepower/aix, sous llama-aix/RPMS/).

# Sur AIX avec DNF configuré contre aix.librepower.org
dnf install llama-cpp

2. Télécharger un modèle big-endian

# Dépôt du modèle : https://huggingface.co/librepowerai/tinyllama-1.1b-chat-be
# Récupérez le lien du .gguf depuis l'onglet "Files", puis :
curl -LO https://huggingface.co/librepowerai/tinyllama-1.1b-chat-be/resolve/main/<fichier>.gguf

TinyLlama est un bon point de départ : petit, chargement rapide, suffisant pour vérifier que tout fonctionne avant de passer à des modèles plus grands.

3. Lancer l'inférence

llama-cli \
    -m tinyllama-1.1b-chat-be.gguf \
    -p "Qu'est-ce qu'IBM i ?" \
    -n 150 -t 4 --no-cnv

La suite

C'est une preuve de concept solide, pas un produit fini. Voici ce qu'on prévoit de faire ensuite :

• llama-server sur IBM i — le serveur API HTTP dans PASE, documenté et packagé pour que vous puissiez le lancer en quelques minutes
• Exemples d'intégration RPG — du vrai code d'appel au LLM depuis des programmes RPG via QSYS2.HTTP_POST
• Benchmarks IBM i POWER10/POWER11 — des mesures sur du matériel de production
• Modèles plus grands — tests avec des modèles 7B+ sur des partitions avec suffisamment de mémoire
• vLLM pour IBM i — notre paquet vLLM pour ppc64le, adapté pour tourner dans PASE

Autres projets LibrePower