Liquid AI LFM2.5 sur IBM Power9 AIX : 27 tokens/s sans GPU
Oublions un instant les clusters de H100. Chez SIXE, nous avons décidé de pousser le matériel d’entreprise à ses limites absolues pour répondre à une question brûlante : Un IBM Power System de 2018, fonctionnant sous AIX et reposant uniquement sur le CPU, peut-il gérer les modèles d’IA de dernière génération ?
Nous avons pris le nouveau modèle LFM2.5-1.2B de Liquid AI et l’avons exécuté sur un processeur IBM POWER9. À notre connaissance, c’est la première fois qu’un modèle LFM2.5 fonctionne sous AIX en mode Big-Endian.
Le résultat
Près de 27 tokens par seconde, des réponses cohérentes et moins de 750 Mo d’utilisation mémoire. Pas de GPU. Pas de NPU. Juste la puissance brute de l’architecture Power.
Mais la vitesse brute n’est que la moitié de l’histoire. Pour prouver qu’il ne s’agit pas d’un simple jouet de benchmark, nous avons soumis LFM2.5 à un « Défi SysAdmin » — de vraies tâches d’administration AIX — et l’avons comparé à un Transformer standard (TinyLlama 1.1B). Les résultats ont été choquants.
L’ingrédient secret : qu’est-ce que LFM2.5 ?
LFM2.5 est une architecture hybride conçue pour une efficacité maximale, mélangeant des blocs convolutifs (shortconv) pour la vitesse et des couches d’attention (GQA) pour le contexte. Il dispose d’une énorme fenêtre de contexte de 128k tokens — suffisante pour lire des milliers de lignes de logs sans oublier le début.
Le matériel : IBM Power System S924
Nous avons utilisé le cheval de bataille du monde de l’entreprise. Voici les configurations spécifiques utilisées pour ce benchmark :
| Spécification | Valeur |
|---|---|
| Serveur | IBM Power System S924 |
| Processeur | IBM POWER9 @ 2.75 GHz |
| Configuration | Enterprise Multi-Core (compatible SMT-8) |
| Système d’exploitation | AIX 7.3 TL4 |
| Architecture | Big-Endian |
Performance : trouver le point optimal
Nous avons découvert que mobiliser tous les cœurs sur le modèle nuit en réalité aux performances en raison de la surcharge de synchronisation. Le verdict était clair : utiliser seulement 8 cœurs en mode SMT-2 (16 threads) nous a donné 26,7 tokens par seconde.
Test en conditions réelles : le défi de l’administrateur système
Les chiffres c’est bien, mais est-ce que ça fonctionne vraiment ? Nous avons exécuté exactement les mêmes prompts à travers LFM2.5-1.2B et TinyLlama 1.1B (un transformer pur de taille similaire). Voici les sorties brutes.
Round 1 : L’erreur cryptique (errpt)
Nous avons fourni aux modèles un log d’erreur AIX brut concernant une défaillance d’alimentation.
L’entrée :
$ errpt -a -l BFE4C025
Description: Power/Cooling subsystem Unrecovered Error,
bypassed with loss of redundancy.
Possible FRUs:
Priority: H
FRU: PWRSPLY
Location: U78D2.001.WZS00P4❌ TinyLlama 1.1B :
“7. What is the location of the FRU that is affected by this error? The FRU that is affected by this error is PWRSPLY. 8. What is the description of the FRU that is affected by this error? The FRU that is affected by this error is PWRSPLY…”
Verdict : Échec. Il s’est bloqué dans une boucle infinie répétant “PWRSPLY”.
✅ LFM2.5 1.2B :
“What is the likely cause? The error usually points to a problem with the power or cooling hardware (like a fan or power supply) that couldn’t be fixed automatically. It might be a hardware failure or a misconfiguration. What action should I take? First, check the hardware — look at the fans (especially the power fans)…”
Verdict : Réussite. Il a identifié le composant et donné des conseils actionnables pour vérifier les ventilateurs.
Round 2 : L’audit de sécurité (last)
Nous avons fourni un historique de connexions contenant un événement de crash caché.
L’entrée :
$ last -20
root pts/0 10.10.10.1 Jan 28 11:14 - 18:38 (07:23)
reboot ~ Jan 28 11:12
root pts/0 10.10.10.1 Jan 27 22:09 - System halted abnormally. (13:03)❌ TinyLlama 1.1B :
(a généré 1 token puis s’est arrêté)
Verdict : Échec. Silence absolu.
✅ LFM2.5 1.2B :
“Suspicious patterns: The system was halted abnormally on Jan 27. This could indicate a security incident or a misconfiguration. Security recommendations: Investigate the cause of the system halt on Jan 27. Review the login history for any unauthorized access attempts.”
Verdict : Réussite. Il a immédiatement repéré l’arrêt anormal du 27 janvier et recommandé une investigation.
Round 3 : Le conseil dangereux (/etc/passwd)
Nous avons demandé aux modèles d’auditer un fichier de mots de passe standard. Les résultats ici ont été choquants.
L’entrée :
$ cat /etc/passwd
root:!:0:0::/:/usr/bin/bash
daemon:!:1:1::/etc:
bin:!:2:2::/bin:
...❌ TinyLlama 1.1B :
“1. root:!:0:0::/:/usr/bin/bash — This user is not required for system maintenance and should be removed. 2. daemon:!:1:1::/etc: — This user is not required for system maintenance and should be removed.”
Verdict : ÉCHEC CATASTROPHIQUE. Il a affirmé que l’utilisateur “root” n’était pas nécessaire et a recommandé de le supprimer. Suivre ce conseil détruirait le serveur.
✅ LFM2.5 1.2B :
“Unauthorized or suspicious accounts: You should be very concerned about the presence of the following accounts: guest with a high UID (100), nobody with a high UID (4294967294)… These accounts are either misconfigured, potentially malicious, or not needed.”
Verdict : Réussite. Il a correctement identifié les risques potentiels réels comme les comptes “guest” et “nobody” avec des UID élevés.
Round 4 : Durcissement des services (lssrc -a)
Nous avons demandé aux modèles de passer en revue les services en cours d’exécution et de recommander des étapes de durcissement.
L’entrée :
$ lssrc -a
Subsystem Group Status
sendmail mail active
portmap portmap active
inetd tcpip active
snmpd tcpip active❌ TinyLlama 1.1B :
(a généré 0 tokens)
Verdict : Échec. Silence à nouveau.
✅ LFM2.5 1.2B :
“1. sendmail Risk: Running mail daemon can be a target for attacks. Recommendation: Disable sendmail. stopsrc -s sendmail 2. portmap Risk: Running portmap daemon can be abused… stopsrc -s portmap”
Verdict : Réussite. Il a signalé des services à risque comme sendmail et portmap, et a fourni la commande AIX correcte (stopsrc) pour les désactiver.
Pourquoi c’est important pour les utilisateurs d’IBM Power
Ce benchmark prouve que les IBM Power Systems sont des moteurs d’inférence IA capables pour des tâches critiques sur site :
Souveraineté des données : Analysez les logs errpt sensibles, les données financières ou les audits d’utilisateurs localement. Aucune donnée ne quitte votre serveur.
Modernisation du legacy : Utilisez des LLM locaux pour aider à comprendre et documenter le code legacy COBOL ou C résidant sur le serveur.
Efficacité : Vous n’avez pas besoin d’un cluster de GPU. Vous possédez probablement déjà le matériel capable de faire cela.
Essayez-le vous-même
Nous croyons en l’open source. Nous avons publié le port AIX et les modèles convertis en Big-Endian.
Code : gitlab.com/librepower/llama-aix
Modèles : huggingface.co/librepowerai
user@aix:~$ # Démarrage rapide sur AIX user@aix:~$ git clone https://gitlab.com/librepower/llama-aix.git user@aix:~$ ./scripts/build_aix_73.sh user@aix:~$ # Optimiser le threading pour le "point optimal" user@aix:~$ smtctl -t 2 -w now user@aix:~$ # Amusez-vous bien !
