vLLM vs OllamaLequel choisir selon le nombre de personnes qui utiliseront le modèle, ce qui se passe quand plusieurs arrivent en même temps et ce qui change quand on passe de l’un à l’autre.
Si vous allez essayer un modèle sur votre portable ou servir une seule personne, prenez Ollama. Si plusieurs personnes vont l’utiliser en même temps sur un GPU de serveur, prenez vLLM. Beaucoup d’équipes utilisent les deux, l’un pour tester et l’autre pour la production, car la différence tient à la façon dont chacun partage la carte quand plusieurs requêtes arrivent ensemble.
Ce que fait chacun
Avec Ollama, un modèle tourne en cinq minutes. Vous l’installez, tapez ollama run avec le nom du modèle et il répond, avec des poids déjà réduits pour tenir sur une machine normale et rien à choisir. Il fonctionne sur les portables, les stations de travail et sans GPU, mais alors plus lentement.
vLLM est un serveur d’inférence qui tire le maximum de chaque GPU. Il regroupe les requêtes qui arrivent en même temps et, au lieu d’attendre la fin d’un lot, en intègre de nouvelles dès qu’une autre se termine. C’est ce qui lui permet de servir beaucoup de monde avec la même carte, mais il vous en demande davantage : choisir les poids, régler la mémoire et les paramètres, et savoir ce que vous faites avec le GPU.
Les deux proposent une API comme celle d’OpenAI, et votre application ne sait donc pas quel moteur se trouve derrière. Vous pouvez développer sur Ollama et déployer sur vLLM en changeant à peine plus qu’une adresse.
Ce qui se passe quand plusieurs arrivent en même temps
Le test le plus cité est celui de Red Hat, avec une NVIDIA A100, Llama 3.1 de 8 milliards de paramètres et jusqu’à 256 utilisateurs simultanés. vLLM a atteint 793 tokens par seconde et Ollama en est resté à 41, même après l’avoir réglé pour traiter plus de requêtes en parallèle. Sur Ollama, le délai avant le premier mot montait aussi fortement, car les requêtes faisaient la queue.
Cela finit par se voir sur la facture : si la même carte sert plus de monde à la fois, il faut moins de cartes pour le même service, et les GPU sont la partie la plus chère de la machine.
Ces chiffres viennent de versions de 2025 et d’une charge poussée à l’extrême, et d’autres comparaisons trouvent des écarts bien moindres, car elles utilisent d’autres cartes, d’autres modèles et une autre quantification, c’est-à-dire le degré de réduction des poids. Avec un seul utilisateur, l’écart disparaît presque, et Ollama peut même faire mieux. Ce qui se répète partout, c’est le sens : plus il y a d’utilisateurs simultanés, plus vLLM prend de l’avance.
Si vous gardez Ollama pour une petite équipe, regardez un réglage. D’après sa documentation, OLLAMA_NUM_PARALLEL traite par défaut une seule requête par modèle, et si vous l’augmentez, la mémoire croît d’autant, car chaque requête en parallèle réserve son propre contexte. Cette valeur a changé selon les versions, vérifiez donc la vôtre. Si Ollama vous semble lent avec plusieurs utilisateurs, commencez par là : ils attendent peut-être leur tour.
Lequel choisir
Ce qui pèse le plus est le nombre d’utilisateurs simultanés, pas celui des personnes qui ont accès : cent employés qui posent une question de temps en temps peuvent représenter trois requêtes à la fois. La limite dépend du modèle, de la carte et de la longueur des questions : le plus fiable est de mesurer votre heure de pointe, et c’est la première chose que nous faisons avant de recommander une machine.
Une fois vLLM en place, si la charge ne tient plus sur une machine, l’étape suivante est Kubernetes avec llm-d, qui répartit les requêtes entre les réplicas.
Si vos machines sont des IBM Power, pas besoin d’en acheter d’autres pour commencer : vLLM fonctionne sur Power sans GPU, ce qui permet d’essayer des modèles sur le matériel que vous avez déjà.
Ce qui change en passant d’Ollama à vLLM
Dans l’application, presque rien. Vous changez le port, en général 11434 sur Ollama et 8000 sur vLLM, et le nom du modèle, car Ollama utilise ses propres étiquettes et vLLM le nom Hugging Face :
from openai import OpenAI
# Ollama
client = OpenAI(base_url="http://localhost:11434/v1", api_key="rien")
modele = "llama3.1:8b"
# vLLM
client = OpenAI(base_url="http://localhost:8000/v1", api_key="rien")
modele = "meta-llama/Llama-3.1-8B-Instruct"Ce qui change se trouve en dessous. Les modèles d’Ollama sont au format GGUF, que vLLM ne prend en charge qu’à titre expérimental : en production, il faut donc télécharger les poids dans le format qu’il attend. vLLM travaille aussi avec des poids quantifiés, mais selon votre choix le même modèle peut occuper plus de mémoire, d’où l’intérêt de faire le calcul de mémoire et d’utilisateurs avant d’acheter quoi que ce soit.
L’usage de la carte change aussi. Par défaut, vLLM réserve 92 % de la mémoire du GPU au démarrage, qu’il ait du travail ou non, ce qui surprend quand la machine est partagée avec d’autres processus. Pour la répartir entre plusieurs équipes, il vous faut le partage de GPU sur Kubernetes.
Et avant de l’ouvrir au réseau, mettez-lui une serrure. Ollama n’écoute par défaut que sur 127.0.0.1 et n’a pas d’authentification : pour le partager, il faut placer devant un proxy qui la demande. vLLM accepte des clés avec --api-key, mais elles ne protègent que les routes de l’API, et un vrai service a donc aussi besoin d’une passerelle avec des utilisateurs.
Si vous voulez que nous nous en chargions, nous servons des modèles avec vLLM sur votre propre infrastructure, et si votre équipe préfère le gérer, nous proposons la formation vLLM et llm-d sur Kubernetes.
Questions fréquentes
Vaut-il mieux vLLM ou Ollama ?
Cela dépend de la charge. Ollama est meilleur pour essayer des modèles et pour une seule personne, car il s’installe en quelques minutes. vLLM est meilleur quand plusieurs personnes utilisent le modèle en même temps sur un GPU de serveur.
vLLM a-t-il besoin d’un GPU ?
Il est conçu pour les GPU, et c’est là qu’il prend son avantage, mais il peut aussi fonctionner sans sur certaines architectures, comme IBM Power.
Peut-on utiliser les modèles d’Ollama dans vLLM ?
En production, non. Ollama utilise GGUF et vLLM travaille avec les poids au format Hugging Face. Il a une prise en charge expérimentale de GGUF, mais le plus courant est de télécharger à nouveau le modèle.
Combien d’utilisateurs Ollama peut-il gérer ?
Par défaut, il traite une requête par modèle et met les autres en file d’attente. On peut augmenter ce chiffre avec OLLAMA_NUM_PARALLEL, au prix de plus de mémoire, ce qui convient à une petite équipe, mais il ne monte pas en charge comme vLLM.
Mon application change-t-elle en passant d’Ollama à vLLM ?
Très peu. Les deux proposent une API compatible avec celle d’OpenAI : il suffit de changer l’adresse et le nom du modèle.
Combien d’utilisateurs aura votre modèle ?
Dites-nous quel modèle vous voulez servir et pour combien de personnes, et nous vous dirons quel moteur et quelle machine il vous faut, déploiement et support inclus.
Inférence avec vLLM sur votre infrastructure · sixe.beBlog!
Notre mission
SIXE garantit que vos infrastructures basées sur les technologies IBM®, Red Hat®, Canonical® et SUSE® restent stables, sécurisées et optimisées aussi longtemps que vous en avez besoin.
Chez SIXE, nous nous engageons pour la durabilité. C’est pourquoi nous vous aidons à concevoir, mettre en œuvre et maintenir des solutions technologiques durables et efficaces.
