« Aujourd’hui, déployer un modèle de fondation à l’échelle exige une équipe infra dédiée. Demain, cela devra être aussi simple que d’initialiser une base de données sans serveur. »

Ce pitch, c’est celui d’Inferact. L’entreprise a émergé début 2026 aux États-Unis, pour développer une activité commerciale autour du serveur d’inférence vLLM. Elle a démarré avec un financement de 150 M$.
Depuis, un autre projet référent a suivi la même trajectoire : SGLang, intégré dans l’offre commerciale de RadixArk. Une entreprise soutenue à hauteur de 100 M$, avec la participation, entre autres, d’AMD, de MediaTek et de NVIDIA.

vLLM et SGLang ont, entre autres concurrents, LLMD. On le doit à a start-up française ZML. Fondée fin 2023, elle a levé 20 M$ avec notamment Kima Ventures, et avec le soutien de personnalités de la tech telles que Yann Le Cun, Solomon Hykes (Docker) et le duo Clément Delangue – Julien Chaumond (Hugging Face).

ZML a choisi le langage Zig

LLMD vient de passer au stade alpha, après un an de preview technique. Pour le moment en accès gratuit, il est néanmoins sous licence fermée… au contraire du framework d’inférence ZML, qui constitue son socle.

Ce framework est écrit essentiellement en Zig, un langage voué à « moderniser » C sur des aspects comme le flux de contrôle, l’appel de fonctions, l’importation de bibliothèques et la déclaration de variables. En utilisant le compilateur XLA et le format de représentation intermédiaire MLIR (sous-projet de vLLM), il convertit des modèles en binaires autonomes ciblant une variété d’accélérateurs. Sans dépendance à Python, ce qui a pour effet de réduire l’empreinte. La v2, sortie en mars, a rendu des concepts plus explicites (mémoire, I/O, placement…), apporté un système de modules d’attention et introduit un mécanisme zero copy qui évite d’avoir à télécharger les modèles sur disque.

5 back-ends, une seule base de code

Promesse de LLMD : une inférence distribuée sur des flottes d’accélérateurs mixtes. Au lancement de la preview technique, il gérait les back-ends CUDA (NVIDIA) et ROCm (AMD). Aujourd’hui, la liste comprend aussi les TPU de Google, le toolkit OneAPI d’Intel et Apple Metal. Les NPU de Tenstorrent sont sur la roadmap. Steeve Morin, président-cofondateur de ZML, évoque régulièrement des fournisseurs de puces européens, parmi lesquels SiPearl et VSORA.

Les familles de modèlesprises en charge en l’état :

• Gemma 3 et 4 (denses + MoE)
• LFM2.5
• LLaMa 2 et 3
• Mistral 3 et Ministral
• Qwen 2, 3, 3.5 et 3.6 (denses + MoE)

LLMD gère le batching continu, la mise en cache des préfixes, l’appel d’outils et le décodage spéculatif (DFlash, sur Gemma 4 pour le moment). ZML a implémenté le parallélisme des tenseurs. Il annonce un démarrage à froid en moins de 20 secondes. Le chargement zero copy est possible depuis Hugging Face, S3 et GCS.

Qwen/Qwen3.6-35B-A3B tok/s on zml/llmd vs vllm (GH200) pic.twitter.com/zC87TER1Rq

— Steeve Morin (@steeve) June 30, 2026

Illustration © Adrian Grosu – Shutterstock

The post LLMD, un serveur d’inférence made in France qui se frotte à vLLM appeared first on Silicon.fr.