Neurone21
← Wiki

llama.cpp

moteur-inferencemodeles-iaMaturité : production (version 1.0.0, novembre 2026)Licence : libre (code source ouvert sur GitHub)

Moteur d’inférence libre en C et C++ pour faire tourner des modèles de langage et multimodaux sur PC, téléphones et serveurs, avec sa bibliothèque de calcul ggml ; version 1.0.0 publiée le 13 novembre 2026.

Rôle

llama.cpp, maintenu par l’organisation ggml-org dont l’équipe est rattachée à Hugging Face, fait tourner des modèles déjà entraînés sur une large gamme de matériel, grâce à la quantification (compression des poids) et à des moteurs de calcul dédiés à chaque type de processeur.

Points clés

  • Version 1.0.0 (13 novembre 2026) : llama.cpp (bibliothèque libllama) et ggml (libggml) adoptent le versionnage sémantique ; numéro majeur pour toute rupture de l’interface publique en C, mineur pour les ajouts compatibles (modèles, processeurs), correctif pour les corrections (ggml-org).
  • Couverture : plus de 150 variantes d’architectures de modèles et les principales méthodes de décodage spéculatif (ggml-org).
  • Distribution : Docker, Debian, Homebrew, conda-forge, MacPorts, Winget et XCFramework ; versions préliminaires pour Linux, macOS, Windows, Android et iOS (ggml-org).
  • Tests : intégration continue appuyée sur des machines fournies par NVIDIA, AMD, Qualcomm, Arm, IBM et Intel (ggml-org).

Limites

Aucune mesure de débit n’accompagne la version 1.0 ; les performances dépendent du matériel et du niveau de quantification choisis.

Voir aussi

  • Fiches wiki hugging-face et powerinfer.

Billets Neurone21

Sources