Benchmark IA open source

Benchmark IA open source — comparatif des modèles 2026

Un comparatif des modèles IA open source : scores de benchmarks publiés par leurs éditeurs — chacun lié à sa source, avec son réglage —, paramètres, fenêtre de contexte, licence et prix réels en Europe. Il couvre les modèles de pointe comme Kimi K3, Qwen3.8, GLM-5.2, DeepSeek V4 et Llama 3.3 — et les modèles que vous pouvez appeler via une API souveraine UE.

30

Tous les modèles

24

Sur Frontière AI

19

Souverain UE

21

Modèles de raisonnement

Scores de benchmarks en un coup d'œil

GPQA% de bonnes réponses, axe de 0 à 100
  1. Kimi K393,5
  2. Qwen3.8 Max92,6
  3. Qwen3.8 Flash91,7
  4. GLM-5.291,2
  5. DeepSeek V4.1 Flash90,9
  6. DeepSeek V4 Pro90,1
  7. Qwen3.8 27B89,2
  8. Qwen3.5 397B88,4
  9. Qwen3.6 27B87,8
  10. Nemotron 3 Ultra87,0
  11. Qwen3.6 35B A3B86,0
  12. Gemma 4 26B82,3
  13. Qwen3.5 9B81,7
  14. GPT-OSS 120B80,1
  15. Qwen3 235B77,5
  16. GPT-OSS 20B71,5
  17. Mistral Small 4 119B71,2
  18. Llama 3.3 70B50,5
  19. Qwen2.5-VL 72B49,0
  20. Mistral Small 3.2 24B46,13
  21. Gemma 3 27B42,4
  22. Apertus v1.5 70B32,1
MMLU% de bonnes réponses, axe de 0 à 100
  1. GPT-OSS 120B90,0
  2. Llama 3.3 70B86,0
  3. GPT-OSS 20B85,3
  4. Mistral Small 3.2 24B80,5
  5. Apertus v1.5 70B77,1
  6. Gemma 3 27B76,9
  7. Pixtral 12B69,2
LiveCodeBench% de bonnes réponses, axe de 0 à 100
  1. DeepSeek V4 Pro93,5
  2. Qwen3.8 Flash91,9
  3. Qwen3.8 27B90,3
  4. Nemotron 3 Ultra89,0
  5. Qwen3.6 27B83,9
  6. Qwen3.5 397B83,6
  7. Qwen3.6 35B A3B80,4
  8. Gemma 4 26B77,1
  9. Qwen3.5 9B65,6
  10. Mistral Small 4 119B63,6
  11. Qwen3 235B51,8
  12. Gemma 3 27B29,7
LMArenanote de préférence, échelle relative
  1. Kimi K31487
  2. GLM-5.31479
  3. GLM-5.21476
  4. GLM-5.3 Flash1474
  5. DeepSeek V4 Pro1458
  6. Qwen3.5 397B1442
  7. Qwen3.8 27B1438
  8. Gemma 4 26B1438
  9. Mistral Large 41432
  10. Nemotron 3 Ultra1426
  11. Qwen3 235B1422
  12. Gemma 3 27B1366
  13. Mistral Small 3.2 24B1356
  14. GPT-OSS 120B1352
  15. Llama 3.3 70B1318
  16. GPT-OSS 20B1317

Un graphique par benchmark, meilleur score en tête ; chaque valeur renvoie à sa source. Chaque éditeur mesure à son propre réglage (détaillé sous le tableau) : les barres donnent un ordre de grandeur, pas une comparaison stricte. LMArena n'a pas de zéro naturel : ses barres sont à l'échelle de l'écart affiché, leur longueur n'est donc pas proportionnelle à la note. Un modèle absent d'un graphique n'a pas de source primaire pour ce score.

Capacité vs prix

Les modèles en ligne sur Frontière AI qui ont un score LMArena, placés selon ce score (une note de préférence issue de votes) et selon leur prix pour 100k tokens d'entrée. Plus la bulle est grande, plus le modèle a de paramètres. Les modèles souverains de Frontière AI sont mis en avant.

155014751400132512500.000.100.210.310.420.52Prix pour 100k tokens d'entrée (€)Score LMArenaKimi K3 (2,8T paramètres, 1M contexte)Kimi K3 (2,8T paramètres, 1M contexte) LMArena : 1487 — entrée « Kimi K3 (Max) », ±5 Prix / 100k : 0,4536 € Paramètres : 2800BDeepSeek V4 Pro (1,6T MoE)DeepSeek V4 Pro (1,6T MoE) LMArena : 1458 — entrée « deepseek-v4-pro », ±4, rattachée par le classement à la version d'avril 2026 Prix / 100k : 0,2453 € Paramètres : 1600BGLM-5.2 (Zhipu/Z.ai)GLM-5.2 (Zhipu/Z.ai) LMArena : 1476 — entrée « glm-5.2-max », ±4 Prix / 100k : 0,3024 € Paramètres : 753BQwen3.5 397B (multimodal)Qwen3.5 397B (multimodal) LMArena : 1442 — entrée « qwen3.5-397b-a17b », ±3 Prix / 100k : 0,1008 € Paramètres : 397BQwen3 235B (instruct)Qwen3 235B (instruct) LMArena : 1422 — entrée « qwen3-235b-a22b-instruct-2507 », ±3 Prix / 100k : 0,126 € Paramètres : 235BLlama 3.3 70BLlama 3.3 70B LMArena : 1318 — entrée « llama-3.3-70b-instruct », ±4 Prix / 100k : 0,1512 € Paramètres : 70BGLM-5.3 (Zhipu/Z.ai)GLM-5.3 (Zhipu/Z.ai) LMArena : 1479 — entrée « glm-5.3-max », ±5 Prix / 100k : 0,3024 € Paramètres : 753BGLM-5.3 Flash (Zhipu/Z.ai)GLM-5.3 Flash (Zhipu/Z.ai) LMArena : 1474 — entrée « glm-5.3-flash », ±5 Prix / 100k : 0,0689 € Paramètres : 320BMistral Large 4 (preview, 512K contexte)Mistral Large 4 (preview, 512K contexte) LMArena : 1432 — entrée « mistral-large-4 », ±7, classé propriétaire tant que les poids ne sont pas publiés Prix / 100k : 0,2514 € Paramètres : 1000BMistral Small 3.2 24BMistral Small 3.2 24B LMArena : 1356 — entrée « mistral-small-2506 », ±5 Prix / 100k : 0,0252 € Paramètres : 24BQwen3.8 27B (multimodal)Qwen3.8 27B (multimodal) LMArena : 1438 — entrée « qwen3.8-27b », ±5 Prix / 100k : 0,0252 € Paramètres : 28BGemma 3 27B (Google)Gemma 3 27B (Google) LMArena : 1366 — entrée « gemma-3-27b-it », ±4 Prix / 100k : 0,0135 € Paramètres : 27BGemma 4 26B (MoE A4B)Gemma 4 26B (MoE A4B) LMArena : 1438 — entrée « gemma-4-26b-a4b », ±7 Prix / 100k : 0,0168 € Paramètres : 26BGPT-OSS 120B (OpenAI)GPT-OSS 120B (OpenAI) LMArena : 1352 — entrée « gpt-oss-120b », ±4 Prix / 100k : 0,0252 € Paramètres : 117BSouverain (Frontière AI)Non souverain UE

Modèles classés par score LMArena par défaut ; ceux qui n'en ont pas suivent, par GPQA. Cliquez sur les en-têtes de colonnes pour trier par MMLU, GPQA, LiveCodeBench, paramètres ou LMArena. Chaque score renvoie à sa source, et « — » signifie qu'aucune source primaire ne publie ce score pour ce modèle précis.

ModèleLaboParamsContexteLicenceMMLUréglage selon la sourceGPQADiamond sauf mentionLiveCodeBenchversion selon la sourceLMArenatexte, généralPrix / 100kJuridictionVérifié
🧠
Kimi2.8T/104B1MKimi K3 License—93,5—14870,4536 €Accès rapide3/6
🧠
GLM-5.3 (Zhipu/Z.ai)Sur Frontière AI
Zhipu / Z.ai753B512KGLM-5.3 License———14790,3024 €Souverain UE6/6
🧠
GLM-5.2 (Zhipu/Z.ai)Sur Frontière AI
Zhipu / Z.ai753B256kMIT—91,2—14760,3024 €Souverain UE6/6
🧠
Zhipu / Z.ai320B/18B1MMIT———14740,0689 €Accès rapide0/6
🧠
DeepSeek1.6T/49B1MMIT—90,193,514580,2453 €Accès rapide5/6
🧠
Qwen3.5 397B (multimodal)Sur Frontière AI
Qwen397B/17B250kApache-2.0—88,483,614420,1008 €Souverain UE6/6
🧠
Qwen3.8 27B (multimodal)Sur Frontière AI
Qwen27.8B256kApache-2.0—89,290,314380,0252 €Souverain UE6/6
🧠
Gemma 4 26B (MoE A4B)Sur Frontière AI
Google26B/4B256KApache-2.0—82,377,114380,0168 €Souverain UE6/6
🧠
Mistral AI1T/49B512k————14320,2514 €Souverain UE4/6
🧠
Nemotron 3 Ultra
NVIDIA550B/55B1MOpenMDW-1.1—87,089,01426N/A——
Qwen3 235B (instruct)Sur Frontière AI
Qwen235B/22B250kApache-2.0—77,551,814220,126 €Souverain UE5/6
Gemma 3 27B (Google)Sur Frontière AI
Google27B128kGemma Terms of Use76,942,429,713660,0135 €Accès rapide4/6
Mistral Small 3.2 24BSur Frontière AI
Mistral AI24B—Apache-2.080,546,13—13560,0252 €Souverain UE5/6
🧠
GPT-OSS 120B (OpenAI)Sur Frontière AI
OpenAI117B/5.1B—Apache-2.090,080,1—13520,0252 €Souverain UE6/6
Llama 3.3 70BSur Frontière AI
Meta70B—Llama 3.3 Community License86,050,5—13180,1512 €Souverain UE5/6
🧠
GPT-OSS 20B (OpenAI)En pause sur Frontière AI
OpenAI21B/3.6B—Apache-2.085,371,5—1317N/ASouverain UE6/6
🧠
Qwen3.8 Max (2,4T, 1M contexte)En pause sur Frontière AI
Qwen2.4T/95B1MQwen3.8-Max License—92,6——N/AAccès rapide0/6
🧠
Qwen3.8 Flash (Qwen)Sur Frontière AI
Qwen125B/6B1MQwen Community License 1.0—91,791,9—0,0252 €Accès rapide3/6
🧠
DeepSeek763B/8B prefill / 16B decode1MMIT—90,9——0,1008 €Souverain UE6/6
🧠
Qwen3.6 27B (multimodal)En pause sur Frontière AI
Qwen27.8B256kApache-2.0—87,883,9—N/ASouverain UE6/6
🧠
Qwen36B/3B256kApache-2.0—86,080,4—0,042 €Souverain UE6/6
🧠
Qwen3.5 9B (rapide, économique)En pause sur Frontière AI
Qwen9.65B256kApache-2.0—81,765,6—N/ASouverain UE6/6
🧠
Mistral Small 4 119BSur Frontière AI
Mistral AI119B/6.5B256KApache-2.0—71,263,6—0,0278 €Souverain UE5/6
Qwen2.5-VL 72B (vision)En pause sur Frontière AI
Qwen73.4B32kQwen License Agreement—49,0——N/ASouverain UE5/6
🧠
Apertus72B100kApache-2.077,132,1——0,1294 €Souverain UE5/6
🧠
DeepSeek V4 Flash 0731Sur Frontière AI
DeepSeek284B/13B256kMIT————0,0672 €Souverain UE6/6
Qwen3 Coder 30BSur Frontière AI
Alibaba30.5B/3.3B256kApache-2.0————0,0336 €Souverain UE6/6
Pixtral 12B (vision)Sur Frontière AI
Mistral AI12B128kApache-2.069,2———0,0336 €Souverain UE5/6
BGE Multilingual Gemma2Sur Frontière AI
BAAI9.24B8 192Gemma Terms of Use————0,0168 €Souverain UE—
Qwen3 Embedding 8BSur Frontière AI
Qwen8B40 960Apache-2.0————0,0168 €Souverain UE—

Sources des scores

Une source primaire par score : la fiche Hugging Face du modèle, son rapport technique ou l'annonce officielle de son éditeur — et, pour LMArena, le classement public (texte, général, style control, instantané du 2026-10-15). Chaque score a été relu sur sa source entre le 2026-09-23 et le 2026-10-20.

Sources et réglages de chaque score

Méthodologie des benchmarks

Chaque score de cette page est publié par l'éditeur du modèle lui-même — fiche du modèle, rapport technique ou annonce officielle —, sauf LMArena, qui vient du classement public. Frontière AI ne relance pas ces benchmarks. Les éditeurs ne suivent pas un protocole commun (nombre d'exemples, chaîne de pensée, effort de raisonnement, version du benchmark) : chaque score indique donc son réglage et renvoie à sa source, et deux scores mesurés à des réglages différents ne se comparent pas strictement. Un score n'apparaît que si une source primaire le publie pour le modèle exact listé (modèle instruct et non base, le checkpoint que sert Frontière AI) ; sinon la case affiche « — ». Nous n'estimons jamais un score et n'en reprenons jamais un d'un modèle voisin.

MMLU (réglage selon la source)

MMLU — 57 sujets couvrant les STEM, les humanités, le droit, la médecine et plus encore. Mesure les connaissances générales et le raisonnement dans tous ces domaines. Les éditeurs le publient en 0-shot ou 5-shot, avec ou sans chaîne de pensée ; MMLU-Pro et MMLU-Redux sont d'autres benchmarks et n'entrent pas dans cette colonne.

GPQA (Diamond sauf mention)

GPQA — questions à choix multiples de niveau master en physique, chimie et biologie. La plupart des éditeurs publient le sous-ensemble Diamond, le plus difficile, validé par des experts ; quand une source écrit seulement « GPQA », la note du score le précise.

LiveCodeBench (version selon la source)

LiveCodeBench — problèmes de programmation collectés en continu sur des concours de programmation compétitive. Chaque version (v5, v6…) couvre une période de problèmes différente : la version est donnée avec chaque score.

LMArena (texte, général)

LMArena (anciennement LMSYS Chatbot Arena) — votes A/B à l'aveugle, en crowdsourcing, convertis en note. Nous reprenons le score général du classement texte avec style control, sa vue par défaut, instantané du 2026-10-15, avec le nom d'entrée du classement. Il mesure les réponses que les votants préfèrent, pas l'exactitude, et bouge au fil des votes.

Sources : fiches de modèles Hugging Face, rapports techniques et annonces des éditeurs, classement LMArena — un lien par score, listé sous le tableau.

Comment lire les scores de benchmarks

Les scores de benchmarks mesurent des capacités précises dans des conditions contrôlées. Ils ne prédisent pas les performances réelles pour votre cas d'usage. Un modèle au score MMLU plus bas peut être meilleur pour votre charge de travail grâce à sa longueur de contexte, à son support des outils, à sa couverture linguistique ou à son prix. Utilisez les benchmarks comme un élément parmi d'autres — et testez les modèles vous-même avec vos propres prompts.

Questions fréquentes

Quel est le meilleur modèle IA open source en 2026 ?
Aucun benchmark ne tranche à lui seul, et chaque score de benchmark de cette page est celui que publie l'éditeur du modèle, au réglage qu'il a choisi (les scores LMArena viennent du classement public). Dans ce tableau, Kimi K3 a à la fois le meilleur score GPQA (93,5) et le meilleur score LMArena (1487). Parmi les modèles de ce tableau servis par un fournisseur souverain UE, GLM-5.2 a le meilleur score GPQA (91,2 ; LMArena 1476) et est servi par Scaleway, à partir de 0,3024 € pour 100k tokens d'entrée.
Puis-je héberger moi-même des modèles IA open source ?
Oui — tous les modèles listés ici ont des poids téléchargeables. Les besoins vont d'un seul GPU pour les petits modèles (Qwen3.5 9B, ~20 Go de VRAM) à des configurations multi-GPU pour les modèles de pointe (Kimi K3 exige un cluster GPU multi-nœuds). Sinon, Frontière AI offre un accès immédiat par API à des modèles hébergés de façon souveraine, à partir de 10 € prépayés.
Les modèles IA open source sont-ils conformes au RGPD ?
Le modèle en lui-même n'est jamais le problème — c'est son hébergement. Un modèle hébergé chez OVHcloud ou Scaleway en France reste sous juridiction européenne. Le même modèle hébergé sur un cloud américain est soumis au CLOUD Act. Frontière AI étiquette chaque modèle « Souverain UE » ou « Accès rapide » pour que vous le sachiez avant de l'appeler.
Pourquoi les scores de benchmarks diffèrent-ils d'une source à l'autre ?
Les évaluateurs utilisent des prompts, des nombres d'exemples, des réglages de chaîne de pensée, des niveaux d'effort de raisonnement et des versions de benchmark différents — LiveCodeBench v5 et v6, par exemple, ne portent pas sur les mêmes problèmes. Chaque score de ce tableau est celui que publie l'éditeur du modèle sur sa fiche, son rapport technique ou son annonce, ou, pour LMArena, le classement public ; chacun renvoie à cette source et indique son réglage. Frontière AI ne relance pas ces benchmarks : une évaluation indépendante du même modèle peut donner un autre chiffre, et deux scores mesurés à des réglages différents ne se comparent pas strictement.
Quelle différence entre modèles de raisonnement et modèles classiques ?
Les modèles de raisonnement (signalés par un indicateur) déroulent une chaîne de pensée interne avant de répondre. Ils obtiennent généralement de meilleurs scores en mathématiques, en code et en raisonnement complexe — mais peuvent être plus lents et plus chers, à cause des tokens de réflexion supplémentaires. Les modèles classiques sont plus rapides et moins chers pour les tâches simples.
Comment Frontière AI fixe-t-elle le prix des modèles open source ?
Frontière AI tarife chaque modèle de la même façon : un tarif au token publié pour ce modèle, plus une majoration fixe. Les prix affichés incluent notre marge et la TVA — le prix affiché est celui débité. Les modèles souverains démarrent à 0,0168 € pour 100k tokens d'entrée (Gemma 4 26B) ; les modèles de pointe comme GLM-5.2 démarrent à 0,3024 € pour 100k tokens d'entrée. Pas d'abonnement, uniquement du prépayé.

Testez ces modèles vous-même

Créez un compte et appelez n'importe quel modèle du catalogue en quelques minutes.

Créer un compteModèles →
Créer un compte