Chaque sortie de modèle arrive avec son graphique en barres : « 80,3 % sur SWE-Bench Pro ! », « état de l’art sur Terminal-Bench ! ». Impressionnant. Mais quel examen le modèle a-t-il passé, au juste, et qui l’a corrigé ? Bonne nouvelle : un benchmark n’est rien d’autre qu’un examen standardisé, et savoir le lire, c’est pas sorcier.
Les Jeux Olympiques des modèles
Voyez les benchmarks comme des disciplines olympiques : même piste, mêmes règles, même chrono pour tous les concurrents. SWE-Bench Pro, c’est le marathon du code (corriger de vrais bugs dans de vrais dépôts) ; Terminal-Bench, le relais en ligne de commande ; MRCR, l’épreuve d’endurance de la mémoire (retrouver des faits enfouis dans un très long document).
Concrètement, un benchmark tient en trois ingrédients : un jeu d’exercices figé (des centaines à des milliers), des conditions identiques pour tout le monde, et une correction automatique. Un script vérifie chaque réponse (le code corrigé passe-t-il les tests ?) et sort un pourcentage. C’est ce qui rend les scores comparables, et les podiums (les leaderboards) possibles.
Lire un vrai tableau des scores
Scores publiés en juillet 2026, pour les modèles Claude d’Anthropic et la famille GPT-5.6 d’OpenAI (Sol le vaisseau amiral, Terra l’intermédiaire, Luna la sprinteuse légère) :
| Discipline | Fable 5 | Opus 4.8 | Sol | Terra | Luna |
|---|---|---|---|---|---|
| SWE-Bench Pro (corriger de vrais bugs) | 80,3 % | 69,2 % | 64,6 % | — | — |
| Terminal-Bench 2.1 (ligne de commande) | 86,0 % | — | 88,8 % | 87,4 % | 84,7 % |
| MRCR (rappel en contexte long) | — | — | 91,5 % | 89,6 % | 41,3 % |
Trois leçons. Un : personne ne gagne toutes les épreuves. Fable 5 domine le marathon du code de 15 points ; Sol prend le relais du terminal, de 2,8 points. Deux : quand quatre modèles finissent dans un mouchoir de 4 points, le prix devient l’arbitre : Luna coûte 1 $/6 $ par million de tokens, contre 10 $/50 $ pour Fable 5. Trois : le 41,3 % de Luna sur MRCR montre pourquoi les familles de modèles existent : la sprinteuse légère s’effondre sur l’épreuve d’endurance.
Ce que les médailles ne disent pas
- La contamination : si les questions du test fuient dans les données d’entraînement, l’athlète s’est entraîné sur le parcours exact. Les scores gonflent.
- La saturation : quand tout le monde dépasse 95 %, la discipline ne départage plus rien ; on en invente de plus dures (SWE-Bench a engendré SWE-Bench Pro).
- Votre métier n’est pas une discipline olympique : une médaille au 100 m ne prouve pas qu’on sait porter vos meubles. Pour savoir si un modèle traite bien vos tickets, dans votre domaine, il faut vos propres examens privés : les évals.
En résumé
| Question | Réponse |
|---|---|
| C’est quoi, un benchmark ? | Un examen public standardisé : questions figées, mêmes conditions pour tous |
| Qui corrige ? | Un script, automatiquement ; c’est ce qui rend les scores comparables |
| Un seul champion ? | Non : des vainqueurs par discipline, et par euro |
| Les pièges classiques | Contamination (questions qui fuient), saturation (tout le monde à 95 %+) |
| Ce qu’il ne mesure pas | Votre cas d’usage ; c’est le travail de vos évals à vous |
Les benchmarks disent qui court vite sur une piste standard ; vos évals disent qui fait bien votre travail. Lisez les premiers avec curiosité, fiez-vous aux seconds. Et la prochaine fois qu’un graphique de lancement défile, vous saurez exactement ce que vaut le pourcentage : c’est pas sorcier.
Sources : Vellum, benchmarks de Claude Fable 5 · Vellum, benchmarks de GPT-5.6 · OpenAI, previewing GPT-5.6 Sol.
