Les premiers jets sont rarement excellents — pour les humains comme pour les modèles. Le pattern évaluateur-optimiseur associe deux rôles : un générateur produit une tentative, un évaluateur la critique selon des critères explicites, et le générateur réessaie avec ce retour. On boucle jusqu’à validation (ou jusqu’à un plafond d’essais).

L’analogie

L’écrivain et l’éditeur. Le romancier écrit un chapitre ; l’éditeur le renvoie couvert d’encre rouge : « le dialogue traîne, la chronologie cloche. » Deuxième version, meilleure. L’astuce, c’est que critiquer est plus facile que créer — un écrivain médiocre peut rester un excellent juge de ce qui ne va pas.

Le principe

flowchart LR
    IN([entrée]) --> G["LLM : génère"] --> E["LLM : évalue"]
    E -->|retour| G
    E -->|validé| OUT([sortie])

• L’évaluateur reçoit une grille : des critères précis et vérifiables (« toutes les affirmations sourcées ? », « ça compile ? », « moins de 200 mots ? »).
• Le retour est actionnable, pas une note : « le deuxième paragraphe contredit le premier » vaut mieux que « 6/10 ».
• Un plafond (2-3 itérations) évite les boucles infinies ; ce qui échoue encore remonte à un humain.

Un exemple concret

Générer une migration SQL délicate :

1. générateur → écrit le script de migration
2. évaluateur → « le renommage de colonne perd des données
                 au rollback ; l'index va verrouiller la table »
3. générateur → réécrit avec un renommage sûr en deux temps
4. évaluateur → tous les contrôles passent → terminé

L’évaluateur peut même exécuter des choses (linter, tests, dry-run) et renvoyer de vraies erreurs — la forme de critique la plus solide.

Quand l’utiliser

• La qualité est vérifiable : vous savez énoncer ce que « bon » veut dire en critères concrets.
• Les premières tentatives sont en général presque justes et s’améliorent visiblement avec un retour ciblé (rédaction, code, traductions).
• Vous préférez dépenser 2-3× les tokens plutôt que livrer un premier jet moyen.

Quand l’éviter

• Personne ne sait articuler les critères — l’évaluateur critiquera au feeling et la boucle errera.
• La tâche est facile : boucler sur une réponse déjà correcte brûle de l’argent pour changer des adjectifs.

Le piège classique

L’évaluateur complaisant. Si le même modèle critique sa propre sortie toute fraîche sans grille, il a tendance à dire « c’est très bien ! ». Donnez à l’évaluateur un rôle distinct, des critères explicites — et idéalement de vrais outils pour vérifier, pas juste des opinions.