Glossaire
LLM-as-judge, c'est quoi ?
Utiliser un autre LLM comme évaluateur pour noter la qualité d'une sortie selon des critères. Rapide mais soumis à des biais.
Mis à jour le 17 juin 2026
Ce que c'est
Utiliser un LLM comme correcteur : on lui donne une sortie (et parfois la réponse attendue) et des critères, il note la qualité. Une façon d'évaluer à grande échelle ce qu'un humain noterait à la main.
Pourquoi c'est important
Évaluer un agent sur des centaines de cas à la main ne tient pas. Le juge LLM automatise ça, mais il a ses biais (il préfère le verbeux, se laisse amadouer) : à calibrer contre des notes humaines, pas à croire aveuglément.
Exemples concrets
- Noter 200 réponses du support sur « exacte ? polie ? complète ? » en quelques minutes.
- On vérifie d'abord que le juge note comme un humain sur un échantillon, sinon ses scores ne valent rien.
Approfondir
judge · évaluation d'agentsUn module saisir.ai qui fait manipuler ce concept, en 5 min, sans coder.
Termes liés
Questions fréquentes
- LLM-as-judge, c'est quoi ?
- Utiliser un LLM comme correcteur : on lui donne une sortie (et parfois la réponse attendue) et des critères, il note la qualité. Une façon d'évaluer à grande échelle ce qu'un humain noterait à la main.
- À quoi ça sert ?
- Évaluer un agent sur des centaines de cas à la main ne tient pas. Le juge LLM automatise ça, mais il a ses biais (il préfère le verbeux, se laisse amadouer) : à calibrer contre des notes humaines, pas à croire aveuglément.
- Un exemple concret ?
- Noter 200 réponses du support sur « exacte ? polie ? complète ? » en quelques minutes.