Glossaire
Evals, c'est quoi ?
Des tests systématiques qui mesurent la qualité d'un agent sur des cas connus, pour vérifier qu'un changement l'améliore au lieu de le casser en douce.
Mis à jour le 9 août 2026
Ce que c'est
Une batterie de cas de test avec leur bonne réponse attendue, qu'on rejoue à chaque modification de l'agent (nouveau prompt, autre modèle, outil ajouté) pour noter sa qualité de façon répétable. C'est le « jeu d'examen » maison qui dit si une version est meilleure que la précédente.
Pourquoi c'est important
Sans evals, tu changes un prompt « au feeling » et tu ne vois pas qu'il a amélioré 3 cas mais cassé 10 autres. Les evals transforment « ça a l'air mieux » en chiffre comparable, et protègent contre les régressions silencieuses quand tu fais évoluer l'agent.
Exemples concrets
- Avant de changer le prompt du SAV, on rejoue 50 réclamations types et on compare le score avant/après.
- Un nouveau modèle est plus rapide, mais les evals révèlent qu'il rate les cas de retours hors délai : on le garde sur l'ancien.
Approfondir
eval-etalons · l'étalonUn module saisir.ai qui fait manipuler ce concept, en 5 min, sans coder.
Questions fréquentes
- Evals, c'est quoi ?
- Une batterie de cas de test avec leur bonne réponse attendue, qu'on rejoue à chaque modification de l'agent (nouveau prompt, autre modèle, outil ajouté) pour noter sa qualité de façon répétable. C'est le « jeu d'examen » maison qui dit si une version est meilleure que la précédente.
- À quoi ça sert ?
- Sans evals, tu changes un prompt « au feeling » et tu ne vois pas qu'il a amélioré 3 cas mais cassé 10 autres. Les evals transforment « ça a l'air mieux » en chiffre comparable, et protègent contre les régressions silencieuses quand tu fais évoluer l'agent.
- Un exemple concret ?
- Avant de changer le prompt du SAV, on rejoue 50 réclamations types et on compare le score avant/après.