Alias
Évaluation, eval, test de qualité IA.
Définition
Définir d'abord ce que le système doit réussir et ce qu'il ne doit pas faire. Une évaluation peut utiliser des contrôles automatiques, une relecture humaine ou leur combinaison, selon les critères à examiner. La méthode de notation doit être compréhensible et répétable.
Les résultats valent pour la configuration et les cas essayés. Un score unique masque parfois les erreurs graves ou les populations de documents mal couvertes.
Exemple
Exemple pédagogique : pour un assistant de revue, contrôler séparément les affirmations sourcées, les contradictions repérées, les informations absentes correctement signalées et les décisions laissées au comité.
Une réponse élégante mais fondée sur une pièce périmée échoue au contrôle d'exactitude. Un test réussi n'autorise pas à annoncer une fiabilité générale sur tous les projets.
À ne pas confondre avec
Une démonstration réussie n'est pas une évaluation représentative. Demander au même modèle « es-tu sûr ? » n'est pas une contre-revue indépendante.
Voir aussi
Jeu d'évaluation, Ancrage dans les sources, Supervision humaine.
Sources
Anthropic — Define success criteria and build evaluations (nouvel onglet). Application au travail de projet et exemple pédagogique originaux, sans résultat d'essai revendiqué.