Évaluer un assistant IA avant de lui faire confiance
Une méthode pour mesurer la qualité, le coût et la fiabilité des réponses d’un modèle avant de le choisir.
Une réponse plausible n’est pas une réponse juste
Un projet personnel nécessitait un assistant IA pour aider des joueurs à obtenir des trophées de jeux vidéo : proposer un parcours, lister tous les éléments requis et répondre aux questions de suivi sur une sauvegarde. Une réponse fluide peut pourtant engager un joueur dans une erreur irréversible. Avant de choisir un modèle, il fallait mesurer les réponses plutôt que les juger à l’impression.
Distinguer ce qui se vérifie de ce qui se juge
La structure, les champs obligatoires, les doublons et les ensembles d’éléments attendus sont vérifiés par des contrôles programmatiques exacts. L’exactitude, l’appui sur les sources et l’utilité sont confiés à un évaluateur distinct, selon une grille pondérée. Une dimension non évaluée reste non évaluée : elle ne reçoit jamais la note maximale par défaut.
Certaines erreurs pèsent plus qu’une moyenne
Une consigne qui rend un trophée définitivement inaccessible, une progression inventée ou une source fabriquée disqualifie une configuration, quelle que soit sa note moyenne. Qualité, coût et latence sont présentés séparément : une erreur rapide et bon marché ne compense pas un mauvais conseil. Un prix inconnu reste inconnu, jamais nul.
Rendre chaque exécution reproductible et honnête
Chaque exécution enregistre le modèle, les prompts, le jeu de données, les prix et la révision du code, et la reprise refuse toute entrée modifiée. Le banc d’essai est couvert par 249 tests hors ligne. La suite actuelle de 18 cas sert au développement : les résultats restent préliminaires tant que l’évaluateur n’est pas calibré par des relectures humaines, et aucun modèle n’a encore été choisi.