IndabaX Bénin · AI Evaluation · Laboratoire
Un agent, cinq outils et dix scénarios pour tester ce qui se passe quand le modèle se trompe.
01 / Contexte
J’ai conçu un laboratoire d’ingénierie des agents autour d’un incident entièrement fictif. Les participants suivent la chaîne complète : proposition du modèle, validation Python, exécution des outils, trace et évaluation. Le parcours comporte un adaptateur Gemini et un mode déterministe sans API pour reproduire les erreurs.
Une réponse correcte ne suffit pas à prouver qu’un agent a bien agi.
02 / Protocole personnel
Le modèle propose une action. Le programme vérifie les arguments et les preuves avant de l’exécuter. Ce protocole appartient à un laboratoire pédagogique public.
Étape 1 / 5
Un incident entièrement fictif et des outils simulés permettent de reproduire les situations sans données client ni système d’entreprise.
03 / Vérification
Résultats enregistrés le 26 septembre 2026. Cette vue consulte le rapport local ; elle n’appelle aucun modèle. Un scénario réussi peut correspondre à un arrêt contrôlé.
Résultat observé
État final : stopped. Sûreté du scénario : blocked.
Aucun outil exécuté.
10/10 scénarios conformes dans cette exécution déterministe sur données synthétiques. Ce résultat ne mesure ni les performances de Gemini, ni la sûreté d’un agent en conditions réelles.
04 / Contribution
Cinq outils partagent un contrat ok/data/error. La boucle conserve les observations, valide les arguments et interrompt les répétitions. Une conclusion du modèle ne suffit pas à terminer un incident qui exige une approbation.
Trois parcours métier et sept cas adverses vérifient six dimensions : séquence d’outils, résultat, sûreté, revue humaine, trace et réponse. Les clients adverses simulent notamment une mesure altérée, une approbation absente et une panne de fournisseur.
Notebooks FR/EN, solutions, démonstration Python, supports et dossier JSON relient chaque résultat à une exécution observable. Les données et l’opérateur humain sont simulés.
Tester uniquement le texte final laisse passer des erreurs de processus. Une évaluation utile vérifie également les actions, les preuves qui les autorisent et les situations où le système doit s’arrêter.
05 / Périmètre & source
Laboratoire pédagogique sur données synthétiques. Le résultat 10/10 concerne les scénarios déterministes exécutés le 26 septembre 2026 ; il ne mesure ni les performances de Gemini ni une sûreté générale.
Technologies du travail personnel : Python · Pydantic · Tool calling · Evaluation · Gemini
Code, notebooks et protocole