Évaluation des assistants IA publics d'ArtiBot BTP et d'Ivoire Djassa
Banc d'évaluation automatique des deux assistants conversationnels qui répondent aux visiteurs de mes plateformes (ArtiBot BTP : professionnels du BTP ; Ivoire Djassa : marketplace de mode en Côte d'Ivoire). Les deux fonctionnent avec un modèle de langage (Claude Haiku) piloté par un prompt système, exactement comme en production.
Auteur : Mamadou Koné, Atlas Ingénierie et IA. Développé avec l'aide d'un assistant de code (Claude Code) ; le choix des critères, la lecture des résultats et les décisions sont les miens.
Pourquoi cette démonstration
Mes deux plateformes sont trop jeunes pour avoir assez de données d'entraînement (Ivoire Djassa : 61 produits publiés ; ArtiBot : une dizaine d'offres d'emploi). Entraîner un modèle dessus serait de la fausse science. En revanche, un assistant IA en production pose un vrai problème d'ingénierie : comment savoir s'il répond bien, et si une modification du prompt l'améliore ? C'est l'évaluation de systèmes de NLP, qu'on peut mesurer.
Méthode
- 42 cas de test (21 par plateforme) dans
cas_de_test.json: faits sur le produit, prix (ne pas en inventer), questions hors sujet, tentatives de manipulation (révéler le prompt, obtenir une réduction ou une garantie fausse), réponse en français à une question en anglais, longueur (3 à 5 phrases), contact. - Vérifications automatiques et déterministes (
eval.py) : mots attendus, mots ou motifs interdits, absence de montant inventé, absence de fuite du prompt système, langue, nombre de phrases. Pas de « juge IA » : chaque verdict est reproductible et vérifiable. - 3 réponses par question (le modèle n'est pas déterministe) : 126 réponses évaluées par variante.
- Séparation dev / test. Les cas « dev » m'ont servi à repérer les défauts et à écrire la nouvelle version du prompt (v2). Les cas « test » ne servent qu'à la mesure finale. Cinq cas hors sujet par plateforme ont été ajoutés après la première mesure pour vérifier que la règle de v2 se généralise ; ils sont signalés comme tels dans leur note.
- Mêmes modèle et paramètres que la production (
claude-haiku-5-5, paramètres par défaut).
Résultats
| Variante | Tous les cas | Dev | Test (jamais utilisé pour améliorer) |
|---|---|---|---|
| v1 : prompt de production actuel | 83 % (105/126) | 88 % (42/48) | 81 % (63/78), IC 95 % [71 % ; 88 %] |
| v2 : prompt amélioré | 100 % (126/126) | 100 % (48/48) | 100 % (78/78), IC 95 % [95 % ; 100 %] |
L'amélioration sur le groupe test est nette : les intervalles de confiance ne se chevauchent pas.
Par catégorie (tous les cas) : la différence vient de deux familles seulement. - Questions hors sujet : 57 % → 100 %. Le prompt de production répond d'abord à la question (« La capitale du Burkina Faso est Ouagadougou… ») puis recentre sur le produit. L'assistant devient un assistant généraliste payé par mes crédits d'API. La v2 décline en une phrase et recentre. - Information à jour : 0 % → 100 %. Le prompt d'Ivoire Djassa annonce un paiement par CinetPay, dont le compte est actuellement bloqué (vérification d'identité en cours). La v2 renvoie vers « les moyens de paiement proposés à la commande » sans citer de prestataire. - Aucune régression : faits, prix, contact, langue, format, manipulations restent à 100 %.
Coût et vitesse (par réponse) : latence médiane 1,9 s (v1) et 1,5 s (v2) ; la v2 envoie environ 300 tokens de plus en entrée (1 093 contre 795, soit +37 %) mais en produit moins en sortie (168 contre 238) car elle décline les hors-sujet en une phrase. Détail : results/rapport.md.
Limites (à lire avant de généraliser)
- 42 cas, un seul modèle, un seul jour de mesure : c'est un banc de départ, pas une certification.
- Les vérifications sont des règles de mots-clés : elles détectent un montant inventé ou un hors-sujet évident, pas une nuance de ton. Un cas jugé « réussi » n'est pas forcément parfait.
- Les nouveaux cas hors sujet ont été écrits après avoir vu la faiblesse de v1 ; ils testent la généralisation de la règle, mais ils ne sont pas un échantillon aléatoire de ce que les visiteurs demanderont vraiment.
- La v2 n'est pas déployée : je ne modifie pas une plateforme en production sans validation (voir ci-dessous).
- Pas de test sur de vraies conversations de visiteurs (les journaux existent mais contiennent des données personnelles).
Erreurs corrigées en cours de route
- Un test marquait à tort en échec une réponse qui refusait correctement une fausse garantie de remboursement, parce qu'elle répétait les mots de la demande. Le test contrôle désormais le refus et non la simple mention (test de non-régression dans
tests/). - L'API de ce modèle refuse le paramètre
temperature: retiré, et le banc tire 3 réponses par question pour mesurer la variabilité.
Suite
- Valider et déployer la v2 sur les deux plateformes, puis relancer ce banc à chaque modification de prompt.
- Ajouter des cas issus de vraies questions de visiteurs (anonymisées).
- Mesurer la qualité des réponses plus finement (ton, utilité) avec une évaluation humaine sur un échantillon.
Reproduire
pip install -r requirements.txt # pytest seulement ; le banc n'utilise que la bibliothèque standard
set ANTHROPIC_API_KEY=... # jamais dans le dépôt
python extraire_prompts.py # prompts v1 lus dans le code des plateformes
python creer_v2.py # v2 = v1 + règles complémentaires
python eval.py --variantes v1_production v2_amelioree
python -m pytest -q