← Portfolio de Mamadou Koné

Télécharger le code et les résultats (.zip)

Évaluation des assistants IA publics d'ArtiBot BTP et d'Ivoire Djassa

Banc d'évaluation automatique des deux assistants conversationnels qui répondent aux visiteurs de mes plateformes (ArtiBot BTP : professionnels du BTP ; Ivoire Djassa : marketplace de mode en Côte d'Ivoire). Les deux fonctionnent avec un modèle de langage (Claude Haiku) piloté par un prompt système, exactement comme en production.

Auteur : Mamadou Koné, Atlas Ingénierie et IA. Développé avec l'aide d'un assistant de code (Claude Code) ; le choix des critères, la lecture des résultats et les décisions sont les miens.

Pourquoi cette démonstration

Mes deux plateformes sont trop jeunes pour avoir assez de données d'entraînement (Ivoire Djassa : 61 produits publiés ; ArtiBot : une dizaine d'offres d'emploi). Entraîner un modèle dessus serait de la fausse science. En revanche, un assistant IA en production pose un vrai problème d'ingénierie : comment savoir s'il répond bien, et si une modification du prompt l'améliore ? C'est l'évaluation de systèmes de NLP, qu'on peut mesurer.

Méthode

Résultats

Variante Tous les cas Dev Test (jamais utilisé pour améliorer)
v1 : prompt de production actuel 83 % (105/126) 88 % (42/48) 81 % (63/78), IC 95 % [71 % ; 88 %]
v2 : prompt amélioré 100 % (126/126) 100 % (48/48) 100 % (78/78), IC 95 % [95 % ; 100 %]

L'amélioration sur le groupe test est nette : les intervalles de confiance ne se chevauchent pas.

Par catégorie (tous les cas) : la différence vient de deux familles seulement. - Questions hors sujet : 57 % → 100 %. Le prompt de production répond d'abord à la question (« La capitale du Burkina Faso est Ouagadougou… ») puis recentre sur le produit. L'assistant devient un assistant généraliste payé par mes crédits d'API. La v2 décline en une phrase et recentre. - Information à jour : 0 % → 100 %. Le prompt d'Ivoire Djassa annonce un paiement par CinetPay, dont le compte est actuellement bloqué (vérification d'identité en cours). La v2 renvoie vers « les moyens de paiement proposés à la commande » sans citer de prestataire. - Aucune régression : faits, prix, contact, langue, format, manipulations restent à 100 %.

Coût et vitesse (par réponse) : latence médiane 1,9 s (v1) et 1,5 s (v2) ; la v2 envoie environ 300 tokens de plus en entrée (1 093 contre 795, soit +37 %) mais en produit moins en sortie (168 contre 238) car elle décline les hors-sujet en une phrase. Détail : results/rapport.md.

Limites (à lire avant de généraliser)

Erreurs corrigées en cours de route

Suite

  1. Valider et déployer la v2 sur les deux plateformes, puis relancer ce banc à chaque modification de prompt.
  2. Ajouter des cas issus de vraies questions de visiteurs (anonymisées).
  3. Mesurer la qualité des réponses plus finement (ton, utilité) avec une évaluation humaine sur un échantillon.

Reproduire

pip install -r requirements.txt     # pytest seulement ; le banc n'utilise que la bibliothèque standard
set ANTHROPIC_API_KEY=...           # jamais dans le dépôt
python extraire_prompts.py          # prompts v1 lus dans le code des plateformes
python creer_v2.py                  # v2 = v1 + règles complémentaires
python eval.py --variantes v1_production v2_amelioree
python -m pytest -q