Je viens de tenter une expérience intéressante avec mes IA « favorites » dédiées à la programmation.

Le problème concernait MyClub, mon application web pour les associations. J'utilise une base de données SQLite dédiée aux tests automatiques. Son rôle est d'assurer la couverture des routes et des autorisations utilisateurs (groupes, accès spécifiques, etc.).

Seul défaut : il faut la maintenir à la main.

À force de développer de nouvelles fonctionnalités sans mettre à jour cette base systématiquement, elle a fini par prendre du retard : plusieurs routes et autorisations manquaient à l'appel.

Une tâche sur mesure pour l'IA ?

C'est typiquement le genre de travail mécanique où l'IA excelle : analyser le code, identifier les routes et leurs autorisations, comparer avec la base SQLite et générer les instructions INSERT manquantes.

J'ai donc soumis le problème à mes assistants habituels, Claude et ChatGPT. Mais l'expérience n'a pas été concluante : face au volume de code à examiner, tous deux se sont lancés dans d'infinies réflexions jusqu'à dépasser leur quota, laissant le travail incomplet.

La fausse réussite de DeepSeek

J'ai alors tenté ma chance avec DeepSeek

À première vue, défi relevé avec brio : une réponse rapide, structurée et argumentée listant les manques de la base. Convaincant… jusqu'à l'étape indispensable : la vérification.

En regardant le résultat, le verdict est tombé :

Des routes signalées comme manquantes existaient déjà.

Des routes réellement absentes n'avaient pas été détectées.

Sous une apparence de précision chirurgicale, le résultat était factuellement faux.

Assurance n'est pas exactitude

Au départ, je pensais écrire un billet sur la manière dont DeepSeek avait surpassé Claude et ChatGPT. En réalité, le constat est plus nuancé :

Claude et ChatGPT ont échoué par abandon (temps de calcul et quotas).

DeepSeek (tout comme Mistral, Z.ai, Copilot, Gemini) a donné une réponse rapide (plus ou moins crédible pour certaines IA), mais trufée d'erreurs.

À ce jour, seul Grok semble avoir fourni une réponse presque correcte (les valeurs pour Step sont mauvaises) sur ce cas précis.

Plus une IA formule sa réponse avec assurance, plus il est facile de lui faire aveuglément confiance. L'IA reste un formidable outil d'assistance, mais pour les travaux de comparaison et de cohérence fine, la vérification humaine doit rester une étape à part entière.

Quelle suite pour MyClub ?

Plutôt que de corriger la base à la main ou de demander périodiquement à une IA d'identifier les oublis, cette expérience m'incite à automatiser le contrôle au cœur de MyClub.

L'objectif : que l'application alerte elle-même lorsqu'une route ou une autorisation n'est pas représentée dans le jeu de données de test. Ce sera bien plus fiable… et sans hallucination !