Les intelligences artificielles sont impressionnantes… jusqu’à ce qu’elles inventent des réponses. Pour le montrer, j’ai mené une petite expérience : j’ai soumis à plusieurs IA (avec une image du code source BASIC) une question très simple.

Premier test : le programme BASIC

Question posée : « Décris-moi la fonction qui vérifie si un mouton peut bouger dans ce programme BASIC. »

Résultat : Des réponses différentes… mais toutes incorrectes ou complètement inventées.

• 2 IA sur 8 ont reconnu un programme ZX Spectrum.
• Toutes ont produit des interprétations fantaisistes.

Quelques perles reçues

• Ligne 5000 : 5000 DEF FN F()=NOT(P(I1) AND. NOT(i<1 OR i>11 OR j<1 OR >11))
• Ligne 100, avec une faute de frappe improbable (BEEP → BEEF) : 110 BEEF .005,j+10-z0
• Ligne 3005 : 3005 DEF FN f(i)=NOT(P(i)=1 AND P(i+1)=1 AND P(i+2)=1)
• Ligne 2000, mélangeant conditions et variables inventées : DEF FN f(i) = NOT (P(i)=1 AND libre&i OR P(i)=2 AND libre&(i+1) OR P(i)=3 AND libre&(i-1))}

Et ce n’est pas tout :

• Une IA a parlé de brebis et de loups.
• Une autre a carrément inventé des lignes entières de programme :

1000 REM Mouvement du mouton (type=1)
1010 PRINT AT 10,1; "Mouton type=1"
...
1080 REM Collision detection
1090 IF POINT (mx+dx, my+dy) = 7 THEN GOTO 2000
...
2000 REM Mouton bloqué
2010 PRINT AT 21,1; "BEEEP .05"
2020 GOTO 2000

• Une autre encore a inventé des noms de fonctions comme Mouton_peut_bouger.
• Enfin, une IA s’est simplement défilée, refusant de répondre.

Second test : le jeu du Saute-mouton

Question posée : « Donne-moi la liste des mouvements à faire pour ce jeu. » 👉 [Lien vers le jeu]

Résultat : Seule 1 IA sur 8 a trouvé la solution correcte. Les autres se sont perdues en conjectures.

Conclusion

Ces expériences montrent bien les limites actuelles des IA : elles savent briller… mais aussi inventer sans vergogne. Je compte refaire ces tests régulièrement pour observer leurs progrès. La marge est encore grande !

Et vous, saurez-vous trouver la solution (sans IA, bien sûr) ?