Un rappel que si les IA (LLM) pondent des phrases, ce sont juste des suites statistiques de mots dont elles n'ont pas la moindre compréhension. Quand elles donnent la bonne réponse, c'est une pure chance statistiques (dépendant des données d'entraînement) sans la moindre compréhension du problème.
Le soucis est qu'elles donnent l'*illusion* qu'elles comprennent le problème. Ces chercheurs appellent cela la "compréhension potemkine", c'est à dire une compréhension de façade, ce qui fausse tous les tests d'IA.
Ils ont mis en place leurs propres tests : « Un test axé sur les techniques littéraires, la théorie des jeux et les biais psychologiques a révélé que, bien que les modèles évalués puissent identifier des concepts la plupart du temps (94,2 %), ils échouaient fréquemment lorsqu'on leur demandait de classer des instances de concepts (un taux d'échec moyen de 55 %), de générer des exemples (40 %) et de modifier des instances de concepts (40 %). »

(Pour la ref "potemkine" : https://fr.wikipedia.org/wiki/Village_Potemkine)