Pourquoi le nouveau chatbot IA ChatGPT est « dangereusement stupide »

Le nouveau chatbot IA, ChatGPT, un modèle de traitement de langage développé par OpenAI mis en ligne récemment, suscite un vif débat parmi les principaux chercheurs en intelligence artificielle. Certains d’entre eux estiment en effet que cette IA constitue une percée importante. Selon d’autres, par contre, ChatGPT s’apparente à un « singe assis face à un écran d’ordinateur ».

Interrogé par le quotidien espagnol El Confidencial, Gary Marcus, chercheur en psychologie de l’Université de New York concentrant ses recherches sur le langage, la biologie et l’esprit, a fait part de ses critiques à l’égard de ChatGPT.

Gary Marcus est fondateur et PDG de la société d’apprentissage automatique Geometric Intelligence et Robust AI. Auteur de cinq ouvrages sur l’IA dont The Algebraic Mind : Integratind Connectionism and Cognitive Science (2001) et Kluge : The Haphazard Construction of the Human Mind (2008) et récemment Rebooting AI, Marcus estime que bien que la technologie de IA n’en soit qu’à ses prémices, cette technologie représente un danger bien réel.

ChatGPT, une version juste plus polie que ses prédécesseures

ChatGPT est un chatbot IA, composé de plus de 175 milliards de paramètres, capable d’entretenir une conversation de manière naturelle avec les utilisateurs sur n’importe quel domaine ou sujet.

Ayant recours à des algorithmes de traduction et de traitement de texte, ChatGPT peut émettre des réponses très complexes et par conséquent toute une panoplie d’opinions.

Cependant, dans El Confidencial, Gary Marcus démystifie en quelque sorte cet outil.

Dans un premier temps, l’expert estime que ChatGPT n’est pas très différent de ses prédécesseurs. Il s’agit néanmoins d’une version plus aboutie que la version antérieure, GPT-3. En effet, ce chatbot ne dit pas tant de choses ridicules et dangereuses, estime Marcus. Confronté aux mêmes problèmes que les versions antérieures, ChatGPT ne représente aucune avancée technique.

Selon Marcus, il s’agit davantage d’une version plus polie d’un point de vue marketing et qui est en outre devenue virale.

Cela dit, cette fois-ci, le chatbot IA ChatGPT a été mis à disposition du public. Par ailleurs, une différence majeure  réside également dans le fait que l’entreprise a mis des limites afin d’éviter que les utilisateurs lui demandent des choses illégales, sexistes ou racistes.

Le fonctionnement de ChatGPT tient de la confabulation

Selon Marcus, le fonctionnement de ChatGPT tient quelque peu de la confabulation. Sur le plan technique, cette IA rassemble des mots et phrases stockés observés auparavant.

Toutefois, elle ne comprend pas la signification de ce qu’elle montre, souligne Marcus. Par exmple, lorsqu’on lui demande de générer une biographie sur une personne, ChatGPT avance des éléments corrects et d’autres incorrects.

« ChatGPT a un sérieux problème de confabulation. Je crois que cette IA aura un impact sur la société. Toutefois, il ne s’agit pas de la solution pour aboutir à des systèmes véritablement intelligents. »

Selon Marcus, ChatGPT ne sera pas utile pour les voitures autonomes et les robots domestiques. En réalité, il existe une inconnue concernant ses applications véritables. L’application la plus immédiate semble être les travaux scolaires.

« Mais ma plus grande inquiétude concerne la désinformation. Je crois que cela va augmenter dramatiquement la production de désinformation. On l’utilisera pour la propagande, pour créer des pages internet factices et pour tromper le public », met en garde le spécialiste.

ChatGPT est une intelligence artificielle  « dangereusement stupide »

En 2018, Elon Musk, confondateur d’OpenAI, avait déclaré que ChatGPT était « effrayamment bon ».

Selon Marcus, derrière cette expression se dissimule une référence à la puissance supposée de ce système. Il s’agit du concept d’intelligence artificielle générale.

Gary Marcus pense que nous sommes encore très loin d’une IA générale. Toutefois, selon lui, la dangerosité de ChatGPT est bien réelle. Elle dépend du système auquel on connecte cette IA.

« Si vous la connectez au réseau électrique ou à une arme, elle devient une menace. Sa dangerosité provient de son intelligence mais également du pouvoir qu’on lui accorde. Si ChatGPT parvient à persuader une personne naïve qu’il est intelligent, c’est là que se trouve le danger en soi », précise le scientifique.

Marcus n’hésite pas à qualifier ChatGPT de « dangereusement stupide ».Selon ses dires, tous ces grands modèles linguistiques inventent des choses et hallucinent. Il s’agit d’un problème inhérent à leur fonctionnement et à leur conception, avance-t-il.

Marcus souligne que leur fonctionnement consiste à copier des bouts de texte de plusieurs endroits, à les coller et à les reproduire. ChatGPT est à la fois brillant et brutalement stupide.

« Il ne comprend pas la relation entre ces bouts de texte. Un exemple révélateur est le fait que le chatbot ait donné Noam Chomsky pour mort alors que celui-ci a donné des conférences et des interviews cette année. Ce système est si dangereusement stupide qu’il n’est pas capable de comprendre que les personnes qui donnent des conférences ne peuvent pas être mortes. »

Marcus souligne encore ChatGPT est comme un singe devant un ordinateur. La véritable mission de l’IA est de créer un système capable d’observer le monde et de l’évaluer. ChatGPT n’est pas capable de parvenir à cela. En outre, ce n’est pas la finalité de sa conception.

Un système peu fiable

Marcus explique encore que le lancement de ChatGPT n’est en fait qu’une campagne médiatique pour nous faire croire que nous sommes proches de l’IA général. Selon l’expert, nous en sommes encore loin.

ChatGPT ne résout pas les problemes de base auxquels l’IA est confrontée depuis des années.

Des outils comme ChatGPT sont intéressants, indique-t-il. Toutefois, ils ne sont pas bien développés et ne comprennent pas le monde qui les entoure. Les techniques actuelles sont très limitées.

Dans un premier temps, il s’agit d’un système peu fiable. Pour une même question, il vous donnera soit des informations correctes, soit des informations fausses.

Ensuite, ChatGPT souffre d’hallucinations. Il invente des informations et il n’y a aucune indication qu’il est en train de fabuler.

Enfin, les systèmes actuels souffrent de problèmes de composition. Ils sont en effet incapables de comprendre un tout sur base de ses parties. Les techniques d’apprentissage en profondeur d’aujourd’hui ne sont pas en mesure de traiter des connaissances abstraites.

« Lorsque l’on parle d’IA générale, on parle de systemes limités par la réalité. ChatGPT ne l’est pas. »

Désinformation

Contrairement à d’autres experts, Gary Marcus pense que ChatGPT ne représente pas une menace directe pour Google. Le chercheur explique qu’avec Google, l’utilisateur sait que certains résultats de recherche peuvent contenir des erreurs. Toutefois, il est possible d’évaluer ces résultats.

Avec ChatGPT, les résultats de recherche ressemblent davantage à une page de Wikipedia. Et dans ce cas, on sait qu’une partie des résultats sera erroné. Cependant, ChatGPT ne laisse pas à l’utilisateur la possibilité d’évaluer ces résultats. Au contraire, des réponses toutes faites lui sont servies, précise Marcus.

Par ailleurs, cette IA inclut énormément de désinformation et de données fausses directement.

« Ma plus grande inquiétude est que les bots de propagande utilisent ces outils pour générer de la désinformation. Nous pourrions aboutir bientôt à un monde dans lequel les gens ne sauront plus que croire », avertit Marcus.

Des centaines de chercheurs ont expliqué qu’il pourrait s’agir d’un puissant outil de désinformation. Une seule personne, Yann LeCun ( vice-président et Chief AI Scientist de Meta), expert de renom en IA, a affirmé le contraire.

Selon lui, ChatGPT aura pas d’impact négatif.

« S’il a raison, tant mieux. Par contre, s’il se trompe, il n’y aucun moyen d’eviter ce choc. Il s’agit d’un processus autocratique qui peut affecter la vie de milliards de personnes, donc non, je ne pense pas que ChatGPT soit un bon système », conclut Marcus.