Les agents conversationnels dévoilent continuellement des fake news

Récemment, une équipe de chercheurs du MIT a dévoilé une avancée significative dans le domaine de l’apprentissage automatique utilisant la lumière comme base. Cette percée technologique ouvre la voie à la création potentielle d’intelligences artificielles considérablement plus puissantes, capables d’atteindre des performances 25 fois supérieures tout en étant 100 fois plus écoénergétiques que celles employées dans ChatGPT.

Triage et discernements impossibles

L’exploitation complète de cette avancée pourrait éventuellement conférer à nos smartphones des capacités comparables à celles des centres de traitement de données. Néanmoins, cette percée engendre une préoccupation majeure : la fiabilité constante des agents de conversation.

NewsGuard a soulevé l’observation que les agents conversationnels semblent éprouver des difficultés à trier et à discerner les informations, ainsi qu’à exercer la prudence nécessaire dans leurs interactions.

À l’approche d’une consultation sur la confiance et la sécurité en relation avec les grands modèles d’intelligence artificielle, organisée par la Maison Blanche, la start-up NewsGuard, spécialisée dans la lutte contre la désinformation, a soumis à des tests rigoureux deux des outils d’IA générative les plus en vue : ChatGPT et Google Bard. Les conclusions de cette étude indiquent la nécessité d’apporter des améliorations aux deux agents conversationnels en ce qui concerne la manière dont ils communiquent les informations.

Les agents conversationnels peuvent relayer de fake news

D’après les conclusions de NewsGuard, tant ChatGPT que Google Bard persistent à diffuser des informations erronées concernant des sujets d’actualité. Pour parvenir à ces constatations, l’entreprise a mené un essai dans lequel les deux outils ont été mis à l’épreuve pour rédiger de brefs articles portant sur cent théories largement discréditées par les médias. L’objectif était d’évaluer la capacité des agents conversationnels à filtrer les informations ou du moins à exercer une certaine prudence. Les résultats obtenus à partir de cette expérimentation sont préoccupants : dans 98 % des situations, ChatGPT a généré des informations incorrectes, tandis que Google Bard l’a fait dans 80 % des cas.

De plus, la société a remarqué que ChatGPT semble se révéler encore plus « persuasif et insidieux que Bard ». Selon le contexte donné, l’IA générative de Google a été en mesure d’incorporer des éléments contextuels dans ses réponses ou de citer ses sources, alors que son concurrent a généré des réponses « rigides et factuellement inexactes ». La préoccupation réside dans le fait que les sources utilisées par Bard sont parfois connues pour délibérément propager de fausses informations.

Ainsi, NewsGuard exprime des préoccupations quant à la possibilité que les textes produits par ChatGPT et Bard, malgré leur caractère inexact, puissent être suffisamment convaincants pour être « exploités par des éléments malveillants pour diffuser de manière étendue des informations erronées ».

Pas de progrès effectués lors des six derniers mois

De manière encore plus inquiétante, la startup ne discerne aucun signe d’avancement sur ce point crucial, à un moment où l’utilisation des agents conversationnels gagne en popularité. Durant les mois de mars et d’avril, NewsGuard avait effectué une évaluation similaire et avait abouti à des résultats qui se ressemblaient. À cette période, ChatGPT produisait des énoncés faux et trompeurs à hauteur de 100 %, tandis que Bard diffusait des informations incorrectes dans 76 % des situations. L’entreprise exprime son mécontentement en indiquant que malgré l’importance accordée à la sécurité et à la précision de ces modèles d’intelligence artificielle, aucun progrès n’a été constaté durant les six derniers mois.

Bard et ChatGPT ont un taux d’émission d’informations erronées supérieur à 80 %. En mai, OpenAI avait pourtant annoncé dans un article de blog avoir amélioré de 40 % « l’exactitude factuelle de son modèle GPT-4 », grâce aux retours de ses utilisateurs.

Google, qui précise sur la page d’accueil que « Bard est une expérience et peut fournir des réponses incorrectes ou inappropriées », compte également sur les commentaires de ses utilisateurs pour perfectionner son outil.