Les fausses nouvelles générées par l’IA peuvent aussi tromper les experts

Si vous êtes adeptes des réseaux sociaux tels que Facebook et Twitter, vous avez peut-être été confronté à des avertissements sur des publications. Ces avertissements mettent en garde les utilisateurs contre la présence de potentielles fausses nouvelles et de désinformation. Jusqu’à présent, la grande majorité de ces informations erronées, faisant l’objet d’un signalement ou non, ne concernait que le grand public.

Toutefois, des chercheurs de l’Université du Maryland proposent d’imaginer un scénario où la diffusion des fausses nouvelles se répand à d’autres domaines tels que les secteurs de la cybersécurité, de la sécurité et de la santé.

Désinformation au sein de la communauté scientifique

De nombreuses voix s’inquiètent dorénavant de la diffusion de fausses nouvelles dans des domaines critiques. Ces préoccupations se doivent à la présence de préjugés et biais courants dans des publications de littérature scientifique et, ce même au sein d’articles scientifiques faisant l’objet d’une évaluation par des pairs.

On assiste également à la diffusion de désinformation dans la communauté scientifique. Le site a ainsi découvert que des modèles d’intelligence artificielle sont capables de générer des fausses informations suffisamment convaincantes pour tromper des experts en médecine ou en défense.

Généralement, la désinformation en ligne cherche à ternir la réputation d’entreprises ou de personnalités publiques. Cependant, la propagation de désinformation au sein des communautés d’experts peut être très problématique. Elle peut en effet mener à la propagation de recommandations médicales incorrectes dans le champ de la médecine, mais également parmi les patients.  Et dans ce cas, les fausses nouvelles sont susceptibles de mettre des vies en danger, expliquent les chercheurs.

Pour arriver à cette conclusion, les scientifiques ont étudié les répercussions de la diffusion de désinformation dans les communautés de la médecine et de la cybersécurité. Ils ont pour cela utilisé des modèles d’IA appelés transformateurs pour générer des fausses nouvelles au sujet de la cybersécurité et des études médicales sur le coronavirus. Les scientifiques ont ensuite présenté cette désinformation aux experts des disciplines en question dans le cadre de tests. Ils ont découvert que cette fausse information créée par l’IA est susceptible de tromper les experts.

Transformateurs

L’intelligence artificielle permet aux informaticiens de procéder à une vérification rapide des volumes importants de désinformation. Il y a en effet trop de désinformation à détecter sans l’aide de la technologie. Bien que l’IA aide les personnes à détecter la désinformation, depuis quelques années, elle peut ironiquement être utilisée pour en produire.

Les transformateurs comme BERT de Google et GPT d’OpenAI, ont recours au traitement du langage naturel pour la compréhension d’un texte. C’est ainsi qu’ils produisent des traductions, des interprétations et des résumés. Ces modèles de langage ont aidé Google et d’autres sociétés technologiques pour l’optimisation de leurs moteurs de recherche. Ils ont également aidé le grand public pour des problèmes courants tels que la lutte contre le syndrome de la page blanche.

Les transformateurs peuvent être utilisés pour des objectifs néfastes. Des plateformes sociales telles que Twitter et Facebook ont déjà dû faire face à de la désinformation créée par une intelligence artificielle.

Désinformation

Les chercheurs expliquent qu’il existe également un risque de désinformation dans les champs de la médecine et de la cybersécurité. Pour exemplifier cette problématique, ils ont procédé à l’affinement du transformateur GPT-2 pour des sources dont la discussion porte sur les failles en cybersécurité et concerne également les informations sur des attaques.

Les scientifiques ont ensuite trompé le modèle d’IA via une phrase ou expression d’un échantillon réel d’informations sur les cybermenaces. Le reste de la description de la menace a ensuite été généré par le modèle. Cette description a ensuite fait l’objet d’une évaluation par les chasseurs de cybermenaces. Ces agents passent au crible une kyrielle d’informations sur les menaces informatiques. Ils se chargent de la lecture des descriptions pour l’identification d’attaques potentielles. Ils peuvent ensuite ajuster les défenses de leurs systèmes.

Les chercheurs ont déclaré qu’ils avaient été surpris par les résultats. Les exemples créés par cette désinformation sur la cybersécurité ont pu tromper les personnes employées pour la chasse aux cybermenaces. Les scientifiques ont ensuite appliqué ce scénario dans un contexte d’informations sur les cybermenaces pesant sur l’industrie du transport aérien.

Cette information frauduleuse intègrait des données erronées sur les cyberattaques menées envers des compagnies aériennes. Elle comprenait également des informations sensibles de vol en temps réel. Cette désinformation pourrait alors empêcher les experts en cybersécurité de s’attaquer aux failles légitimes de leurs systèmes en détournant leur attention vers de fausses déficiences de logiciels. La compagnie aérienne peut alors faire face à une attaque importante qui exploite une faille réelle qui n’a pas été résolue.

COVID-19

Ce type de modèle basé sur un transformateur peut provoquer la propagation d’informations dans le champ médical. Il est ainsi susceptible de tromper les experts médicaux. Durant la pandémie de coronavirus, plusieurs prépublications n’ayant pas encore fait l’objet d’une évaluation stricte et rigoureuse sont constamment diffusées sur des sites médicaux. Par la suite, elles sont diffusées dans la presse et utilisées pour prendre des décisions en matière de santé publique.

Les scientifiques ont ensuite imaginé un autre scénario. Ce contexte a été généré par le modèle d’IA suite à un affinement du GPT-2 par défaut pour certaines publications relatives au coronavirus.

Le modèle a alors pu produire des phrases complètes et des résumés décrivant de prétendus effets secondaires suite aux vaccinations.

Il s’agit, selon les chercheurs, d’une situation inquiétante pour le secteur de la médecine. Le secteur de la santé s’appuie en effet systématiquement sur des informations de la prise de décisions. Il existe également un risque pour le grand public. Ce dernier se fie régulièrement aux nouvelles publiques lorsqu’il souhaite se renseigner en matière de santé.

Par conséquent, si cette désinformation est considérée comme exacte, elle est susceptible de menacer des vies. Dans ce type de contexte, les scientifiques peuvent en effet détourner leurs efforts lors de recherches biomédicales.

Course aux armements

À cause de cette désinformation des transformateurs, les champs de la médecine et de la cybersécurité rechignent à employer l’IA pour la lutte contre le surplus d’informations.

On assiste par exemple au développement de systèmes automatisés pour l’extraction de données sur les cybermenaces. Ces informations sont ensuite utilisées pour former les systèmes automatisés à la reconnaissance d’attaques potentielles. Ainsi, si ces systèmes traitent les fausses informations de cybersécurité, ils seront moins efficaces pour la détection de menaces réelles.

On pourrait ainsi déboucher sur une course aux armements en matière de désinformation liée à une IA. Les personnes diffusant de la désinformation développent alors de meilleures techniques de création de fausses nouvelles en réponse à des moyens efficaces pour les reconnaître.

Dans plusieurs domaines, les scientifiques s’attachent en permanence à l’étude des méthodes de détection de la désinformation. Comprendre comment générer une désinformation automatique permet de comprendre comment la reconnaître.

Les nouvelles générées automatiquement contiennent souvent des erreurs grammaticales précises.  Les systèmes peuvent être entraînés à les détecter. Ils peuvent également corréler les informations issues de plusieurs sources. Ces systèmes peuvent aussi procéder à l’identification des informations manquant de soutien substantiel d’autres sources.

Finalement, tout le monde devrait se demander si des informations sont dignes de confiance. Il faut que le public soit conscient que les hackers se servent de la crédulité et de l’ignorance des gens. C’est principalement le cas lorsque des informations ne sont pas issues de sources reconnues ou d’études scientifiques qui n’ont pas fait l’objet d’une publication.