Des experts en IA plaident pour la fin des algorithmes de prédiction du crime

Une coalition de chercheurs en intelligence artificielle, de scientifiques et de sociologues a lancé un appel au monde universitaire pour qu’il cesse de publier des études qui prétendent prédire la criminalité sur base d’algorithmes formés à partir de données telles que les analyses faciales et les statistiques criminelles, rapporte le site technologique The Verge. 

Un des reproches formulés à l’encontre des systèmes de police prédictive basé sur la reconnaissance faciale et l’apprentissage automatique est le fait que leurs algorithmes présentent de sérieux biais liés au genre et à la couleur de peau de la personne. Depuis un certain temps, plusieurs voix dénoncent en outre la misogynie et le racisme des logiciels d’intelligence artificielle.

Ignorance scientifique

Selon la Coalition for Critical Technology, une telle technologie relève non seulement de l’ignorance scientifique, mais perpétue également un cycle de préjugés contre les Afro-descendants. De nombreuses études montrent que le système judiciaire traite ces groupes de manière plus sévère, de sorte que tout logiciel formé à ces données amplifie et renforce tous les préjugés sociétaux et le racisme.

« Soyons clairs : il n’existe aucun moyen de développer un système qui puisse prédire ou identifier une « criminalité » qui n’ait pas de préjugés raciaux, parce que la catégorie de « criminalité » elle-même comporte des préjugés raciaux », écrit le groupe. « Les recherches de cette nature – et les prétentions à l’exactitude qui l’accompagnent – reposent sur l’hypothèse que les données relatives aux arrestations et condamnations pénales peuvent servir d’indicateurs fiables et neutres de l’activité criminelle sous-jacente. Pourtant, ces données sont loin d’être neutres. »

Springer

Cette lettre ouverte a été rédigée suite à l’annonce de la société d’édition Springler, responsable de la revue Nature, qui s’apprêtait à publier une étude sur les capacités des systèmes de reconnaissance faciale de prédire la criminalité. La lettre, signée par 1.700 experts, exhorte Springer à annuler la publication du document et d’autres éditeurs universitaires à s’abstenir de publier des travaux similaires à l’avenir.

« À une époque où la légitimité de l’État carcéral, et des services de police en particulier, est contestée pour des raisons fondamentales aux États-Unis, il y a une forte demande dans l’application des lois pour des recherches de cette nature », écrit le groupe. « La diffusion de cette étude par un éditeur majeur comme Springer représenterait une étape importante vers la légitimation et l’application de recherches démystifiées à plusieurs reprises et socialement nuisibles dans le monde réel. »

80% de précision

Dans l’étude en question, intitulée « A Deep Neural Network Model to Predict Criminality Using Image Processing », les chercheurs affirment avoir créé un système de reconnaissance faciale capable de prédire si quelqu’un va commettre un acte criminel avec 80 pour cent de précision et sans parti pris racial, selon un communiqué de presse qui a été supprimé. Les auteurs du document comprenaient un étudiant en doctorat et un ancien officier de police du NYPD, le service de police de la ville de New York.

En réponse à la lettre ouverte, Springer a déclaré qu’il ne publierait pas le document, indique le MIT Technology Review. « Le document auquel vous faites référence a été soumis à l’approbation d’une prochaine conférence dont Springer avait prévu de publier les débats », a déclaré la société. « Après un processus d’examen approfondi, le document a été rejeté. »

Pseudoscience du racisme scientifique

Cependant, cet incident n’est qu’un nouvel exemple d’une tendance du domaine de la science des données et de l’apprentissage automatique, où les chercheurs utilisent des données socialement contingentes pour essayer de prédire ou de classer un comportement humain complexe, explique The Verge.

En 2016, des chercheurs de l’Université Jiao Tong de Shanghai ont affirmé avoir créé un algorithme qui pourrait également prédire la criminalité en fonction des traits du visage. Cette étude vivement critiquée a finalement été réfutée. Des chercheurs de Google et de Princeton ont dans ce sens publié une longue réfutation avertissant que les chercheurs en IA revisitaient la pseudoscience de la physionomie. Cette discipline a été fondée au 19e siècle par Cesare Lombroso, qui prétendait pouvoir identifier les « criminels nés » en mesurant les dimensions de leur visage.

« Une fois mise en pratique, la pseudoscience de la physionomie devient la pseudoscience du racisme scientifique », écrivent les chercheurs. « Les développements rapides de l’intelligence artificielle et de l’apprentissage automatique ont permis au racisme scientifique d’entrer dans une nouvelle ère, dans laquelle les modèles d’apprentissage automatique incorporent des biais présents dans le comportement humain utilisé pour le développement de modèles. »

Les auteurs et signataires de la lettre appellent la communauté de l’intelligence artificielle à reconsidérer la façon dont elle évalue la « qualité » de son travail – en pensant non seulement à des mesures telles que l’exactitude et la précision, mais également à l’impact social qu’une telle technologie peut avoir sur le monde. « Si l’apprentissage automatique doit apporter le « bien social » présenté dans les propositions de subventions, les chercheurs de cet domaine doivent réfléchir activement aux structures de pouvoir (et aux oppressions qui en découlent) qui rendent leur travail possible », concluent les auteurs.