Éclaircissement : les vices de la reconnaissance faciale
Trois hommes ont déjà été arrêtés à tort sur les conseils d’un système de reconnaissance faciale. Tous avaient la peau noire.
∎ En février 2019, Nijeer Parks a passé dix jours en prison pour un crime qu’il n’avait pas commis : voler des friandises et tenter de renverser un policier aux abords d’un hôtel de Woodbridge, dans le New Jersey. En novembre 2019, il a été blanchi faute de preuves. Aujourd’hui, Nijeer Parks attaque en justice la police, le procureur et la ville de Woodbridge pour arrestation abusive, incarcération injustifiée et violation de ses droits civils. Sans système de reconnaissance faciale, rien de tout ceci ne serait arrivé.
Avant de prendre la fuite en manquant de renverser un policier, le véritable responsable du grabuge à Woodbridge a présenté un faux permis de conduire aux agents venus le contrôler. En faisant analyser la photographie d’identité de ce document officiel à un logiciel de reconnaissance faciale, la police du New Jersey a obtenu un nom, et donc un coupable tout désigné : Nijeer Parks, qui se trouvait pourtant à cinquante kilomètres de Woodbridge au moment du délit.
Aux États-Unis, c’est la troisième fois qu’un innocent est arrêté à tort par la faute d’un système de reconnaissance faciale. C’est aussi la troisième fois que cet innocent a la peau noire, ce qui rappelle crûment les limites des logiciels qui promettent de mettre des noms sur des visages. Cette semaine, Boîte Noire dresse la liste de ces limites. Ou de celles qui sont connues, au moins.
∎ Aucun système de reconnaissance faciale ne marche parfaitement. Pas même le plus avancé. « Si vous regardez les trois meilleures entreprises [du secteur], explique Rashida Richardson, directrice de la politique de recherche de l’AI Now Institute auprès de CBS, aucune ne décroche 100% de précision. » Certes, ces résultats dépassent les 90% et aucun système ne fonctionne parfaitement. Mais voulons-nous vraiment injecter une imperfection supplémentaire dans la police et la justice ?
∎ La reconnaissance faciale préfère la peau claire. Difficile de taxer une machine de « raciste » en soi tant ce comportement dépend de facteurs humains. Pourtant, il a été prouvé à maintes reprises que les systèmes de reconnaissance faciale fonctionnent « moins bien » pour les individus à la peau foncée. Dans une étude portant sur 189 algorithmes de ce genre, le National Institute of Standards and Technology révèle des écarts de précision de 20% à 30% en la défaveur des femmes noires comparé aux hommes blancs.
∎ La reconnaissance faciale dépend de données imparfaites. Les systèmes de reconnaissance faciale apprennent à remplir leur mission en « observant » des quantités phénoménales de données sous forme de portraits. Or, ces données d’entraînement sont régulièrement dénoncées comme la cause de leurs erreurs. Les spécialistes disent : « Garbage in, garbage out. » C’est d’abord une question de variété dans les images : pour apprendre à reconnaître correctement n’importe quel genre de visage, une machine doit être entraînée sur des visages aussi variés que possible. Et pour le moment, les systèmes de reconnaissance faciale sont entraînés sur des datasets trop peu variés. Ainsi, le célèbre dataset Labeled Faces in the Wild contient plus de 80% de portraits d’individus blancs.
∎ Les images elles-mêmes sont injustes. Avant même de passer dans la machine, les photographies trahissent les peaux foncées : elles sont moins découpées sur les clichées, moins nuancées. C’est que la photographie comme technique a été développée pour représenter au mieux les peaux blanches : dans les années 60, les photographes utilisaient un portrait de femme caucasienne pour calibrer les couleurs de leur appareil. Ce biais a traversé les décennies et empoisonne désormais les clichés numériques. « Toute personne noire qui a tenté de prendre un selfie dans un club peut vous dire que les appareils photos ne sont pas faits pour nous » écrit le journaliste Xavier Harding dans un article sur les techniques développées par la directrice de la photographie de la série Insecure pour flatter les peaux noires. Or, on sait depuis peu que des différences dans la qualité des images d’entraînement accroissent les inégalités dans les résultats.
∎ Les algorithmes sont peut-être coupables. « Tout ce que nous devons faire est de produire des datasets plus inclusifs et équilibrés pour entraîner les modèles, et tous les biais disparaîtront. » Cette affirmation est souvent formulée de-ci, de-là sous des formes diverses, mais il se pourrait que les algorithmes qui s’entraînent sur ces datasets aient eux aussi un problème. Certains algorithmes (désormais datés) ne peuvent entamer leur entraînement sans recevoir des indications humaines : un ingénieur doit leur « montrer » quels traits du visage ils doivent analyser, comme la forme des yeux ou de la bouche. Or, en sélectionnant ces traits selon sa propre appartenance, cet ingénieur pourrait introduire un biais dans la machine. Cela pourrait expliquer pourquoi les systèmes de reconnaissance faciale semblent mieux fonctionner sur les populations de leur région de conception.
∎ Les humains sont faillibles. Comment une créature imparfaite pourrait-elle produire un objet parfait ? En dépit du fait qu’ils se sont considérablement améliorés ces dernières années grâce au deep learning, les systèmes de reconnaissance faciale seront toujours limités car ils sont le fruit du travail des humains. Cette pirouette vaguement poétique ne doit pas faire oublier les conséquences potentiellement graves de ces limitations. Jay Stanley, analyste pour l’American Civil Liberties Union, évoque dans le New York Times « des vols ratés, de longs interrogatoires, des placements sur liste de surveillance, des moments tendus avec la police »… Et des arrestations abusives, bien sûr.
∎ Les humains sont mal intentionnés. Avec un peu d’indulgence, on pourrait souligner que l’arrestation de Nijeer Parks est l’aboutissement d’une série d’erreurs dénuées de mauvaises intentions : le système de reconnaissance faciale qui a tout déclenché n’a vraisemblablement pas été développé pour être raciste. Cependant, un peu partout dans le monde, ces algorithmes sont utilisés sciemment à des fins discriminatoires ou inquiétantes. Sur la demande du gouvernement chinois, Huawei a développé et testé (mais jamais déployé) un système qui identifie les Ouïgours. En Ouganda, un logiciel de la même entreprise aurait permis l’arrestation de manifestants anti-gouvernementaux qui auraient ensuite été torturés. Des membres d’une start-up californienne ont même utilisé leur propre solution de reconnaissance faciale pour harceler sexuellement leurs collègues. ∎
Boîte Noire est la newsletter hebdomadaire sur l’intelligence artificielle de Sébastien Wesolowski. Inscrivez-vous par ici : http://eepurl.com/hivYvT
