Il faut détruire les prisons algorithmiques
Aux États-Unis, les algorithmes emprisonnent les plus pauvres dans la misère. La professeur de droit Gabriele Gilman se démène pour les libérer.
∎ Michele Gilman est avocat et professeur de droit à Baltimore, l’une des villes les plus pauvres et violentes des États-Unis. Depuis plus de vingt ans, elle défend des individus démunis contre les entités publiques et privées qui les empêchent de trouver une logement, un emploi, une formation et parfois même des soins. Selon ses dires, les algorithmes sont de plus en plus responsables de ces privations, au point de maintenir de nombreux malheureux dans la pauvreté et l’isolation.
Le piège se referme vite. Une formule mathématique analyse toutes les données disponibles à votre sujet, de votre activité sur les réseaux sociaux aux archives publiques, et vous attribue un score que les assureurs, bailleurs, employeurs et tant d’autres entités toutes-puissantes consulteront avant de vous octroyer quoi que ce soit. Si vous peinez à rembourser vos crédits ou que vous avez déjà été condamné en justice, votre score sera mauvais et vous n’obtiendrez rien.
Plombée par les algorithmes, votre vie stagne ou dégringole. Vous devez faire appel aux services sociaux. Ceux-ci traitent votre dossier aussi vite que possible avec de nouveaux algorithmes, aussi imparfaits que les précédents, et toutes vos demandes sont rejetées. À cause de leurs calculs, vous pouvez même finir accusé injustement de fraude. Quelques formules mathématiques ont ruiné votre vie et vous ne pouvez rien faire.
Dans son rapport Poverty Lawgorithms, Michele Gilman tente de tracer les contours de ces prisons algorithmiques et de fournir des armes aux avocats qui tentent de défendre ceux qu’elles retiennent dans la misère. Boîte Noire revient avec elle sur cet angoissante réalité.
∎ Quelle est la relation entre algorithmes et pauvreté aux États-Unis ?
Michele Gilman : Je suis avocate et responsable d’une clinique juridique. De mon point de vue de praticienne du droit, c’est une question de justice économique. Le rapport Poverty Lawgorithms identifie la manière dont diverses technologies basées sur la data font du mal aux individus les plus pauvres. De par leur fonctionnement, ces algorithmes les empêchent de trouver la stabilité financière mais aussi la mobilité sociale, notamment en les empêchant de trouver une maison ou un emploi. Prenons l’exemple des enquêtes sur les locataires potentiels. Ma situation financière est bonne, ma cote de crédit également. Mais pour mes clients, qui louent des logements instables, ont déjà été expulsés ou ont un casier judiciaire, toute analyse peut être lourde de conséquences.
∎ Comment avez-vous découvert ce problème ?
Je représente des individus pauvres à Baltimore depuis plus de vingt ans. Quand j’ai commencé, je m’intéressais aux questions de vie privée. Mais ces questions concernaient plutôt des cas où le gouvernement local souhaitait effectuer des tests toxicologiques sur mes clients ou leur implanter des dispositifs contraceptifs. Ces dynamiques émergeaient de personne à personne, du client au travailleur social. Ces fonctionnaires travaillaient déjà sur des ordinateurs, mais ces machines ne prenaient pas de décisions. Et puis, avec l’arrivée de l’ère numérique, j’ai vu que les ordinateurs prenaient de plus en plus de décisions à la place des travailleurs sociaux. La nature et les mécanismes des atteintes à la vie privée changeaient sous mes yeux. Et soudain, j’ai pris conscience que cela se produisait aussi dans mes dossiers commerciaux et immobiliers, même avec des bailleurs privés.
∎ Ce problème touche-t-il seulement les personnes démunies ?
Nous savons tous que nos données sont récoltées et traitées en permanence. Quand je cherche une paire de chaussures sur Amazon, des publicités pour des chaussures vont me poursuivre toute la journée sur Internet. C’est extrêmement irritant et un peu glauque, mais… Peu importe ! Je continue ma vie. Mais les publicités qui suivent mes clients vantent des produits financiers prédatoires, des prêts sur salaire, des universités à but lucratif… L’écosystème de ciblage dans lequel ils évoluent est différent et ses dommages sont plus concrets que ceux que j’ai pu observer dans des familles de classe moyenne. C’est une affaire d’enjeux et de conséquences. Nous sommes tous bloqués dans cet écosystème, mais les répercussions pour les gens pauvres sont bien plus importantes.
∎ Poverty Lawgorithms se présente comme un guide à l’usage des avocats. Ils ne sont pas au courant de la situation ?
Non ! Les avocats qui travaillent avec des gens pauvres ne sont pas vraiment renseignés sur ce sujet. Le guide est conçu pour les aider à détecter ces problèmes et déployer une stratégie pour les résoudre. Le client ne débarque pas en disant : « J’ai été lésé algorithmiquement ! » Il dit plutôt : « Je cherche un logement et tout le monde refuse mon dossier, qu’est-ce qui se passe ? » Il ne savent pas non plus que ces problèmes viennent d’un algorithme. La plupart de ces dommages sont invisibles car ces systèmes travaillent dans l’ombre. Pour être un avocat compétent, ce qui est une obligation éthique, vous devez comprendre au moins partiellement la manière dont ces algorithmes fonctionnent. Pas besoin de savoir programmer un ordinateur ou de pouvoir lire du code, mais vous devez savoir comment ces formules opèrent et comment se confronter à elles directement.
∎ Quand on connaît un peu les algorithmes, on arrive vite à « sentir » leur empreinte dans diverses situations…
Absolument ! Mais vous devez en savoir assez pour être capable de ressentir cette sensation étrange. Les avocats pénalistes américains sont un peu plus au courant car leurs parquets utilisent des algorithmes pour fixer les cautions et explorer des sentences. Mais pour les avocats comme moi, qui se concentrent sur des besoins essentiels comme le logement, la consommation, la stabilité familiale… Nous cavalons derrière. Nous exerçons dans des silos tellement différents que nous ne pouvons pas percevoir de façon holistique comment un client peut évoluer au travers de plusieurs toiles algorithmiques simultanément, et en souffrir.
∎ Comment les algorithmes ont-ils pu pénétrer si profondément les institutions américaines ?
Les entreprises qui créent ces algorithmes savent qu’elles sont assises sur une mine d’or. Elles sont à la recherche de nouveaux marchés en permanence. De plus, le système judiciaire et les agences gouvernementales sont sous pression. Ils doivent fournir des services à moindre frais avec la meilleure efficacité possible, ce qui fait d’eux un marché idéal. Bien sûr, ces systèmes peuvent être bénéfiques ! Mais quand ils sont achetés librement par des organismes qui ne disposent pas de l’expertise interne pour les comprendre, les surveiller ou les évaluer, des désastres se produisent. Nous avons eu des cas horribles aux États-Unis. Des milliers de gens ont été expulsés de programmes, accusés injustement de fraude… Quand ces modèles algorithmiques ne sont pas conçus, contrôlés et surveillés avec rigueur, des choses graves peuvent se produire.
∎ La porosité entre les milieux publics et privés américains est-elle si importante ?
Je pense que c’est un phénomène qui a émergé avec la facilitation de la récolte de données. Aux États-Unis, les décisions de justice et les archives civiles sont ouvertes depuis longtemps du fait de notre premier amendement. Mais par le passé, quand vous vouliez vous renseigner sur un client, vous deviez vous rendre au palais de justice, fouiller dans les dossiers… C’était prohibitif. [Rires] Aujourd’hui, les entreprises peuvent récupérer ces données sur le web, les emballer dans un rapport et les revendre. Pourquoi se priver ? Tout est public ! L’avènement des données ouvertes a fait une grosse différence.
∎ Pourtant, l’open data passe souvent pour une bonne chose…
L’open data est important car nous voulons de la transparence et savoir comment différentes politiques influencent différentes communautés. Malheureusement, c’est une mesure à double tranchant, car elle peut également être utilisée pour dresser le profil numérique d’un individu, le cibler, le surveiller, l’exclure… C’est un équilibre précaire. Les programmes d’open data doivent œuvrer à une meilleure anonymisation des données. De cette façon, nous pourrons mieux comprendre la démographie sociale et les conséquences de certaines politiques, tout en empêchant l’utilisation de ces données à des fins néfastes.
∎ Comment ces algorithmes sont-ils perçus dans le milieu judiciaire ?
Les algorithmes ne sont pas beaucoup utilisés par les juges dans la prise de décision. Ce sont plutôt les gens qui ont été emportés par les algorithmes qui finissent devant un juge. Malheureusement, certains magistrats ne comprennent pas que les algorithmes peuvent se tromper. Ils ne savent pas que ces formules contiennent les erreurs et les préjugés de leurs concepteurs, les êtres humains. Certains pensent presque que les ordinateurs possèdent une objectivité quasi-magique : « Les ordinateurs ont toujours raison ! » Dans certains cas, on découvre après la fin de la procédure que les algorithmes impliqués avaient affreusement tort à cause de données biaisées ou d’erreurs de conception. Mais quand le juge ne veut pas entendre ce que vous avez à dire sur eux, vous êtes coincé.
∎ Les avocats disposent-ils des armes nécessaires pour contrer ces algorithmes ?
Pas du tout. C’est extrêmement frustrant et ça aboutit à des batailles judiciaires au cas par cas, fatigantes et coûteuses, au sujet de ce que les entreprises doivent révéler. Pendant une audience pour une affaire administrative, j’ai interrogé un témoin qui ne pouvait pas répondre à la moindre question sur l’algorithme impliqué dans le dossier. Parce que c’était une infirmière ! Mais quand nous sommes remontés jusqu’à l’entreprise qui avait conçu ce système, elle nous a déboutés en invoquant le secret industriel. Nous devrions disposer de lois qui établissent un standard minimum de transparence, tout en protégeant la nature propriétaire de ces programmes.
∎ Pourquoi personne n’a rien fait plus tôt ?
Maintenant, tout le monde pense que le squelette est sorti du placard et que nous ne pouvons pas faire demi-tour. Mais nous pouvons et nous choisissons juste de ne pas le faire. Il faut sensibiliser. On se dit que la pauvreté vient du manque de nourriture, de l’absence de travail… Désormais, il faut accepter que les algorithmes sont un facteur de pauvreté, qu’ils retiennent les gens de s’élever socialement de façon parfois très pernicieuse. Échapper aux prisons algorithmiques est extrêmement compliqué. C’est tellement déprimant.
∎ Quelles solutions pourrions-nous envisager ?
Nous parlons beaucoup de justice, de responsabilité, de transparence… Et de la manière dont nous pourrions rendre les algorithmes meilleurs. Mais nous ne parlons pas des cas dans lesquels les algorithmes devraient être tout bonnement interdits. Toutes les lois du monde ne résoudront pas certains des problèmes qui concernent les technologies de reconnaissance faciale. Elles doivent juste être interdites. Toute la transparence et les régulations du monde ne mettront pas un terme à ces affaires de publicités ciblées. Elles doivent juste être interdites. Nous ne pouvons pas nous dire : « C’est inévitable, essayons de bidouiller. » Nous devons établir des espaces dans lesquels ces systèmes ne pourront pas exercer leur emprise. ∎
Boîte Noire est la newsletter hebdomadaire sur l’intelligence artificielle de Sébastien Wesolowski. Inscrivez-vous par ici : http://eepurl.com/hivYvT
