« Les machines sont aussi confuses que nous »

Sean McGregor et son équipe répertorient tous les incidents liés aux systèmes intelligents dans une base de données spéciale : l’Artificial Intelligence Incident Database.

∎ Le machine learning cause bien des problèmes aux êtres humains. Un chatbot raciste embarrasse une grosse entreprise. Une caméra intelligente fait enfermer un innocent. Une voiture autonome tue son conducteur. Pour éviter que ces cafouillages tantôt indolores, tantôt mortels ne se reproduisent, et peut-être même leur trouver une taxonomie, l’organisation Partnership on AI finance l’Artificial Intelligence Incident Database, une base de données qui répertorie toutes les galères causées par les systèmes intelligents. Boîte Noire rencontre le capitaine de cette initiative, le courageux Sean McGregor.

∎ Bonjour Sean. Qu’est-ce que l’Artificial Intelligence Incident Database ?

Sean McGregor : Dans beaucoup de domaines industriels, on garde une trace des moments où quelque chose tourne mal dans des bases de données. Dans l’aviation, par exemple, chaque fois qu’un avion se crashe ou qu’un propulseur tombe d’une aile, des gens le notent et font en sorte que ça ne se reproduise plus. L’Artificial Intelligence Incident Database (AIID) fait la même chose pour l’intelligence artificielle. On pourrait dire que c’est une collection de dommages infligés au monde réel par le machine learning. Nous devons développer une telle base de données car ces systèmes évoluent vite. Ils sont de plus en plus communs et complexes, certains sont développés par une entreprise et déployés par une autre…

∎ Comment l’AIID est-elle née ?

Tout a commencé il y a quelques années, lors de la première réunion du Safety critical working group du Partnership on AI. L’une des idées séminales de ce meeting concernait la création d’une taxonomie pour les incidents liés à l’intelligence artificielle. Ayant fait beaucoup d’observation des oiseaux sur mon temps libre, il me semblait ridicule de créer un système de classification sans collection d’espèces à laquelle l’appliquer. Je me suis donc porté volontaire, sans savoir que je signais pour des milliers d’heures de travail…

∎ Où en est cette taxonomie ?

Classifier les incidents du machine learning implique de prendre en compte une foule de points de vue différents : les technologistes vont se soucier des spécifications formelles d’un système et des sources « dures » des échecs quand les sociologues vont plutôt mesurer son impact sur les populations concernées. Il existe tout un univers de taxonomies entre ces deux extrêmes. Nous essayons de croiser toutes ces taxonomies selon le principe de compétition pour en dégager les plus utiles, les plus informatives, les plus rigoureusement appliquées, et développer un outil adapté au plus grand nombre d’individus et d’organisations possible.

∎ Comment définissez-vous un « système intelligent » ?

Ah, ce débat de pub éternel… Si nous pouvions encore aller au pub ! Chaque fois que nous faisons des progrès dans le domaine de l’intelligence artificielle, quelqu’un vient dire : « Ce n’est pas de l’intelligence artificielle mais un arbre de recherche ! » ou quelque chose de ce genre. Nous ne nous intéressons pas au côté technique de ce débat. Pour nous, les systèmes intelligents sont ceux qui peuvent prendre des décisions aux conséquences tangibles selon les éléments qui leur ont été fournis, comme des règles ou des percepts.

∎ Combien d’incidents avez-vous répertoriés pour le moment ?

Nous répertorions une centaine d’incidents au travers de 1200 rapports. Quand quelque chose se produit, beaucoup de gens écrivent à son sujet. Ces points de vue sont souvent divergents voire opposés. Nous ne voulons pas être des arbitres de la vérité, mais seulement permettre aux faits de se manifester en rassemblant tous ces témoignages. Après, quelques centaines d’incidents supplémentaires attendent dans mon « ingestion queue »… Nous devrions atteindre les 400 incidents avant la fin de l’année. Et malheureusement, le taux de croissance va probablement augmenter à mesure que les systèmes intelligents se multiplient dans le monde.

∎ Tous ces incidents indiquent-ils que les systèmes de machine learning sont trop jeunes pour être déployés ?

Je crois que chaque fois que quelque chose tourne mal, votre position par défaut devrait être : « Oui, ce système était prématuré. » Mais bien souvent, il était impossible de prévoir que quelque chose allait mal tourner… C’est la raison pour laquelle notre base de données est importante. La première fois que quelque chose se produit est plus pardonnable que la deuxième fois. Mais pour ma part, je suis optimiste vis-à-vis des systèmes intelligents. Je crois que leurs bénéfices dépassent largement leurs inconvénients, même si nous devons veiller à ce qu’ils soient développés de façon humaniste. Je crois aussi qu’une bonne partie des controverses autour de l’intelligence artificielle sont liées au fait que, pour un même processus, les êtres humains tolèrent mieux leurs propres échecs que ceux des machines.

∎ Bien souvent, les erreurs des machines sont d’abord celles des humains.

C’est la raison pour laquelle nous ne devons pas confier trop de pouvoir aux systèmes intelligents. Ils ne sont pas responsables de leurs propres faiblesses. Les responsables, ce sont les milliers de personnes qui les créent. Et nous devons nous assurer que cette responsabilité est assumée. Les professionnels du machine learning doivent ressentir le même niveau de responsabilité que les gens qui construisent des ponts, par exemple. L’informatique ne se pense pas encore selon un tel niveau de rigueur. Ce qui est malheureux, car nous allons construire de plus en plus de « ponts » pour des applications de sécurité, de société, d’égalité…

∎ Votre base de données contient des incidents mineurs et des accidents mortels. Comment définissez-vous un « incident » ?

Disons que le plus petit incident possible sur ce spectre serait le dommage à la réputation. Exemple : une entreprise développe un chatbot qui, lâché sur le web, finit par raconter des choses méchantes ou gênantes. Tant qu’un système intelligent est impliqué et que les conséquences sont tangibles et négatives, ça peut entrer dans notre base de données.

∎ Avez-vous été marqué par un incident en particulier ?

Marqué, non… Plutôt diverti. Il existe un robot de surveillance de l’espace public qui tombe toujours dans les pires galères. Avec sa forme un peu comique, il arpente le monde tant bien que mal et finit par mourir en tombant dans une fontaine, par exemple. Pour moi, c’est un excellent symbole de notre degré d’avancement dans le domaine de la recherche. Nous fabriquons ces machines qui se baladent maladroitement dans le monde, nous essayons de les aider à comprendre, à les guider… Mais elles sont aussi confuses que nous.

∎ Pensez-vous que la base de données puisse rassurer le public quant aux possibilités de l’intelligence artificielle ?

Il y a trois ou quatre ans, les notions du public vis-à-vis de notre position actuelle sur l’intelligence artificielle étaient extrêmement hyperboliques, genre super-intelligences et Odyssée de l’espace. En vérité, nous développons encore des systèmes assez restreints, tant dans les tâches qu’ils peuvent accomplir que dans les problèmes qu’ils peuvent créer. Mais le grand public doit comprendre que ces forces et ces faiblesses sont les descendantes directes des humains qui ont assemblé ces machines. Une fois, j’ai fait passer un entretien d’embauche à un candidat qui avait développé un système soi-disant capable de mesurer le « degré de psychopathie » des gens grâce à la reconnaissance faciale. Nous devons faire comprendre au public qu’une telle chose est impossible. Et puis, voulons-nous vivre dans une société où des robots prennent ce genre de décision ? ∎

Boîte Noire est la newsletter hebdomadaire sur l’intelligence artificielle de Sébastien Wesolowski. Inscrivez-vous par ici : http://eepurl.com/hivYvT