CaliberAI tient votre langue pour vous

Un procès en diffamation peut aisément ruiner une rédaction. CaliberAI détecte les phrases dangereuses pour éviter ça.

∎ Tous les grands journalistes finissent par être poursuivis pour diffamation. En général, une grande rédaction aux grandes poches paie de grands avocats pour que cette rançon du scandale disparaisse. Cependant, quand un petit journaliste finit au tribunal pour avoir écrit une bêtise, sa petite rédaction peut mourir des frais de justice. Le journaliste et chercheur en machine learning Neil Brady a conçu CaliberAI pour empêcher de telles hémorragies en détectant les phrases potentiellement diffamatoires ou haineuses au moment même de leur rédaction. Il a répondu à nos questions en compagnie de Gul Kamisli, ingénieure en machine learning.

∎ Bonjour Neil. Il paraît que vous avez formé CaliberAI avec votre père…

Neil Brady : Absolument. Mon père, Conor Brady, a été journaliste toute sa vie et rédacteur en chef du Irish Times pendant 15 ans. Il a pris sa retraite juste avant que le web ne vienne révolutionner le journalisme… Et il a été poursuivi quelques fois pour diffamation, ce qui a vraisemblablement joué un rôle important dans la création de notre entreprise.

∎ Quelle est la mission de CaliberAI ?

CaliberAI est un peu comme un correcteur orthographique pour la diffamation et les propos nocifs ou haineux. Il détecte les passages qui présentent un risque légal ou humain et les signale à ses utilisateurs. Par contre, il ne censure rien. Si vous voulez publier un article violemment raciste ou antisémite, CaliberAI ne pourra pas vous en empêcher. Notre but est simplement d’aider les rédactions qui manquent de moyens.

∎ Comment CaliberAI est-il né ?

Mon père et moi avons imaginé CaliberAI en 2016, peu après le Brexit et la victoire de Donald Trump. Pour mon père, ces événements étaient liés à la décrépitude des organismes d’information traditionnels. Par manque de journalistes, de secrétaires de rédaction et de fact-checkers, le contrôle qualité semblait inexistant dans certains périodiques papier. Je constatais la même chose sur les réseaux sociaux, où n’importe qui peut publier n’importe quoi sans risque légal. Nous avons donc décidé de créer un éditeur intelligent qui ferait le travail d’un éditeur humain.

∎ La diffamation est un concept légal assez changeant. Comment faites-vous pour suivre ?

La définition de la diffamation est assez similaire de juridiction en juridiction : c’est une affirmation qui endommage la réputation d’une personne physique ou morale. De plus, la plupart des contenus diffamatoires se ressemblent : ils évoquent des pots-de-vin, des crimes, des comportements intoxiqués ou non-professionnels…

∎ Et pour le langage nocif ou haineux ?

Les choses sont plus compliquées. Nous avons étudié les documents dans lesquels les Nations Unies et l’Union européenne donnent leur définition de ce genre de langage et nous avons dressé quinze catégories sur lesquelles la plupart des gens sont d’accord : racisme, antisémitisme, islamophobie, sexisme, transphobie… Cependant, tout est question de point de vue. Pour Perspective, l’outil de lutte contre la « toxicité en ligne » de Google, la phrase « You are a dickhead » est haineuse. Pour nous, cela ressemble plus à une attaque verbale. Nous devons donc rester vigilants en permanence.

∎ Les grandes plateformes comme Google et Facebook jouent un rôle important dans la définition du langage haineux ou nocif. Vous suivez leurs efforts ?

Pas vraiment. Nous préférons les documents légaux. Cependant, beaucoup des mots qui figurent sur la « liste interdite » de Facebook apparaissent aussi dans nos listes. Reste que les efforts anti-haine des plateformes sociales ont été largement vains ces cinq dernières années. Le Parlement européen parle de ces questions en ce moment-même dans ses débats autour du Digital Services Act. Ce texte de loi pourrait imposer une forte responsabilité légale aux entreprises comme Facebook. De ce fait, nous surveillons la loi plutôt que les entreprises.

∎ Au fait, quel genre de modèle utilise CaliberAI ?

Gul Kamisli : Notre modèle principal est un réseau de neurones récurrents particulièrement adapté au traitement des données séquentielles, dans notre cas du texte. Il est doté d’un mécanisme d’attention qui lui permet de se « concentrer » sur des éléments précis des données, mais aussi de nous expliquer comment il prend ses décisions. De cette façon, nous pouvons comprendre et surveiller les risques et les biais.

∎ CaliberAI semble osciller entre légalité et moralité. Comment gérez-vous ça ?

Trouver un équilibre entre liberté et censure est ardu. C’est la raison pour laquelle CaliberAI ne tranche pas pour ses utilisateurs. Il se contente de signaler les phrases qui pourraient coûter cher aux journalistes, diffamatoires ou pas. Il y a trois ans, un journaliste irlandais a affirmé dans un article sur les inégalités salariales au sein de la BBC que certaines des femmes les mieux payées de la chaîne étaient juives. Les autorités juives du pays ont défendu ce journaliste mais les accusations d’antisémitisme ont durablement abîmé sa réputation et celle du journal qui a publié son papier.

∎ Comment avez-vous entraîné votre système ?

Nous avons dû construire notre propre base de données sur la diffamation. Connor Brady a écrit des phrases diffamatoires qui représentent notre « gold standard ». Ensuite, nous avons embauché des annotateurs pour écrire des phrases similaires et les étiqueter comme subjectives ou taboues, entre autres. Ça n’a pas été facile. Nous nous sommes soutenus mutuellement et nous avons proposé une aide psychologique à nos employés. Nous aurions aimé confier cette tâche à GPT-3 mais ses productions manquaient de qualité à notre goût. Nous disposons désormais de 70 000 phrases classées en trois catégories : nocives, diffamatoires ou neutres. Nos premiers clients devraient nous aider à alimenter cette base de données.

∎ Comment vos modèles composent-ils avec le sarcasme ?

Gul Kamisli : Le sarcasme ne véhicule pas toujours des discours diffamants ou haineux, même s’il peut contribuer à leur expression. Nous contrôlons cette possibilité avec nos données et nos modèles d’intelligence artificielle. Nous créons nos données en nous basant sur des structures linguistiques et des nuances du langage qui correspondent aux lois et à la jurisprudence. Nous construisons aussi nos modèles sur la base des techniques du traitement du langage naturel, auxquelles nous ajoutons de nouvelles fonctionnalités comme la détection des sentiments positifs et négatifs dans les textes. Cela nous permet de détecter la diffamation plus précisément.

∎ CaliberAI semble avoir les moyens de devenir une plateforme de modération automatique. C’est dans vos plans ?

Je ne crois pas que l’automatisation totale soit possible à l’heure actuelle. Vous aurez toujours besoin de quelques humains dans la boucle pour prendre des décisions optimales. Je ne sais pas ce que notre technologie peut donner sur le long terme. Nous espérons obtenir six à dix clients avant 2022 : des plateformes sociales, des think tanks, des entreprises de relations publiques… CaliberAI pourrait être un bon outil de gestion de la réputation numérique. Beaucoup de gens finissent crucifiés sur Internet pour des bêtises qu’ils ont tweetées il y a dix ans. Nous pourrions neutraliser ça, mais nous ne voulons pas devenir une machine à exhumer les saletés. ∎

Boîte Noire est la newsletter hebdomadaire sur l’intelligence artificielle de Sébastien Wesolowski. Inscrivez-vous par ici : http://eepurl.com/hivYvT