Algorithme, biaise-moi - Binge Audio

Titre : Algorithme, biaise-moi

Intervenants : Christophe Prieur - Thomas Rozec

Lieu : Programme B - Binge Audio

Date : juillet 2020

Durée : 18 min

Écoute le podcast

Licence de la transcription : Verbatim

Illustration :

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Transcrit : MO

Description

Bien qu’elles aient régulièrement fait la preuve de leur partialité, les machines, algorithmes et autres IA sont encore souvent présentés comme des outils neutres et objectifs. Sauf que, polémique après polémique, on s’aperçoit que cette technologie, de plus en plus présente dans nos vies, non seulement se nourrit des biais de la société, mais les amplifie parfois.
À quel moment ces biais se mettent en place entre conception et usage ? Pourquoi cette idée persistante de la machine détentrice d’une vérité objective ?

Transcription

Thomas Rozec : Salut. C’est Thomas Rozec.
À la fin du mois de juin, un fait divers américain a réveillé une question aussi cruciale qu’actuelle, celle de la place et de la potentielle nocivité des technologies de surveillance dans nos vies. L’histoire c’est la suivante, vous l’avez peut-être vu passer, un afro-américain, Robert Williams, s’est retrouvé 30 heures en détention après avoir été arrêté chez lui, devant ses enfants. Le motif : le logiciel de reconnaissance faciale utilisé par la police de Détroit, où il habite, l’avait identifié, avec la photo de son permis de conduire, comme étant responsable de plusieurs vols dans des bijouteries. Sauf que, vous me voyez venir, le logiciel s’est trompé. Heureusement, la police a fini par admettre l’erreur et à le relâcher sans que ça n’aille plus loin. Mais tout de même, voila qui remet à l’avant un problème pressant. Ces machines prétendument intelligentes, qui prennent un poids grandissant dans non existences, sont rongées par les mêmes biais racistes, sexistes, homophobes, qui grignotent nos sociétés. Pourquoi est-ce qu’on continue de faire semblant de l’ignorer ? Ce sera notre épisode du jour. Bienvenue dans programme B.

Voix off de Robert Williams :  ???

Thomas Rozec : Notre invité, pour en discuter, c’est Christophe Prieur. Il est docteur en algorithmes, sociologue du numérique et des données à Telecom Paris. J’ai commencé par lui demander comment se mettaient en place ces fameux biais au sein même des algorithmes.

Christophe Prieur : La technique qui fait que maintenant on parle énormément de l’intelligence artificielle depuis quelques années, c’est surtout avec le décollage des réseaux de neurones. Ce que font les réseaux de neurones c’est qu’ils s’appuient sur plein, plein d’exemples, des milliers, des millions d’exemples et, en s’appuyant sur ces exemples-là, ils s’adaptent. Donc on a plein, plein d’exemples de photos qui contiennent un visage et de photos qui ne contiennent pas un visage. Donc sur ces plein, plein d’exemples, les réseaux de neurones analysent les différentes composantes de l’image et, à la fin de cette analyse, ils regardent OK, est-ce que ce qu’on savait sur l’image, la connaissance à priori qu’on avait sur l’image c’est-à-dire il y a un visage ou il n’y a pas de visage, est-ce que oui ou est-ce que non ? Si c’est oui, le réseau de neurones revient en arrière sur les différentes analyses de cette image, sinon il adapte les paramètres d’analyse de cette image à partir des différents exemples qu’il a vu il fait une prédiction et, en fonction de la réponse qu’on lui indique, il dit mes prédictions étaient bonnes, n’étaient pas bonnes, etc.
Un des éléments les plus évidents qui sont mis en avant quand on parle des biais des algorithmes c’est la base d’apprentissage, c’est-à-dire sur quoi l’algorithme s’est appuyé. Ces milliers et millions d’exemple c’était quoi ? L’exemple classique c’est si l’algorithme s’appuie sur des visages de Blancs, il ne saura pas bien travailler sur des visages de Noirs parce que ça n’aura absolument rien d’avoir sur la manière dont il traite l’image.
Parmi les autres exemples qui ont été mis beaucoup en exergue sur cette question des algorithmes, prenons Parcoursup.

Plusieurs voix off : À trois semaines seulement de la rentrée, 66 000 bacheliers ne savent toujours pas où ils ont en septembre. Parcoursup devait pourtant être la réponse du gouvernement pour mieux orienter les lycéens vers l’université. Certains risquent même de se retrouver sans rien du tout dans quelques jours à peine.
En tout cas cette semaine la plateforme a connu de nombreux bugs avec notamment la saturation de serveurs et des candidats qui étaient placés tout en haut de la liste d’attente avant que la plateforme ne les descende tout en bas de la liste.
Ce n’est plus Parcoursup c’est Pôle Emploi sup ! Hou là.

Christophe Prieur : Ce n’est pas de l’intelligence, ce sont des procédures opérées par des humains et qui sont très classiques. Et simplement dans la manière dont Parcoursup avait été organisé on a explicité cette notion d’algorithme en disant « chaque établissement va appliquer un algorithme », ce qu’on appelle les algorithmes locaux. Chaque établissement a sa propre procédure. Quand on dit un algorithme, du coup, ça veut dire du coup qu’on explicite plein de paramètres alors que si on disait que c’est le responsable de la formation qui va regarder les dossiers, qui va dire oui, non, évidemment il a des critères, mais ces critères ne vont pas toujours être objectivés par quelque chose qui tient dans une description très formelle.
Le fait d’expliciter l’algorithme et de dire que c’est un ordinateur, c’est une procédure automatisée qui va appliquer le choix, le filtre, le classement, alors ça veut dire qu’on met des paramètres dedans. Les biais de la personne qui rentre les éléments dans l’algorithme vont être là.
Ça, ce sont les biais de la personne qui va fixer les paramètres. Mais en fait il y a aussi d’autres biais, ce sont les biais de la personne qui a conçu l’ensemble du système. C’est-à-dire que là où le responsable de la formation doit dire je vais entrer mes paramètres, en fait ce sont des cases dans un tableur ou des champs dans un formulaire. On n’a pas la main sur le formulaire, sur comment est constitué le formulaire. Et là, ce sont les biais des personnes qui ont conçu.
Donc il y a toute une chaîne de biais dans les algorithmes qui sont que les personnes qui conçoivent un système qui ne sont pas forcément les personnes qui vont l’utiliser. Parfois on dit « tiens c’est en fait ça ce sont les biais des personnes qui ont utilisé le système » alors qu’en fait, déjà au départ, il y avait les biais des personnes qui l’ont conçu. »

Thomas Rozec : Ce qui m’étonne, m’étonnera toujours c’est justement qu’on prête à la machine – je dis la machine au sens très large pour englober tous ces différents éléments techniques que peuvent être les algorithmes et l’intelligence artificielle qui sont des choses assez différentes finalement –, du fait qu’elle soit une machine, une forme de pensée objective, en tout cas de positionnement objectif qui fait qu’elle est censée être débarrassée des biais, comme si on évacuait le paramètre humain de l’histoire. On n’a pas envie de le voir.

Christophe Prieur : Oui. Je ne sais pas si vous avez remarqué, j’ai parlé d’ « objectiver » et pas « objectif » parce qu’il y a un malentendu sur ce terme objectif. Objectif c’est quoi ? Il y a un objet qui dit « voilà quelle est la mesure ». Cet objet peut venir avec énormément de biais. L’objectivité ne veut pas dire que c’est la vérité absolue.
J’ai une collègue qui travaille sur la gestion de crise avec les pouvoirs publics. C’était au moment de l’Euro, un truc de foot, elle était dans une cellule de crise et observait comment travaillaient les personnes qui supervisaient l’organisation, la sécurité, autour du Stade de France et dans la fameuse zone sur le Champ de Mars ou je ne sais pas quoi. Il y avait des capteurs pour mesurer combien de personnes. La Fan zone était limitée en nombre de personnes qu’on pouvait accepter. Là, on peut dire que c’est un critère objectif : les capteurs disent combien il y a des personnes, donc on s’appuie sur ce critère objectif. Ça faisait un quart d’heure que le truc avait commencé et les chiffres indiqués par les capteurs étaient complètement délirants par rapport à ce que disaient les personnes sur le terrain.
Le critère est objectif. Le critère objectif ce n’est pas le nombre de personnes présentes sur le terrain, ça c’est une espèce d’idéal qu’on essaye d’atteindre avec et des appareils de mesure et des gens sur le terrain et des procédures. Le critère objectif c’était le nombre indiqué par le capteur qui est positionné à tel endroit. Si le capteur déconne pour une raison ou une autre, le nombre objectif, la valeur objective, elle est tout simplement aberrante. Donc l’objectivité, c’est ça. L’objectivité c’est « je m’appuie sur des objets « et ces objets ont des biais dans leur conception, ils ont des problèmes dans leur fonctionnement, des problèmes qu’on connaît en général un peu, mais que très souvent on sous-estime. Très souvent, dans la conception des systèmes, il y a vraiment une sorte de croyance un petit peu trop optimiste dans la fiabilité des procédures et des systèmes qui sont mis en place

Thomas Rozec : À cette croyance s’joute, c’est ce que je disais juste avant, le fait qu’on exclut de fait, pensant la machine capable d’être objective, les paramètres humains, on les oublie.

Christophe Prieur : Oui, c’est ça. Les paramètres humains sont très souvent négligés. Un des sujets très chaud du moment sur la science des données, sur l’intelligence artificielle ce sont les biais des algorithmes. Les personnes qui travaillent sur les outils d’intelligence artificielle disent « regardez il y a des biais ». Là on dit « ce qu’il nous faut ce sont des informaticiens qui vont travailler sur les biais », alors qu’en fait les biais ,effectivement, ce sont des problèmes qui viennent de la manière dont les outils sont conçus, de la manière dont les outils sont utilisés, donc ce dont on a besoin c’est d’étudier les facteurs humains, c’est d’étudier les humains et étudier les humains c’est un métier, ça s’appelle la sociologie. Effectivement c’est assez marrant, c’est assez ironique. Il y a 15 ans le big data s’est développé, j’ai participé au développement du big data. On arrivait, on disait « regardez, on va pouvoir faire des trucs avec ces millions de données qu’on a, on va dire des choses sur les individus ». Les sociologues disaient « oui, mais il y a des biais avec ces trucs-là. » On disait « oui, c’est vrai qu’il va y avoir des biais, donc il faut faire attention ». Dix ans plus tard les informaticiens arrivent et disent « vous savez quoi, tous ces algos eh bien ils ont des biais et ne vous inquiétez pas, on est là, on va s’en occuper ». Donc il y a un truc un petit peu ironique dans ce mouvement-là. Ce que je trouve d’autant plus ironique c’est que la solution que les informaticiens proposent c’est de dire « bon, on va recruter des informaticiens qui vont s’occuper des biais ». C’est ça vraiment le truc !
Moi j’ai fait le saut, je me suis rendu compte que cette idée est un peu absurde, sans vouloir ramener le truc à moi, mais je me suis rendu compte que c’était absurde et qu’étudier les gens qui utilisent les trucs et qui les conçoivent c’est un métier. Ce dont a besoin l’intelligence artificielle maintenant c’est de sociologues qui expliquent comment ces systèmes-là se construisent.

10’ 05

Thomas Rozec : Et qui étudient