Algorithme, biaise-moi - Binge Audio

Titre : Algorithme, biaise-moi

Intervenants : Christophe Prieur - Thomas Rozec

Lieu : Programme B - Binge Audio

Date : juillet 2020

Durée : 18 min

Écoute le podcast

Licence de la transcription : Verbatim

Illustration :

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Transcrit : MO

Description

Bien qu’elles aient régulièrement fait la preuve de leur partialité, les machines, algorithmes et autres IA sont encore souvent présentés comme des outils neutres et objectifs. Sauf que, polémique après polémique, on s’aperçoit que cette technologie, de plus en plus présente dans nos vies, non seulement se nourrit des biais de la société, mais les amplifie parfois.
À quel moment ces biais se mettent en place entre conception et usage ? Pourquoi cette idée persistante de la machine détentrice d’une vérité objective ?

Transcription

Thomas Rozec : Salut. C’est Thomas Rozec.
À la fin du mois de juin, un fait divers américain a réveillé une question aussi cruciale qu’actuelle, celle de la place et de la potentielle nocivité des technologies de surveillance dans nos vies. L’histoire c’est la suivante, vous l’avez peut-être vu passer, un afro-américain, Robert Williams, s’est retrouvé 30 heures en détention après avoir été arrêté chez lui, devant ses enfants. Le motif : le logiciel de reconnaissance faciale utilisé par la police de Détroit, où il habite, l’avait identifié, avec la photo de son permis de conduire, comme étant responsable de plusieurs vols dans des bijouteries. Sauf que, vous me voyez venir, le logiciel s’est trompé. Heureusement, la police a fini par admettre l’erreur et à le relâcher sans que ça n’aille plus loin. Mais tout de même, voila qui remet à l’avant un problème pressant. Ces machines prétendument intelligentes, qui prennent un poids grandissant dans non existences, sont rongées par les mêmes biais racistes, sexistes, homophobes, qui grignotent nos sociétés. Pourquoi est-ce qu’on continue de faire semblant de l’ignorer ? Ce sera notre épisode du jour. Bienvenue dans programme B.

Voix off de Robert Williams :  ???

Thomas Rozec : Notre invité, pour en discuter, c’est Christophe Prieur. Il est docteur en algorithmes, sociologue du numérique et des données à Telecom Paris. J’ai commencé par lui demander comment se mettaient en place ces fameux biais au sein même des algorithmes.

Christophe Prieur : La technique qui fait que maintenant on parle énormément de l’intelligence artificielle depuis quelques années, c’est surtout avec le décollage des réseaux de neurones. Ce que font les réseaux de neurones c’est qu’ils s’appuient sur plein, plein d’exemples, des milliers, des millions d’exemples et, en s’appuyant sur ces exemples-là, ils s’adaptent. Donc on a plein, plein d’exemples de photos qui contiennent un visage et de photos qui ne contiennent pas un visage. Donc sur ces plein, plein d’exemples, les réseaux de neurones analysent les différentes composantes de l’image et, à la fin de cette analyse, ils regardent ce qu’on savait sur l’image, la connaissance a priori qu’on avait sur l’image c’est-à-dire il y a un visage ou il n’y a pas de visage, est-ce que oui ou est-ce que non ? Si c’est oui, le réseau de neurones revient en arrière sur les différentes analyses de cette image, sinon il adapte les paramètres d’analyse de cette image à partir des différents exemples qu’il a vus il fait une prédiction et, en fonction de la réponse qu’on lui indique, il dit mes prédictions étaient bonnes, n’étaient pas bonnes, etc.
Un des éléments les plus évidents qui sont mis en avant quand on parle des biais des algorithmes c’est la base d’apprentissage, c’est-à-dire sur quoi l’algorithme s’est appuyé. Ces milliers et millions d’exemples c’était quoi ? L’exemple classique c’est si l’algorithme s’appuie sur des visages de Blancs, il ne saura pas bien travailler sur des visages de Noirs parce que ça n’aura absolument rien à voir étant donné la manière dont il traite l’image.
Parmi les autres exemples qui ont été mis beaucoup en exergue sur cette question des algorithmes, prenons Parcoursup.

Plusieurs voix off : À trois semaines seulement de la rentrée, 66 000 bacheliers ne savent toujours pas où ils iront en septembre. Parcoursup devait pourtant être la réponse du gouvernement pour mieux orienter les lycéens vers l’université. Certains risquent même de se retrouver sans rien du tout dans quelques jours à peine.
En tout cas cette semaine la plateforme a connu de nombreux bugs avec notamment la saturation de serveurs et des candidats qui étaient placés tout en haut de la liste d’attente avant que la plateforme ne les descende tout en bas de la liste.
Ce n’est plus Parcoursup c’est Pôle Emploi sup ! Hou là.

Christophe Prieur : Ce n’est pas de l’intelligence artificielle, ce sont des procédures opérées par des humains et qui sont très classiques. Et simplement dans la manière dont Parcoursup avait été organisé on a explicité cette notion d’algorithme en disant « chaque établissement va appliquer un algorithme », ce qu’on appelle les algorithmes locaux. Chaque établissement a sa propre procédure. Quand on dit un algorithme, du coup, ça veut dire qu’on explicite plein de paramètres alors que si on disait que c’est le responsable de la formation qui va regarder les dossiers, qui va dire oui, non, évidemment il a des critères, mais ces critères ne vont pas toujours être objectivés par quelque chose qui tient dans une description très formelle.
Le fait d’expliciter l’algorithme et de dire que c’est un ordinateur, c’est une procédure automatisée qui va appliquer le choix, le filtre, le classement, alors ça veut dire qu’on met des paramètres dedans. Les biais de la personne qui rentre les éléments dans l’algorithme vont être là.
Ça, ce sont les biais de la personne qui va fixer les paramètres. Mais en fait il y a aussi d’autres biais, ce sont les biais de la personne qui a conçu l’ensemble du système. C’est-à-dire que là où le responsable de la formation doit dire je vais entrer mes paramètres, en fait ce sont des cases dans un tableur Excel ou des champs dans un formulaire. On n’a pas la main sur le formulaire, sur comment est constitué le formulaire. Et là, ce sont les biais des personnes qui ont conçu.
Donc il y a toute une chaîne de biais dans les algorithmes qui sont que les personnes qui conçoivent un système ne sont pas forcément les personnes qui vont l’utiliser. Parfois on dit « tiens ça ce sont les biais des personnes qui ont utilisé le système » alors qu’en fait, déjà au départ, il y avait les biais des personnes qui l’ont conçu. »

Thomas Rozec : Ce qui m’étonne, m’étonnera toujours c’est justement qu’on prête à la machine – je dis la machine au sens très large pour englober tous ces différents éléments techniques que peuvent être les algorithmes et l’intelligence artificielle qui sont des choses assez différentes finalement –, du fait qu’elle soit une machine, une forme de pensée objective, en tout cas de positionnement objectif qui fait qu’elle est censée être débarrassée des biais, comme si on évacuait le paramètre humain de l’histoire. On n’a pas envie de le voir.

Christophe Prieur : Oui. Je ne sais pas si vous avez remarqué, j’ai parlé d’ « objectivé » et pas « objectif » parce qu’il y a un malentendu sur ce terme objectif. Objectif c’est quoi ? Il y a un objet qui dit « voilà quelle est la mesure ». Cet objet peut venir avec énormément de biais. L’objectivité ne veut pas dire que c’est la vérité absolue.
J’ai une collègue qui travaille sur la gestion de crise avec les pouvoirs publics. C’était au moment de l’Euro, un truc de foot, elle était dans une cellule de crise et observait comment travaillaient les personnes qui supervisaient l’organisation, la sécurité, autour du Stade de France et dans la fan-zone sur le Champ de Mars ou je ne sais pas quoi. Il y avait des capteurs pour mesurer combien de personnes. La fan-zone était limitée en nombre de personnes qu’on pouvait accepter. Là, on peut dire que c’est un critère objectif : les capteurs disent combien il y a de personnes, donc on s’appuie sur ce critère objectif. Ça faisait un quart d’heure que le truc avait commencé et les chiffres indiqués par les capteurs étaient complètement délirants par rapport à ce que disaient les personnes sur le terrain.
Bon, eh bien le critère est objectif. Le critère objectif ce n’est pas le nombre de personnes présentes sur le terrain, ça c’est une espèce d’idéal qu’on essaye d’atteindre avec et des appareils de mesure et des gens sur le terrain et des procédures. Le critère objectif c’était le nombre indiqué par le capteur qui est positionné à tel endroit. Si le capteur déconne pour une raison ou une autre, le nombre objectif, la valeur objective, elle est tout simplement aberrante. Donc l’objectivité, c’est ça. L’objectivité c’est « je m’appuie sur des objets », et ces objets, ils ont des biais dans leur conception, ils ont des problèmes dans leur fonctionnement, des problèmes qu’on connaît en général un peu, mais que très souvent on sous-estime. Très souvent, dans la conception des systèmes, il y a vraiment une sorte de croyance un petit peu trop optimiste dans la fiabilité des procédures et des systèmes qui sont mis en place.

Thomas Rozec : À cette croyance s’ajoute, c’est ce que je disais juste avant, le fait qu’on exclut de fait, pensant la machine capable d’être objective, les paramètres humains, on les oublie.

Christophe Prieur : Oui, c’est ça. Les paramètres humains sont très très souvent négligés. Un des sujets très chauds du moment sur la science des données, sur l’intelligence artificielle ce sont les biais des algorithmes. Les personnes qui travaillent sur les outils d’intelligence artificielle disent « regardez il y a des biais ». Là on dit « ce qu’il nous faut ce sont des informaticiens qui vont travailler sur les biais », alors qu’en fait les biais ,effectivement, ce sont des problèmes qui viennent de la manière dont les outils sont conçus, de la manière dont les outils sont utilisés, donc ce dont on a besoin c’est d’étudier les facteurs humains, c’est d’étudier les humains et étudier les humains c’est un métier, ça s’appelle la sociologie. Effectivement c’est assez marrant, c’est assez ironique. Il y a 15 ans le big data s’est développé, j’ai participé au développement du big data. On arrivait, on disait « regardez, on va pouvoir faire des trucs avec ces millions de données qu’on a, on va dire des choses sur les individus ». Les sociologues disaient « oui, mais il y a des biais avec ces trucs-là. » On disait « oui, c’est vrai qu’il va y avoir des biais, donc il faut faire attention ». Dix ans plus tard les informaticiens arrivent et disent « vous savez quoi, tous ces algos eh bien ils ont des biais et ne vous inquiétez pas, on est là, on va s’en occuper ». Donc il y a un truc un petit peu ironique dans ce mouvement-là. Ce que je trouve d’autant plus ironique c’est que la solution que les informaticiens proposent c’est de dire « bon, on va recruter des informaticiens qui vont s’occuper des biais ». C’est ça vraiment le truc !
Moi j’ai fait le saut, je me suis rendu compte que cette idée est un peu absurde, sans vouloir ramener le truc à moi, mais je me suis rendu compte que c’était absurde et qu’étudier les gens qui utilisent les trucs et qui les conçoivent c’est un métier. Ce dont a besoin l’intelligence artificielle maintenant c’est de sociologues qui étudient comment ces systèmes-là se construisent.

10’ 05

Thomas Rozec : Et qui étudient aussi, c’est sans doute un des aspects pour l’instant les plus inquiétants, la manière dont non seulement les machines ont des biais, mais elles peuvent aggraver les biais, c’est-à-dire qu’elles les entretiennent et les renforcent. On a vu le cas de cette personne qui avait été faussement identifiée par une IA qui s’était trompée sur son visage parce qu’elle n’était pas capable de faire la différence entre deux visages noirs. On a aussi vu le fameux exemple qui a beaucoup tourné, une photo du visage de Barack Obama qui a été pixelisée et que l’IA a reconstituée sous la forme d’un visage blanc. On a tous ces exemples qui nous montrent que non seulement l’IA, les algos arrivent avec des biais mais aggravent les bais des autres et les biais des humains notamment.

Christophe Prieur : Les aggraver, je ne sais pas. Disons plutôt que ça a au moins l’avantage de mettre le doigt sur des choses qui sont là et qu’on a trop tendance à oublier. Je ne suis pas sûr que ça les aggrave.
Là où ça devient problématique c’est à quel point cette vision-là est négligée. À quel point on oublie et on ne veut pas voir, quand on met en place des systèmes comme ça, le fait que les systèmes seront défaillants, de toute façon. Ils seront toujours défaillants, donc qu’est-ce qu’on fait quand ça va foirer, c’est-à-dire souvent ?
On est tellement toujours dans mettre en avant le succès et dire qu’on ne peut pas mettre en avant le fait qu’il y aura des problèmes, on ne peut pas ! On devrait pouvoir et je pense que serait vraiment quelque chose qui serait très louable pour une personnalité politique de prendre des décisions courageuses, de dire « là on sait qu’on ne peut pas avoir la certitude absolue, mais on a aussi l’expertise scientifique de dire on sait aussi quoi faire dans les cas où le système déraille. Donc on met en place une procédure et on met aussi en place tout ce qui l’accompagne et qui permet de dire toutes les fois où ça va dérailler ce sera prévu ».

Thomas Rozec : Moi, surtout ce que ça me fait dire, c’est qu’en fait on a déployé tout cette techno autour de nous, toute cette IA qui n’est pas juste expérimentale dans des labos avec des chercheurs qui testent des trucs, mais c’est dans des domaines cruciaux, importants. En fait, ça a des implications très concrètes dans nos vies parce que cette techno est déjà présente et elle a été déployée sans trop de précautions, notamment de ce point de vue-là.

Christophe Prieur : Un très bon exemple c’est StopCovid. Je ne sais plus dans quel contexte Cédric O a dit ce truc, si c’était une déclaration publique, si c’était un texte qu’il a écrit pour l’Assemblée, pour je ne sais pas quoi, je ne sais plus. Je me souviens de ce texte dans lequel il explique à quel point toutes les précautions avaient été prises et que vraiment, s’opposer à ce projet StopCovid, c’était presque criminel. En fait, dans tout ce qu’il écrivait et toute la discussion sur StopCovid, toute cette dimension de la gestion de l’erreur, en fait tout avait été passé sous silence. Qu’est-ce qui se passe quand l’appli se trompe? Ce n’est pas grave. Non, ce n’est pas une réponse. On ne peut pas dire que ce n’est grave. Non ! La personne ira se faire tester et voilà ! Non ! En fait, toute la mise en place de ce système, sans parler de la question de l’habituation à un système de surveillance, en en parlant ça fait partie de l’évènement. C’est-à-dire rendre de plus en plus acceptable un système de surveillance, ça fait partie des conséquences qui doivent être envisagées. Je comprends bien qu’un ministre a tout intérêt à ne pas attirer l’attention là-dessus, mais c’était vraiment frappant de voir le déni. Entendre un ministre dire « non, il n’y a pas de problème ». OK, c’est la défaite de la pensée.

Thomas Rozec : Ce qui assez génial c’est qu’en fait il y a paradoxe qui me frappe dans tout ça, c’est que, d’un côté, il y a une espèce de réification de la machine qui fait que la machine elle sait, elle sait de toute façon qu’elle ne peut pas se planter, elle ne peut pas se tromper, ce n’est pas possible, elle est censée être intelligente la machine. Et, en même temps, il y a ce côté, cette espèce de peur dystopique d’une intelligence artificielle dont on perdrait le contrôle. À chaque fois ça exclut le paramètre humain et ça exclut complètement le fait que ce n’est pas la machine qui se trompe ou ce n’est pas la machine qui sait tout, ce n’est pas la machine qui ceci, qui cela, ce sont les humains derrière, ce sont les humains qui la conçoivent et la machine n’est pas du tout capable d’être plus intelligente que nous puisque, de toute façon, elle ne dépend que de notre intelligence à nous.

Christophe Prieur : Oui, c’est ça. Merci de souligner ce point-là. Il y a, en fait, deux camps un peu extrêmes, l’utopie et la dystopie, et, pour moi, les deux sont un peu à côté de la plaque. Il ne faut jamais négliger, effectivement comme vous le disiez, le facteur humain pas seulement dans les personnes qui utilisent ces machins-là, mais derrière, c’est-à-dire les gens qui mettent en place ces systèmes-là sont aussi faillibles, ont aussi une conscience et se disent « tiens, en fait là ce que je suis en train de faire c’est moche » et puis parfois se dire « là on pourra faire quelque chose de beaucoup plus sympa, on aurait telle fonctionnalité qui permet de faire ci et ça ». Facebook n’a pas été mis en place pour vendre les données des utilisateurs à des trucs de pub. Ça s’est déployé parce que les gens communiquaient, échangeaient des blagues, retrouvaient leurs anciens amis, etc. La technique ne se déploie pas seulement pour faire du mal, elle ne se déploie pas seulement pour faire du bien, elle se déploie pour plein d’autres choses. Et surtout, le projet initial d’un dispositif technique est souvent très décalé par rapport à ce qui va en sortir et ce qui va en sortir ça va évoluer vers du mieux et vers du moins bien.

Thomas Rozec : Et puis il y a une forme de facilité intellectuelle, ou de paresse, à se dire que de toute façon c’est la faute de la machine ou c’est la machine qui contrôle, de tout faire reposer justement sur quelque chose qui ne serait pas humain. Il y a une forme de facilité à se dire du coup ce n’est pas trop de notre faute, finalement, si ça déconne ou si ça crée des biais, si ça entretient des biais, ce n’est pas trop de faute finalement puisque c’est la machine, elle et con la machine, c’est de sa faute aussi. C’est aussi une manière d’exclure notre responsabilité d’humain, soit d’usager soit de créateur, de concepteur de l’équation.

Christophe Prieur : C’est vrai. J’ai souvent en tête cet exemple d’un guichet avec une personne en face qu’on considère comme abruti fini et qui dit « eh bien non, la machine ne veut pas ». Je trouve que cette image marche assez bien dans plein de situations et pas mal de discours peuvent se réduire à ça. En fait oui, la machine ne veut pas. Effectivement, je sais bien que ce n’est pas la machine en vrai, qu’il faudrait aller voir, etc., mais tu m’emmerdes j’ai autre chose à faire. Donc la réponse est tellement facile de dire que oui, c’est le système, c’est la faute au système. Oui, tu sais, je sais bien moi aussi, mais tu sais comment c’est.
Je pense qu’à chaque étape de ces trucs-là on doit pouvoir dire « non, allez OK, je sais que tu as la flemme, tu n’as pas envie, etc. », mais il faut quand même mettre des grains de sable régulièrement sinon le truc ne changera pas. En même temps, c’est usant de sans arrêt se battre. On ne peut pas non plus se battre tout le temps contre des moulins à vent mais rien que distiller cette idée-là que non ce n’est pas une machine, ce sont des humains, ce sont des décisions et les décisions ça se change, ça s’influe, on n’est pas toujours obligé de faire de l’excès de zèle par rapport à des procédures qu’on considère absurdes. Derrière les procédures ce sont des humains et ça se change !

Thomas Rozec : Et surtout, ce qu’il faut garder en tête, c’est éviter que ces débats sur les défauts et les voies d’amélioration des machines nous empêchent de nous poser des questions sur l’installation et la raison d’être de ces technologies de plus en plus invasives.
Merci à Christophe Prieur pour ses réponses.
Programme B c’est un podcast de Binge Audio préparé par Lorraine Besse, réalisé par Mathieu Thévenon.

Abonnez-vous sur votre application de podcast préférée pour ne manquer aucun de nos épisodes. Facebook, Twitter, Instagram pour nous parler. Continuez de bien vous laver les mains, de respecter les gestes barrière et de porter des masques, ne serait-ce que pour emmerder les logiciels de reconnaissance faciale et à demain pour un nouvel épisode.

10’ 05

Thomas Rozec : Et qui étudient