Faut-il avoir peur des algorithmes - Grand bien vous fasse - France Inter

Titre : Faut-il avoir peur des algorithmes ?

Intervenant·e·s : Aurélie Jean - Jean-François Bonnefon - Ali Rebeihi

Lieu : Émission Grand bien vous fasse, France Inter

Date : février 2020

Durée : 45 min 20 [la chronique « Pas son genre » de Giulia Foïs n'est pas transcrite]

Écouter ou enregistrer le podcast

Présentation de l'émission

Licence de la transcription : Verbatim

Illustration :

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Transcrit : MO

Transcription

Ali Rebeihi : Bonjour à tous. Soyez les bienvenus en direct ou en podcast. Vous le verrez ce matin un algorithme est une suite d’opérations ou d’instructions qui permettent de résoudre un problème ou d’obtenir un résultat.
Les algorithmes numériques nous accompagnent dans tous les domaines de notre existence quand nous utilisons, par exemple, nos smartphones ou nos ordinateurs ? Faut-il vraiment avoir peur des algorithmes numériques ? Quels dangers réels représentent ces algorithmes dont on ne peut plus se passer ?
Le vrai danger c’est peut-être les biais algorithmiques, l’équivalent des biais cognitifs pour les humains. Des biais algorithmiques qui peuvent conduire à des erreurs et à des discriminations quand, par exemple, les premiers outils de reconnaissance faciale ne prenaient pas en compte les peaux noires.
On s’intéressera également aux vertigineux dilemmes moraux que posent les algorithmes des voitures sans conducteur qui devront privilégier soit la sécurité des passagers soit celle des piétons.

Pour nous éclairer ce matin, l’entrepreneur Aurélie Jean et le chercheur Jean-François Bonnefon.
Avez-vous peur des algorithmes ou alors pas du tout ? 01 45 24 7000, sans oublier la page Facebook de Grand bien vous fasse et l’appli France Inter.
Vers 11 heures moins 25 vous retrouverez la chronique « Pas son genre » de Giulia Foïs. Bienvenue dans Grand bien vous fasse, la vie quotidienne, mode d’emploi.

Voix off : France Inter, Grand bien vous fasse, Ali Rebeihi.

Ali Rebeihi : Bonjour Aurélie Jean.

Aurélie Jean : Bonjour Ali.

Ali Rebeihi : Vous êtes docteur en sciences et chef d’entreprise, ancienne élève de Normale Sup, de Mines Paris Tech, chercheuse au MIT aux États-Unis.

Aurélie Jean : Ancienne chercheuse.

Ali Rebeihi : Ancienne chercheuse mais tout de même. Vous publiez aux éditions de L’observatoire De l’autre côté de la machine. Voyage d’une scientifique au pays des algorithmes, ce titre fait évidemment référence à Lewis Carroll, De l’autre côté du miroir, c’était la suite de Alice au pays des merveilles

Aurélie Jean : Oui. Absolument c’est une belle référence à Lewis Carroll et je parle d’ailleurs dans le livre de cette œuvre qui m’est très chère.

Ali Rebeihi : Pourquoi ce titre ?

Aurélie Jean : Déjà parce que c’était dans le concept, l’ADN de la collection De facto créée par Gaspard Koenig au sein de L’observatoire et c’est vrai que c’est intéressant parce que le meilleur moyen pour faire comprendre les choses aux gens c’est de les emmener de l’autre côté de l’objet qui les sépare de ce monde et en l’occurrence, dans mon cas, c’étaient les algorithmes et c’est une manière assez douce pour les amener gentiment, justement, vers ce monde dont ils ont peur.

Ali Rebeihi : Bonjour Jean-François Bonnefon.

Jean-François Bonnefon : Bonjour.

Ali Rebeihi : Vous êtes docteur en psychologie cognitive, directeur de recherche à la fameuse Toulouse School of Economics, vous êtes médaille de bronze du CNRS et vous publiez chez HumenSciences La voiture qui en savait trop. L’intelligence artificielle a-t-elle une morale ?. Votre titre se réfère bien évidemment au célèbre film de Hitchcock, L’Homme qui en savait trop.

Jean-François Bonnefon : C’est ça.

Ali Rebeihi : Il sera question de psychologie morale, avec vous, dans la seconde partie de l’émission. Expliquez-nous ce qu’est la psychologie morale en quelques mots.

Jean-François Bonnefon : La psychologie morale c’est comprendre comment les gens décident de ce qui est bien ou ce qui est mal. C’est très différent, par exemple, de la philosophie morale qui essaie de déterminer ce qui est bien et ce qui est mal. La psychologie morale c’est une description de comment les gens arrivent à ce genre de jugement.

Ali Rebeihi : Comment expliquer ce qu’est un algorithme à un enfant de dix ans, Aurélie Jean ? J’ai parfois utilisé, dans cette émission, l’exemple de la recette de cuisine pour expliquer ce qu’est un algorithme et je mérite un gros pan sur le bec, Aurélie Jean.

Aurélie Jean : Non parce qu’en fait, comme vous l’avez très bien dit, vous avez donné un exemple. La recette de cuisine est un algorithme mais dire que l’algorithme est une recette cuisine, je trouve que c’est un petit peu…

Ali Rebeihi : Simpliste.

Aurélie Jean : Oui. En fait c’est trop simpliste parce qu’après, du coup, on a du mal à comprendre les concepts un peu plus abstraits qui sont propres à l’algorithmique. Donc ce que je dis c’est que la recette de cuisine est un algorithme, mais que l’algorithme n’est pas une recette de cuisine.

Ali Rebeihi : Alors c’est quoi un algorithme ?

Aurélie Jean : C’est ce que vous avez dit en introduction et c’est très bien dit, c’est-à-dire que c’est un ensemble d’opérations à exécuter selon une certaine logique pour résoudre un problème, répondre à une question, obtenir un résultat par rapport à un problème donné.

Ali Rebeihi : Vous comprendrez que ça fasse peur les algorithmes ? Le mot algorithme ?

Aurélie Jean : Oui, le mot fait peur parce qu’en fait on l’associe à tous les scandales qu’on a pu entendre, voir, sur lesquels on a pu lire ces deux dernières années. C’est vrai que dès qu’on parle d’algorithmique et des algorithmes, on les personnifie, c’est-à-dire qu’on leur attribue des caractères anthropomorphiques : on parle d’algorithmes sexistes, injustes, discriminatoires, racistes. Ce sont des choses qui font relativement peur, donc il faut sortir de cette passion pour raisonner sur les débats actuels.

Ali Rebeihi : Pouvez-vous nous donner des exemples d’algorithmes numériques utilisés dans la vie de tous les jours, des algorithmes présents dans notre vie quotidienne, du matin au soir, toute l’année, qui nous accompagneront certainement jusqu’à notre dernier souffle.

Aurélie Jean : Il y en a plein, la liste est longue. Par exemple, quand vous décidez d’utiliser une application qui va vous définir le chemin le plus optimal pour aller d’un point à un autre, que ce soit dans les transports en commun ou à pied ou en voiture, ce sont trois modes différents, ça va dépendre des outils. Il y a des algorithmes qui vont regarder le chemin le plus court, d’autres algorithmes qui vont prendre en considération le trafic des voitures et d’autres algorithmes qui vont aussi prendre en considération le trafic des transports en commun à savoir lorsqu’il y a des grèves ou des accidents. Donc c’est un exemple parmi tant d’autres.

Ali Rebeihi : Les applis de rencontre aussi ?

Aurélie Jean : Les applis de rencontre aussi, plein de choses. Quand vous allez, par exemple, sur un site pour aller acheter un produit en particulier il y a des algorithmes, entre autres, de captologie ou des algorithmes d’optimisation pour optimiser votre « parcours client », comme on dit, des choses comme ça.

Ali Rebeihi : Quelle est l’origine du mot « algorithme », qui s’écrit sans « y ». Il faut partir du côté de la Perse.

Aurélie Jean : Oui, exactement, vous avez très bien dit. Même si aujourd’hui on parle d’algorithmes numériques qui sont essentiellement écrits, codés dans un programme informatique pour tourner sur un ordinateur, traditionnellement, historiquement l’algorithme est fait pour être écrit à la main et résolu à la main. Le mot « algorithme » vient du mot latin Algoritmi qui est, en fait, le nom latin du grand mathématicien perse Al-Khwârizmî dont le nom provient aussi, en fait, du mot algèbre. En fait, le concept de science algorithmique est même bien plus ancien, au 3e siècle avant notre ère : Al-Khwârizmî c’est 9e siècle de notre ère. C’est aussi 3e siècle avant notre ère avec les cours de logique d‘Euclide et son livre, son œuvre les Éléments qui donne des processus de raisonnement logique pour résoudre des problèmes et entre autre démontrer les théorèmes.

Ali Rebeihi : Je redis le nom de ce mathématicien, Muhammad Ibn Mūsā al-Khuwārizmī, et son nom a été latinisé en Algoritmi qui donnera donc algorithme.
Vous, votre premier algorithme vous l’écrivez à l’âge de 19 ans, Aurélie Jean ?

Aurélie Jean : Oui. C’est intéressant parce que je le fais écrire dans le livre par les gens. C’est une belle manière de démystifier la discipline et leur montrer que c’est possible.
Moi c’est à l’âge de 19 ans. Je faisais des cours de maths et de physique à Sorbonne Universités et j’ai décidé de prendre un cours optionnel de sciences informatiques, d’abord par une frustration de ne pas comprendre ce que sont les sciences informatiques, je ne sais pas si c’est la meilleure motivation mais c’est un driver comme un autre. Et en fait, durant ce cours, j’ai passé mes six premiers mois avec un papier et un crayon à écrire des algorithmes. Ça a été la découverte de cette science. Mon premier algorithme, dont je parle dans le livre et que les gens peuvent écrire avec moi, c’est un algorithme assez simple en soi.

Ali Rebeihi : Je l’ai compris !

Aurélie Jean : Vous l’avez compris ? C’est bien. C’est un algorithme pour trier dans l’ordre croissant des nombres entiers, des nombres naturels dans un tableau. C’est très rigolo. Au début, quand j’explique, je dis « tout le monde sait résoudre ce problème, c’est facile, maintenant c’est : est-ce que vous allez pouvoir le résoudre le plus rapidement possible ? » Et c’est là où la science algorithmique intervient.

Ali Rebeihi : Qu’est-ce qui vous fascine dans la science algorithmique ?

Aurélie Jean : Il y a plusieurs choses. Déjà parce que j’adore le caractère mathématique appliquée de la science algorithmique. Ce que j’aime beaucoup, en fait, c’est que ça permet de résoudre des problèmes concrets par une voie optimale en termes de nombre d’opérations à exécuter. C’est vraiment le côté résoudre des problèmes concrets.

Ali Rebeihi : Un exemple ?

Aurélie Jean : Typiquement, le cas du tableau est un exemple parce que c’est vrai qu’on passe sa vie à trier des choses dans les problèmes aujourd’hui. Par exemple ce que j’ai fait dans ma thèse ou même plus tard dans ma recherche quand j’ai travaillé sur le traumatisme crânien, c’est grâce à des modèles mathématiques que j’ai traduits sous forme algorithmique pour faire des simulations, que j’ai pu établir une loi qui a estimé, qui estime toujours d’ailleurs, les risques d’un humain d’avoir un traumatisme crânien par rapport à l’énergie, au type de choc qu’il ou elle a pu recevoir à la tête. Je trouve que c’est quand même fascinant d’arriver à résoudre un problème concret. Après c’est un ensemble, ce n’est pas un algorithme, il y a plein d’algorithmes dans ce modèle, mais c’est quand même dingue de voir qu’on arrive à résoudre des problèmes concrets en passant par le virtuel parce que, quelque part, l’algorithmique, en tout cas numérique, c’est aussi passer par la virtualisation des phénomènes, de l’autre côté de la machine, dans la machine, en l’occurrence dans l’ordinateur.

Ali Rebeihi : Jean-François Bonnefon, on peut peut-être avoir peur des algorithmes des voitures sans conducteur ? C’est toute la question de votre livre.

Jean-François Bonnefon : Oui, parce que l’algorithme d’une voiture sans conducteur c’est vraiment un cas extrême de décision automatique, en partie à cause de ses enjeux puisque là on parle de l’intégrité physique des passagers ou des gens qui sont sur la route donc de conséquences qui sont assez graves potentiellement. Et puis aussi parce que, en général, quand il y a une décision qui est prise par un algorithme, c’est plutôt une suggestion, surtout quand il y a des conséquences potentiellement graves, il y a un humain qui va, à un moment, être dans la boucle, valider la décision, l’examiner.
Les voitures sans conducteur la prise de décision automatique se produit à un tel rythme qu’on est dans un cas où il est difficile de mettre un humain dans la boucle à chaque fois.

Ali Rebeihi :  « Faut-il avoir peur des algorithmes ? », c’est le titre de cette émission, mais n’oublions pas leurs bienfaits, notamment dans le domaine de la recherche médicale. Aurélie Jean.

Aurélie Jean : Oui, pas que dans la recherche, même dans la pratique médicale clinique aujourd’hui, les algorithmes interviennent par exemple pour faire des tests biologiques où on va pouvoir analyser des prélèvements de façon automatique, mais ça fait très longtemps qu’on est capables de faire ça. Par exemple, on parle beaucoup des algorithmes qui vont aller détecter, pré-détecter des tumeurs sur des radiographies. Ça peut être beaucoup de choses, des algorithmes qui vont peut-être optimiser certains diagnostics, il y a plein de choses qui se font. Comme le dit très bien Jean-François, il faut le redire, l’algorithme fournit une suggestion. La décision nous appartient.

Ali Rebeihi : Ça, on l’oublie souvent !

Aurélie Jean : On l’oublie souvent et je trouve que c’est intéressant de le dire parce que ça nous permet de nous positionner par rapport à ces algorithmes qui nous donnent des suggestions. Et je le dis d’autant plus que dans le cas de la voiture autonome, comme vous l’avez dit, c’est un peu une décision unilatérale, mais c’est vrai qu’il y a beaucoup de choses où on a l’impression qu’on n’a pas le choix alors qu’en fait on l’a. Par exemple lorsque vous parliez des applications de rencontre, l’application de rencontre vous donne une suggestion d’individu, ça ne veut pas dire que c’est la bonne personne !

Ali Rebeihi : Est-ce que nous sommes atteints d’anti-algorithmie primaire, dans le grand public, dans les médias ?

Aurélie Jean : Je n’espère pas sinon mon métier est en danger ! Plus sérieusement, je pense que les gens ont peur de cette discipline parce qu’ils ne la comprennent pas et parce que, aussi, il y a beaucoup de gens qui créent des fantasmes autour de ces entités mathématiques : on imagine que l’algorithme va tout remplacer, l’algorithme va pouvoir avoir des émotions, va pouvoir avoir une âme. Non, ce n’est pas possible, c’est impossible. Le vrai discours est un peu moins sexy, peut-être, mais en tout cas vrai et beaucoup plus rationnel.

Ali Rebeihi : Nous avons peur parce que nous n’avons pas la culture scientifique suffisante, peut-être, dans le grand public pour comprendre tous ces grands enjeux ?

Aurélie Jean : Oui. C’est le cas de beaucoup de sujets, en fait, ce n’est pas propre aux algorithmes. Lorsqu’on a commencé à travailler sur la génétique, par exemple, ça a créé beaucoup de fantasmes et ça a fait très peur, alors qu’aujourd’hui on fait beaucoup de choses en génétique et ça nous parait normal. Je pense que c’est vraiment essayer de démystifier, essayer aussi de montrer les vraies menaces. Vous parliez de biais algorithmiques, c’est une vraie menace que les gens commencent à connaître, mais en fait ça fait longtemps, très longtemps qu’on travaille dessus.

Ali Rebeihi : Expliquez, en deux mots, parce qu’on va y revenir largement dans l’émission. Qu’est-ce qu’un biais algorithmique ?

Aurélie Jean : En fait, comme vous l’avez très bien dit, on a tous de biais cognitifs liés à notre histoire, liés à notre langue, à notre religion, peu importe, notre culture, et en fait, typiquement, on a tendance à introduire des biais cognitifs dans les choses qu’on développe. Ça peut être un texte, ça peut être un produit tangible, donc ça peut être aussi un algorithme. En fait on transfère nos propres biais cognitifs aux algorithmes et ça devient des biais algorithmiques qui ont comme conséquence, par exemple comme vous l’avez très bien dit, d’écarter une partie de la population de l’usage de l’outil et c’est le cas des premiers algorithmes de reconnaissance faciale qui ne reconnaissaient pas les peaux noires.

Ali Rebeihi : Je m’adresse au docteur en psychologie cognitive. C’est quoi un biais cognitif ? Donnez-nous un exemple de biais cognitif.

Jean-François Bonnefon : Par exemple, on peut avoir le biais de ne chercher que des informations qui nous confortent dans ce que nous croyons déjà et d’éviter des informations qui nous mettent en doute. Un biais cognitif c’est un processus psychologique qui nous pousse toujours dans la même direction pour des résultats qui sont suboptimaux.

Ali Rebeihi : Avez-vous peur des algorithmes ou alors pas du tout ? N’hésitez pas à nous appeler, à poser toutes vos questions au 01 45 24 7000.
Alexia Rivière, Julia Macarez et Clément Martin m’ont aidé à préparer cette émission réalisée par Claire Destacamp. Belle journée à l’écoute de France Inter.

Pause musicale : Aline par Christophe.

Ali Rebeihi : Christophe interprétait em>Aline.

Voix off : « Je pense avoir trouvé l’algorithme pour se faire des amis. – Arrête il n’y a pas d’algo pour se faire des amis. – Allô ! Peut-être le temps de boire une boisson chaude, les plus appréciées sont le café ou le chocolat. »
Ali Rebeihi sur France Inter.

15’38

Ali Rebeihi : 10 heures 21. Faut-il avoir peur des algorithmes ?, c’est notre thème ce matin avec un docteur en sciences Aurélie Jean et le chercheur en psychologie cognitive Jean-François Bonnefon. Standard ouvert au 01 45 24 7000.
Je vous verrais bien, Aurélie Jean, dans la bande de The Big Bang Theory !

Aurélie Jean : Oui, carrément. Mais je me reconnais pas mal sur le côté un peu ???, j’avoue.

Ali Rebeihi : Un peu geek.

Aurélie Jean : Oui.

Ali Rebeihi : La mathématicienne Cathy O'Neil, qui est venue dans cette émission, nous a dit que les algorithmes ne sont pas nécessairement équitables car c’est la personne qui les conçoit qui définit leur fonctionnement et leurs résultats. Aurélie Jean, rappelez-nous ce qu’est un biais algorithmique pour ceux qui nous prennent en route. C’est ça un biais algorithmique ? C’est ce que nous dit Cathy O'Neil ?

Aurélie Jean : En fait, ce que dit Cathy O'Neil, c’est qu’on a tendance à croire qu’un algorithme est objectif dû à l’impartialité des mathématiques, mais c’est oublier, en fait, que l’algorithme est développé par un humain, par des humains, que ce soit dans les critères explicitement définis par les humains mais ça peut aussi être le choix des données sur lequel le calibrer ou l’entraîner, dans le cas de critères implicites. C’est vrai que, pour reprendre ce qu’est un biais algorithmique, nous on a des biais cognitifs, on va les transférer à l’algorithme qu’on écrit et, comme l’a dit Jean-François, on peut, en fait, sans s’en rendre compte, écarter des gens, ne pas penser à certaines données, à certains individus, à certains scénarios lorsqu’on écrit l’algorithme.

Ali Rebeihi : On va prendre des exemples concrets. Vous vous rendez compte de l’importance des biais algorithmiques quand un chercheur vous demande d’utiliser les algorithmes pour comprendre la croissance du muscle cardiaque en laboratoire. Racontez-nous.

Aurélie Jean : C’était en 2009, exactement, j’étais à l’université d’État de Pennsylvanie où j’ai commencé ma recherche avec le professeur George ??? qui est maintenant un très bon ami à moi. Je développais des modèles et des algos pour comprendre la croissance d’un muscle cardiaque en laboratoire, pour aller remplacer un muscle malade après un infarctus. C’est passionnant, ça s’appelle l’ingénierie des tissus pour les gens qui veulent savoir. Je l’écris dans le bouquin, mon professeur me dit : « Aurélie, tu ne peux pas faire un modèle là-dessus si tu n’as jamais disséqué un cœur et compris comment ça fonctionne. » Du coup on part tous les deux disséquer un cœur, c’est génial et, à un moment donné, durant le processus, il me dit : « Au fait, est-ce que c’est possible d’avoir des biais dans des algos ? » J’ai commencé rire en lui disant « eh bien non, ce sont des maths, il ne peut pas y avoir de biais ! » Il me dit : « Mais tu sais, moi, quand je fais mes études cliniques, il y a des biais. » Du coup on commence à partir de cette conversation et c’est là, en fait, où j’ai entendu le mot « biais algorithmique » et que j’ai compris que c’était possible de mettre des biais dans mes algos pour plein de raisons. Déjà parce que, comme me le disait mon professeur : « Tu vois le monde avec ton propre angle. Tu te bases sur des données dans des papiers scientifiques médicaux qui sont peut-être biaisées, sur des études biaisés, sur des expérimentations biaisées, donc en fait il y a plein de manières de biaiser in fine ton algorithme, donc il faut avoir un œil critique comme le ferait un médecin ou un chercheur en médecine sur ses expériences. »

Ali Rebeihi : Le biais algorithme peut provenir également de la collecte des données. Prenons un autre exemple : lors de votre simulation numérique des traumatismes crâniens – vous travaillez sur ce domaine-là – vous collectez des données sur les dimensions moyennes de tête humaine et inconsciemment votre standard c’est quoi ?

Aurélie Jean : En fait c’est moi. Pas complètement parce que j’étais assez fière, à l’époque j’étais au MIT et je devais donc rechercher des données morphologiques, comme vous l’avez dit, du crâne humain, donc j’étais très fière de moi parce que, en plus je suis assez féministe, j’ai cherché des femmes, des hommes, des plus vieux, des moins vieux, des jeunes, des enfants, des afro-américains, des blancs, des gens d’Amérique du Sud, j’étais hyper fière de moi en disant « je sais faire, je sais prendre en compte la diversité étant moi-même issue d’une minorité dans mon milieu ». En fait, mon directeur de recherche, le professeur Raul Radovitzky, me dit : « Aurélie, tu as oublié une population ». Je dis : « Mais non, pas du tout ! » Il me fait : « Si, si, les populations asiatiques ont des morphologies très différentes. Et je dis : « C’est marrant parce que moi je pensais qu’ils avaient des morphologies comme les nôtres, sous-entendu caucasiens », c’est quand même dingue.

Ali Rebeihi : Exactement, l’homme blanc occidental.

Aurélie Jean : Il me dit : « Mais non, pas du tout, il faut que tu les considères aussi. »

Ali Rebeihi : Et vous rectifiez le tir.

Aurélie Jean : Et je rectifie le tir. Après, savoir si ça aurait eu une influence sur mon algorithme ou la réponse de mon algorithme, je ne sais pas, mais en tout cas on a considéré ça quand on a écrit ensuite l’algorithme et le modèle pour justement essayer de calibrer la loi sur des données morphologiques de crânes humains qui sont une protection naturelle pour notre cerveau. C’est vrai que je suis plutôt contente et j’en parle dans le livre, parce que j’ai fait une erreur, j’ai été rattrapée au vol par quelqu’un qui avait un meilleur background que moi dans le milieu médical. Et, au final, c’est vrai que j’avais écrit une loi pour estimer les risques de traumatisme crânien d’un humain en fonction du choc qu’il avait reçu à la tête, peut-être qu’en ne considérant les populations asiatiques, peut-être que ma loi n’aurait pas marché sur les populations asiatiques. On ne le saura jamais, mais c’est important de se dire qu’on essaye d’être le plus représentatif possible dans les données qu’on utilise pour calibrer ou entraîner un algorithme.

Ali Rebeihi : Un autre point qui peut biaiser, fausser l’algorithme, c’est l’origine des paramètres utilisés.

Aurélie Jean : Oui, l’origine des paramètres utilisés, sous-entendu les critères qu’on rentre dans l’algorithme. Pour que les gens comprennent, moi je classe les algorithmes en deux familles : la famille explicite c’est lié à la symbolique : l’intelligence artificielle symbolique c’est lorsqu’on va définir entièrement à la main l’algorithme, les équations mathématiques, les critères, les conditions, les hypothèses. Et puis tout ce qui est implicite, à savoir tout ce qui est lié aux techniques d’apprentissage où l’algorithme va créer lui-même ses critères, donc implicitement, en étant entraîné sur des données. Donc ça vient aussi de ça, c’est-à-dire que quand écrit soi-même l’algorithme, on peut aussi mettre des critères qui sont biaisés parce qu’on voit le monde sous notre propre prisme, donc sous un prisme biaisé puisqu’on est humain.

Ali Rebeihi : Pour bien comprendre ce qu’est un biais algorithme implicite, prenons peut-être l’exemple d’un algorithme qui chercherait à reconnaître un chien sur une photo.

Aurélie Jean : Très bon exemple que je donne dans le livre. C’est bien, vous avez bien lu le livre ! Dans le livre je donne l’exemple du chien sur une photo. Il y a deux manières de faire : la première c’est de se dire « on va décrire mathématiquement ce qu’est un chien sur une photo », mais on se rend compte que ça ne marche pas très bien, c’est compliqué. Du coup on fait la méthode plus efficace et plus rapide qui est de se dire « on va entraîner l’algorithme sur des photos qui contiennent des chiens ou pas, et puis on va le rectifier, on va le superviser et au final l’algorithme va être assez efficace pour reconnaître un chien sur une photo ». Ce qui va se passer c’est que, justement, on va donner plein de photos à l’algorithme et implicitement – je dis implicitement parce qu’en fait ce n’est jamais défini explicitement on a du mal à retrouver ces critères après, a posteriori, dans les invariants de réseau neuronal entre autres si on prend les termes techniques – ce qui se passe c’est que l’algorithme va définir des critères implicitement pour identifier, ou pas, un chien sur une photo. Ce qui est très intéressant c’est que l’algorithme ne sait pas pour autant décrire ce qu’est un chien, par contre il va reconnaître, ou pas, un chien.

Ali Rebeihi : Jean-François Bonnefon, si on applique ça à la voiture sans conducteur ?

Jean-François Bonnefon : Bien sûr, la voiture sans conducteur va aussi être entraînée à reconnaître typiquement les différents usagers de la route, mais là on va plutôt passer du biais au dilemme. C’est-à-dire qu’on va moins s’intéresser au biais d’entraînement mais plus au fait que quand on crée un algorithme on lui donne un but. S’il n’y en a qu’un c’est assez facile, mais quand il y en a plusieurs, il va falloir qu’il arbitre entre ses buts. Et quand on ne peut pas les satisfaire tous à la fois va se poser le problème du dilemme.

Ali Rebeihi : Il y a une forte responsabilité qui pèse sur les concepteurs d’algorithmes, Aurélie Jean ?

Aurélie Jean : Pas qu’eux, c’est-à-dire que c’est vrai que je dis, comme Cathy O'Neil, que les concepteurs ont une part de responsabilité, mais ce ne sont pas les seuls responsables.

Ali Rebeihi : Qui sont les autres responsables ?

Aurélie Jean : Tout le monde sur la chaîne d’un algorithme, c’est-à-dire les gens qui pensent à l’idée d’un modèle, l’idée de répondre à une question par un algorithme. Il y a les gens qui vont concevoir l’algorithme, les gens qui vont l’écrire, l’implémenter, le tester aussi ; les gens qui vont le marketer donc vendre l’outil et puis il y a des gens qui vont l’utiliser. Tous ces gens sur la chaîne de fonctionnement de production d’un algorithme ont, en fait, une part de responsabilité sur l’algorithme qu’ils développent, qu’ils pensent, qu’ils marketent, qu’ils vendent ou qu’ils utilisent. En fait c’est beaucoup plus compliqué et c’est vrai, c’est ce que je dis souvent, c’est-à-dire que nous, concepteurs, on doit travailler avec les gens du métier : par exemple, je n’aurais pas pu développer ce que j’ai fait si je n’avais pas travaillé avec des médecins. Encore aujourd’hui, je fais de la recherche dans le domaine médical, si je n’étais pas entourée de médecins je ferais d’énormes bêtises et, de toutes façons, je ne saurais pas quoi faire pour être tout à fait honnête avec vous, pareil dans le domaine de la finance, et ces gens-là doivent aussi comprendre ce que je fais. Donc il y a vraiment un travail de collaboration et ça va très loin. C’est-à-dire que moi je considère que les gens, les entités, les entreprises qui vont développer des outils ont la responsabilité que les gens qui les utilisent les comprennent. Comme je dis beaucoup, les utilisateurs sont nos meilleurs ennemis. Pourquoi ? Parce qu’en fait ils vont nous aider à améliorer l’outil, donc il faut qu’ils comprennent ce qui se passe.
Pour la reconnaissance faciale, un exemple tout bête, il y a des distributeurs de savon qui reconnaissent la peau. En fait, ces outils ne fonctionnaient sur les peaux noires, c’était il y a très longtemps. Les gens qui utilisaient ces machines, qui étaient Noirs et pour lesquels ça ne marchait pas, se sont juste dit « ça ne marche pas ». Ils ne se sont pas dit « tiens, il y a biais algorithmique, il y a un bug ». Or, si ces gens comprennent, ils vont pouvoir reconnaître le biais algorithmique très tôt, du coup on va pouvoir tout de suite le fixer si on arrive facilement à le fixer.

Ali Rebeihi : Jean-François Bonnefon, les concepteurs des algorithmes des voitures sans conducteur ont une sacrée responsabilité morale !

Jean-François Bonnefon : Oui. Encore une fois parce que ces algorithmes ont entre leurs mains la vie ou l’intégrité physique des utilisateurs, en effet.

Ali Rebeihi : Il faut concevoir des voitures sans conducteur qui devront, allez, je le dis vite, soit sacrifier le passager, soit le ou les piétons en cas d’accident. Et ça rappelle le célèbre problème du tramway. Racontez-nous ce fameux problème. Dans sa forme simplifiée, il faut imaginer un tramway sur le point d’écraser cinq personnes.

Jean-François Bonnefon : Le tramway est sur le point d’écraser cinq personnes, mais un être humain a la possibilité d’actionner un levier qui va, disons, dévier le tramway sur une autre voie, mais il se trouve qu’il y a une personne sur cette autre voie.

Ali Rebeihi : Qu’il n’aura pas le temps d’éviter.

Jean-François Bonnefon : Qu’il n’aura pas le temps d’éviter. La question c’est : est-ce qu’il est légitime de rediriger le tramway et de tuer une personne dans le but d’en sauver cinq ?

Ali Rebeihi : Là c’est une étude de l’esprit, c’est peu probable ce problème du tramway sauf que la voiture sans conducteur rend réaliste et réalisable ce problème du tramway

Jean-François Bonnefon : Elle le rend réaliste oui, même s’il faut toujours le dire, c’est un cas limite, totalement extrême, d’un problème qui est plus vaste et statistique qui est comment la voiture va distribuer le risque sur les différents usagers de la route, mais la forme est, comme vous le dites, la plus frappante de ce problème-là, c’est son cas limite, le cas où vraiment la voiture a à décider de tuer un certain groupe de victimes ou un autre, dans une situation de crash immédiat.

Ali Rebeihi : C’est abusif de dire que dans les prochaines années l’algorithme de l’automobile sans conducteur décidera du sort soit des piétons soit des passagers de l’automobile ?

Jean-François Bonnefon : Décider, pour une voiture, c’est un peu l’anthropomorphiser, c’est sûr.

Ali Rebeihi : Je parle des algorithmes.

Jean-François Bonnefon : L’algorithme va faire ce qu’on lui a dit de faire. Il va optimiser la fonction qu’on lui a demandé d’optimiser. Ça veut dire qu’à un moment il y a des humains qui vont devoir dire qu’est-ce que nous souhaitons que l’algorithme fasse dans ces situations.

Ali Rebeihi : Vous avez réalisé des études pour essayer de comprendre ce que les gens susceptibles d’acheter ces voitures attendent de ce genre d’automobile. Globalement, les individus souhaitent que les voitures sans conducteur puissent sacrifier leurs passagers pour sauver un plus grand nombre de piétons, mais ils ne veulent pas acheter une voiture qui pourrait les sacrifier eux-mêmes.

Jean-François Bonnefon : C’est cela et j’ai envie de dire que je les comprends. Ce n’est pas de l’hypocrisie. Je comprends bien que dans un monde idéal la voiture devrait faire le moins possible de victimes, donc, parfois, peut-être sacrifier son passager pour sauver dix piétons. Mais est-ce que j’ai envie de rouler dans une voiture comme ça moi-même ? Non, pas forcément, je comprends que c’est peut-être le meilleur des mondes, mais je n’ai pas envie de faire ce sacrifice-là moi-même. C’est complètement compréhensible et c’est, disons, une des formes de ce qu’on appelle en économie un dilemme social, c’est-à-dire que je comprends qu’il y a un monde idéal où tout le monde ferait cette action-là mais moi je n’ai pas très envie de la faire.

Ali Rebeihi : Et pourquoi ne pas laisser faire le hasard ?

Jean-François Bonnefon : Peut-être parce que le hasard c’est une façon de nous échapper, de ne pas prendre nos responsabilités. Il y a d’autres domaines, par exemple le don d’organes, où on se trouve dans cette situation : par exemple il n’y a pas assez de reins pour tous les gens qui les attendent, eh bien on ne fait pas une loterie, on prend nos responsabilités, on définit des critères pour les attribuer. Je n’ai jamais quelqu’un me dire « il faut que les organes soient distribués par loterie. »

Ali Rebeihi : Ça peut freiner l’achat de ces voitures sans conducteur si la voiture sacrifie le passager au profit des piétons ?

Jean-François Bonnefon : Ça pourrait, mais je ne sais pas trop ce qui pourrait se passer. On a eu un exemple, en particulier quand un cadre de Mercedes avait dit dans une interview : « Nos voitures privilégieront toujours la vie de leurs passagers aux dépens de celle des autres usagers. » On a envie de se dire que c’est peut-être séduisant pour les consommateurs potentiels de ces voitures, mais ils ont dû faire marche arrière en quelques jours après le scandale que ces propos ont déclenché. Les gens disaient : « Ah bon ? Ça veut dire que les riches possesseurs de Mercedes ont le droit de rouler sur tout le monde ? » La publicité était tellement mauvaise pour Mercedes qu’ils ont été obligés de revenir sur cette parole-là.

Ali Rebeihi : Dans quelques instants on s’intéressera à la Moral Machine que vous avez cocréée, Jean-François Bonnefon, qui a connu un succès absolument extraordinaire. Vous la connaissez, Aurélie Jean, cette machine.

Aurélie Jean : Oui, je l’ai testée moi-même.

Ali Rebeihi : On va expliquer tout à l’heure ce qu’est cette machine, vous me dites si je dis une bêtise, qui permet de collecter les préférences morales des gens, une base de données pour déterminer les algorithmes les plus acceptables pour les populations concernant la voiture sans conducteur.

Jean-François Bonnefon : Là vous avez utilisé le mot correct « les plus acceptables ». Ça ne veut pas dire qu’on dicte aux gouvernements ce qu’il faudrait faire ou aux constructeurs ce qu’il faudrait faire. On les informe juste de ce que la population juge le plus acceptable.

Ali Rebeihi : D’ailleurs vous présidez une commission auprès de la Commission européenne.

Jean-François Bonnefon : Oui, un groupe expert à la Commission européenne pour faire des suggestions sur la régulation de ce genre de situation.

Ali Rebeihi : De ce genre de voiture sans conducteur. On verra ça juste après la chronique « Pas son genre » de Giulia Foïs.

[Virgule sonore]

29’52

Chronique « Pas son genre » de Giulia Foïs, non transcrite.

37’30

Ali Rebeihi : Grand bien vous fasse sur France Inter

Ali Rebeihi : 10 heures 43 Faut-il avoir peur des algorithmes ?