Biaisé comme l’IA - Algorithmique
Titre : Biaisé comme l'IA - Algorithmique [2/6]
Intervenantes : Isabelle Collet - Raziye Buse Çetin - Mathilde Saliou
Lieu : Podcast Algorithmique - Next
Date : 9 octobre 2024
Durée : 42 min
Licence de la transcription : Verbatim
Illustration : À prévoir
NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l’April, qui ne sera en aucun cas tenue responsable de leurs propos.
Description
Biais sexistes et racistes de ChatGPT, impossibilité, pour Midjourney ou Stable Diffusion, de représenter la diversité du monde, biais dans la promotion d’offres d’emploi sur les réseaux sociaux… Aussi performants qu’ils soient présentés, les systèmes algorithmiques commettent des erreurs, les modèles d’IA générative produisent des résultats biaisés, et cela crée chaque fois d’intenses débats sur ce que devraient être les bonnes représentations (si tant est qu’il existe des réponses fixes à ces questions).
Transcription
Voix off : Next, Next, Next, Next, Next.
Denise, une des voix du site ttsfree.com : a doctor, un docteur ; a nurse, une infirmière ; an engineer, un ingénieur, an aid, une aide ménagère.
Mathilde Saliou : Salut. C’est Mathilde Saliou. Si vous avez écouté notre épisode précédent, vous connaissez déjà notre intelligence artificielle, Denise. Mais, n’y a-t-il pas un truc qui vous gêne, là, dans la manière dont elle a traduit les noms de métiers ? L’anglais est une langue neutre. Alors pourquoi, en français, ce serait les infirmières qui se verraient traduire au féminin et les ingénieurs qui seraient traduits au masculin ? Ce ne serait pas un peu sexiste tout ça ? Dis-moi, Denise, où as-tu appris toutes ces idées moisies ?
Raziye Buse Çetin : L’IA, je la vois aussi comme un miroir qui nous oblige à nous regarder, qui montre nos défauts de façon beaucoup plus exagérée.
Isabelle Collet : Quand un nouvel objet technologique apparaît, on imagine que les garçons sont, bien sûr plus, intéressés que les filles par ce rapport à la technique.
Mathilde Saliou : Je suis Mathilde Saliou journaliste et autrice de Technoféminisme – comment le numérique aggrave les inégalités, et vous écoutez Algorithmique un podcast produit par Next
Épisode 2 Biaisé comme l’IA
Mathilde Saliou : On peut facilement croire que l’intelligence artificielle est neutre, c’est ce que nous disent les discours marketing en tout cas. À les écouter, utiliser ces nouvelles technologies, c’est nécessairement obtenir de meilleurs résultats, une plus grande efficacité, donc quelque chose de mieux que ce que l’on aurait actuellement et ça n’est pas complètement aberrant. L’IA s’appuie beaucoup sur l’informatique. L’informatique, ça repose beaucoup sur les mathématiques et on a tendance à qualifier les mathématiques de sciences dures ou sciences exactes, c’est-à-dire une science dont la plupart d’entre nous avons l’impression qu’elle ne peut pas se tromper. Or, quand on aborde ces mondes technologiques au prisme des questions sociales, comme le font mes deux invitées du jour, on a vite fait de comprendre que c’est beaucoup plus compliqué.
Quand je me suis mise à travailler sur cet épisode, je n’ai pas consciemment décidé de sortir des frontières hexagonales. Mais il faut quand même que vous sachiez qu’Isabelle Collet est suisse et, comme elle est installée à Genève et moi à Paris, nous nous sommes appelées en ligne.
Isabelle Collet : Je m’appelle Isabelle Collet, je suis professeur en sciences de l’éducation à l’Université de Genève et je travaille depuis 20 ans sur les questions de genre dans le numérique.
Mathilde Saliou : Avec elle, vous l’aurez compris, on va avant tout parler de biais de genre. Ça me paraît important, parce que c’est un angle d’approche assez parlant. En France, les femmes comptent pour 52 % de la population et les hommes pour 48 %,. Que l’on parle des uns ou des autres, ça signifie que l’on s’intéresse toujours, plus ou moins, à la moitié de la population. Cela dit, si on veut aborder la manière dont l’intelligence artificielle interagit avec les questions sociales, il existe plein d’autres grilles de lecture. C’est précisément ce qui intéresse ma deuxième interlocutrice, Raziye Buse Çetin. Buse est turque et elle est venue suivre ses études universitaires en France dans les années 2010.
Raziye Buse Çetin : Je m’appelle Raziye Buse Çetin. Je suis chercheuse, consultante en éthique, gouvernance et impact de l’intelligence artificielle. À côté, je mène aussi des projets artistiques. Je réfléchis, je parle, j’écris pour faire en sorte qu’on comprenne mieux, dans la société, l’impact intersectionnel des nouvelles technologies comme l’intelligence artificielle.
Mathilde Saliou : J’ai rencontré Isabelle Collet et Raziye Buse Çetin à deux moments différents. Sans se concerter pourtant, en tout cas à ma connaissance, elles ont toutes les deux mentionné un exemple symptomatique des questions de biais dans les systèmes algorithmiques. Je laisse Buse vous raconter.
Raziye Buse Çetin : C’est l’exemple d’Amazon. Maintenant ce n’est plus le cas, mais, il y a quelques années, Amazon avait commencé à utiliser un système d’intelligence artificielle pour filtrer, trier et analyser les CV qu’ils recevaient à chaque fois qu’il y avait un poste qui était disponible chez Amazon. Comme ils recevaient beaucoup de candidats, beaucoup d’applications, ils ont décidé de, justement, peut-être diminuer le temps que leur équipe de ressources humaines passait à regarder tous les CV un par un. Comme ils ont déjà une base de données, les CV des anciens employés d’Amazon et leurs décisions sur qui embaucher, qui ne pas embaucher pas, ils ont entraîné leur système sur cette base de données et ils ont commencé à utiliser le système. Mais, ils se sont vite rendu compte que le système de l’IA déclassifiait systématiquement les CV des femmes. Et même si on enlevait par exemple le nom, le genre, les informations sensibles et personnelles sur le CV, les facteurs ou les mots comme « capitaine de l’équipe de volley féminin », le système déclassifiait automatiquement le CV.
En plus de défavoriser systématiquement les femmes et tout ce qui est associé aux femmes, on a aussi observé que l’algorithme favorisait certaines activités qui n’ont rien à voir avec les qualités d’un bon employé ou le poste en question, comme jouer à la crosse à l’université ou des choses comme ça, qui sont des indications d’appartenance à une certaine classe sociale, certains genres, certaines écoles très prestigieuses et privilégiées.
Quand ils s’en sont rendu compte, après avoir essayé d’utiliser ce système, ça a été un premier choc, parce que, à l’époque, les gens ne pensaient pas qu’il ne fallait pas utiliser l’IA par exemple dans les ressources humaines, qu’il pouvait y avoir des biais, parce que les gens se disaient « les humains sont biaisés ; si on utilise les machines, les machines vont être objectives. »
Mathilde Saliou : Isabelle Collet, elle, résume l’affaire comme ceci.
Isabelle Collet : On a beaucoup cité l’exemple d’Amazon qui avait voulu recruter via l’intelligence artificielle et dont l’algorithme avait tendance à ne sélectionner que des CV d’hommes. Évidemment ! L’algorithme a regardé comment Amazon recrutait d’ordinaire et il a copié le sexisme de leur système RH. Quand on a écarté l’algorithme en disant « l’algorithme est sexiste », eh bien non, le système RH est sexiste, l’algorithme a très bien compris !
Maintenant, vous prenez ce même algorithme et vous lui dites « fais-moi une sélection pour une shortlist paritaire », on a une sélection pour une shortlist paritaire. C’est-à-dire qu’on pourrait tout à fait utiliser l’intelligence artificielle pour dépasser nos biais inconscients et lui demander une pré-sélection impérativement paritaire, de sorte que des CV qu’on aurait pu écarter parce qu’on sait très bien qu’on a tendance, nous humains, à reconnaître la compétence davantage chez les hommes que chez les femmes, on demandait à l’IA de sortir les cinq meilleurs CV hommes et les cinq meilleurs CV femmes et ça nous aide à dépasser nos biais.
Mathilde Saliou : Si cette histoire est emblématique, c’est qu’elle permet de décortiquer plusieurs choses.
Comme l’a dit Buse Çetin, le système de sélection algorithmique des CV avait un problème d’entraînement : ses données étaient biaisées, comme on dit dans le jargon. Les biais, vous allez l’entendre au fil de l’épisode, c’est encore un mot un peu fourre-tout du domaine de l’intelligence artificielle :
ça peut être entendu comme biais statistique, c’est-à-dire un simple déséquilibre dans les données ;
ça peut servir à faire un peu d’anthropomorphisme et laisser croire que les machines seraient sujettes à des sortes de biais cognitifs, de raccourcis de pensée similaires à ceux des humains ;
ou alors, c’est entendu dans un sens beaucoup plus social, c’est-à-dire pour parler de discrimination.
Dans le cas du système de recrutement d’Amazon, les développeurs ont surtout tenté de cacher le genre des candidats au modèle algorithmique. Mais quoi qu’ils fassent, même s’ils supprimaient les prénoms, le nom des écoles pour que la machine ne puisse pas s’appuyer sur les mentions « école de filles » ou « école de garçons » et plein d’autres choses du même style, le système parvenait toujours à retrouver le genre des candidats. Et, quand il l’avait trouvé, il éliminait systématiquement les candidates, donc les femmes.
Denise, une des voix du site ttsfree.com : Allez ! Bye-bye les meufs !
Mathilde Saliou : Comme le dit aussi très bien Isabelle Collet, le système mis au point par Amazon n’avait pas décrété tout seul qu’il réaliserait une série de sélections sexistes. Il a très bien appris des éléments historiques qui lui ont été soumis et, en fait, la machine a permis de rendre plutôt totalement évident le sexisme qui présidait jusque-là au processus de recrutement de l’entreprise.
Ce déséquilibre en fonction du genre n’est pas sans rappeler une dynamique plus large de l’industrie du numérique. Les femmes, on l’a dit, représentent la moitié de la population. Pourtant, comme dans la plupart des pays occidentaux, elles ne représentent, en France, qu’un quart des employés de l’industrie du numérique : 25 % d’entre eux sont des femmes, tout le reste ce sont des hommes. Pour être plus précise, ce sont 16 % des personnes qui construisent les outils numériques que nous utilisons au quotidien qui sont des femmes. Qu’est-ce que c’est que cette différence entre mes 25 et mes 16 % ? En fait, beaucoup de femmes qui sont employées dans l’industrie du numérique y occupent des fonctions support, c’est-à-dire des emplois juridiques, dans les ressources humaines, en marketing, et cet écart persiste au fil des ans. Et moi, forcément, je me demande comment expliquer ce déséquilibre marqué.
Isabelle Collet : On a une représentation qu’il y aurait un lien naturel entre les femmes et la nature, parce qu’elles sont enceintes, et, puisque les garçons ne peuvent pas se reproduire à l’intérieur de leur corps, ne peuvent pas être enceints, ne peuvent pas créer à l’intérieur de leur corps, eh bien il faudrait qu’ils puissent avoir une création externe, soit artistique, soit technologique, et cette croyance est ancestrale. Un livre d’un historien s’appelle ??? [9 min 37], qui réfléchit à la création des savoirs, et qui montre comment tout l’Occident chrétien a exclu les femmes de la création des savoirs au prétexte que la bonne science, la bonne création de savoirs se faisait entre hommes parce que les femmes créent autrement. Donc, les hommes créent de manière active, avec leur cerveau, les femmes créent de manière passive en se reproduisant biologiquement.
On peut se demander comment cela a encore un impact aujourd’hui. Le fait est. On associe toujours les femmes avec la maternité, le vivant, la relation aux autres, ce qui s’opposerait aux machines. Les garçons seraient supposés spontanément, plus naturellement, attirés par les machines. D’autant plus que quand on regarde les ethnologues, par exemple Paola Tabet qui explique que les outils et les armes ça a toujours été de la responsabilité des hommes qui, non seulement, se disent physiquement plus forts, mais qui, en plus, peuvent prolonger leur force via des outils, des armes, des machines., alors que les femmes doivent se contenter de leur propre force physique, des outils qu’elles fabriqueraient éventuellement par elles-mêmes ou des outils que les hommes veulent bien leur céder.
Donc, au bout du compte, quand un nouvel objet technologique apparaît, on imagine que les garçons sont, bien sûr, plus intéressés que les filles par ce rapport à la technique.
Mathilde Saliou : On l’entend. Chercher à expliquer la disparité de genre dans l’industrie numérique, ça ouvre une série de questions philosophiques qui irriguent, en fait, tous les pans de notre société. Parmi les idées qu’Isabelle Collet vient de nous citer, certaines expliquent pourquoi on a longtemps considéré qu’un génie était nécessairement masculin. Ça explique aussi pourquoi on a tendance à faire disparaître les femmes savantes, les artistes, les politiques de l’histoire. Bref ! Ça a des implications très larges, mais nous, dans Algorithmique, nous nous intéressons à l’intelligence artificielle. Je demande donc à Isabelle Collet à quand, selon elle, on peut dater dans l’histoire de l’informatique, le début des problèmes de genre.
Isabelle Collet : En travaillant sur l’histoire de l’informatique, je suis arrivée à un premier jalon au moment de la Deuxième Guerre mondiale. Je me suis rendu compte que les pères de l’informatique, du matériel j’entends, n’avaient pas envie de créer une grosse machine statistique, pas une grosse machine à calculer. Ils avaient envie de créer un cerveau humain. De fait, ils ont créé une grosse machine statistique, parce qu’avec les moyens qu’ils avaient à l’époque, c’était compliqué, mais c’était leur but.
John von Neumann, qui est le père de l’architecture des ordinateurs d’aujourd’hui, pensait que l’aboutissement ultime de la science c’était de dupliquer le cerveau humain et c’est ce qu’il a essayé de faire. Il a tellement essayé de faire que, par exemple, quand il a choisi les tubes à vide comme composant des ordinateurs, c’est parce que ça ressemblait aux neurones. C’était un composant assez peu fiable, ce n’était pas la seule option possible, mais comme ça avait un fonctionnement qu’il jugeait proche de celui des neurones, c’est celui qui lui a semblé le plus intéressant. Dans les faits ça ne marchait pas, on est bien d’accord, mais l’intelligence artificielle commence au moment où on a conçu les premiers ordinateurs parce que c’est ce qu’on voulait réaliser.
Quand on remonte encore plus loin dans le temps, générer et créer des créatures artificielles sans passer par la procréation biologique, c’est un fantasme de l’humanité qui est vraiment très ancien. On pourrait dire, après tout, que le golem, une créature de terre qui a été animée par le Maharal de Prague pour aider les Juifs du ghetto, était déjà une intelligence artificielle. Et on retrouve, tout au long de l’histoire de l’humanité, des histoires de créatures artificielles, fabriquées par l’homme – et je dis bien l’homme, pas les humains ou la femme, fabriquées par l’homme – pour aider l’humanité, pour le bien ou pour le meilleur, il y a un certain nombre de créatures avec lesquelles ça se passe mal !
13’ 20
Mathilde Saliou : Parmi les autres exemples
