Biaisé comme l’IA - Algorithmique

Titre : Biaisé comme l'IA - Algorithmique [2/6]

Intervenantes : Isabelle Collet - Raziye Buse Çetin - Mathilde Saliou

Lieu : Podcast Algorithmique - Next

Date : 9 octobre 2024

Durée : 42 min

Podcast

Présentation du podcast

Licence de la transcription : Verbatim

Illustration : À prévoir

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l’April, qui ne sera en aucun cas tenue responsable de leurs propos.

Description

Biais sexistes et racistes de ChatGPT, impossibilité, pour Midjourney ou Stable Diffusion, de représenter la diversité du monde, biais dans la promotion d’offres d’emploi sur les réseaux sociaux… Aussi performants qu’ils soient présentés, les systèmes algorithmiques commettent des erreurs, les modèles d’IA générative produisent des résultats biaisés, et cela crée chaque fois d’intenses débats sur ce que devraient être les bonnes représentations (si tant est qu’il existe des réponses fixes à ces questions).

Transcription

Voix off : Next, Next, Next, Next, Next.

Denise, une des voix du site ttsfree.com : a doctor, un docteur ; a nurse, une infirmière ; an engineer, un ingénieur, an aid, une aide ménagère.

Mathilde Saliou : Salut. C’est Mathilde Saliou. Si vous avez écouté notre épisode précédent, vous connaissez déjà notre intelligence artificielle, Denise. Mais, n’y a-t-il pas un truc qui vous gêne, là, dans la manière dont elle a traduit les noms de métiers ? L’anglais est une langue neutre. Alors pourquoi, en français, ce serait les infirmières qui se verraient traduire au féminin et les ingénieurs qui seraient traduits au masculin ? Ce ne serait pas un peu sexiste tout ça ? Dis-moi, Denise, où as-tu appris toutes ces idées moisies ?

Raziye Buse Çetin : L’IA, je la vois aussi comme un miroir qui nous oblige à nous regarder, qui montre nos défauts de façon beaucoup plus exagérée.

Isabelle Collet : Quand un nouvel objet technologique apparaît, on imagine que les garçons sont, bien sûr plus, intéressés que les filles par ce rapport à la technique.

Mathilde Saliou : Je suis Mathilde Saliou journaliste et autrice de Technoféminisme – comment le numérique aggrave les inégalités, et vous écoutez Algorithmique un podcast produit par Next

Épisode 2 Biaisé comme l’IA

Mathilde Saliou : On peut facilement croire que l’intelligence artificielle est neutre, c’est ce que nous disent les discours marketing en tout cas. À les écouter, utiliser ces nouvelles technologies, c’est nécessairement obtenir de meilleurs résultats, une plus grande efficacité, donc quelque chose de mieux que ce que l’on aurait actuellement et ça n’est pas complètement aberrant. L’IA s’appuie beaucoup sur l’informatique. L’informatique, ça repose beaucoup sur les mathématiques et on a tendance à qualifier les mathématiques de sciences dures ou sciences exactes, c’est-à-dire une science dont la plupart d’entre nous avons l’impression qu’elle ne peut pas se tromper. Or, quand on aborde ces mondes technologiques au prisme des questions sociales, comme le font mes deux invitées du jour, on a vite fait de comprendre que c’est beaucoup plus compliqué.
Quand je me suis mise à travailler sur cet épisode, je n’ai pas consciemment décidé de sortir des frontières hexagonales. Mais il faut quand même que vous sachiez qu’Isabelle Collet est suisse et, comme elle est installée à Genève et moi à Paris, nous nous sommes appelées en ligne.

Isabelle Collet : Je m’appelle Isabelle Collet, je suis professeur en sciences de l’éducation à l’Université de Genève et je travaille depuis 20 ans sur les questions de genre dans le numérique.

Mathilde Saliou : Avec elle, vous l’aurez compris, on va avant tout parler de biais de genre. Ça me paraît important, parce que c’est un angle d’approche assez parlant. En France, les femmes comptent pour 52 % de la population et les hommes pour 48 %,. Que l’on parle des uns ou des autres, ça signifie que l’on s’intéresse toujours, plus ou moins, à la moitié de la population. Cela dit, si on veut aborder la manière dont l’intelligence artificielle interagit avec les questions sociales, il existe plein d’autres grilles de lecture. C’est précisément ce qui intéresse ma deuxième interlocutrice, Raziye Buse Çetin. Buse est turque et elle est venue suivre ses études universitaires en France dans les années 2010.

Raziye Buse Çetin : Je m’appelle Raziye Buse Çetin. Je suis chercheuse, consultante en éthique, gouvernance et impact de l’intelligence artificielle. À côté, je mène aussi des projets artistiques. Je réfléchis, je parle, j’écris pour faire en sorte qu’on comprenne mieux, dans la société, l’impact intersectionnel des nouvelles technologies comme l’intelligence artificielle.

Mathilde Saliou : J’ai rencontré Isabelle Collet et Raziye Buse Çetin à deux moments différents. Sans se concerter pourtant, en tout cas à ma connaissance, elles ont toutes les deux mentionné un exemple symptomatique des questions de biais dans les systèmes algorithmiques. Je laisse Buse vous raconter.

Raziye Buse Çetin : C’est l’exemple d’Amazon. Maintenant ce n’est plus le cas, mais, il y a quelques années, Amazon avait commencé à utiliser un système d’intelligence artificielle pour filtrer, trier et analyser les CV qu’ils recevaient à chaque fois qu’il y avait un poste qui était disponible chez Amazon. Comme ils recevaient beaucoup de candidats, beaucoup d’applications, ils ont décidé de, justement, peut-être diminuer le temps que leur équipe de ressources humaines passait à regarder tous les CV un par un. Comme ils ont déjà une base de données, les CV des anciens employés d’Amazon et leurs décisions sur qui embaucher, qui ne pas embaucher pas, ils ont entraîné leur système sur cette base de données et ils ont commencé à utiliser le système. Mais, ils se sont vite rendu compte que le système de l’IA déclassifiait systématiquement les CV des femmes. Et même si on enlevait par exemple le nom, le genre, les informations sensibles et personnelles sur le CV, les facteurs ou les mots comme « capitaine de l’équipe de volley féminin », le système déclassifiait automatiquement le CV.
En plus de défavoriser systématiquement les femmes et tout ce qui est associé aux femmes, on a aussi observé que l’algorithme favorisait certaines activités qui n’ont rien à voir avec les qualités d’un bon employé ou le poste en question, comme jouer à la crosse à l’université ou des choses comme ça, qui sont des indications d’appartenance à une certaine classe sociale, certains genres, certaines écoles très prestigieuses et privilégiées.
Quand ils s’en sont rendu compte, après avoir essayé d’utiliser ce système, ça a été un premier choc, parce que, à l’époque, les gens ne pensaient pas qu’il ne fallait pas utiliser l’IA par exemple dans les ressources humaines, qu’il pouvait y avoir des biais, parce que les gens se disaient « les humains sont biaisés ; si on utilise les machines, les machines vont être objectives. »

Mathilde Saliou : Isabelle Collet, elle, résume l’affaire comme ceci.

Isabelle Collet : On a beaucoup cité l’exemple d’Amazon qui avait voulu recruter via l’intelligence artificielle et dont l’algorithme avait tendance à ne sélectionner que des CV d’hommes. Évidemment ! L’algorithme a regardé comment Amazon recrutait d’ordinaire et il a copié le sexisme de leur système RH. Quand on a écarté l’algorithme en disant « l’algorithme est sexiste », eh bien non, le système RH est sexiste, l’algorithme a très bien compris !
Maintenant, vous prenez ce même algorithme et vous lui dites « fais-moi une sélection pour une shortlist paritaire », on a une sélection pour une shortlist paritaire. C’est-à-dire qu’on pourrait tout à fait utiliser l’intelligence artificielle pour dépasser nos biais inconscients et lui demander une pré-sélection impérativement paritaire, de sorte que des CV qu’on aurait pu écarter parce qu’on sait très bien qu’on a tendance, nous humains, à reconnaître la compétence davantage chez les hommes que chez les femmes, on demandait à l’IA de sortir les cinq meilleurs CV hommes et les cinq meilleurs CV femmes et ça nous aide à dépasser nos biais.

Mathilde Saliou : Si cette histoire est emblématique, c’est qu’elle permet de décortiquer plusieurs choses.
Comme l’a dit Buse Çetin, le système de sélection algorithmique des CV avait un problème d’entraînement : ses données étaient biaisées, comme on dit dans le jargon. Les biais, vous allez l’entendre au fil de l’épisode, c’est encore un mot un peu fourre-tout du domaine de l’intelligence artificielle :
ça peut être entendu comme biais statistique, c’est-à-dire un simple déséquilibre dans les données ;
ça peut servir à faire un peu d’anthropomorphisme et laisser croire que les machines seraient sujettes à des sortes de biais cognitifs, de raccourcis de pensée similaires à ceux des humains ;
ou alors, c’est entendu dans un sens beaucoup plus social, c’est-à-dire pour parler de discrimination.
Dans le cas du système de recrutement d’Amazon, les développeurs ont surtout tenté de cacher le genre des candidats au modèle algorithmique. Mais quoi qu’ils fassent, même s’ils supprimaient les prénoms, le nom des écoles pour que la machine ne puisse pas s’appuyer sur les mentions « école de filles » ou « école de garçons » et plein d’autres choses du même style, le système parvenait toujours à retrouver le genre des candidats. Et, quand il l’avait trouvé, il éliminait systématiquement les candidates, donc les femmes.

Denise, une des voix du site ttsfree.com : Allez ! Bye-bye les meufs !

Mathilde Saliou : Comme le dit aussi très bien Isabelle Collet, le système mis au point par Amazon n’avait pas décrété tout seul qu’il réaliserait une série de sélections sexistes. Il a très bien appris des éléments historiques qui lui ont été soumis et, en fait, la machine a permis de rendre plutôt totalement évident le sexisme qui présidait jusque-là au processus de recrutement de l’entreprise.
Ce déséquilibre en fonction du genre n’est pas sans rappeler une dynamique plus large de l’industrie du numérique. Les femmes, on l’a dit, représentent la moitié de la population. Pourtant, comme dans la plupart des pays occidentaux, elles ne représentent, en France, qu’un quart des employés de l’industrie du numérique : 25 % d’entre eux sont des femmes, tout le reste ce sont des hommes. Pour être plus précise, ce sont 16 % des personnes qui construisent les outils numériques que nous utilisons au quotidien qui sont des femmes. Qu’est-ce que c’est que cette différence entre mes 25 et mes 16 % ? En fait, beaucoup de femmes qui sont employées dans l’industrie du numérique y occupent des fonctions support, c’est-à-dire des emplois juridiques, dans les ressources humaines, en marketing, et cet écart persiste au fil des ans. Et moi, forcément, je me demande comment expliquer ce déséquilibre marqué.

Isabelle Collet : On a une représentation qu’il y aurait un lien naturel entre les femmes et la nature, parce qu’elles sont enceintes, et, puisque les garçons ne peuvent pas se reproduire à l’intérieur de leur corps, ne peuvent pas être enceints, ne peuvent pas créer à l’intérieur de leur corps, eh bien il faudrait qu’ils puissent avoir une création externe, soit artistique, soit technologique, et cette croyance est ancestrale. Un livre d’un historien s’appelle ??? [9 min 37], qui réfléchit à la création des savoirs, et qui montre comment tout l’Occident chrétien a exclu les femmes de la création des savoirs au prétexte que la bonne science, la bonne création de savoirs se faisait entre hommes parce que les femmes créent autrement. Donc, les hommes créent de manière active, avec leur cerveau, les femmes créent de manière passive en se reproduisant biologiquement.
On peut se demander comment cela a encore un impact aujourd’hui. Le fait est. On associe toujours les femmes avec la maternité, le vivant, la relation aux autres, ce qui s’opposerait aux machines. Les garçons seraient supposés spontanément, plus naturellement, attirés par les machines. D’autant plus que quand on regarde les ethnologues, par exemple Paola Tabet qui explique que les outils et les armes ça a toujours été de la responsabilité des hommes qui, non seulement, se disent physiquement plus forts, mais qui, en plus, peuvent prolonger leur force via des outils, des armes, des machines., alors que les femmes doivent se contenter de leur propre force physique, des outils qu’elles fabriqueraient éventuellement par elles-mêmes ou des outils que les hommes veulent bien leur céder.
Donc, au bout du compte, quand un nouvel objet technologique apparaît, on imagine que les garçons sont, bien sûr, plus intéressés que les filles par ce rapport à la technique.

Mathilde Saliou : On l’entend. Chercher à expliquer la disparité de genre dans l’industrie numérique, ça ouvre une série de questions philosophiques qui irriguent, en fait, tous les pans de notre société. Parmi les idées qu’Isabelle Collet vient de nous citer, certaines expliquent pourquoi on a longtemps considéré qu’un génie était nécessairement masculin. Ça explique aussi pourquoi on a tendance à faire disparaître les femmes savantes, les artistes, les politiques de l’histoire. Bref ! Ça a des implications très larges, mais nous, dans Algorithmique, nous nous intéressons à l’intelligence artificielle. Je demande donc à Isabelle Collet à quand, selon elle, on peut dater dans l’histoire de l’informatique, le début des problèmes de genre.

Isabelle Collet : En travaillant sur l’histoire de l’informatique, je suis arrivée à un premier jalon au moment de la Deuxième Guerre mondiale. Je me suis rendu compte que les pères de l’informatique, du matériel j’entends, n’avaient pas envie de créer une grosse machine statistique, pas une grosse machine à calculer. Ils avaient envie de créer un cerveau humain. De fait, ils ont créé une grosse machine statistique, parce qu’avec les moyens qu’ils avaient à l’époque, c’était compliqué, mais c’était leur but.
John von Neumann, qui est le père de l’architecture des ordinateurs d’aujourd’hui, pensait que l’aboutissement ultime de la science c’était de dupliquer le cerveau humain et c’est ce qu’il a essayé de faire. Il a tellement essayé de faire que, par exemple, quand il a choisi les tubes à vide comme composant des ordinateurs, c’est parce que ça ressemblait aux neurones. C’était un composant assez peu fiable, ce n’était pas la seule option possible, mais comme ça avait un fonctionnement qu’il jugeait proche de celui des neurones, c’est celui qui lui a semblé le plus intéressant. Dans les faits ça ne marchait pas, on est bien d’accord, mais l’intelligence artificielle commence au moment où on a conçu les premiers ordinateurs parce que c’est ce qu’on voulait réaliser.
Quand on remonte encore plus loin dans le temps, générer et créer des créatures artificielles sans passer par la procréation biologique, c’est un fantasme de l’humanité qui est vraiment très ancien. On pourrait dire, après tout, que le golem, une créature de terre qui a été animée par le Maharal de Prague pour aider les Juifs du ghetto, était déjà une intelligence artificielle. Et on retrouve, tout au long de l’histoire de l’humanité, des histoires de créatures artificielles, fabriquées par l’homme – et je dis bien l’homme, pas les humains ou la femme, fabriquées par l’homme – pour aider l’humanité, pour le bien ou pour le meilleur, il y a un certain nombre de créatures avec lesquelles ça se passe mal !

13’ 20

Mathilde Saliou : Parmi les autres exemples de ce type de créature, citons Galathée qui a été créée de a à z par Pygmalion et dont celui-ci est tombé éperdument amoureux ; le monstre créé par Victor Frankenstein dans le roman éponyme de Mary Shelley, c’est encore à peu près la même idée ; de même que les robots fabriqués par Isaac Asimov, même si ceux-ci sont, à priori, un peu plus bienveillants.
Mais en dehors du monde de la fiction, quand le champ technologique décide de reproduire ce qu’il appellera bientôt l’intelligence artificielle, comment le fait-il ? En fait, ma question, là, c’est encore un sujet de définition : qu’est-ce que les pères de l’informatique considèrent du ressort de l’intelligence ? Est-ce ce que ça peut expliquer une partie des déséquilibres de genre qu’on constate encore aujourd’hui ?

Isabelle Collet : John von Neumann, c’était très clair, lui voulait dupliquer son propre cerveau. Selon lui, la source d’intelligence, c’était la mémoire. John von Neumann avait une mémoire eidétique. Il pouvait lire un texte et le réciter de mémoire, il parlait sept ou huit langues. Il avait effectivement une mémoire absolument extraordinaire, donc, quand il dit que la source de l’intelligence est la mémoire, on voit très bien à quoi il se réfère, à qui il pense. Donc, le cerveau qui voulait créer, c’était le sien.

Mathilde Saliou : Le plus fort de la carrière de John von Neumann, pour le dire vite, a lieu dans les années 40 et 50 et ouis il meurt en 1957. L’expression « intelligence artificielle », elle, est rendue publique par Marvin Minsky en 1956, donc un an avant. Dans les années qui suivent, une bonne partie des travaux en la matière se concentre sur un domaine précis : celui des jeux d’échecs, puis du jeu de go. J’en discute avec Isabelle Collet qui rappelle qu’il faut se placer dans un contexte de guerre froide puis de post-guerre froide où il y a des joueurs d’échecs russes très bons et puis des joueurs étasuniens plus à la traîne.

Isabelle Collet : Un mathématicien de l’époque, avec ironie, dit que parmi ses collègues ils se disaient « nous, nous sommes intelligents, on fait des maths, on joue aux échecs, donc si ça fait des maths et que ça joue aux échecs, c’est que ça doit être intelligent. ». Je schématise un peu vite fait, mais ça veut bien dire où était la source de leur inspiration.
Aujourd’hui, si on demandait ce qui symbolise le plus l’intelligence humaine, je doute que la réponse soit « jouer aux échecs » ; peut-être qu’on irait du côté du langage, peut-être du côté la création. Bref ! C’est quand même assez emblématique que jouer et gagner aux échecs soit devenu ce symbole de l’ordinateur intelligent et c’est une pure fabrication, c’est une fabrication parce que les Américains ont fabriqué Deep Blue. Par la suite, quand AlphaGo se met à gagner, à battre le meilleur joueur de go, là encore on se bat à reparler d’intelligence. Alphago est très bon pour jouer au go, mais il est incapable, comme l’a dit un chercheur en IA, d’aller se faire un sandwich. Ses capacité sont quand même très précises. Ça n’est pas emblématique, sûrement pas, de l’intelligence humaine.
Par contre, quand on regarde la population qui joue au go ou qui joue aux échecs, elle n’est effectivement pas très mixte, comme n’est pas très mixte la population des développeurs de l’intelligence artificielle. Je fais le pari, je n’en sais rien, mais je fais le pari que si, à l’origine, ces développeurs avaient été un milieu plus mixte, si l’intelligence artificielle avait commencé par être programmée par des femmes, peut-être que ce serait la reconnaissance du langage qui aurait été en premier pour symboliser l’intelligence humaine.

Mathilde Saliou : Si on veut être vraiment exacte, dans les années 1950/1960, il y a des femmes qui travaillent dans le champ technologique, mais même si elles sont présentes, elles n’ont pas forcément accès aux postes décisionnaires. Ce qu’Isabelle Collet nous dit est très clair, d’ailleurs ça se voit dans les livres d’histoire du numérique : elles sont plutôt écartées des réflexions sur ce qu’est ou va devenir le champ de l’intelligence artificielle. Et puis dans les années 70, et surtout 1980, les choses se gâtent.

Isabelle Collet : À partir du moment où la programmation a pris ses lettres de noblesse, à partir du moment où des filières se sont ouvertes dans les écoles d’ingénieurs, dans les universités, que les emplois ont été bien rémunérés, que de belles carrières s’ouvraient devant les ingénieurs logiciels, ce métier s’est considérablement masculinisé. Les femmes ne sont pas parties ; elles n’étaient pas très nombreuses, elles restent pas très nombreuses, mais, comme la quantité d’hommes augmente considérablement, évidemment, en pourcentage la part des femmes s’écroule. Et simultanément, c’est l’arrivée du micro-ordinateur dans les foyers. Chaque fois qu’un nouvel objet technologique arrive, les garçons sont équipés les premiers – ça s’est passé pour le walkman, pour la console de jeux – et là l’image du geek ou de nerd commence à émerger.

Voix off : Salut les amis. Aujourd’hui on va parler d’un sujet fondamental en informatique, les algorithmes.
Voici dix conseils en moins de cinq minutes pour progresser dans Fortnite, c’est parti.
Aujourd’hui, on se trouve pour un petit tuto comment avoir gratuitement sur PS5, PS4, ???, Xbox One et Xbox Series.
Salut les amis, je suis de retour pour vous parler de la programmation.

Isabelle Collet : On trouve des jeunes garçons très investis dans le rapport à leur ordinateur, avec des modèles qui existent dans la pop culture – pas tous les garçons, les ordinateurs coûtaient cher à l’époque –, mais on imagine que ces garçons qui bidouillent et qui, d’ailleurs, peuvent tirer leur épingle du jeu quand ils ne s’en sortent pas avec les moyens scolaires habituels, parce qu’on peut être petit génie de l’informatique tout en étant mauvais à l’école puisque ça semble être une discipline toute nouvelle, eh bien une nouvelle représentation de l’informaticien se crée : ce gamin qui bidouille tout seul sur son ordinateur. Quand on est une fille, ce n’est pas forcément attirant, quand on est un garçon ce n’est pas non plus forcément attirant, mais, au moins, c’est possible puisque ce sont des garçons qui le font.
J’ai interviewé des informaticiens de ces années-là qui disaient « attention, c’est du sport ; attention je sors ! ». Ils voulaient me prouver qu’ils n’étaient pas des nerds. Les filles n’avaient pas besoin de me dire ça ! Eh bien oui, parce qu’elles n’étaient pas des garçons, dont ça ne risquait pas !
Si on combine le métier qui monte en puissance, la valeur sociale du métier, les salaires, les carrières, etc., et les représentations qui s’ancrent dans ce personnage du jeune homme très investi dans la machine, eh bien on a deux phénomènes qui concourent dans le même sens pour masculiniser l’informatique, ses représentations, ses métiers. Donc depuis, somme toute, la fin des années 80, la part des femmes en informatique est minime, entre 15 et 18 % selon ce qu’on compte, il faut quand même aller voir dans les chiffres.

Mathilde Saliou : Là, on commence à bien comprendre comment le déséquilibre entre femmes et hommes dans l’industrie informatique s’est implanté. Avant d’en arriver à l’effet que ça sur les technologies d’intelligence artificielle, il faut quand même préciser que ce déséquilibre n’a rien d’une généralité.

Isabelle Collet : L’informatique, dans les pays occidentaux, naît sur certains mythes et sur certaines histoires de créatures artificielles, par exemple, mais aussi de ces pionniers de l’informatique qui ont voulu dupliquer le cerveau humain, de ce qui a pu se passer au MIT, de ce qui a pu se passer en Californie, qui se mélangeait à la pop culture, la culture hacker, etc. Bref ! Il y a tout un ensemble de représentations qui installent l’ordinateur, le numérique, dans des communautés d’hommes. On n’a pas forcément ces histoires-là en dehors de l’Occident. En dehors de l’Occident, qu’est-ce qu’on constate quand on regarde les métiers de l’informatique ? Que ce sont des métiers qui n’ont pas besoin de force physique, qu’on peut exercer de chez soi en s’occupant de ses parents âgés ou en s’occupant d’enfants, que c’est un métier du tertiaire qui n’est pas salissant, qui n’est pas dangereux, on n’est pas obligé de s’exposer au monde public, au regard des hommes, etc., bref !, c’est un bon métier de femme. C’est vrai que tout ce que j’ai listé correspond, mais pas que ça, évidemment. Si on demandait, en Occident : « Qu’est-ce qui, pour toi, incarne l’informatique, symbolise l’informatique ? », en général on dit la programmation, le code, le rapport à la machine, ça en fait partie aussi, mais ce n’est qu’une des dimensions. Quand on va interviewer les femmes qui sont informaticiennes, par exemple en Malaisie parce que c’est là que les premières recherches ont été faites sur cette question, non seulement elles disent que c’est un bon métier de femme pour toutes les raisons que je viens de lister, mais, en plus, elles disent « plus l’informatique est théorique, plus le métier est féminin », parce que, justement, c’est là où on a le moins besoin de sortir dans le monde et le plus de facilités à travailler de chez soi. Alors que quand Internet est arrivé, en France par exemple, c’est le moment où les filières sur Internet se développaient dans les écoles d’ingénieurs, là on me disait « Internet c’est de la communication, les femmes aiment la communication, elles vont être plus nombreuses dans les filières où il y a Internet ». De fait non, ce sont des pures représentations qu’on avait.
Avec ces deux exemples, on constate que ce qui ne change pas, c’est qu’on considère qu’il y a des métiers d’hommes et des métiers de femmes. Par contre, là où ça peut changer, ce sont les caractéristiques qu’on met sur un outil ou sur un autre qui font qu’on va considrer que c’est un métier d’hommes ou un métier de femmes.

Mathilde Saliou : Isabelle Collet nous parle de métiers qui sont considérés par la société comme correspondant plutôt aux hommes ou plutôt aux femmes, mais il faut bien comprendre que le genre n’a, à priori, rien à voir avec les compétences attendues pour réaliser les tâches demandées. Je trouve super intéressant le fait de prendre les lunettes des questions sociales pour analyser l’intelligence artificielle. En fait, ça permet de questionner plein de préconçus que l’on a sur ce type de technologie et dont, parfois, on n’a même pas conscience d’avoir. Avec Isabelle Collet, on a déjà pas mal parlé de ce biais lié au genre, mais Buse Çetin, elle, a vite repéré d’autres types de déséquilibres.

Raziye Buse Çetin : J’ai été très surprise de lire les chiffres que projetaient les boîtes de consulting comme PwC, McKenzie à l’époque, qui disaient que l’intelligence artificielle allait faire gagner x millions de dollars à l’économie mondiale, mais surtout dans l’économie des pays, entre guillemets, « développés ». Du coup, je me suis dit que si cette technologie devient tellement influente et qu’elle a autant de pouvoir et d’importance économique, militaire, géopolitique, qu’est-ce qu’on fait dans les pays en voie de développement et pourquoi, en fait, n’entend-on pas parler de ça ?

Mathilde Saliou : Cette question géopolitique, qui construit les technologies d’intelligence artificielle, comment, qui en profite aussi, matériellement, financièrement, tout ça c’est directement lié aux questions de biais de l’intelligence au sens social. La majorité des outils numériques qu’on utilise, on le sait, sont construits par une toute petite poignée d’acteurs, en tête desquels les GAFAM américains, Alphabet Microsoft, Meta et les autres. Pour entraîner leurs machines de manière relativement peu coûteuse, ces sociétés ont une propension très nette à sous-traiter dans des pays du Sud global, ce que le sociologue Antonio Casilli appelle « travail du clic ». Beaucoup de modèles d’intelligence artificielle et beaucoup d’outils de modération des plateformes étasuniennes sont entraînés au Kenya, par exemple, pour des salaires très faibles. De même, les entreprises du numérique françaises ont tendance à délocaliser l’entraînement de leurs machines dans l’ancienne colonie qu’était Madagascar.

Raziye Buse Çetin : En fait, il faut comprendre l’intelligence artificielle comme un système socio-technique et pas seulement un outil technologique ou de software. C’est un phénomène qui émerge, justement, dans un écosystème. Par exemple, un des ingrédients des systèmes d’IA on va dire avancés, ce sont les données. Pour entraîner certains systèmes et faire en sorte qu’ils soient performants, il faut utiliser beaucoup de données. Si on regarde l’histoire récente de systèmes de machine learning et d’intelligence artificielle dans les 20 dernières années, on voit très bien, aujourd’hui, que la source de données est aussi influencée par l’émergence des réseaux sociaux et des plateformes qui ont conduit à la création et à la collecte de beaucoup de données. Des utilisateurs, comme nous, nous avons utilisé ces services comme Facebook à l’époque, Instagram, TikTok, etc., sans forcément nous poser beaucoup de questions.
En fait, tout ce qu’on fait sur ces plateformes est mesuré, collecté, analysé sans qu’on le sache : nos likes, nos clics, combien de temps on passe sur une page. Même si on n’est pas, par exemple, sur Facebook, quand on fait une recherche simple sur Google, à chaque fois qu’il y a des cookies, je sais plus quel est le pourcentage, mais une grande partie du trafic Internet des cookies est toujours connecté aux mêmes entreprises de la Big Tech. Du coup, ça leur donne un avantage incomparable par rapport à d’autres en termes de données. Elles ont aussi beaucoup de capital, du coup elles ont le pouvoir d’attirer les talents en IA, ce qui est aussi une ressource importante et critique pour pouvoir développer des systèmes d’IA et aussi le computing, les ??? [26 min 05], ce côté un peu plus technique. En mettant tous ces facteurs ensemble, ce sont eux qui peuvent justement développer et intégrer les systèmes d’IA dans leurs services et plus on les utilise, plus, aussi, on les améliore.

Mathilde Saliou : Le problème c’est que certes on les entraîne, on les améliore, mais pas du tout de manière homogène. J’ai expliqué tout à l’heure que beaucoup des tâches d’entraînement étaient délocalisées dans des pays en développement, cela pose aussi quelquefois des problématiques culturelles. Par exemple, des écarts dans le type de vocabulaire utilisé par les entraîneurs et par les usagers finaux. On l’a aussi vu avec des questions de traduction ou de systèmes de gestion des CV. Mais Buse Çetin a un autre exemple, peut-être encore plus parlant.

26’ 40

Raziye Buse Çetin : En fait, il y a eu un scandale aux Pays-Bas et qui a continué pendant des années d’ailleurs, ce que je trouve vraiment très important· C’est un algorithme d’aide sociale qui aidait l’administration à repérer les personnes qui risquaient de faire une fraude dans leur déclaration de situation pour recevoir des aides gouvernementales. L’algorithme, de façon systématique, « flaguait » les gens qui avaient une histoire d’immigration, une situation de double nationalité, même si ces gens-là n’avaient pas commis de fraude et n’étaient pas forcément plus à risque de commettre de la fraude, etc. Pendant des années, les gens ont souffert à cause de cet algorithme, ils ont été stigmatisés, ils ont perdu l’accès à l’aide gouvernementale, à l’aide sociale et ils ont même perdu leur travail. Ce n’est pas la machine qui invente ces préjudices ! Les données qu’on va utiliser pour entraîner les systèmes de l’IA, ça va être, par exemple, les anciens dossiers, papiers administratifs. En fait, il faut qu’il y ait déjà une histoire de discrimination, d’inégalité institutionnelle, peut-être pas directe, assez subtile, qui s’infiltre dans les systèmes d’IA, même si on pense qu’on omet des facteurs d’inégalité, comme, on va dire, le niveau d’éducation, le genre, la nationalité, etc. de la personne.
On voit aussi ici que dans un domaine assez critique, où il y a beaucoup de personnes qui sont vulnérables économiquement, elles étaient persécutées par quelque chose qu’elles n’avaient pas commis et elles n’avaient pas les moyens de faire recours, de changer cette décision, de se faire entendre, parce qu’elles faisaient partie d’un groupe qui était déjà stigmatisé. On parle d’un contexte où il y a déjà de l’animosité, du racisme envers les personnes qui sont issues de l’immigration.

Mathilde Saliou : Pour Buse Çetin, il faudrait même qu’on fasse évoluer notre vocabulaire.

Raziye Buse Çetin : Si on regarde ce sujet seulement avec le prisme de biais, beaucoup de gens ont tendance à voir ça purement comme un problème technique et qui travaillent sur la façon d’améliorer ça, qui disent, par exemple, « on va faire en sorte d’utiliser des bases de données représentatives de chaque démographie ». Je pense qu’il faut aller un petit peu plus loin que ça et qu’il faut se poser la question de pourquoi on utilise ce système, qui profite de l’utilisation de ce système, qui est vu un petit peu comme un dommage collatéral dans plupart des cas. Je pense qu’il faut aller un peu plus loin, dans la question du biais algorithmique, que le voir comme un sujet, un problème technique. Il faut aussi regarder quel est le contexte politique économique, quelles sont les fins, les buts économiques, qu’est-ce qu’on met en avant, qu’est-ce qu’on cherche à augmenter, qu’est-ce qu’on cherche à optimiser en utilisant un outil d’intelligence artificielle dans un contexte précis. Il faut qu’on regarde comment c’est distribué, le gain et les dommages, l’impact positif et l’impact négatif de ces systèmes dans la société. On voit ici que c’est quelque chose qui ressemble beaucoup, justement, aux systèmes d’inégalité sociale, aux systèmes d’oppression, du coup, ça nous pousse, peut-être, à regarder des notions comme l’injustice algorithmique plutôt que de biais algorithmique.
On peut voir ça comme seulement une question de vocabulaire, mais, surtout dans l’écosystème de l’IA aujourd’hui, ce sont des distinctions qui sont importantes, qui donnent pas mal d’informations sur ce que veut dire, par exemple, un système éthique. Un système qui fonctionne de manière égale sur tous les groupes sociaux, est-ce que c’est forcément éthique si c’est utilisé pour exploiter les gens et pour les surveiller, etc.

Mathilde Saliou : L’injustice algorithmique, c’est intéressant comme concept ! Ça a le mérite d’être applicable à toutes sortes de groupes sociaux et ça laisse moins entendre que les problèmes constatés soient le seul fait de la machine. Machine qui, rappelons-le encore une fois, est construite par nous, humains.
Puisqu’on en est à parler de débat éthique pour le développement de l’intelligence artificielle, je pense que c’est le moment de demander des pistes d’action concrètes à mes invitées. Je retrouve donc Isabelle Collet qui en propose plusieurs pour faire en sorte que le monde de l’intelligence artificielle, et celui de l’informatique tout autour, soient un peu plus égalitaires en matière de genre. En l’occurrence, elle commence par me dire qu’il faut mettre plus de diversité dans les équipes qui fabriquent les technologies que nous utilisons au quotidien.

Isabelle Collet : Intégrer plus de femmes dans le domaine permettra au moins à ce que les personnes qui conçoivent l’IA aient une expérience plus variée la diversité humaine, c’est déjà pas mal.
Ensuite, il faut arrêter de demander à l’IA de faire des choses qu’elle n’est pas supposée faire : un conseiller en orientation, c’est un job pour un humain, un humain qu’on peut former aux biais de genre, mais ce n’est pas un job pour une IA qui utilise nos biais de genre et qui les recrache.
Redresser les données, mais il faut effectivement une volonté forte, c’est cher, ce n’est pas simple ; redresser les données, ça veut dire faire attention à ce que les données en entrée représentent toute les diversités humaines et d’une manière non stéréotypée, c’est-à-dire à la fois en proportion et à la fois en qualité. Ce n’est pas si simple ! C’est faisable sur certains échantillons, mais ce n’est pas si simple.

Mathilde Saliou : Elle me dit aussi que les choses bougent.

Isabelle Collet : J’ai senti un changement quand la Société informatique de France m’a invitée pour une journée consacrée à Femmes et informatique, avec un des représentants de la SIF qui me dit : « Les femmes ont d’excellents résultats en sciences », de fait elles ont plus de mentions bien et très bien, enfin elles avaient pour le bac S quand il existait, elle avait plus de mentions bien et très bien que les hommes. Donc, on peut vraiment se demander pourquoi les meilleures élèves ne vont pas en informatique. « Les femmes ont complètement niveau, pourquoi ne viennent-elles pas ? Pourquoi ma fille me dit que jamais elle ne fera un métier informaticienne parce c’est un métier d’homme ? Qu’est qui fait – me dit-il – qu’on n’arrive pas à être attractif ? Qu’est ce qui fait qu’on est excluant ? » Et là, le monde a changé : au lieu de se dire « les femmes n’y vont pas, c’est leur faute, on ne va pas les forcer », quand on se dit « pourquoi nous, le milieu, on n’arrive pas à être accueillant, on n’arrive pas à être désirable, on n’arrive pas à faire envie à des personnes compétentes, c’est qu’on a un problème ». Et là, ça change tout.
Et deux ans après, c’était #Metoo. #Metoo ça a dit à tout le monde cette espèce de secret de polichinelle que les femmes savaient : les agressions sexuelles c’est courant ; les violences sexistes et sexuelles, c’est courant. Depuis #Metoo, je ne dis pas que les femmes sont crues instantanément, il ne faut pas rêver, mais quand on dit « j’ai entendu des remarques sexistes, il y a des personnes qui ont eu un comportement déplacé avec moi », on arrête de dire « enfin, tu sais comment il est, ça va ! T’exagères pas un peu ! » Les choses ont vraiment changé.
Je dirais donc que depuis ces années-là, la volonté a commencé à arriver.
Après c’est compliqué d’avoir des mesures courageuses. En gros, il y a deux familles de mesures.
Il y a les mesures qui agissent sur les femmes et les filles : « Allez les filles, courage, vous allez réussir », renforcement, lutte contre les stéréotypes, rôles modèles, bla-bla-bla. OK, c’est super, si ça suffisait on le saurait déjà. Je n’ai pas dit ça ne servait à rien, néanmoins, c’est faire peser sur les femmes la responsabilité leur exclusion. Si on ne veut rien changer c’est assez malin, c’est plutôt comme ça qu’il faut faire ! Bien sûr, qu’il faut faire du renforcement envers les femmes, c’est utile parce qu’elles subissent une censure sociale de la naissance à l’emploi qui leur explique que c’est la place des hommes et pas la leur. Ces mesures sont utiles mais totalement insuffisantes.
34 40 Il faut faire des mesures du côté de l’institution. Si on en fait une seule, c’est la chasse aux violences sexistes et sexuelles. Il faut être logique, on n’attire pas les mouches avec du vinaigre. Si les femmes ne se sentent pas en sécurité, elles n’y vont pas et elles ont raison. La première chose, c’est donc de prendre ça au sérieux. Et puis se demander si, dans sa structure, dans la manière dont on met des compétences en valeur, dans la façon de recruter, on est vraiment attentif au potentiel féminin et, au-delà d’être attentif, si on pense que la mixité est une valeur, eh bien on ne se raconte pas d’histoires, on met en œuvre une politique de quotas. Dans ce cas-là, on aura la mixité. Et ce n’est pas du quota honteux, « parce que ces pauvres femmes n’y arrivent pas », c’est du quota avec fierté, parce qu’on pense que la mixité a une valeur et qu’il est complètement scandaleux que les meilleures élèves ne fassent pas partie de nos équipes.

Mathilde Saliou : Sur les quotas Isabelle Collet dit souvent qu’elle a vu les positions muter en 20 ans. Avant personne ne voulait en parler. Maintenant qu’on sait que ça a fonctionné dans le domaine politique, c’est, en revanche, peu plus simple, mais ça reste largement sujet à débat.
Si vous avez des avis sur la question, nous serions intéressés de les lire sur Next. Créez-vous un compte et venez discuter, mais, avant, écoutez Buse Çetin, Je lui ai aussi demandé des pistes de solutions qui lui semblaient intéressantes et, sans surprise, elle m’a parlé de gouvernance.

Raziye Buse Çetin : Une notion que j’aime bien, que j’emprunte à ???, une chercheuse non-binaire canadienne, qui a mis en avant la notion de ???, contre-gouvernance de l’IA où, justement, on regarde les enfances de gouvernance par les gens à propos de l’IA. Un des exemples dont je me souviens maintenant, mais je pense qu’il y avait plusieurs exemples, c’est le Writers Stike, la grève des scénaristes à Hollywood, notamment après la sortie de ChatgPT. Ils se sont organisés, qui se sont mobilisés et ils ont négocié les standards de leur pratique professionnelle. Il y a plusieurs instances, comme ça, où il y a une mobilisation dans la société contre la mise en place d’un système d’’IA et son impact économique, social, politique sur les gens. Je pense qu’il ne faut pas le négliger même si, dans la vie de tous les jours, on a l’impression qu’on n’a pas beaucoup de pouvoir. Je pense qu’il faut avoir un esprit critique. Moi, j’ai envie d’être enthousiaste à propos des technologies, les adopter et expérimenter avec elles, du coup je ne dis pas qu’il faut tout refuser, que c’est mauvais, etc., mais je pense que même quand on est cantonné dans une interaction, une conversation artistique, créative, avec ces systèmes, il faut prendre en compte ce que signifie cette donnée, d’où elle vient, de quelle manière elle est collectée, par exemple qui participe à la catégorisation de ces données, quel système j’utilise, dans quel contexte et comment je contribue à l’amplification des inégalités sociales, ou non, ou comment je les remets en question. Je pense que même si ça n’a pas l’air d’être très joyeux, il faut en être conscient.

Mathilde Saliou : Au-delà de toutes ces questions précises qui permettent de réfléchir aux endroits où les inégalités peuvent venir se loger, Buse Çetin invite aussi à prendre du recul sur d’autres dynamiques, de l’ordre de celles qui irriguent les mondes technologiques, les mondes économiques occidentaux.

Raziye Buse Çetin : Qu’est-ce qu’on considère comme progrès, cette idée de progrès scientifique, technologique, sans limites ? On voit que notre contexte, même si on met de côté la problématique d’intelligence artificielle, nous fait remettre en question, justement, ces idées qui ont accompagné et qui ont été dominantes dans l’histoire mondiale depuis la dernière centaine d’années, si ce n’est pas plus : le modèle économique de progrès scientifique et la place de l’humain avec des problèmes comme la crise écologique, les inégalités économiques et sociales, un décalage énorme qui se crée entre les plus riches et les plus pauvres, les pandémies, en fait le changement neurobiologique de notre cerveau. Comment se relationne-t-on entre nous, le sentiment de solitude ? Vraiment beaucoup de problématiques et de challenges qui sont assez nouveaux et qui limitent les conceptions et les idées qui nous ont amenées jusqu’ici. Ça ne veut pas dire que ces idées ne sont plus utiles, mais que c’est aussi un moment important de l’intelligence artificielle. Je vois aussi l’intelligence artificielle comme un miroir qui nous oblige à nous regarder, qui montre, par exemple, nos défauts de façon beaucoup plus exagérée. Par exemple, quand on pense à l’exemple d’Amazon, ils n’étaient tellement pas au courant qu’ils étaient sexistes, que les gens qui ont mis en place le système ne se sont pas demandé « est-ce que c’est une bonne idée d’utiliser les données de nos décisions d’embauche dans les dix dernières années ? N’avons-nous pas été peut-être un peu sexistes ou un peu classistes, etc. ». En fait, ça montre à quel point on a aussi besoin de bien se regarder dans un miroir et de prioriser ce qui est important en ayant une conception de l’humain, pas comme une unité atomique, rationnelle, intelligente comme on a l’habitude, je pense, de conceptualiser dans la culture occidentale, mais les humains, l’intelligence, la culture, la société, des gens en relation les uns avec les autres. Ça peut paraître un petit peu abstrait ou un peu utopique, mais je pense qu’on voit clairement les limites de ce genre de réflexion.

Mathilde Saliou : Là, Buse Çetin nous propose de critiquer un peu l’individualisme qui peut régner dans tous les pans de la société et puis elle nous recommande d’aller étudier des philosophies différentes de celles dans lesquelles, nous, occidentaux, baignons depuis tout petits.
Pour sortir un peu de l’aspect abstrait et utopique qu’elle soulignait en fin d’intervention, je vous propose qu’on aille parler de cas concrets qui ont lieu en France. Dans le prochain épisode d’Algorithmique, nous irons donc discuter avec des personnes qui se battent sur le terrain pour tenter d’influencer le fonctionnement de systèmes algorithmiques qui leur posent problème.
Si les sujets que j’aborde dans Algorithmique vous intéressent, abonnez-vous au podcast et puis à Next, ça vous permettra d’avoir accès à tous nos articles.
Algorithmique est un podcast produit par Next. Il est réalisé par Clarisse Horn et il est écrit et tourné par moi, Mathilde Saliou. Pour me retrouver, rendez-vous sur la plupart de vos réseaux favoris où je suis présente sous mon nom et puis sur le site de Next, next.ink.
Pour nous aider à faire connaître ce podcast largement, n’oubliez pas de mettre cinq étoiles à cet épisode et de le partager autour de vous. Merci beaucoup.