Biaisé comme l’IA - Algorithmique

Titre : Biaisé comme l'IA - Algorithmique [2/6]

Intervenantes : Isabelle Collet - Raziye Buse Çetin - Mathilde Saliou

Lieu : Podcast Algorithmique - Next

Date : 9 octobre 2024

Durée : 42 min

Podcast

Présentation du podcast

Licence de la transcription : Verbatim

Illustration : À prévoir

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l’April, qui ne sera en aucun cas tenue responsable de leurs propos.

Description

Biais sexistes et racistes de ChatGPT, impossibilité, pour Midjourney ou Stable Diffusion, de représenter la diversité du monde, biais dans la promotion d’offres d’emploi sur les réseaux sociaux… Aussi performants qu’ils soient présentés, les systèmes algorithmiques commettent des erreurs, les modèles d’IA générative produisent des résultats biaisés, et cela crée chaque fois d’intenses débats sur ce que devraient être les bonnes représentations (si tant est qu’il existe des réponses fixes à ces questions).

Transcription

Voix off : Next, Next, Next, Next, Next.

Denise, une des voix du site ttsfree.com : a doctor, un docteur ; a nurse, une infirmière ; an engineer, un ingénieur, an aid, une aide ménagère.

Mathilde Saliou : Salut. C’est Mathilde Saliou. Si vous avez écouté notre épisode précédent, vous connaissez déjà notre intelligence artificielle, Denise. Mais, n’y a-t-il pas un truc qui vous gêne, là, dans la manière dont elle a traduit les noms de métiers ? L’anglais est une langue neutre. Alors pourquoi, en français, ce serait les infirmières qui se verraient traduire au féminin et les ingénieurs qui seraient traduits au masculin ? Ce ne serait pas un peu sexiste tout ça ? Dis-moi, Denise, où as-tu appris toutes ces idées moisies ?

Raziye Buse Çetin : L’IA, je la vois aussi comme un miroir qui nous oblige à nous regarder, qui montre nos défauts de façon beaucoup plus exagérée.

Isabelle Collet : Quand un nouvel objet technologique apparaît, on imagine que les garçons sont, bien sûr plus, intéressés que les filles par ce rapport à la technique.

Mathilde Saliou : Je suis Mathilde Saliou journaliste et autrice de Technoféminisme – comment le numérique aggrave les inégalités, et vous écoutez Algorithmique un podcast produit par Next

Épisode 2 Biaisé comme l’IA

Mathilde Saliou : On peut facilement croire que l’intelligence artificielle est neutre, c’est ce que nous disent les discours marketing en tout cas. À les écouter, utiliser ces nouvelles technologies, c’est nécessairement obtenir de meilleurs résultats, une plus grande efficacité, donc quelque chose de mieux que ce que l’on aurait actuellement et ça n’est pas complètement aberrant. L’IA s’appuie beaucoup sur l’informatique. L’informatique, ça repose beaucoup sur les mathématiques et on a tendance à qualifier les mathématiques de sciences dures ou sciences exactes, c’est-à-dire une science dont la plupart d’entre nous avons l’impression qu’elle ne peut pas se tromper. Or, quand on aborde ces mondes technologiques au prisme des questions sociales, comme le font mes deux invitées du jour, on a vite fait de comprendre que c’est beaucoup plus compliqué.
Quand je me suis mise à travailler sur cet épisode, je n’ai pas consciemment décidé de sortir des frontières hexagonales. Mais il faut quand même que vous sachiez qu’Isabelle Collet est suisse et, comme elle est installée à Genève et moi à Paris, nous nous sommes appelées en ligne.

Isabelle Collet : Je m’appelle Isabelle Collet, je suis professeur en sciences de l’éducation à l’Université de Genève et je travaille depuis 20 ans sur les questions de genre dans le numérique.

Mathilde Saliou : Avec elle, vous l’aurez compris, on va avant tout parler de biais de genre. Ça me paraît important, parce que c’est un angle d’approche assez parlant. En France, les femmes comptent pour 52 % de la population et les hommes pour 48 %,. Que l’on parle des uns ou des autres, ça signifie que l’on s’intéresse toujours, plus ou moins, à la moitié de la population. Cela dit, si on veut aborder la manière dont l’intelligence artificielle interagit avec les questions sociales, il existe plein d’autres grilles de lecture. C’est précisément ce qui intéresse ma deuxième interlocutrice, Raziye Buse Çetin. Buse est turque et elle est venue suivre ses études universitaires en France dans les années 2010.

Raziye Buse Çetin : Je m’appelle Raziye Buse Çetin. Je suis chercheuse, consultante en éthique, gouvernance et impact de l’intelligence artificielle. À côté, je mène aussi des projets artistiques. Je réfléchis, je parle, j’écris pour faire en sorte qu’on comprenne mieux, dans la société, l’impact intersectionnel des nouvelles technologies comme l’intelligence artificielle.

Mathilde Saliou : J’ai rencontré Isabelle Collet et Raziye Buse Çetin à deux moments différents. Sans se concerter pourtant, en tout cas à ma connaissance, elles ont toutes les deux mentionné un exemple symptomatique des questions de biais dans les systèmes algorithmiques. Je laisse Buse vous raconter.

Raziye Buse Çetin : C’est l’exemple d’Amazon. Maintenant ce n’est plus le cas, mais, il y a quelques années, Amazon avait commencé à utiliser un système d’intelligence artificielle pour filtrer, trier et analyser les CV qu’ils recevaient à chaque fois qu’il y avait un poste qui était disponible chez Amazon. Comme ils recevaient beaucoup de candidats, beaucoup d’applications, ils ont décidé de, justement, peut-être diminuer le temps que leur équipe de ressources humaines passait à regarder tous les CV un par un. Comme ils ont déjà une base de données, les CV des anciens employés d’Amazon et leurs décisions sur qui embaucher, qui ne pas embaucher pas, ils ont entraîné leur système sur cette base de données et ils ont commencé à utiliser le système. Mais, ils se sont vite rendu compte que le système de l’IA déclassifiait systématiquement les CV des femmes. Et même si on enlevait par exemple le nom, le genre, les informations sensibles et personnelles sur le CV, les facteurs ou les mots comme « capitaine de l’équipe de volley féminin », le système déclassifiait automatiquement le CV.
En plus de défavoriser systématiquement les femmes et tout ce qui est associé aux femmes, on a aussi observé que l’algorithme favorisait certaines activités qui n’ont rien à voir avec les qualités d’un bon employé ou le poste en question, comme jouer à la crosse à l’université ou des choses comme ça, qui sont des indications d’appartenance à une certaine classe sociale, certains genres, certaines écoles très prestigieuses et privilégiées.
Quand ils s’en sont rendu compte, après avoir essayé d’utiliser ce système, ça a été un premier choc, parce que, à l’époque, les gens ne pensaient pas qu’il ne fallait pas utiliser l’IA par exemple dans les ressources humaines, qu’il pouvait y avoir des biais, parce que les gens se disaient « les humains sont biaisés ; si on utilise les machines, les machines vont être objectives. »

Mathilde Saliou : Isabelle Collet, elle, résume l’affaire comme ceci.

Isabelle Collet : On a beaucoup cité l’exemple d’Amazon qui avait voulu recruter via l’intelligence artificielle et dont l’algorithme avait tendance à ne sélectionner que des CV d’hommes. Évidemment ! L’algorithme a regardé comment Amazon recrutait d’ordinaire et il a copié le sexisme de leur système RH. Quand on a écarté l’algorithme en disant « l’algorithme est sexiste », eh bien non, le système RH est sexiste, l’algorithme a très bien compris !
Maintenant, vous prenez ce même algorithme et vous lui dites « fais-moi une sélection pour une shortlist paritaire », on a une sélection pour une shortlist paritaire. C’est-à-dire qu’on pourrait tout à fait utiliser l’intelligence artificielle pour dépasser nos biais inconscients et lui demander une pré-sélection impérativement paritaire, de sorte que des CV qu’on aurait pu écarter parce qu’on sait très bien qu’on a tendance, nous humains, à reconnaître la compétence davantage chez les hommes que chez les femmes, on demandait à l’IA de sortir les cinq meilleurs CV hommes et les cinq meilleurs CV femmes et ça nous aide à dépasser nos biais.

Mathilde Saliou : Si cette histoire est emblématique, c’est qu’elle permet de décortiquer plusieurs choses.
Comme l’a dit Buse Çetin, le système de sélection algorithmique des CV avait un problème d’entraînement : ses données étaient biaisées, comme on dit dans le jargon. Les biais, vous allez l’entendre au fil de l’épisode, c’est encore un mot un peu fourre-tout du domaine de l’intelligence artificielle :
ça peut être entendu comme biais statistique, c’est-à-dire un simple déséquilibre dans les données ;
ça peut servir à faire un peu d’anthropomorphisme et laisser croire que les machines seraient sujettes à des sortes de biais cognitifs, de raccourcis de pensée similaires à ceux des humains ;
ou alors, c’est entendu dans un sens beaucoup plus social, c’est-à-dire pour parler de discrimination.
Dans le cas du système de recrutement d’Amazon, les développeurs ont surtout tenté de cacher le genre des candidats au modèle algorithmique. Mais quoi qu’ils fassent, même s’ils supprimaient les prénoms, le nom des écoles pour que la machine ne puisse pas s’appuyer sur les mentions « école de filles » ou « école de garçons » et plein d’autres choses du même style, le système parvenait toujours à retrouver le genre des candidats. Et, quand il l’avait trouvé, il éliminait systématiquement les candidates, donc les femmes.

Denise, une des voix du site ttsfree.com : Allez ! Bye-bye les meufs !

Mathilde Saliou : Comme le dit aussi très bien Isabelle Collet, le système mis au point par Amazon n’avait pas décrété tout seul qu’il réaliserait une série de sélections sexistes. Il a très bien appris des éléments historiques qui lui ont été soumis et, en fait, la machine a permis de rendre plutôt totalement évident le sexisme qui présidait jusque-là au processus de recrutement de l’entreprise.
Ce déséquilibre en fonction du genre n’est pas sans rappeler une dynamique plus large de l’industrie du numérique. Les femmes, on l’a dit, représentent la moitié de la population. Pourtant, comme dans la plupart des pays occidentaux, elles ne représentent, en France, qu’un quart des employés de l’industrie du numérique : 25 % d’entre eux sont des femmes, tout le reste ce sont des hommes. Pour être plus précise, ce sont 16 % des personnes qui construisent les outils numériques que nous utilisons au quotidien qui sont des femmes. Qu’est-ce que c’est que cette différence entre mes 25 et mes 16 % ? En fait, beaucoup de femmes qui sont employées dans l’industrie du numérique y occupent des fonctions support, c’est-à-dire des emplois juridiques, dans les ressources humaines, en marketing, et cet écart persiste au fil des ans. Et moi, forcément, je me demande comment expliquer ce déséquilibre marqué.

Isabelle Collet : On a une représentation qu’il y aurait un lien naturel entre les femmes et la nature, parce qu’elles sont enceintes, et, puisque les garçons ne peuvent pas se reproduire à l’intérieur de leur corps, ne peuvent pas être enceints, ne peuvent pas créer à l’intérieur de leur corps, eh bien il faudrait qu’ils puissent avoir une création externe, soit artistique, soit technologique, et cette croyance est ancestrale. Un livre d’un historien s’appelle ??? [9 min 37], qui réfléchit à la création des savoirs, et qui montre comment tout l’Occident chrétien a exclu les femmes de la création des savoirs au prétexte que la bonne science, la bonne création de savoirs se faisait entre hommes parce que les femmes créent autrement. Donc, les hommes créent de manière active, avec leur cerveau, les femmes créent de manière passive en se reproduisant biologiquement.
On peut se demander comment cela a encore un impact aujourd’hui. Le fait est. On associe toujours les femmes avec la maternité, le vivant, la relation aux autres, ce qui s’opposerait aux machines. Les garçons seraient supposés spontanément, plus naturellement, attirés par les machines. D’autant plus que quand on regarde les ethnologues, par exemple Paola Tabet qui explique que les outils et les armes ça a toujours été de la responsabilité des hommes qui, non seulement, se disent physiquement plus forts, mais qui, en plus, peuvent prolonger leur force via des outils, des armes, des machines., alors que les femmes doivent se contenter de leur propre force physique, des outils qu’elles fabriqueraient éventuellement par elles-mêmes ou des outils que les hommes veulent bien leur céder.
Donc, au bout du compte, quand un nouvel objet technologique apparaît, on imagine que les garçons sont, bien sûr, plus intéressés que les filles par ce rapport à la technique.

Mathilde Saliou : On l’entend. Chercher à expliquer la disparité de genre dans l’industrie numérique, ça ouvre une série de questions philosophiques qui irriguent, en fait, tous les pans de notre société. Parmi les idées qu’Isabelle Collet vient de nous citer, certaines expliquent pourquoi on a longtemps considéré qu’un génie était nécessairement masculin. Ça explique aussi pourquoi on a tendance à faire disparaître les femmes savantes, les artistes, les politiques de l’histoire. Bref ! Ça a des implications très larges, mais nous, dans Algorithmique, nous nous intéressons à l’intelligence artificielle. Je demande donc à Isabelle Collet à quand, selon elle, on peut dater dans l’histoire de l’informatique, le début des problèmes de genre.

Isabelle Collet : En travaillant sur l’histoire de l’informatique, je suis arrivée à un premier jalon au moment de la Deuxième Guerre mondiale. Je me suis rendu compte que les pères de l’informatique, du matériel j’entends, n’avaient pas envie de créer une grosse machine statistique, pas une grosse machine à calculer. Ils avaient envie de créer un cerveau humain. De fait, ils ont créé une grosse machine statistique, parce qu’avec les moyens qu’ils avaient à l’époque, c’était compliqué, mais c’était leur but.
John von Neumann, qui est le père de l’architecture des ordinateurs d’aujourd’hui, pensait que l’aboutissement ultime de la science c’était de dupliquer le cerveau humain et c’est ce qu’il a essayé de faire. Il a tellement essayé de faire que, par exemple, quand il a choisi les tubes à vide comme composant des ordinateurs, c’est parce que ça ressemblait aux neurones. C’était un composant assez peu fiable, ce n’était pas la seule option possible, mais comme ça avait un fonctionnement qu’il jugeait proche de celui des neurones, c’est celui qui lui a semblé le plus intéressant. Dans les faits ça ne marchait pas, on est bien d’accord, mais l’intelligence artificielle commence au moment où on a conçu les premiers ordinateurs parce que c’est ce qu’on voulait réaliser.
Quand on remonte encore plus loin dans le temps, générer et créer des créatures artificielles sans passer par la procréation biologique, c’est un fantasme de l’humanité qui est vraiment très ancien. On pourrait dire, après tout, que le golem, une créature de terre qui a été animée par le Maharal de Prague pour aider les Juifs du ghetto, était déjà une intelligence artificielle. Et on retrouve, tout au long de l’histoire de l’humanité, des histoires de créatures artificielles, fabriquées par l’homme – et je dis bien l’homme, pas les humains ou la femme, fabriquées par l’homme – pour aider l’humanité, pour le bien ou pour le meilleur, il y a un certain nombre de créatures avec lesquelles ça se passe mal !

13’ 20

Mathilde Saliou : Parmi les autres exemples de ce type de créature, citons Galathée qui a été créée de a à z par Pygmalion et dont celui-ci est tombé éperdument amoureux ; le monstre créé par Victor Frankenstein dans le roman éponyme de Mary Shelley, c’est encore à peu près la même idée ; de même que les robots fabriqués par Isaac Asimov, même si ceux-ci sont, à priori, un peu plus bienveillants.
Mais en dehors du monde de la fiction, quand le champ technologique décide de reproduire ce qu’il appellera bientôt l’intelligence artificielle, comment le fait-il ? En fait, ma question, là, c’est encore un sujet de définition : qu’est-ce que les pères de l’informatique considèrent du ressort de l’intelligence ? Est-ce ce que ça peut expliquer une partie des déséquilibres de genre qu’on constate encore aujourd’hui ?

Isabelle Collet : John von Neumann, c’était très clair, lui voulait dupliquer son propre cerveau. Selon lui, la source d’intelligence, c’était la mémoire. John von Neumann avait une mémoire eidétique. Il pouvait lire un texte et le réciter de mémoire, il parlait sept ou huit langues. Il avait effectivement une mémoire absolument extraordinaire, donc, quand il dit que la source de l’intelligence est la mémoire, on voit très bien à quoi il se réfère, à qui il pense. Donc, le cerveau qui voulait créer, c’était le sien.

Mathilde Saliou : Le plus fort de la carrière de John von Neumann, pour le dire vite, a lieu dans les années 40 et 50 et ouis il meurt en 1957. L’expression « intelligence artificielle », elle, est rendue publique par Marvin Minsky en 1956, donc un an avant. Dans les années qui suivent, une bonne partie des travaux en la matière se concentre sur un domaine précis : celui des jeux d’échecs, puis du jeu de go. J’en discute avec Isabelle Collet qui rappelle qu’il faut se placer dans un contexte de guerre froide puis de post-guerre froide où il y a des joueurs d’échecs russes très bons et puis des joueurs étasuniens plus à la traîne.

Isabelle Collet : Un mathématicien de l’époque, avec ironie, dit que parmi ses collègues ils se disaient « nous, nous sommes intelligents, on fait des maths, on joue aux échecs, donc si ça fait des maths et que ça joue aux échecs, c’est que ça doit être intelligent. ». Je schématise un peu vite fait, mais ça veut bien dire où était la source de leur inspiration.
Aujourd’hui, si on demandait ce qui symbolise le plus l’intelligence humaine, je doute que la réponse soit « jouer aux échecs » ; peut-être qu’on irait du côté du langage, peut-être du côté la création. Bref ! C’est quand même assez emblématique que jouer et gagner aux échecs soit devenu ce symbole de l’ordinateur intelligent et c’est une pure fabrication, c’est une fabrication parce que les Américains ont fabriqué Deep Blue. Par la suite, quand AlphaGo se met à gagner, à battre le meilleur joueur de go, là encore on se bat à reparler d’intelligence. Alphago est très bon pour jouer au go, mais il est incapable, comme l’a dit un chercheur en IA, d’aller se faire un sandwich. Ses capacité sont quand même très précises. Ça n’est pas emblématique, sûrement pas, de l’intelligence humaine.
Par contre, quand on regarde la population qui joue au go ou qui joue aux échecs, elle n’est effectivement pas très mixte, comme n’est pas très mixte la population des développeurs de l’intelligence artificielle. Je fais le pari, je n’en sais rien, mais je fais le pari que si, à l’origine, ces développeurs avaient été un milieu plus mixte, si l’intelligence artificielle avait commencé par être programmée par des femmes, peut-être que ce serait la reconnaissance du langage qui aurait été en premier pour symboliser l’intelligence humaine.

Mathilde Saliou : Si on veut être vraiment exacte, dans les années 1950/1960, il y a des femmes qui travaillent dans le champ technologique, mais même si elles sont présentes, elles n’ont pas forcément accès aux postes décisionnaires. Ce qu’Isabelle Collet nous dit est très clair, d’ailleurs ça se voit dans les livres d’histoire du numérique : elles sont plutôt écartées des réflexions sur ce qu’est ou va devenir le champ de l’intelligence artificielle. Et puis dans les années 70, et surtout 1980, les choses se gâtent.

Isabelle Collet : À partir du moment où la programmation a pris ses lettres de noblesse, à partir du moment où des filières se sont ouvertes dans les écoles d’ingénieurs, dans les universités, que les emplois ont été bien rémunérés, que de belles carrières s’ouvraient devant les ingénieurs logiciels, ce métier s’est considérablement masculinisé. Les femmes ne sont pas parties ; elles n’étaient pas très nombreuses, elles restent pas très nombreuses, mais, comme la quantité d’hommes augmente considérablement, évidemment, en pourcentage la part des femmes s’écroule. Et simultanément, c’est l’arrivée du micro-ordinateur dans les foyers. Chaque fois qu’un nouvel objet technologique arrive, les garçons sont équipés les premiers – ça s’est passé pour le walkman, pour la console de jeux – et là l’image du geek ou de nerd commence à émerger.

Voix off : Salut les amis. Aujourd’hui on va parler d’un sujet fondamental en informatique, les algorithmes.
Voici dix conseils en moins de cinq minutes pour progresser dans Fortnite, c’est parti.
Aujourd’hui, on se trouve pour un petit tuto comment avoir gratuitement sur PS5, PS4, ???, Xbox One et Xbox Series.
Salut les amis, je suis de retour pour vous parler de la programmation.

Isabelle Collet : On trouve des jeunes garçons très investis dans le rapport à leur ordinateur, avec des modèles qui existent dans la pop culture – pas tous les garçons, les ordinateurs coûtaient cher à l’époque –, mais on imagine que ces garçons qui bidouillent et qui, d’ailleurs, peuvent tirer leur épingle du jeu quand ils ne s’en sortent pas avec les moyens scolaires habituels, parce qu’on peut être petit génie de l’informatique tout en étant mauvais à l’école puisque ça semble être une discipline toute nouvelle, eh bien une nouvelle représentation de l’informaticien se crée : ce gamin qui bidouille tout seul sur son ordinateur. Quand on est une fille, ce n’est pas forcément attirant, quand on est un garçon ce n’est pas non plus forcément attirant, mais, au moins, c’est possible puisque ce sont des garçons qui le font.
J’ai interviewé des informaticiens de ces années-là qui disaient « attention, c’est du sport ; attention je sors ! ». Ils voulaient me prouver qu’ils n’étaient pas des nerds. Les filles n’avaient pas besoin de me dire ça ! Eh bien oui, parce qu’elles n’étaient pas des garçons, dont ça ne risquait pas !
Si on combine le métier qui monte en puissance, la valeur sociale du métier, les salaires, les carrières, etc., et les représentations qui s’ancrent dans ce personnage du jeune homme très investi dans la machine, eh bien on a deux phénomènes qui concourent dans le même sens pour masculiniser l’informatique, ses représentations, ses métiers. Donc depuis, somme toute, la fin des années 80, la part des femmes en informatique est minime, entre 15 et 18 % selon ce qu’on compte, il faut quand même aller voir dans les chiffres.

Mathilde Saliou : Là, on commence à bien comprendre comment le déséquilibre entre femmes et hommes dans l’industrie informatique s’est implanté. Avant d’en arriver à l’effet que ça sur les technologies d’intelligence artificielle, il faut quand même préciser que ce déséquilibre n’a rien d’une généralité.

Isabelle Collet : L’informatique, dans les pays occidentaux, naît sur certains mythes et sur certaines histoires de créatures artificielles, par exemple, mais aussi de ces pionniers de l’informatique qui ont voulu dupliquer le cerveau humain, de ce qui a pu se passer au MIT, de ce qui a pu se passer en Californie, qui se mélangeait à la pop culture, la culture hacker, etc. Bref ! Il y a tout un ensemble de représentations qui installent l’ordinateur, le numérique, dans des communautés d’hommes. On n’a pas forcément ces histoires-là en dehors de l’Occident. En dehors de l’Occident, qu’est-ce qu’on constate quand on regarde les métiers de l’informatique ? Que ce sont des métiers qui n’ont pas besoin de force physique, qu’on peut exercer de chez soi en s’occupant de ses parents âgés ou en s’occupant d’enfants, que c’est un métier du tertiaire qui n’est pas salissant, qui n’est pas dangereux, on n’est pas obligé de s’exposer au monde public, au regard des hommes, etc., bref !, c’est un bon métier de femme. C’est vrai que tout ce que j’ai listé correspond, mais pas que ça, évidemment. Si on demandait, en Occident : « Qu’est-ce qui, pour toi, incarne l’informatique, symbolise l’informatique ? », en général on dit la programmation, le code, le rapport à la machine, ça en fait partie aussi, mais ce n’est qu’une des dimensions. Quand on va interviewer les femmes qui sont informaticiennes, par exemple en Malaisie parce que c’est là que les premières recherches ont été faites sur cette question, non seulement elles disent que c’est un bon métier de femme pour toutes les raisons que je viens de lister, mais, en plus, elles disent « plus l’informatique est théorique, plus le métier est féminin », parce que, justement, c’est là où on a le moins besoin de sortir dans le monde et le plus de facilités à travailler de chez soi. Alors que quand Internet est arrivé, en France par exemple, c’est le moment où les filières sur Internet se développaient dans les écoles d’ingénieurs, là on me disait « Internet c’est de la communication, les femmes aiment la communication, elles vont être plus nombreuses dans les filières où il y a Internet ». De fait non, ce sont des pures représentations qu’on avait.
Avec ces deux exemples, on constate que ce qui ne change pas, c’est qu’on considère qu’il y a des métiers d’hommes et des métiers de femmes. Par contre, là où ça peut changer, ce sont les caractéristiques qu’on met sur un outil ou sur un autre qui font qu’on va considrer que c’est un métier d’hommes ou un métier de femmes.

Mathilde Saliou : Isabelle Collet nous parle de métiers qui sont considérés par la société comme correspondant plutôt aux hommes ou plutôt aux femmes, mais il faut bien comprendre que le genre n’a, à priori, rien à voir avec les compétences attendues pour réaliser les tâches demandées. Je trouve super intéressant le fait de prendre les lunettes des questions sociales pour analyser l’intelligence artificielle. En fait, ça permet de questionner plein de préconçus que l’on a sur ce type de technologie et dont, parfois, on n’a même pas conscience d’avoir. Avec Isabelle Collet, on a déjà pas mal parlé de ce biais lié au genre, mais Buse Çetin, elle, a vite repéré d’autres types de déséquilibres.

Raziye Buse Çetin : J’ai été très surprise de lire les chiffres que projetaient les boîtes de consulting comme PwC, McKenzie à l’époque, qui disaient que l’intelligence artificielle allait faire gagner x millions de dollars à l’économie mondiale, mais surtout dans l’économie des pays, entre guillemets, « développés ». Du coup, je me suis dit que si cette technologie devient tellement influente et qu’elle a autant de pouvoir et d’importance économique, militaire, géopolitique, qu’est-ce qu’on fait dans les pays en voie de développement et pourquoi, en fait, n’entend-on pas parler de ça ?

Mathilde Saliou : Cette question géopolitique, qui construit les technologies d’intelligence artificielle, comment, qui en profite aussi, matériellement, financièrement, tout ça c’est directement lié aux questions de biais de l’intelligence au sens social. La majorité des outils numériques qu’on utilise, on le sait, sont construits par une toute petite poignée d’acteurs, en tête desquels les GAFAM américains, Alphabet Microsoft, Meta et les autres. Pour entraîner leurs machines de manière relativement peu coûteuse, ces sociétés ont une propension très nette à sous-traiter dans des pays du Sud global, ce que le sociologue Antonio Casilli appelle « travail du clic ». Beaucoup de modèles d’intelligence artificielle et beaucoup d’outils de modération des plateformes étasuniennes sont entraînés au Kenya, par exemple, pour des salaires très faibles. De même, les entreprises du numérique françaises ont tendance à délocaliser l’entraînement de leurs machines dans l’ancienne colonie qu’était Madagascar.

Raziye Buse Çetin : En fait, il faut comprendre l’intelligence artificielle comme un système socio-technique et pas seulement un outil technologique ou de software. C’est un phénomène qui émerge, justement, dans un écosystème. Par exemple, un des ingrédients des systèmes d’IA on va dire avancés, ce sont les données. Pour entraîner certains systèmes et faire en sorte qu’ils soient performants, il faut utiliser beaucoup de données. Si on regarde l’histoire récente de systèmes de machine learning et d’intelligence artificielle dans les 20 dernières années, on voit très bien, aujourd’hui, que la source de données est aussi influencée par l’émergence des réseaux sociaux et des plateformes qui ont conduit à la création et à la collecte de beaucoup de données. Des utilisateurs, comme nous, nous avons utilisé ces services comme Facebook à l’époque, Instagram, TikTok, etc., sans forcément nous poser beaucoup de questions.
En fait, tout ce qu’on fait sur ces plateformes est mesuré, collecté, analysé sans qu’on le sache : nos likes, nos clics, combien de temps on passe sur une page. Même si on n’est pas, par exemple, sur Facebook, quand on fait une recherche simple sur Google, à chaque fois qu’il y a des cookies, je sais plus quel est le pourcentage, mais une grande partie du trafic Internet des cookies est toujours connecté aux mêmes entreprises de la Big Tech. Du coup, ça leur donne un avantage incomparable par rapport à d’autres en termes de données. Elles ont aussi beaucoup de capital, du coup elles ont le pouvoir d’attirer les talents en IA, ce qui est aussi une ressource importante et critique pour pouvoir développer des systèmes d’IA et aussi le computing, les ??? [26 min 05], ce côté un peu plus technique. En mettant tous ces facteurs ensemble, ce sont eux qui peuvent justement développer et intégrer les systèmes d’IA dans leurs services et plus on les utilise, plus, aussi, on les améliore.

Mathilde Saliou : Le problème c’est que certes on les entraîne, on les améliore, mais pas du tout de manière homogène. J’ai expliqué tout à l’heure que beaucoup des tâches d’entraînement étaient délocalisées dans des pays en développement, cela pose aussi quelquefois des problématiques culturelles. Par exemple, des écarts dans le type de vocabulaire utilisé par les entraîneurs et par les usagers finaux. On l’a aussi vu avec des questions de traduction ou de systèmes de gestion des CV. Mais Buse Çetin a un autre exemple, peut-être encore plus parlant.

26’ 40

Raziye Buse Çetin : En fait,