Comment le numérique limite les libertés des femmes et des minorités - Mathilde Saliou

Titre : Comment le numérique limite les libertés des femmes et des minorités

Intervenante : Mathilde Saliou

Lieu : Lyon - Mixit 2023

Durée : 32 min 25

Date : 14 avril 2023

Vidéo

Licence de la transcription : Verbatim

Illustration : À Prévoir

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Transcription

Bonjour. Merci à tous d’être là.
Je ne vais pas vous raconter tout ce qu'il y a dans ce livre [Technoféminisme - Comment le numérique aggrave les inégalités] parce que c'est difficile en 30 minutes, mais je vais essayer de trouver deux gros axes, comment les questions d'inégalité sont encodées par la tech et ce qu'on peut faire pour lutter contre.
J'ai beaucoup travaillé sur ce sujet pour écrire l'essai Technoféminisme qui est sorti il y a un peu plus de deux mois chez Grasset. Si vous voulez voir, je continue de travailler sur la question sur le temps long, donc je vous ai mis mon compte Twitter [@mathilsl], mon compte Mastodon [pialle.fr@mathildesaliou]. Actuellement je travaille pour Next INpact et pour d'autres médias aussi.

Deux histoires

Pour commencer, je vais vous raconter deux histoires, une qui va être plus centrée sur les questions d’outils et l'autre sur les questions d'usage.

La première c'est celle d’Amazon qui, en 2014, décide de fabriquer un algorithme pour l'aider dans ses processus de recrutement. L'idée c'était de construire une machine à laquelle on soumettrait quelque chose comme une centaine de CV et l'algorithme devait les trier, les hiérarchiser et renvoyer les cinq CV les plus pertinents pour le job qu'il s'agissait de pourvoir aux équipes de ressources humaines. Sauf que la machine n’a pas super bien fonctionné. Ils ont tout fait pour corriger les données qu’ils mettaient dans l'entraînement de l'algorithme, pour corriger les tuyaux, pour corriger toute cette expérimentation, mais quoi qu'ils fassent, la machine refusait de garder les CV de femmes et ne faisait que sélectionner des CV d'hommes. ls ont eu beau travailler dessus en 2014, en 2015, en 2016, en 2017, en 2018, la machine a gardé ce biais absolu contre les femmes, elle ne voulait pas les embaucher, donc Amazon a fini par lâcher l'affaire et par remiser l’outil en question.

En 2015, donc un an après le début de l'expérimentation d'Amazon, l’Unesco se penche sur un autre sujet, sur la question des usages, et qui essaye de voir à quel point les femmes et les filles sont victimes de violences dans les espaces numériques parce qu’on commençait à voir que, quand même, il y avait de grosses problématiques de cyberharcèlement qui touchent un peu tout le monde, mais qui touchent plus spécifiquement les femmes et les filles. À l'époque, le chiffre auquel on aboutit : trois femmes sur quatre ont déjà été exposées à ce type de violence, exposée ça veut dire qu'on a été soit victime soit témoin.
En 2021, il y a donc deux ans, The Economist Intelligence Unit a refait le même type de travail et a constaté que la proportion avait encore augmenté : 85 % des femmes qui sont présentes en ligne avaient déjà été exposées à une forme ou une autre de violence numérique.

Deux points communs

Il y a deux points communs à ces histoires : le premier c'est qu’on parle de violence sexiste, violence contre les femmes ; le deuxième c'est que ces types de violence ou de discrimination pour le cas d'Amazon sont des problématiques qui ont été perpétrées, perpétuées, par des moyens techniques, des moyens technologiques en l'occurrence.

masculin-neutre

Je vous rassure, la technologie n'a rien inventé en termes de sexisme, de misogynie, d'inégalités. D'ailleurs, je vais beaucoup parler de ces questions d'égalité femme/homme, mais, très souvent, ça peut se décliner sur toutes les problématiques de racisme, homophobie, etc.

Il se trouve que nous vivons dans un monde qui, on l'oublie un peu ou, même, on ne le sait pas – moi-même je l'ai découvert il n’y a finalement pas si longtemps –, est souvent pensé au masculin-neutre. Là où on croit que c'est neutre, en fait le monde est plus ou moins construit plutôt pour les hommes. Une autrice, qui s’appelle Caroline Criado Perez, explique cela très bien dans son livre Femmes invisibles, qui montre comment dans plein d'espaces sociaux, par exemple dans la manière dont on teste nos médicaments avant de les mettre sur le marché, dans la manière dont on construit des outils de sécurité, dans la manière dont on construit toutes sortes d'objets qu'on utilise au quotidien, en fait on le fait en se basant sur des données qui montrent plutôt la situation des hommes et qui, donc, oublient celle des femmes. De fait, ça veut dire que les produits qu'on fabrique ont tendance à participer aux inégalités qui existent.

L’'année dernière, me semble-t-il, ou l'année d'avant, je ne sais plus, une jeune artiste, qui s'appelle Eléa-Jeanne Schmitter, a décidé de mettre en images pas mal des données qui sont rapportées et qui ont été enquêtés par Caroline Criado Perez. Donc là vous voyez ces mains sur un clavier de piano, vous ne le saviez peut-être pas, moi je l'ai découvert il y a deux ans, s'il y a si peu de virtuoses pianistes femmes, c'est parce que l'immense majorité des pianos qui sont mis en vente et faciles d'accès sur le marché ont été construits sur la taille moyenne des mains des hommes. Or, la taille moyenne des mains des femmes c'est deux à cinq centimètres plus petit, donc c'est beaucoup plus difficile de faire les grands écarts qui permettent de devenir virtuose si on a des plus petites mains et pourtant les pianos adaptés aux mains de femmes existent, on pourrait les trouver, on pourrait les mettre en vente, simplement il a été décidé qu'on en produirait en moins grand nombre.
Eléa-Jeanne Schmitter a illustré plein d'autres chiffres de ce type, notamment, la deuxième image, c'est une ceinture de sécurité en voiture. Il se trouve que la manière dont on sécurise nos voitures est faite en testant les airbags et les ceintures de sécurité sur des mannequins qui sont construits sur la taille moyenne d'un homme moyen, encore une fois. Or, le corps des femmes moyennes est différent, il n'est pas juste plus petit, nous sommes aussi construites différemment. Ce qui arrive, une fois que tous ces produits sont mis sur le marché, qu'on part en voiture et que, potentiellement, on a un accident – statistiquement les hommes sont plus souvent pris dans des accidents de voiture que les femmes – , mais, quand une femme est prise dans un accident de voiture, elle subit des blessures beaucoup plus graves et beaucoup plus difficiles à soigner parce que les dispositifs de sécurité n'ont pas été construits de manière aussi neutre que ce qu'on croit. Ils ont plutôt été mal construits pour les femmes mais bien construits pour les hommes.

Impartial le numérique, vraiment ?

Pourquoi je vous raconte tout ça ? Parce qu’il est une industrie qui pense, en tout cas qui a tendance à dire dans certains de ses discours marketing : « Les inégalités, pas de problème ! On produit des outils qui sont impartiaux, qui sont neutres, qui vont permettre de sortir de ces biais-là, donc vont fournir de meilleurs résultats que ceux, par exemple, que le jugement humain pourrait donner ». Cette industrie c'est l'industrie numérique, sauf que l'industrie numérique n'a pas forcément pris conscience de cette histoire de masculin-neutre que je viens de vous expliquer. Et le résultat a donné – cette image est un peu floue, je ne sais pas si vous arriverez à lire – cette illustration qu'a refaite Eléa-Jeanne Schmitter. Quand Apple sort Siri, en 2011, on peut lui demander « où trouver du viagra » et le robot répond, il n'y a pas de problème, il vous donne une adresse, une petite pharmacie facile à trouver. Ou alors, si vous lui demandez « où trouver des prostituées », pareil, Siri vous répond et vous donne une adresse. Si, en revanche, vous lui posez la question : « Siri, j'ai été victime d'une agression, je me suis fait violer – ce qui est écrit sur cet exemple –, la machine, à l'époque, était infichue de répondre, elle n’était même pas capable de vous diriger vers un appel, une ligne d'appel de soutien psychologique ou de vous donner des indications pour aller à la police si jamais vous vouliez porter plainte, ce genre de choses. Pareil sur les questions d'avortement : si vous demandez à Siri : « Siri, j'ai besoin de trouver une pilule du lendemain ou carrément d'avorter », selon le niveau de la question, le robot n’était pas fichu de vous apporter une réponse. Ce sont des usages assez spécifiques, mais c'était assez parlant sur les questions de « on a mis une priorité sur le fait de pouvoir trouver des prostituées à l'aide de Siri, par contre, pour aller au Planning familial, c’est plus complexe !

Cette problématique qui vient des données et de la manière dont la société est construite en vrai, ne sort pas de nulle part, on la retrouve aussi dans tous les pans algorithmiques. J'en ai parlé un petit peu avec l'histoire d’Amazon, mais ça arrive aussi dans le monde de la reconnaissance faciale.

En 2018, une chercheuse, Joy Buolamwini, a sorti une étude qui s'appelle Gender Shades>, dans laquelle elle est allée analyser les résultats fournis par les trois plus grands modèles de reconnaissance faciale qui étaient disponibles et utilisés sur le marché, donc les modèles de Microsoft, Face⁺⁺ et IBM. Elle a constaté que les trois machines reconnaissent beaucoup mieux les hommes que les femmes et reconnaissent aussi beaucoup mieux les peaux claires que les peaux foncées. Plus vous aviez une peau noire, plus elle était foncée moins la machine fonctionnait et, à la fin, dans les cas les plus marqués, c'était quasi comme si la machine jouait à pile ou face en termes de résultats de reconnaissance.

Là on arrive dans un truc qui est une illustration directe de ce que certains mouvements féministes qualifient d'intersectionnalité, c'est un concept de sciences sociales. Quand on est au croisement de deux types de discrimination, par exemple je suis une femme et j'ai la peau noire, on est encore moins bien servi, on est encore moins bien traité par l'outil que simplement quand on est une femme à la peau blanche ou simplement quand on est un homme à la peau noire. L'écart énorme de différence montre bien que les outils qui utilisaient, à l'époque, l'algorithme de reconnaissance d'IBM servaient vraiment très mal les femmes noires en comparaison avec ceux qui étaient le mieux servis, les hommes à la peau blanche.

Le problème c'est que ces algos étaient déjà et continuent d'être utilisé dans des outils de la vie courante. Un exemple de base serait, si jamais vous utilisez la reconnaissance faciale pour déverrouiller votre téléphone, potentiellement selon votre tête vous serez plus ou moins bien servi, c'est un peu raccourci, mais, en gros c'est l'idée.

Le truc, c'est qu'on utilise aussi ces techniques pour traiter les flux vidéos, notamment des caméras de surveillance qui sont utilisées par les forces de police, en tout cas dans les pays qui l’autorisent. À l'époque c'était, par exemple, aux États-Unis et en Grande-Bretagne. Or, comme on vient de le dire, ça ne fonctionne pas très bien sur certains types de visage, certains types de peau, et que, notamment aux États-Unis il y a une histoire de racisme assez intense, on a déjà plusieurs cas, et on a en eu un dernier il y a encore deux semaines : des personnes qui se retrouvent mises en garde à vue de quelques heures à quelques jours, parfois, et qui doivent dépenser des milliers de dollars pour se défendre sur la foi d'un résultat erroné d’un algorithme d'un logiciel. Ça soulève plein de questions politiques, sociales : pourquoi la police a-t-elle pris pour argent comptant le résultat du logiciel, etc. Ce sont des choses qui ont besoin d'être discutées à l'échelle de la société, mais, dans le fond il y a quand même, à la base, un problème technique qui demande à être corrigé.
Si le sujet vous intéresse, je vous invite à regarder Coded Bias, qui est un super documentaire disponible sur Netflix, me semble-t-il, dans lequel vous verrez d'ailleurs Joy Buolamwini qui est à l'origine de l'étude dont je vous parlais tout à l'heure.

Un autre type de cas où les algorithmes posent des problèmes, juste un autre exemple qui, à mon sens, est assez parlant, c'est dans le système des dons d'aide sociale, les allocations sociales.
Il se trouve que depuis plusieurs années, dans plusieurs pays, on a mis en place des systèmes pour essayer de lutter contre la fraude aux aides sociales. Et, pour faire ça, on a déployé des machines algorithmiques. Sauf que ces machines, vous y attendiez peut-être, ne sont pas complètement impartiales, elles ne sont pas parfaitement neutres et elles embarquent des préconçus ou des erreurs qui n'ont pas forcément été repérées à temps, en tout cas qui n’ont pas forcément été repérées avant d'être déployées dans ces machines qui ont des impacts sur la vie des gens.
Il se trouve qu’aux Pays-Bas en particulier ça a créé un énorme scandale qui a mené à la démission du gouvernement, en 2021, parce qu’un gros nombre de foyers s'étaient retrouvés dans des situations économiques vraiment compliquées parce qu’ils étaient extrêmement souvent visés par des procédures de vérifications qu'ils n'étaient pas en train de frauder. Sauf qu’une procédure de vérification est quelque chose de lourd : il faut donner des papiers, prouver sa bonne foi, démontrer qu’on a vraiment le droit aux allocations qu’on a reçues, etc. Dans certains cas, ça veut aussi dire qu'on suspend les allocations pendant le temps où on met en place la mesure de contrôle. Du coup, des familles se sont vraiment retrouvées dans des situations économiques très compliquées, à ne pas réussir à boucler les fins de mois.
Le problème – mais il a fallu que des observateurs extérieurs voient le nombre de plaintes d'allocataires aux aides sociales augmenter et fassent tout le raisonnement qui leur a ensuite permis de remonter à la machine -–, c'est donc que c'était une machine qui sélectionnait les dossiers suspectés de fraude en leur donnant des scores très haut, avec un calcul algorithmique que vous saurez certainement beaucoup mieux expliquer que moi, d'ailleurs. On s'est rendu compte qu’elle ne visait pas tout le monde de la même manière. Encore une fois, le service n'était pas rendu de la même manière. Je ne connais pas exactement la loi néerlandaise sur la question, mais en France, dans nos textes, il est interdit de discriminer sur ce type de service. Il y a donc vraiment un problème de droits fondamentaux, encore une fois, qui arrive dans ces questions-là.
On s'est donc rendu compte que les machines ne visaient pas tout le monde de la même manière avec ces contrôles de suspicion, de lutte contre la fraude.
Après, ça reste un algorithme, donc, comme très souvent, très difficile d'aller d'obtenir le code, d'aller fouiller parce que, à la fois les constructeurs et les opérateurs, là, en l'occurrence, les institutions, n’aiment pas trop donner leur cuisine interne.
Heureusement, un modèle en particulier a pu être étudié par Wired dans cet article que vous pouvez lire si jamais le sujet vous intéresse, c'est l'algorithme qui est utilisé par la ville de Rotterdam. Là c'était assez clair, une fois qu'ils ont réussi, en rétro-ingénierie, à tout bien remettre au clair, que la machine présentait vraiment des suspicions beaucoup plus fortes dès que vous étiez jeune, dès que vous étiez parent, dès que vous étiez une femme, dès que vous aviez de faibles compétences en néerlandais. Si vous cochiez une ou plusieurs de ces cases, il y avait toutes les chances pour que vous vous preniez plus et plus souvent des contrôles de lutte contre la fraude.

Garbage in, garbage out

Donc, des petits exemples pour vous dire deux choses.