Les algorithmes, moteurs d'inégalités croissantes
Titre : Les algorithmes, moteurs d'inégalités croissantes
Intervenant·e·s : Soizic Pénicaud - Maxime Lubrano
Lieu : Podcast Numéricité.FM
Date : 4 avril 2024
Durée : 48 min 20
Licence de la transcription : Verbatim
Illustration : À prévoir
NB : Transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.
Transcription
Voix off : Qu’est-ce que le réel ? J’ai vu tant de choses que vous ne pourriez pas croire.
Numéricité FM, le podcast qui prend un malin plaisir à décortiquer la transition numérique pour de vrai.
Maxime Lubrano : Bonjour à toutes et tous. Numéricité. FM saison 3 épisode 7.
Numéricité. FM, c’est le podcast qui s’intéresse à la transformation numérique sous toutes ses coutures et sans tabou.
Après nous être intéressés aux inégalités de genre dans la filière numérique et sur le numérique, on ne pouvait que porter notre attention sur la reproduction, voire l’intensification, des inégalités sociales par le traitement technique des demandes d’accès aux droits, une certaine idée de l’intersectionnalité. Comment une personne en situation de précarité et, la plupart du temps d’illectronisme, devient la cible privilégiée des algorithmes.
Sur le sujet des algorithmes, on pense évidemment au récent livre enquête de Judith Duportail au sujet de l’algorithme Tinder [L’amour sous algorithme], celui-ci attribue une note en fonction de la désirabilité supposée de l’utilisateur. Sans surprendre personne, les hommes et les femmes ne sont pas notés de la même façon, l’algorithme reproduisant ainsi les biais sociétaux, non sans lien, on pense également aux biais racistes et sexistes de certaines intelligences artificielles avec le carré 100 de Midjourney interpellé par l’agence BETC sur les résultats de génération d’images concernant la banlieue.
Au croisement des algorithmes et des IA et à l’approche des Jeux olympiques et paralympiques de Paris, on pense également aux problématiques de surveillance de masse.
Une récente enquête Mediapart a mis en lumière le fait que la SNCF voulait tester la reconnaissance faciale, technologie illégale, pour identifier les comportements des usagers. La CNIL n’a pas accepté la dérogation et la SNCF s’est finalement tournée vers un logiciel de vidéosurveillance algorithmique s’appuyant sur des données non biométriques, comme la démarche ou la tenue vestimentaire, ce qui n’est pas sans inquiéter la CNIL.
CTRL-T, Commande T, ouvrons un nouvel onglet de Numéricité. FM : « Les algorithmes moteurs d’inégalités croissantes ».
Pour en discuter avec nous, nous avons le plaisir de recevoir Soizic Pénicaud, chercheuse indépendante, consultante et facilitatrice freelance.
Bonjour Soizic.
Soizic Pénicaud : Bonjour et merci.
Maxime Lubrano : Merci d’avoir accepté notre invitation.
Une première question : est-ce que tu pourrais nous présenter ton parcours avant d’être chercheuse indépendante, consultante et facilitatrice freelance ?
Soizic Pénicaud : Oui, tout à fait. J’ai commencé mon parcours sur Internet déjà quand j’avais 12 ans et j’ai un peu grandi sur Internet, sur les forums phpBB, pour les personnes qui se souviennent de cette époque. C’est un peu comme cela que je me suis intéressée au numérique.
Pendant mes études, j’ai fait tout à fait autre chose au départ, puisque j’ai fait du droit et de la science politique à l’Université Paris 1 et, ensuite, j’ai fait un master en Éducation et numérique où je m’intéressais plus particulièrement à la manière dont on peut transmettre une culture numérique à des personnes qui ne sont pas techs, et j’ai été aussi amenée à m’interroger, avec mon parcours en sciences sociales, sur ce que le numérique faisait à la société.
Dans le cadre de ce master, je suis rentrée en stage à Etalab, qui est une administration, qui est un département de la Direction interministérielle du numérique. Etalab était en charge de la politique des données des administrations, notamment de l'open data, de l'open source, donc ouverture des codes sources, et puis de la politique de gouvernement ouvert plus généralement. Au sein d’Etalab j’ai fait trois choses :
la première, j’ai été membre, avec différentes fonctions, de l’équipe du programme Entrepreneurs d’intérêt général, un programme de transformation numérique qui intégrait des professionnels du numérique, extérieurs à l’administration, dans des services publics, pour travailler sur des projets en lien avec l’ouverture et l’exploitation des données publiques ;
j’ai travaillé sur la mise en œuvre du cadre légal de la transparence des algorithmes publics auprès des administrations concernées ;
et puis, j’étais aussi en charge de créer des liens avec des organisations extérieures à Etalab et extérieures à l’administration. J’ai donc organisé des partenariats, des projets, des interventions dans des conférences, avec des laboratoires de recherche en sciences sociales et en design et puis, aussi, avec des organisations de la société civile, pour utiliser un peu de jargon, donc des associations ou des organisations diverses et variées, en France et à l’étranger.
J’ai travaillé à Etalab de 2017 à 2021. Quand je suis partie, en octobre 2021, c’est là où j’ai commencé mon activité de freelance, donc d’indépendante. Concrètement, je fais effectivement de la recherche, je fais du conseil et je fais de la facilitation dans un domaine assez large qui concerne les effets du numérique sur les droits humains et les libertés publiques. Je m’intéresse plus particulièrement aux effets du numérique et des technologies qui utilisent des données sur les personnes précaires, sur les groupes minorés – ça va être les femmes, les personnes LGBTQIA+, les personnes non-blanches, tout type de population qui subit des discriminations. Je travaille pour des associations, des fondations et des institutions publiques, en France et à l’étranger.
Par ailleurs, pour finir, je suis également enseignante à Sciences Po Paris où j’ai un cours, depuis trois ans, au sein du master d’affaires publiques qui s’intéresse à différents cas d’usages d’algorithmes utilisés dans le secteur public, là pareil, en France mais aussi à l’international, pour réfléchir à la gouvernance de l’intelligence artificielle.
Maxime Lubrano : Tu viens justement de nous parler d’algorithmes publics. La dématérialisation des procédures administratives touche de nombreux services publics, si ce n’est la grande majorité maintenant, et ce n’est pas sans lien avec la déshumanisation de l’accès aux services publics, l’automatisation des traitements et aussi des prises de décisions gouvernementales, avec des données qui sont de plus en plus désincarnées et traitées par des algorithmes et qui sont, pour la plupart, obscurs pour le commun des mortels alors qu’ils sont censés être transparents et publics. Comment ces méthodes de traitement ont-elles été instaurées dans les administrations ?
Soizic Pénicaud : Je pense qu’il y a une idée reçue, qu’on peut dissiper dès maintenant : les algorithmes, ce n’est pas quelque chose de récent dans les administrations. On parle beaucoup, en ce moment, d’intelligence artificielle et de techniques avancées de traitement de données, mais, en réalité, un algorithme, dans sa définition la plus simple, c’est une opération qui, avec des éléments en entrée, donne un résultat en sortie. Une fois qu’on a dit ça, on se rend compte que beaucoup de choses dans l’administration peuvent être transformées en algorithmes. On peut distinguer, grosso modo, trois phases et j’en rajouterai, en réalité, une quatrième, trois phases dans l’instauration des algorithmes dans le secteur public.
On a d’abord une fonction qui est celle de calculer des choses. Donc, très concrètement, ça va être calculer des allocations sociales, ça va être calculer des impôts et cela, en fait, c’est quelque chose qui est une automatisation simple d’une action que les humains pourraient faire à la main, mais qui serait très longue. Je ne sais pas vous, mais moi je n’aimerais pas que les impôts soient calculés à la main par des agents publics, je pense que ça serait une perte de temps et un petit peu risqué. La mise en algorithme de calcul des impôts, par exemple, date des années 50/60, on est donc sur des choses simples.
Après, on a un autre type d’algorithmes qui va être de permettre de faire correspondre une offre et une demande. Très concrètement c’est quoi ? Par exemple Parcoursup qui permet d’allouer les places disponibles dans l’enseignement supérieur : on fait correspondre une demande qui est celle des candidats/candidates qui veulent accéder à des formations dans l’enseignement supérieur et les places disponibles en formation. Ça va être aussi les greffons cardiaques des personnes qui ont besoin d’un nouveau cœur et le nombre de cœurs disponibles. Ce sont des choses qui sont plus difficiles à faire manuellement, il va donc effectivement y avoir des formules mathématiques pour optimiser ces processus.
Et enfin, on peut identifier un troisième usage qui, lui, est un peu plus récent, qui va être un usage de prédiction. Là on va prédire. On peut prédire, par exemple, un risque. Je pense à un projet développé par la Direction générale des entreprises qui s’appelle « Signaux Faibles », qui vise à détecter les entreprises qui sont à risque d’être en difficulté pour les accompagner et les empêcher d’être en faillite. Ça peut être aussi le risque de fraude, fraude fiscale, fraude sociale. Là, on va utiliser des technologies qui sont plus liées, dans notre imaginaire, à des algorithmes avec un traitement de données importants, tout ce qu’on va appeler machine learning, donc apprentissage automatisé, etc.
Je disais que j’en rajouterais une quatrième, parce que maintenant, avec l’intelligence artificielle générative, tout ce qui va être des programmes qui vont permettre à des utilisateurs et utilisatrices de générer du contenu – on pense à ChatGPT –, dans l’administration ce sont beaucoup des choses qui vont permettre d’analyser et de générer du texte. Là, j’ai l’impression qu’il y a nouvelle voie qui se dessine autour de l’utilisation des algorithmes.
Ce qu’il faut retenir, très schématiquement, c’est aussi que quand on dit « algorithmes dans l’administration », on ne parle pas nécessairement de choses qui sont complexes : ça peut être des fichiers excel qui sont aussi des algorithmes.
Maxime Lubrano : On voit bien qu’il y a un impact social des algorithmes, je pense notamment à la troisième phase qui est la prédiction de la fraude fiscale, fraude sociale, qui n’est pas sans reproduire certaines inégalités sociétales, c’est un des cœurs de tes recherches. Qu’est-ce qui, au cours de ton parcours, a éveillé ton intérêt sur les questions d’algorithmie ?
Soizic Pénicaud : C’est une très bonne question. D’ailleurs, pour rebondir sur cette question d’impact sur la société, je pense que tous les types d’algorithmes utilisés dans l’administration peuvent avoir des effets importants. Par exemple, si on calcule mal vos allocations sociales, ça peut avoir des conséquences assez radicales sur votre vie, donc, les systèmes les plus simples peuvent avoir des conséquences importantes.
Ce qui a éveillé mon intérêt sur la question, c’est notamment dans le cadre de mon travail à Etalab. Au sein du programme Entrepreneurs d’intérêt général, on développait beaucoup d’algorithmes, concrètement. Dans le même temps, il y avait aussi l’entrée en vigueur de la loi pour une République numérique qui prévoyait des nouvelles obligations pour les administrations en matière d’algorithmes publics et plus généralement, dans ma vie personnelle, j’ai des engagements féministes, j’ai des engagements antiracistes, des engagements pour les droits des personnes migrantes, du coup je sentais aussi que quand on dit « algorithmes publics », ça fait peur à beaucoup de gens. Déjà, le mot « algorithme » est très long, il y a une connotation très technique. De par mes engagements militants et mon parcours en sciences sociales, je sentais que c’était un sujet qui était important, parce que, souvent, il était réduit à une question technique, alors que quand on parle d’algorithmes dans le secteur public, on parle toujours de politiques publiques.
Cela m’intéressait aussi parce que j’entendais beaucoup, autour de moi, un discours très positif autour de l’utilisation des données dans l’administration et j’ai tendance à toujours prendre le contre-pied de ce qu’on me dit, ce n’est pas forcément une qualité, en tout cas je me pose des questions. Donc, quand on me disait « les données c’est super, les algorithmes c’est super », je disais « OK, c’est super, mais c’est super pour qui ? C’est super pour l’administration ? C’est super pour les citoyens/citoyennes ? Qu’est-ce qu’on entend par super ? Etc. » C’est donc un peu comme ça que j’ai commencé à tirer les fils de la question.
Maxime Lubrano : Tu nous en as parlé. Tes premières accointances avec les algorithmes s’inscrivent dans la suite de la promulgation de la loi du 7 octobre 2016, pour une République numérique, dite loi Lemaire. Une des dispositions de cette loi exige la transparence des algorithmes publics, obligeant l’ensemble des agences publiques à lister, publier les principaux outils algorithmiques de prise de décision qu’elles utilisent. Est-ce que tu peux nous parler, justement dans le cadre de cette disposition, de tes travaux avec Simon Chignard qui ont conduit l’édition du Guide de la transparence des algorithmes publics.
Soizic Pénicaud : Oui, tout à fait. Déjà, un tout petit rappel sur ce que la loi pour une République numérique a introduit en termes d’obligations pour les administrations : toute administration qui utilise un algorithme dans le cadre d’une décision administrative individuelle est soumise à trois obligations :
la première, c’est une obligation de mention explicite. Elle doit indiquer qu’elle a utilisé un algorithme pour prendre la décision, même si cette décision n’est pas complètement automatisée, je le précise parce que c’est important ;
la deuxième obligation, c’est une obligation qu’on pourrait qualifier d’explication globale, c’est celle que tu as mentionnée, qui est décrire le fonctionnement des algorithmes qui sont utilisés. Donc, pour cela il faut les lister et il faut ensuite expliquer comment ils fonctionnent d’un point de vue général ;
et la troisième, c’est une obligation d’explication individuelle qui est que l’administration doit pouvoir fournir à la personne qui en fait la demande les raisons pour lesquelles la décision a été prise et le cheminement qui a été opéré par l’algorithme pour mener à cette décision.
Ce sont donc les trois obligations.
La loi pour une République numérique est assez laconique, c’est-à-dire que ça disait : vous devez mentionner, vous devez rendre transparent, et puis pas grand-chose d’autre. Donc, le travail que nous avons été en charge de mener avec mon collègue Simon Chignard, qui est vraiment celui qui a commencé ces travaux, je pense qu’il faut lui rendre ce crédit-là, c’est de travailler sur la concrétisation de cette disposition légale pour les administrations. En pratique, ça a mené, entre autres, à l’édition de ce Guide de la transparence des algorithmes publics qui est toujours disponible, en accès libre, sur Internet ; si vous tapez « Etalab guide algorithmes publics » vous allez le trouver.
L’objectif était, par exemple, de proposer un modèle de mention explicite pour que les administrations n’aient pas à réinventer la roue et qu’elles puissent utiliser tout de suite un modèle.
Ça a été aussi travailler sur un modèle d’inventaire des algorithmes publics, qu’on a notamment élaboré en collaboration, en coconstruction, avec des administrations qui voulaient se saisir du sujet, notamment la ville d’Antibes, la Métropole de Lyon, le ministère de l’Éducation nationale et j’en oublie. L’idée c’était vraiment de faire un travail collectif pour que les obligations légales puissent être facilement prises en main par ces administrations.
16’ 30
Maxime Lubrano : Pourquoi
