|
|
| (7 versions intermédiaires par 2 utilisateurs non affichées) |
| Ligne 1 : |
Ligne 1 : |
| [[Catégorie:Transcriptions]] | | [[Catégorie:Transcriptions]] |
|
| |
|
| '''Titre :''' Les algorithmes, moteurs d'inégalités croissantes
| | Publié [https://www.librealire.org/les-algorithmes-moteurs-d-inegalites-croissantes ici] - Juin 2024 |
| | |
| '''Intervenant·e·s :''' Soizic Pénicaud - Maxime Lubrano
| |
| | |
| '''Lieu :''' Podcast <em>Numéricité.FM</em>
| |
| | |
| '''Date :''' 4 avril 2024
| |
| | |
| '''Durée :''' 48 min 20
| |
| | |
| '''[https://numericite.eu/numericitefm-s03e07-les-algorithmes-moteurs-dinegalites-avec-soizic-penicaud/ Podcast]'''
| |
| | |
| '''[https://numericite.eu/numericitefm-s03e07-les-algorithmes-moteurs-dinegalites-avec-soizic-penicaud/ Présentation du podcast]'''
| |
| | |
| '''Licence de la transcription :''' [http://www.gnu.org/licenses/licenses.html#VerbatimCopying Verbatim]
| |
| | |
| '''Illustration :''' À prévoir
| |
| | |
| '''NB :''' <em>Transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.<br/>
| |
| Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.</em>
| |
| | |
| ==Transcription==
| |
| | |
| <b>Voix off : </b>Qu’est-ce que le réel ? J’ai vu tant de choses que vous ne pourriez pas croire.<br/>
| |
| Numéricité FM, le podcast qui prend un malin plaisir à décortiquer la transition numérique pour de vrai.
| |
| | |
| <b>Maxime Lubrano : </b>Bonjour à toutes et tous. Numéricité. FM saison 3 épisode 7.<br/>
| |
| Numéricité. FM, c’est le podcast qui s’intéresse à la transformation numérique sous toutes ses coutures et sans tabou.<br/>
| |
| Après nous être intéressés aux inégalités de genre dans la filière numérique et sur le numérique, on ne pouvait que porter notre attention sur la reproduction, voire l’intensification, des inégalités sociales par le traitement technique des demandes d’accès aux droits, une certaine idée de l’intersectionnalité. Comment une personne en situation de précarité et, la plupart du temps d’illectronisme, devient la cible privilégiée des algorithmes.<br/>
| |
| Sur le sujet des algorithmes, on pense évidemment au récent livre enquête de Judith Duportail au sujet de l’algorithme Tinder [<em>L’amour sous algorithme</em>], celui-ci attribue une note en fonction de la désirabilité supposée de l’utilisateur. Sans surprendre personne, les hommes et les femmes ne sont pas notés de la même façon, l’algorithme reproduisant ainsi les biais sociétaux, non sans lien, on pense également aux biais racistes et sexistes de certaines intelligences artificielles avec le carré 100 de Midjourney interpellé par l’agence BETC sur les résultats de génération d’images concernant la banlieue.<br/>
| |
| Au croisement des algorithmes et des IA et à l’approche des Jeux olympiques et paralympiques de Paris, on pense également aux problématiques de surveillance de masse.<br/>
| |
| Une récente enquête <em>Mediapart</em> a mis en lumière le fait que la SNCF voulait tester la reconnaissance faciale, technologie illégale, pour identifier les comportements des usagers. La CNIL n’a pas accepté la dérogation et la SNCF s’est finalement tournée vers un logiciel de vidéosurveillance algorithmique s’appuyant sur des données non biométriques, comme la démarche ou la tenue vestimentaire, ce qui n’est pas sans inquiéter la CNIL.<br/>
| |
| CTRL-T, Commande T, ouvrons un nouvel onglet de Numéricité. FM : « Les algorithmes moteurs d’inégalités croissantes ».<br/>
| |
| Pour en discuter avec nous, nous avons le plaisir de recevoir Soizic Pénicaud, chercheuse indépendante, consultante et facilitatrice freelance.<br/>
| |
| Bonjour Soizic.
| |
| | |
| <b>Soizic Pénicaud : </b>Bonjour et merci.
| |
| | |
| <b>Maxime Lubrano : </b>Merci d’avoir accepté notre invitation.<br/>
| |
| Une première question : est-ce que tu pourrais nous présenter ton parcours avant d’être chercheuse indépendante, consultante et facilitatrice freelance ?
| |
| | |
| <b>Soizic Pénicaud : </b>Oui, tout à fait. J’ai commencé mon parcours sur Internet déjà quand j’avais 12 ans et j’ai un peu grandi sur Internet, sur les forums phpBB, pour les personnes qui se souviennent de cette époque. C’est un peu comme cela que je me suis intéressée au numérique.<br/>
| |
| Pendant mes études, j’ai fait tout à fait autre chose au départ, puisque j’ai fait du droit et de la science politique à l’Université Paris 1 et, ensuite, j’ai fait un master en Éducation et numérique où je m’intéressais plus particulièrement à la manière dont on peut transmettre une culture numérique à des personnes qui ne sont pas techs, et j’ai été aussi amenée à m’interroger, avec mon parcours en sciences sociales, sur ce que le numérique faisait à la société.<br/>
| |
| Dans le cadre de ce master, je suis rentrée en stage à Etalab, qui est une administration, qui est un département de la Direction interministérielle du numérique. Etalab était en charge de la politique des données des administrations, notamment de l'<em>open data</em>, de l'<em>open source</em>, donc ouverture des codes sources, et puis de la politique de gouvernement ouvert plus généralement. Au sein d’Etalab j’ai fait trois choses :<br/>
| |
| la première, j’ai été membre, avec différentes fonctions, de l’équipe du programme Entrepreneurs d’intérêt général, un programme de transformation numérique qui intégrait des professionnels du numérique, extérieurs à l’administration, dans des services publics, pour travailler sur des projets en lien avec l’ouverture et l’exploitation des données publiques ;<br/>
| |
| j’ai travaillé sur la mise en œuvre du cadre légal de la transparence des algorithmes publics auprès des administrations concernées ;<br/>
| |
| et puis, j’étais aussi en charge de créer des liens avec des organisations extérieures à Etalab et extérieures à l’administration. J’ai donc organisé des partenariats, des projets, des interventions dans des conférences, avec des laboratoires de recherche en sciences sociales et en design et puis, aussi, avec des organisations de la société civile, pour utiliser un peu de jargon, donc des associations ou des organisations diverses et variées, en France et à l’étranger.<br/>
| |
| J’ai travaillé à Etalab de 2017 à 2021. Quand je suis partie, en octobre 2021, c’est là où j’ai commencé mon activité de freelance, donc d’indépendante. Concrètement, je fais effectivement de la recherche, je fais du conseil et je fais de la facilitation dans un domaine assez large qui concerne les effets du numérique sur les droits humains et les libertés publiques. Je m’intéresse plus particulièrement aux effets du numérique et des technologies qui utilisent des données sur les personnes précaires, sur les groupes minorés – ça va être les femmes, les personnes LGBTQIA+, les personnes non-blanches, tout type de population qui subit des discriminations. Je travaille pour des associations, des fondations et des institutions publiques, en France et à l’étranger.<br/>
| |
| Par ailleurs, pour finir, je suis également enseignante à Sciences Po Paris où j’ai un cours, depuis trois ans, au sein du master d’affaires publiques qui s’intéresse à différents cas d’usages d’algorithmes utilisés dans le secteur public, là pareil, en France mais aussi à l’international, pour réfléchir à la gouvernance de l’intelligence artificielle.
| |
| | |
| <b>Maxime Lubrano : </b>Tu viens justement de nous parler d’algorithmes publics. La dématérialisation des procédures administratives touche de nombreux services publics, si ce n’est la grande majorité maintenant, et ce n’est pas sans lien avec la déshumanisation de l’accès aux services publics, l’automatisation des traitements et aussi des prises de décisions gouvernementales, avec des données qui sont de plus en plus désincarnées et traitées par des algorithmes et qui sont, pour la plupart, obscurs pour le commun des mortels alors qu’ils sont censés être transparents et publics. Comment ces méthodes de traitement ont-elles été instaurées dans les administrations ?
| |
| | |
| <b>Soizic Pénicaud : </b>Je pense qu’il y a une idée reçue, qu’on peut dissiper dès maintenant : les algorithmes, ce n’est pas quelque chose de récent dans les administrations. On parle beaucoup, en ce moment, d’intelligence artificielle et de techniques avancées de traitement de données, mais, en réalité, un algorithme, dans sa définition la plus simple, c’est une opération qui, avec des éléments en entrée, donne un résultat en sortie. Une fois qu’on a dit ça, on se rend compte que beaucoup de choses dans l’administration peuvent être transformées en algorithmes. On peut distinguer, grosso modo, trois phases et j’en rajouterai, en réalité, une quatrième, trois phases dans l’instauration des algorithmes dans le secteur public.<br/>
| |
| On a d’abord une fonction qui est celle de calculer des choses. Donc, très concrètement, ça va être calculer des allocations sociales, ça va être calculer des impôts et cela, en fait, c’est quelque chose qui est une automatisation simple d’une action que les humains pourraient faire à la main, mais qui serait très longue. Je ne sais pas vous, mais moi je n’aimerais pas que les impôts soient calculés à la main par des agents publics, je pense que ça serait une perte de temps et un petit peu risqué. La mise en algorithme de calcul des impôts, par exemple, date des années 50/60, on est donc sur des choses simples.<br/>
| |
| Après, on a un autre type d’algorithmes qui va être de permettre de faire correspondre une offre et une demande. Très concrètement c’est quoi ? Par exemple Parcoursup qui permet d’allouer les places disponibles dans l’enseignement supérieur : on fait correspondre une demande qui est celle des candidats/candidates qui veulent accéder à des formations dans l’enseignement supérieur et les places disponibles en formation. Ça va être aussi les greffons cardiaques des personnes qui ont besoin d’un nouveau cœur et le nombre de cœurs disponibles. Ce sont des choses qui sont plus difficiles à faire manuellement, il va donc effectivement y avoir des formules mathématiques pour optimiser ces processus.<br/>
| |
| Et enfin, on peut identifier un troisième usage qui, lui, est un peu plus récent, qui va être un usage de prédiction. Là on va prédire. On peut prédire, par exemple, un risque. Je pense à un projet développé par la Direction générale des entreprises qui s’appelle « Signaux Faibles », qui vise à détecter les entreprises qui sont à risque d’être en difficulté pour les accompagner et les empêcher d’être en faillite. Ça peut être aussi le risque de fraude, fraude fiscale, fraude sociale. Là, on va utiliser des technologies qui sont plus liées, dans notre imaginaire, à des algorithmes avec un traitement de données importants, tout ce qu’on va appeler <em>machine learning</em>, donc apprentissage automatisé, etc.<br/>
| |
| Je disais que j’en rajouterais une quatrième, parce que maintenant, avec l’intelligence artificielle générative, tout ce qui va être des programmes qui vont permettre à des utilisateurs et utilisatrices de générer du contenu – on pense à ChatGPT –, dans l’administration ce sont beaucoup des choses qui vont permettre d’analyser et de générer du texte. Là, j’ai l’impression qu’il y a nouvelle voie qui se dessine autour de l’utilisation des algorithmes.<br/>
| |
| Ce qu’il faut retenir, très schématiquement, c’est aussi que quand on dit « algorithmes dans l’administration », on ne parle pas nécessairement de choses qui sont complexes : ça peut être des fichiers excel qui sont aussi des algorithmes.
| |
| | |
| <b>Maxime Lubrano : </b>On voit bien qu’il y a un impact social des algorithmes, je pense notamment à la troisième phase qui est la prédiction de la fraude fiscale, fraude sociale, qui n’est pas sans reproduire certaines inégalités sociétales, c’est un des cœurs de tes recherches. Qu’est-ce qui, au cours de ton parcours, a éveillé ton intérêt sur les questions d’algorithmie ?
| |
| | |
| <b>Soizic Pénicaud : </b>C’est une très bonne question. D’ailleurs, pour rebondir sur cette question d’impact sur la société, je pense que tous les types d’algorithmes utilisés dans l’administration peuvent avoir des effets importants. Par exemple, si on calcule mal vos allocations sociales, ça peut avoir des conséquences assez radicales sur votre vie, donc, les systèmes les plus simples peuvent avoir des conséquences importantes.<br/>
| |
| Ce qui a éveillé mon intérêt sur la question, c’est notamment dans le cadre de mon travail à Etalab. Au sein du programme Entrepreneurs d’intérêt général, on développait beaucoup d’algorithmes, concrètement. Dans le même temps, il y avait aussi l’entrée en vigueur de la loi pour une République numérique qui prévoyait des nouvelles obligations pour les administrations en matière d’algorithmes publics et plus généralement, dans ma vie personnelle, j’ai des engagements féministes, j’ai des engagements antiracistes, des engagements pour les droits des personnes migrantes, du coup je sentais aussi que quand on dit « algorithmes publics », ça fait peur à beaucoup de gens. Déjà, le mot « algorithme » est très long, il y a une connotation très technique. De par mes engagements militants et mon parcours en sciences sociales, je sentais que c’était un sujet qui était important, parce que, souvent, il était réduit à une question technique, alors que quand on parle d’algorithmes dans le secteur public, on parle toujours de politiques publiques.<br/>
| |
| Cela m’intéressait aussi parce que j’entendais beaucoup, autour de moi, un discours très positif autour de l’utilisation des données dans l’administration et j’ai tendance à toujours prendre le contre-pied de ce qu’on me dit, ce n’est pas forcément une qualité, en tout cas je me pose des questions. Donc, quand on me disait « les données c’est super, les algorithmes c’est super », je disais « OK, c’est super, mais c’est super pour qui ? C’est super pour l’administration ? C’est super pour les citoyens/citoyennes ? Qu’est-ce qu’on entend par super ? Etc. » C’est donc un peu comme ça que j’ai commencé à tirer les fils de la question.
| |
| | |
| <b>Maxime Lubrano : </b>Tu nous en as parlé. Tes premières accointances avec les algorithmes s’inscrivent dans la suite de la promulgation de la loi du 7 octobre 2016, pour une République numérique, dite loi Lemaire. Une des dispositions de cette loi exige la transparence des algorithmes publics, obligeant l’ensemble des agences publiques à lister, publier les principaux outils algorithmiques de prise de décision qu’elles utilisent. Est-ce que tu peux nous parler, justement dans le cadre de cette disposition, de tes travaux avec Simon Chignard qui ont conduit l’édition du <em>Guide de la transparence des algorithmes publics</em>.
| |
| | |
| <b>Soizic Pénicaud : </b>Oui, tout à fait. Déjà, un tout petit rappel sur ce que la loi pour une République numérique a introduit en termes d’obligations pour les administrations : toute administration qui utilise un algorithme dans le cadre d’une décision administrative individuelle est soumise à trois obligations :<br/>
| |
| la première, c’est une obligation de mention explicite. Elle doit indiquer qu’elle a utilisé un algorithme pour prendre la décision, même si cette décision n’est pas complètement automatisée, je le précise parce que c’est important ;<br/>
| |
| la deuxième obligation, c’est une obligation qu’on pourrait qualifier d’explication globale, c’est celle que tu as mentionnée, qui est décrire le fonctionnement des algorithmes qui sont utilisés. Donc, pour cela il faut les lister et il faut ensuite expliquer comment ils fonctionnent d’un point de vue général ;<br/>
| |
| et la troisième, c’est une obligation d’explication individuelle qui est que l’administration doit pouvoir fournir à la personne qui en fait la demande les raisons pour lesquelles la décision a été prise et le cheminement qui a été opéré par l’algorithme pour mener à cette décision.<br/>
| |
| Ce sont donc les trois obligations.<br/>
| |
| La loi pour une République numérique est assez laconique, c’est-à-dire que ça disait : vous devez mentionner, vous devez rendre transparent, et puis pas grand-chose d’autre. Donc, le travail que nous avons été en charge de mener avec mon collègue Simon Chignard, qui est vraiment celui qui a commencé ces travaux, je pense qu’il faut lui rendre ce crédit-là, c’est de travailler sur la concrétisation de cette disposition légale pour les administrations. En pratique, ça a mené, entre autres, à l’édition de ce <em>Guide de la transparence des algorithmes publics</em> qui est toujours disponible, en accès libre, sur Internet ; si vous tapez « Etalab guide algorithmes publics » vous allez le trouver.<br/>
| |
| L’objectif était, par exemple, de proposer un modèle de mention explicite pour que les administrations n’aient pas à réinventer la roue et qu’elles puissent utiliser tout de suite un modèle.<br/>
| |
| Ça a été aussi travailler sur un modèle d’inventaire des algorithmes publics, qu’on a notamment élaboré en collaboration, en coconstruction, avec des administrations qui voulaient se saisir du sujet, notamment la ville d’Antibes, la Métropole de Lyon, le ministère de l’Éducation nationale et j’en oublie. L’idée c’était vraiment de faire un travail collectif pour que les obligations légales puissent être facilement prises en main par ces administrations.
| |
| | |
| ==16’ 30==
| |
| | |
| <b>Maxime Lubrano : </b>Pourquoi est-ce important de rendre explicable un algorithme ? Comment pourrait-on s’assurer qu’il opère sur des bases transparentes, compréhensibles pour toutes et tous et qu’il rende des comptes justement à ceux qui sont concernés ? Ce sont deux des trois obligations que tu as citées.
| |
| | |
| <b>Soizic Pénicaud : </b>Tout à fait. Il y a aussi quelque chose d’intéressant, c’est que, en fait, ce n’est pas l’algorithme qui rend des comptes, c’est l’administration qui utilise les algorithmes. Je pense que c’est important de le rappeler, parce que, souvent, on a tendance à vouloir imputer une responsabilité à l’outil, alors qu’il faut se rappeler, pour la responsabilité, qu’il y a des humains derrière et qu’il y a une administration. Donc, on n’est pas non plus sur un fonctionnement qui est très différent des autres politiques publiques, c’est juste qu’à l’intérieur de celle-là il y a un outil qui peut parfois faire un peu peur, mais, en réalité, l’administration est toujours redevable de son action, donc, là, la chose n’est pas différente.<br/>
| |
| Ceci étant dit, pourquoi c’est important d’expliquer les algorithmes publics. Il y a trois utilisations d’une explication possible, si on schématise encore une fois :<br/>
| |
| la première c’est comprendre ; comprendre soit si on a été sujet/sujette à une décision algorithmique, c’est notre droit et c’est important de savoir pourquoi cette décision a été prise ; ça peut être important aussi, quand on est un ou une agente publique et qu’on va utiliser ces systèmes, de comprendre à la fois comment l’outil fonctionne mais aussi quelles sont ses limites, pourquoi on l’utilise et comment on devrait l’utiliser pour rester en maîtrise de son travail. C’est la première chose ;<br/>
| |
| la deuxième chose, c’est débattre. Une fois qu’on a compris on peut choisir de discuter de ces systèmes et peut-être avoir une réflexion un peu plus collective autour de ce que ces outils vont avoir comme effets ou de quels paramètres devraient rentrer en compte ;<br/>
| |
| et, la troisième, c’est contester. Là, on peut vraiment rentrer dans une démarche un peu plus oppositionnelle mais qui est très importante. Je reprends l’exemple du calcul des droits sociaux ou même des impôts, c’est important de comprendre comment ça a été calculé pour pouvoir, si on se rend compte qu’il y a eu une erreur, s’opposer à cette erreur. Si on n’a pas cette information, c’est impossible de le faire. Il y a eu une affaire, je crois que c’était avec Affelnet, l’algorithme qui permet l’allocation des places en lycée en Île-de-France. Des parents ont demandé l’accès au calcul du score Affelnet de leur fille et se sont rendu compte qu’il y avait eu des erreurs, donc, ils ont été capables, justement, de mener des actions sur la base de ces constats.<br/>
| |
| Donc comprendre débattre et contester.<br/>
| |
| Je pense que la question qu’il faut aussi et peut-être surtout se poser, c’est : qu’est-ce qu’il faut rendre explicable ? Parce que, très souvent, on se centre sur l’explication technique du système et, en faisant ça, il y a deux problèmes.<br/>
| |
| Le premier problème, c’est que quand on utilise des systèmes notamment un peu avancés, dont on dit qu’ils sont, entre guillemets, « des boîtes noires », il y a des impossibilités techniques à expliquer certaines choses. Quand je dis « systèmes techniques », ce sont, par exemple, les systèmes de reconnaissance d’images. En fait, c’est très difficile, presque impossible, de comprendre pourquoi l’image a été reconnue comme chien ou chat, en tout cas c’est possible de le comprendre, mais c’est très difficile de l’expliquer en termes humains, parce que l’algorithme ne raisonne pas sur des paramètres qui nous parlent. Dans l’administration, ça n’arrive pas souvent, ce n’est pas forcément le cas.<br/>
| |
| L’autre souci de ça, c’est qu’en se concentrant uniquement sur les paramètres techniques, on occulte le reste des choix, notamment des choix politiques qui ont été faits autour de ces systèmes. Je m’explique. Par exemple le choix d’utiliser un algorithme dans le cadre de l’accès à l’enseignement supérieur, donc Parcoursup. On peut expliquer pourquoi une personne a été prise dans une filière ou non. Déjà, là, il y a un petit bémol parce que, en réalité, ces explications-là sont couvertes par une disposition légale et elles ne sont pas tout à fait transparentes publiquement. Au-delà de ça, si on se concentre uniquement sur cette partie, ou sur l’ouverture du code source de Parcoursup, on occulte la question de pourquoi on a mis en place un algorithme à l’origine, notamment que cet algorithme a été mis en place parce qu’il n’y a pas assez de places dans l’enseignement supérieur. Si on prend en considération ce choix de politique publique, c’est là où on peut aussi débattre et contester cette politique publique et dire « cette justification – il n’y a pas assez de places – est-ce qu’on ne peut pas lui opposer l’argument de : ouvrons plus de places dans l’enseignement supérieur » ?<br/>
| |
| Du coup, très rapidement, ce que je dis autour de ça c’est qu’il est très important de se poser la question de qu’est-ce qu’on doit rendre explicable ? On se rend compte que l’explication et la justification concernent beaucoup de choix humains et politiques et pas forcément des paramètres techniques.
| |
| | |
| <b>Maxime Lubrano : </b>Tu nous disais au cours de la présentation de ton parcours « ouverture des données et des codes sources plus largement de l’action publique », autrement dit <em>open data</em>, <em>open source</em>, <em>open gov</em>. Selon toi, est-ce qu’il existe une approche française sur les questions algorithmiques et, si oui, est-ce que tu en tires des leçons ?
| |
| | |
| <b>Soizic Pénicaud : </b>Je dirais que les obligations de transparence algorithmique c’est assez intéressant, en réalité, d’un point de vue juridique, parce que ce sont des obligations qui se rattachent au droit d’accès aux documents administratifs. On est donc sur une adaptation du droit administratif à des nouveaux enjeux numériques. C’était assez pionnier à l’époque, je crois que ça l’est toujours. On a eu pas mal de personnes, notamment des chercheurs/chercheuses en droit de l’étranger qui s’intéressaient à cette démarche-là, parce que, encore une fois, ça permet d’asséner à nouveau que notre droit donne assez d’outils pour réguler des nouveaux instruments de l’action publique, donc les algorithmes, mais qu’il faut juste l’adapter. Je dirais que c’est une approche qui est assez intéressante.<br/>
| |
| L’autre point intéressant en France, c’est qu’il y a beaucoup de chercheurs et chercheuses qui travaillent sur le sujet des algorithmes publics. Je dis « beaucoup », je crois que c’est parce que j’ai un biais et que c’est, en réalité, un petit groupe, en tout cas les recherches sont assez poussées, notamment des recherches qui ne portent pas forcément sur l’intelligence artificielle. Je pense, par exemple, aux travaux de Denis Merigoux, à l’Inria, qui travaille sur l’explicabilité du calcul socio-fiscal. Là, on n’est pas dans des systèmes de <em>machine learning</em>, pour reprendre des termes un peu jargonneux. Ces travaux sont très intéressants puisqu’ils touchent à des points clés de l’action publique. Je dirais donc qu’il y a un terreau assez fertile.<br/>
| |
| Peut-être en termes de limites ou de choses pour lesquelles on pourrait aller encore plus loin : le problème du cadre légal qu’on a actuellement sur la transparence, c’est qu’il n’y a pas de sanctions, donc, pour les administrations, il n’y a pas forcément de conséquences négatives à ne pas mettre en œuvre ces obligations, non pas que les administrations devraient nécessairement mettre en œuvre la loi uniquement quand il y a des sanctions, mais on voit que c’est quand même une limite à ce cadre-là. Et puis c’est aussi un cadre qui ne porte que sur la transparence et pas sur les discriminations. En revanche, il y a déjà eu de travaux de la CNIL et du Défenseur des droits sur les discriminations algorithmiques.<br/>
| |
| La dernière chose que je dirais aussi, c’est que les administrations, et je parle uniquement des algorithmes dans le secteur public, ne regardent pas forcément ce qui se passe à l’étranger pour en tirer, justement, des leçons. Je pense qu’il y a beaucoup de leçons à tirer des tendances qu’on observe, notamment dans l’Union européenne où, par exemple, il y a eu récemment beaucoup de scandales autour des algorithmes utilisés dans les systèmes de sécurité sociale, je pense aux Pays-Bas, je pense à la Pologne, il y a eu aussi des affaires en Espagne et tous ces systèmes fonctionnent à peu près comme ceux qu’on a en France, mais on a tendance à penser, en tout cas, c’est ma perception des choses, qu’il y a un peu une exception franco-française et que nous sommes différents alors que je pense qu’on aurait tout intérêt à regarder ce qui se passe à l’étranger en termes de scandale et puis aussi, bien sûr, en termes de bonnes pratiques, il y a plein de choses qui se font.
| |
| | |
| <b>Maxime Lubrano : </b>Sur cet enjeu de transparence, justement, selon toi quels sont les publics à mobiliser pour une meilleure explication des algorithmes de prise de décision, ce qui participerait, <em>in fine</em>, à meilleure information et lisibilité de l’action publique ? Le 3 août 2023 il y a eu les États généraux de l’information. Quel rôle, peut-être pour la société civile, dans la publicité des algorithmes publics ?
| |
| | |
| <b>Soizic Pénicaud : </b>Encore une fois, quand on parle d’algorithmes publics, on parle toujours de politiques publiques, donc on parle de politiques publiques sectorielles : dans le domaine de la santé, dans le domaine de l’éducation, dans le domaine de la sécurité sociale, etc. Pour moi, il y a un vrai enjeu à réussir à intégrer les personnes, les associations qui travaillent sur ces sujets, qui ne sont pas numériques, et à les intégrer dans les débats autour des algorithmes.<br/>
| |
| J’avais parlé, un peu avant de l’algorithme « score cœur », d’allocation des greffons cardiaques, qui est un algorithme développé par l’Agence française de biomédecine. Ils ont des discussions assez collégiales, y compris avec des associations de patients, des médecins, etc., sur les paramètres, les critères à appliquer pour organiser l’allocation des greffons. Du coup, je pense qu’il y a un vrai enjeu à le faire pour des associations de tous les secteurs.<br/>
| |
| D’autres publics qui sont intéressants, ce sont aussi les journalistes, parce que c’est important et intéressant de leur demander ce qui peut leur être utile comme informations pour mieux comprendre ces systèmes.<br/>
| |
| Après, j’irais plus loin. L’un des dangers de se concentrer uniquement sur la transparence c’est aussi d’oublier pourquoi on rend les choses transparentes, parce que les choses peuvent être très transparentes, mais très injustes, et si on fait de la transparence uniquement comme un exercice où on va cocher une case de mise en conformité, on passe un peu à côté du sujet qui est qu’on veut une action publique juste, une égalité de traitement entre les administrés et on veut que les citoyens et les citoyennes aient accès à leurs droits. Une fois qu’on a dit ça, on peut se décentrer de la question de la transparence, qui est nécessaire mais pas suffisante, notamment se poser la question de l’évaluation ou de l’identification des conséquences négatives en amont, ça veut dire pendant qu’on conçoit l’algorithme, et en aval, donc après que l’algorithme ait été mis en place. Comment on fait en sorte d’impliquer les personnes qui vont être concernées par ces systèmes, agents publics comme citoyens et citoyennes, pour s’assurer un maximum que ces algorithmes sont mis en place pour des raisons qui servent vraiment l’intérêt général et, ensuite, d’une manière qui est véritablement équitable, juste, et qui ne cause pas plus de problèmes qu’ils n’apportent de solutions.
| |
| | |
| <b>Maxime Lubrano : </b>Si on s’intéresse maintenant davantage à tes récentes recherches, on voit que tu fais preuve à la fois de pédagogie et de politique pour alerter sur certaines dérives de la prise de décision automatisée par des algorithmes. On peut notamment lire, dans les articles du <em>Monde</em> que tu as coécrits avec un de tes confrères et deux de tes consœurs du Collectif de journalistes d’investigation indépendant <em>Lighthouse Reports</em> au sujet de votre enquête sur les algorithmes des CAF, je cite : « suspect idéal, méthode de ciblage appuyée sur des caractéristiques dont l’utilisation est en principe prohibée par les législations française et européenne ». Est-ce que ce monstre algorithmique a échappé à son créateur pour toujours mieux discriminer, cibler les plus précaires qui sont souvent victimes d’illectronisme ?
| |
| | |
| <b>Soizic Pénicaud : </b>J’aime bien la formulation de ta question. En fait, ça me rappelle un scandale qui a eu lieu en Angleterre, en 2020, autour d’un algorithme qui avait prédit les notes du bac des étudiants et c’est comme cela que les étudiants et étudiantes avaient reçu leurs notes du bac. Boris Johnson, le Premier ministre britannique de l’époque, avait pris la parole après tout le scandale qui avait donné lieu à l’annulation de cette procédure algorithmique, en disant « vous avez été victimes d’un algorithme mutant. » En réalité, personne n’a été victime d’un algorithme mutant, ce sont des humains qui ont programmé un algorithme, l’algorithme n’a pas de conscience propre. Encore une fois on parle d’une politique publique.<br/>
| |
| Du coup, peut-être pour juste reparler des recherches qu’on a menées avec <em>Lighthouse Reports</em> qui est un collectif de journalistes que j’ai rejoint, à cette occasion, en tant que chercheuse et qui a travaillé en partenariat avec des journalistes du <em>Monde</em> pendant six mois, en parallèle d’ailleurs, de travaux menés par La Quadrature du Net sur le même algorithme, c’est intéressant de le mentionner. Ce qui a été mis au jour, c’est le code source d’un algorithme utilisé par la CNAF depuis 2010, et là c’était le modèle utilisé entre 2014 et 2019, pour attribuer à chaque dossier allocataire un score de risque correspondant à la probabilité qu’un dossier comporte des erreurs frauduleuses ou non ; si on est tout à fait rigoureux, c’est ça l’idée. Il faut savoir aussi que ce sont des choses qui étaient précédemment documentées par des chercheurs, j’y reviendrai un peu après.<br/>
| |
| Est-ce que le monstre algorithmique a échappé à son créateur ? La réponse rapide c’est non, pas du tout. Ce qui est aussi intéressant de noter, c’est que l’algorithme fonctionne bien pour prédire si un dossier va comporter des erreurs, donc, mathématiquement, le système fonctionne.<br/>
| |
| En revanche, le problème, c’est que les personnes qui reçoivent les scores de risque les plus élevés sont souvent des personnes qui sont dans des situations de grande précarité, notamment les mères célibataires, isolées, les personnes bénéficiaires de l’AAH, l’Allocation Adulte Handicapé, qui travaillent, ça va être aussi des personnes qui vont avoir des revenus instables, donc qui vont cumuler les petits boulots, qui vont faire plusieurs types de deux missions. Toutes ces personnes-là ont des scores de risque plus élevés, elles vont donc être amenées à être plus contrôlées, notamment via des contrôles sur place, qui sont des moments où un contrôleur ou une contrôleuse de la CAF se déplace chez les personnes, leur demande un nombre très important de justificatifs pour contrôler l’intégralité du dossier. Ce sont des situations décrites par les allocataires comme stressantes, humiliantes, coûteuses aussi parce qu’il y a beaucoup d’impression de documents à faire, etc.<br/>
| |
| Le problème dans tout cela, c’est que la raison pour laquelle ces personnes sont le plus contrôlées c’est notamment parce que, effectivement, leurs dossiers ont statistiquement plus de chances de contenir des erreurs, parce que ce sont les dossiers les plus complexes et elle touchent des droits qui sont sous condition de ressources, par exemple le RSA et les autres types de minima sociaux.<br/>
| |
| L’argument de la CNAF est de dire que oui, statistiquement c’est vrai que ce sont les dossiers qui comportent le plus d’erreurs, donc ce sont des dossiers qui doivent être le plus contrôlés.<br/>
| |
| Le problème, quand on dit ça, c’est qu’on oublie que si les dossiers comportent des erreurs c’est parce que la législation est très complexe, c’est parce que les allocataires ne sont pas forcément bien informés au moment où ils doivent déclarer leurs ressources, donc il y a un biais dans les données, non pas un biais mathématique, mais un biais qui découle d’une politique publique qui va provoquer une complexité dans les dossiers de ces allocataires. C’est pour cela que c’est toujours important de décentrer l’algorithme de ces questions et de reparler de la politique publique. Vincent Dubois, un sociologue qui a notamment écrit un ouvrage <em>Contrôler les assistés – Genèses et usages d’un mot d’ordre</em> qui est paru en 2021, le montre : cet algorithme de score de risque a été développé et il est monté en puissance dans le système de contrôle des CAF dans un contexte où les CAF ont été encouragées à effectuer de plus en plus de contrôles pour une efficacité financière, c’est-à-dire pour obtenir des rentrées d’argent.<br/>
| |
| Donc, quand on replace ces questions-là dans une politique publique, on voit qu’on peut « dédramatiser », entre guillemets, le problème de l’algorithme en lui-même, mais c’est presque plus grave : en fait, on a une discrimination qui est causée par un système beaucoup plus global, qui est un système autant politique que technique.
| |
| | |
| ==34’ 02==
| |
| | |
| <b>Maxime Lubrano : </b>On voit très bien
| |
