« Questionner les systèmes - Algorithmique » : différence entre les versions
Ligne 86 : | Ligne 86 : | ||
==13 ‘ 27== | ==13 ‘ 27== | ||
<b>Valérie : </b>Nous avons appris | <b>Valérie : </b>Nous avons appris qu’il y a effectivement des variables qui font augmenter le score de risque. Ce n’est pas l’algorithme de <em>scoring</em> en cours, qui fonctionne actuellement, qui a été fourni, mais des anciennes versions. Nous savons désormais que certaines variables font augmenter le score de risque, comme le fait d’être au RSA, évidemment, d’être un parent isolé, dans plus de 80 % des cas ce sont des mamans, d’être à l’AAH, avoir l’allocation adulte handicapé et avoir en même temps un travail, un petit boulot à côté. Il y a des variables qui font monter ou baisser le score de risque. | ||
<b>Mathilde Saliou : </b>On entend, dans les propos de Valérie, que l’un des problèmes que pose le système de détection des fraudes de la CAF est qu’il se repose sur des caractéristiques potentiellement discriminantes.<br/> | |||
Si la machine estime qu’être parent célibataire est un facteur de risque et que statistiquement – et c’est le cas – les femmes sont la grande majorité de ces profils, la machine catégorise plus spécifiquement certaines femmes comme à risque.<br/> | |||
Si la machine calcule qu’être une personne bénéficiant de l’AAH et exerçant un emploi présente un risque plus grand de fraude, de fait, elle cible plus spécifiquement les personnes porteuses de handicap longue durée. Et ainsi de suite.<br/> | |||
Outre ces problématiques, Changer de Cap estime que le qualificatif et le but même de ces systèmes techniques sont faussés. | |||
<b>Valérie : </b>On conteste l’idée que l’algorithme qui donne le score de risque fasse des contrôles de fraude, pour la simple et bonne raison qu’un algorithme ne peut pas déterminer une intentionnalité. L’algorithme va calculer les aides attribuées par rapport aux aides auxquelles l’allocataire a droit. Pour qu’il y ait fraude, il faut, par exemple, que la fausse déclaration soit volontaire. C’est un algorithme de recherche d’indus, en réalité, non pas de recherche de fraude, et, en plus, il traite le problème à posteriori, c’est-à-dire une fois que la somme a été versée. | |||
<b>Mathilde Saliou : </b>Au-delà des dysfonctionnements du système technique, l’association conteste les décisions politiques derrière son déploiement. | |||
<b>Valérie : </b>On constate, en réalité, que la fraude aux prestations sociales dans les CAF équivaut à 0,39 %, et ce sont des chiffres de la Cour des comptes, des chiffres officiels, 0,39 %, des prestations versées, donc, est-ce que ça vaut le coup d’utiliser tous ces outils informatiques, de déclencher tous ces contrôles, de mettre autant de personnes dans le stress, parce qu’un contrôle sur place c’est très stressant, c’est très intrusif, pour 0,39 %, des prestations, ça équivaut à peu près à 500 millions d’euros, alors que ce sont des algorithmes qu’on ne retrouve pas dans d’autres organismes, y compris à l’Urssaf, aux impôts, etc.<br/> | |||
C’est dit, redit par des économistes, par des politiques, par des associations, qu’en réalité on ne recherche pas la fraude là où elle est vraiment. En plus de ça, on met la faute sur les personnes précaires, les personnes vulnérables, par exemple, en disant que la fraude sociale équivaut à 12 milliards d’euros. En réalité, quand on parle de fraude sociale, la fraude aux prestations sociales représente – ce sont des chiffres qui sont sortis récemment dans un rapport sénatorial – 400 millions d’euros dans les CAF, 200 millions d’euros pour l’Assurance vieillesse, 450 millions d’euros dans l’Assurance maladie, pour les montants détectés, alors qu’en réalité il y a 1,2 milliard d’euros de fraude aux cotisations sociales. | |||
<b>Mathilde Saliou : </b>Mi-octobre, avec 15 associations, dont Amnesty International et La Quadrature du Net, Changer de Cap a attaqué le système de détection des fraudes de la CAF devant le conseil d’État. Plus largement, je demande à Valérie ce que son collectif essaye d’obtenir. | |||
<b>Valérie : </b>Faire en sorte qu’il n’y ait pas d’erreurs en amont.<br/> | |||
Une des premières choses qu’on demande aussi, c’est l’explication des calculs, l’explication de l’indu, la motivation : pour quel motif j’ai un indu, pour quel motif mes droits sont suspendus, ce qui n’apparaît jamais. Cela nous paraît donc un préalable obligatoire, tout simplement parce que si une personne ne sait pas ce qu’on lui reproche, elle ne va pas pouvoir se défendre. Et ensuite, si l’indu est issu d’une erreur commise par une CAF, qu’il ne soit pas reproché à l’allocataire.<br/> | |||
Notre position plus large est d’abandonner tout système de <em>scoring</em> qui catégorise les populations sur des variables qui ne sont, en réalité, pas du tout objectives. Ensuite, que chaque traitement automatisé fasse l’objet d’une transparence et subisse des contrôles de légalité, qu’il soit mis à disposition de tout un chacun – un code source d’un algorithme est un document administratif, donc, théoriquement, tout citoyen peut y avoir accès – et que tout soit fait dans la légalité du RGPD, du code des relations entre le public et les administrations, notamment, que les traitements automatisés soient publiés, y compris avec leurs analyses d’impact. | |||
<b>Mathilde Saliou : </b>Si on résume avec Changer de Cap et les autres associations qui tentent d’obtenir plus d’informations sur les systèmes utilisés par la CAF, Valérie travaille à la transparence des algorithmes de service public. Par là, elle œuvre aussi à ce que nous, citoyennes, citoyens, ayons une meilleure visibilité sur les politiques publiques et sur la manière dont celles-ci sont traduites dans des systèmes techniques.<br/> | |||
Mais les algorithmes publics sont loin d’être les seuls à influer sur nos vies, que ce soit ceux qui calculent les itinéraires dans nos applications GPS, ceux qui trient et sélectionnent les informations auxquelles on accède via des moteurs de recherche ou des réseaux sociaux. Une large partie de ces systèmes est construite par des acteurs privés. Parmi ceux-ci, le plus souvent, il y a des géants étasuniens que vous connaissez bien : Alphabet, la maison-mère de Google, YouTube et le propriétaire de Waze, Amazon, Uber, ou encore Meta, qui réunit Facebook, Instagram ou Messenger. Or, en France, en 2021, un groupe de créatrice sur Instagram a assigné Meta en justice. Leur espoir, c’était que l’entreprise de Palo Alto rende des comptes sur la manière dont ces outils influent sur le discours public.<br/> | |||
Le mieux, c’est que l’une des principales concernées vous raconte. Comme elle parle pas mal de politique, je précise tout de suite que je l’ai rencontrée quelques semaines avant la dissolution de l’Assemblée nationale. À l’époque, nous n’avions aucun moyen de savoir que celle-ci aurait lieu. | |||
<b>Camille Lextray : </b>Je m’appelle Camille Lextray, j’ai 27 ans, je suis activiste féministe et j’ai un compte Instagram qui s’appelle @hysterique_mais_pas_que. | |||
<b>Mathilde Saliou : </b>Camille Lextray s’est lancée dans le militantisme avec le mouvement des Collages. En grandes lettres noires écrites sur des feuilles blanches, ce mouvement affiche, sur les murs de France, les noms des victimes de féminicides et des slogans féministes. Camille relaie leur travail en ligne, mais, assez rapidement, elle s’est cherché un espace où publier ses propres textes. Cet espace, c’est hysterique_mais_pas_que, un nom qui sonne un peu comme un pied de nez à l’accusation d’hystérie parfois envoyée aux femmes qui s’expriment.<br/> | |||
L’espace numérique dans lequel elle s’insère avec ce compte est déjà complexe. Tous les courants politiques s’y expriment avec plus ou moins de facilité, mais la modération des plateformes tombe quelquefois de manière brutale. Au début des années 2010, par exemple, un bras de fer juridique s’est engagé entre Facebook et le professeur d’école Frédéric Durand-Baïssas. Ce dernier a accusé la plateforme d’avoir suspendu son compte à cause de la publication de la peinture <em>L’origine du monde</em> de Gustave Courbet. <em>L’origine du monde</em> fait partie de l’histoire de l’art, mais c’est aussi un tableau sur lequel on voit distinctement une vulve et visiblement, à l’époque, ça n’a pas plu à Facebook.<br/> | |||
En 2016, un autre cliché est modéré à répétition par la plateforme au point d’émouvoir le grand public. Cette image, c’est le cliché « La petite fille au napalm », une fillette de neuf ans qui court nue pour fuir les bombardements des avions sud-vietnamiens. Le cliché a été pris dans les années 70 par le photographe Kim Phúc et, aujourd’hui, il a plus ou moins valeur de document historique. Résultat : énormément d’internautes étaient dans l’incompréhension complète devant la réaction de Facebook.<br/> | |||
Si je vous raconte ça, c’est pour vous montrer qu’il y avait déjà eu pas mal de débats sur les actions de modération de ce réseau social. Mais le moment qui a poussé Camille Lextray à poursuivre, avec d’autres, Meta en justice est un peu plus récent, il remonte à 2021. | |||
<b>Camille Lextray : </b>Pour moi, le moment où ça commence à se monter en mouvement un peu plus collectif, c’est un moment où, sur Twitter et sur Instagram, la phrase « Comment faire pour que les hommes arrêtent de violer ? » est sanctionnée. J’avais fait une <em>story</em> qui disait « Comment faire pour que les hommes arrêtent de violer », une <em>story</em> que pas mal de personnes ne reprenaient, et c’est une <em>story</em> qui a été supprimée pour appel à la haine.<br/> | |||
On a toujours su qu’il y avait de la censure sur les réseaux sociaux pour diverses raisons, mais là, il y avait vraiment ce mouvement collectif de « on va continuer à poser cette question », parce que c’est une question qui est importante et ce n’est pas un appel à la haine, c’est que, statistiquement, les personnes qui violent sont des hommes, donc comment fait-on pour que les hommes arrêtent de violer ? Il y avait vraiment cette question : comment fait-on pour dénoncer quelque chose si on ne peut même pas le verbaliser et que le verbaliser est un appel à la haine selon les réseaux sociaux ? Qu’est-ce que ça joue sur nos sociétés ? Comment est-ce qu’on crée un féminisme sans pouvoir désigner les agresseurs ? Etc. Du coup, comment fait-on évoluer les plateformes par rapport à ça ?<br/> | |||
Une autre initiative a été de faire une requête auprès de la Défenseuse des droits par rapport à ce sujet-là. J’étais et je suis toujours assez proche de deux avocates. On en a discuté et l’idée de faire une action en justice en parallèle, avec d’autres personnes, est née à partir de ce moment-là. On a donc fait un appel, tout simplement, pour que des personnes qui se sont vues censurer puissent rejoindre l’action collective. Ce n’était pas nécessairement que des personnes avec des « gros comptes » entre guillemets, c’est-à-dire des comptes avec plus de 5000 <em>followers</em>, il y avait aussi des personnes qui avaient 200 <em>followers</em> et qui avaient pu partager une publication qui était perçue par Meta comme étant un problème. L’idée de cette assignation, c’était vraiment de questionner cette modération : qui la faisait, comment, quelles étaient les règles, quelle était la place de l’algorithme, qui faisait cet algorithme aussi, et quel modèle de société était présenté par cette modération ? | |||
<b>Mathilde Saliou : </b>Si le problème démarre sur Twitter, pourquoi décidez-vous d’attaquer Instagram ? | |||
<b>Camille Lextray : </b>Il y a déjà plusieurs actions en justice, notamment une action, il me semble, de SOS Racisme par rapport à Twitter, et d’autres associations antiracistes sur cette plateforme. En fait, c’est tout simplement que Meta était notre plateforme de prédilection par rapport à ça et que, sur Instagram, beaucoup de comptes qui ont commencé à parler de politique. C’était censé être un réseau sur lequel, par rapport à Twitter, on subissait moins de haine. Beaucoup de féministes ont fui Twitter et se sont mises à Instagram. Du coup, c’est aussi pour ça, je pense, que c’est Instagram qui a pris cette place dans le féminisme, dans la vulgarisation, dans le partage de connaissances, parce que les effets de bulle faisaient qu’il y avait moins d’attaques possibles de l’extrême droite, bien qu’on reçoive toujours des insultes, etc., mais de manière moins violente que sur Twitter. Du coup, je pense qu’à ce moment-là, les comptes qui pouvaient partager ce genre de contenu étaient sur Instagram et pas sur Twitter. | |||
<b>Mathilde Saliou : </b>Avec leur assignation en justice, Camille Lextray m’explique que le groupe cherchait des réponses à deux sujets. | |||
<b>Camille Lextray : </b>Le premier, c’est la censure en ligne et le second, c’est la protection, plutôt la non–protection des personnes qui subissent un cyber-harcèlement et des attaques en ligne. Les deux sont un peu en lien, c’est-à-dire qu’on a fait le constat qu’on était facilement censurées sur tout un tas de propos qui, légalement, non seulement n’étaient pas répréhensibles, mais qui, en plus, étaient plutôt progressistes. Quand on allait voir des <em>stories</em> féministes engagées ou des posts engagés, on allait se rendre compte que la visibilité de nos posts était limitée et quand on s’exprimait sur certains sujets, on allait être invisibilisées par la plateforme. À l’inverse, quand on recevait des insultes, des menaces de mort, des appels au suicide, etc., là, quand on les signalait à la plateforme, Meta estimait que ça ne contrevenait pas à leurs règles. Alors qu’à priori, ça contrevient complètement à leurs règles, parce qu’on a pas censé faire d’appels à la haine basés sur le genre, l’orientation sexuelle, etc., que les menaces de mort ne sont pas autorisées, que les insultes ne sont pas autorisées.<br/> | |||
On avait donc un peu ce souci-là de comprendre, alors que les règles ne sont pas si compliquées que ça. Dans leur application, on se rendait compte qu’il y avait un monde entre ce qui était dit et ce qui était appliqué, et que ce qui était considéré comme de la haine, pour nous, ce n’en était pas parce que c’était juste développer une pensée féministe, et à l’inverse, ce que nous considérions comme étant de la haine, c’est-à-dire des insultes, des menaces de mort, Meta ne le sanctionnait pas.<br/> | |||
On a vraiment eu cette pensée un peu clé qui est quelle est la place d’un tel réseau social dans une démocratie. Comment un réseau peut-il censurer des idées qui ne sont pas haineuses et, à l’inverse, participer à effacer des personnes à cause de la haine en ligne qui n’est pas sanctionnée ? Comment fait-on pour contrecarrer ça par rapport à un réseau social qui a de plus en plus de place et qui, du coup, crée un monde où, en fait, les femmes et les minorités de manière générale s’effacent par peur des répercussions et ne peuvent plus exprimer, dans tous les cas, leurs idées parce que leurs idées sont sanctionnées par la plateforme elle-même ?<br/> | |||
Je ne sais pas si tout cela est partagé par toutes les personnes qui ont fait l’assignation, mais, du moins pour moi, il y avait vraiment cette volonté de porter ce sujet aussi en justice. On est dans une démocratie où, aujourd’hui, les gens s’informent sur les réseaux sociaux. On a des médias qui, normalement, sont très contrôlés. L’Arcom va contrôler la neutralité, l’impartialité des différents médias. On est censé, par exemple dans la presse écrite, d’avoir l’ours avec toutes les informations pour retrouver potentiellement les personnes, donc tenir les médias pour responsables, et on a une carte de presse, etc. En fait, on a quand même de base, en France, un système médiatique qui est fait pour avoir, en théorie, une liberté de la presse et pour assurer une information de qualité où, normalement, on ne peut pas diffuser des <em>fake news</em>, sans répercussion. Le fait est qu’avec les réseaux sociaux on peut et, en période électorale, c’est d’autant plus problématique. Tout le monde est sur les réseaux sociaux, les jeunes générations s’informent de plus en plus via les réseaux sociaux, il y avait cette idée de se dire « OK, il faut qu’on fasse une action qui, potentiellement, pourrait amener à un véritable changement ». Donc, la voie de la justice était potentiellement celle qui aurait pu nous permettent déjà d’avoir des éléments de preuve et d’obtenir des choses matérielles pour prouver qu’en fait on ne délirait pas par rapport à la censure, mais qu’il y avait vraiment un problème derrière et, ensuite, aller sur le volet plutôt des solutions et participer à mettre en avant le fait qu’on avait un problème avec la place des réseaux sociaux dans notre démocratie et avec la manière dont ceux-ci peuvent agir avec la liberté d’expression sans rendre de comptes à personne. | |||
== 29’ 06== | |||
<b>Mathilde Saliou : </b>Est-ce que |
Version du 5 novembre 2024 à 16:09
Titre : Questionner les systèmes - Algorithmique [3/6]
Intervenantes : Valérie - Camille Lextray - Mathilde Saliou
Lieu : Podcast Algorithmique - Next
Date : 23 octobre 2024
Durée : 41 min 46
Licence de la transcription : Verbatim
Illustration : À prévoir
NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l’April, qui ne sera en aucun cas tenue responsable de leurs propos.
Description
Que faire quand on se retrouve face à un système algorithmique qui fonctionne mal ? Est-il possible de se défendre ? De corriger ou faire modifier la machine ?
Transcription
Voix off : Next, Next, Next Next.
Mathilde Saliou : Salut, c’est Mathilde Saliou. Si vous nous écoutez depuis le début, vous l’avez sûrement compris, l’intelligence artificielle, ça n’a rien de neutre. Que ce soit à cause des données qui servent à les entraîner, de la manière dont ils sont construits, des buts même pour lesquels on les déploie, les systèmes algorithmiques embarquent et reproduisent toutes sortes de déséquilibres qui existent dans la société. Ça n’est pas toujours un problème. Quand il s’agit de leur faire réaliser une tâche très précise, par exemple repérer des lésions ou d’autres types d’anomalies dans des images médicales, ces machines sont nettement plus efficaces que les humains. Quand on les applique à des contextes sociaux, en revanche, ça se complique. On l’a vu avec l’exemple de la tentative de tri automatisé de CV qui a échoué chez Amazon. Plus récemment, c’est l’équivalent autrichien de France Travail qui a déployé un robot problématique. Celui-ci s’est mis à écarter d’office des femmes qualifiées des postes qui leur correspondaient, en informatique par exemple, pour les rediriger vers des emplois dans d’autres industries, comme la restauration. Les hommes, eux, se voyaient proposer des postes tout à fait cohérents avec leur parcours. On peut aussi citer l’algorithme de Google Photos, qui est allé jusqu’à affubler certains utilisateurs noirs de l’étiquette de gorille. Au bout de plusieurs années, on a réalisé que Google avait supprimé l’accès au mot-clé « gorille », mais pas corrigé le dysfonctionnement de son système d’étiquetage.
Je pourrais continuer longtemps comme ça.
On a dit que les modèles d’intelligence artificielle étaient des objets sociotechniques. De la même manière que la société est encore pleine d’inégalités d’accès aux moyens et aux opportunités, ces systèmes ont tendance à reproduire des résultats déséquilibrés. Mais, une fois qu’on a dit ça, on reste quand même un peu dans l’abstraction, non ? Je me demande c’est, concrètement, quels sont les effets de ces déséquilibres qui se retrouvent inscrits dans ces machines ?
Denise, une des voix du site ttsfree.com : Un algorithme comme moi ne pourrait pas détecter l’intentionnalité. Il voudrait me modérer.
Camille Lextray : Comment est-ce qu’un réseau peut censurer des idées qui ne sont pas haineuses et, à l’inverse, effacer des personnes à cause de la haine en ligne qui n’est pas sanctionnée ?
Mathilde Saliou : Je suis Mathilde Saliou et vous écoutez Algorithmique un podcast produit par Next.
Épisode trois. Questionner les systèmes
Mathilde Saliou : Pour comprendre comment les dysfonctionnements des machines affectent réellement la vie des personnes, je suis allée rencontrer deux actrices de terrain. Elles se battent pour obtenir plus de transparence sur des outils algorithmiques qui déterminent pas mal de choses : les prestations sociales qu’on reçoit, par exemple, ou les règles qui façonnent certains de nos espaces de débat. Commençons par le domaine public.
On n’en a pas toujours conscience, mais, en tant que citoyens, nos profils numériques peuvent être soumis à des traitements algorithmiques par l’État. Pour comprendre les effets de ces technologies utilisées dans l’administration, j’ai donc commencé par appeler Valérie qui est responsable numérique du collectif Changer de Cap.
Valérie : Changer de Cap est un collectif qui regroupe différentes personnes et associations, qui s’est constitué en 2019 autour de travaux et de réflexions sur la justice sociale et environnementale, également sur les services publics et la transformation de l’État, suite à des témoignages reçus du terrain de personnes qui soit avaient des indus exorbitants, soit se voyaient couper à leurs droits CAF sans préavis. Nous avons commencé un travail de recherche et d’analyse sur ce qui se passait, en l’occurrence au sein des CAF, mais, finalement, au sein de nombreux organismes publics, qui a amené à la création d’un groupe spécifique pour travailler sur les enjeux du numérique avec les conséquences réelles sur les allocataires.
Mathilde Saliou : Aux États-Unis, en 2018, la chercheuse Virginia Eubanks a publié un livre intitulé Automating Inequality, c’est-à-dire « automatiser les inégalités ». Dedans, elle détaillait comment des systèmes algorithmiques, qui sont utilisés partout dans son pays, participaient à accroître la pauvreté de personnes déjà en situation de précarité. Trois ans plus tard, en 2021, un scandale a éclaté aux Pays-Bas. On a abordé le sujet un peu plus longuement dans l’épisode précédent. Pour résumer, il a été démontré qu’un algorithme de gestion de fraude, utilisé par l’administration publique, était discriminant. Ça a fait scandale et le gouvernement a dû démissionner.
Forcément, à ce moment-là, j’ai commencé à me demander dans quelle mesure la France utilisait des systèmes similaires. C’est là que j’ai découvert les travaux que Valérie menait avec Changer de Cap.
Valérie : À l’automne 2021, deux associations membres du collectif nous remontent des témoignages de personnes ayant de plus en plus de difficultés avec leur CAF, entre les coupures de droit, les indus. Nous nous sommes posé la question, évidemment, à savoir si c’étaient des situations particulières ou plus générales. De là, nous avons lancé dans notre réseau un appel à témoignages. On a reçu une bonne centaine de témoignages de personnes qui se trouvaient confrontées à des problèmes et sans interlocuteur, forcément, pour répondre.
Le type de problème, c’était beaucoup des interruptions de droits dans le cadre de contrôles, mais des contrôles qui n’étaient pas forcément annoncés aux gens dès lors que c’étaient des contrôles automatisés et non des contrôles sur place pour lesquels le contrôleur se déplace au domicile de l’allocataire. On avait aussi beaucoup d’indus, notamment sur les aides au logement, c’est-à-dire que les personnes se voient obligées de rembourser un trop-perçu qu’elles auraient touché de la CAF. Ces indus n’étant, en réalité, nullement expliqués, c’est un courrier type automatique qui dit à la personne que ses droits ont été recalculés et qu’elle doit telle somme. Ça peut aller très loin, ça peut monter au-delà de 20 000 euros, mais sans explications de la part de l’administration.
Mathilde Saliou : Là, on parle de personnes qui se retrouvent à devoir rembourser des sommes sans savoir pourquoi, et des sommes conséquentes, vous l’avez entendu comme moi, parfois, ça grimpe au-delà des 20 000 euros. Cela dit, à la période dont Valérie me parle, on est encore en pleine pandémie de Covid avec son lot de confinement. Comme ça pourrait jouer sur la qualité des services rendus aux allocataires, je lui demande dans quelle mesure les problématiques qui lui remontent à l’époque sont neuves. Elle me répond en citant les travaux de l’Inspection générale des affaires sociales, aussi connu sous l’acronyme IGAS.
Valérie : Il y avait eu un rapport de l’IGAS, mais qui date déjà de 2013, où il était effectivement mentionné que 30 % des indus n’étaient pas le fait d’erreurs des allocataires, mais soit d’un problème de réglementation, soit d’une erreur de la CAF elle-même. Dans tous les cas, c’est à l’allocataire de rembourser. Il se trouve que ce sont des allocataires qui sont souvent en situation de précarité, des personnes qui touchent l’AAH, le RSA ou des APL importantes.
Mathilde Saliou : L’AAH, c’est l’allocation aux adultes handicapés ; le RSA, c’est le revenu de solidarité active.
Valérie : Non seulement, évidemment, que ces personnes n’ont plus ces sommes, mais elles ont pensé les toucher à bon droit au moment où elles les ont touchées, hormis dans les cas, et c’est une autre situation qu’on a repérée, où les personnes sont accusées de fraude, c’est-à-dire de fausse déclaration intentionnelle.
Mathilde Saliou : Si on se place du côté d’une machine, la différence entre erreur et fraude peut paraître minime, les deux correspondent à des écarts par rapport au comportement normal.
Côté humain, vous vous en doutez, c’est une autre affaire. Déjà, une erreur, ça peut signifier qu’on se voit demander de payer des mille et des cents alors qu’on ne devrait absolument pas avoir à rembourser d’argent. Mais en plus, pour les allocataires qui voudraient se défendre d’une accusation de fraude, la procédure est plus complexe que celle dédiée à la correction d’une erreur.
Valérie : En fait, c’est beaucoup plus compliqué dès lors que il y a une accusation de fraude, parce que, notamment, on ne peut pas faire de recours amiable, ni demander trop d’explications, sauf à faire valoir, ce que nous défendons aussi, un droit numérique qui est le droit à l’explication d’un calcul algorithmique.
Mathilde Saliou : Ce droit à l’explication des calculs algorithmiques, c’est vraiment un sujet d’importance. C’est demandé aussi bien par des experts techniques que par des juristes pendant les travaux sur l’IA Act au niveau européen, par exemple, que, comme vous l’entendez, par des représentants de la société civile. Pourquoi est-ce que tout le monde demande cette transparence ? C’est assez simple : sans détails sur les données qui ont entraîné la machine, sur la modalité même de calcul et puis sur le reste, c’est difficile de savoir où, quand et comment les résultats attendus par l’allocataire d’un côté et produits par la machine de l’autre ont divergé ; c’est difficile, donc, de savoir où placer la responsabilité ; et c’est difficile même de proposer une solution amiable entre l’Assurance sociale, par exemple, et l’allocataire.
Quoi qu’il en soit, Changer de Cap a rapidement compris que, dans les dysfonctionnements de la CAF, il y avait une machine spécifique en jeu.
Valérie : On a repéré rapidement que les publics vulnérables étaient ciblés, donc, on a repéré rapidement l’existence d’un algorithme et d’un score de risque. Chaque allocataire a un score de risque qui est déterminé en fonction de certaines variables. À Changer de Cap, nous ne sommes absolument pas spécialistes du numérique, nous avons donc travaillé avec La Quadrature du Net pour essayer d’obtenir cet algorithme, mais surtout essayer de voir les variables qui étaient utilisées pour déterminer le score de risque, puisque plus il est élevé et plus l’allocataire a de chances d’être contrôlé. Ce qui amène un autre phénomène qu’on a vu, c’est la multiplication des contrôles, c’est-à-dire des allocataires qui peuvent subir trois ou quatre contrôles dans une même année.
Mathilde Saliou : Là, même si je comprends qu’on est face à des situations difficiles, j’ai besoin d’un récapitulatif sur les contrôles qu’on est susceptible de subir lorsqu’on est bénéficiaire de la CAF. Je demande à Valérie de m’éclairer.
Valérie : Il y a des contrôles automatisés que les allocataires, globalement, ne voient pas passer, c’est-à-dire que les différents systèmes d’information entre les administrations peuvent repérer des incohérences.
Il y a des contrôles sur pièces : la CAF demande des pièces complémentaires ou supplémentaires à l’allocataire type feuille de paye ou des choses comme ça.
Et il y a les contrôles sur place, qui sont, en réalité, les plus intrusifs. D’une part, parce que le contrôleur se déplace chez l’allocataire, va fouiller sa vie, a beaucoup de droits, c’est un contrôleur assermenté qui a le droit d’interroger les voisins, par exemple, et qui a également un droit de communication, c’est-à-dire qu’il a accès à toute la vie privée de l’allocataire, que ce soit ses comptes en banque, ses factures d’énergie, ses factures de téléphone ou d’eau, typiquement la consommation d’eau qui est faite pour vérifier que la consommation corresponde à la déclaration du foyer d’une, deux ou trois personnes.
Des gens se sont retrouvés avec 0, y compris lorsqu’ils dépendaient entièrement des minima sociaux, qui se retrouvent donc avec aucune somme d’argent. Des gens ont dû quitter leur logement, ne pouvant plus payer, avec une conséquence aussi sur les personnes elles-mêmes, puisqu’on augmente la grande précarité, sur les associations qui pallient, par exemple au niveau alimentaire, et sur les collectivités locales, puisque les personnes qui se retrouvent sans aucun droit vont demander de l’aide, le plus généralement au CCAS de leur ville.
Mathilde Saliou : Les CCAS sont des Centres communaux d’action sociale qui décident, notamment, d’octroyer ou non des aides d’urgence.
Valérie : Pour les indus, la recherche d’indus ou les contrôles, les CAF peuvent remonter à deux ans en arrière et cinq ans en arrière en cas de suspicion de fraude, ce qui fait qu’une personne peut se voir reprocher quelque chose qu’elle aurait perçu – à tort ou à raison, on va pas se prononcer là-dessus – il y a cinq ans par exemple. Quel moyen a-t-elle pour rembourser ?, c’est une autre question qu’on pose. Pour les CAF, le moyen c’est ce qu’ils appellent les plans de remboursement personnalisés, qui, en réalité, ne sont pas personnalisés du tout parce que ça dépend de barèmes, et une certaine somme est retenue tous les mois sur les prestations de la personne. Partant de là, ces retenues peuvent ne pas laisser aux gens de quoi vivre, en particulier si les retenues sont, encore une fois, sur des prestations vitales, c’est-à-dire qu’une personne qui a droit à 600 euros de RSA peut se retrouver avec 300 euros par mois, 300 euros étant retenus par les CAF. Du coup, il n’y a pas, en réalité, de respect du reste à vivre et ces plans de remboursement sont également automatisés, je précise.
Mathilde Saliou : En décembre 2023, La Quadrature du Net a obtenu le code source de deux systèmes algorithmiques de gestion de fraude tels qu’utilisés par la CAF entre 2010 et 2018. Valérie m’explique ce que ces documents ont permis de comprendre.
13 ‘ 27
Valérie : Nous avons appris qu’il y a effectivement des variables qui font augmenter le score de risque. Ce n’est pas l’algorithme de scoring en cours, qui fonctionne actuellement, qui a été fourni, mais des anciennes versions. Nous savons désormais que certaines variables font augmenter le score de risque, comme le fait d’être au RSA, évidemment, d’être un parent isolé, dans plus de 80 % des cas ce sont des mamans, d’être à l’AAH, avoir l’allocation adulte handicapé et avoir en même temps un travail, un petit boulot à côté. Il y a des variables qui font monter ou baisser le score de risque.
Mathilde Saliou : On entend, dans les propos de Valérie, que l’un des problèmes que pose le système de détection des fraudes de la CAF est qu’il se repose sur des caractéristiques potentiellement discriminantes.
Si la machine estime qu’être parent célibataire est un facteur de risque et que statistiquement – et c’est le cas – les femmes sont la grande majorité de ces profils, la machine catégorise plus spécifiquement certaines femmes comme à risque.
Si la machine calcule qu’être une personne bénéficiant de l’AAH et exerçant un emploi présente un risque plus grand de fraude, de fait, elle cible plus spécifiquement les personnes porteuses de handicap longue durée. Et ainsi de suite.
Outre ces problématiques, Changer de Cap estime que le qualificatif et le but même de ces systèmes techniques sont faussés.
Valérie : On conteste l’idée que l’algorithme qui donne le score de risque fasse des contrôles de fraude, pour la simple et bonne raison qu’un algorithme ne peut pas déterminer une intentionnalité. L’algorithme va calculer les aides attribuées par rapport aux aides auxquelles l’allocataire a droit. Pour qu’il y ait fraude, il faut, par exemple, que la fausse déclaration soit volontaire. C’est un algorithme de recherche d’indus, en réalité, non pas de recherche de fraude, et, en plus, il traite le problème à posteriori, c’est-à-dire une fois que la somme a été versée.
Mathilde Saliou : Au-delà des dysfonctionnements du système technique, l’association conteste les décisions politiques derrière son déploiement.
Valérie : On constate, en réalité, que la fraude aux prestations sociales dans les CAF équivaut à 0,39 %, et ce sont des chiffres de la Cour des comptes, des chiffres officiels, 0,39 %, des prestations versées, donc, est-ce que ça vaut le coup d’utiliser tous ces outils informatiques, de déclencher tous ces contrôles, de mettre autant de personnes dans le stress, parce qu’un contrôle sur place c’est très stressant, c’est très intrusif, pour 0,39 %, des prestations, ça équivaut à peu près à 500 millions d’euros, alors que ce sont des algorithmes qu’on ne retrouve pas dans d’autres organismes, y compris à l’Urssaf, aux impôts, etc.
C’est dit, redit par des économistes, par des politiques, par des associations, qu’en réalité on ne recherche pas la fraude là où elle est vraiment. En plus de ça, on met la faute sur les personnes précaires, les personnes vulnérables, par exemple, en disant que la fraude sociale équivaut à 12 milliards d’euros. En réalité, quand on parle de fraude sociale, la fraude aux prestations sociales représente – ce sont des chiffres qui sont sortis récemment dans un rapport sénatorial – 400 millions d’euros dans les CAF, 200 millions d’euros pour l’Assurance vieillesse, 450 millions d’euros dans l’Assurance maladie, pour les montants détectés, alors qu’en réalité il y a 1,2 milliard d’euros de fraude aux cotisations sociales.
Mathilde Saliou : Mi-octobre, avec 15 associations, dont Amnesty International et La Quadrature du Net, Changer de Cap a attaqué le système de détection des fraudes de la CAF devant le conseil d’État. Plus largement, je demande à Valérie ce que son collectif essaye d’obtenir.
Valérie : Faire en sorte qu’il n’y ait pas d’erreurs en amont.
Une des premières choses qu’on demande aussi, c’est l’explication des calculs, l’explication de l’indu, la motivation : pour quel motif j’ai un indu, pour quel motif mes droits sont suspendus, ce qui n’apparaît jamais. Cela nous paraît donc un préalable obligatoire, tout simplement parce que si une personne ne sait pas ce qu’on lui reproche, elle ne va pas pouvoir se défendre. Et ensuite, si l’indu est issu d’une erreur commise par une CAF, qu’il ne soit pas reproché à l’allocataire.
Notre position plus large est d’abandonner tout système de scoring qui catégorise les populations sur des variables qui ne sont, en réalité, pas du tout objectives. Ensuite, que chaque traitement automatisé fasse l’objet d’une transparence et subisse des contrôles de légalité, qu’il soit mis à disposition de tout un chacun – un code source d’un algorithme est un document administratif, donc, théoriquement, tout citoyen peut y avoir accès – et que tout soit fait dans la légalité du RGPD, du code des relations entre le public et les administrations, notamment, que les traitements automatisés soient publiés, y compris avec leurs analyses d’impact.
Mathilde Saliou : Si on résume avec Changer de Cap et les autres associations qui tentent d’obtenir plus d’informations sur les systèmes utilisés par la CAF, Valérie travaille à la transparence des algorithmes de service public. Par là, elle œuvre aussi à ce que nous, citoyennes, citoyens, ayons une meilleure visibilité sur les politiques publiques et sur la manière dont celles-ci sont traduites dans des systèmes techniques.
Mais les algorithmes publics sont loin d’être les seuls à influer sur nos vies, que ce soit ceux qui calculent les itinéraires dans nos applications GPS, ceux qui trient et sélectionnent les informations auxquelles on accède via des moteurs de recherche ou des réseaux sociaux. Une large partie de ces systèmes est construite par des acteurs privés. Parmi ceux-ci, le plus souvent, il y a des géants étasuniens que vous connaissez bien : Alphabet, la maison-mère de Google, YouTube et le propriétaire de Waze, Amazon, Uber, ou encore Meta, qui réunit Facebook, Instagram ou Messenger. Or, en France, en 2021, un groupe de créatrice sur Instagram a assigné Meta en justice. Leur espoir, c’était que l’entreprise de Palo Alto rende des comptes sur la manière dont ces outils influent sur le discours public.
Le mieux, c’est que l’une des principales concernées vous raconte. Comme elle parle pas mal de politique, je précise tout de suite que je l’ai rencontrée quelques semaines avant la dissolution de l’Assemblée nationale. À l’époque, nous n’avions aucun moyen de savoir que celle-ci aurait lieu.
Camille Lextray : Je m’appelle Camille Lextray, j’ai 27 ans, je suis activiste féministe et j’ai un compte Instagram qui s’appelle @hysterique_mais_pas_que.
Mathilde Saliou : Camille Lextray s’est lancée dans le militantisme avec le mouvement des Collages. En grandes lettres noires écrites sur des feuilles blanches, ce mouvement affiche, sur les murs de France, les noms des victimes de féminicides et des slogans féministes. Camille relaie leur travail en ligne, mais, assez rapidement, elle s’est cherché un espace où publier ses propres textes. Cet espace, c’est hysterique_mais_pas_que, un nom qui sonne un peu comme un pied de nez à l’accusation d’hystérie parfois envoyée aux femmes qui s’expriment.
L’espace numérique dans lequel elle s’insère avec ce compte est déjà complexe. Tous les courants politiques s’y expriment avec plus ou moins de facilité, mais la modération des plateformes tombe quelquefois de manière brutale. Au début des années 2010, par exemple, un bras de fer juridique s’est engagé entre Facebook et le professeur d’école Frédéric Durand-Baïssas. Ce dernier a accusé la plateforme d’avoir suspendu son compte à cause de la publication de la peinture L’origine du monde de Gustave Courbet. L’origine du monde fait partie de l’histoire de l’art, mais c’est aussi un tableau sur lequel on voit distinctement une vulve et visiblement, à l’époque, ça n’a pas plu à Facebook.
En 2016, un autre cliché est modéré à répétition par la plateforme au point d’émouvoir le grand public. Cette image, c’est le cliché « La petite fille au napalm », une fillette de neuf ans qui court nue pour fuir les bombardements des avions sud-vietnamiens. Le cliché a été pris dans les années 70 par le photographe Kim Phúc et, aujourd’hui, il a plus ou moins valeur de document historique. Résultat : énormément d’internautes étaient dans l’incompréhension complète devant la réaction de Facebook.
Si je vous raconte ça, c’est pour vous montrer qu’il y avait déjà eu pas mal de débats sur les actions de modération de ce réseau social. Mais le moment qui a poussé Camille Lextray à poursuivre, avec d’autres, Meta en justice est un peu plus récent, il remonte à 2021.
Camille Lextray : Pour moi, le moment où ça commence à se monter en mouvement un peu plus collectif, c’est un moment où, sur Twitter et sur Instagram, la phrase « Comment faire pour que les hommes arrêtent de violer ? » est sanctionnée. J’avais fait une story qui disait « Comment faire pour que les hommes arrêtent de violer », une story que pas mal de personnes ne reprenaient, et c’est une story qui a été supprimée pour appel à la haine.
On a toujours su qu’il y avait de la censure sur les réseaux sociaux pour diverses raisons, mais là, il y avait vraiment ce mouvement collectif de « on va continuer à poser cette question », parce que c’est une question qui est importante et ce n’est pas un appel à la haine, c’est que, statistiquement, les personnes qui violent sont des hommes, donc comment fait-on pour que les hommes arrêtent de violer ? Il y avait vraiment cette question : comment fait-on pour dénoncer quelque chose si on ne peut même pas le verbaliser et que le verbaliser est un appel à la haine selon les réseaux sociaux ? Qu’est-ce que ça joue sur nos sociétés ? Comment est-ce qu’on crée un féminisme sans pouvoir désigner les agresseurs ? Etc. Du coup, comment fait-on évoluer les plateformes par rapport à ça ?
Une autre initiative a été de faire une requête auprès de la Défenseuse des droits par rapport à ce sujet-là. J’étais et je suis toujours assez proche de deux avocates. On en a discuté et l’idée de faire une action en justice en parallèle, avec d’autres personnes, est née à partir de ce moment-là. On a donc fait un appel, tout simplement, pour que des personnes qui se sont vues censurer puissent rejoindre l’action collective. Ce n’était pas nécessairement que des personnes avec des « gros comptes » entre guillemets, c’est-à-dire des comptes avec plus de 5000 followers, il y avait aussi des personnes qui avaient 200 followers et qui avaient pu partager une publication qui était perçue par Meta comme étant un problème. L’idée de cette assignation, c’était vraiment de questionner cette modération : qui la faisait, comment, quelles étaient les règles, quelle était la place de l’algorithme, qui faisait cet algorithme aussi, et quel modèle de société était présenté par cette modération ?
Mathilde Saliou : Si le problème démarre sur Twitter, pourquoi décidez-vous d’attaquer Instagram ?
Camille Lextray : Il y a déjà plusieurs actions en justice, notamment une action, il me semble, de SOS Racisme par rapport à Twitter, et d’autres associations antiracistes sur cette plateforme. En fait, c’est tout simplement que Meta était notre plateforme de prédilection par rapport à ça et que, sur Instagram, beaucoup de comptes qui ont commencé à parler de politique. C’était censé être un réseau sur lequel, par rapport à Twitter, on subissait moins de haine. Beaucoup de féministes ont fui Twitter et se sont mises à Instagram. Du coup, c’est aussi pour ça, je pense, que c’est Instagram qui a pris cette place dans le féminisme, dans la vulgarisation, dans le partage de connaissances, parce que les effets de bulle faisaient qu’il y avait moins d’attaques possibles de l’extrême droite, bien qu’on reçoive toujours des insultes, etc., mais de manière moins violente que sur Twitter. Du coup, je pense qu’à ce moment-là, les comptes qui pouvaient partager ce genre de contenu étaient sur Instagram et pas sur Twitter.
Mathilde Saliou : Avec leur assignation en justice, Camille Lextray m’explique que le groupe cherchait des réponses à deux sujets.
Camille Lextray : Le premier, c’est la censure en ligne et le second, c’est la protection, plutôt la non–protection des personnes qui subissent un cyber-harcèlement et des attaques en ligne. Les deux sont un peu en lien, c’est-à-dire qu’on a fait le constat qu’on était facilement censurées sur tout un tas de propos qui, légalement, non seulement n’étaient pas répréhensibles, mais qui, en plus, étaient plutôt progressistes. Quand on allait voir des stories féministes engagées ou des posts engagés, on allait se rendre compte que la visibilité de nos posts était limitée et quand on s’exprimait sur certains sujets, on allait être invisibilisées par la plateforme. À l’inverse, quand on recevait des insultes, des menaces de mort, des appels au suicide, etc., là, quand on les signalait à la plateforme, Meta estimait que ça ne contrevenait pas à leurs règles. Alors qu’à priori, ça contrevient complètement à leurs règles, parce qu’on a pas censé faire d’appels à la haine basés sur le genre, l’orientation sexuelle, etc., que les menaces de mort ne sont pas autorisées, que les insultes ne sont pas autorisées.
On avait donc un peu ce souci-là de comprendre, alors que les règles ne sont pas si compliquées que ça. Dans leur application, on se rendait compte qu’il y avait un monde entre ce qui était dit et ce qui était appliqué, et que ce qui était considéré comme de la haine, pour nous, ce n’en était pas parce que c’était juste développer une pensée féministe, et à l’inverse, ce que nous considérions comme étant de la haine, c’est-à-dire des insultes, des menaces de mort, Meta ne le sanctionnait pas.
On a vraiment eu cette pensée un peu clé qui est quelle est la place d’un tel réseau social dans une démocratie. Comment un réseau peut-il censurer des idées qui ne sont pas haineuses et, à l’inverse, participer à effacer des personnes à cause de la haine en ligne qui n’est pas sanctionnée ? Comment fait-on pour contrecarrer ça par rapport à un réseau social qui a de plus en plus de place et qui, du coup, crée un monde où, en fait, les femmes et les minorités de manière générale s’effacent par peur des répercussions et ne peuvent plus exprimer, dans tous les cas, leurs idées parce que leurs idées sont sanctionnées par la plateforme elle-même ?
Je ne sais pas si tout cela est partagé par toutes les personnes qui ont fait l’assignation, mais, du moins pour moi, il y avait vraiment cette volonté de porter ce sujet aussi en justice. On est dans une démocratie où, aujourd’hui, les gens s’informent sur les réseaux sociaux. On a des médias qui, normalement, sont très contrôlés. L’Arcom va contrôler la neutralité, l’impartialité des différents médias. On est censé, par exemple dans la presse écrite, d’avoir l’ours avec toutes les informations pour retrouver potentiellement les personnes, donc tenir les médias pour responsables, et on a une carte de presse, etc. En fait, on a quand même de base, en France, un système médiatique qui est fait pour avoir, en théorie, une liberté de la presse et pour assurer une information de qualité où, normalement, on ne peut pas diffuser des fake news, sans répercussion. Le fait est qu’avec les réseaux sociaux on peut et, en période électorale, c’est d’autant plus problématique. Tout le monde est sur les réseaux sociaux, les jeunes générations s’informent de plus en plus via les réseaux sociaux, il y avait cette idée de se dire « OK, il faut qu’on fasse une action qui, potentiellement, pourrait amener à un véritable changement ». Donc, la voie de la justice était potentiellement celle qui aurait pu nous permettent déjà d’avoir des éléments de preuve et d’obtenir des choses matérielles pour prouver qu’en fait on ne délirait pas par rapport à la censure, mais qu’il y avait vraiment un problème derrière et, ensuite, aller sur le volet plutôt des solutions et participer à mettre en avant le fait qu’on avait un problème avec la place des réseaux sociaux dans notre démocratie et avec la manière dont ceux-ci peuvent agir avec la liberté d’expression sans rendre de comptes à personne.
29’ 06
Mathilde Saliou : Est-ce que