Questionner les systèmes - Algorithmique
Titre : Questionner les systèmes - Algorithmique [3/6]
Intervenantes : Valérie - Camille Lextray - Mathilde Saliou
Lieu : Podcast Algorithmique - Next
Date : 23 octobre 2024
Durée : 41 min 46
Licence de la transcription : Verbatim
Illustration : À prévoir
NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l’April, qui ne sera en aucun cas tenue responsable de leurs propos.
Description
Que faire quand on se retrouve face à un système algorithmique qui fonctionne mal ? Est-il possible de se défendre ? De corriger ou faire modifier la machine ?
Transcription
Voix off : Next, Next, Next Next.
Mathilde Saliou : Salut, c’est Mathilde Saliou. Si vous nous écoutez depuis le début, vous l’avez sûrement compris, l’intelligence artificielle, ça n’a rien de neutre. Que ce soit à cause des données qui servent à les entraîner, de la manière dont ils sont construits, des buts même pour lesquels on les déploie, les systèmes algorithmiques embarquent et reproduisent toutes sortes de déséquilibres qui existent dans la société. Ça n’est pas toujours un problème. Quand il s’agit de leur faire réaliser une tâche très précise, par exemple repérer des lésions ou d’autres types d’anomalies dans des images médicales, ces machines sont nettement plus efficaces que les humains. Quand on les applique à des contextes sociaux, en revanche, ça se complique. On l’a vu avec l’exemple de la tentative de tri automatisé de CV qui a échoué chez Amazon. Plus récemment, c’est l’équivalent autrichien de France Travail qui a déployé un robot problématique. Celui-ci s’est mis à écarter d’office des femmes qualifiées des postes qui leur correspondaient, en informatique par exemple, pour les rediriger vers des emplois dans d’autres industries, comme la restauration. Les hommes, eux, se voyaient proposer des postes tout à fait cohérents avec leur parcours. On peut aussi citer l’algorithme de Google Photos, qui est allé jusqu’à affubler certains utilisateurs noirs de l’étiquette de gorille. Au bout de plusieurs années, on a réalisé que Google avait supprimé l’accès au mot-clé « gorille », mais pas corrigé le dysfonctionnement de son système d’étiquetage.
Je pourrais continuer longtemps comme ça.
On a dit que les modèles d’intelligence artificielle étaient des objets sociotechniques. De la même manière que la société est encore pleine d’inégalités d’accès aux moyens et aux opportunités, ces systèmes ont tendance à reproduire des résultats déséquilibrés. Mais, une fois qu’on a dit ça, on reste quand même un peu dans l’abstraction, non ? Je me demande c’est, concrètement, quels sont les effets de ces déséquilibres qui se retrouvent inscrits dans ces machines ?
Denise, une des voix du site ttsfree.com : Un algorithme comme moi ne pourrait pas détecter l’intentionnalité. Il voudrait me modérer.
Camille Lextray : Comment est-ce qu’un réseau peut censurer des idées qui ne sont pas haineuses et, à l’inverse, effacer des personnes à cause de la haine en ligne qui n’est pas sanctionnée ?
Mathilde Saliou : Je suis Mathilde Saliou et vous écoutez Algorithmique un podcast produit par Next.
Épisode trois. Questionner les systèmes
Mathilde Saliou : Pour comprendre comment les dysfonctionnements des machines affectent réellement la vie des personnes, je suis allée rencontrer deux actrices de terrain. Elles se battent pour obtenir plus de transparence sur des outils algorithmiques qui déterminent pas mal de choses : les prestations sociales qu’on reçoit, par exemple, ou les règles qui façonnent certains de nos espaces de débat. Commençons par le domaine public.
On n’en a pas toujours conscience, mais, en tant que citoyens, nos profils numériques peuvent être soumis à des traitements algorithmiques par l’État. Pour comprendre les effets de ces technologies utilisées dans l’administration, j’ai donc commencé par appeler Valérie qui est responsable numérique du collectif Changer de Cap.
Valérie : Changer de Cap est un collectif qui regroupe différentes personnes et associations, qui s’est constitué en 2019 autour de travaux et de réflexions sur la justice sociale et environnementale, également sur les services publics et la transformation de l’État, suite à des témoignages reçus du terrain de personnes qui soit avaient des indus exorbitants, soit se voyaient couper à leurs droits CAF sans préavis. Nous avons commencé un travail de recherche et d’analyse sur ce qui se passait, en l’occurrence au sein des CAF, mais, finalement, au sein de nombreux organismes publics, qui a amené à la création d’un groupe spécifique pour travailler sur les enjeux du numérique avec les conséquences réelles sur les allocataires.
Mathilde Saliou : Aux États-Unis, en 2018, la chercheuse Virginia Eubanks a publié un livre intitulé Automating Inequality, c’est-à-dire « automatiser les inégalités ». Dedans, elle détaillait comment des systèmes algorithmiques, qui sont utilisés partout dans son pays, participaient à accroître la pauvreté de personnes déjà en situation de précarité. Trois ans plus tard, en 2021, un scandale a éclaté aux Pays-Bas. On a abordé le sujet un peu plus longuement dans l’épisode précédent. Pour résumer, il a été démontré qu’un algorithme de gestion de fraude, utilisé par l’administration publique, était discriminant. Ça a fait scandale et le gouvernement a dû démissionner.
Forcément, à ce moment-là, j’ai commencé à me demander dans quelle mesure la France utilisait des systèmes similaires. C’est là que j’ai découvert les travaux que Valérie menait avec Changer de Cap.
Valérie : À l’automne 2021, deux associations membres du collectif nous remontent des témoignages de personnes ayant de plus en plus de difficultés avec leur CAF, entre les coupures de droit, les indus. Nous nous sommes posé la question, évidemment, à savoir si c’étaient des situations particulières ou plus générales. De là, nous avons lancé dans notre réseau un appel à témoignages. On a reçu une bonne centaine de témoignages de personnes qui se trouvaient confrontées à des problèmes et sans interlocuteur, forcément, pour répondre.
Le type de problème, c’était beaucoup des interruptions de droits dans le cadre de contrôles, mais des contrôles qui n’étaient pas forcément annoncés aux gens dès lors que c’étaient des contrôles automatisés et non des contrôles sur place pour lesquels le contrôleur se déplace au domicile de l’allocataire. On avait aussi beaucoup d’indus, notamment sur les aides au logement, c’est-à-dire que les personnes se voient obligées de rembourser un trop-perçu qu’elles auraient touché de la CAF. Ces indus n’étant, en réalité, nullement expliqués, c’est un courrier type automatique qui dit à la personne que ses droits ont été recalculés et qu’elle doit telle somme. Ça peut aller très loin, ça peut monter au-delà de 20 000 euros, mais sans explications de la part de l’administration.
Mathilde Saliou : Là, on parle de personnes qui se retrouvent à devoir rembourser des sommes sans savoir pourquoi, et des sommes conséquentes, vous l’avez entendu comme moi, parfois, ça grimpe au-delà des 20 000 euros. Cela dit, à la période dont Valérie me parle, on est encore en pleine pandémie de Covid avec son lot de confinement. Comme ça pourrait jouer sur la qualité des services rendus aux allocataires, je lui demande dans quelle mesure les problématiques qui lui remontent à l’époque sont neuves. Elle me répond en citant les travaux de l’Inspection générale des affaires sociales, aussi connu sous l’acronyme IGAS.
Valérie : Il y avait eu un rapport de l’IGAS, mais qui date déjà de 2013, où il était effectivement mentionné que 30 % des indus n’étaient pas le fait d’erreurs des allocataires, mais soit d’un problème de réglementation, soit d’une erreur de la CAF elle-même. Dans tous les cas, c’est à l’allocataire de rembourser. Il se trouve que ce sont des allocataires qui sont souvent en situation de précarité, des personnes qui touchent l’AAH, le RSA ou des APL importantes.
Mathilde Saliou : L’AAH, c’est l’allocation aux adultes handicapés ; le RSA, c’est le revenu de solidarité active.
Valérie : Non seulement, évidemment, que ces personnes n’ont plus ces sommes, mais elles ont pensé les toucher à bon droit au moment où elles les ont touchées, hormis dans les cas, et c’est une autre situation qu’on a repérée, où les personnes sont accusées de fraude, c’est-à-dire de fausse déclaration intentionnelle.
Mathilde Saliou : Si on se place du côté d’une machine, la différence entre erreur et fraude peut paraître minime, les deux correspondent à des écarts par rapport au comportement normal.
Côté humain, vous vous en doutez, c’est une autre affaire. Déjà, une erreur, ça peut signifier qu’on se voit demander de payer des mille et des cents alors qu’on ne devrait absolument pas avoir à rembourser d’argent. Mais en plus, pour les allocataires qui voudraient se défendre d’une accusation de fraude, la procédure est plus complexe que celle dédiée à la correction d’une erreur.
Valérie : En fait, c’est beaucoup plus compliqué dès lors que il y a une accusation de fraude, parce que, notamment, on ne peut pas faire de recours amiable, ni demander trop d’explications, sauf à faire valoir, ce que nous défendons aussi, un droit numérique qui est le droit à l’explication d’un calcul algorithmique.
Mathilde Saliou : Ce droit à l’explication des calculs algorithmiques, c’est vraiment un sujet d’importance. C’est demandé aussi bien par des experts techniques que par des juristes pendant les travaux sur l’IA Act au niveau européen, par exemple, que, comme vous l’entendez, par des représentants de la société civile. Pourquoi est-ce que tout le monde demande cette transparence ? C’est assez simple : sans détails sur les données qui ont entraîné la machine, sur la modalité même de calcul et puis sur le reste, c’est difficile de savoir où, quand et comment les résultats attendus par l’allocataire d’un côté et produits par la machine de l’autre ont divergé ; c’est difficile, donc, de savoir où placer la responsabilité ; et c’est difficile même de proposer une solution amiable entre l’Assurance sociale, par exemple, et l’allocataire.
Quoi qu’il en soit, Changer de Cap a rapidement compris que, dans les dysfonctionnements de la CAF, il y avait une machine spécifique en jeu.
Valérie : On a repéré rapidement que les publics vulnérables étaient ciblés, donc, on a repéré rapidement l’existence d’un algorithme et d’un score de risque. Chaque allocataire a un score de risque qui est déterminé en fonction de certaines variables. À Changer de Cap, nous ne sommes absolument pas spécialistes du numérique, nous avons donc travaillé avec La Quadrature du Net pour essayer d’obtenir cet algorithme, mais surtout essayer de voir les variables qui étaient utilisées pour déterminer le score de risque, puisque plus il est élevé et plus l’allocataire a de chances d’être contrôlé. Ce qui amène un autre phénomène qu’on a vu, c’est la multiplication des contrôles, c’est-à-dire des allocataires qui peuvent subir trois ou quatre contrôles dans une même année.
Mathilde Saliou : Là, même si je comprends qu’on est face à des situations difficiles, j’ai besoin d’un récapitulatif sur les contrôles qu’on est susceptible de subir lorsqu’on est bénéficiaire de la CAF. Je demande à Valérie de m’éclairer.
Valérie : Il y a des contrôles automatisés que les allocataires, globalement, ne voient pas passer, c’est-à-dire que les différents systèmes d’information entre les administrations peuvent repérer des incohérences.
Il y a des contrôles sur pièces : la CAF demande des pièces complémentaires ou supplémentaires à l’allocataire type feuille de paye ou des choses comme ça.
Et il y a les contrôles sur place, qui sont, en réalité, les plus intrusifs. D’une part, parce que le contrôleur se déplace chez l’allocataire, va fouiller sa vie, a beaucoup de droits, c’est un contrôleur assermenté qui a le droit d’interroger les voisins, par exemple, et qui a également un droit de communication, c’est-à-dire qu’il a accès à toute la vie privée de l’allocataire, que ce soit ses comptes en banque, ses factures d’énergie, ses factures de téléphone ou d’eau, typiquement la consommation d’eau qui est faite pour vérifier que la consommation corresponde à la déclaration du foyer d’une, deux ou trois personnes.
Des gens se sont retrouvés avec 0, y compris lorsqu’ils dépendaient entièrement des minima sociaux, qui se retrouvent donc avec aucune somme d’argent. Des gens ont dû quitter leur logement, ne pouvant plus payer, avec une conséquence aussi sur les personnes elles-mêmes, puisqu’on augmente la grande précarité, sur les associations qui pallient, par exemple au niveau alimentaire, et sur les collectivités locales, puisque les personnes qui se retrouvent sans aucun droit vont demander de l’aide, le plus généralement au CCAS de leur ville.
Mathilde Saliou : Les CCAS sont des Centres communaux d’action sociale qui décident, notamment, d’octroyer ou non des aides d’urgence.
Valérie : Pour les indus, la recherche d’indus ou les contrôles, les CAF peuvent remonter à deux ans en arrière et cinq ans en arrière en cas de suspicion de fraude, ce qui fait qu’une personne peut se voir reprocher quelque chose qu’elle aurait perçu – à tort ou à raison, on va pas se prononcer là-dessus – il y a cinq ans par exemple. Quel moyen a-t-elle pour rembourser ?, c’est une autre question qu’on pose. Pour les CAF, le moyen c’est ce qu’ils appellent les plans de remboursement personnalisés, qui, en réalité, ne sont pas personnalisés du tout parce que ça dépend de barèmes, et une certaine somme est retenue tous les mois sur les prestations de la personne. Partant de là, ces retenues peuvent ne pas laisser aux gens de quoi vivre, en particulier si les retenues sont, encore une fois, sur des prestations vitales, c’est-à-dire qu’une personne qui a droit à 600 euros de RSA peut se retrouver avec 300 euros par mois, 300 euros étant retenus par les CAF. Du coup, il n’y a pas, en réalité, de respect du reste à vivre et ces plans de remboursement sont également automatisés, je précise.
Mathilde Saliou : En décembre 2023, La Quadrature du Net a obtenu le code source de deux systèmes algorithmiques de gestion de fraude tels qu’utilisés par la CAF entre 2010 et 2018. Valérie m’explique ce que ces documents ont permis de comprendre.
13 ‘ 27
Valérie : Nous avons appris
