Cathy O'Neil : pour une éthique des algorithmes - La méthode scientifique

Titre : Cathy O'Neil : pour une éthique des algorithmes

Intervenants : Cathy O'Neil - Marguerite Capelle, traductrice - Nicolas Martin

Lieu : Émission La méthode scientifique - France Culture

Date : décembre 2018

Durée : 1 h

Site de l'émission ou Podcast

Licence de la transcription : Verbatim

Illustration :

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Statut : Transcrit MO

Description

Quel est son parcours et d’où lui est venue sa passion pour les mathématiques ? Pourquoi appelle-t-elle les algorithmes des “armes de destruction mathématiques” ? Comment ces nouveaux pouvoirs algorithmiques transforment-ils les pratiques professionnelles de la société ?

Transcription

Nicolas Martin : Merci Garrigou-Lagrange.
Quoi de plus neutre qu’un ordinateur ? Quoi de plus à priori objectif qu’une suite de calculs, qu’une série d’opérations mathématiques ? Quoi de plus éloigné d’une opinion, finalement, qu’un algorithme ? Eh bien tout justement. Parce qu’ils sont programmés par des humains qui sont eux perclus de biais, parce qu’ils tentent d’objectiver des réalités qui sont plus complexes que ce que peut décrire une seule suite mathématique, parce qu’enfin derrière chaque algorithme il y a une intention et qu’une intention n’est pas neutre. Pour notre invitée du jour, les algorithmes sont devenus des weapons of math destruction, des armes de destruction mathématique.
La mathématicienne, informaticienne et activiste Cathy O'Neil est notre toute dernière invitée de l’année. Bienvenue dans La Méthode scientifique. Bonjour Cathy O'Neil.

Cathy O'Neil : Hy !

Nicolas Martin : Hello. Mille mercis de nous faire le plaisir d’être avec nous pour cette dernière émission de l’année. Bonjour Marguerite Capelle.

Marguerite Capelle : Bonjour.

Nicolas Martin : C’est vous qui allez assurer la traduction tout au long de cette heure, merci à vous d’être ici. Cathy O'Neil votre nom a souvent été prononcé à ce micro dès qu’il a été question d’algorithmique, de justice numérique notamment sur la question sensible des algorithmes prédictifs. Nous allons retracer votre parcours et vos combats tout au long de cette heure. Mais pour commencer j’ai une question, votre livre manifeste Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy qui a été traduit et publié aux Éditions Les Arènes au mois de novembre dernier sous le titre Algorithmes, la bombe à retardement, mais en anglais vous dites : weapons of math destruction en jouant sur le jeu de mots mass et math, ce trait des algorithmes, des outils, des armes de destruction massive ou mathématiques. C’est très fort comme image de comparer les algorithmes à des bombes nucléaires.

Cathy O'Neil traduite par Marguerite Capelle : D’abord je voudrais vous remercier de m’avoir invitée, je suis très contente d’être ici. Je suis mathématicienne, j’adore vraiment les mathématiques et, d’une certaine façon, j’ai envie de les défendre. De défendre l’intégrité, la confiance qu’on peut avoir dans les mathématiques, l’honneur des mathématiques en quelque sorte. Ce que j’ai vu se produire à la fois dans la finance et dans la data science, quand j’ai travaillé dans ces domaines, c’est une façon d’abuser des mathématiques. Des gens construisent des algorithmes qui ne sont pas mathématiques, qui ne sont pas des maths, qui sont en fait des algorithmes qui ciblent les individus de façon injuste et quand ces personnes posent des questions on leur répond : « Vous ne pouvez pas comprendre ce sont des maths ! » Donc en fait on en a fait une arme. Ce sont des mathématiques utilisées comme des armes et c’est une façon de les utiliser comme des armes qui intimident les gens et contre les gens.
Donc c’est vraiment la manière dont j’ai commencé à réfléchir à ce concept d’armes de destruction mathématiques. L’autre point, c’est que je pense qu’ils sont vraiment extrêmement destructeurs à une échelle massive et, en tout cas dans leur potentiel, ils le sont. Donc ça fait aussi partie de ce choix de jeu de mots parce que, de façon surprenante, ces armes ont vraiment un pouvoir extrêmement puissant si on les laisse fonctionner à plein.

Nicolas Martin : Votre livre, Cathy O’Neil, est sorti il y a plus de deux ans, presque trois ans, en anglais aux États-Unis, il a eu un gros impact dans le monde de l’informatique et du numérique. Est-ce que vous avez le sentiment qu’il a aidé, qu’il a initié en tout cas un début de prise de conscience de la part des citoyens ?

Cathy O'Neil traduite par Marguerite Capelle : Mon livre a été publié juste avant les élections de 2016. L’objectif principal que j’avais pour ce livre, c’était de rompre cette confiance aveugle que les gens ont dans les algorithmes et dans la révolution du big data, parce qu’encore en fois il y a cette idée d’intimider les gens avec les mathématiques. Les gens ont spontanément confiance dans les mathématiques et dans les algorithmes et pensent que la data science est forcément objective. Je voulais montrer qu’il ne faut pas faire confiance aveuglément à cette science des données, qu’il faut, en fait, remettre de la science dans la science des données. Il faut trouver des preuves que cela fonctionne, en fait, exactement comme on le souhaite.

Nicolas Martin : Entre temps vous avez été un peu confirmée ou assistée par le scandale Cambridge Analytica. Pour autant, on a l’impression que ces scandales autour des big data, ils se succèdent, ils s’acculent et que ça ne change pas la pratique des citoyens, que les citoyens continuent à avoir, finalement, une sorte de confiance assez aveugle ou, en tout cas, de confort numérique à utiliser un certains nombres de sites dont on sait pourtant qu’ils utilisent des algorithmes qui vont jouer contre eux.

Cathy O'Neil traduite par Marguerite Capelle : En fait la plupart des exemples que je donne dans mon livre ont relativement peu de choses à voir avec les sites et, à vrai dire, ne parlent pas des données directement. C’est évidemment un mensonge puisque les données sont un ingrédient de tous les algorithmes, mais ce que je voulais mettre en lumière c’est que les exemples, dans mon livre, viennent plutôt de la différence de pouvoir qu’il y a entre deux personnes.
Par exemple quand vous voulez un emploi on vous pose des questions et vos droits à la vie privée n’existent pas. Quand vous voulez aller à l’université, quand vous voulez une carte de crédit, une police d’assurance, etc., vous êtes obligé de répondre aux questions. Il y a des situations en ligne, les publicités ciblées, les médias sociaux, etc., et la publicité prédatrice pour laquelle c’est évidemment intéressant aussi de parler de la façon dont les données sont collectées et utilisées contre nous. Mais de mon point de vue, c’est plus une question de comment les données sont utilisées plutôt que la question de savoir comment ces données sont collectées au départ. Mais bien sûr, une fois qu’on a dit ça, il faut préciser qu’aux États-Unis on a des lois de protection des données qui sont très faibles alors qu’en Europe elles sont bien meilleures. Le dernier exemple en date est la loi européenne sur la protection des données qui a été votée, mais ça n’est pas le seul. En fait, aux États-Unis, nous sommes déjà en difficulté par rapport à ça. Nous n’avons aucun espoir là-dessus, nous vendons nos données.

Nicolas Martin : Donc vous pensez aujourd’hui que la réglementation européenne, justement le RGPD [Règlement européen sur la protection des données], a vraiment permis en tous cas un début de protection des données des citoyens ou, a minima, une prise de conscience. J’insiste sur la prise de conscience parce que notre sentiment – ici dans La Méthode scientifique on parle souvent de la question des algorithmes et de la justice numérique – c’est que finalement les citoyens ne sont pas très préoccupés par ça. Que les scandales ont beau s’accumuler, leur pratique numérique, leur vie numérique, reste la même et qu’on a l’impression que ces problèmes sont un peu lointains, que ça arrive en Chine où on note les citoyens mais que chez nous ça n’arrivera jamais et que, finalement, la vie numérique peut continuer telle qu’on la pratique encore aujourd’hui.

Cathy O'Neil traduite par Marguerite Capelle : Je ne crois pas que la loi européenne traite la question des algorithmes en fait. Il y a peut-être eu quelques petites mentions théoriques qui pourraient être appliquées d’une manière qui pourrait être satisfaisante, mais, en fait, même les parties les plus intéressantes de la loi qui parlent vraiment de l’explication des algorithmes ne sont pas particulièrement encourageantes. En tant qu’ancienne analyste de données, ce ne serait pas très difficile pour moi de fournir une explication à un algorithme sans que celle-ci veuille dire grand-chose. GDPR [General Data Protection Regulation] se consacre principalement à la protection des données privées. Je pense que les Européens pensent avoir un droit à la vie privée sur leurs données mais ne comprennent pas vraiment que la question c’est comment ces données peuvent être utilisées contre eux. C’est une question de rapport de pouvoir, de rapport de forces.
Quand on demande à une entreprise une faveur, un service, et qu’on peut vous le refuser, que cette entreprise a du pouvoir et que c’est sur la base d’un algorithme qu’on vous refuse cette faveur, c’est là qu’il y a un problème. Et les politiques prédictives, vous pouvez voir ça différemment de demander un service, par exemple les services de police dans votre quartier ; en France aussi on commence à utiliser les algorithmes prédictifs pour les services de police dans les quartiers. C’est un véritable problème aux États-Unis. On a tout un historique, en fait, d’inégalités de l’action policière parce qu’on utilise des algorithmes. En fait on ne sait même pas ce qu’on attend de ces services publics, mais ce qu’on en attend, en réalité, c’est de l’équité et de la sécurité en particulier dans ces services policiers rendus en théorie par le gouvernement.

10’ 02

Nicolas Martin : Quels sont selon vous, Cathy O’Neil, les algorithmes qui sont aujourd’hui les plus inquiétants, qui sont les plus problématiques et desquels les citoyens devraient se méfier le plus ?

Cathy O'Neil traduite par Marguerite Capelle : Je vais commencer par ceux qui m’inquiètent le plus moi, parce que je ne suis pas experte sur ce qui se passe en Europe et en France en particulier. Les choses qui m’inquiètent le plus et qui sont dans le sous-titre de mon livre, c’est l’augmentation des inégalités. La raison c’est que pour avoir vu fonctionner les choses en tant que data scientist moi-même, ce que j’ai vu c’est qu’on dressait, en fait, un profil des gens et qu’on les catégorisait en fonction de leur classe en particulier. C’est-à-dire en tant que consommateurs ont-ils de l’argent ? Est-ce qu’ils sont Blancs ? Est-ce qu’ils sont éduqués ? Est-ce qu’ils vivent au bon endroit ? Est-ce qu’ils ont acheté des choses par le passé ? À quelle classe sociale est-ce qu’ils appartiennent ? On peut voir les choses comme ceux qui ont des opportunités, ceux qui ont de la chance et ceux qui n’en ont pas. Vous répartissez les gens sur une échelle et il y a une division au-delà de laquelle les gens qui ont de la chance peuvent avoir des opportunités et, si vous êtes en dessous de cette ligne, vous n’avez rien. Ça semble très général, mais en fait ça fonctionne presque toujours comme ça, c’est pour ça que je le dis. C’est la question de savoir qui va avoir une carte de crédit, qui va avoir un bon taux de crédit, qui va avoir une bonne assurance, qui va pouvoir aller à l’université, qui va obtenir un emploi. C’est toujours décidé de cette manière-là et de plus en plus de ces décisions sont prises suivant cette division, cette catégorisation des gens. Donc si vous faites partie des gens qui ont le plus d’opportunités vous avez plus d’opportunités et ceux qui en ont le moins sont maintenus dans cette situation. Beaucoup de moments de nos vies, quasiment tout le temps dans nos vies, le résultat c’est d’augmenter les inégalités.
La partie la plus insidieuse de ça, l’aspect le plus insidieux, c’est que chaque entité qui a créé un algorithme le voit comme un outil scientifique prédictif. Ils n’envisagent pas qu’il joue un rôle dans l’augmentation des inégalités, ils optimisent simplement leur propre profit dans leur propre sphère et on ne peut pas leur en vouloir. Les entreprises veulent faire de l’argent c’est leur rôle, c’est à ça que rime le capitalisme, la raison du capitalisme. Mais puisque c’est fait à très grande échelle, de manière similaire dans tous les secteurs, l’effet est extrêmement négatif.

Nicolas Martin : Que se passe-t-il quand ces algorithmes sont produits par la puissance publique ? En France on a un exemple qui a fait couler beaucoup d’encre : c’est un algorithme qui s’appelle Parcoursup qui est un algorithme qui est censé aider les étudiants à trouver des places à l’université quand ils sortent du lycée ; ça a fait énormément de scandale, justement c’est un algorithme qui a été accusé de créer des zones, c’est-à-dire d’empêcher des étudiants qui viennent de Seine-Saint-Denis par exemple, qui est un quartier qui est plus défavorisé, d’avoir accès à des universités plus prestigieuses. On ne peut pas imaginer que sur ces algorithmes-là il y ait une intentionnalité qui soit dévoyer par le capitalisme puisque ce sont des algorithmes qui sont produits par la puissance publique. Comment expliquer que ces algorithmes-là soient défaillants également, Cathy O’Neil ?

Cathy O'Neil traduite par Marguerite Capelle : J’aimerais beaucoup en savoir davantage sur cet algorithme, c’est une expérience intéressante, merci de la mentionner.
Il y a deux manières d’envisager les choses.
La première c’est donc qu’on rend les gens qui ont déjà de la chance, qu’on leur donne davantage d’opportunités et que les gens qui en ont en moins en ont moins. Les gens comme vous : historiquement les hommes s’en sortaient mieux dans les mathématiques et dans la technologie, donc en fait il faut le même genre de personnes puisque ce genre de personnes s’en sort bien. Les algorithmes, de façon systématique, ont tendance à répéter ce qui s’est passé. Si on utilise les précédents historiques de façon aveugle sans trop y réfléchir, en faisant des prédictions sur les bases du passé, voilà ce qui se passe, ça reproduit les choses.
La deuxième interprétation c’est au contraire de dire : vous choisissez un chemin qui est inhabituel par rapport au type de profil que vous êtes, comment est-ce qu’on peut vous aider ? Comment est-ce qu’on peut aider les gens à choisir une nouvelle voie au lieu d’aider ceux qui ont déjà des opportunités et apporter du soutien ? Ceux qui vont avoir des difficultés pourraient avoir accès à des ressources supplémentaires donc, en gros, donner plus d’opportunités aux gens qui en ont moins. C’est une approche assez inhabituelle et il faudrait qu’elle soit choisie de façon explicite comme objectif. Je ne sais pas quel est l’objectif qui a été choisi pour l’algorithme auquel vous faites référence ici en France, est-ce que c’est business as usual c’est-à-dire les hommes continuent à faire de la technologie et les femmes à se diriger vers des métiers qui payent moins et évidemment, dans ce cas-là, ça ne va pas.

Nicolas Martin : Ce qui est intéressant, est-ce que vraiment ce que vous expliquez dans votre livre Cathy O’Neil, c’est effectivement cela : la méprise est de penser que l’algorithme est une interprétation neutre du réel ? Or l’algorithme, en prenant en compte, en intégrant dans ses calculs les faits majoritaires, finit par penser que ces faits majoritaires sont la normalité et donc ne font que les reproduire et les amplifier. C’est bien cela ?

Cathy O'Neil traduite par Marguerite Capelle : Je vais vous proposer un exemple de ce type de problème. Par exemple les données sur les actes criminels pour la police prédictive et aussi pour la prédiction de risques de récidive. Déjà revenons un petit peu en arrière, essayons de comprendre pourquoi ces scores de risques de récidive ont été créés. L’idée c’est que la justice était raciste, il y avait un manque d’objectivité, donc il s’agissait de rééquilibrer les choses avec un score scientifique. Il s’agissait de prédire le risque pour une personne d’être arrêtée dans les deux années qui suivaient sa sortie de prison. Donc évidemment on peut se demander qu’est-ce qu’on va faire de cette notation ? Évidement l’idée c’est que les gens qui ont un risque élevé de retourner en prison, un risque élevé de récidive, vont être punis plus longtemps, donc les gens sont punis de façon préventive pour quelque chose qu’ils n’ont pas encore fait et ça c’est déjà extrêmement discutable d’un point de vue philosophique. Mais au-delà de cette question de justice, il y a une question d’équité et le problème d’équité est réel.
La vérité, en tout cas aux États-Unis, c’est que nous arrêtons les gens pour toutes sortes de crimes non violents, qui sont plutôt des signes de pauvreté et des problématiques systémiques plutôt que des crimes en tant que tels. Par exemple on arrête les gens qui ont des problèmes mentaux qui ne sont pas soignés ou les gens qui sont accros aux drogues ou juste les gens qui sont pauvres : par exemple ceux qui pissent sur le trottoir parce qu’ils n’ont pas de toilettes ou ceux qui resquillent dans le métro. Donc ce sont vraiment des crimes très mineurs, des délits très mineurs, qui justifient des arrestations, ce qui arrive de plus en plus aux gens pauvres et aussi aux gens issus des minorités. Donc il n’est pas surprenant de constater que les scores de risques de récidive de ces personnes, qui sont optimisés pour être le plus exact possible, incluent des questions comme : avez-vous des problèmes, un historique de santé mentale ? Vivez-vous dans tel ou tel quartier ? Bénéficiez-vous de prestations sociales ? Etc. Forcément ces personnes vont être davantage ciblées par la police.
Pour résumer, la question de la police prédictive et du profilage des criminels continue, en fait, à amplifier et à propager l’historique raciste de la police et du fonctionnement de notre société. En fait ça empêche les choses de changer à l’avenir en punissant à l’avance les personnes concernées.

Voix off : La Méthode scientifique – Nicolas Martin

19’ 03

Nicolas Martin : Vous écoutez La Méthode scientifique sur France culture.