Cathy O'Neil : pour une éthique des algorithmes - La méthode scientifique

Titre : Cathy O'Neil : pour une éthique des algorithmes

Intervenants : Cathy O'Neil - Marguerite Capelle, traductrice - Nicolas Martin

Lieu : Émission La méthode scientifique - France Culture

Date : décembre 2018

Durée : 1 h

Site de l'émission ou Podcast

Licence de la transcription : Verbatim

Illustration :

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Statut : Transcrit MO

Description

Quel est son parcours et d’où lui est venue sa passion pour les mathématiques ? Pourquoi appelle-t-elle les algorithmes des “armes de destruction mathématiques” ? Comment ces nouveaux pouvoirs algorithmiques transforment-ils les pratiques professionnelles de la société ?

Transcription

Nicolas Martin : Merci Garrigou-Lagrange.
Quoi de plus neutre qu’un ordinateur ? Quoi de plus à priori objectif qu’une suite de calculs, qu’une série d’opérations mathématiques ? Quoi de plus éloigné d’une opinion, finalement, qu’un algorithme ? Eh bien tout justement. Parce qu’ils sont programmés par des humains qui sont eux perclus de biais, parce qu’ils tentent d’objectiver des réalités qui sont plus complexes que ce que peut décrire une seule suite mathématique, parce qu’enfin derrière chaque algorithme il y a une intention et qu’une intention n’est pas neutre. Pour notre invitée du jour, les algorithmes sont devenus des weapons of math destruction, des armes de destruction mathématique.
La mathématicienne, informaticienne et activiste Cathy O'Neil est notre toute dernière invitée de l’année. Bienvenue dans La Méthode scientifique. Bonjour Cathy O'Neil.

Cathy O'Neil : Hy !

Nicolas Martin : Hello. Mille mercis de nous faire le plaisir d’être avec nous pour cette dernière émission de l’année. Bonjour Marguerite Capelle.

Marguerite Capelle : Bonjour.

Nicolas Martin : C’est vous qui allez assurer la traduction tout au long de cette heure, merci à vous d’être ici. Cathy O'Neil votre nom a souvent été prononcé à ce micro dès qu’il a été question d’algorithmique, de justice numérique notamment sur la question sensible des algorithmes prédictifs. Nous allons retracer votre parcours et vos combats tout au long de cette heure. Mais pour commencer j’ai une question, votre livre manifeste Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy qui a été traduit et publié aux Éditions Les Arènes au mois de novembre dernier sous le titre Algorithmes, la bombe à retardement, mais en anglais vous dites : weapons of math destruction en jouant sur le jeu de mots mass et math, ce trait des algorithmes, des outils, des armes de destruction massive ou mathématiques. C’est très fort comme image de comparer les algorithmes à des bombes nucléaires.

Cathy O'Neil traduite par Marguerite Capelle : D’abord je voudrais vous remercier de m’avoir invitée, je suis très contente d’être ici. Je suis mathématicienne, j’adore vraiment les mathématiques et, d’une certaine façon, j’ai envie de les défendre. De défendre l’intégrité, la confiance qu’on peut avoir dans les mathématiques, l’honneur des mathématiques en quelque sorte. Ce que j’ai vu se produire à la fois dans la finance et dans la data science, quand j’ai travaillé dans ces domaines, c’est une façon d’abuser des mathématiques. Des gens construisent des algorithmes qui ne sont pas mathématiques, qui ne sont pas des maths, qui sont en fait des algorithmes qui ciblent les individus de façon injuste et quand ces personnes posent des questions on leur répond : « Vous ne pouvez pas comprendre ce sont des maths ! » Donc en fait on en a fait une arme. Ce sont des mathématiques utilisées comme des armes et c’est une façon de les utiliser comme des armes qui intimident les gens et contre les gens.
Donc c’est vraiment la manière dont j’ai commencé à réfléchir à ce concept d’armes de destruction mathématiques. L’autre point, c’est que je pense qu’ils sont vraiment extrêmement destructeurs à une échelle massive et, en tout cas dans leur potentiel, ils le sont. Donc ça fait aussi partie de ce choix de jeu de mots parce que, de façon surprenante, ces armes ont vraiment un pouvoir extrêmement puissant si on les laisse fonctionner à plein.

Nicolas Martin : Votre livre, Cathy O’Neil, est sorti il y a plus de deux ans, presque trois ans, en anglais aux États-Unis, il a eu un gros impact dans le monde de l’informatique et du numérique. Est-ce que vous avez le sentiment qu’il a aidé, qu’il a initié en tout cas un début de prise de conscience de la part des citoyens ?

Cathy O'Neil traduite par Marguerite Capelle : Mon livre a été publié juste avant les élections de 2016. L’objectif principal que j’avais pour ce livre, c’était de rompre cette confiance aveugle que les gens ont dans les algorithmes et dans la révolution du big data, parce qu’encore en fois il y a cette idée d’intimider les gens avec les mathématiques. Les gens ont spontanément confiance dans les mathématiques et dans les algorithmes et pensent que la data science est forcément objective. Je voulais montrer qu’il ne faut pas faire confiance aveuglément à cette science des données, qu’il faut, en fait, remettre de la science dans la science des données. Il faut trouver des preuves que cela fonctionne, en fait, exactement comme on le souhaite.

Nicolas Martin : Entre temps vous avez été un peu confirmée ou assistée par le scandale Cambridge Analytica. Pour autant, on a l’impression que ces scandales autour des big data, ils se succèdent, ils s’acculent et que ça ne change pas la pratique des citoyens, que les citoyens continuent à avoir, finalement, une sorte de confiance assez aveugle ou, en tout cas, de confort numérique à utiliser un certains nombres de sites dont on sait pourtant qu’ils utilisent des algorithmes qui vont jouer contre eux.

Cathy O'Neil traduite par Marguerite Capelle : En fait la plupart des exemples que je donne dans mon livre ont relativement peu de choses à voir avec les sites et, à vrai dire, ne parlent pas des données directement. C’est évidemment un mensonge puisque les données sont un ingrédient de tous les algorithmes, mais ce que je voulais mettre en lumière c’est que les exemples, dans mon livre, viennent plutôt de la différence de pouvoir qu’il y a entre deux personnes.
Par exemple quand vous voulez un emploi on vous pose des questions et vos droits à la vie privée n’existent pas. Quand vous voulez aller à l’université, quand vous voulez une carte de crédit, une police d’assurance, etc., vous êtes obligé de répondre aux questions. Il y a des situations en ligne, les publicités ciblées, les médias sociaux, etc., et la publicité prédatrice pour laquelle c’est évidemment intéressant aussi de parler de la façon dont les données sont collectées et utilisées contre nous. Mais de mon point de vue, c’est plus une question de comment les données sont utilisées plutôt que la question de savoir comment ces données sont collectées au départ. Mais bien sûr, une fois qu’on a dit ça, il faut préciser qu’aux États-Unis on a des lois de protection des données qui sont très faibles alors qu’en Europe elles sont bien meilleures. Le dernier exemple en date est la loi européenne sur la protection des données qui a été votée, mais ça n’est pas le seul. En fait, aux États-Unis, nous sommes déjà en difficulté par rapport à ça. Nous n’avons aucun espoir là-dessus, nous vendons nos données.

Nicolas Martin : Donc vous pensez aujourd’hui que la réglementation européenne, justement le RGPD [Règlement européen sur la protection des données], a vraiment permis en tous cas un début de protection des données des citoyens ou, a minima, une prise de conscience. J’insiste sur la prise de conscience parce que notre sentiment – ici dans La Méthode scientifique on parle souvent de la question des algorithmes et de la justice numérique – c’est que finalement les citoyens ne sont pas très préoccupés par ça. Que les scandales ont beau s’accumuler, leur pratique numérique, leur vie numérique, reste la même et qu’on a l’impression que ces problèmes sont un peu lointains, que ça arrive en Chine où on note les citoyens mais que chez nous ça n’arrivera jamais et que, finalement, la vie numérique peut continuer telle qu’on la pratique encore aujourd’hui.

Cathy O'Neil traduite par Marguerite Capelle : Je ne crois pas que la loi européenne traite la question des algorithmes en fait. Il y a peut-être eu quelques petites mentions théoriques qui pourraient être appliquées d’une manière qui pourrait être satisfaisante, mais, en fait, même les parties les plus intéressantes de la loi qui parlent vraiment de l’explication des algorithmes ne sont pas particulièrement encourageantes. En tant qu’ancienne analyste de données, ce ne serait pas très difficile pour moi de fournir une explication à un algorithme sans que celle-ci veuille dire grand-chose. GDPR [General Data Protection Regulation] se consacre principalement à la protection des données privées. Je pense que les Européens pensent avoir un droit à la vie privée sur leurs données mais ne comprennent pas vraiment que la question c’est comment ces données peuvent être utilisées contre eux. C’est une question de rapport de pouvoir, de rapport de forces.
Quand on demande à une entreprise une faveur, un service, et qu’on peut vous le refuser, que cette entreprise a du pouvoir et que c’est sur la base d’un algorithme qu’on vous refuse cette faveur, c’est là qu’il y a un problème. Et les politiques prédictives, vous pouvez voir ça différemment de demander un service, par exemple les services de police dans votre quartier ; en France aussi on commence à utiliser les algorithmes prédictifs pour les services de police dans les quartiers. C’est un véritable problème aux États-Unis. On a tout un historique, en fait, d’inégalités de l’action policière parce qu’on utilise des algorithmes. En fait on ne sait même pas ce qu’on attend de ces services publics, mais ce qu’on en attend, en réalité, c’est de l’équité et de la sécurité en particulier dans ces services policiers rendus en théorie par le gouvernement.

10’ 02

Nicolas Martin : Quels sont selon vous,