Éthique numérique, des datas sous serment - La méthode scientifique : Différence entre versions

De April MediaWiki
Ligne 19 : Ligne 19 :
 
'''Illustration :'''
 
'''Illustration :'''
  
'''Statut :'''En cours de transcription par D_O
+
'''Statut :'''Transcrit par D_O
  
 
==Description==
 
==Description==

Version du 12 septembre 2019 à 23:35


Titre : Éthique numérique, des datas sous serment

Intervenants : Frédéric Bardolle - Nozha Boujemaa - Nicolas Martin - Céline Loozen - Soline Ledésert - Jérémie Poiroux

Lieu : La méthode scientifique - France Culture

Date : 10 octobre 2018

Durée : 58 min 56

Écouter ou télécharger le podcast

Page de présentation de l'émission

Licence de la transcription : Verbatim

Illustration :

Statut :Transcrit par D_O

Description

Et si les développeurs et data scientists prêtaient serment, comme les médecins, pour une utilisation des données plus éthique ?

Transcription

[Début du générique]

Nicolas Martin : Dans le monde numérique qui est le nôtre, il est assez simple de penser qu'un algorithme et bien ce n'est qu'un programme, que foncièrement un programme est par essence neutre. Par exemple, quand je regarde une bande-annonce cinéma sur YouTube, bien à la fin YouTube m'en propose une autre et ainsi de suite et les vaches sont finalement assez bien gardées. Malheureusement, ce n'est pas toujours le cas et les conséquences des algorithmes auxquels nous sommes quotidiennement soumis sont tout sauf neutres. Or, nous n'avons aucun contrôle sur ces algorithmes et sur ces gens qui les programment. D'où cette question : Est-il temps d'imposer une éthique du numérique ?

[Suite du générique]

Nicolas Martin : Éthique numérique, des datas sous serment c'est le problème auquel nous allons nous atteler dans l'heure qui vient. Bienvenue dans La méthode scientifique.

[Fin du générique]

Nicolas Martin : Et pour décortiquer ce problème aux embranchements et aux conséquences fort complexes au moins aussi complexes que celle d'un algorithme, nous avons donc le plaisir de recevoir aujourd'hui : Nozha Boujemaa. Bonjour.

Nozha Boujemaa : Bonjour.

Nicolas Martin : Vous êtes directrice de recherche INRIA, directrice de l'institut DATAIA : institut de convergence français spécialisé en sciences des données, intelligence artificielle et société. Et bonjour Frédéric Bardolle.

Frédéric Bardolle : Bonjour.

Nicolas Martin : Vous êtes membre de l'association Data For Good et donc d'AlgoTransparency, une plateforme que vous avez développée et dont nous reparlerons tout à l'heure. Vous pouvez nous suivre comme chaque jour et bien en direct sur les ondes de France Culture, en différé, en podcast via votre application préférée et toujours à quelque moment que vous nous écoutiez, en complément via le fil Twitter de l'émission sur lequel nous allons poster un certain nombre de compléments d'information, d'articles, de graphiques qui vont venir éclairer ce qui va être dit au cours de cette heure et à ce micro. Alors pour commencer, et bien il y a une voix, une voix singulière qui s'est élevée pour réclamer une éthique numérique et dénoncer l'absence de transparence de la plupart des plateformes et des méthodes de programmation. C'est celle de Cathy O'Neil, elle est Américaine et mathématicienne. Je vous propose d'écouter un extrait de sa conférence TEDx qui date de l'an dernier.

2'40

Extrait du TEDx de Cathy O'Neil : Les algorithmes sont des opinions intégrées dans du code. C'est très différent de ce que les gens pensent des algorithmes. Ils pensent que les algorithmes sont objectifs, vrais et scientifiques. C'est une astuce marketing. C'en est une autre de vous intimider avec des algorithmes, de vous faire croire et craindre les algorithmes car vous croyez et craignez les mathématiques. Tout peut mal tourner quand on est une fois aveugle dans le Big data. Nous devons réclamer des comptes à nos souverains algorithmiques... L'ère de la confiance absolue dans le Big data doit prendre fin.

Nicolas Martin : Voilà, un extrait de ce TEDx de Cathy O'Neil. «L'ère de la confiance absolue dans le Big data doit prendre fin». Ça veut dire que il y a eu une ère de la confiance absolue dans le Big data Nozha Boujemaa?

Nozha Boujemaa : En fait, j'ai l'impression qu'on a survendu en fait les Big data et l'IA en disant que c'est objectif parce que c'est piloté par les données, c'est objectif parce que c'est algorithmique, parce que il y a de la modélisation donc c'est forcément objectif et c'est une baguette magique pour résoudre tout. Il y a eu des benchmarks de performance montrant que des algorithmes d'apprentissage étaient capables d'être plus performants en reconnaissance visuelle que l'oeil humain et à partir de là il y a eu je dirais entre guillemets «des envolées lyriques» sur les capacités de l'IA et des Big data pour tout tout faire, tout résoudre et donc je crois que justement, il faut démystifier et surtout revenir un peu sur terre quelque part. En fait, toute technologie a ses capacités, ses promesses et en fait ses réalités mais a également ses défauts et ses limites. Et ce dont on a beaucoup moins parlé ce sont les limites et je crois que il faut être ni techno-sceptique ni au contraire survendre l'IA, il faut avoir le juste équilibre et je crois que le efforts que nous sommes entrain de déployer à la fois dans le cadre de l'institut DATAIA mais aussi dans d'autres sphères internationales, européennes et aussi dans le cadre de l'OCDE, c'est avoir la juste mesure. Donc ne pas je dirais «faire confiance totale» là encore la question n'est pas la technologie très performante certainement c'est les gens qui l'utilisent et qui la déploient. C'est toujours les personnes qui sont derrière en fait.

Nicolas Martin : Qui sont devant ou derrière d'ailleurs dans un sens...

Nozha Boujemaa :Absolument.

Nicolas Martin : Ou dans l'autre. Alors on entendait, c'était intéressant cet extrait du TEDx de Cathy O'Neil parce qu'on entend tout de même quelque chose moi qui me surprend un peu. C'est assez récent ça date de l'année dernière, les travaux de Cathy O'Neil ont de deux trois ans, on est dans un champ qui on va le dire pour tout le long de cette heure, un champ très récent. Très récent à l'international et encore plus récent peut-être en France. On entend que finalement, le grand public aurait une sorte de confiance un peu aveugle en disant «Boh, les algorithmes, l'intelligence artificielle, ce qui m'est proposé, ces outils auxquels on m'a donné accès finalement je peux leur faire une sorte de confiance aveugle». J'ai plutôt le sentiment et je parle à titre tout à fait personnel, que la défiance est arrivée très très vite. Est-ce que il y a eu une sorte de phase de confiance aveugle vous pensez Frédéric Bardolle?

Frédéric Bardolle : Je ne pense pas. Il y a eu une espèce de période de foi, les gens avaient foi dans les algorithmes et ils l'ont encore en partie. Quand on a lancé le projet AlgoTransparency, l'idée c'était de montrer justement quelles étaient les recommandations faites par YouTube et vous le montrez justement, ces recommandations n'étaient pas neutres mais étaient orientées vers certaines vidéos, vers certains concepts,on en reparlera un peu plus tard.

Nicolas Martin : On en reparlera tout à l'heure oui.

Frédéric Bardolle : Mais quand on a commencé à parler de nos travaux, à les publier sur des plates-formes comme Facebook ou Twitter, les gens, les utilisateurs de YouTube nous ont répondu «Mais en fait vous vous êtes trompés, l'algorithme est neutre. Si il donne cette valeur-là, c'est parce qu'il a raison, c'est parce qu'il est programmé, il est neutre. Donc en fait, vous inventez une espèce de biais qui n'existe pas» et ça on l'a vu, concrètement on a vu des gens nous dire ça.

Nicolas Martin : Ça veut dire que il y a donc effectivement une ère de la confiance. Est-ce qu'aujourd'hui, il faut comme le dit Cathy O'Neil «passer à l'inverse, à la défiance»? Elle a cette phrase qui est très très forte, au début elle dit «L'algorithme c'est une opinion cachée dans du code». Est-ce que tout algorithme est nécessairement une opinion Nozha Boujemaa?

Nozha Boujemaa : Je confirme. Les algorithmes sont des opinions, enfin... Mon expression c'est «des opinions encapsulées dans du code» à travers les données d'apprentissage, à travers les données de paramétrage. Donc en fait, il y a toujours une opinion de celui qui a conçu ou le prescripteur en tout cas pour le développement de ces algorithmes. Maintenant ce qui est important, moi je dirais que c'est pas tant l'éthique c'est... Moi je dirais, je plaiderai davantage pour une IA de confiance, c'est différent en fait.

Nicolas Martin : Hm hm.

Nozha Boujemaa : Parce que ça inclut en fait, l'éthique est une partie de l'IA de confiance dans la mesure où je préfère parler de l'IA responsable. L'IA responsable c'est aussi... On peut se poser la question : Responsable dans quel référentiel et par rapport à quel référentiel? En fait on en a deux : conforme aux règles juridiques donc il y a la question de la responsabilité juridique mais aussi conforme aux valeurs éthiques. C'est-à-dire que la responsabilité inclut deux choses, effectivement c'est important d'intégrer ces deux dimensions dans l'IA responsable mais encore à l'IA de confiance je rajouterais l'IA robuste qui n'a nullement l'intention ni de nuire, ni d'occasionner je ne sais quel dégât sur les personnes et les sociétés. Mais des fois, on peut avoir des résultats différents et donc on peut croire à une discrimination qui n'en est pas une parce que celui qui a conçu l'algorithme n'a nullement l'intention de générer une discrimination. Mais tout simplement parce que son algorithme n'est pas reproductible : il est vulnérable, il subit des biais des données ou des algorithmes et en fait au final, c'est un manque de maîtrise technologique dans le déploiement de ces technos.

15'00

Nicolas Martin : On est tout de même arrivés aujourd'hui dans une ère de la mise en garde on va dire. C'est-à-dire au niveau institutionnel avec le déploiement du RGPD [Règlement Général sur la Protection des Données] mais même plus généralement dans le discours public. On entend souvent des gens alerter contre les biais dans les moteurs de recherche, les biais dans les réseaux sociaux pour parler des biais peut-être les plus apparents alors évidemment sur YouTube également. Est-ce que vous avez le sentiment qu'on est peut-être plus à l'heure de la confiance, pas encore tout à fait à l'heure du doute mais en tout cas peut-être dans une sorte d'ère de l'indifférence finalement. L'utilisateur final de l'interface, il s'en moque un peu.

Frédéric Bardolle : Finalement, les utilisateurs sont contents parce que ils ont ce qu'ils veulent. En fait, l'algorithme est vraiment conçu que pour ça : pour leur donner ce qu'ils veulent. Le problème c'est que ce qu'ils veulent, c'estpas forcément ce qui est le mieux pour eux. On a une métaphore un petit peu là-dessus c'est : imaginons que ce soit un algorithme qui fasse le menu à la cantine de nos enfants. Et un algorithme d'apprentissage automatique. Donc qui va s'apercevoir que les enfants aiment bien manger sucré-salé et que ça leur permet de finir plus rapidement de finir leurs assiettes. Au final si on entraîne cet algorithme avec des données de cantine d'enfants, il va finir par donner que les pires aliments qui existent, que les aliments les plus sucrés, les plus salés enfin vraiment les pires.

Nicolas Martin : Des frites au ketchup.

Frédéric Bardolle : C'est ça exactement. (rires) Et c'est ça le problème que souvent on entend des gens nous dire «Oui mais finalement, ces algorithmes ne font que donner aux gens ce qu'ils veulent». Mais ils font plus que ça. C'est-à-dire qu'ils vont nous fournir des choses qui ne sont pas les côtés les plus reluisants de l'humanité. Tout ça pour qu'on passe du temps en fait. Ce qu'on essaye... Ces algorithmes ont tous quelque chose à maximiser et ce que les plates-formes essaient de maximiser c'est le temps passé, c'est l'attention qu'on consacre à leurs plates-formes. C'est pas le bonheur de l'utilisateur, c'est pas son bien-être. C'est cette attention. Et pour maximiser cette attention, il faut des contenus additifs et c'est ça le danger.

Nicolas Martin : Sur ce sujet-là Nozha Boujemaa ?

Nozha Boujemaa : Oui. Donc là c'est le cas d'usage. YouTube effectivement qui maximise le temps de passage devant l'écran.

Nicolas Martin : YouTube mais c'est aussi vrai pour Facebook... Non pas tout à fait de la même façon?

Nohza Boujemaa : En fait pour les modèles d'affaires, pour les business models qui tendent à maximiser le temps de présence pour vendre plus de publicité. Pour tous les services gratuits c'est le cas, qui sont basés sur des modèles de publicité. Maintenant, je dirais que ça dépend énormément. C'est-à-dire que dans certains moteurs de recommandation, c'est pas forcément pour vous garder captif, ça peut aussi vous proposer, vous faire des recommandations pour déstocker. D'accord? C'est pour ça que je disais, ça dépend des cas d'usage, on peut vous recommander effectivement des biens ou des services qui ne sont pas forcément les plus personnalisés en fonction de votre parcours sur une certaine plate-forme mais pour les intérêts, c'est pour ça qu'on revient au point. C'est des opinions capsulées qui maximisent le profit de ceux qui mettent au service en fait, en service ces services numériques. Et au final, les services numériques maximisent l'intérêt de ceux qui les produisent. Enfin... Voilà.

Nicolas Martin : Il y a quelque chose, un point de vue que je veux vous soumettre et que j'aime assez bien parce que je trouve qu'il est assez représentatif effectivement pour répondre à cet argument de «Finalement la publicité ciblée, ça m'arrange plutôt puisqu'on me propose plutôt des choses que j'ai envie d'acheter que d'autres choses qui ne m'intéressent pas». C'est Antoinette Rouvroy qui est venue plusieurs fois à ce micro et qui disait «Le problème, c'est qu'à force de vous soumettre de la publicité ciblée, des choix ciblés et bien ça va transformer une décision d'achat». Je me connecte sur internet parce qu'à un moment donné je décide d'aller faire des courses pour acheter quelque chose dont j'ai besoin, en une pulsion d'achat. C'est-à-dire que d'un seul coup ça détruit la décision et ça rend la décision strictement pulsionnelle. Et là effectivement, j'ai l'impression que avec cet exemple-là, on touche du doigt un effet qui est nettement un effet pervers Frédéric Bardolle.

Frédéric Bardolle : Alors oui et même pour aller plus loin, un des problèmes sur les algorithmes en particulier les algorithmes d'apprentissage automatique puisque ce sont ceux dont on parle finalement. Il y a beaucoup d'algorithmes. En calcul le Pi, ça utilise un algorithme mais là voilà on parle surtout des algorithmes d'apprentissage automatique, machine learning. Le problème c'est que par essence ils sont conservateurs. C'est-à-dire que : ils ont été entraînés avec des données qui ont été mesurées sur des gens, sur vous sur peut-être d'autres gens mais en fait ils reflètent finalement seulement le passé, seulement la société tel qu'elle a pu exister, seulement votre comportement passé et elle vous dit «Bah vous êtes finalement tout le temps la même personne, tout le temps pareille et on va reproposer toujours la même chose». Un exemple concret par rapport à ça : c'est que pour faire de la traduction automatique, Google Traduction et d'autres, utilisent par exemple des textes qui sont à la fois en Français et en Anglais et ils essaient de les calquer. Ce qui se passe, c'est que à cause de ça, quand on essaie de traduire des termes qui n'ont pas de genre en Anglais par exemple "A nurse" ou "A doctor" donc pour parler d'infirmier/infirmière ou docteur mais docteur au féminin et bien on a toujours "A doctor" c'est un docteur au masculin et "A nurse" c'est une infirmière au féminin. Et ça en fait, ça n'a pas de sens linguistique. C'est juste parce que l'algorithme a vu des milliers d'exemples de cette catégorie-là et a dit «Bah c'est ça la réalité». Donc, ils sont conservateurs par un sens.

Nozha Boujemaa : Ça, c'est le manque de représentativité des données d'apprentissage qui fait partie des biais. J'aimerais bien qu'on fasse la différence entre les biais technique...

Nicolas Martin : Bien sûr... Oui oui oui...

Nozha Boujemaa : Et... Voilà.

Nicolas Martin : Entre les biais technique et ?

Nozha Boujemaa : En fait, il y a le côté intention de ne pas bien faire les choses ou de ne pas forcément faire les choses dans l'intérêt du consommateur du service mais dans l'intérêt du producteur du service. Et c'est de bonne guerre en fait. Donc on ne peut pas reprocher à celui qui produit un service de ne pas servir ses intérêts. Je dirais que ça c'est... Par contre, c'est à ceux qui consomment les services d'une manière générale qu'ils soient citoyens, qu'ils soient professionnels donc là je considère pas seulement le B2C mais le B2B aussi, que ce soit les gouvernements quand ils sont clients de services numériques et bien de se prémunir des outils qui leur permettent justement de ne pas être je dirais... Je ne vais pas utiliser le mot «proie facile»...

Frédéric Bardolle : Mais à la merci en tout cas.

Nozha Boujemaa : Mais en tout cas de savoir... Oui à la merci. De savoir de quoi et comment ils vont être calculés. En fait il y a un principe essentiel qui est remis en cause dans ces choses-là, c'est quand même le libre arbitre. D'accord ?

Nicolas Martin : C'est ce que j'évoquais quand on passe de la décision d'achat à la pulsion. On renonce d'une certaine façon à une forme de libre arbitre.

Nozha Boujemaa : Il y a le côté pulsion mais il y a le côté aussi je dirais peut-être même une consommation dans l'inconscience «heureuse» entre guillemets. C'est-à-dire qu'on me propose, ça me va, j'y vais, je clique, enfin voilà. Et il y a comme un problème parce que quelques fois, on ne se pose plus, on se pose même plus la question en fait. Et c'est la difficulté outre les bulles filtrantes qu'on a évoquées sans les nommer tout à l'heure mais c'est aussi le libre arbitre et la liberté humaine. Pour aussi rebondir sur le fait que ces algorithmes apprennent du passé, c'est-à-dire ça enferme, le prédictif enferme dans un déterminisme qui n'a pas lieu d'être parce que l'humain c'est quand-même sa capacité première c'est d'être libre et d'être imprévisible. D'accord ? Et ça les algorithmes d'aujourd'hui... C'est pour ça que le développement du coeur de l'IA n'est pas fini, l'IA faible aujourd'hui ne sait faire que ça.

[Jingle]

Voix off : La méthode scientifique, Nicolas Martin.

Nicolas Martin : Et 16h15 sur France Culture. Nous parlons d'éthique numérique tout au long de cette heure et de savoir à quel moment il faut justement remettre une notion d'éthique dans la science des données, dans le data scientism si on doit le dire en Anglais. Nous en parlons avec Nozha Boujemaa et Frédéric Bardolle tout au long de cette heure. Alors, on a parlé un peu de ces effets pervers, de ces biais des algorithmes qu'ils soient effectivement techniques ou volontaires ou intentionnels. J'aimerais peut-être qu'on prenne et qu'on parte d'un exemple très très concret que vous avons presque sous les yeux tous de façon régulière c'est l'exemple de YouTube. Finalement comme je le disais dans la présentation de cette émission, quoi de plus inoffensif après tout que de laisser le site décider de quelle vidéo vous allez regarder après avoir vu je ne sais pas : un clip, une bande-annonce vidéo, une conférence peu importe. Vous savez il y a une fonction de lecture automatique et donc tout de suite après va arriver une deuxième vidéo que vous n'aurez pas choisie. Tout cela a l'air finalement très innocent mais évidemment ça l'est beaucoup moins que ce que l'on imagine. Bonjour Céline Loozen !

Céline Loozen : Bonjour Nicolas, bonjour à tous !

Nicolas Martin : Donc si on me propose une vidéo de requins après une vidéo de chatons extrêmement mignons ?

Céline Loozen : Je dois en conclure quelque de très mauvais au niveau de votre psychologie peut-être.

Nicolas Martin : (Rires)Ou en tout cas de mes pratiques internet. Plus sérieusement, vous êtes justement allée dans l'association de Frédéric Bardolle chez Data For Good pour comprendre comment ils travaillent sur cette question de l'algorithme de YouTube

Céline Loozen : Ouais l'algorithme de YouTube fonctionne par suggestions pour amener à regarder plus de vidéos, pour passer plus de temps sur le plate-forme. Le problème, c'est qu'il n'est pas public entre autres pour des raisons de secret industriel. Alors c'est un problème car on reproche à YouTube : son manque de neutralité, l'incitation à consulter des vidéos aux sujets clivants et aussi de nous enfermer dans des bulles filtrantes selon nos consommations un peu comme sur Facebook. Le projet AlgoTransparency tente d'étudier ce fonctionnement opaque et ils ont publié une charte pour inciter les ingénieurs de YouTube à adhérer à plus d'éthique. Pour le cas de YouTube en l'occurrence, l'algorithme est secret et je suis allée voir Soline Ledésert qui est cofondatrice de AlgoTransparency et elle a contribué aussi à la rédaction du Serment d'Hippocrate pour Data Scientist

[Musique de fond]

Soline Ledésert : La majeure partie des vidéos regardées sur YouTube viennent de recommandations. C'est-à-dire qu'une fois qu'on a tapé une requête, en fait on va suivre les recommandations de la colonne de droite. Parce qu'il faut savoir que les vidéos qui sont suggérées par YouTube sont suggérées par un algorithme et on ne connaît pas cet algorithme parce que ça enlève du secret industriel. Et ce qu'on a fait du coup, c'est qu'on a vu le résultat de ces algorithmes, les vidéos qui étaient suggérées et on a essayé de poser des questions publiquement sur pourquoi certaines étaient plus suggérées que d'autres.

Céline Loozen : Est-ce que vous pourriez présenter un peu le concept du site et voir ?

Soline Ledésert : OK donc il suffit d'aller sur algotransparency.org donc là vous voyez qu'on a crée différentes rubriques : Kids, World leaders, Science, Mass shootings, British elections. Donc par exemple si on va sur Science, on voit le top 100 vidéos des vidéos les plus recommandées par YouTube sur la requête «Est-ce que la terre est plate ou ronde ?». Donc il y a une vidéo qui est recommandée 9,7 fois plus que moyenne des vidéos recommandées par YouTube sur la question le 1er août 2018 qui est : A Stranger's Guide to Flat Earth | 21 Questions and Answers (Proving The Earth Is Flat). Donc on a visiblement faudrait quand même la regarder mais visiblement une vidéo qui prouverait que la terre est plate.

Céline Loozen : Comment vous fonctionnez pour pouvoir donner ces chiffres et mettre ces classements ?

Soline Ledésert : Alors en fait, on a crée un utilisateur. C'est comme si c'était un utilisateur qui venait de se créer un compte qu'on a crée sous forme de robot, c'est un programme et qui va faire des requêtes sur YouTube et regarder des vidéos. Et il regarde toujours la première vidéo qui sort de la recherche et ensuite, on lançait les six premières vidéos qui sont suggérées sur la colonne de droite. Et en fait à chaque fois, on jouait chacune de ces six vidéos et on récoltait les vidéos suivantes et ainsi de suite. Donc du coup, on se retrouvait avec on va dire entre 1000 et 2000 vidéos suggérées sur une requête et on regardait dans ces vidéos, le nombre de fois où une vidéo était plus recommandée que la moyenne. Et du coup on se disait «D'accord donc pour quelqu'un qui arrive sur YouTube et qui fait une recherche par exemple sur François Fillon, on va pouvoir voir que l'algorithme de YouTube va rediriger de vidéo en vidéo, va tendanciellement rediriger la personne qui a fait une requête sur François Fillon vers par exemple Mélenchon ou un autre candidat. Donc là nous on a eu une démarche assez pragmatique de se dire «OK quels contenus sont les plus suggérés par ces algorithmes ?». Une fois que ça c'est prouvé par exemple sur notre site, l'idée est d'aller plus loin et de lancer un débat public. C'est-à-dire : Est-ce qu'on veut des entreprises qui servent ceci ? Et on essaie de rendre visible le fait que il y a des différences d'attributs comme ça sur les contenus.

Céline Loozen : Et les ingénieurs de YouTube connaissent l'existence de vos activités ? Comment ils réagissent, comment ils se positionnent ?

Soline Ledésert : Disons que voilà il y a un peu ceux qui vont essayer d'améliorer le système au sein de ce cadre-là. Donc c'est de faire des algorithmes qui seront : plus égalitaires, plus neutres.Réinjecter de la diversité dans les contenus afin d'éviter la personnalisation etc. Donc nous il y a un autre projet qui est né de ce projet qu'on a appelé le Serment d'Hippocrate pour Data Scientist. C'est-à-dire que pendant qu'on a construit AlgoTransparency, parmi les solutions auxquelles on pensait, donc il y avait effectivement la régulation et on s'est dit «Bah il y aussi interpeller la conscience en fait de tous ces ingénieurs qui travaillent sur du machine learning et des algorithmes sur le même modèle du serment d'Hippocrate des les professionnels de la santé, on pourrait créer un serment d'Hippocrate des data scientists. Donc on a fait une petite recherche, il y en avait déjà qui circulaient et pour se différencier de ceux qui existaient déjà, on avait vraiment crée un serment d'Hippocrate qui aidait dans au quotidien, dans leur pratique les data scientists. Vraiment à se dire, on a découpé le travail en grandes étapes de la participation d'un projet, à l'analyse de résultats en passant par la collecte de données et l'application de modèles algorithmiques. On s'est dit «À chaque étape, quels sont les dilemmes éthiques auxquels un data Scientist peut être confronté et ensuite comment il peut résoudre ces problèmes ?». Donc on a fait un questionnaire en ligne, on a récolté des expériences diverses et ensuite on a travaillé pendant trois mois en atelier à rédiger collaborativement un serment d'Hippocrate. Donc là, il est disponible sur hippocrate.tech. Donc on a posé cinq valeurs : L'intégrié scientifique et la rigueur, la transparence, l'équité, le respect et la responsabilité et l'indépendance. Et ensuite, on a formulé des phrases sous la forme de «Je m'engage à faire ceci ou cela» donc ça concerne effectivement le respect de la vie privée donc à chaque fois, à chaque ligne on rappelle aussi le cadre légal européen du Règlement Général pour la Protection des Données personnelles. Le data scientist signataire s'engage à déterminer le meilleur compromis entre la performance et l'interprétabilité. Pourquoi l'interprétabilité c'est important ? Parce que par exemple si vous faites tourner un algorithme par exemple sur la question de votre allocation familiale et si l'algorithme vous dit «Bah non, vous n'y avez pas droit» et que la personne qui a fait tourner l'algorithme vous dit «Et bien écoutez, je ne peux pas vous l'expliquer, mais c'est comme ça» ça peut poser des problèmes. Donc on a fait ce genre de recherche.

Céline Loozen : Quelle est la valeur juridique de cette charte ? Comment on pourrait l'appliquer réellement ?

Soline Ledésert : Nous on est vraiment dans une démarche plutôt citoyenne. À chaque fois, on l'a formulée de façon à veiller, enfin le data scientist veille à ce que les choses se fassent. Mais un data scientist il peut travailler dans une administration, dans une entreprise, au sein d'un labo de recherche et il n'est jamais seul décisionnaire sur vraiment l'ensemble du projet donc nous on a pris cette approche dans le cadre de ce projet vers la responsabilité personnelle. Après, on a aussi rappelé la loi donc là c'est vrai que le RGPD a vraiment amené beaucoup plus de contraintes sur ces questions mais voilà, nous on est vraiment parti sur un modèle d'éthique personnelle.

[Fin de la musique de fond]

Nicolas Martin : Voilà le reportage du jour sur cette plate-forme AlgoTransparency. Je vais vous demander évidemment Frédéric Bardolle, une réaction puisque c'est votre association Data For Good qui développe cette plate-forme.

Frédéric Bardolle : Déjà merci. C'est Soline qui a vraiment porté le projet sur le serment d'Hippocrate et Guillaume Chaslot qui est à plein temps sur ce projet de Algotransparency et qui essaie d'étudier notamment avec des scientifiques américains, essayer d'étudier d'autres algorithmes et leurs fonctionnements, essayer de mieux comprendre comment ça marche. Moi je voulais revenir surtout sur une chose c'est que effectivement il y a une responsabilité individuelle donc à travers ce serment qu'on propose. Mais on pense également qu'il y a comme le disait Soline qu'il y a aussi une responsabilité finalement aussi, il y a des institutions à créer pour permettre de transformer la manière dont fonctionne le numérique à l'heure actuelle. Un exemple : à l'heure actuelle, il n'y a pas de statut intermédiaire entre un hébergeur et un média. Et le problème c'est quoi ? C'est que en fait...

Nicolas Martin : Exemple concret. Par exemple, prenons un réseau social. Pour les auditeurs, exemple concret : Facebook.

Frédéric Bardolle : Voilà Facebook ou YouTube, c'est des hébergeurs. Donc, ils ne sont pas responsables du contenu. Tout le contenu publié chez eux c'est pas sous leur responsabilité. Au contraire un média, tout ce qui est produit, si on dit quelque chose qui ne respecte pas la loi à la radio...

Nicolas Martin : Sur France Culture.

Frédéric Bardolle : Et bien quelqu'un portera la responsabilité.

<b>Nicolas Martin : La directrice de la chaîne, moi d'abord et puis ensuite la présidente.

Frédéric Bardolle : Et donc il y a un grand écart en fait. Ce statut d'hébergeur ça marchait très bien au début de l'internet finalement. C'était juste des annuaires où il y avait toutes les vidéos des contenus produits par les internautes qui étaient là. Finalement, c'est vrai qu'il n'y avait pas de rôle de responsabilité. Mais là en fait on assiste à quelque chose. C'est-à-dire qu'un algorithme qui propose 100 000 fois un contenu à un utilisateur, on pourrait se dire «Quand même, il a un rôle éditorial». Même si ce n'est pas un humain qui a fait ce choix de poser ça là. Au bout d'un moment lorsqu'une nouvelle est diffusée de manière massive comme ça, nous on considère que cette plate-forme a un rôle éditorial, devrait avoir une responsabilité juridique et parce que l'algorithme a un rôle éditorial dans ses contenus.

Nicolas Martin : Une réaction à ce que viens de dire Frédéric Bardolle et sur cette plate-forme AlgoTransparency. On va parler du serment d'Hippocrate dans un instant mais d'abord sur le reportage et sur cette notion très très intéressante de distnction entre l'hébergeur et média.

Nozha Boujemaa : Oui... Et bien je suis d'accord dans la mesure où effectivement l'évolution des rôles aujourd'hui, la frontière est très mince et surtout que les contenus en fait aujourd'hui sont consommés. Il n'y a plus effectivement ce rôle éditorial fait par un professionnel mais aujourd'hui c'est fait par un algorithme de recommandation de contenus. Et donc, très clairement la question de la neutralité de la recommandation du contenu se pose. Et au-delà de ces... En fait... Moi je voudrais pointer toujours sur cette même problématique, un autre contexte qui peut être embêtant. C'est pas du B2C en fait c'est du B2B. Plate-forme juste au hasard...

Nicolas Martin : On rappelle : B2C c'est business-to-consumer...

Nozha Boujemaa : Voilà.

Nicolas Martin : Et B2B c'est business-to-business voilà.

Nozha Boujemaa : Exactement.

Nicolas Martin : Donc de l'entreprise à l'entreprise et de l'entreprise au consommateur.

Nozha Boujemaa : Merci.

Nicolas Martin : C'est juste un petit bout de traduction franco-anglaise qu'on nous reproche souvent à juste titre d'être trop anglophone.

Nozha Boujemaa : Tout à fait, tout à fait. À juste titre.

Nicolas Martin : Allons-y.

Nozha Boujemaa : Donc faire des recommandations de consommation de contenus culturels sur une plate-forme qui n'a pas de modèle d'affaires qui soit de la publicité. Je prends pour exemple Netflix. Une fois qu'on paye l'abonnement, on n'a pas de publicités à regarder.

Nicolas Martin : Pour le moment.

Nozha Boujemaa : Pour le moment. On peut se poser la question : C'est quoi les motivations des algorithmes de recommandation là-dedans ? D'accord ? Donc là, c'est un autre cas d'usage auquel il faudrait aussi un petit peu s'y intéresser. Parce que là très clairement, la question de la concurrence va se poser entre des producteurs de contenus qui sont, qui ont des accords avec Netflix et ceux qui ne l'ont pas. Et aussi avec des producteurs de contenus culturels de l'industrie française par exemple qui peut se retrouver lésée. Et là, c'est un problème de concurrence et de position dominante et le ministère de la culture aussi à ma connaissance s'intéresse également à ces questions.

Nicolas Martin : Frédéric Bardolle, c'est intéressant cet exemple de Netflix parce que effectivement... Par ailleurs, on peut aussi imaginer que puisque tous ces algorithmes sont biaisés et qu'il y a une intentionnalité derrière, dans ces biais, on peut imaginer que l'algorithme de Netflix privilégie les productions internes de Netflix et pas le contenu qui a été racheté à d'autres sociétés de production qui sont hébergées seulement sur la plate-forme pour prévilégier le contenu interne et dire «Et bien vous voyez, les produits Netflix fonctionnent mieux que les produits un tel de FOX ou un air peu importe».

Nozha Boujemaa : Et ce n'est pas forcément une personnalisation pour le consommateur je rappelle.

Nicolas Martin : Bien sûr.

Frédéric Bardolle : Et...

Nicolas Martin : Frédéric Bardolle.

Frédéric Bardolle : Et comme on n'a aucune transparence sur qu'est-ce qu'on essaie d'optimiser avec cet algorithme, finalement on ne le saura jamais. Et c'est un gros problème. Et pour montrer l'ampleur un peu de la chose, il faut savoir que 70 % à 80 % du contenu sur Netflix provient de recommandations. Donc ce n'est pas quelque chose qui se fait à la marge. C'est que les gens consomment ce qu'on leur recommande en fait. C'est vraiment quelque chose qui est phénoménal et sur toutes les plates-formes c'est la même chose.

Nicolas Martin : Parce que par ailleurs sur Netflix, la plate-forme est une gigantesque plate-forme de recommandations. C'est-à-dire que la plate-forme n'est pas présentée par ordre alphabétique par exemple ou par ordre de nouveautés ou très très peu. Elle n'est que...

Nozha Boujemaa : Elle va le rajouter, elle est là.

Nicolas Martin : Voilà. Ce qui est intéressant alors. On entendait dans la reportage quelque chose sur laquelle j'aimerais vous faire réagir. On va parler évidemment surtout dans la deuxième partie, de cette notion de serment d'Hippocrate : À il s'addresse, de son côté un peu finaliste c'est-à-dire de dire que le serment est signé finalement par les data scientists, par les scientifiques de données. Et pourquoi est-ce que ce serait les individus qui doivent s'engager et non pas les plate-formes ? C'est une question qui me semble importante à traiter. Mais avant cela, j'aimerais poser une question autour de cette notion d'interprétabilité. Puisqu'on voit bien que... Prenons cet exemple de Netflix qui est assez bon. Aujourd'hui Netflix signerait un accord, un serment, peu importe qui donne accès, qui permet de lire ses algorithmes. Aujourd'hui pour tout un chacun, pour nous citoyens en bout de chaîne, pour les consommateurs : c'est strictement illisible. C'est-à-dire qu'on a pas accès à la compréhension de ce qui va permettre de régir cet algorithme et d'ailleurs si nous n'y avons pas intérêt, évidemment la plate-forme elle-même a encore moins intérêt à donner ces informations-là. Nozha Boujemaa ?

Nozha Boujemaa : Oui alors effectivement, c'est là où il y a un effort international sur «Faut-il réguler, comment réguler ?» etc etc au-delà des chartes d'engagements individuelles. L'idée c'est aussi... Alors tout dépend si c'est du... J'allais dire du soft (rires). Si c'est du...

Nicolas Martin : Logiciel ?

Nozha Boujemaa : Non non. De la réglementation dure ou un peu plus légère mais en tout cas amener les producteurs de service à rendre compte. Parce qu'en fait, celui qui fait le service, on peut en fait et là je mentionne les efforts faits au niveau de la Commission européenne mais aussi au niveau de l'OCDE qui réfléchissent très très sérieusement par rapport à toutes ces questions parce qu'il y a une prise de conscience aujourd'hui internationale. Je ne dis pas que les solutions existent. Mais la prise de conscience et la nécessité, l'urgence d'agir : elle est là. Du coup, typiquement sur l'intelligibilité... Je ne parle pas d'explicabilité parce que des fois, on a peut-être pas besoin et peut-être pas les moyens techniques de l'explicabilité mais par contre, la traçabilité du pourquoi on a eu ce résultat du genre «tel produit ou tel contenu est recommandé pour vous». On aimerait bien avoir une sorte de tableau de bord qui va nous dire «Voilà les critères en pourcentage qui»...

Nicolas Martin : «Vous avez fait tel choix, tel choix, tel choix donc le logiciel infère que vous allez aimer tel chose».

Nohza Boujemaa : Les producteurs des services en fait par régulation, on pourrait les amener à apporter et justement en apportant ces critères-là, on respecte le libre arbitre du consommateur quand même. Parce que la, on clique sur ce qui est proposé mais est-ce qu'il est vraiment conscient de sur quoi... Enfin... C'est quand même léger aujourd'hui donc il y a cette notion de respect du libre arbitre via une règlementation dans ce sens-là.

Nicolas Martin : Je vais prendre un exemple volontairement un chouia provocateur dans l'état actuel des choses mais encore une fois la transparence n'implique pas compréhension si on prend une plate-forme de Parcoursup dont l'algorithme a été rendu public par l'éducation nationale. Ce qui n'empêche pas personne de ne comprendre à aucun moment, les choix et les orientations que cet algorithme fait pour les étudiants qui veulent être inscrits dans les universités dont ils font fait le choix. Fait la demande pardon.

Frédéric Bardolle : La complexité supérieure qui a en plus sur Parcoursup, c'est que il y a une partie du code qui est quand même caché. Le code qui est utilisé par les universités, celui-là, «la cuisine interne» comme ils appellent ça.

Nicolas Martin : La sélection en bout de chaîne.

Frédéric Bardolle : Voilà. Celle-là, il y a toujours une demande, une requête qui a été faite à la Commission d'Accès aux Documents Administratifs, la CADA, qui est en cours mais qui n'a pas abouti à l'heure actuelle et ce code n'est pas rendu public. Donc, il manque quand même un bout de la chaîne. Pour revenir sur cette question d'auditabilité des algorithmes, nous quand on a essayé d'auditer l'algorithme de YouTube c'est un peu ce qu'on a fait avec AlgoTransparency, on s'est rendu compte de la complexité qu'il y avait. C'est-à dire que d'une : Tous les jours, l'algorithme change. Comme des gens regardent des vidéos, en fait ça fait changer l'algorithme. Donc finalement, quelle est la vraie version ? C'est compliqué à dire.

Nohza Boujemaa : Les algorithmes et les corpus.

Frédéric Bardolle : Voilà.

Nohza Boujemaa : Les corpus aussi.

Frédéric Bardolle : Tout change au fur et à mesure. Et puis c'est d'une telle complexité. Si on a des réseaux de neurones, ça va être aussi dur par exemple de dire «On a regardé cette vidéo parce que il y a une personne qui a regardé ça». Des critères il peut y en avoir des millions et des millions donc on ne va pas forcément s'y retrouver. Et finalement, c'est un peu comme quand on regarde les émissions de particules fines d'une voiture je trouve. C'est-à-dire que finalement peu importe ce qui se passe dans la cuisine interne du moteur, ce qu'on va regarder à la fin c'est «Est-ce que il y a des particules qui sont émises ?» et c'est ça qui nous intéresse. Mais, ça c'est pas disponible à la hauteur, on n'a pas de mécanisme qui nous permet de nous connecter directement à une plate-forme et de savoir «Bah tiens si on fait telle chose, on aura telle chose de recommandé» et puis en plus on se dit «Si jamais ça ça existe, il va y avoir des trucages» comme il y a eu sur les voitures notamment quand on est arrêté, tout se passe bien et puis quand on roule en conditions réelles, ça ne marche plus du tout. C'est pas évident comme question.

Pause musicale : Algorithms par School is Cool

Nicolas Martin : Algorithms de School is Cool puisque c'est ce dont il est vaguement question au cours de cette heure puisque nous parlons d'éthique numérique et d'éthique en science des données et évidemment bien des algorithmes qui sont au centre de ces questions d'éthique, de leurs transparences, de leurs auditabilités et puis surtout de ce qu'il va se passer dans le futur. À partir d'aujourd'hui, avec les scientifiques qui sont formés aujourd'hui. Ces scientifiques doivent-ils être tenus, doivent-ils s'engager sur une sorte de charte de bonne conduite piur éviter, bien pour éviter toute sorte de dérives que l'on peut constater d'ores et déjà aujourd'hui. Nous en parlons avec Nohza Boujemaa qui est directrice de recherche INRIA, directrice de l'institut DATAIA : institut de convergence français spécialisé en sciences des données, intelligence artificielle et société. Et avec Frédéric Bardolle qui est membre de l'association Data for Good qui a réalisé une plate-forme AlgoTransparency à propos de l'algorithme de YouTube à propos de laquelle on a entendu un reportage tout à l'heure. Mais comme tous les mercredis, aux alentours de cette heure à quelques minutes près, il est l'heure d'écouter la voix du futur de la recherche.

[Jingle]

Nicolas Martin : Et aujourd'hui, le futur de la recherche s'appelle Jérémie Poiroux. Bonjour Jérémie Poiroux.

Jérémie Poiroux : Bonjour à tous, bonjour.

Nicolas Martin : Bonjour. Vous êtes avec nous en ligne puisque vous suivez vos études au centre Marc Bloch à Berlin en partenariat avec le CNRS. Vous êtes en première année de thèse en sociologie dans le cadre du projet ANR Algodiv. Je crois que vous êtes présentement en Pologne. Le titre de votre thèse c'est «La fabrique des algorithmes de recommandation et de management» sous le prisme de leur conception et de leur impact au sein des organisations. Voilà, je vais vous laisser quelques minutes pour nous présenter vos travaux. C'est à vous.

Jérémie Poiroux : Et bien merci beaucoup pour cette présentation très précise et avec beaucoup de pression sur le futur de sa recherche.

Rires

Jérémie Poiroux : Donc c'est une thèse... Voilà,qui est sous la direction de Camille Roth. Donc là, j'étais en effet en Pologne mais là je suis de retour à Berlin donc pour continuer cette étude sur la fabrique des algorithmes de recommandation et de management. Alors c'est vrai pour prendre un peu le contre-pied de ce qui se fait en ce moment, il y a une littérature qui est assez limitée sur la fabrique. On parle pas mal de transparence, d'ouvrir la boîte noire, on a eu pas mal les débats aussi juste avant la pause musicale. Et quelque chose qui ne se fait pas beaucoup voilà c'est : Comment ils sont fabriqués ? Donc mon premier terrain c'est : les algorithmes de recommandation donc c'est des petits programmes... Peut-être que je dis des choses qui ont déjà été dites quelques minutes avant. Qui vont vous inviter voire vous inciter à consommer un contenu ou un produit. Donc, Ça peut être un film sur Netflix, on en reparle. Une chambre sur Airbnb ou un article sur le site d'un média. Vous me direz qu'en soi, recommander une saccoche quand j'achète un appareil photo ou un hôtel quand je vais passer une semaine en Grèce : c'est un peu de bonne guerre. Mais on peut plus se poser des questions quand il va s'agir de recommander du contenu culturel ou d'intérêt général car ils pourraient nous enfermer... Alors là je dis attention car il y a un «point Al Godwin» parce que on parle beaucoup de bulles filtrantes qui pourraient nous empêcher de voir plus loin que le bout de notre zone de confort. Je m'arrête ici sur les impacts car vous allez en parler, vous en avez beaucoup parlé. Donc en fait, je m'intéresse plutôt comme je le disais à la fabrique. Vous vous êtes déjà demandé, on va reprendre l'exemple de YouTube : Pourquoi il vont recommander (l'algorithme de YouTube, à droite ou sur la page d'accueil) cette vidéo de chatons ou la vidéo de terre plate ? Et donc, dans mon étude préparatoire que j'ai fait et que je suis entrain de terminer, qui lance la thèse, j'ai mené des entretiens avec plusieurs dizaines d'ingénieurs qui programment des algorithmes de recommandations pour des médias, pour des sites de E-commerce, pour des plates-formes de streaming pour mieux comprendre en fait d'où vient l'algorithme. L'objectif dans ma thèse, c'est de mettre en valeur les intentions, les pourquoi, les comment qui se cachent derrière les algos, les choix business ou encore les biais qui sont directement implémentés de manière consciente ou non dans la machine. Donc si on en revient à l'exemple de YouTube, c'est aller étudier : Pourquoi ils vous recommandent cette vidéo de terre plate alors que vous n'aviez rien demandé ? Alors c'est un peu dévoiler en quoi rien n'est laissé au hasard dans le monde merveilleux des algorithmes et puis de dévoiler un peu la face cachée de leurs impacts. Donc, je vais aller dans les entreprises, je vais faire de l'immersion, je vais observer la conception et le développement directement d'algorithmes. Qui fait quoi, d'où vient l'idée de base, quelles sont les contraintes, quelles sont les méthodes utilisées ou encore la conscience qu'on a dans les entreprises des impacts des algorithmes qu'ils ont conçus. Mais le bonheur ne s'arrête pas là et donc là c'est un peu la transition brute pour passer à l'autre temps de mon sujet qui est : l'utilisation des algorithmes qui de plus importante au sein même des entreprises. On voit depuis des années, des dizaines d'années, des robots remplacer les humains pour faire. Donc c'est sur les chaînes de production, dans les usines, dans les entrepôts pour préparer les commandes donc Amazon par exemple. Demain, les algorithmes ils vont être présents donc encore pour faire mais aussi pour organiser et manager le travail. Donc ça, c'est une grosse différence. C'est d'ailleurs déjà le cas avec Uber où les chauffeurs répondent aux ordres d'algorithmes qui sont managers. Pour se placer dans telle ou telle zone parce qu'il y a plus de personnes ou pour travailler sur telle ou telle plage horaire parce que Uber manque de chauffeurs à telle ou telle plage horaire. Donc à terme, Les algorithmes on peut dire, vont analyser les données de production, de ventes et de productivité pour prendre des décisions ou pour aider à la prise de décisions qui (ces décisions) auront un impact direct sur les travailleurs de l'organisation. Donc c'est une nouvelle pratique managériale on peut appeler ça comme ça, qui pose des questions de productivité et de conditions de travail évidemment. Et qui m'amènera à comparer les bureaucraties traditionnelles et les bureaucraties algorithmiques. Donc les questions éthiques, elles sont évidemment présentes dans les deux pans de la thèse. Par exemple : Que fait un ingénieur devant une demande d'un PDG et cette demande, cet ingénieur il la juge contraire à son éthique ? Ou que fait un manager qui soit invité par un algorithme de prendre une décision qu'il juge dangereuse pour son équipe ? Voilà, donc si vous êtes intéressé par les recherches et puis je fais un petit appel aussi à des entreprises qui peuvent m'accueillir pour cette immersion, n'hésitez pas à me contacter. Et puis je vous remercie pour votre écoute et finit mes quatre minutes de futur de la recherche. Et merci pour votre invitation Eve et Nicolas.

42'54

Nicolas Martin : Merci, merci beaucoup Jérémie. On va vous garder un instant en ligne si vous voulez bien parce que j'aimerais que vous interveniez et que vous réagissiez un peu à ce qui va se dire en studio. Je vais demander une réaction et puis félicitations pour le «point Al Godwin» qu'on a beaucoup aimé. Une réaction Nozha Boujemaa ? Je vous voyais approuver aux présentations des travaux de Jérémy Poiroux.

Nozha Boujemaa : Alors effectivement, la recherche elle a un rôle très important à jouer. Ce dont on n'a pas encore bien appuyé, l'idée au-delà de l'auditabilité et du contrôle et de la transparence des algorithmes existants, c'est vraiment essentiel d'avoir une formation justement des étudiants à la réutilisation des briques, logiciels Open source, sur les fuites informationnelles mais surtout en fait c'est avoir en fait de nouveaux modèles mathématiques d'apprentissage qui puissent identifier des variables discriminatoires pour réduire leurs impacts sur les prises de décisions. Donc là, c'est vraiment d'un point de vue recherches. «Coeur d'IA», c'est-à-dire que au-delà des algorithmes existants, faire de nouveaux modèles qui incorporent ces idées : égalité et équité par construction dans le modèle mathéthique lui-même. Chose qui existe très rarement.

Nicolas Martin : Frédéric Bardolle, un mot.

Frédéric Bardolle : Moi j'ai juste une crainte c'est que même si on développe des nouveaux modèles aussi performants qui soient, on va pas réussir à résoudre le cœur du problème qui est que les plates-formes font ça enfin... On va seulement parler des recommandation de contenus par exemple avec un business model basé sur la publicité. Le but c'est d'avoir l'attention des personnes. Pour avoir cette attention, l'idéal c'est de proposer un contenu qui fasse les gens et le problème c'est que le contenu qui fait rester les gens, c'est des contenus extrémistes, voilà... Des contenus terroristes, des contenus conspirationnistes, ainsi de suite.

Nicolas Martin : Oui dans le pire des cas, sur YouTube etc. Sur des sites de vente, on a peu de ventes de sacs à main terroristes.

Frédéric Bardolle : Non non, je parlais juste des business models, quand le business model c'est de capturer l'attention des personnes et leur diffuser des contenus. Le problème c'est que ces contenus vont toujours gagner par rapport aux autres. Donc à part si on trouve des moyens de changer ce modèle-là, un algorithme qui recommande un contenu extrême : c'est un algorithme qui fonctionne bien en fait. C'est un algorithme qui fait exactement ce pourquoi il a été conçu c'est-à-dire : faire rester la personne sur la plate-forme. Lui, a rempli son travail en fait. Donc, l'algorithme fonctionne déjà plutôt bien. des

Nozha Boujemaa : Je pense qu'il faut régir les cas d'usage au-delà de ces modèles-là. Par exemple, sur la variabilité des prix. Ce qui est autre chose. Quand on va sur des plates-formes pour réserver des nuits d'hôtel ou bien des billets d'avion ou de train, là il ne s'agit pas de l'attention là, là c'est un autre business model. Et là, on peut se retrouver dans des situations de discrimination justement quand on passe à l'acte d'achat, qu'on fait rentrer des données personnelles, on peut voir des variations de prix qui vont être dépendantes. On ne va pas avoir le même prix pour toutes les personnes. D'accord ?

Nicolas Martin : Aïe.

Nohza Boujemaa : Donc c'est pour ça que à un moment donné, il faut voir vraiment une vue un peu plus...

Nicolas Martin : En fonction de ? En fonction de la localisation géographique ? En fonction de ?

Nohza Boujemaa : Ça peut être la localisation, origine, etc. Il y a certains formulaires qui demandent des questions...

Nicolas Martin : Quand je rentre mes coordonnées de carte bleue pour acheter un billet d'avion, je ne donne pas accès à mon origine ethnique par exemple ?

Nohza Boujemaa : Sur certains sites , enfin sur certains sites de services... Aujourd'hui c'est ça le problème : c'est que les services ne connaissent pas les frontières. Et donc on est amenés à réppndre à des questionnaires traduits qui sont faits par des firmes qui ne spécialement ou particulièrement françaises. D'accord ? Donc on peut se retrouver entrain de répondre avec des informations assez intrusives d'un point de vue données personnelles. Et là, on peut constater des variations de prix. Et d'ailleurs, dans ce cadre-là, par exemple, la DGCCRF qui est une autorité de régulation se pose vraiment la question.

Nicolas Martin : Direction générale de la Concurrence, de la Consommation et de la Répression des fraudes.

Nohza Boujemaa : Voilà et qui a envie d'ailleurs de lancer des sujets de recherche pour faire la part des choses. Parce que tout n'est pas condamnable. Le lean management, c'est légal. Par contre, faire une variabilité des prix qui est finalement une discrimination sur des raisons non avouées : ça c'est pas légal.

47'08

Nicolas Martin : J'aimerais qu'on revienne pour conclure dans le dernier quart d'heure qui nous reste sur cette notion de serment. Alors, il y a ce serment d'Hippocrate qu'on évoquait tout à l'heure via Data for Good et AlgoTransparency. Il y a un autre serment qui est le serment Holberton-Turing qui est une autre charte qui propose, en fait une forme de charte de bonne conduite. Ma première question, c'est ce lien avec Hippocrate. Le serment d'Hippocrate c'est le serment donc, qui est prêté par les médecins qui s'engagent. Je l'ai sous les yeux, je ne vais pas vous le redire mais bon : consacrer sa vie à sauver l'humanité, à sauver les vies, à ne pas discriminer en fonction de l'âge, de l'origine ethnique etc etc. Est-ce que c'est bien judicieux de mettre au même plan le serment qui est prêté par les médecins qui ont entre les mains des vies humaines et aujourd'hui, celui que l'on souhaite faire signer aux data scientists dans le monde numérique selon vous Frédéric Bardolle?

Frédéric Bardolle : Alors on a choisi ce nom-là principalement parce que déjà ça résonnait avec les gens. Quand on parle de serment d'Hippocrate, n'importe qui voit de quoi il s'agit. Donc, c'est assez facile d'en parler. Et ce dont on s'est aperçu, c'est que finalement les gens qui créent ces services de science de données vont toucher énormément de personnes. Donc, ils ont un pouvoir individuel qui est donc finalement assez grand donc c'est pour ça qu'on a proposé ce serment qui nous semble important. C'est-à-dire qu'une petite équipe peut toucher un très très grand nombre de personnes. Donc c'est pour ça qu'on considère qu'il y a une responsabilité aussi individuelle à avoir et c'est pour ça qu'on s'est permis d'emprunter le nom d'Hippocrate.

Nicolas Martin : Un mot à ce propos Jérémie Poiroux ? Un serment d'Hippocrate pour les data scientists, ça vous semble être aujourd'hui une démarche qui va dans le bon sens ou en tout cas une forme de responsabilisation des futurs ou des actuels <data scientists</em> dans le travail qui peuvent faire vis à vis des tiens comme ça peut être le cas dans vos prochains travaux, dans vos prochaines affectations?

Jérémie Poiroux : Oui. Alors j'aimerais faire le parallèle avec ce qui s'est dit lors d'une conférence que j'ai organisée donc en début de semaine dernière ethics by design. On parle justement de l'éthique des designers. Les designers, le parallèle est assez fort parce que les designers notamment sur les questions d'attention, ils ont un pouvoir qui est assez fort. On peut dire exactement la même phrase. C'est quelques designers par exemple de chez Facebook, de chez Google donc c'est pas les data scientists mais c'est les personnes qui vont mettre en valeur visuellement les contenus pour que ça soit attractif, pour qu'on ait envie de cliquer dessus, pour qu'on ait d'acheter des fois. Et puis donc ces personnes, on se demandait aussi «Est-ce que il faut un serment d' Hippocrate pour cette profession?». Et donc la réponse qui était apportée... C'était un débat où il y avait «oui, non». Et je pense que je vais refaire la même pour celle des data scientists. C'est que oui c'est important d'avoir une... On va dire quelque de chose de... Plutôt un manifeste en fait qu'une charte qui serait là et à qui on pourrait se référer. Ce serait une éthique commune plutôt que qu'une éthique personnelle. Et après il y a aussi le pendant un peu contre où j'ai rejoint un peu plus on va dire. En l'état, c'est pas pour tout de suite. Parce que avoir un serment d'Hippocrate, ça veut aussi dire avoir des barrières à l'entrée d'un métier par exemple. C'est-à-dire que le métier de data scientist, tout le monde pourra pas dire data scientist. Ça sera une étiquette, il faudra passer par des concours, il y en a qui n'y seront pas. Et donc c'est toute une réflexion en fait, c'est toute une nouvelle façon d'appréhender la data science ou d'appréhender le design. D'avoir en fait des personnes qui suivent tout un processus et qui après sont on va dire «estampillées» designers ou data scientists et qui respectent une certaine charte.

Nicolas Martin : Nohza Boujemaa, sur ce sujet.

Nohza Boujemaa : Oui. Je pense que effectivement c'est une bonne action, une très bonne intention aussi pour sensibiliser les individus. Mais très clairement, c'est insuffisant. C'est-à-dire qu'il faut avoir l'engagement des entreprises. C'est la réalité. Et avoir des efforts en parallèle parce que très clairement, un employé d'une entreprise il peut être convaincu mais c'est je dirais... C'est l'entreprise et c'est la responsabilité de l'entreprise qui est engagée pas sa responsabilité personnelle. Mais ceci dit, c'est important d'avoir cette sensibilisation individuelle mais il ne faut pas s'arrêter là. Donc, l'effort qui est entrain d'être fait dans énormément d'endroits au niveau international, c'est d'impliquer vraiment d'impliquer les industriels de tout horizon. Parce que maintenant, ils comprennent que la question de la confiance : c'est une question là où ils peuvent perdre du marché. Et que la confiance, c'est un élément de compétitivité. Et du coup,ça génère une adhésion à ces questions d'IA responsable et ces questions de responsabilité. Donc il faudrait pouvoir joindre les deux bouts et pas seulement focaliser sur juste un aspect mais il faudrait aussi les deux bouts de la chaîne.

Nicolas Martin : Frédéric Bardolle, cette question là effectivement de faire reposer le serment d'Hippocrate sur les individus en formation c'est-à-dire sur les data scientists plutôt qu'une sorte de charte de bonne conduite au niveau international, au niveau pourquoi pas européen pour commencer et puis ensuite avec la volonté de l'élargir parce que la question qui se pose entre les individus qui vont être à un moment donné pris dans une chaîne de production et effectivement le poids peut faire poser les responsables de cette chaîne de production. Donc, l'entreprise. Le poids est assez écrasant, je veux dire qu'on ne lutte pas à armes égales.

Frédéric Bardolle : Alors effectivement non, on n'a pas fait ce projet pour dire «le fun de le faire en entreprise» (???), ça ne sert à rien. C'était un premier pas. C'était pour agir rapidement en fait. Proposer quelque chose rapidement aux personnes. Parce que on s'est rendus compte qu'il y avait un besoin et du coup on va notamment le proposer dans les écoles et dans les entreprises. Après, il faut voir que certaines entreprises notamment américaines comme Google, ont fait des serments d'éthique pour l'IA. On dit «Bah non, on refuse de travailler par exemple sur certains projets militaires, on refuse de faire ça, ça, ça».

Nicolas Martin : Récemment.

Frédéric Bardolle : Récemment. Et ça engage...

Nozha Boujemaa : Parce qu'ils ont compris l'importance de la confiance.

Frédéric Bardolle : Ça engage que ceux qui y croient. Et je pense que là où je vous rejoins sur l'importance de la confiance, c'est que je suis persuadé qu'en Europe, la carte qu'on a jouée sur le numérique et notre caractère distinctif par rapport aux États-Unis et par rapport à la Chine,ça va être justement sur ça : sur créer des entreprises qui utilisent l'IA mais de manière éthique. Et un exemple très concret pour ça c'est Snips. C'est une entreprise qui fait un assistant vocal dans lequel il n'y a aucune donnée qui est envoyée sur internet, les données restent chez vous. C'est pas comme si vous aviez un micro qui enregistre en permanence tout ce qui se dit chez vous. Donc voilà, je pense qu'on peut faire la différence avec ce genre d'entreprises et l'éthique n'est pas incompatible avec le commerce qui fonctionne.

Nohza Boujemaa : Il y a effectivement, je rajoute tout ce qui est personal informations management system. C'est tout ce qui est modèle de protection des données personnelles de manière distribuée, qui ne quitte pas votre ordinateur. Et donc, il y a énormément de choses qui restent à faire mais je voulais quand même mentionner que au niveau de la commission européenne, il y a un high-level expert group...

Nicolas Martin : Un groupe de haute expertise, à haut niveau d'expertise.

Nozha Boujemaa : En IA. Qui est constitué par la commission européenne. Pour pouvoir apporter des recommandations à la fois éthiques mais aussi de régulation et également d'investissement en recherche et développement. Et la pièce maîtresse c'est : comment faire de l'IA la plaque tournante d'une IA nouvelle et différente de ce qui est proposé dans le reste du monde? Et l'éthique et la responsabilité de l'IA en fait une pièce maîtresse.

54'43

Nicolas Martin : J'ai une question peut-être très naïve ou béotien, Jérémie Poiroux je vais vous la poser en premier lieu. Est-ce que aujourd'hui ces questionnements éthiques qui sont les nôtres autour de cette table qui sont manifestement partagés par un certain nombre d'acteurs européens, ils ont un sens au niveau international notamment avec votre regard quand on commence une carrière dans ce métier-là ? On sait qu'il y a des pays avec des pratiques qui sont plus dans l'incrémentation en puissance plutôt que la limitation éthique pour le résumer à grands traits.

Jérémie Poiroux : Oui c'est... Disons que la question de l'éthique et du business, elle est clairement pas nouvelle. Donc en Europe, on a on peut dire une longueur d'avance là-dessus et je pense que la réponse simple c'est très clairememnt dans d'autres pays et on pensent très facilement aux États-Unis. Il n'y a pas cette notion, il n'y a pas cette culture.

Nicolas Martin : Ou à l'Asie oui. On pensaient plutôt à la Chine ici personnellement, on avaient plutôt la Chine en tête en fait. Mais pourquoi pas les États-Unis oui.

Jérémie Poiroux : Ah oui bah... Encore mieux parce que comme ça vous pourriez faire un tour du monde ensuite sur la Chine. Non je pense que déjà sur une question d'éthique avec les États-Unis, on est vraiment différents. On n'a pas cette même approche de l'implémentation de l'éthique dans le numérique, du code, de développer et de programmer directement dur l'éthique dans les programmes et d'avoir plutôt cette notion du buisiness. On le voit avec le RGPD par exemple, je pense que c'est un premier... Une première chose, un écho en fait qui n'est pas tout à fait sur le même temps mais en privacy by design, on voit que l'Europe est en avance et que toute cette réflexion elle est aussi en avance par rapport aux États-Unis. Je vous laisse le côté Chine.

Nicolas Martin : On va voir pas forcément le côté Chine, le côté international. C'est une bonne chose évidemment que l'Europe soit en avance sur les questions éthiques mais est-ce que ce n'est pas aussi un frein au développement stricto sensu technologique Frédéric Bardolle ?

Frédéric Bardolle : Alors c'est peut-être un frein dans un premier temps effectivement. Quand on étaient techno-optimistes et que tout se passait bien effectivement c'était embêtant de se poser des questions sur la privacy mais maintenant, quand on voit toutes les fuites de données, il n'y a pas une semaine qui passe sans qu'il y ait une fuite de données chez un GAFA et ainsi de suite.

Nicolas Martin : Récemment, 50 millions de comptes piratés chez Facebook.

Frédéric Bardolle : Voilà. Et la même semaine, Facebook sort une espèce de caméra qu'on met chez soi et ce qu'ils appellent le privacy by design, c'est une espèce de petit cache en plastique qu'on met pour cacher la caméra. Pour eux c'est ça la privacy. Donc effectivement, à un moment donné ça a pu être un frein mais sur le long terme, on sera à mon avis clairement les gagnants de ce jeu.

Nohza Boujemaa : Je crois que...

Nicolas Martin : Un dernier mot de conclusion.

Nohza Boujemaa : Oui. Effectivement ça c'est très important et en tout cas, l'Europe et la commission européenne, ils ont compris. On a été hier en Finlande en réunion avec la commission européenne et avec les représentants des différents états membres sur le numérique et l'IA. Très clairement, c'est identifié. Maintenant, il y a des acteurs américains qui ont compris que pour avoir du marché sur le terrain européen, il va falloir qu'ils soient conformes justement à ces règles à la fois éthiques et de responsabilité d'IA.

Nicolas Martin : Merci beaucoup, merci ça sera le mot de la fin. Merci beaucoup à tous les trois. Merci Nohza Boujemaa, merci Frédéric Bardolle, merci Jérémie Poiroux qui était en direct au téléphone depuis Berlin. Merci à tous d'être venus participer et discuter autour de ces questions d'éthique numérique à ce micro. Je vous rappelle que comme tous les mercredis, c'est le jour de la sortie des idées claires. En podcast mais également en vidéo sur vos réseaux sociaux favoris. Une petite vidéo qui s'attaque aux idées reçues, aux idées complotistes, aux distorsions de l'information. Aujourd'hui la question que nous posons dans les idées claires et vous pouvez aller voir ça sur le Facebook notamment ou le Twitter de France Culture et de Franceinfo puisque c'est en partenariat entre les deux chaînes. La question que nous posons qui est une question qui vous allez voir est assez simple, assez fraîche, qui ne répond pas, qui ne demande pas énormément de commentaires ou de réflexion : Existe t-il un racisme antiblanc ? Les commentaires sont assez croquignolets. Merci à toute l'équipe de La méthode scientifique, c'était aujourd'hui Alice Seyed à la technique. Dans le prochain épisode de La méthode scientifique, nous parlerons des revues payantes à comités de lecture. Des revues de plus en plus contestées, de plus en plus piratées et de plus en plus dénoncées. Et si l'heure était à l'Open access ? On en parle demain de cette recherche en accès libre à 16 heures jusqu'à preuve du contraire.