Web débat surveillance numérique et libertés fondamentales . Part3
Titre : Web débat surveillance numérique et libertés fondamentales - Gouverner ou... être gouverné par les outils numériques ?
Intervenant·e·s : Laurence Devillers - Antoinette Rouvroy - Irénée Regnault - Karolien Haese - Valérie KokoszKa
Lieu : Vidéoconférence
Date : juin 2020
Durée : 23 min 17
Licence de la transcription : Verbatim
Illustration :
NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.
Transcrit : MO
Transcription (relu avec audio par véro)
Laurence Devillers : C’est effectivement ça l’idée de transparence, de traçabilité, qu’on veut ajouter dans les comités d’éthique. Je fais partie du comité d’éthique lié au CCNE [Comité consultatif national d'éthique pour les sciences de la vie et de la santé] numérique, avec une partie numérique, on a travaillé sur la télémédecine, l’infox, sur le tracing StopCovid, en étant neutres, en ne disant pas on est pour ou contre mais qu’est-ce que ça fait et où sont les risques éthiques. Il est important de penser à cela. Je suis complètement d’accord avec vous, tout le monde devrait pouvoir savoir où vont les données qui sont capturées par un Google Home ou un Alexa Amazon. Le StopCovid ça va sur un serveur qui est chez Thalès. Donc on a aussi des informations qui ne sont pas forcément des informations qu’on demande, que les gens vont demander. Donc il est important, encore une fois, d’éduquer sur quel est le protocole utilisé, où vont mes données, à qui ça sert, qu’est-ce qui est derrière. Moi je lutte sur la manipulation de ces objets par les grands groupes qui sont derrière. Ce n’est pas magique, il n’y a pas de singularité pour moi.
Valérie KokoszKa : Absolument. Ce ne sont pas que des questions éthiques, ce sont d’abord des questions politiques.
Laurence Devillers : Oui, totalement d’accord. Et c’est à ce niveau-là qu’il faut être, de plus de finesse pour comprendre.
Irénée Regnault : J’avais juste une question peut-être à l’attention de Laurence et je laisse Antoinette juste après et Karolien.
J’ai une difficulté à n’envisager la démocratie que comme un choix a posteriori, sur des objets qui sont déjà implantés dans la réalité du quotidien.
La première question d’ordre démocratique, de mon point de vue, ce n’est pas celle des données, c’est déjà celle de la matérialité des objets. On peut penser juste à la question climatique par exemple si on sort de la question de la surveillance, ce sont des objets physiques qui consomment de l’électricité, de l’énergie, etc. Il me semble que dans la régulation éthique a posteriori par des organismes très intéressants comme le CCNE mais qui n’ont qu’un pouvoir de consultation, qui pèsent peu, en fait, face aux logiques de marché qui sont derrière, je me demande dans quelle mesure cette régulation est réellement efficace, d’une part.
Laurence Devillers : La CNIL [Commission nationale de l'informatique et des libertés].
Irénée Regnault : Oui, on a la CNIL, effectivement.
Laurence Devillers : Ce n’est pas nous qui sommes là pour faire de la régulation.
Irénée Regnault : Oui, mais la question est qui est ce « nous ». Vous avez dit à plusieurs reprises il faut éduquer, « on », ceci, cela. Déjà l’approche descendante par l’éducation.
Laurence Devillers : C’est nous, citoyens.
Irénée Regnault : Oui, mais « nous citoyens » n’existe pas.
Laurence Devillers : Si Je suis désolée. Vous avez été voter !
Irénée Regnault : Oui. On peut revenir sur ce que c’est que la démocratie. Est-ce que StopCovid est une application qui a été faite démocratiquement ? Oui, dans la mesure où elle a été faite par un gouvernement qui a été élu, lui, démocratiquement. C’est sûr. On est tout à fait d’accord là-dessus. Est-ce que la démocratie représentative par un scrutin à deux tours en France est la seule forme de démocratie qu’on puisse envisager sur des questions techniques ? Non ! On peut en imaginer plein d’autres.
Laurence Devillers : Si on gère tous les problèmes en même temps.
Irénée Regnault : Je me demande juste, on ne peut pas vouloir la démocratie sur des objets technologiques, parler de data et terminer sur nous, experts d’éthique au CCNE experts et professeurs dans des universités, on a décidé pour vous de ce qui était bon et on va vous éduquer, ce sont vos mots, à ce que c’est. Ce n’est pas la réalité. Vous voyez aujourd’hui que l’application StopCovid, en elle-même, est un débat. Elle est un débat qui a été résolu dans une forme de démocratie. Elle est inefficace qui plus est. Certains pays l’abandonnent et certaines associations ont dit : « On vous l’avait dit ! » Aujourd’hui on le voit, les applications vont n’importe où, elles sont captées dans des conditions qui n’ont même pas été vues par la CNIL. Je pense qu’il faut aussi remettre le débat en perspective et peut-être ne pas voir juste la question des données personnelles et la question des experts éthiciens qui arrivent a posteriori.
Qui est le « on » ? Qui décide ? D’où vient l’argent ? Où est-ce qu’il va ? Si je prends encore un exemple, l’argent qui a été distribué à la French Tech en janvier, 4,2 milliards, 1,2 milliard en juin, à des entreprises, en amont, à qui on a donné de l’argent. Ces entreprises ont bénéficié de contrats auprès du gouvernement pour fabriquer des applications qu’il a achetées en aval. Ça c’est un problème démocratique et vous l’avez dit, en l’occurrence, pourquoi la DINUM [Direction interministérielle du numérique] n’a pas été mandatée pour fabriquer StopCovid ? Il y a tout un tas de strates auxquelles ont peut poser la question démocratique sans forcément penser à institutions constantes ou à la démocratie, c’est l’actuel français et l’Europe et, etc.
Je rejoins Valérie, où est-ce qu’on discute des finalités de cette technologie, de cette surveillance ? Aujourd’hui je ne vois pas beaucoup d’espaces, vraiment.
Laurence Devillers : Si je me peux me permettre de répondre puisqu’il voulait que je réponde.
Ce sont des sujets importants et le CCNE est un tout petit groupe qui n’a aucun pouvoir, qui est sous le Premier ministre. On nous a donné trois tâches à faire, on essaie de les faire. On vient, par exemple, de lancer une étude collaborative sur les tensions éthiques qu’on voit dans les chatbots – il y a un questionnaire que je vous enverrai avec grand plaisir pour que vous puissiez répondre à cela. Il faut faire de plus en plus de choses comme ça, mais tel n’est pas non plus mon pouvoir, actuellement mon pouvoir est tout petit. Mais, quand même, si on est contre tout, on n’avance jamais. Je suis désolée.
Irénée Regnault : Ce n’est pas du tout ça.
Karolien Haese : Ce n’est pas du tout ça.
Laurence Devillers : Il est quand même urgent de dire qu’il y a des fab labs.
Irénée Regnault : Il ne faut pas voir les choses de façon totalement binaire.
Laurence Devillers : D’accord. Moi je ne suis absolument sur une position ferme, je doute tout le temps, je m’adapte et j’essaie de trouver qu’elle est la meilleure chose à faire.
J’ai l’impression qu’à l’heure actuelle cette énergie contre en disant « non, on ne veut pas et tout ça », pour moi c’est une énergie qui aurait peut-être été plus intéressante pour voir comment on allait lier les acteurs sur l’axe de santé, les brigades de santé qui elles, ont peut-être manipulé des données et peut-être pas, le secret médical n’était peut-être pas très bien conservé, on n’en sait rien.
Regardez un petit peu comment ça, ça s’harmonise et quelles étaient les vraies questions, plutôt que des levées sur la politique. Moi je ne vais pas faire de politique, je ne veux pas répondre à ces questions-là. J’espère qu’on peut lever le voile sur beaucoup de choses et plus on sera nombreux, non pas à dire « non, on ne veut pas », mais à dire « on veut et on veut voir dessous ». On a, par exemple pour les GAFA, demandé de parler de ce qu'il faisait de Facebook et là on voit bien que l’Arcep [Autorité de régulation des communications électroniques et des postes] n’a pas réussi à lever le tapis. On n’a pas eu les tenants et les aboutissants et, de toute façon, ce qu’ils font c’est effectivement demander aux gens a posteriori ce qui est mauvais ou pas et, à ce moment-là, on enlève. Le vrai problème, à propos par exemple de la viralité sur la toile, n’est pas pris en compte.
C’est sur ces objectifs-là, fondamentaux, qu’il serait intéressant d’aller. Après, je n’ai pas dit qu’on allait pouvoir révolutionner le monde entier. Il y a une puissance économique dingue, mais je pense que si on a peut-être gagné à la fin de cet enfermement, en tout cas, parce que ce n’est pas la fin de la crise, c’est au contraire le début de la crise économique, on a peut-être vu, et à travers ces dernières élections, qu’il y a des choses essentielles qui reviennent devant. L’écologie, effectivement, est importante. Je pense qu’avec des outils numériques on peut aussi mieux dépenser l’énergie de ces outils, je ne suis absolument pas pour faire des gadgets partout si ce n’est pas utile. On a vu, par exemple, que la distanciation était un point important. Peut-être qu’à cette époque-là, quand on était tous confinés, on aurait pu avoir des robots qui allaient à la pharmacie nous chercher des médicaments.
Il faut raison garder, c’est-à-dire que je suis plutôt pour plus de démocratie. Le « nous », le « on », c’est « nous citoyens ». Partout, à chaque fois que je parle c’est comment on embarque les gens. Il y a des associations partout, il y a des fab labs. Dans les écoles on avait La Main à la pâte pour les primaires, certaines écoles avaient la chance d’avoir ça, pourquoi on n’a pas le même genre de choses pour débusquer, savoir finalement comment on croit une information, qu’est-ce que c’est que l’information, comment on fait pour croiser différentes sources, comment on voit que ça se répète, toutes ces choses-là. Savoir faire un pas en arrière, regarder les choses et ne pas répondre sur le système 1 sur lequel je travaille. Kahneman, prix Nobel en économie en 2002, montre qu’on réagit beaucoup par intuition à partir d’un système 1 qui fait de la perception rapide de l’environnement sans remettre en question les choses. On est beaucoup comme ça dans la société, on répond très vite à tout et, du coup, finalement, on n’a pas ce temps de réel combat entre « est-ce que c’est bien, pas bien, comment on va faire, à qui ça sert, etc. », qui est essentiel.
Valérie KokoszKa : Antoinette.
8’ 31 (relu avec audio par véro)
Antoinette Rouvroy : Je voulais régir à ça, mais vraiment sur un plan, sur des questions vraiment normatives, en fait, plutôt des conflits de normativité je dirais.
Je me rends compte, en fait comme beaucoup d’entre nous, que pullulent les rapports sur ethical IA, l’intelligence artificielle éthique. On entend parler d’éthique partout alors qu’en fait les droits humains, eux, on a parlé de droits fondamentaux un tout petit peu, on n’arrive même pas à les faire respecter concrètement, dans un tas de situations. On a parlé beaucoup de confinement aussi, mais les confinés ont de la chance par rapport à beaucoup d’autres personnes qui elles, n’ont pas de confinement, sont en situation de migration, etc., et par rapport auxquelles l’Europe n’a pas été parfaitement respectueuse de ses propres engagements en matière non pas d’éthique, c’est-à-dire de normes un petit floues, un petit peu molles, mais en matière de respect de droits qui sont pourtant dûs en vertu d’engagements internationaux absolument contraignants.
Moi quand j’entends éthique c’est vrai qu’en même temps je trouve ça très beau l’éthique, je trouve ça magnifique dans la dimension de doute que ça implique, etc., mais en même temps je suis assez sceptique quant à la possibilité d’obtenir effectivement par l’éthique et non pas par le droit que les finalités, surtout une fois qu’elles ont été discutées démocratiquement, deviennent véritablement contraignantes. C’est quelque chose qui me semble un petit peu soumis à caution.
En particulier aussi, on a effectivement aujourd’hui et ça se lit beaucoup dans les documents de la Commission européenne, notamment en matière d’agenda relatif à l’intelligence artificielle, etc., le mot d’ordre c’est « adopt IA » et faire en sorte que toutes les instances privées, publiques, etc., fassent cette transition et adoptent IA comme si c’était la solution à tout. Finalement, on se rend compte que le respect des droits et libertés fondamentaux, des grands principes éthiques, etc., apparaît non pas comme des finalités en elles-mêmes mais bien plutôt comme des arguments quasiment marketing disant « voyez, nous on a une intelligence artificielle éthique », donc c’est un avantage compétitif par rapport peut-être aux États-Unis, par rapport peut-être à l’Asie, d’un côté, mais aussi pour rassurer le consommateur. On parle beaucoup de consommateur, on ne parle plus du tout de citoyen dans ce cas-là.
Effectivement ça, ça me pose énormément de questions. Est-ce que vraiment le droit et l’éthique éventuellement ne sont que des infrastructures visant à favoriser l’innovation ? On nous le dit bien « il ne faut pas que l’éthique, il ne faut pas que le droit freine l’innovation ». On inverse un petit peu, on se retrouve exactement dans ce qu’Alain Supiot a très bien décrit dans La gouvernance par les nombres ou dans la Convention de Philadelphie, c’est-à-dire vraiment une sorte de droit, de normativité juridique et éthique a fortiori devient, en quelque sorte, le label même de l’innovation qui s’impose à titre véritablement de logique absolue, donc on ne questionne pas les finalités par définition, puisque c’est une logique absolue. Ça, ça me pose pas mal de questions.
Par rapport aussi à ce que, Valérie, vous disiez relativement à l’intime, etc., et aussi à ce qui a été dit précédemment par Laurence, cette importance, en fait, non pas d’opposer l’intelligence humaine à l’intelligence artificielle comme si c’était des choses qui étaient même comparables, alors qu’en fait ce sont des choses complètement différentes, ne se situent pas du tout dans le même épistème, elles ne fonctionnent pas du tout de la même façon sinon on n’aurait pas besoin d’intelligence artificielle si elles faisaient la même chose.
Ce que je voulais dire par rapport à ça, c’est que la tendance aujourd’hui est de mal utiliser l’intelligence artificielle, c’est-à-dire de l’utiliser pour automatiser notre propre bêtise, c’est-à-dire pour faire automatiquement ce que nous faisons déjà mal nous-même. Au lieu d’utiliser l’intelligence artificielle pour ses vertus de curiosité automatique c’est-à-dire pour sa capacité de fabuler des choses qui n’ont pas été entrevues par nous, c’est-à-dire utiliser cette capacité qu’ont les algorithmes, par exemple, à détecter des régularités du monde qui nous échappent parce qu’elles ne sont détectables que sur des très grands nombres. Et ça c’est quelque chose de magnifique, c’est quelque chose qui a d’immenses applications dans plein de domaines et ça peut vraiment augmenter notre intelligence humaine. Donc autant cette question par exemple de droit des robots ou de l’intelligence artificielle qui soi-disant va nous dépasser, pour moi c’est vraiment de la science-fiction et c’est pure fabulation. C’est une méconnaissance.
Valérie KokoszKa : Je suis d’accord aussi.
Antoinette Rouvroy : La question finalement aussi et j’en terminerais peut-être là, pour moi on parle beaucoup aujourd’hui et on se dit aussi, par exemple, qu’il faut interpeller les gens pour qu’ils participent au design des algorithmes, etc., donc démocratiser la fabrication même de ces algorithmes.
Laurence Devillers : Il y a les fab labs, il y a beaucoup de choses.
Antoinette Rouvroy : Une très bonne chose en soi, bien entendu. On parle aussi de rendre les algorithmes fats pas gros, ça veut sire simplement accountable and transparent en anglais ; c’est finalement de se dire on va rendre ces algorithmes parfaits, qu’ils vont rendre justice à notre place.
Laurence Devillers : Non, non.
Antoinette Rouvroy : Si je peux terminer. J’ai l’impression d’être dans un débat télévisé, c’est marrant. En fait, c’est très ambivalent. Évidemment c’est une très bonne chose. Il faut que chacun maîtrise. Pour ne pas être complètement prolétarisés, nous devons maîtriser nos outils. Ça c’est certain, nous devons savoir.
En fait, comme Laurence le dit très bien, à condition qu’on connaisse les outils, eh bien on les démystifie forcément, on ne peut plus croire ces fadaises de singularité, etc., si on connaît les outils. On voit bien que c’est plus con qu’un chat, quoi ! Ça c’est certain, mais aussi et de façon plus fondamentale dans le domaine qui me concerne plus directement qui est le domaine de la justice, on parle beaucoup aujourd’hui d’automatisation de la justice, de robotisation de la justice, d’algorithmisation de la justice, ça fait partie d’un gros projet qui concerne l’autonomisation des structures de la justice grâce à l’intelligence artificielle, par exemple. Le problème, évidemment, c’est sur quoi doit porter le débat, sur quoi doit porter la compatibilité. Est-ce que ce qui est important pour un justiciable c’est de savoir si l’algorithme qui a servi finalement par exemple à le garder en rétention alors qu’il aurait peut-être pu bénéficier d’une libération conditionnelle si l’algorithme n’avait pas détecté un score de risque supérieur à la moyenne de récidiver, est-ce que c’est ça qui est important ?, savoir si effectivement l’algorithme était fair, accountable ?, ou est-ce que ce qui compte pour cet individu-là c’est que sa situation singulière soit évaluée à l’aune de sa situation singulière et non pas à l’aune d’une modélisation statistique produite automatiquement par les algorithmes sur base de données émanant de la population carcérale dont il ne fait pas partie ? C’est quelque chose d’absolument fondamental.
Si vous voulez le risque de ce mouvement des fats algorithmes, c’est vraiment cette sorte de réductionnisme, c’est-à-dire qu’on va demander à une boîte noire algorithmique de posséder les qualités ou les vertus qui devraient, en fait, appartenir à l’ensemble du système socio-technique et non pas seulement à ce sous-système algorithmique. Ce qui compte ce n’est pas que des machines soient justes, à la limite, même, on s’en fout ! Je voudrais dire qu’un juge qui prend une décision qui ne soit pas trop absurde sur la base du fait qu’il était de mauvaise humeur parce qu’il s’est fait engueuler par sa femme le matin, il n’est pas très transparent non plus sur les raisons qui ont justifié sa décision. On ne va pas ouvrir la tête du juge pour voir s’il était bien fat à l’intérieur, s’il a mangé trop gras. Simplement, ce qui compte, c’est la justification dans un langage humain, compréhensible par les humains, de la décision concrète qui a été prise à l’égard du justiciable. Il ne s’agit pas de maintenir l’humain dans la boucle. Non ! C’est l’humain qui décide et qui assume la totalité de sa décision. Il peut, pour ce faire, se fonder soit sur une consultation de voyante soit sur un algorithme plus ou moins transparent soit sur l’avis de sa femme soit, comme l’inspecteur Colombo, « ma femme me disait ce matin », peu importe comment il se justifie, mais c’est lui qui prend la décision.
Laurence Devillers : C’est lui qui est responsable.
Antoinette Rouvroy : Il est responsable et il peut justifier dans un langage humain et contestable.
17’ 20 (relu avec audio par véro)
Karolien Haese : Ça nous ramène au fondamental de ce débat qui était les libertés humaines, les droits fondamentaux des humains, qui sont quand même à la base du principe de responsabilisation citoyenne à l’égard de sa propre individualité, à l’égard, quelque part, de ce que l’on peut attendre d’un système. On entend, encore une fois, une dérive vers les questionnements de la gouvernance algorithmique dont, quelque part, personne n’a envie d’entendre parler. On revient également à ce questionnement de dire, et là je rejoins complètement Laurence, qu’il ne faut pas prendre le tout ou rien dans l’intelligence artificielle, si on peut appeler ça intelligence artificielle ou si on peut appeler ça, effectivement, des décisions algorithmiques.
L’outil est là. L’outil est puissant. Est-ce qu’on arrivera, ou pas, un jour à maîtriser parfaitement cet outil, ça c’est une autre question et je pense que seul l’avenir nous le dira. En attendant, on a quand même des questions qui sont des questions fondamentalement humaines. On a des questions qui sont liées à l’homme dans ses droits, libertés fondamentales et jusqu’où peut-on, à la limite, le dissocier de choix démocratiques. On le voit systématiquement : parce qu’il y a à un moment donné une crise et qu’on se dit que c’est le moment de promouvoir l’outil. C’est arrivé, effectivement, au tout début de la bulle Internet, on a promu l’outil pour pouvoir avoir une meilleure traçabilité financière. C’est arrivé encore une fois au moment des attaques terroristes en France où on sait que, par exemple, la loi a été très loin, heureusement cassée par le Conseil d’État, en disant « c’est finalement le moment de promouvoir cet outil parce que, vous allez voir, c’est pour votre sécurité ». Dans la Convention européenne des droits de l’homme et dans la Charte de 1966 de l’ONU lorsque l’on parle de sécurité publique, on peut, à la limite, mettre effectivement de côté les libertés fondamentales et les droits fondamentaux et utiliser un outil qui les réduit. Posez cette question à la surveillance habituelle, je vous le donne en mille, ça s’imposera également dans le cadre de la surveillance environnementale.
Il faut le conserver, il faut le garder, il faut l’exploiter au mieux, mais on doit revenir sur le principe fondamental qui était au départ un choix démocratique basé sur les constitutions et la démocratie ayant un devoir et des droits citoyens.
[Problème de son]
Je reviens. Il ne faut absolument pas confondre, je pense, à un moment donné, l’outil qui est utile à l’intérêt public, soyons clairs, avec ce que l’on cherche à défendre ici, c’est-à-dire une implication citoyenne.
[Problème de son]
Je disais donc que c’est vraiment important finalement qu’on dissocie l’outil de l’engagement citoyen qui lui est inscrit dans les constitutions, qui lui est inscrit dans les droits fondamentaux. J’aimais beaucoup la réflexion d’Antoinette, on en arrive à croire que le droit doit venir au service de l’intelligence artificielle, on en arrive à croire que l’éthique doit arriver au service de l’intelligence artificielle, que les droits fondamentaux deviennent finalement des leviers pour pouvoir justifier une installation progressive de l’intelligence artificielle, si on peut l’appeler comme ça, et on peut s’interroger de la légitimité de l’anxiété qui est créée aujourd’hui au sein de la population. On peut se demander pourquoi elle a si peur de ce big data alors que nous sommes tous d’accord autour de la table pour dire que ce big data a une potentialité de plus-value très importante pour l’intérêt public, pour la santé publique, pour le contrôle sécuritaire, pour le traçage financier. Pourquoi est-ce que l’homme, aujourd’hui, en a tellement peur ? Sans doute parce qu’effectivement il ne se retrouve plus dans l’appel du droit qui a été son pilier, la possibilité d’aller chercher, à un moment donné, les droits fondamentaux, les droits civils, le droit pénal, qui sont devenus son pilier, on a l’impression qu’il est effacé et qu’il est mis au service d’un outil qui lui échappe. Qui lui échappe parce qu’on a un certain analphabétisme, effectivement, lié à l’algorithme. Qui lui échappe parce qu’on a l’impression que l’intelligence artificielle, les données, l’encodage, la collecte, le traitement, la structuration, la pseudonymisation et tous les vocabulaires compliqués lui échappent ou, plutôt, sont entre les mains d’une espèce d’élite intellectuelle. Et finalement le citoyen y trouve un très grand confort mais, en même temps, une très grande peur. Et, en même temps, on n’a pas un cadre et je parle bien d’un cadre, qui finalement nous dit « n’oubliez jamais que la surveillance – et je dis bien que la surveillance n’est pas péjorative, n’est pas négative – va jusqu’à un certain point et c’est la loi qui met les limites à ce certain point » .
Quand la Stasi, dans le régime de la RDA, comptait 80 000 à 100 000 agents, 200 000 informateurs, soit 2,5 % de la population qui surveillait les 97,5 autres, l’absence de la démocratie ne découlait pas de la surveillance, l’absence de la démocratie découlait d’un cadre qui, finalement, a fait échapper l’outil aux citoyens. C’est ça qui est important pour moi.
