Former à l'éthique en informatique

Titre : Pourquoi les développeur·ses ont besoin d'une formation aux question d'éthique : exemple de l'informatique de santé

Intervenante : Marion Magné

Lieu : Paris - Paris Web 2020

Date :

Durée : 15 min 15

Vidéo

Diaporama support de la présentation

Licence de la transcription : Verbatim

Illustration : À prévoir

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Description

L'informatique manque aujourd'hui d'une déontologie propre (comme ce qu'on peut trouver en droit, en santé, etc.).
Ayant initialement un parcours visant à travailler dans le soin (psychologue puis professionnelle de santé publique), j'ai été sensibilisée à ces questions tout le long de mes études… jusqu'à ce que je me redirige vers le développement informatique. Je travaille aujourd'hui dans la “e-health”. Ce domaine couvre énormément de sujets et abrite de belles découvertes et avancées technologiques appliquées au soin. Mais même là, j'ai vu des dérives :

   Des technologies dans le développement desquelles on se jette tête la première, sans penser aux applications potentiellement liberticides que cela pourrait avoir entre les mauvaises mains.

   Des chefs de projets attendant des développeurs une réalisation mécanique sans comprendre le sens et le but de ce qu'ils font.

   Et une culture d'entreprise qui n'encourage pas lesdits développeurs à questionner le but de leurs missions.

Dans cette conférence je voudrais expliquer l'importance d'une formation aux bases de l'éthique pour les différents métiers de l'informatique, et donner quelques pistes pour sensibiliser les entreprises et les professionnels à ces questions.

Transcription

Bonjour à tous. Je suis Marion Magné. Je suis développeuse pour des applications web dans le domaine de la santé. J’étais déjà venue à Paris Web il y a quelque temps pour parler de l’importance de la transmission de l’information dans l’informatique. J’arrive avec un sujet qui est dans la continuité de celui-là puisque c’est l’importance de se former à l’éthique dans le milieu de l’informatique.

Pour commencer, vous pouvez vous demander ce que ces œuvres ont en commun. C’est assez connu, dans chaque cas ce sont des mondes où une super technologie ou une intelligence artificielle, que sais-je, a pris le contrôle et c’est ça ne s’est généralement pas très bien passé.
Dans le monde d’aujourd’hui on en est assez loin, quoi que. On n’est pas là pour condamner la technologie. J’imagine que si vous suivez ces conférences c’est que, comme moi, vous êtes plutôt pro-tech dans la limite du raisonnable et assez curieux de ce que ça peut vous apporter. Encore une fois, vu que je ne vois pas vos réactions en direct, je vais simplement partir du principe que vous êtes d’accord avec moi quand je dis que si on est tous en faveur du progrès technologique ce n’est pas à n’importe quel prix. C’est là que l’éthique et, dans notre cas, plus spécifiquement l’éthique de l’information entre en jeu.

Qu’est-ce que l’éthique ? La définition assez classique qu’on peut trouver dans les dictionnaires c’est que c’est un ensemble de bonnes conduites, de principes moraux, ce qui est assez vaste, plutôt subjectif. Ce qui va être moral pour moi ne l’est pas pour voisin. C’est pour ça que l’éthique s’est un peu développée, on peut parler à la limite de spécialisation, c’est-à-dire que pour chaque domaine se développent un certain nombre de principes éthiques auxquels chacun est censé obéir pour nuire au moins de monde possible.
Par exemple, dans l’éthique médicale, on connaît le serment d’Hippocrate : d’abord ne pas nuire, c’est assez simple et assez précis, le soignant ne doit pas nuire aux intérêts de son patient. Que se passe-t-il quand la médecine est pratiquée sans principes d’éthique ? C’est là qu’on va trouver des expérimentations un peu douteuses au nom de l’avancée de la science, mais sur des cobayes plus ou moins consentants.

L’éthique de l’informatique dans tout ça ? Vu notre sujet, on va plutôt se concentrer sur l’éthique des sciences informatiques, éthique de l’information. Vu que ce concept ne sort pas de nulle part, je vais faire un petit point historique.
On commence à parler d’éthique de l’information avant de parler d’éthique de l’informatique dès 1947 avec un chercheur qui s’appelait Norbert Wiener. On sort de la Seconde Guerre mondiale, les progrès technologiques sont extrêmement rapides et un peu hors de contrôle. Les dérives se sont bien fait sentir les années auparavant, donc on essaie de mettre un petit d’ordre dans tout ça. Wiener prédit une quatrième révolution industrielle avec l’évolution des techniques d’information et développe des grands principes qui se veulent universels : à ce moment-là Wiener ne part pas dans une éthique propre à l’informatique. Ces principes sont la liberté, l’égalité et la bienveillance, donc ces technologies ne doivent pas nuire à la liberté, ne doivent pas instaurer d’inégalités et ne doivent pas être utilisées dans le but de nuire. C’est assez universel comme le dit Wiener.

??? des années 70, avec ???, on observe l’émergence de problèmes d’éthique spécifiques à l’informatique, c’est-à-dire que contrairement à ce que pensait Wiener 30 ans auparavant, on ne peut pas se contenter d’appliquer les principes globaux d’éthique au domaine de l’information.
On commence à trouver des cours de sensibilisation aux étudiants des sciences informatiques dès cette période, mais ce n’est pas généralisé, c’est dans quelques universités américaines. Je n’ai pas trouvé de source pour les universités françaises.

Ensuite dans les années 80/90 commencent à émerger des problèmes concrets. On n’en est plus au stade de la suspicion, qui sont posés par la propriété intellectuelle du contenu informatique créé et ensuite, avec l’avènement d’Internet, de propriété intellectuelle de ce qui est mis à disposition sur Internet et les problèmes aussi créés par les premières bases de données de masse. Déjà à l’époque c’était une question qui se posait, imaginez ce qu’il se dirait aujourd’hui avec la quantité d’informations rassemblées sur chaque individu.
Dès cette époque il y a des inquiétudes, quelques universités donnent des cours des cours d’éthique pour sensibiliser à ce sujet et, en 96, on a un premier appel de plusieurs chercheurs dans une grande revue universitaire pour une formation systématique des futurs informaticiens à l’éthique, mais qui restera sans suite. Il y aura d’ailleurs une réponse, dans ce même journal, de plusieurs informaticiens qui disent, en gros, « on n’en a a pas besoin, fichez-nous la paix !»

Pourquoi aurait-on besoin d’éthique? Pourquoi je ne suis pas d’accord avec ces informaticiens et pourquoi, pour moi, a-t-on besoin d’éthique dans l’informatique ?
Il faut retenir que les technologies ne sont pas neutres, il y a toujours un être humain pour la conception derrière, quoi qu’on en dise, même si maintenant il y a des générateurs automatiques de code, ces générateurs automatiques de code n’ont pas été créés par d’autres générateurs automatiques de code, ils ont bien été créés par un être humain.

On va reparler de la médecine. Ce sont les mêmes biais qui vont pousser les médecins non sensibilisés par exemple aux questions de racisme à traiter différemment des patients selon leur couleur de peau ou qui vont traiter différemment des patients selon leur genre, que sais-je.
Là c’est la même chose, une personne non sensibilisée va avoir des biais de part son éducation, de part son expérience et elle va les faire ressortir dans son travail.

Pourquoi a-t-on besoin d’éthique ?
J’ai sélectionné deux petits exemples qui nous viennent du monde anglo-saxon, je ne sais pas si on doit dire cocorico, je n’en ai pas trouvé d’aussi graves en France. Peut-être qu’on n’a pas fait ces technologies, je ne sais pas.
Dès les années 80, il y avait des inquiétudes quant aux bases de données massives qui étaient créées et ça n’a pas loupé. Je pense que beaucoup d’entre vous ont dû entendre parler de Cambridge Analytica. Pour ceux qui ne connaissent pas il s’agit d’une entreprise anglaise qui a rassemblé un maximum de données notamment via les réseaux sociaux, d’ailleurs Zuckerberg est encore entendu là-dessus et prétend ne rien savoir. Ils ont acheté énormément d’informations à Facebook pour faire des publicités ciblées et pensées pour chaque catégorie de public, afin de persuader d’abord aux USA un maximum de personnes de voter pour Trump puis en Angleterre un maximum de personnes de voter pour le Brexit.
J’ai à la base un background. En fait, en psychologie sociale, on voit qu’on peut diviser la population en catégories, c’est un petit peu terrible ???, et en poussant sur les bons boutons on peut faire faire ou dire à ces catégories absolument ce que l’on veut et c’est ce qui s’est passé pour Cambridge Analytica. Ils ont fait des publicités selon les catégories en jouant sur leurs peurs. On a vu les résultats des élections de 2016 aux États-Unis et après les élections pour le Brexit. Ça a super bien marché alors que ce n’était pas les intentions de vote pas au début.

Un autre scandale quand même assez grave aussi, qui nous vient du monde anglo-saxon mais cette fois uniquement des États-Unis, c’est le scandale de Propublica qui, en fait, était un algorithme qui calculait les chances de récidive d’un prisonnier pour déterminer si on pouvait le laisser sortir en conditionnelle ou pas. Sauf qu’à un moment les résultats ont été comparés par des chercheurs et ils se sont rendu compte que à informations égales l’algorithme donnait davantage de chances de récidive du coup moins de chances de passer en probation aux prisonniers noirs.
Dans le cas de Cambridge Analytica on a clairement une atteinte à la démocratie, au droit de s’informer librement et, dans le cas de Propublica, une atteinte à la liberté tout court à cause d’un biais raciste des concepteurs.

But de la formation à l’éthique Le but de la formation à l’éthique c’est d’éviter ce genre de chose, déjà d’apprendre à avoir soi-même du recul au maximum, évidemment, malheureusement ce n’est pas évident d’éviter tous ces biais, au moins les identifier, les limiter au maximum et reconnaître, donc s’interroger sur le but d’une technologie, d’une création, ne pas être pris, je vais dire l’euphorie, c’est peut-être un petit peu fort, mais la joie de développer des technologies, de travailler sur des trucs un peu intéressants, stimulants, nouveaux. Prendre cinq minutes pour se dire OK, en quoi ça peut être utilisé, pourquoi je fais ça, est-ce que c’est encadré, est-ce qu’il y a un danger ? S’interroger sur ses créations et aussi apprendre à réagir. Là on parle d’une éthique pas seulement comme d’une science philosophique, qui est très intéressante en soi, mais aussi comme de l’éthique dans la composante de nos vies professionnelles. On doit apprendre à utiliser, on doit apprendre à régir quand on voit qu’elle n’est pas respectée.

Comment et pourquoi agir ?
On va commencer par le pourquoi. J’entends qu’une personne, fondamentalement bien intentionnée, ne réagit pas forcément tout de suite. On peut se dire qu’on se fait des idées, qu’on imagine le pire sur un produit qui tout est fait innocent, qui n’a pas de mauvaises intentions. Plus égoïstement on peut s’inquiéter sur les retombées sur sa carrière, que sais-je.
On va rappeler un point important : ce qui est éthique mais pas forcément légal, donc ce qui manque à l’éthique n’est pas forcément illégal.
Dans certains cas il va y avoir des cadres juridiques déjà existants qui vont faciliter les démarches. C’est-à-dire que si on voit quelque chose qui non seulement nous paraît peu éthique mais en plus on se demande si c’est vraiment légal et qu’on s’aperçoit que non, là c’est quand même assez simple, on signale que c’est hors la loi, « Ah oui, pardon, excusez-nous » et si jamais la personne insiste on appelle les institutions compétentes, la CNIL, que sais-je. C’est relativement simple, il n’y a pas trop de questions à se poser là-dessus.
On va aussi rappeler pourquoi c’est important de le signaler : nul n’est censé ignorer la loi, on va garder des traces écrites, il y a des tableaux d’organisations, c’est assez simple de savoir qui a fait quoi et qui était au courant de quoi.
Ce qui pose ensuite un autre problème c’est la méconnaissance possible des personnes techniques sur le domaine dans lequel elles travaillent. Par exemple, comme je l’ai dit, je travaille dans le domaine de la santé. Si on nous demandait de coder quelque chose qui irait à l’encontre de la dernière loi en vigueur, qui est sortie hier, sur la gestion des hôpitaux on ne serait pas forcément au courant et la personne en faute serait forcément le commanditaire ou le créateur du projet.
Idéalement on devrait tous pouvoir prendre bien connaissance de notre contexte professionnel, mais ça demande encore du temps qui n’est pas toujours disponible.
Pour résumer, dans le cas d’une demande illégale c’est plutôt simple, on remarque un problème on signale, rien de spécifique à l’informatique.

Mais quand un problème est toujours légal, par contre ça ne nous paraît pas très clair, pas très éthique, que fait-on ?
On a reconnu, on soupçonne un truc peu pourri dans le royaume du code, on a reçu le descriptif d’un projet, on n’aime pas trop la direction que ça prend, on n’est pas sûr du produit, comment agit-on ? Déjà l’important c’est de communiquer, on discute : est-ce que les doutes sont partagés ? Est-ce que tout le monde a les mêmes informations ? Pour la communication dans les équipes il existe déjà des formations que ce soit à la fac ou en entreprise.
Quand il s’agit quand même d’un truc un peu plus grave qu’un travail en équipe avec le quatrième participant qui n’a rien foutu à part mettre son nom sur le dossier, on conseillera de ne pas faire d’accusation directe, de tout communiquer par écrit et de s’appuyer sur les bases de communication non violentes qui sont également enseignées dans les entreprises parfois pour éviter les nerfs ??? qui volent en réunion.
Ensuite on se renseigne. Pour se renseigner on se tourne vers les associations qui existent, je pense notamment à La Quadrature du Net en France. Il en existe d’autres, il en existe aussi dans le monde, au niveau européen. Ce sont des associations qui traitent déjà de ces questions, qui peuvent nous aiguiller sur vers qui s’adresser.

Quelques pistes pour la formation.
Pour la formation, de quoi aurait-on besoin ?
On a besoin de savoir communiquer dans l’équipe, d’exposer calmement ses opinions ses problèmes.
On a besoin de bases en éthique pour remettre quelque chose en question et aussi avoir ce réflexe en fait de prendre du recul. Ça ne dépend de l’intelligence de chacun, c’est simplement quelque chose qui s’apprend en fait, comme remettre en question les fake news.
Passer par l’étude de cas concrets, parce que si on voit qu’on a tous fait philo en terminale, je pense qu’on a tous oublié. C’est en voyant des cas concrets, comment dénouer une situation, comment identifier qu’on voit comment mettre en pratique ces mêmes principes.
En entreprise l’idéal ce serait quand même d’avoir un minimum de temps d’apprentissage pour les cadres fonctionnels, voir les problèmes que ça peut poser.

Pour la formation l’idéal c’est quand même d’en faire une étape du cursus académique.
J’ai fait un peu mes devoirs avant de vous présenter ça, ça commence à être présent dans quelques écoles d’ingénieur en France, dans certains cursus universitaires aussi, mais c’est encore loin, malheureusement, d’être généralisé.
Ça passe aussi par la mise à disposition de ressources pour les professionnels, que ce soit via les ?? Internet, via des associations que j’ai pu mentionner tout à l’heure.
À terme, idéalement, ce serait aussi de proposer des formations dans les entreprises sur la forme de cas concrets.

Quand j’ai commencé à préparer cette présentation et à travailler sur ce sujet il y a plusieurs mois on m’a beaucoup répondu que ce n’est pas dans l’intérêt des entreprises que des personnes techniques commencent à remettre en cause leur moindre décision. J’ai envie de penser que certaines entreprises vont quand même voir un peu leur intérêt dans le sens d’une chaîne de réflexion supplémentaire sur le produit, plus d’investissement, que ça finisse par ça.

Je vous remercie et j’attends vos questions lors de la diffusion de cette conférence.
Merci beaucoup.·