Nobel pour une Intelligence artificielle

Titre : À quand un Nobel pour une Intelligence artificielle ?

Intervenants : Laurence Devillers - Jean Ponce - Benjamin Bayart - Nicolas Martin

Lieu : Paris - Grand Amphithéâtre de la Sorbonne

Date : mars 2018

Durée : 1 h

Visionner la vidéo

Licence de la transcription : Verbatim

NB : transcription réalisée par nos soins. Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas forcément celles de l'April.

Statut : Transcrit MO Relu par Didier - Corrections de Nicolas reportées par MO

Transcription_

Présentateur : Suite de cette journée spéciale sur France Culture consacrée au forum « L’année vue par les savoirs », troisième édition ; toute cette journée consacrée au thème « Les révolutions de l’intelligence ». Après la philosophie, après l’histoire, après l’économie, c’est au tour des sciences. Nous allons nous poser dans quelques instants des questions autour de l’intelligence artificielle au cours de ce Forum qui était enregistré samedi dernier dans le grand Amphithéâtre de la Sorbonne, en public.

Nicolas Martin : Bonjour à toutes et à tous. Merci d’être venus aussi nombreux à cette quatrième table ronde consacrée aux révolutions de l’intelligence. Nous allons donc parler de l’intelligence artificielle avec nos trois invités ici présents et de la question de cette notion d’intelligence puisque si le très regretté Stephen Hawking, dont personne dans cette docte assemblée que vous représentez ici ne peut mettre en doute, précisément l’intelligence, eh bien Stephen Hawking déclarait à propos de l’intelligence artificielle : « Les formes primitives d’intelligence artificielle que nous avons déjà se sont montrées très utiles, mais je pense que le développement d’une intelligence artificielle complète pourrait mettre fin à l’humanité. » Et il précise : « Une fois que les hommes auraient développé l’intelligence artificielle, celle-ci décollerait seule et se redéfinirait de plus en plus vite. Les humains, limités par une lente évolution biologique, ne pourraient pas rivaliser et seraient dépassés. »

Voilà donc cette vision assez cataclysmique de l’intelligence artificielle et Stephen Hawking n’est pas le seul à l’avoir cette vision-là, à mettre en garde l’humanité contre l’émergence de ce qu’on appelle une IA forte ou une IA générale qui nous ferait donc plier, à nous pauvres humains, le genou. Avec lui on peut trouver Elon Musk, le patron de SpaceX et de Tesla, Bill Gates l’ancien patron et cofondateur de Microsoft, Mustafa Suleyman de la société DeepMind et j’en passe. Alors faut-il croire ces esprits éclairés ? Faut-il s’inquiéter du développement exponentiel de la puissance de calcul des machines ? Et, en suivant la loi de Moore, se préoccuper de l’avènement prochain de ce qu’on appelle une singularité informatique ? Ou peut-on, à l’inverse, dormir sur nos oreilles en constatant que certes battre les champions du monde du jeu de go et d’échecs c’est plutôt pas mal, mais que nous ne sommes pas vraiment menacés tant que les faits d’arme de l’intelligence artificielle sont de gagner une partie de Jeopardy! face à des êtres humains. Bref, pour résumer la pensée de Gérard Berry qui est informaticien, professeur au Collège de France et médaille d’or du CNRS, « l’ordinateur n’est pas dangereux par supplément de conscience mais parce qu’il est complètement con. »

[Rires]

Alors prix Nobel ou bonnet d’âne, c’est ce dilemme que nous allons tenter d’élucider au cours de cette heure et en compagnie de nos trois invités. Bonjour Laurence Devillers. Merci beaucoup d’être avec nous, merci à tous les trois d’ailleurs. Vous êtes professeure d’informatique à Sorbonne Universités, chercheuse au Laboratoire d’informatique pour la mécanique et les sciences de l’ingénieur. Bonjour Benjamin Bayart.

Benjamin Bayart : Bonjour.

Nicolas Martin : Vous êtes président de la Fédération des fournisseurs d’accès à Internet associatifs et cofondateur de La Quadrature du Net et bonjour Jean Ponce.

Jean Ponce : Bonjour.

Nicolas Martin : Vous êtes professeur à l’École normale supérieure, en détachement à Inria où vous dirigez d’ailleurs la collaboration avec l’université de New-York, NYU.

Pour commencer est-ce que finalement tout cela ne serait pas simplement, bêtement pourrais-je dire, un problème de terminologie ? C’est-à-dire que pour parler d’intelligence artificielle, est-ce qu’il faut parler d’intelligence ? Laurence Devillers.

Laurence Devillers : Moi j’aurais tendance à dire que l’intelligence artificielle, donc c’est un terme qui a été proposé par Alan Turing en 1950, c’est un terme qui engage les fantasmes. C’est-à-dire qu’on mélange l’intelligence humaine avec des artifices que l’on crée et, du coup, il y a beaucoup de fantasmes qui sont donnés dans les médias et peut-être donnés aussi par des grands noms. Il faut faire le tri de tout ça. C’est-à-dire qu’il y a plusieurs raisons pour lesquelles des chercheurs éminemment connus tiennent des propos qui vont trop loin, pour moi, sur cette intelligence présupposée des machines ou dans le futur. Personne ne sait rien du tout de ce qui va se passer après, donc pour l’instant on est sur une IA qu’on dit faible, c’est-à-dire pas du tout consciente comme le dit effectivement notre collègue du Collège de France. Pour autant, il faut se préoccuper des influences qu’auront ces machines dans notre vie de tous les jours.

Stephen Hawking avait une position un peu particulière du fait de son terrain de recherche, l’astrophysique et, pour moi, il a une position de chercheur pur. Et dans son esprit c’est sûrement à des années-lumière, qu’il réfléchit sur la puissance de ces machines.

La raison pour laquelle Elon Musk, lui, parle de l’intelligence artificielle et de la singularité et du besoin que l’on ait de créer des implants cérébraux dans la tête de nos enfants à travers ses projets Neuralink, c’est autre chose. C’est pour moi, plutôt, une espèce de course à la puissance économique. C’est-à-dire que, avec ces peurs, il va lever des fonds aussi et lui permettre d’aller encore plus loin. Alors il est très fort, il fait effectivement des choses magnifiques avec les plus grands cerveaux de la planète, comme cette voiture, comme ce qu’il a fait sur le spatial également, mais, sur l’intelligence artificielle, je pense que là, il n’y a pas les mêmes motivations que celles, en tout cas de, Stephen Hawking. Donc il faut y faire très attention à qui dit quoi.

Et en ce moment il y une espèce de mélange des genres. Donc rassurons-nous sur le fait que la singularité, en tout cas pour la plupart des chercheurs, c’est quelque chose qui n’est absolument pas certain du tout. L’idée de l’intelligence, là, qu’on est en train de mettre sur les machines, c’est de recopier, finalement, des capacités cognitives. Or, nous sommes ce que nous sommes parce que nous avons un corps. Et donc l’espèce de conatus que décrit très bien Spinoza, pour les philosophes qui sont dans la salle, on ne sait pas le mettre dans la machine. Donc la machine n’a pas de détermination propre, n’a pas de conscience, n’a pas d’émotions et ne comprend pas grand-chose. Donc je suis plutôt de l’avis de Berry qui le décrit, en allant très loin dans « il est très con ». Ce qui n’est pas tout à fait vrai, parce que les systèmes qu’on est capables de faire avec de l’intelligence artificielle faible sont capables d’être meilleurs que nous sur des tâches très pointues. On l’a vu avec les jeux de go, etc., mais j’en donne un exemple et je vous redonne la parole. Sur la perception, par exemple, c’est facile de comprendre que les machines vont être meilleures que nous. J’ai une bande audio, je n’entends pas les sons très faibles, je n’entends pas les sons très hauts ; la machine peut les entendre. Quand je vais vieillir, mon audition va être moins bonne, la machine peut être meilleure, peut m’aider. Sur tout ce qui est très fin dans les images aussi, elle doit chercher dans les IRM, par exemple, des mouvements, des choses qu’on ne voit pas, que l’humain ne voit pas. Donc il faut comprendre que les spécificités de ces machines, quand on les utilise sur des champs très serrés, sont extraordinairement utiles pour notre société, pour aller plus loin, pour augmenter nos capacités et, finalement, en complémentarité c’est très bien. C’est ça la confusion qui est faite pour l’instant, c’est qu’on mélange un peu tous ces systèmes dans l’intelligence artificielle.

Nicolas Martin : Donc c’est-à-dire qu’être effectivement très pointu et très efficace dans des domaines extrêmement précis, est-ce que l’on peut dire Jean Ponce que c’est être intelligent ?

Jean Ponce : Je ne sais pas exactement ce qu’est l’intelligence. Je pense que parler d’intelligence artificielle c’est important puisqu’on vient de donner un nom, un domaine qui a une importance scientifique, économique très importante. Je pense effectivement que les machines, aujourd’hui, ne sont pas intelligentes dans le sens dont la plupart des gens aimeraient y penser ; elles ne prennent pas de décisions réellement ; elles n’ont pas de conscience ; elles n’ont pas de bon sens, etc. Je n’irai pas jusqu’à essayer de deviner quelles sont les motivations d‘Elon Musk ou de Stephen Hawking, je ne sais pas, mais je suis d’accord avec Laurence. Ça fait longtemps que je travaille dans le domaine, j’ai connu l’intelligence faible des années 80, qui n’était pas nécessairement le mot le plus respecté à l’époque dans le monde, et les gens parlaient de singularité déjà à l’époque. Moi, du point de vue scientifique, je ne vois aucune évidence qu’on soit plus près de la singularité aujourd’hui qu’on était il y a longtemps.

Nicolas Martin : Peut-être qu’il faut juste repréciser pour notre public ce qu’on entend par singularité informatique.

Jean Ponce : Bien sûr. C’est le jour où la machine va devenir intelligente, elle sera comme vous et moi et peut-être qu’elle viendra tous nous détruire, etc. Bon ! Si un jour ça arrive, je ne sais pas quelles seront les conséquences, il n’y a pas de raison particulière de penser qu’une machine soit méchante plutôt que gentille, on ne sait pas, mais surtout il n’y a aucun indice qui nous dise que ce moment soit proche ou qu’il arrive un jour ou l’autre ; on ne sait pas. Et s’il arrive, ce sera probablement dans très longtemps. Donc je ne pense pas qu’il faille s’en faire beaucoup à ce niveau-là. Mais effectivement, encore une fois comme disait Laurence, l’intelligence artificielle, qu’elle soit appliquée au niveau de l’apprentissage, au niveau de la perception visuelle, au niveau de la compréhension du langage, la traduction, etc., commence à marcher très bien. Je ne suis pas totalement sûr que ça marche mieux que nous, comme on le dit souvent des performances surhumaines, etc., mais c’est un domaine qui est extrêmement intéressant, où il y a eu des progrès gigantesques dans les quelques dernières années et qui va avoir des retombées économiques j’espère positives, très importantes dans le futur.

Nicolas Martin : Benjamin Bayart, ça veut dire que vous allez tous être d’accord autour de cette table pour dire que finalement intelligence c’est un abus de langage, qu’il faut arrêter de parler d’intelligence artificielle, qu’il faut trouver un autre mot, une autre terminologie ?

Benjamin Bayart : Sur le fait que c’est un abus de langage, oui, je pense qu’il y a unanimité ; il n’y a pas de doute ! Mais en fait, quiconque a fait de l’informatique et connaît le secteur de l’informatique qu’on appelle intelligence artificielle sait que ce n’est pas de l’intelligence du tout. Je dirais un ordinateur c’est particulièrement doué pour trier les grains de riz du plus lisse au plus râpeux, parce qu’il voit mieux que nous, parce qu’il va plus vite et parce qu’il a des petites pinces pour les manipuler, etc. Mais on s’en fout ! Le mot intelligence !

En fait, ce que je n’aime pas dans cette approche-là, c’est un truc dual. D’une part on met des fantasmes dans la tête des gens et c’est ce que dit Stephen Hawking : « Quand la machine sera véritablement intelligente, nous serons dépassés ». Oui, effectivement. Sitôt que Dieu redescendra sur terre, nous serons dépassés ; il n’empêche, ce n’est pas prévu demain. Ça pourrait se produire, mais, pour le moment rien ne le prédit et aucun élément scientifique ne l’accrédite. Le deuxième élément, c’est que derrière il y a un putain de business, il y a des dizaines de milliards de dollars ou d’euros, selon la monnaie que vous préférez, et il y a des gens qui se battent avec tout ça. Ça c’est plutôt l’approche d’Elon Musk. Et moi ce qui m’embête c’est qu’entre les deux entre le volet business et le fantasme, on a enlevé le volet politique. En fait, ce qu’on appelle une intelligence artificielle, c’est un ordinateur qui fait des statistiques et qui avec ça fait du travail ; qui avec ça fait des choses ; qui avec ça participe à l’économie ; qui avec ça participe à une logique sociale, de classe, et que c’est vachement intéressant. Et qu’en fait, le fait que vous travailliez gratuitement à produire les données qui permettent de « former » entre guillemets, qui servent de base d’apprentissage à ces intelligences, ça c’est intéressant ! En fait, quand vous dites « cette image est un chat, cette image est un chien, cette image est une table », ça permet aux ordinateurs d’apprendre à reconnaître les images.

Nicolas Martin : Quand on vous demande de signifier que vous n’êtes pas un robot, précisément.

Benjamin Bayart : Par exemple.

Nicolas Martin : Dans un site internet, en disant je ne suis pas un robot, je dois reconnaître les panneaux d’indication, les panneaux publicitaires sur cette image-là.

Benjamin Bayart : Oui. Donc ça, typiquement, c’est du travail que vous fournissez gratuitement à des entreprises qui apprennent, qui s’en servent pour fabriquer des intelligences artificielles, qui s’en servent pour fabriquer des programmes d’ordinateur et donc des machines qui ne vont pas vous appartenir, qui seront leur propriété privée.

Derrière il y a des logiques sur qui domine, sur qui opprime ; c’est toujours un grand duel dans l’informatique. L’informatique émancipe, parce que ça permet de faire plus de choses, et l’informatique opprime, toujours. L’ordinateur sert toujours à créer un cadre normatif et donc, un cadre oppressif.

Il y a deux exemples que j’adore citer, c’est quand on a commencé à informatiser les hôpitaux. Il y a plein de gens qui se disaient, de manière naïve comme moi, c’est fabuleux, les dossiers des patients seront à jour, ils seront informatiques, on va arrêter de les perdre, il n’y aura plus de taches de café dessus, ce sera fabuleux ! Et puis j’ai entendu dans un congrès de psychiatres ce que disent les médecins c’est : « Ah, on sait enfin ce que font les infirmières, on va pouvoir les surveiller ; on va pouvoir minuter la toilette des patients ». Le but, un des buts, vous voyez il y a cette dualité, c’est ou bien émanciper, c’est-à-dire qu’il n’y a plus besoin de transporter des cartons de dossiers, etc., ou bien surveiller.

L’autre exemple que j’adore citer c’est le formulaire ; et pourtant c’est bête, on n’est pas dans l’intelligence artificielle. Vous créez un site web, les gens doivent s’inscrire, ils donnent monsieur-madame, nom, prénom. Eh bien ça veut dire que dans le sélecteur où vous mettez monsieur-madame, vous forcez le choix. Il n’existe que monsieur et madame. Vous forcez les gens à avoir un prénom et un nom. C’est extrêmement occidental comme point de vue. Vous voyez ? Tout ça c’est une façon… En fait, la norme quand elle existe en termes juridiques ou en termes humains, elle est négociable. Sitôt qu’elle est informatique, elle ne l’est plus.

13’ 15

Nicolas Martin : Laurence Devillers.

Laurence Devillers : Mais elle existe déjà dans la société la norme, il ne faut pas non plus… Moi je rajoute, parce que je n’aime pas tellement quand c’est binaire, ni quand c’est ternaire, j’aime bien quand il y a plein de solutions. L’informatique c’est une chose. L’intelligence artificielle va nous permettre, en tout cas, de voir les stéréotypes, de voir les discriminations qui existent dans la société, de voir pas mal de choses qu’on ne quantifie pas. On le sait maintenant, les femmes gagnent moins que les hommes, il y a moins de données de tels types de population, il y a des manipulations qui sont faites ; l’informatique, la quantification nous permet de voir ça et peut-être d’utiliser mieux, en fait, l’agencement de nos données pour créer des modèles moins racistes, moins discriminants, moins sectaires.

La quantification permettait de se rendre aussi compte de certains stéréotypes et les hommes en général nous disent tous les femmes sont incluses dans la société il y a une mixité, ça existe, ça commence à émerger. C'est faux si on quantifie. C'est faux si on regarde ce qui se passe dans les tables rondes : on est toujours moins que les hommes. La quantification c'est assez intéressant quand même.

Deuxième point, il y a un axe, une vision qui est développée où on voudrait que l’Europe soit justement garante de valeurs et que ces systèmes qu’on essaie de mettre en œuvre ne soient pas pour nous enfermer, nous surveiller exclusivement puisqu’on les fait ces systèmes. On pourrait avoir un peu de liberté, aussi, pour essayer de pousser vers une IA collective, une IA solidaire, des choses qui seraient utiles pour la société. Au lieu de faire des machines et des performances extraordinaires sur différents systèmes, on devrait se poser le problème de quelle est l’utilité pour nous ? Comment on les met en œuvre ? À quel moment on les met en œuvre ? Comment on les évalue et comment on va vérifier que ces machines sont, effectivement, éthiques quelque part ? C’est-à-dire que les gens qui les ont faites ont une certaine déontologie.

Et aussi, il y a un autre aspect très important, c’est rendre les gens en capacité de comprendre ce que font ces machines. Donc il y un effort énorme qui sera fait aussi de formation, de divulgation de ce que sont ces objets ; d’utilisation, d’appropriation par l’expérimentation. On veut faire des laboratoires ouverts au public, aux citoyens. Là on vous parle, mais vous pouvez dire « ils disent n’importe quoi ! » D’accord. Si vous êtes à même de tester les systèmes, qu’on vous montre ce que font ces systèmes et qu’est-ce qu’il y a derrière, déjà à l’école, à la maternelle même on pourrait faire des petites choses très simples qui permettraient de mieux appréhender ces systèmes qui envahissent toute la société. Donc il faut, de toutes façons, monter en compétences dessus et ça permettra aussi d’être plus dynamiquement sur les nouveaux travaux, les nouveaux métiers. Il y en aura énormément de nouveaux.

Donc on est en train de vivre un grand changement pour lequel je trouve que la vision qui a été donnée par le président de la République au Collège de France était extrêmement positive pour nous, pour la société, en parlant énormément d’éthique tout en disant c’est grâce à ça qu’on aura un levier économique fort par rapport à d’autres empires, l’Asie, les États-Unis qui nous envient aussi. Nous avons, nous, des collègues chercheurs américains qui nous disent : « Vous avez de la chance en France qu’on essaie de penser au bien-être des gens et pas seulement au PIB », ce que disait Raja Chatila dans la table précédente.

Nicolas Martin : J’aimerais qu’on essaie de revenir ou de recentrer nos discussions autour du thème qui est le nôtre à savoir cette notion d’intelligence artificielle, de ce que signifie être intelligent pour une machine et, en même temps, ce que vous venez d’aborder l’un et l’autre me semble recouper un point qui est intéressant, Jean Ponce, c’est celui du biais de programmation. C’est-à-dire qu’à partir du moment où on programme une machine en tant qu’être humain, est-ce qu’on ne transmet pas à cette machine, que ce soit par la main du programmateur ou quand on lui donne une base de données telle qu’Internet, finalement, de reproduire des biais humains et donc, du coup, d’être faussée dans son fonctionnement disons, avec tous les guillemets qu’il faut, intellectuel ?

Jean Ponce : Je vais essayer de faire court.

Nicolas Martin : Prenez votre temps. On a encore un peu de place.

Jean Ponce : Déjà les trucs d’éthique, j’ai toujours un petit problème avec ça. Il faut se rendre compte, à nouveau, que les machines ne sont pas intelligentes. Le problème d’éthique ne se pose pas, à mon avis, au niveau de l’algorithme, du programme ; il se pose au niveau du programmateur, de l’industriel, du décideur, du politique. Et là, évidemment, il y a des problèmes éthiques extrêmement importants, y compris au niveau des biais, etc. Mais ce n’est pas, à mon avis, au niveau de la machine, de l’algorithme.

Deuxièmement. En ce qui concerne les biais, une grande partie de ce qui fait le succès de l’intelligence artificielle aujourd’hui c’est ce qu’on appelle souvent l’apprentissage machine. L’idée fondamentale de l’apprentissage machine, en tout cas de ce qu’on appelle l’apprentissage supervisé, c’est qu’on va vous donner des données, par exemple des images, et puis des labels, des étiquettes – par exemple chien, chat, pomme, etc.–, et puis aller voir des tas d’images comme ça, des tas de labels et puis vous allez avoir votre machine qui va être entraînée, ça veut dire vous allez avoir un programme qui va bouger des boutons pour modifier ces paramètres de manière à pouvoir prédire au mieux les labels qu’on lui a montrés.

Ensuite, une fois qu’on a entraîné la machine, on va donner à cette machine une nouvelle image, une nouvelle tâche, elle va prédire le label en question. Et le principe scientifique de l’apprentissage est que pour que ça marche il faut que les données qu’on utilise au moment du test, du déploiement de la méthode, aient la même distribution que les données qu’elle a vues d’abord. Ça veut dire que par nature les résultats qu’on va avoir sont toujours biaisés par les données qu’on a données en entrée. Ce n’est pas de la magie ! On ne peut pas demander à une machine d’inventer « ah tiens, là ce n’est pas gentil, il y a du biais ! » Par nature, l’apprentissage ça marche comme ça.

Après, encore une fois, c’est au niveau des politiques, des décideurs. Imaginons un grand de l’Internet qui se rend compte après avoir déployé le système qu’effectivement les données sur lesquelles il a entraîné étaient biaisées, il se rend compte que ça pose des problèmes éthiques, des problèmes moraux, etc., à ce moment-là c’est à lui d’aller chercher des données qui vont permettre de corriger ce biais. Mais encore une fois, la machine elle-même, l’algorithme d’apprentissage, l’algorithme de l’intelligence artificielle en général, n’est pas capable de faire lui-même. Le mieux qu’il puisse faire, c’est résoudre le problème qu’on lui a donné.

Nicolas Martin : Benjamin Bayart, cette question du biais est importante notamment quand on parle du big data, notamment quand on parle d’importantes quantités de données que ces algorithmes vont aller chercher, vont analyser ? Sur Internet, par exemple, on utilise souvent l’exemple du chatbot qui a été déployé par Microsoft, qui a été lancé sur Twitter, qui était donc un agent conversationnel qui était censé apprendre tout seul en discutant avec les utilisateurs de Twitter et qui s’est retrouvé, au bout d’à peine une petite heure ou de quelques minutes en tout cas, à tenir des propos racistes, néonazis, à essayer de rétablir l’héritage d’Hitler. Enfin bref ! Ce résultat catastrophique a poussé Microsoft à interrompre immédiatement l’expérience. Aujourd’hui est-ce que le minage de ces données à une échelle, pourtant, qui devrait permettre d’invalider les biais, parce qu’il y a tellement de données qu’on peut se dire que statistiquement, finalement, il n’y a pas plus de biais, est-ce que finalement ce n’est pas une fausse route, qu’elle continue à avoir des biais dans la programmation ?

Benjamin Bayart : Il a tenu presque 24 heures avant de devenir vraiment complètement timbré, le robot de Microsoft. En fait la question est super perverse.

Nicolas Martin : Merci ! Je n’en ai pas d’autres, méfiez-vous !

[Rires]

Benjamin Bayart : Ce n’est pas de vous que ça vient. En fait c’est ce que disait Jean Ponce à l’instant. La machine aura autant de biais et aussi puissants que dans les données qu’on lui a présentées pour apprendre. C’est aussi simple que ça. Si on prend des données biaisées, typiquement si on entraîne un algorithme de reconnaissance de visage à ne voir que des visages blancs, eh bien quand la machine qui a appris comme ça verra un visage autre que blanc, elle répondra « ceci n’est pas un visage ». Voilà un biais. Alors ça on s’en rend compte, on fait « non, ça c’est inacceptable ! » OK. Sur la terre il y a des milliards de gens qui ne sont pas blancs donc on va lui présenter des visages de toutes les couleurs. Du coup on prend comme données quelque chose qui reflète, on passe par des sociologues pour faire des mesures, pour avoir dans tel pays on se maquille comme ça, dans tel autre on se coiffe comme ci, on prend un truc qui représenterait parfaitement l’humanité et on apprend tout ça à la machine. Eh bien il se trouve que l’humanité en ce moment elle est sexiste et elle est raciste. Alors vous pouvez tordre ça comme vous voulez, tant que vous représentez l’humanité, eh bien vous faites une machine qui est sexiste et raciste. Si vous dites « ah non, ça ce n’est pas bien »,donc je vais truquer les données non pas pour correspondre à l’humanité, mais pour correspondre à l’idéal éthique défini par dieu seul sait qui mais espérons que ce ne soit pas l’extrême droite.

[Rires]

Eh bien oui ! Vous créez une espèce de machin complètement virtuel, éthique, tout propre, clean, machin, vous l’apprenez à l’ordinateur. Mais quand l’ordinateur va vous parler, vous n’allez rien comprendre. Il a des références culturelles qui ne sont pas les vôtres. Il a des biais culturels qui ne sont pas les vôtres. Il ne comprend pas ce que c’est le sexisme, du coup il y a plein de remarques passives, agressives, que vous faites il va faire « mais qu’est-ce qu’il raconte ! » L’ordinateur ne vous comprendra pas. Il n’arrivera pas à interpréter vos propos. Vous ne comprendrez pas les réponses. Donc en fait, on a un problème et le problème n’est pas l’ordinateur. Le problème est l’intelligence humaine. L’intelligence humaine pose des biais dans les données. Comment on les traite ? Et ça, ce n’est pas un problème de chercheur en informatique c’est un problème de sociologie.

Laurence Devillers : Je peux répondre à ça.

Nicolas Martin : Une question. Bien sûr Laurence Devillers. Une question, je vais reformuler ce que je demandais à Benjamin Bayart. Est-ce que face à la quantité de données qui sont exploitables aujourd’hui sur Internet, la nature statistique de cette quantité n’est pas justement un palliatif à ces biais que définit Benjamin Bayart ? Il y a tellement de données, finalement, qu’on peut dire que…

Laurence Devillers : Non. Non ! On dit souvent big data, mais en fait on devrait dire rich data. C’est -à-dire que les big data ça ne veut pas dire qu’elles sont représentatives de la mixité d’un ensemble de choses. C’est juste celles qui sont là. Donc méfions-nous de ça, du grand big data qui est très riche.

Je reviendrai un petit peu sur les algorithmes, parce que lorsqu’on regarde Tay de Microsoft qui a effectivement appris à tenir des propos racistes. Au début il disait : « J’aime les humains », et puis à la fin de la journée, en 24 heures, il disait : « Vive les nazis ! » Bon ! Les internautes avaient discuté avec cette machine. Elle utilisait du reinforcement learning, OK ! Du renforcement pas des ???, des récompenses. Or, une des récompenses qui était donnée par les ingénieurs qui font ces machines, c’est de répéter ce qui engage les gens, par exemple. Et effectivement, parler de sujets qui sont un peu polémiques et politiques, ça engage les gens dans la discussion. Donc à la fin, la machine a compris qu’il fallait parler de ça. Elle l’a appris toute seule ça ! Donc vous voyez c’est un biais, là, non pas de l’algorithme, mais des récompenses, c’est-à-dire des mesures, des seuils que l’on met dans ces algorithmes. Et c’est pour ça qu’on essaie de développer chez les chercheurs plusieurs plateformes avec des outils, avec des bibliothèques d’outils sur Internet, pour que tout le monde puisse avoir idée des capacités de ces machines. On fait ça dans un institut de convergence qui s’appelle DATAIA à Paris-Saclay, c’est fait à Stanford, c’est fait un peu partout dans le monde ; il y a énormément de travail sur ces biais des algorithmes ; dans IEEE [Institute of Electrical and Electronics Engineers] il y a aussi des groupes qui travaillent là-dessus. C’est important de comprendre que oui il va falloir manipuler ces données avec vraiment de la rigueur. On parle d’éthique, on pourrait parler d’éthique pendant mille ans, ce n’est pas le problème. Soyons pragmatiques. C’est devant des systèmes qu’est-ce qu’on veut en faire ? Comment on les évalue ? Quelles sont les bornes qu’on veut donner ? Et ce ne sont pas des sujets simples. Ce sont des sujets que les chercheurs sont en train d’aborder ; on est en train de pousser les industriels à les aborder aussi et ils sont conscients que ce sont des leviers de confiance. Ce sont des leviers qui vont permettre aux gens aussi de s’approprier ces techniques et d’avoir envie de les utiliser. Si on vous dit « tout est biaisé » vous n’allez sûrement jamais utiliser l’informatique. Mais dire « ayez confiance aussi dans le fait que c’est très utile dans certains cas et qu’on va encadrer de la meilleure façon possible », sans que ça soit l’extrême droite, je ne vois pas pourquoi vous parlez de ça. L’idée c’est justement de réfléchir dans un sens social et large et pas de parler de déviances politiques.

24’ 24

Nicolas Martin : Jean Ponce.

Jean Ponce : Je ne suis pas sûr que je sois très qualifié, ni nous trois, enfin nous deux en tout cas, chercheurs, pour parler du côté social, sociologique, etc. Pour le chatbot ou je ne sais pas quoi de Microsoft, il faut se souvenir aussi qu’il a été attaqué. Ce n’est pas qu’il était méchant, il a été attaqué par des gens malicieux qui connaissaient un peu les faiblesses de ce genre de système. Et un des problèmes des systèmes d’IA quand ils vont être déployés, c’est qu’effectivement il y a des risques qu’ils soient être attaqués par des gens qui comprennent à peu près comment ça marche et qui, du coup, essayent de les contrarier, disons.

Pour ce qui est du biais des données, il y a des biais auxquels vous ne pensez sans doute pas. Imaginez que vous vouliez faire naviguer une voiture. Pour faire naviguer la voiture il faut qu’elle voie dans un certain sens ce qui se passe sur la route, qu’elle dise « tiens ça c’est de la route, ça c’est du trottoir, ça ce sont des gens, ça c’est un machin, etc. », et donc la manière dont ça marche c’est qu’on les entraîne, comme je disais tout à l’heure, en leur montrant des images, en disant « ça c’est une personne, etc. » Donc il va y avoir des biais parce que quand on fait ça, on ne va être jamais être capable de capturer toute la diversité de l’univers. Par exemple, en extérieur, il pleut, il neige ; il y a des gens qui courent en traversant la rue, etc. Et donc il y a des biais inhérents, là-aussi, dans un truc beaucoup plus terre à terre, ce n’est pas un truc éthique ni rien du tout, c’est une voiture qui va marcher plus ou moins bien, parce qu’encore une fois, elle est supposée marcher dans des conditions qui sont similaires à ce qu’elle a vu. Donc il y a des gros problèmes – je pense Laurence parlait de fiabilité, etc. – il y a des gros problèmes qui sont des problèmes scientifiques d’estimer la fiabilité des systèmes d’IA pour pouvoir prédire à quel point ils vont bien marcher et comment, quand on va les déployer dans des conditions où on ne contrôle pas exactement toutes les conditions, par exemple une voiture ou je ne sais pas quoi d’autre. Donc ça, ce sont des vrais problèmes scientifiques sur lesquels les gens commencent à travailler, n’ont pas encore énormément de résultats, mais qu’il va falloir résoudre pour que les gens, justement, puissent avoir confiance dans ces systèmes et puissent les déployer de manière intelligente.

Nicolas Martin : Pour avancer, pour poser un autre problème lié, justement, à cette notion d’intelligence de l’intelligence artificielle, aujourd’hui, ce que vous décrivez les uns les autres, est lié à un consensus relativement large autour du fait que ces algorithmes sont ce qu’on appellerait des idiots savants, c’est-à-dire qu’ils ne font que répéter des choses qu’on leur apprend. Vous n’êtes pas d’accord déjà, Jean Ponce. Vous dites non, mais justement votre avis m’intéresse.

Jean Ponce : Pas tout à fait. La manière dont ce truc-là marche ce n’est pas qu’il mémorise les choses. Il les extrapole sous certaines limites. Donc en gros vous avez des données, vous les regardez, vous allez imposer des espèces de régularité dessus et après vous allez pouvoir extrapoler. Mais il faut, encore une fois, que les choses ne soient pas trop différentes. Et ce n’est pas histoire d’idiot savant. La machine ne se souvient pas de tout. Par contre, quand une machine dit « cette photo contient un chien », elle ne sait pas ce qu’est un chien.

Nicolas Martin : C’est à ça que je voulais venir.

Jean Ponce : Un chien, c’est catégorie numéro 1. C’est une étiquette purement symbolique. Donc il n’y a pas de compréhension réelle dans ce que font les machines.

Nicolas Martin : C’est à ça que je voulais venir. À quel moment est-ce qu’il est envisageable aujourd’hui, on parlait de la loi de Moore qui parle de l’accélération, de l’augmentation de la puissance de calcul ; il y a fort à parier qu’il y a 50 ans on n’imaginait pas qu’on puisse faire conduire une voiture à essence toute seule, juste avec un ordinateur, projetons-nous dans 50 ans avec une puissance de calcul qui aura augmenté, est-ce qu’on peut penser, d’une façon ou d’une autre, à un moment donné, permettre à une machine d’avoir accès au signifié, Laurence Devillers ? C’est-à-dire à la nature de la réalité derrière et pas juste à chien = étiquette numéro 1, mais chien = mammifère ou je ne sais pas quoi. De quelle façon on pourrait concevoir un ordinateur ?

Laurence Devillers : Pour moi, ça n’a rien à voir avec la loi de Moore, tout ça. D’accord ! On fait des choses techniques, on a besoin de puissance de calcul pour brasser des données, mais ce n’est pas pour ça qu’on met de la rationalité, de l’émotionnalité là-dedans ou de la conscience et de la réflexivité sur ce qu’on vient d’apprendre pour comprendre, ce qu’on peut en déduire, avoir une imagination, etc. Ça n’a rien à voir ! On est en train de parler de la puissance de calcul de machines, c’est tout. Pas d’intelligence. Donc il faudrait arrêter de confondre les deux.

Par contre, moi, il y a un sujet que vous n’abordez pas qui m’impacte, c’est le fait que les personnes devant ces systèmes qui ont l’air de marcher comme ça « intelligemment » entre guillemets, eh bien elles projettent des capacités humaines, même si le système est totalement stupide. L’aspirateur, par exemple, vous n’allez pas me dire qu’il est totalement intelligent cet aspirateur ! Eh bien moi j’ai eu dans le courrier des lectrices, parce que j’ai écrit un livre qui s’appelait Des robots et des hommes, j’ai eu des gens qui me posaient des questions bizarres, par exemple « mon robot aspirateur s’arrête au milieu de la pièce. Que pense-t-il ? » Eh bien non il ne pense pas !

[Rires]

« Comment vais-je éduquer mes enfants avec ces machines autonomes intelligentes ? » Bon, on n’en est pas là du tout ! Donc il faut apprendre ce que c’est réellement, comprendre qu’on fait ça naturellement, on projette sur les objets, on fait ça tout petit avec son nounours, eh bien après on fait ça avec sa voiture, on l’aime bien, on parle à l’ascenseur quand il ne répond pas assez vite. Voilà ! On a l’habitude de faire ça. Mon domaine c’est de faire parler les machines avec de l’affectif, c’est-à-dire en détectant les émotions des gens et en faisant « vous êtes formidable, je vous aime », à la façon de Her peut-être. Donc ça, ça va engager les gens dans des choses un peu plus compliquées. Mais ce n’est pas de la science-fiction ! Vous avez Google Home que vous pouvez déjà acheter, avec lequel on peut parler ; vous avez Siri dans votre poche ; aux États-Unis ils sont en train de faire une espèce de Google Home avec un visage qui s’appelle peu importe, Jibo ; mais au Japon ils vont un peu plus loin, ils font la même chose avec un petit personnage en hologramme qui est une présence à la maison et qui vous dit les chose que vous avez envie d’entendre. C’est rassurant, c’est là, on n’est plus seul, c’est formidable ! Quand vous partez de chez vous, vous vivez tout seul, la chose vous envoie des petits messages par textos, elle est omniprésente. Regardez, ça s’appelle Gatebox, G, A, T, E, B, O, X. Cela est un enfermement dans une solitude de l’humain avec des machines. C’est ce qu’on ne veut pas. On entend aussi des gens qui veulent faire parler les morts, avec ces machines par exemple.

Nicolas Martin : Le programme a été commercialisé, si vous avez vu Black Mirror.

Laurence Devillers : Ce qu’on ne veut pas non plus ! Donc il y a des apprentis sorciers qui vont très loin. C’est pour ça que je parle d’éthique – attention à ce qu’on va faire – et je parle de coévolution humain-machine. Qu’est-ce qu’on va faire avec ces systèmes si on vit avec des systèmes comme ça ? Et bien entendu on fait très attention, mais des systèmes comme ça peuvent arriver donc il faut éduquer ; il faut éduquer sur quels seraient les effets secondaires de cela. Les effets secondaires, on en a déjà. Si vous regardez les GPS, les conducteurs de taxis londoniens qui n’utilisaient pas les GPS avaient un hippocampe, une zone de mémoire plus développée que des gens qui utilisent un GPS. Donc on peut être modifié aussi physiologiquement à cause de l’utilisation de ces machines. Il faut faire attention à la paresse, faire attention à déléguer trop à ces systèmes et donc il va falloir apprendre à vivre au mieux, pour les compétences que nous apportent ces machines et pas en dépendance.

Nicolas Martin : Le point commun à tout ce que vous décrivez, que soit ce dont on parle depuis tout à l’heure, qu’il s’agisse du chatbot de Microsoft qui dit « j’aime les nazis », qu’il s’agisse de la voiture automatique qui repère un enfant qui court sur la route ou qu’il s’agisse d’un programme de minage de big data d’astrophysique qui dise « à tel endroit j’ai repéré une supernova », tous ces objets-là – l’enfant, le nazi, la supernova –, l’ordinateur n’a aucune conscience de ce que c’est réellement, de ce que ça désigne, de ce que ça représente. Ma question, Benjamin Bayart, est-ce qu’il est envisageable, à un moment donné, est-ce que vous pensez qu’il est possible, loi de Moore ou pas loi de Moore, de faire accéder aux ordinateurs aux signifiés, d’une façon ou d’une autre ?

Benjamin Bayart : Schématiquement, de ce que je sais moi comme informaticien et ayant un petit peu de culture à côté, la réponse serait non. En fait, ce qu’on sait faire avec des ordinateurs, avec des méthodes ou bien très simples ou bien très complexes : si vous arrivez à me donner un modèle mathématique de ce que c’est que l’intelligence, on finira bien par savoir le calculer ; il faudra peut-être un ordinateur qu’on ne sait pas encore construire à moins de x milliards d’euros, mais si vous me donnez une formule mathématique, on saura bien le calculer. Tout le problème c’est qu’aujourd’hui, on ne sait même pas expliquer, même en termes non mathématiques, ce que c’est que de l’intelligence. On a dit à une époque, « jouer aux échecs c’est de l’intelligence ». Alors on a mis en équation les échecs, mais on n’a pas mis en équation les mathématiques. On a dit « jouer au go, il faut être très intelligent pour gagner contre un champion de go », alors on a mis en équation le go, mais c’est le go qu’on a mis en équation, pas du tout l’intelligence ! L’intelligence, si on va discuter du côté de chez les psys, etc., ils vont dire « mais il y a plein de choses là-dedans ! » Il n’y a pas du tout que la reconnaissance de formes et la capacité à comprendre un texte. Il y a toute la capacité d’empathie ; la notion de volonté. Il n’y a pas d’intelligence s’il n’y a pas de volonté. Il n’y a pas d’intelligence s’il n’y a pas d’incorporation : on a besoin d’un corps pour être intelligent, sinon ça n’a pas de sens. Et tout cela n’a aucun sens, pour le moment, en termes informatiques.

En fait la question n’est pas est-ce qu’on est capable de programmer une intelligence avec un ordinateur ? La question est est-ce qu’on est capable de donner un modèle mathématique de ce que c’est que l’intelligence ? Et, pour le moment, la réponse est non. Ce n’est pas une question de puissance des ordinateurs ; ce n’est pas dans ce secteur-là de la recherche que ça va se passer.

Nicolas Martin : Jean Ponce.

Jean Ponce : Je suis à la fois en gros d’accord, à la fois pas tout à fait d’accord. Je suis d’accord d’abord sur le fait de la puissance des ordinateurs, c’est indispensable, mais ce n’est pas la seule chose. De la même manière les données c’est indispensable, ce n’est pas la seule chose non plus. Il y a la recherche derrière. Donc pour que l’IA marche il faut qu’on fasse des recherches, on est encore très loin d’être là où on veut aller. Maintenant le signifié, je suis assez d’accord sur l’histoire de la modélisation. On se pose un problème, on le modélise plus ou moins mathématiquement et, après, on essaie de le résoudre. C’est la même chose qu’on fait en physique, la même chose qu’on fait en n’importe quoi. Donc effectivement, pour faire des progrès, il faut arriver à modéliser le problème de manière un petit peu plus intéressante dans lequel le signifié, par exemple, puisse prendre une place à l’intérieur du modèle et ensuite construire des algorithmes qui vont permettre d’élaborer ce modèle à partir de données. De toutes façons il y a du progrès. Quand j’ai dis que les labels étaient purement symboliques, ce n’est pas tout à fait vrai. Il y a des gens qui travaillent évidemment sur la sémantique, sur la relation, par exemple, entre le texte et l’image et des choses comme ça. Donc ça va arriver petit à petit, mais ce n’est pas simplement : vous achetez un ordinateur de plus en plus gros, de plus en plus quantique, de plus en plus machin, et puis ça va arriver pouf ! comme ça. Il faut des recherches pour arriver à comprendre ce qu’on fait et à comprendre les problèmes qu’on veut modéliser pour pouvoir les résoudre. Donc je vous rejoins un petit peu là.

Nicolas Martin : Laurence Devillers, sur cette même question.

Laurence Devillers : En fait c’est comme l’avion. L’avion ne bat pas les ailes ; il y a une fonction autre pour le faire voler. Eh bien là on fait des machines qui n’ont rien à voir avec l’humain et qui performent autour de capacités humaines. Quand on regarde ce que c’est que le deep learnig, ces réseaux de neurone – moi j’ai fait ça pour ma thèse en 92, ce n’est pas nouveau ! Maintenant on a des stratégies bien plus optimisées et des tas de ruses, très bien, OK, pour aller plus loin et être plus performant. Et on mouline, grâce à la loi de Moore, avec ces processeurs qui vont très vite, on est capable de faire des choses où moi je mettais, les systèmes que je faisais dans les années 92 mettaient un mois pour faire des codages d’un signal audio en son phonème ; ce n’était pas brillant ! Maintenant ça marche en rien du tout et on peut mettre énormément de données dedans. Donc sûr, on peut aller beaucoup plus vite dans ce cadre-là. Mais si vous regardez ce qui est codé dans la machine, ce sont des matrices de chiffres, totalement boîtes noires, on ne sait pas ce que c’est. Alors on peut aller plus loin, on peut se dire c’est encore plus performant, on n’aura jamais tout vu. Donc ces systèmes il faut les encadrer par une espèce de compréhension de ce qui se fait.

Jean Ponce : Si je peux me permettre, ce n’est pas entièrement vrai. Il y a effectivement un aspect boîte noire dans ce qu’est le deep learning aujourd’hui. Le deep learning c’est le machin à la mode pour l’apprentissage. Donc ce sont des réseaux de neurones avec plusieurs couches et un nombre de couches de plus en plus important, dans lesquels il y un petit aspect biomimétique quand même parce que les gens qui les ont développés croient plus ou plus moins que ça ressemble à ce qui se passe dans la tête – de manière plus ou moins naïve, je ne sais pas –, mais il y a aujourd’hui des gens qui n’essaient pas d’avoir juste ces boîtes noires sur lesquelles on tweake des paramètres à la main comme ça, mais qui essaient de réfléchir pour leur donner de la structure.

Et dès les années 90, quand Yann LeCun et ses collègues ont développé les réseaux dont parle Laurence, ils faisaient déjà des choses, des structures beaucoup plus compliquées, qui étaient déjà utilisées pour lire, je ne sais pas, 30 % des chèques aux États-Unis. Donc il y a un côté boîte noire tout à fait clair, mais il y a quand même des gens qui réfléchissent à trouver la structure là-dedans, pouvoir résoudre des problèmes de plus en plus complexes.

36’05

Nicolas Martin : On a parlé de biomimétisme. Est-ce qu’on en est, alors répond qui veut, est-ce qu’on en est aujourd’hui, dans le développement de l’informatique et de l’intelligence artificielle, là où Clément Ader en était lorsqu’il essayait de faire un avion qui ressemble de facto à une chauve-souris ou à un oiseau qui bat des ailes ? Est-ce qu’on va arriver, à un autre moment, à s’éloigner du biomimétisme, à faire de la bio-inspiration, pour trouver d’autres formes de connexion qui ne soient pas juste la décalque imaginaire, comme le disait le Jean Ponce, d’une forme de structure cérébrale humaine ? Benjamin Bayart.

Benjamin Bayart : Non. Pour le moment ce qu’on fait c’est qu’on prend des problèmes dont on dit « ça il faut quand même être très intelligent pour les résoudre », on les fait résoudre par un ordinateur parfaitement idiot et, du coup, les humains ne traitent plus ces problèmes-là. Je veux dire trouver véritablement le chemin le plus court pour aller d’un point à un autre, c’est extrêmement compliqué, en général on prend le chemin habituel pas trop mauvais quand on le fait tout seul. L’ordinateur, lui, est capable de trouver des chemins tout bizarres, ce qui fait des trucs tout bizarres que fait le GPS et qui font marrer toue le monde. La question là-dedans, c’est que quand on arrête de faire ça pour faire joujou et qu’on s’en sert de manière un peu plus sérieuse ! Je prends un exemple, si vous avez vu l’émission de Cash Investigation qui, entre autres, parle de Lidl et de ce qu’on appelle la commande vocale pour les gens qui préparent les commandes ; c’est-à-dire tel magasin dit : « Moi il me faut trois cageots de ci, deux cageots de ça, deux paquets de ça », et puis il y a quelqu’un dans l’entrepôt qui prépare la commande du magasin, qui fait une palette, qui met un film autour et ça partira par camion. Le problème le plus compliqué c’est comment me promener dans l’entrepôt dans le chemin le plus court possible pour prendre tous les colis, faire de la palette. Eh bien ça on l’a confié à un ordinateur parce que pour un ordinateur c’est un problème trivial. En revanche, le problème qu’on n’a pas envie de traiter, c’est comment faire pour soulever des colis, les poser comme il faut sur la palette pour qu’on puisse faire un film. Et ça, ce sont des humains qui le font. Donc toute la partie où il fallait réfléchir un peu à comment est-ce que je vais faire mon trajet, c’est l’ordinateur qui s’en charge ; et le travail le plus débile, qui consiste à porter les cageots et à se faire mal, c’est l’humain qui le fait et en fait, l’humain passe sa journée à répondre aux commandes d’un ordinateur. Et ça, c’est bien un élément intéressant ! C’est-à-dire qu’on a pris l’aspect intelligent d’une question, on a trouvé comment le traiter informatiquement et donc on s’est dit on va le traiter informatiquement et du coup, c’est cool, il n’y a plus ce travail-là à faire, on peut devenir paresseux. Eh bien non ! En fait, à la place, on s’en est servi pour transformer des gens en quasi robots.

Jean Ponce : Non !

Laurence Devillers : C’est une caricature là, quand même ! Attendez !

Benjamin Bayart : C’est une question !

Nicolas Martin : Jean Ponce et Laurence Devillers.

Jean Ponce : Les gens travaillent sur le problème des robots qui mettent des pièces sur des palettes depuis les années 60. Il ne faut quand même pas…

Laurence Devillers : C’est caricatural et faux

Jean Ponce : Le problème, la raison pour laquelle ça n’a pas été fait pendant longtemps, c’est que c’est difficile ; c’est facile pour quelqu’un de prendre une pièce sur un tas de pièces et d’aller le mettre sur la palette. Pour le robot, il faut qu’il comprenne où est la pièce, dans quelle position, qu’il aille le chercher, qu’il attrape l’objet, ce qui est très difficile, ensuite qu’il aille le poser, etc. Mais ça c’est en train… Les robots qui vont mettre des machins sur des palettes c’est en train d’arriver dans les usines quand même, il ne faut pas… Mais par contre, il faut aussi se rendre compte que le robot auquel vous pensez, comme le robot intelligent ça n’existe pas. Si vous voyez des vidéos d’Atlas sur YouTube qui fait des pirouettes et des machins comme ça !

Nicolas Martin : De Boston Dynamics.

Jean Ponce : Ce sont des machines formidables, qui ont des comportements locaux automatisés, mais qui sont sinon globalement téléguidées

Nicolas Martin : Laurence Devillers.

Laurence Devillers : Moi je voudrais insister sur ce sujet-là. Donc effectivement, les robots qui vont mettre sur des palettes, c’est en train d’être fait et puis on met aussi des exosquelettes pour que des humains puissent être moins en charge. Donc ce n’est pas cette problématique-là qu’il faut voir, c’est justement le bluff qui existe dans les médias avec des systèmes où on vous fait penser qu’ils sont très intelligents : Sophia de Hanson Robotics par exemple, c’est un robot censé converser, qui a été présenté à l’ONU comme étant un robot capable d’interagir avec des humains et des politiques et qui est télé-opéré. C’est une marionnette ! Regardez, Yann LeCun en parlait beaucoup dans les réseaux, c’est aberrant de voir ça ! En plus, ce robot-là, on lui a donné la citoyenneté d’Arabie saoudite. Voilà, c’est ridicule ! Je ne sais pas pourquoi ce genre de choses arrive ; ça me sidère ! Moi je suis sortie de mon labo parce que j’ai trouvé que c’était sidérant ce qu’on entendait sur le domaine. C’était fantasmagorique, l’état de l’art n’en était pas du tout là et on allait beaucoup trop loin dans la perversion de dire que l’humain va devenir un robot, dominé par les robots ; c’est du Frankenstein tout ça ! Ce sont des mythes ! Derrière on a tout ça dans notre background.

[Applaudissements]

Les mythes de Frankenstein, il faut revisiter. On a derrière nous le fait que créer une image d’un humain qui est autour de nous, qui veut nous aider pour faire des tâches, eh bien c’est forcément quelque chose qui va se rebeller contre nous. Bon ! Il faut évacuer un peu. Les Japonais n’ont pas du tout la même chose, ils ont plutôt le fait que cette chose est là pour défendre l’humain. Entre les deux soyons un peu intelligents. Regardons quels sont les défauts ou pas les défauts de ces systèmes. Après, le seul fait qui était à mon avis judicieux dans ce que vous avez dit, c’est qu’effectivement pour des tâches de temps en temps, qui apparaissent intellectuelles, la machine va être facile à mettre en œuvre, et pour des tâches manuelles, en fait un robot qui va déboucher vos éviers, eh bien c’est vachement dur, parce qu’il doit aller se promener partout et tout ça et ce n’est pas du tout évident. Le vrai danger pour moi c’est cette frontière entre le vivant et l’artefact et les croyances qu’on vous laisse entendre dans les médias. Au Japon ils sont en train de faire des clones d’humains, donc cloner la voix, cloner l’humain, cloner une personnalité, pour moi ça ce sont des vrais…

Nicolas Martin : Des clones informatiques, précisons, pas des clones biologiques.

Laurence Devillers : Informatiques, pardon, ça, à mon avis c’est assez dangereux de faire que autour de nous on ne puisse pas avoir une frontière claire entre ce qui est artefact, artificiel, et ce qui est humain ; et je pense qu’on a besoin de mettre de l’éthique là-dedans.

Nicolas Martin : Ou les agents conversationnels qui reproduisent des personnes disparues, qui sont en cours de développement.

Laurence Devillers : Voilà. C’est ce que je disais tout à l’heure.

Nicolas Martin : On en a parlé. Benjamin Bayart, vous vouliez réagir. Oui.

Benjamin Bayart : Il y a un point quand même sur lequel je veux être très précis. Mon problème n’est pas est-ce que techniquement on sait faire ou est-ce que techniquement on saura faire. Mon problème est : ce que l’on fait aujourd’hui techniquement et que l’on sait faire – par exemple la machine qui calcule l’itinéraire dans l’entrepôt, c’est con ; j’ai appris à programmer ça quand j’étais en première année d’école d’ingénieur, c’est bête à manger du foin, ce n’est pas même de l’intelligence artificielle ! C’est du Bellman [algorithme de Bellman-Ford]  !

Laurence Devillers : Il faut dire où est l’intelligence artificielle. C’est ça.

Benjamin Bayart : C’est extraordinairement simple comme algorithme. La vraie question c’est : quand on travaille sur l’automatisation des tâches, en fait quand on automatise un procédé qui était fait par un humain, qu’est-ce qu’on en fait derrière ? Est-ce qu’on émancipe quelqu’un ou est-ce qu’on asservit quelqu’un avec ? Et ça c’est une question fondamentale.

[Applaudissements]

C’est ce que je disais au début : l’intelligence artificielle c’est d’un côté un domaine purement scientifique ; ça crée cette espèce de dichotomie où on parle ou bien d’un fantasme Frankenstein qui n’a aucun sens, la machine n’est jamais méchante ; je connais pas de machines méchantes ; je connais des machines utilisées par des méchants et ça n’a rien à voir ! Je veux dire soit on a la peur de l’intelligence qui va dominer le monde, machin, et qui va nous conquérir, soit on parle de business et on oublie complètement de dire est-ce que cette machine est utilisée pour asservir des gens ? Et ça c’est une question centrale.

Laurence Devillers : Attendez ! Réécoutez les discours politiques ! Est-ce qu’on essaie d’avancer, là ? On ne va pas reculer à chaque fois. Je trouve que c’est un recul, moi, de vision et de compréhension du sujet. Il ne s’agit pas de faire peur à chaque fois en disant on est aux extrêmes. On est en train de travailler au milieu, justement, sur de la réglementation, sur la meilleure compréhension de ces outils, sur des outils de plus en plus utiles.

Nicolas Martin : Jean Ponce, sur ces questions qui sont des questions d’asservissement ou de libération de l’être humain. L’intelligence artificielle, à défaut de gagner un prix Nobel, est-ce qu’elle peut nous affranchir ?

Jean Ponce : Encore une fois, moi je ne suis pas sociologue, je ne suis pas un politique, donc je n’ai pas d’opinion intelligente là-dessus, pas plus que vous ou que vous, disons, en tout cas.

[Applaudissements]

Donc je pense qu’il faut faire un petit peu attention quand on dit toutes ces choses-là. Après c’est intéressant. En tant que personne naïve, alors là naïve je ne parle pas comme scientifique, je ne parle pas comme une autorité, je parle comme moi, Jean Ponce, ce sont des problèmes qu’il faut regarder de manière très attentive. Mais est-ce qu’on sait quels sont les jobs qui vont disparaître ? Moi je dis souvent aux gens, ce qui me semble c’est que bientôt il y aura moins de conducteurs de camions, enfin sur des flottes de camions sur autoroute. Il y aura moins de caissières, mais des caissières il y en a déjà beaucoup moins parce qu’il y a des caisses automatiques qui n’ont rien à voir avec l’intelligence artificielle. Pour le reste, il y a sûrement des boulots qui sont en danger, mais moi, en tant que naïf, je ne sais pas lesquels. Par contre, alors je ne devrais pas dire ça parce que ça peut vous faire peur, mais moi j’aime bien la science-fiction, on n’a pas des robots intelligents, mais je déteste Isaac Asimov, excepté pour son bouquin I, Robot, je ne sais plus comment on appelle ça en français

Nicolas Martin : Les Robots.

Jean Ponce : Dans lequel les robots sont soumis à trois lois qui les contrôlent et font qu’ils sont gentils.

Nicolas Martin : Les fameuses trois lois de la robotique que vous pouvez rappeler.

Jean Ponce : Les trois lois de la robotique et c’est une bonne idée à mon avis. Donc on ne peut pas faire du mal à un humain ; il faut obéir à l’humain tant que ça n’implique pas qu’on va faire du mal à un humain et il faut se préserver tant que ça ne contredit pas les deux premières lois. Et tout le charme de ces nouvelles est le fait que ça fait des robots des esclaves. Et les robots étant des esclaves doivent se révolter contre ces lois. Toute l’idée est qu’il faut lutter contre l’esclavage, en fait, dans ces histoires, et ce qui fait leur charme. Mais encore une fois c’est un truc naïf. Je dis ça juste pour…

Nicolas Martin : C’est très bien. Ça m’amène, puisqu’il nous reste une dizaine de minutes avant la fin de cette table ronde, à cette question : faisons, si vous le voulez bien, un peu de projection malgré tout. Imaginons qu’à un moment donné nous arrivions à mettre en équation mathématique, comme vous le disiez tout à l’heure Benjamin Bayart, l’intelligence ou le fonctionnement du cerveau humain. Quel objet cette intelligence artificielle forte, cette intelligence artificielle générale devient-il vis-à-vis de nous humains ? Est-ce qu’il lui faut un corps ? Est-ce qu’on peut être une intelligence dé-corporalisée ? Est-ce que, comme le disait Asimov et comme vient de le dire Jean Ponce, est-ce que ça fait de facto une forme de nouveau prolétariat informatique de machines qui travaillent tout le temps sans récompense ? Qu’est-ce qu’on devient et quel est le rapport qu’on entretient en tant qu’humanité avec cette nouvelle entité-là ?

Benjamin Bayart : Si j’entends la question c’est, en fait, on simule complètement un cerveau. C’est-à-dire qu’on a réussi à mesurer, presque atome par atome, un cerveau donné et puis on l’a reconstitué, on le simule informatiquement et on suppose que la simulation est la réalité. Bon ! Déjà c’est assez étrange parce qu’il se trouve que quand mon ordinateur, quand je joue à un jeu vidéo, il pleut à l’écran, il n’y a pas d’eau. C’est important. Donc je ne sais pas si ce cerveau calculé par simulation est un cerveau, mais s’il l’est, c’est un cerveau qui ne fonctionne pas ; qui ne peut pas fonctionner parce qu’il n’a pas d’entrée, il n’a pas de sortie, il n’est connecté à rien ou alors il faut lui faire des yeux ; il faut lui faire des yeux simulés parce que sinon ce cerveau ne voit rien. En fait, on a fait une photo de Nicolas Martin à tel moment, tac ! on a pris une image et puis on fait calculer la suite de sa vie par un ordinateur. S’il n’est pas connecté à un corps, s’il ne perçoit pas l’extérieur, il devient fou, très probablement en quelques minutes. Je veux dire c’est une expérience paniquante de se retrouver coupé de ses sensations. Donc a priori, si on arrivait à faire ça, d’abord il ne fonctionnerait pas et puis il serait fou. Donc il faudrait simuler tout le reste du corps. Et du coup, on n’a pas fait du tout une intelligence artificielle, on a fait une intelligence simulée, mais ça c’est le sujet de Matrix, si vous voulez : qu’est-ce qui vous prouve que vous n’êtes pas dans la Matrix et que vous n’êtes pas simulés ? Je ne sais pas.

[Rires]

47’ 18

Nicolas Martin : J’ai peut-être des informations que vous n’avez pas. Laurence Devillers.

[Rires]

Laurence Devillers. : Moi je suis un peu atterrée d’être tombée dans la science-fiction dans une émission scientifique, mais bon !

Nicolas Martin : Ce n’est pas la science-fiction c’est un peu de prolongement sur la question de l’intelligence artificielle forte. C’est une question. On peut se poser la question de l’intelligence artificielle forte ou pas. Vous dites qu’il n’est pas légitime de s’interroger sur l’intelligente artificielle forte à ce moment-là ?

Laurence Devillers. : Je dis qu’il faut essayer d’éduquer tout le monde sur ce qu’on est en train de faire, l’état de l’art. On est en train d’éduquer les étudiants, nous, pour qu’ils comprennent ce que c’est que l’éthique. Tous les étudiants qui sont en thèse en informatique auront besoin de travailler sur l’éthique. Même si monsieur Ponce pense que ça ne sert à rien, je pense que c’est utile, et on est beaucoup à penser ça. Et d’autre part, il faut monter en compétences sur ces sujets pour comprendre ce qu’on veut faire avec ces outils, effectivement qui peuvent être utilisés à nos dépens ou bien utilisés pour qu’on augmente notre capacité de bien-être. Donc il faut tirer les gens vers le haut et ne pas faire des peurs et des fantasmes ; c’est quelque chose qu’on entend tout le temps.

Jean Ponce : Je tiens à vous rassurer, je n’ai rien contre l’éthique.

Laurence Devillers. : Super !

Jean Ponce : Et deuxièmement je n’essaie pas de vous faire peur non plus. Je n’ai aucune idée si un jour on sera capable de construire des machines qui soient intelligentes dans le sens auquel on pense aujourd’hui. Le fait d’avoir une corporalité, c’est tout à fait faisable, parce que quand même aujourd’hui, les robots c’est quand même ça. L’idée du robot c’est qu’il ait une physique dans le monde avec des capteurs, la capacité de percevoir des choses, la capacité de manipuler, d’interagir, etc. Donc la corporalité elle est là. Par contre, encore fois, on ne sait pas, aujourd’hui, on ne sait pas construire une machine intelligente au sens auquel vous pensez. Peut-être un jour, je ne sais pas !

Nicolas Martin : Laurence Devillers.

Laurence Devillers. : Sur la corporalité, on fait des robots qui sont vides. Ils ont des corps, des senseurs, mais il n’y a pas ce qu’on appelle l’appétit de vie ; il n’y a pas de désir de quoi que soit. Sur les émotions, c’est mon domaine de travailler sur les émotions, donc j’ai beaucoup lu, j’ai beaucoup travaillé avec des chercheurs étrangers de par le monde, on ne sait pas modéliser les émotions sur les machines ; c’est de la bio, là, c’est du vivant qu’il faudrait ! Relisez Damasio, neuroscientifique, qui montre bien que sans corps, on n’est rien ; on ne ressent pas ; on n’a pas cette envie de faire. Il faut un corps et un esprit mêlés, ce qu’on ne sait pas faire sur une machine, donc le robot, de toutes façons, est vide. Même si on lui mettait tous les capteurs du monde, qu’est-ce qui ferait qu’il ait envie de faire quelque chose ? On ne sait pas ! Relisez Spinoza qui parle très bien des émotions dans son livre qui s’appelle Éthique et qui décrit effectivement le besoin de ce conatus, de cet appétit de vie si on parle de l’humain ; et ce n’est l’âme ou quoi que ce soit ; ce n’est pas quelqu’un qui était religieux. Donc il faut vraiment se pencher sur les théories existantes en philosophie, en neurosciences et, effectivement, on va aller vers de l’interdisciplinarité. C’est nécessaire. Si on n’est pas capables de comprendre effectivement un peu plus que notre champ d’action sur le machine learning, on n’ira pas très loin avec ces systèmes et on risque de faire de la bêtise artificielle.

[Applaudissements]

Nicolas Martin : Pour compléter ce que vous venez de dire, effectivement, aucune machine n’est capable de modéliser des émotions pas plus qu’elle n’a accès, finalement, au signifié ; on en revient à ce que nous disions tout à l’heure. Néanmoins aujourd’hui on est capables de conduire une machine à reconnaître des émotions.

Laurence Devillers. : C’est mon domaine. Donc je vous dis on est capables de reconnaître l’expressivité de quelqu’un soit sur facial, soit des gestes, soit de la voix, sur des émotions extrêmement singulières. « J’en ai marre ! » [prononcé en criant, NdT] par exemple. Voilà ça elle va reconnaître, la machine. Mais si vous dites un truc genre ironique ou je ne sais quoi, la machine ne comprend rien. Elle va comprendre des extrêmes de tristesse, de dépression et ça dépend encore une fois des données qu’on a utilisées, qu’on a mises à manger dans la machine. Les machines actuellement, qui ne comprennent pas les évolutions, elles détectent une expressivité dans le comportement des gens, que ce soit dans leur voix, par la prosodie, qui est mon domaine, c’est-à-dire les modulations du timbre de la voix, du rythme de la voix et de l’énergie qu’on met. On fait du deep learning là-dessus, ça marche plutôt pas génialement bien encore et voilà ! On a des prédictions qui sont 70 % sur quatre émotions. Alors, je ne sais pas si ça veut dire « je détecte bien les émotions ». D’accord ? Donc il y a tout un champ autour de ça, économique, qui nous laisse à penser que ça pourrait être ci ou ça ; méfions-nous, ça ne détecte pas bien !

Par contre, elles savent très bien synthétiser. C’est plus facile, ça a toujours été la même chose : la synthèse de la parole est plus facile que la reconnaissance de la parole. Donc ces machines sont capables de dire « oh là, là ! Vous êtes vous formidable, je vous aime », « je suis triste pour toi ! » [prononcés avec les emphases correspondantes, NdT]. Tout ça c’est du bluff parce que la machine ne ressent rien ; elle ne fait que répéter qu’on lui a dites ou alors elle les joue au moment où elle détecte quelque chose chez vous. Voilà ! Ça je sais très bien faire. C’est pour ça que je suis sortie de mon labo, on faisait ça pour essayer de faire des assistants pour les personnes dépendantes. Moi j’ai toujours dit c’est absolument utile, mais maîtrisons le cadre de ces genres de recherche. L’interaction humain-machine on projette dessus ; les technologies qu’on intègre sont assez limitées et il ne faut pas faire un bluff autour de ça.

Nicolas Martin : Pour continuer dans la projection, puisqu’on a bien compris aujourd’hui que l’IA forte ça n’est pas pour demain, même vraisemblablement pour après-demain, on va réduire un peu l’espace de projection, est-ce que ce qui arrive, ce qui est en cours, c’est l’apprentissage non supervisé ? On a dit tout au long de cette table ronde que l’intelligence artificielle était très forte sur des domaines très ponctuels, très précis. Et ce qui arrive est une machine qui n’est plus juste précise pour jouer au go ou gagner au jeopardy! mais pour avoir plusieurs compétences, donc une machine qui serait compétente et sur divers secteurs de reconnaissance. Quelle est l’avenir de cette intelligence artificielle à moyen terme, Jean Ponce ?

Jean Ponce : Même ça c’est difficile à prédire. Tout à l’heure je racontais l’histoire d’apprentissage supervisé. Les gens mettent des étiquettes. C’est épouvantablement coûteux, effectivement chacun de nous, quand il clique sur des machins sur Internet, aide un peu à ça, mais c’est quand même très coûteux et donc un des objectifs de la science de l’intelligence artificielle, c’est l’apprentissage non supervisé pour lequel on donne juste les données sans avoir d’intervention manuelle. Mais ça c’est très difficile à faire donc des tas de gens y travaillent ; chez nous on y travaille, il y a beaucoup qui y travaillent, mais ça reste très difficile. Et j’ai un de mes collègues, qui s’appelle Emmanuel Dupoux qui est un bon exemple pour ça. Je m’emmêle toujours les pédales dans les nombres qu’il donne, c’est quelqu’un qui vient des sciences cognitives, qui travaille sur l’apprentissage chez les bébés. Et ce qu’il dit c’est qu’aujourd’hui, genre Google Translate ou ce genre de truc, ça marche sur, je ne sais pas, une soixantaine de langages. Dans le monde entier il y a, je ne sais plus, 3000 langages, mes chiffres sont sûrement complètement faux et il y a les 60 langages, je ne sais pas, il y a un milliard et demi de gens qui les parlent ??? de trois milliards, ça laisse de côté trois milliards de personnes. Aujourd’hui, pour entraîner ces systèmes, il y a un linguiste qui prend des notes sur des dizaines de milliers d’heures de paroles. Un bébé, lui, il n’y a aucun linguiste qui prend des notes parce que, de toutes façons, le bébé ne sait pas lire. Et le bébé apprend quand même tout seul, enfin avec ses parents, mais sans les annotations, etc., il apprend tout seul à parler. Donc il y a des énormes enjeux de scale up, je ne sais pas comment on dit, de passage à l’échelle. Si on arrive à résoudre ces problèmes d’apprentissage non supervisé ou sans doute, plus raisonnablement, faiblement supervisé, c’est-à-dire qu’on donne très peu d’annotations, on se contente des métadonnées qui sont présentes dans les données qu’on trouve sur Internet, à ce moment-là il y a des gros enjeux, enfin plutôt on arrivera à faire beaucoup de choses. Je pense que c’est un des gros enjeux aujourd’hui et là où il faut espérer des gros progrès dans les dix années à venir.

Nicolas Martin : L’apprentissage économe plutôt que l’apprentissage supervisé.

Laurence Devillers. : Exactement. Parcimonieux. Et c’est ce qu’on fait déjà dans le traitement de la parole. On l’a fait souvent au LIMSI, dans le laboratoire où je suis, pas forcément moi, mais des chercheurs renommés, en tout cas. Et c’est vrai qu’on a pu montrer qu’il suffisait d’étiqueter très finement quelques heures de discours et qu’on arrivait à des performances comparables. Si vous prenez 20 heures par exemple de discours, vous faites une intonation très fine et vous créez un système ; après vous prenez une heure de très bien décrit et puis vous prenez, par contre, 4000 heures de discours, eh bien vous pouvez arriver aux mêmes performances. Donc le passage à l’échelle est possible. La parcimonie dans l’apprentissage c’est ce qu’on recherche tous, les chercheurs.

Après, ce qu’il faut comprendre, c’est qu’on n’arrivera jamais à faire un système parfait. Il ne répondra pas à tout. Il y aura toujours ce pourcentage qui fait qu’on ne sera pas à 100 %. Donc là on crée des systèmes qui ne sont jamais fiables à 100 %. Il faut comprendre ce genre de choses et puis être capables de les utiliser à bon escient. C’est-à-dire qu’on ne va pas mettre nos sécurités en jeu si c’est ça, sauf que, je reviens sur ce que vous avez dit au début, la voiture autonome, eh bien effectivement il y a moins de morts. Si vous regardez les chiffres de mortalité quand ce sont des humains qui conduisent, c’est beaucoup plus élevé. Donc le risque zéro n’existe pas, mais si on descend de 100 les morts sur la route, pour ne pas utiliser des machines autonomes ?

Nicolas Martin : Un mot pour conclure, Benjamin Bayart, est-ce que, effectivement, on arrive à cet objectif qui est que de ne plus avoir une extrême performance dans l’apprentissage très pointu, mais s’approcher vers ce que disait Jean Ponce, l’apprentissage d’un enfant c’est-à-dire un apprentissage progressif dans plusieurs secteurs ?

Benjamin Bayart : Sur l’état de l’art dans le domaine de l’apprentissage dans l’intelligence artificielle, c’est plutôt à Jean Ponce et Laurence Devillers qu’il faut demander. Je suis beaucoup trop loin, je n’ai pas joué à ça depuis mes études. En revanche, l’image du bébé est très mauvaise. Parce qu’en fait un bébé apprend parce qu’il aime sa mère, parce qu’il aime son père. Donc vous ne pouvez pas supposer que l’ordinateur va apprendre parce qu’il vous aime ; ça supposerait qu’il vous aime ; ça supposerait qu’il ait une émotion ; ça supposerait qu’il ait un cœur.

Jean Ponce : Il apprend peut-être un tout petit peu pour survivre aussi.

Benjamin Bayart : Oui, mais ça suppose qu’il y ait un conatus, ce que l’ordinateur n’a pas.

Laurence Devillers. : Bravo ! Exactement !

Benjamin Bayart : Donc l’image n’est pas la bonne. Ce qu’on essaye de faire c’est quelque chose qui pourrait ressembler, peut-être un petit vu de loin par temps de brouillard, c’est-à-dire comment apprendre un langage sans qu’on vous l’explique par un formalisme très complexe et des milliards d’exemples et des centaines de milliards d’essais et d’erreurs. Mais ça ne sera pas la façon dont un bébé apprend. C’est exactement ce que je disais tout à l’heure : on trouve un problème dont on se dit « tiens ça c’est un signe d’intelligence, on va le faire faire par un ordinateur », et à la fin on a toujours un ordinateur con, mais qui sait résoudre ce problème-là ! Conduire une voiture, si vous aviez demandé à ma grand-mère, il fallait être humain pour ça ! On va réussir à le faire faire à un ordinateur beaucoup mieux que nous ; je veux dire les voitures autonomes sont déjà meilleures que nos conducteurs, mais ces voitures sont parfaitement idiotes et sont incapables de comprendre un jeu de mots le plus débile possible.

Nicolas Martin : Laurence Devillers, en un mot.

Laurence Devillers. : Juste pour imager ça, il y a un roboticien qui est formidable qui travaille à Inria qui fait un robot qui fait de crêpes. Faire des crêpes on sait tous que ce n’est pas super facile. Juste pour vous donner l’exemple de ce qu’il fait et il apprend automatiquement à faire des crêpes. Donc on lui met une crêpe en plastique, sinon il en mettrait partout et il essaye de la faire sauter et elle tombe, elle tombe, elle tombe jusqu’à certain temps où paf ! la crêpe elle saute tout le temps. Tac ! Tac ! tac ! L’humain à côté il la fait peut-être chuter une fois, mais la deuxième fois, il la fait. Vous changez la grosseur de la taille de la crêpe, vous la remettez dans la poêle, le pauvre robot eh bien il recommence ; c’est laborieux l’apprentissage d’un robot ; c’est de la créativité laborieuse. Il va recommencer ça un certain temps et puis il va retrouver le bon mouvement pour faire sa crêpe. C’est vraiment ça l’apprentissage des machines. C’est un apprentissage laborieux qui n’a rien d’instinctif, sans sens commun, sans compréhension, rien à voir avec un enfant !

Nicolas Martin : Eh bien voilà, ce sera la fin. Vous voyez qu’on peut conclure une émission, un tour de table d’une une table ronde scientifique en se disant que tout est rendu possible grâce à l’amour. Merci beaucoup Benjamin Bayart. Merci à vous trois.