Que peut-on vraiment reprocher aux outils actuels d'intelligence artificielle
Titre : Que peut-on vraiment reprocher aux outils actuels d'intelligence artificielle ?
Intervenant : Raphael Isla
Lieu : École nationale supérieure d'électrotechnique, d'électronique, d'informatique, d'hydraulique et des télécommunications - Capitole du Libre
Date : 19 novembre 2023
Durée : 27 min 45
Licence de la transcription : Verbatim
Illustration : À prévoir
NB : Transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.
Transcription
Bonjour tout le monde. Merci d’être venus.
Je suis Raphael Isla, de métier je suis informaticien et, par passion, je suis énervé contre la société. Aujourd’hui, je suis énervé contre les intelligences artificielles.
Je suis informaticien, mais je ne suis pas développeur, je ne suis pas tech, je fais de la traduction entre le langage tech et le langage des utilisateurs. Je fais du support, je fais de la formation, ce genre de choses. Donc, peut-être que je vais dire des énormités, j’espère que non, si jamais, vous n’hésitez surtout pas.
Que peut-on reprocher vraiment aux outils actuels d’intelligence artificielle ?
J’ai 25~minutes et il y a beaucoup de choses à dire.
Juste une mise au point
On va commencer avec juste une mise au point, c’est cadeau pour la chanson.
La question, c’est : intelligences artificielles, est-ce que ce sont vraiment des intelligences ? Quelle est la définition qu’on donne à « intelligence », globalement, et dans le terme « intelligence artificielle » ?
Ce dont je vais parler ce sont les modèles ChatGPT, Stable Diffusion, Bard, etc., en fait ce qui est connu du grand public.
Ceci étant posé, on va pouvoir attaquer le gros morceau.
Des problèmes (relu sans audio Véro)
Des problèmes de tout type.
Les premiers qui peuvent être assez francs, ceux qu’on connaît, ceux qu’on voit souvent :
- irrespect du droit des artistes. Les modèles d’intelligence artificielle, dont je parlais, sont entraînés avec des bases de données qui sont très grandes, qui sont récupérées un peu partout sur Internet, au mépris des droits des créateurs de contenu, des artistes divers et variés. On connaît beaucoup de gens, de dessinateurs, de peintres, dont les œuvres ont été utilisées pour entraîner les modèles et qui ont été utilisées par les modèles pour faire des copies de ce que font habituellement ces artistes ;
- autre impact franc : la suppression d’emplois. Beaucoup, d’entreprises, d’entrepreneurs, de patrons, de managers, se voient très rapidement remplacer leurs employés qui coûtent du temps, de l’énergie, de leur point de vue, par des intelligences artificielles qui font le travail beaucoup plus rapidement et sans s’emmerder avec les émotions de ces humains employés ; quand même, ça gêne ! Vous voyez ce que je veux dire ? On en a tous quelques-uns en tête !
- autre grand problème : la désinformation. Les outils d’intelligence artificielle sont utilisés, volontairement ou non, pour désinformer certaines personnes. On a eu le cas, dernièrement, avec des petites échauffourées qui ont eu lieu un peu à l’est, dans un petit pays, si vous voyez ce que je veux dire. Les outils d’intelligence artificielle et les outils qui sont censés détecter les images créées par une intelligence artificielle ont été utilisés pour dire « mais non, ce qui se passe là-bas ce n’est pas vrai, toutes les images qu’on a sont fausses, ça a été créé par de l’IA, ce n’est pas du tout ce qui se passe là-bas », voilà un exemple de désinformation ;
- autre problème : trauma des modérateurs. Je ne sais pas si vous vous souvenez, il y a quelques années, Microsoft avait essayé de lancer une intelligence artificielle et l’avait lancée sur Twitter pour qu’elle s’entraîne en lisant ce qui se passait sur Twitter. En deux/trois heures ou deux/ trois jours, je ne sais plus, l’intelligence en question était devenue complètement nazie. Du coup, pour ne pas reproduire ce problème sur les outils utilisés, actuellement des modérateurs regardent ce que fait et ce qu’apprend l’intelligence et qui disent « non, ça ce n’est peut-être pas à garder en mémoire, ce n’est pas à garder dans le modèle » et, en général, ce qu’ils voient ce sont des horreurs, des horreurs de terrorisme, d’idéologies inacceptables et ce genre de choses. Ces gens passent leurs journées à repérer toute la lie de l’humanité dans les IA pour leur dire « non, il ne faut pas utiliser ça » et ces gens en ressortent globalement traumatisés.
Voilà quelques impacts francs, quelques problèmes faciles à repérer sur les IA.
Et puis il y a des impacts un peu plus subtils :
- Pollutions de modèles de données. Les intelligences artificielles se basent sur ce qu’elles ont repéré sur Internet, reproduisent et complètent Internet avec ce qu’elles produisent elles-mêmes, mais, au début, la qualité fournie n’était pas au top. Mais, les générations suivantes ont récupéré ce qu’elles ont fourni pour s’en servir aussi et s’entraîner. Du coup, les premières générations d’intelligence artificielle ont fait de la merde et les suivantes ont mangé cette merde pour en refaire derrière. J’utilise des mots crus, on va dire que je suis un vulgarisateur vulgaire. Donc, pollution des modèles de données, ça gêne un peu, ça va empirer les problèmes divers et variés.
- Pollution des outils de recherche. Je ne sais pas si vous êtes passé sur Google ces derniers temps et vous avez peut-être repéré certains problèmes, certaines réponses qui étaient fournies par des outils d’intelligence artificielle. J’en ai une mémoire. Quand on demandait à Google « quel pays d’Afrique commence par la lettre « K », la réponse était « aucun pays d’Afrique ne commence par la lettre « K », le plus proche c’est le Kenya, mais le son n’est pas exactement le même. – Pardon ! Ça ne va pas Google ! Qu’est ce qui t’arrive ? ». On a eu quelques petits exemples comme ça, pollution des outils de recherche. Maintenant, on peut aussi retrouver, sans être aussi flagrant que ça, des réponses qui remontent, qui sont plus subtiles, qui ne sont pas totalement vraies, mais qui sont du gloubi ??? [7 min 13] un peu crade récupéré par de l’intelligence artificielle.
- Autre problème subtil : les biais ethniques et culturels. Les IA s’entraînent sur des modèles et repèrent ce qui est le plus fréquent, ce qui est la majorité, ce qui est la norme, et considèrent que cette norme est la seule et unique vérité. Ce qui fait que les minorités deviennent invisibles, encore plus, avec ces outils d’intelligence artificielle. Non seulement cela pose problème pour les gens qui s’en servent, qui ne se rendent pas forcément compte de l’existence des minorités, mais, en plus, les décisions qui sont prises avec ces IA, avec ces biais, sont complètement faussées par rapport à la réalité.
- Dernier petit problème subtil : la consommation énergétique. Pour entraîner des modèles à partir des bases de données, il faut leur faire parcourir toutes les bases, enfin, un certain nombre et, en trois jours, ça consomme à peu près autant qu’une dizaine de maisons sur une année. Niveau consommation énergétique, ça représente quand même beaucoup. À l’époque actuelle, où on a des débats sur la sobriété, l’écologie, le réchauffement climatique, je trouve, personnellement je trouve que c’est un peu gênant.
Certaines personnes vont dire que l’IA c’est juste un outil, oui c’est juste un outil, sauf que l’outil en question récupère tout ce que je vous ai dit jusqu’à maintenant et certaines autres choses qui sont représentées sur ce magnifique graphique open source bien sûr, « Si un marteau était comme l’IA », donc avec les biais, monoculture, coût carbone et tout ça.
Des solutions ? (Relu sans audio Véro)
Maintenant qu’on a exposé les problèmes, quelles sont, éventuellement, les solutions qu’on peut apporter ?
Je me suis un peu amusé avec les illustrations dans têtes de chapitre.
- On peut essayer de changer les IA, on peut essayer d’avoir des IA respectueuses de droit. Hier soir, lors d’une table ronde, j’ai discuté un peu avec des gens qui s’y connaissent, madame Sèdes, monsieur Latombe et monsieur Sztulman, qui sont des élus et qui disaient « au niveau européen on va essayer de construire des IA qui ne sont pas basées sur le modèle américain. On va essayer de faire en sorte qu’elles soient plus respectueuses, qu’elles soient moins biaisées, tout ça ». Vœu, vœu pieux ? On verra ce qui va se passer, j’ai quelques doutes.
- Des IA multiculturelles. On pourrait essayer d’avoir des IA construite de manière à ce qu’elles ne se basent pas juste sur la majorité, juste sur la norme, mais qu’elles prennent en compte tout ce qu’elles voient et qu’elles apprennent à ne pas invisibiliser les minorités.
- Et puis, surtout, on pourrait essayer d’avoir des outils d’IA qui soient libres. Pour le moment, il n’y en a pas beaucoup. J’en ai trouvé un qui fonctionne, j’ai beaucoup aimé parce que c’était, pour les plus vieux d’entre nous, sur le modèle de SETI@home où chacun fournit son ordinateur et, quand l’ordinateur n’est pas utilisé par son propriétaire, il est utilisé par les IA pour faire des modèles, de l’image en l’occurrence, c’est pour faire de l’image à partir de textes. Le but c’est que ça soit décentralisé, chacun fait une petite partie et après on centralise à nouveau tout ça. Sur le principe j’aime beaucoup : Libre, tout le monde participe, la communauté, c’est sympa. Après, je ne sais pas sur quels modèles ça a été entraîné, donc, peut-être que ça va poser des problèmes de ce côté-là.
- Et, si on n’arrive pas à changer les IA, ou si on y arrive mais pas assez, on peut essayer de changer le système.
Si on a des IA qui bossent à notre place et qui nous privent d’emploi, peut-être qu’on dit « on va redistribuer leur richesse », on file quand même du fric à ceux qui ont pas d’emploi, histoire qu’ils puissent vivre, revenu de base, tout ça. Ça vous parle ?
Ou alors on redistribue l’emploi, on dit « au lieu de bosser 35/39/40 heures par semaine, 50, on pourrait bosser 28 heures par semaine chacun, ou 20, ou 12 – je suis un feignant. Si on a des IA qui font les travaux répétitifs, rébarbatifs, à la place des humains, aucun problème et, après, on partage l’emploi, on a chacun un petit truc à faire, deux/trois heures par semaine, je suis passé de 28 à 2. Tout va bien.
J’ai bien dit « redistribuer l’emploi », je parle d’emploi salarié au sens large. Si quelqu’un a envie de travailler de son côté, de ne pas être oisif, ça ne me pose aucun problème, les hobbies, vous faites ce que vous voulez dans votre vie, je n’ai pas de soucis avec ça. - Et puis redistribuer le temps libre. Une fois qu’on bosse moins, on a plus de temps libre. Redistribuer le temps libre, c’est aussi faire communauté, c’est faire des quartiers, des jardins partagés, des conférences, des ateliers sur le Libre, ce genre de choses.
Je ne l’avais pas marqué, j’y ai pensé entre le moment où j’ai fait mes slides et tout ça.
Redistribuer le temps libre, c’est avoir le temps de faire de l’art. Ce qui me gêne avec les IA actuellement, c’est qu’elles sont utilisées pour faire des histoires, des fictions, des tableaux, des images. Je préférerais des IA qui fassent du travail à la chaîne, qui fassent des travaux toxiques, dangereux, pour l’être humain et que l’être humain se retrouve à faire de l’art. Je préférerais ça personnellement. Et surtout, que l’être humain se retrouve payé à faire de l’art, parce que, quand on demande à une IA « vas-y, représente-moi deux personnes, dans un champ, en train de se tenir la main, avec un fond de soleil couchant, parce que j’ai besoin d’illustrer mon histoire », pendant ce temps il y a un artiste qui n’est pas payé, il y a un artiste qui se demande « comment je vais finir ma fin de mois. » Je me dis « des IA, oui, mais pas pour de l’art », on se garde l’art pour nous, pour les artistes qui sont payés et pour nous, parce que, faire de l’art soi-même, c’est aussi très satisfaisant. Si vous n’en avez pas fait, essayez un jour.
Voilà globalement ce que je voulais vous dire, je suis un vulgarisateur, donc je n’ai pas abordé les sujets techniques.
Des questions (relu sans audio Véro)
Si vous avez des questions, je vais avoir très peu de réponses. Je vais essayer. Il y a une question là-bas. Le micro arrive. Oui, j’ai dix minutes. Mon but c’était de pas avoir de questions.
Public : Bonjour.
Raphael Isla : Bonjour.
Public : Ma question c’est par rapport au droit d’auteur. Je vais prendre l’exemple de la musique, mais ça peut être vrai pour le cinéma ou pour l’image : on va donner des milliers, des millions de fichiers musicaux à une intelligence artificielle qui va les analyser et, après, on va lui dire « fais-moi un morceau de techno » et elle va faire un morceau de techno parce qu’elle aura analysé tout ce qu’il y a dans la techno. En fait, quelque part, c’est ce que font les artistes, un artiste qui fait de la techno écoute plein d’autres artistes de techno et, un jour, il fait de la techno et, dans sa musique, on entend ces influences et, parfois, fortement. Parfois, certains n’hésitent pas à faire quelque chose qui ressemble beaucoup à d’autres. Quelque part, j’ai l’impression que l’intelligence artificielle fait la même chose, ce sont des influences, c’est son inspiration, donc j’ai du mal. Quand un artiste sort un disque, il ne paie pas des droits à tous les artistes qui l’ont influencé, qu’il a écoutés et qui l’ont inspiré. Donc, quelque part, l’intelligence artificielle fait la même chose et je ne comprends pas qu’on lui demande, à elle, de payer des droits sur tous les fichiers qu’elle aura consultés.
Après, en ce qui concerne l’art, je suis d’accord avec vous qu’on pourrait se passer de l’intelligence artificielle. Mais je ne vois pas pourquoi on lui demanderait des comptes sur ce qui l’a inspirée vu qu’on ne le fait pas avec les artistes.
Raphael Isla : La réponse est simple : que le temps que passe un artiste à s’inspirer et à créer ses propres œuvres est énormément plus grand que le temps que prend une intelligence artificielle. C’est du travail sur la durée et c’est cela qui est payé en fait, c’est cela qu’on paye à un artiste, c’est cela qu’il faut reporter. D’accord. En plus, un artiste qu’on paye, c’est une personne qu’on fait vivre, c’est une personne à qui on donne les moyens de vivre.
Quand une intelligence artificielle aura produit quelque chose et qu’on va la payer, où ça va aller ? Au propriétaire de l’intelligence artificielle qui va se gaver. Donc, je préférerais qu’on fasse vivre les artistes. Les artistes ont travaillé beaucoup et durement pour ça et eux n’ont pas payé de droits. Peut-être que si en fait ! Parce que les artistes, pour s’inspirer, ils ont acheté des disques, ils sont allés à des concerts, ils ont payé des abonnements sur Patreon, sur Spotify ou des pubs ou leurs données. Quelque part, un artiste qui s’inspire, il a payé aussi à ses prédécesseurs sauf s’il s’inspire, effectivement, des préraphaélites ou de l’Antiquité grecque.
Public : À ce moment-là, il faut que la personne qui crée l’intelligence artificielle qui va s’inspirer, paie tous les fichiers qu’elle va utiliser pour nourrir l’intelligence artificielle. Réclamer des droits, je trouve cela bizarre, je trouve moins bizarre de payer des fichiers. Pour l’instant, j’ai l’impression que les fichiers sont pillés pour influencer les intelligences artificielles. Si quelqu’un a créé une intelligence artificielle pour faire de la musique, à ce moment-là toutes les intelligences artificielles doivent payer les fichiers qui la nourrissent.
Raphael Isla : Oui, non ? Apparemment, quelqu’un veut compléter.
Public : C’est dans ce sens-là qu’il faut faire payer, mais pas dans le sens de droits d’auteur sur l’utilisation de fichiers gratuits.
Raphael Isla : La subtilité m’échappe. On va voir si quelqu’un peut compléter derrière.
Public : J’ai juste un petit bout de réponse en termes de droits d’auteur : ce qui va donner la propriété sur une œuvre créative, sur un livre, sur une œuvre musicale, c’est une notion qu’on appelle la notion d’effort créatif. Ce que Raphaël décrit comme le temps passé, c’est vraiment une notion de droit, l’effort créatif, et c’est ça qui accorde la propriété sur un truc. C’est ça qu’on ne retrouve pas au niveau de l’IA, c’est la différence, c’est le fait de dire « là il y a un travail ou pas » et il y a effectivement, ce que tu dis, des artistes qui s’inspirent, des artistes qui volent, et aussi des artistes sont poursuis en justice pour ça, ça arrive. Il y a aussi des accords entre créateurs. Il y a plein d’affaires, de groupes qui ont plagié et tout, on en parle. Ce n’est pas si simple que juste dire « tu peux t’inspirer comme tu veux ». Parfois, même s’il y a inspiration et qu’elle est claire, s’il y a effort créatif, en tout cas dans le droit français, ça suffit à attribuer un droit d’auteur, ce qu’on ne peut pas vraiment accorder à une IA.
Raphael Isla : Merci pour le complément. Est-ce qu’il y a une autre question ? Oui. Une question au milieu.
Public : Ce n’est pas vraiment une question, c’est plutôt une réflexion. Ce qui m’inquiète avec l’utilisation massive d’intelligences artificielles pour produire des produits commerciaux, je précise bien produits commerciaux, parce qu’il y aura toujours des artistes qui œuvreront dans leur coin, mais, avec les intelligences artificielles pour produire des produits commerciaux, ça va être la baisse d’une certaine créativité.
En effet, les intelligences artificielles sont nourries de données existantes, elles vont faire des modèles sur ces données existantes, donc ce qu’elles peuvent produire n’est que similaire à ces données existantes. Par exemple, une intelligence artificielle qui aurait été entraînée avec des morceaux de musique rock, il y a peu de chances qu’elle génère du dubstep. Bien sûr, il y aura toujours des artistes qui innoveront dans leur coin, il va quand même y avoir de nouvelles innovations, mais je veux dire que les produits commerciaux vont rester tous similaires par rapport à ce qui a servi à nourrir les IA.
Raphael Isla : Oui, c’est en complément de ce que je disais sur les biais éthiques et culturels qui ont tendance à reproduire la grande majorité, la norme. Oui, ça vaut effectivement pour les œuvres artistiques. Heureusement qu’on a encore des artistes qui font des nouveaux trucs ! Quoique certains font un peu la même chose que ce qui existe déjà, mais c’est un autre sujet.
Public : J’avais aussi un petit commentaire, une remarque très concrète : un des problèmes de ces outils d’IA c’est qu’on ne peut plus donner de travail de synthèse à des étudiants.
Raphael Isla : Parce qu’ils le font faire par d’autres ?
Public : L’objectif, à l’origine, il y a longtemps, c’était de donner une note au travail à l’effort de synthèse, à l’effort créatif, aussi, quand on le fait soi-même et ce n’est pas de donner une note à la sélection de la meilleure IA que le prof ne va pas reconnaître. Honnêtement, on ne peut plus donner ce genre de travail et c’est dommage parce que c’est une partie du travail d’apprentissage qui est mécanique. Cette partie-là est effectivement mécanique et c’est embêtant de voir, comme vous dites, qu’on utilise des outils pour faire ça, parce que c’est contre-productif, on n’apprend pas quand on appuie sur des boutons, et qu’on ne s’en sert pas pour essayer de remplacer le travail désagréable, qu’on ne regrettera pas en tant qu’humain.
Raphael Isla : Oui. Je n’ai pas grand-chose à rajouter. Il y a plein de questions, on va bientôt se faire jeter de la salle.
Public : Pour répondre à ça vite fait, en fait, je suis d’accord sur le fond, en théorie, mais je voudrais aussi souligner qu’en pratique ce sont des problèmes qu’on avait déjà avant l’IA. Les artistes qui ne font que reprendre des trucs existants, mélanger ce qu’ils ont vu à droite, à gauche, pour faire de l’artisanat, ça existe et c’est ça remplit aussi un truc socialement intéressant. Quand la photo est passée à la photo numérique, ça a complètement révolutionné la structure, la manière de bosser, et on a aussi besoin de gens qui font des photos moches, les photos souvenirs que vous avez dans votre famille sont aussi utiles, ont aussi une valeur qui n’est aussi prestigieuse et intéressante et tout ça que des artistes qui révolutionnent la manière de prendre des photos, mais c’est aussi quelque chose qui existe. Les photographes ont, en grande partie, disparu, ils n’ont pas complètement disparu non plus, il y en a beaucoup moins, ils n’ont pas disparu et ce ne sont pas tous des grands artistes. C’est cela que je voulais souligner.
La même chose pour les rapports des étudiants. Des collègues qui font des rapports merdiques et inintéressants, j’en ai plein et j’en ai sans doute fait moi-même. L’IA va peut-être changer ça, va peut-être produire des rapports inintéressants, qu’on donnera à nos chefs, qui ne les liront pas. Du coup, il y aura toujours ces rapports, ils auront été produits par une IA, ils seront de mauvaise qualité, mais ils auraient aussi été de mauvaise qualité s’ils avaient été produits par des gens incompétents.
Raphael Isla : Cependant, ce dont on entend parler avec les rapports produits par les étudiants, le but ce n’est pas tant le rapport, mais le fait d’entraîner l’étudiant à faire un travail de synthèse, pour apprendre à avoir un esprit critique, je le vois comme ça, tout simplement.
Il y avait une question là-bas, en premier, au fond.
Public : Pour revenir sur le travail de synthèse. Il y a cinquante ans, on demandait aux étudiants de calculer sur feuille papier, maintenant plus personne ne penserait à faire ça. Tous les étudiants ont une calculatrice, c’est un nouvel outil qui est arrivé relativement récemment. Pour moi, le travail de synthèse a vocation à devenir comme le calcul rébarbatif sur papier, un truc que les étudiants ne feront pas.
Raphael Isla : Oui, mais dans le cadre de ce que je disais, s’entraîner à avoir un esprit de synthèse, c’est bien aussi de savoir faire du calcul mental, tous les jours, ça peut servir si on n’a pas de calculatrice sous la main. Quand je fais mes courses, je fais du calcul mental pour savoir où en est mon panier, j’ai appris à calculer sans calculatrice. De temps en temps, c’est bien d’avoir des bases, même si on a des outils pour régulièrement moins se faire chier, de temps en temps c’est bien de savoir les bases.
Une dernière question et après on va finir.
Public : Je vais essayer de faire vite. J’ai plutôt deux remarques plus une question. Mes deux remarques sont surtout sur les problèmes, peut-être aussi les solutions, que vous avez pu soulever. En fait, si on regarde, les trois quarts des problèmes ne sont pas forcément des problèmes de l’IA, ce sont des problèmes de civilisation.
Raphael Isla : Oui, c’est un problème de capitalisme, tout à fait.
Public : L’IA n’a rien à voir là-dedans : elle a été créée à partir des humains, ce sont des humains qui l’ont créée, ce sont les humains qui ont donné les données, ce sont des humains qui ont donc amené toutes leurs connaissances, tous leurs préjugés, tous les problèmes dits éthiques ; tous les éléments que l’IA répertorie sont des problèmes humains et, en fait, c’est l’humain qui les a amenés. On ne peut donc pas agresser l’IA pour ça, elle n’y est pour rien, c’est l’humain qui l’est.
Raphael Isla : Tout à fait. J’ai commencé en disant que j’étais énervé contre la société et, mon dernier point, c’est changer le système. Nous sommes tout à fait d’accord.
Public : Sur le changement système, je trouve un peu dommage que vous n’ayez pas parlé de l’évolution open source autour de l’IA et, pourtant, elle est extrêmement plus dynamique finalement que ChatGPT et tout ce qui peut exister autour. Elle propose, justement, tout un tas d’évolutions sur des IA qui sont beaucoup plus légères, des IA qui sont beaucoup moins bloquées au niveau éthique, des IA qui sont beaucoup plus efficaces au niveau des choses, des IA qui sont plus spécialisées aussi, donc des choses qui sont disponibles en open source, ce n’est pas du Libre pur mais c’est de l’open source ou de l’open science, qui sont donc réutilisables, qu’on peut à nouveau entrainer, retravailler, de façon à ce que tout le monde puisse participer, à ce que la communauté puisse apporter sa propre « patte », entre guillemets, à des choses et les partager avec d’autres pour que d’autres puissent les utiliser.
Raphael Isla : Du coup je voudrais bien qu’on en discute, juste après, vous et moi parce que j’ai envie de savoir.
Nous avons terminé.
Un peu de pub. Vous pouvez me retrouver sur Mastodon, https://framapiaf.org/@Relf, sur Linkedin, ce réseau du diable, https://www.linkedin.com/in/raphaelisla/, ou sur mon site personnel, http://www.famille-isla.net/raphael/, où il y a quelques liens, quelques infos, mon blog, tout ça.
Merci à vous d’avoir été là et merci de vos échanges. Bonne journée. Bon appétit.
[Applaudissements]