ChatGPT dans le texte

Titre : ChatGPT dans le texte

Intervenants : Alexandre Gefen - Yann Le Cun - Italo Calvino - Xavier de La Porte

Lieu : Émission Le code a changé - France Inter

Date : 9 juin 2023

Durée : 60 min

Podcast

Licence de la transcription : Verbatim

Illustration : À prévoir

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Transcription

Xavier de La Porte : Dans l’épisode précédent, qui traitait de tout autre chose d’ailleurs, j’ai émis, en passant, l’hypothèse que la littérature nous avait préparés à ChatGPT. Il faut reconnaître que ça ne reposait pas sur grand-chose.
Et puis voici que début mai, est paru un livre qui s’intitule ChatGPT et nous. Ce que le titre ne dit pas, et qui fait toute l’originalité de ce livre, c’est que son auteur est un littéraire. Un très respectable directeur de recherche au CNRS, du nom d’Alexandre Gefen, qui officie au Centre d'études de la langue et des littératures françaises. Il se trouve qu’Alexandre Gefen s’intéresse depuis longtemps au numérique, il code en plusieurs langages, dès 1999 il a créé le site fabula.org, dédié à la recherche littéraire, il dirige des thèses qui portent sur ces questions, et il suit depuis longtemps ce qui se fait dans ce champ vaste qu’on appelle les humanités numériques.
Là j’ai compris que c’est exactement ce que je cherchais depuis novembre, depuis que ChatGPT a fait irruption dans nos vies, que des millions de gens se sont mis à converser chaque jour avec ce programme et que tout le monde s’est mis à se poser des questions sur les progrès réalisés par l’IA. Je cherchais quelqu'un qui sache comment marchent ces IA génératives, mais qui regarde aussi ChatGPT pour ce qu’il est : une machine qui produit du texte, une machine mathématique qui se nourrit du langage humain et qui donne à lire du langage humain. Parce que, au fond, beaucoup de ces questions qu’on se pose avec angoisse au sujet de l’IA – est-ce que ces machines pensent ? Est-ce que ces machines connaissent le monde mieux que nous ? Est-ce qu’elles sont capables de créer ? Est-ce qu’elles vont nous remplacer y compris dans des tâches qu’on croyait proprement humaines ? – eh bien la plupart de ces questions sont liées au langage. D’ailleurs, si on y regarde bien, les métiers qui sont directement menacés par les performances de GPT – depuis l’écriture de communiqués de presse, jusqu’à la programmation informatique, en passant par le sous-titrage par exemple – sont des métiers qui ont à voir directement à voir avec le langage. Si on est ébéniste ou assistante maternelle, on est encore peinard quelque temps. C’est donc avec cette idée en tête que j’ai demandé à Alexandre Gefen de venir passer un moment dans les studios de Radio France. Comment un spécialiste de la littérature et de son histoire regarde ces machines textuelles avec lesquelles nous allons devoir vivre ?
D’ailleurs c’est comme ça que j’ai commencé la discussion, un peu abruptement, en lui demandant comment il vit l’arrivée de ChatGPT.

Alexandre Gefen : Moi, ça ne me surprend pas beaucoup parce que ça fait longtemps que mon métier c’est de faire parler des corpus, de faire parler le langage par le langage. L’idée que tout d’un coup la connaissance se mette à parler par elle-même c’est un truc que j’ai vu venir. J’ai vu venir les outils en linguistique, j’ai vu venir les premiers outils statistiques qui permettaient d’interpréter des choses qui, autrement, étaient lisibles, j’ai vu venir les premiers réseaux de neurones qui permettaient de donner l’équivalent sémantique d’un mot à un autre, j’ai vu les premiers outils qui donnaient une sorte de synthèse des documents, de manière absolument spectaculaire, il y a déjà cinq/six ans. Tout cela est arrivé très progressivement, j’ai vu GPT, j’ai vu GPT-2, j’ai vu GPT-3, je me suis accoutumé, je me suis familiarisé. C’est aussi le moment où on a vu ces premiers assistants personnels qui vous parlaient, c’est le moment où on a vu les premiers GAN [Generative Adversarial Networks, les intelligences artificielles qui créaient les premières œuvres ; tout cela est donc arrivé assez progressivement.

Xavier de La Porte : Il a raison de le rappeler, Alexandre. Quiconque a suivi les évolutions de l’IA ces dernières années a plus ou moins vu venir ChatGPT. C’est important de se souvenir que tout cela ne vient pas de nulle part. D’ailleurs, ça permet d’expliquer certaines réactions qui, sinon, pourraient paraître un peu bizarres. Je pense par exemple à Yann Le Cun quand il était interrogé, en avril dernier, dans la matinale d’Inter, lui, responsable de l’IA chez Meta, c’est-à-dire Facebook, lui qui est pionnier du réseau de neurones et un des papes de la discipline depuis 2012 au moins, quand on lui demande ce qu’il pense de ChatGPT, il ne trouve pas ça ouf.

Yann Le Cun : Au niveau de la science et de la technologie sous-jacente ce n’est du tout révolutionnaire, non. C’est facile, pour des gens comme mes collègues et moi, qui voient ça des tranchées, pour nous c’est une évolution un petit peu naturelle. Ces systèmes de deep learning sont ce qu’on appelle des réseaux de neurones artificiels de très grande taille, on peut les entraîner sur des quantités de textes absolument énormes, mais le principe sur lequel ils sont basés c’est purement essayer de prédire la continuation d’un texte. Dans le texte avec lequel ils ont été entraînés il y a beaucoup de connaissance humaine mais qui est très superficielle. Ça ne comprend pas, par exemple, la connaissance du monde physique, du monde réel. Donc ces systèmes, d’une certaine manière, ont beaucoup moins de connaissance du monde réel que votre chat.

Xavier de La Porte : Je suis convaincu que Le Cun dit ça pas seulement parce qu’il est chez Facebook et que Facebook s’est fait voler la mise par OpenAI, la boîte qui a développé ChatGPT. Il le dit parce qu’il sait d’où ça vient et qu’il connaît les limites du truc. D’ailleurs, note pour plus tard, il faudra qu’on revienne sur cette question de l’ignorance que GPT a du monde physique et tout ça ; c’est rigolo cette histoire de chat.

Donc, je comprends le ton un peu blasé d’Alexandre, mais il y a autre chose dans ce qu’il dit, quelque chose qui n’est pas un propos d’ingénieur et qui m’interpelle. Au tout début de sa réponse, Alexandre a dit qu’il était d’autant moins surpris par GPT que son métier de chercheur sur la littérature c’est de faire, je cite, «  parler le langage par le langage ». Je lui demande de préciser ce qu’il entend par là.

Alexandre Gefen : Pour nous, le fait de connaître le monde comme le fait ChatGPT non pas avec des concepts, mais d’abord avec du langage, avec des mots, des séquences de mots, des enchaînements de mots, c’est au cœur de notre métier, c’est totalement naturel.

Xavier de La Porte : Connaître le monde non par des concepts mais par des enchaînements de mots. C’est une très bonne définition de la manière dont fonctionnent ces IA comme GPT, mais qu’est-ce que ça veut dire vraiment ? Ça veut dire que si je demande à GPT, par exemple, qui est le général De Gaulle, il ne va pas aller chercher dans une base de données où seraient classés les grands personnages de l’histoire en fonction de leur rôle, de leur époque, etc., quand je lui demande qui est le général De Gaulle, GPT va chercher dans l’immensité des données qu’il a accumulées les mots et les groupes de mots qui, statistiquement, sont les plus probables d’apparaître en lien avec cette question. Évidemment je caricature, mais c’est quand même ça le principe. À aucun moment on ne passe par des concepts, à aucun moment on ne fournit à la machine un découpage du monde. On lui fournit juste des données textuelles en masse que ces modèles statistiques très complexes vont mouliner pour produire, en sortie, un autre texte.
J’ai du mal à comprendre comment Alexandre peut dire que pour des littéraires ce processus est, je reprends son expression, « totalement naturel ». Encore une fois je luis demande de préciser.

Alexandre Gefen : La génération de textes c’est un vieux rêve en littérature. La première machine à écrire automatique est dans Les Voyages de Gulliver de Swift au début du 18e siècle.

Xavier de La Porte : Il en dit quoi ?

Alexandre Gefen : Il invente une sorte de truc qui s’appelle the machine qui va fabriquer des réponses sur tous les sujets, il le dessine. Il y a un schéma dans Les Voyages de Gulliver de cette machine à écrire. C’est un mythe qui est encore plus ancien. À la fin du Moyen Âge, il y a cette légende, cette tête enchantée d’Albert le Grand, qui était un philosophe scolastique qui avait l’habitude de répondre à toutes les questions de manière un petit peu formelle. Il y a l’idée de cette machine qui va répondre automatiquement aux questions et son disciple, Saint-Thomas d’Aquin, casse la machine.

Xavier de La Porte : Alors là, je ne sais pas du tout à quoi fait référence Alexandre. Renseignements pris, au 13e siècle, en Allemagne, a vécu un type auquel on a donné le nom d’Albert le Grand. C’était un moine dominicain mais c’était aussi savant total – philosophe, théologien, alchimiste naturaliste – comme on pouvait l’être à l’époque. Albert a écrit d’immenses traités visant à recenser les savoirs de son temps. Dans un de ses livres, De Anima, De l’âme, il décrit une sorte d’automate de bois qui aurait été capable de répondre à tous les ordres. Dans les récits ultérieurs, il est raconté qu’Albert aurait essayé de construire cette machine mais qu’elle aurait été détruite par un de ses disciples, Thomas d’Aquin dit-on, qui y voyait dit-il une diabolique.
On se fout un peu de la dimension légendaire de cette histoire, ce qui importe ici c’est que le rêve d’un automate savant est très vieux rêve, déjà présent au 13e siècle et qui a traversé ensuite les époques en passant donc par plein de trucs dont le Gulliver de Swift. Si GPT semble naturel à quelqu’un qui vit dans la littérature c’est parce que la machine à texte c’est un thème qui traverse les textes depuis longtemps. OK, mais est-ce qu’il n’y a pas un rapport plus théorique ? Alexandre enchaîne.

Alexandre Gefen : Moi je suis né dans une culture critique qui était aussi celle du structuralisme, du formalisme dans lequel l’idée que le langage était un code était absolument naturelle. Je me souviens d’avoir lu des articles de Calvino sur littérature et cybernétique, déjà les métaphores passaient d’un champ à l’autre.

Xavier de La Porte : Là encore, il faut que j’arrête avec Alexandre. Italo Calvino je connais, auteur notamment de très beaux contes Le Baron perché et Le Vicomte pourfendu et d’un roman magnifique Si par une nuit d'hiver un voyageur qui est une sorte de jeu littéraire complexe où le lecteur se perd dans plein de débuts de romans dont il ne connaîtra jamais la fin. De Calvino je me souviens de ça. Mais qu’il se soit intéressé à la cybernétique, alors là, j’ignorais complètement. En effet, en cherchant un peu, les liens apparaissent.
Dans Si par une nuit d'hiver un voyageur, Calvino parle d’une machine qui pourrait lire et écrire à partir de ce qu’elle a lu. C’est vrai que sur le principe ça ressemble vachement à ChatGPT et il écrit cela en 1979.

Italo Calvino : J’aime beaucoup monter des machines. Dans mes romans je monte des machines très compliquées. J’espère qu’elles restent compliquées pour moi et pas pour lecteur.

Xavier de La Porte : Ce qui est plus intéressant encore c’est pourquoi Calvino pense à une machine comme ça. C’est parce que, depuis les années 60, il s’intéresse de près à tout ce que produit l’informatique à la fois matériellement mais aussi théoriquement. On voit ça dans une conférence qu’il a donnée à Turin en 1967 dans laquelle il cite les pionniers de l’IA et aussi les théoriciens de la cybernétique, Shannon, Wiener, von Neumann, Turing, etc.
Mais pourquoi cela intéresse-t-il un mec qui écrit de la littérature ? Parce que Calvino, comme beaucoup d’autres écrivains et théoriciens de son époque, voit la littérature comme un art de la combinatoire. Écrire un texte c’est combiner avec des composants linguistiques. Et s’il y a un truc que les machines permettent de faire, eh bien c’est la combinatoire. Donc, il n’y a aucune opposition théorique à ce que les machines puissent produire de la littérature.
Là, je commence à percevoir les liens fondamentaux entre littérature et ChatPT. Il y a donc des écrivains qui, dans les années 60, avaient déjà réfléchi aux questions qu’on se pose aujourd’hui et y avaient même répondu. Et, pour quelqu’un comme Alexandre qui connaît cette histoire, tout cela est assez familier.
Il y a quand même une question : peut-être que les gens qui pensaient comme Calvino dans les années 60 étaient-ils particulièrement en avance sur la technique de leur époque. Là encore, Alexandre me douche un peu.

Alexandre Gefen : Les méthodes fondamentales de ChatGPT datent des années 60. Le principe linguistique qui permet d’enchaîner un mot après un autre d’après un contexte, de comprendre que le sens d’un mot ce n’est pas une ontologie abstraite, ce sont d’abord les mots avec lesquels il apparaît, c’est un truc qu’on connaît, c’est un principe de linguistique statistique hyper-établi, dont on se servait tout le temps en fait.

Xavier de La Porte : C’est important ce que dit Alexandre : à la base de ces IA génératives de texte il y a un principe linguistique. À la base de ces machines mathématiques super sophistiquées, il y a une idée de la langue et cette idée c’est que le sens d’un mot n’est pas un truc clos, donné une fois pour toutes, une ontologie, pour reprendre le terme d’Alexandre, mais le sens d’un mot dépend avant tout d’un contexte. Dès les années 60, certains sentent bien que c'est la statistique qui va permettre aux machines de déduire le sens d’un mot à partir de son contexte. Sauf qu’on n’a pas les machines pour le faire et que, jusque dans le milieu des années 2010, on patauge et on voit bien que tout cela n’est pas sans lien avec l’idée que Calvino, et plein d’autres, se font de la littérature comme un art de la combinatoire que des machines vraiment puissantes pourraient pratiquer aussi bien que nous.
En fait, tout cela va ensemble et c’est super important de le rappeler pour amortir un peu le choc produit par ChatGPT et consorts. Tout cela a une histoire qui n’est pas seulement liée à l’histoire des maths mais est aussi liée à l’histoire de la littérature. On pourrait donc défendre l’idée que la littérature et son histoire nous ont préparés, de différentes manières, à la possibilité d’accueillir sans angoisse un truc comme ChatGPT.

Néanmoins, il s’est quand même passé plein de choses depuis les années 60 et il s’est passé plein de choses notamment ces dernières années. J’aimerais qu’Alexandre me dise si ChtGPT n’a quand même pas marqué une étape dans tout cela.

13’ 30

Alexandre Gefen :