Impact de l'IA sur l'enseignement supérieur : est-on face à un changement de paradigme

Titre : Impact de l'IA sur l'enseignement supérieur : est-on face à un changement de paradigme ?

Intervenant·e·s : Vanda Luengo - David Cassagne - Alain Goudey - Marc Oddon - Sophie Pène

Lieu : Dock B · Paris Pantin - Conférence IA & éducation

Date : 8 juin 2023

Durée : 1 h 30 min 33

Vidéo

Page de présentation du podcast

Licence de la transcription : Verbatim

Illustration : À prévoir

NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l'April, qui ne sera en aucun cas tenue responsable de leurs propos.

Transcription

Sophie Pène :Pour commencer les débats qui vont nourrir ces deux journées, l’idée est que cette première table ronde installe un vocabulaire commun, des préoccupations communes qui ont déjà été posées par l’intervention inaugurale de Catherine Mongenet, de très façon très complète, et que chacun des intervenants qui sont ici avec moi et qui vont se présenter vont commencer à installer avec vous. Dans cette table ronde on va commencer le partage des pratiques, le partage des questions et puis l’installation des bases qui vont nous mener jusqu’à des propositions, puisque ces deux journées, qui vont être très fertiles, ont pour but d’équiper l’ESR [Enseignement supérieur et recherche] pour mener cette traversée que Luc Julia a installée et puis, en même temps, en nous redonnant quelques confiances et quelques encouragements à ne pas être perdus dans cette accélération extrêmement brutale qui nous a pris un peu de cours au début.

Je présente rapidement les intervenants :
David Cassagne, président de FUN [France Université Numérique], vice-président délégué au Numérique à l’Université de Montpellier et professeur de physique, ayant déjà une pratique pédagogique incluant les IA ;
Alain Goudey, directeur général NEOMA qui s’est fait connaître, bien sûr, outre son parcours précédent, qui est maintenant notre héraut de l’intelligence artificielle, qu’on suit tous sur Twitter puisqu’il nous fait la veille, l’analyse et il extrait les informations qui peuvent intéresser la communauté ;
Vanda Luengo, chercheur au LIP6, professeure d’informatique et au laboratoire LIP6 Sorbonne Université ; Marc Oddon, vice-président formation continue, apprentissage et insertion professionnelle à l'Université Grenoble Alpes, qui est aussi impliqué dans FUN, je crois.
Je vous donne la parole, peut-être, David, tu commences. Chacun de vous va se présenter un peu mieux et puis dire ce à quoi il tient et, en quelque sorte, quel mot clef, quel premier mot de vocabulaire ou quelle notion importante il met à votre disposition, dans la suite de ce qu’a fait Luc Julia, pour commencer à discuter ensemble.

David Cassagne :Je vais déjà parler plus, finalement, avec ma casquette de vice-président de l’Université de Montpellier et également en tant que physicien, enseignant, puisque l’intelligence artificielle est un sujet dont on est amené à s’emparer dans toutes les disciplines. Dans le cas des enseignements de master en physique, depuis deux ans déjà, on a introduit des enseignements d’introduction d’intelligence artificielle pour la physique.
Pour venir sur les sujets qui m’interpellent, surtout dans l’accélération que j’ai pu voir au cours des dernières années, c’est la dimension d’émergence. En physique, un physicien célèbre, Philip Anderson, prix Nobel de physique en 1977, a eu un article célèbre qui était intitulé « More is Different ». L’idée c’est effectivement que quand on va être dans des systèmes dans lesquels on va augmenter fortement le nombre de constituants, on peut avoir des comportements qui sont des comportements émergents. Actuellement en particulier, dans les grands modèles de langage comme ChatGPT où, comme ça a été dit pour la version 3.5, on est avec 175 milliards de paramètres, on constate qu’il va y avoir des capacités émergentes. On n'est pas dans une émergence qui serait une intelligence artificielle générale, il faut être raisonnable par rapport à ça. Étant donné que, pour comprendre ces capacités émergentes, on ne peut pas se limiter simplement à comprendre les constituants élémentaires en particulier des réseaux de neurones qui sont constitués, ça veut dire qu’il y a une complexité plus importante, plus de difficultés à interpréter ce qui s’y passe et je pense que c’est quelque chose qui va poser des questions à la fois par rapport aux aspects d’explicabilité, même si, effectivement, c’est l’objectif, mais ça peut demander du temps. En physique, quand on a des phénomènes émergents ça peut être compliqué pour pouvoir arriver à les comprendre et aussi en termes de régulation.
Le deuxième aspect qui, pour moi, interpelle dans les outils des IA génératives c’est le caractère non déterministe. C’est-à-dire que quand on est justement avec ChatGPT, un grand modèle de langage, il y a une prédiction statistique du mot suivant mais, en réalité, il y a un tirage aléatoire qui est effectué parmi ces mots avec une certaine pondération, c’est ce qui fait donc qu’à chaque fois que l’on va poser la même question on va avoir une réponse différente. Je pense que c’est quand même très différent des usages qu’on pouvait avoir auparavant en informatique de différents outils : quand on a un moteur de recherche, on peut lui poser plusieurs fois la même question, on va avoir la même réponse. Là non, à chaque fois on a quelque chose qui est différent et là aussi ça va interroger par rapport des aspects d’explicabilité.
Ce sont, pour moi, les deux aspects qui sont effectivement les plus troublants dans ces nouveaux outils.

Alain Goudey :Merci. Très rapidement, Alain Goudey, directeur général adjoint en charge du numérique à NEOMA, que vous connaissez peut-être, une école de management qui fait partie des sept meilleures écoles de commerce en France. La spécificité de NEOMA c’est qu’on a l’innovation au cœur de notre stratégie et le sujet de l’IA est un sujet démesurément nouveau. Ce qui intéressant, avec les effets de mode, c’est que tout le monde va dire ça, vous allez vous en rendre compte, on a tous un truc où on avait déjà l’IA depuis quelque temps.
En fait l’IA, ça a été rappelé par Luc Julia, c’est 1956, ce n’est pas un truc très nouveau. Avant les IA génératives, il y avait plein d’autres formes, plein d’autres outils et dans la pédagogie, tu en parleras je crois, il y a énormément de choses qu’on peut faire avec l’IA. Mais IA n’est pas égale à IA générative. L’IA générative est seulement une partie de ce plus grand ensemble que sont les IA, les intelligences artificielles. À l’intérieur de cette petite partie qu’on appelle IA génératives il y a les LLM, puisqu’on m’a demandé de parler de ce terme-là. LLM ça veut dire Large Langage Model. Les trois sont extrêmement importants.
Le premier mot c’est « large » et tu en as parlé avec le phénomène d’émergence. En gros qu’a-t-on fait ? On a modélisé, puisque, en fait, il y a un phénomène qu’on appelle tokenisation, en gros c’est l’extraction mathématique des textes qu’on a fait ingérer à ces large langage models, dont GPT 3.5 ou 4 sont un des milliers de modèles existant au monde aujourd’hui, il y en a beaucoup d’autres. Ne réduisez pas le sujet à ChatGPT, je peux en citer plein d’autres, des trucs dont vous n’avez peut-être pas encore entendu parler, durant la pause on parlait de modèles comme LLaMA [Large Language Model Meta AI], comme Alpaca, comme Falcon ; ces mots ne vous disent peut-être rien parce que ce n’est pas médiatisé, mais, en fait ils existent, ils sont extrêmement puissants.
Ce « large » est extrêmement important parce que, du coup, on a fait absorber en gros 50 millions de livre à l’IA, ce sont à peu près les chiffres qui circulent, ce sont effectivement des milliards de mots et on a extrait, comme ça, un modèle mathématique avec 175 milliards de paramètres à l’intérieur de ce modèle.

Le deuxième terme qui est extrêmement important, c’est « langage ». On se base sur des textes, ce que fait GPT, ce que fait Google Bard, ce que font les Falcon et autres : ils ont ingéré du texte et vont générer du texte, donc basé sur du langage.
Ce qui est important à avoir en tête quand on parle de langage, on parle forcément, finalement, d’une culture – parce que derrière une langue il y a une culture, c’est basique – et derrière cette culture, il y a une vision du monde. Là où je veux en venir, c’est qu’en fait dans tous les modèles larges, donc les LLM, on a forcément des notions de biais, ça a été évoqué tout à l’heure, mais on a aussi des biais qui peuvent être des biais implicites. Ce n’est pas parce qu’on va trier en disant « ça c’est une source sure et là c’est une source qui dit que la Terre est plate, on sait que ce n’est pas vrai, donc on met de côté », même si vous ne mettez que des sources sures il y aura forcément des biais parce que, de toute façon, l’humain est pétri, rempli de biais pour comprendre le monde qui l’entoure. C’est important à comprendre parce que, du coup, derrière cette notion de langage il y a forcément une vision du monde et forcément des biais liés à cette vision du monde.
Par rapport à la question qui était posée tout à l’heure : est-ce que ça serait pertinent qu’on ait un LLM français ou européen ?, je réponds deux fois oui. Le français n’est clairement pas la langue la moins parlée dans le monde, je crois que c’est la cinquième, de mémoire, quelque chose comme ça. Évidemment, à l’échelle de l’Europe avec 27 pays, 27 langues et 27 visions du monde ce serait quand même une richesse extrêmement pertinente par rapport à un modèle beaucoup plus monolithique si on parle de celui de GPT~4 qui est entraîné sur des données principalement anglo-saxonnes avec tous les biais de la vision anglo-saxonne du monde. Le plus gros référentiel d’entraînement dans GPT c’est la base des brevets américains que Google indexe. C’est le deuxième terme, langage.

Le troisième terme c’est « modèle ». Il faut intégrer que les outils dont on entend parler d’un point de vue médiatique, comme ChatGPT, comme Midjourney, sont en fait des outils de navigation à l’intérieur de ces modèles, je ne veux pas rentrer dans les notions d’espace patent, d’espace vectoriel multi-dimensions, mais, en gros, c’est ça le principe. En fait, quand on écrit un prompt, donc une consigne – je n’ai jamais trouvé de terme vraiment bien, je trouve que consigne ce n’est pas mal – pour une intelligence artificielle générative, en fait c’est le véhicule qui va permettre à l’outil de converger vers une réponse, statistiquement comme tu l’expliquais, cohérente, pas forcément signifiante et c’est là où est toute la nuance. Ces outils ne comprennent absolument rien à ce qu’on indique comme consigne, ils ne comprennent absolument rien à ce qu’ils fournissent comme résultat et derrière, effectivement, il n’y a pas une once d’intelligence, juste rien par rapport à ce qu’est l’intelligence humaine. Ce qui va faire, en fait, que ce résultat va converger vers quelque chose d’utilisable, c’est justement l’humain qui est en train de piloter cet outil. Quand vous entendez partout « l’IA va remplacer l’humain partout, tous les métiers, etc., », c’est fondamentalement faux. Ce sont les personnes qui savent utiliser ces outils qui vont peut-être, effectivement, remplacer des personnes qui finalement ne vont pas explorer. Et là on voit bien tout le challenge qui est devant nous en termes de formation.

11’ 47

Vanda Luengo :Bonjour. Je suis Vanda Luengo, chercheur au LIP6, mais surtout dans une équipe de recherche qui travaille sur l‘IA en éducation. L’IA en éducation ce n’est pas du tout ce dont on parle aujourd’hui, ce qui est à la mode, il y a peut-être un petit peu d’IA générative et peut-être qu’on va utiliser ce type de chose, mais la recherche dans notre domaine est assez différente. Je tenais quand même à expliquer un petit ce que nous faisons en IA en éducation.
C’est une communauté internationale. Il y a une conférence prévue qui s’appelle AIED [International Conference on Artificial Intelligence in Education, il y a bientôt la conférence qui a lieu au Japon tous les ans. Au niveau français on a une communauté qui fait d’autres choses que de l’IA, mais à la conférence AIED la semaine prochaine à Brest, il y a des chercheurs dans notre domaine qui vont présenter des articles sur l’IA en éducation.
C’est quoi l’IA en éducation ? En fait ce sont des IA, comme on disait tout à l’heure, qui ne se dédient qu’à un seul type de connaissance, un seul type d’expertise.
Dans l’IA éducation, il y a trois ou quatre types d’expertise qui nous intéressent, la première c’est l’apprenant. On va beaucoup travailler sur modéliser cet apprenant, modéliser les erreurs, diagnostiquer les erreurs, diagnostiquer les métaconnaissances, les modèles. Il y a, par exemple, des outils de prédiction d’abandon des MOOC qui fonctionnent très bien, qui vont dire « il va abandonner le MOOC », peut-être pas liés aux connaissances, qui sont des articles qui ont été publiés il y a quatre ou cinq ans quand il y avait des conférences sur les MOOC. C’est le type de recherche typique dans notre domaine. On va déjà modéliser l’apprenant. On va essayer de comprendre certains phénomènes sans les millions et les millions de données, parce que les élèves – les chats, vous voyez déjà –, vous imaginez les élèves du primaire jusqu’à l’université, très créatifs, avec beaucoup d’erreurs auxquelles on ne s’attendait pas, etc. ; c‘est déjà un domaine, le côté modélisation de l’apprenant. Avec les systèmes experts on faisait déjà ce travail de modéliser, les données nous ont amenés une richesse différente, donc on modélise les apprenants.

On modélise les connaissances à enseigner. On va chercher à modéliser, par exemple, la résolution des problèmes en géométrie, il y a des domaines beaucoup plus difficiles qu’on appelle mal définis. J’avais beaucoup travaillé, quand j’étais à Grenoble, en chirurgie orthopédique. Donc modéliser ces connaissances, raisonner sur ces connaissances pour pouvoir, après, expliquer à l’apprenant, en tout cas au chirurgien, comment faire les bons gestes, pourquoi ils sont bons, etc. C’est aussi une dimension à laquelle on s’intéresse : modélisation les connaissances à enseigner.

Le troisième, en anglais on dit « modèle pédagogique », qui est un peu maladroit, parce qu’en France on fait la différence entre la didactique, la pédagogie, etc., c’est donc cet aspect-là : comment modéliser le tuteur qui a des connaissances d’enseignement. Donc comment on va adapter, à quel moment on va faire un feed-back, à quel moment on va interagir ou pas, laisser l’élève dans sa tâche ? Ce sont encore des chercheurs qui travaillent actuellement sur ces données-là, d’ailleurs certains ont déjà commencé, ils ont déjà publié sur utiliser les aspects génératifs de ChatGPT comme un outil, comme un marteau pour produire les bons feed-back. On demande à ChatGPT des petites choses, mais après le côté intelligent dans ce domaine n’est pas dans ChatGPT, c’est plutôt on comprend ce qu’a fait l’apprenant, on comprend l’erreur, on diagnostique et on essaie de s’adapter par feed-back immédiat, différé, etc.

Enfin, une dernière qu’on appelle interaction, c’est, comme on disait tout à l’heure, comment savoir interagir avec l’élève, l’apprenant, celui qui est en train de se former pour lui donner la bonne forme et fond du feed-back.

Toutes ces recherches existent depuis vraiment plus de 30 ou 40 ans et qui font avancer beaucoup moins rapidement que ChatCPT, on n’a pas tous ces millions de données, on n’est pas non plus dans la lumière, si on n’est pas dans la lumière on n’a pas les budgets. Il y a en effet des recherches depuis assez longtemps sur les aspects collaboratifs aussi, comment comprendre le collaboratif, comment soutenir les interactions entre apprenants.
Il y a donc des tonnes de recherche dans ce domaine. Je tenais que c’est un domaine assez intéressant, si vous ça intéresse je pourrai vous donner après des pointeurs.

Marc Oddon :Bonjour à toutes et à tous. Je suis très content d’être ici parce que je viens d’un territoire un peu excentré, Grenoble, mais où l’informatique a une histoire, une grande histoire liée à la recherche, liée au développement. Je suis un passionné de la formation tout au long de la vie et actuellement j’ai une casquette supplémentaire : je suis aussi président du comité de suivi de licence/master/doctorat qui a, en France, la partie de la discussion sur les fiches ANCP [Association Nationale des Conseillers Pédagogiques] entre autres, la cohérence des formations et les contenus. Bien entendu, on a parlé des outils. Je trouve très intéressant de se poser la question. Parfois j’ai l’impression qu’on se dit « on a fabriqué ou outil, mais à quoi peut-il servir ? »
On se rend compte que dans notre communauté universitaire, dans le lien qu’on a avec les entreprises sur le territoire, ce sujet vient et j’aime bien le titre de notre table ronde « changement de paradigme ». Platon dit que le paradigme consiste à examiner un exemple concret et à en tirer des conséquences plus larges.
Je tiens à dire que ce qui était, on va dire, assez confidentiel ou peut-être laissait rêver est arrivé, par des exemples concrets, en pleine force au milieu de nos universités. Sur Grenoble on a aussi un Institut MIAI [Multidisciplinary Institute in Artificial Intelligence], on a aussi un projet de plan d’investissement d’avenir avec l’effet de l’IA et aujourd’hui on s’est posé la question en disant : former qui ? À quel niveau ? Comment, quels sont les besoins aujourd’hui pour que notre pays, nos entreprises, nos universités puissent ne pas rater le train ? Ça a été dit tout à l’heure, j’ai beaucoup apprécié : arrêtez de faire de l’autoflagellation. On a en France des compétences, on va dire un niveau de recherche et de connaissance de ces domaines-là qui est extraordinaire. La question c’est comment on va réussir, on va accompagner cette transformation pour que les objectifs de formation de nos diplômes prennent en compte on va dire le capital humain, ça nous va bien pour les universités, peut-être mettre en opposition le capital humain et le capital signal, c’est-à-dire comment on va développer les compétences transversales, transférables, les soft skills, comme on les appelle parfois sur certaines choses, je ne vais pas rentrer dans le détail, pour qu’on puisse s’adapter à la professionnalisation de demain. Voilà les enjeux.

Sophie Pène :Nous voilà avec une première vision de notre territoire familier, de l’ESR, avec un scientifique face à des transformations de sa pratique pédagogique, une vision générale qui fait qu’il y a dans l’ESR une activité de veille, de partage, de vulgarisation qui fait que beaucoup de gens sont d’ores et déjà sensibilisés avec leur culture scientifique, avec leurs pratiques, avec le fait qu’ils ont déjà expérimenté énormément de requêtes qu’ils ont joué, et qu’en jouant, en regardant, en les comparant, on a déjà amorcé des compétences. Vanda Luengo a raison de rappeler qu’il y a une recherche solide qui n’est peut-être pas sur ce même rythme mais qui va être le socle à partir duquel on peut travailler aujourd’hui. Et puis les préoccupations morales, politiques, citoyennes de nos universités pour être en phase avec les besoins humains, les besoins du territoire.
Néanmoins, on est dans une situation où là pour la première fois on attendait depuis longtemps, Vanda, tes assistants pédagogiques pour l’apprentissage et vlan ! Voilà un simili assistant pédagogique qui nous arrive, où l’apprenant nous dit « je n’ai pas besoin d’être modélisé, ça y est, j’ai mon assistant, je te remercie, je l’ai en main, il est comme un smartphone, en quelque sorte, et je vais aller très vite ».

Dans ce deuxième tour de notre discussion, on va se mettre dans la place où on voit d’une part qu’on a des professeurs qui sont quand même possiblement déboussolés par le fait que les exercices qu’ils donnent peuvent donner lieu à des générations automatiques de propositions avec une falsifiabilité, un caractère éventuellement mensonger, plagiaire en quelque sorte. On est en train de brutaliser la convention ordinaire qui est « je ne copie pas, j’apprends par moi-même, j’utilise des patterns qui sont j’imite d’abord ce que le prof m’a dit et puis je comprends que derrière la mécanique il y a de l’intelligence et c’est comme ça que je me forme ». Ce n’est pas la première fois avec Internet, mais là, tout d’un coup, on a un résultat immédiat qui est un peu différent de la requête à Wikipédia, de la recherche dans Wikipédia ou de la recherche dans les sources.
Toute la question forte dans nos universités : la fiabilité des sources, la stabilité d’un résultat – le résultat c’est clef pour nous –, tout d’un coup on a des gammes de résultats, il faut remonter à la source du process. On a beaucoup de choses qui se passent comme ça. On va maintenant discuter ensemble sur ce qui se passe dans la classe, d’une part en termes d’une nouvelle forme de conduite de la classe y compris à l’université au sens où nos étudiants s’équipent différemment, vont être équipés différemment quoi qu’on en dise puisque cet outil est arrivé directement au grand public, en plus il n’était pas fait pour l’apprentissage, mais il se révèle, comme parfois tant d’outils numériques, plus adapté, plus affordant que des outils que qui sont préparés de longue date. Donc que va-t-on faire pédagogiquement ? En quoi y a-t-il des choses à recaler tout de suite dans la pratique pédagogique ? En quoi y a-t-il des choses nouvelles à entrer dans les formations et à apprendre ? En quoi aussi ça peut nous aider à réaliser mieux nos missions et à être mieux encore au service des savoirs et de la réussite des étudiants ? David.

David Cassagne :Ça pose effectivement des questions. La première réaction de la communauté ça a été la question de la triche dans les évaluations. On n’est pas dans le plagiat, on n’est pas dans quelque chose qu’on pourrait identifier comme du plagiat puisqu’on ne peut pas attribuer le travail à une personne. On est plus dans quelque chose qui s’apparente à la situation d’un étudiant qui se serait fait aider par un copain, par son frère, sa sœur, avec, en plus, une difficulté pour détecter la chose. On en a parlé, il y a des centaines de modèles différents et il n’y a pas d’outil fiable pour détecter.
Ça a été le sujet qui a beaucoup interrogé, les évaluations, mais les évaluations sont des choses qu’on peut transformer. Pour ma part j’enseigne des aspects qui sont liés à la physique numérique, j’ai pris un examen, j’ai regardé : sur les quatre exercices que j’avais donnés l’an dernier, ChatGPT faisait l’un des quatre très bien. Comme, en plus, c’est un examen en salle informatique, avec accès à Internet, eh bien il fallait changer cet exercice. On pouvait le changer.
Après, je pense qu’il faut faire la part des choses. Toutes les modalités d’évaluation ne vont pas être impactées. Il y a toujours des évaluations qui se font avec des devoirs sur table, il y a toujours des évaluations qui se font avec des oraux.
Il y a donc des aspects d’adaptation, mais après il faut voir aussi tout le bénéfice que peuvent apporter ces outils puisque ça peut être des instruments pour pouvoir arriver à avoir un assistant pour créer des quiz, un assistant pour créer des feed-back, assistant pour créer des contenus et ça peut être aussi utilisé dans les activités avec des apprenants.
C’est un de mes sujets en tant que vice-président et ça fait un moment que je m’intéresse à ce sujet du numérique au service de la pédagogie, je pense que sur le numérique au service de la pédagogie ça donne une nouvelle dimension dans les possibilités offertes.
Je pense qu’il va y avoir, avec ces outils, une dimension de transformation sur la forme, mais aussi sur le fond : sur la forme, c’est-à-dire sur la façon de faire les enseignements, mais aussi sur le fond parce qu’on ne va pas enseigner la même chose à partir du moment où on a ces différents outils, de la même façon que quand il y a eu la calculatrice on n’a plus enseigné de la même manière. C’est donc une transformation au niveau de l’enseignant. Changement de paradigme oui, sur la façon dont on va notamment organiser des activités, peut-être plus développer l’esprit critique chez les étudiants.
C’est aussi un changement fort pour les apprenants, pour les étudiants, parce que c’est aussi un changement dans la façon dont ils vont accéder à l’information. On voit bien que les moteurs de recherche vont être directement impactés, on peut citer l’alerte rouge qu’il y a eu chez Google avec l’arrivée de ChatGPT où ils ont dit « il faut absolument arriver à transformer les choses et prendre cela en compte ». Donc les étudiants dans la façon dont ils vont rechercher de l’information, dans la façon dont ils vont faire leurs productions et également les étudiants avec la possibilité d’avoir des tuteurs basés sur ces outils.
Il faut quand même toujours prendre des précautions. On a parlé des hallucinations, des biais. C’est pour cela que je dis qu’il faut faire attention à la façon dont on utilise ces choses-là, ne pas prendre ça pour des moteurs de recherche. Par contre, la façon dont on va les utiliser de manière à apporter des choses positives, c’est-à-dire résumer, créer et ainsi de suite, ce sont des choses auxquelles les enseignants doivent être formés, les étudiants doivent être formés. Il y a, à mon avis, tout un travail là-dessus qui est assez passionnant.

Sophie Pène :Je voudrais te poser une petite question pour approfondir, vérifier un point. Il y a beaucoup de pratiques cognitives qui, indépendamment des modélisations, restent invisibles et sont en quelque sorte implicites, spontanées, secrètes, laissent des marques quand il y a des brouillons, des prises de notes, mais il n’y a pas toujours des traces. Là on voit bien que si on veut que les professeurs puissent dialoguer de façon transparente avec leurs étudiants, il va falloir qu’on les mette au jour et qu’on accepte de les partager, ça veut dire qu’il faut qu’y ait un principe de morale, un principe de confiance. Il y a aussi une relation qui est d’emblée modifiée parce qu’il faut que les étudiants acceptent la proposition qu’on leur fait, c’est-à-dire de raconter, par exemple, les prompts qu’ils ont utilisés.
Est-ce qu’il n’y a pas aussi, possiblement, un nouveau contrat pédagogique, une nouvelle confiance à établir pour qu’on partage autre chose que le résultat ?

David Cassagne :Dans la façon dont on peut transformer les évaluations, il y a notamment leur demander plus de traces et aussi exprimer la démarche qu’ils ont eue au travers de leur travail plutôt que de se limiter simplement à un rendu, c’est effectivement quelque chose d’important.
Après, le point qu’il y a aussi : s’il y a quelque chose qui est rendu à l’écrit où effectivement on aura du mal à faire la part des choses entre la part du travail personnel et concrètement ce qui a été vraiment appris par les étudiants, des mécanismes au travers de l’oral et d’autres mécanismes peuvent intervenir.

Une chose dont je n’ai pas parlé, à mon avis importante, au niveau des étudiants il y a aussi des remises en question fortes qui peuvent apparaître par rapport à la motivation qu’il y a à apprendre et par rapport aux tâches qu’on va leur donner. Je pense que ça va aussi nous inviter à changer nos pratiques parce que si on leur demande des choses pour lesquelles ils ont l’impression que finalement on est face à ce que j’appellerais des évaluations artificielles, des évaluations qui ne correspondent pas à ce qu’est la vraie vie et la vraie vie va être une vie où on aura la possibilité d’utiliser des intelligences artificielles génératives, on risque de se retrouver aussi en difficulté.
Donc avoir peut-être des évaluations plus authentiques, plus orientées sur les compétences.

Sophie Pène :Très bien.

29’ 15

Alain Goudey :Je vais y aller un peu cash. Je pense que ce type d’outil réinterroge en profondeur notre rôle de professeur, notre rôle d’établissement de formation, d’université, d’école et à tous les niveaux, pas que dans le supérieur, le constat est vrai aussi au niveau des écoles primaires, collèges et lycées. Pourquoi ? J’avais ce débat-là sur une autre conférence : quel est le rôle du professeur ? Quelqu’un a dit : « En fait, je fais des diaporamas et après je fais mon cours. » Je dis « moi pas, je ne considère pas que ça soit mon rôle de faire des diaporamas et de réciter mon cours comme je l’ai déjà peut-être pratiqué à une époque. Ce n’est peut-être pas non plus ce qu’attend un étudiant ou un élève ». Je crois profondément que notre rôle de professeur c’est de changer le regard de nos étudiants sur le monde qui les entoure. Ça fait un peu philo, mais je pense sincèrement que c’est ça notre job. Et on le fait à travers quoi ? On le fait évidemment à travers la recherche qu’on produit, qui nous permet de produire de la connaissance et non pas du contenu. Une IA générative génère du contenu et non pas de la connaissance. J’insiste sur ces termes-là parce que c’est extrêmement important.
On va pouvoir également changer le regard de nos étudiants sur le monde qui les entoure grâce à notre expérience, l’ensemble des échanges qu’on peut avoir avec beaucoup de personnes dans les pratiques qu’on a, dans ce type de conférence aujourd’hui, dans les lectures qu’on peut faire, dans les connexions qu’on peut faire entre des sujets qui ne sont peut-être pas liés au départ les uns aux autres mais qui, mis ensemble, font qu’on va nous-même se forger un regard sur le monde et pouvoir transmettre ça.
Vous voyez quand même toutes les nuances qu’il y a par rapport à notre rôle et je pense qu’il y a beaucoup de visions qui peuvent différer de celle-là qui est un peu idéale, en tout cas idéaliste, de notre rôle de professeur.

Le deuxième élément, ??? [31 min 20], quand on m’a interrogé sur l’histoire des évaluations, en gros j’ai dit « si un outil comme ChatGT réussi l’examen, franchement il faut changer l’examen ! ». Je pense vraiment que c’est ce qu’il faut faire et ta démarche est la bonne, je crois qu’il n’y a pas 10~000 manières de faire. Vous prenez les évaluations qui vous faites avec vos étudiants, vous regardez dans un ou deux outils d’IA générative si l’outil est capable de répondre et si c’est capable, changez l’examen. Il y a plein de manières de le faire.
En revanche, je crois qu’il faut qu’on s’astreigne aussicollectivement à être très précis sur ce qu’on dit. GPT~3.5, novembre 2022, n’est pas la même chose que chose que GPT~4, mars 2023. Et GPT~4, avec les plugins depuis fin avril 2023, n’est pas la même chose que GPT~4 sans les plugins de mars 2023. Pourquoi je vous dis ça ? Parce que – et ça légitime un peu ma démarche de veille et d’essayer de communiquer sur tous ces trucs-là – ça bouge très vite et c’est important d’avoir cet élément de précision. Ce qui était vrai par exemple en novembre 2022 où on disait « de toute façon le truc n’est pas capable de chercher sur Internet, les données datent déjà de novembre 2021 », du coup en termes d’évaluation c’était facile, vous faisiez un truc sur quelque chose après novembre 2021, vous aviez plié le jeu et GPT~3.5 ne pouvait pas répondre, eh bien ce n’est plus vrai aujourd’hui !
Parfois, on me pose la question de comment j’arrive à soutenir ce rythme-là de diffusion sur les réseaux sociaux. Je vous donne la réponse : j’utilise de l’IA tant pour la veille que pour l’écriture. Le gain de temps est à peu près de l’ordre de 30 à 50 %, je l’ai mesuré, ce ne sont pas des chiffres que j’ai vu passer, j’ai pris mon petit chronomètre, j’ai regardé combien de temps je mettais à écrire avant et combien de temps je mets à écrire maintenant.
C’est vrai que c’est important de se poser ces questions-là sur l’évaluation. Et je crois sincèrement, en tout cas ce qui m’intéresse dans une évaluation ce n’est pas le résultat, je me fiche de la réponse, c’est le processus et j’espère que c’est aussi votre cas. C’est là où on va apporter justement de la valeur, pouvoir dire « là tu as abordé ce sujet comme ça, mais est-ce que tu as pensé à regarder sous un autre angle ? ». Avec une machine c’est plus compliqué d’adopter différents angles sur un même objet, ça se fait avec du prompt mais c’est déjà un peu plus compliqué, et surtout si vous adoptez des perspectives qui ne sont pas modélisées, la machine ne le fera pas. Encore une fois, il n’y a pas d’intelligence.

Je crois que ça vient vraiment interroger notre rôle, ça vient aussi interroger la posture de l’étudiant.
J’ai testé sur un cas d’enseignement à distance, ça va intéresser les collègues de FUN. Que se passe-t-il quand on a apprenant qui est à distance ? Il déroule son truc, généralement, quand c’est bien fait, il n’est pas trop en difficulté et arrive forcément le moment où il a une question. Quand il a une question, on fait tous la même chose : soit il y a un forum à disposition, soit il y a un outil collaboratif x, y, z, à disposition. L’étudiant pose sa question puis il attend une réponse. Là deux cas de figure : on est dans un horaire d’ouverture, de journée, le professeur est disponible et il va répondre dans quelques minutes ; ou on est la nuit, en tout cas en soirée, voire la nuit très tard, et là le professeur dort, il a le droit aussi. Du coup la réponse arrive quelques heures après.
Qu’est-ce qu’apporte une IA générative ? En fait, si la question était relativement simple, du coup l’IA générative est en capacité d’apporter une réponse et l’apprenant va continuer. On se rend compte que ça maximise l’engagement parce qu’il a sa réponse tout de suite. Peut-être pas parfaite, peut-être qu’elle peut être sujette à caution et à question et c’est encore notre job de professeur de dire « OK, vous avez cet outil-là, vous avez une question que vous allez pouvoir lui poser, vous allez avoir une réponse instantanée, mais prenez aussi du recul », c’est ça l’esprit critique, la distanciation par rapport à une information, etc.
À partir du moment où on pilote ça, ça devient effectivement un outil extrêmement intéressant qui va aussi impacter directement la posture des apprenants.

Dernier point sur la partie établissement, là aussi je crois qu’en fait la difficulté de l’exercice c’est qu’on est pris de court, c’est une technologie ancienne mais qui déboule dans ses usages grand public très rapidement. C’est un outil informatique, ce que je trouve fascinant c’est que c’est un outil informatique qui se programme avec notre langage naturel et ça c’est très nouveau, qui, du coup, est accessible à tout le monde et là, cf. les questions d’équité parce que nos étudiants n’ont pas tous autour d’eux des parents, des frères et sœurs qui peuvent aider sur tel ou tel type d’exercice, eh bien là il y a un outil qu’on peut interroger et qui va peut-être permettre de débloquer la situation.
Il y a donc ici aussi un facteur, extrêmement important de réflexion, je crois, au niveau des organisations. La difficulté qu’on a c’est que ça va très vite et finalement il faut à la fois suivre ce rythme-là, expérimenter mais prendre du recul, poser un cadre qui peut bouger. C’est là où je crois sincèrement que nous avons un vrai enjeu d’intelligence collective sur cette thématique.

Sophie Pène :D’intelligence collective et puis de liberté voire de libération pédagogique. Je pense que tous les professeurs n’utilisent le résultat que comme tenant lieu, c’est-à-dire qu’on s’intéresse tous au processus et on considère que le résultat est, en quelque sorte, la compression, la synthèse d’un processus parce qu’on est aussi dans un moment de massification. On va voir tout à l’heure que ça interpelle aussi l’organisation du temps de travail d’un enseignant et la responsabilité, ce que les établissements sont capables de faire pour aider cette nouvelle mutation.
Vanda, sur cette question des nouveaux exercices, de comment tu travailles avec tes étudiants et de la liberté pédagogique peut-être nouvelle que vont te donner aussi ces outils dans la variété et autre, comment vois-tu les choses ?

Vanda Luengo :À la Sorbonne et, je pense, dans toutes les universités, la liberté académique est fondamentale pour chaque enseignant – peut-être pas à Sciences Po parce qu’on a interdit ChatGPT – en tout cas dans nos universités c’est une valeur, c’est même des fois une difficulté. Avant j’étais directrice du Centre d’innovation pédagogique et on est face à des enseignants qui veulent travailler à la craie avec des tableaux, rien d’autre et répéter les connaissances, c’est la liberté académique. D’autres veulent innover à une vitesse démesurée ; peut-être ne faut-il pas aller si vite et comprendre un petit peu mieux le phénomène. Je pense qu’il faut vraiment respecter cette liberté à tous les niveaux et des deux côtés. Le problème c’est que les étudiants doivent aussi effectivement changer de posture. Le changement de posture je l’entends depuis… je commence à être très vieille, donc changement de posture quand la télé est arrivée, changement de posture quand Internet est arrivé, changement de posture… Et puis on ne change pas de posture, je ne sais pas pourquoi. On a même créé un jeu pédagogique avec de l’IA derrière, dans lequel on oblige l’enseignant à se mettre sous la table, c’est une métaphore, pour qu’il change de posture pour trouver la solution, avec un casque de réalité virtuelle et tout ça, c’est très rigolo, mais les enseignants ne changent pas de posture. Peut-être que ce n’est pas la fautes des enseignants, c’est comme quand on fait un système informatique et qu’on dit « les sous-mains sont nuls », eh bien non, c’est peut-être le système qui n’a pas bien compris, là c’est peut-être pareil.
Il y a quelque chose que je ne saurais pas expliquer, mais j’ai une petite explication pour certaines choses. Ma pratique : j’apprends à mes étudiants de M1 à copier-coller pour faire de la programmation web. Je le fais avec eux, je n’ai aucun problème, on va tous ensemble, donc on crée un climat de confiance dans le copier-coller : « Regardez, il y a tel site pour faire telle chose, ce n’est pas la peine de réécrire les codes, donc on va faire ça ». Ce sont des gens qui viennent de physique, de chimie, etc., pour faire des pages web. Dans l’évaluation ils ont un projet, ils doivent penser et créer un projet qui lui est propre. Je vais les interroger sur leur création dans cet ensemble de copier-coller et ce que j’attends c’est l’esprit critique par rapport à ce qu’ils ont produit : « Là c’est mieux que ça, les codes HTM, le JavaScript, etc. » Je fais cet esprit critique sur le code depuis un certain temps, ce n’est pas avec ChatGPT, je vais tester l’année prochaine pour voir ce qu’il en est avec ChatGPT. C’est facile avec mes M1 où ils sont 30. J’enseigne aussi en L1 et ils sont 1200, donc je n’ai pas le temps d’interroger les 1200 sur un projet qu’ils ont fait.
Le problème c’est que le changement de posture dépend aussi du contexte, dépend de ce qu’on enseigne et là je n’ai pas de réponse par rapport à l’évaluation en dehors de la chose tristounette du papier en amphi, que je n’aime pas trop, parce qu’il faut aussi corriger. J’attends avec impatience que l’IA corrige toutes ces copies, ça serait l’idéal. Ce changement de posture est aussi au niveau du contexte dans lequel on est, les collègues avec lesquels on travaille : en M1 je suis toute seule, en L1 on est 60 enseignants à enseigner. Vous imaginez ?, se mettre d’accord à 60 pour les évaluations, etc.

L’autonomie est hyper-importante, l’IA peut apporter des choses, mais il faut qu’on soit quand même conscients des différentes limites, comment l’utiliser et aussi créer un climat de confiance qui est différent de celui d’avant. Avec les M1 on fait ensemble les copier-coller. Les L1 viennent d’un système français très conductiviste [dirigiste ??? 41 min 05], l’examen, etc., et quand on leur laisse cette liberté, ils sont très déstabilisés, perdus. Ce contrat nouveau c’est difficile parce qu‘en plus entre nous en informatique, le prof de chimie à côté, celui de physique vont faire complètement autrement. Je ne sais pas si au niveau institutionnel on peut faire quelque chose, mais on attend ce changement de posture de l’enseignant depuis des siècles. Peut-être qu’on peut mieux accompagner le changement de posture de l’étudiant à l’université, voire, c’est peut-être un peu plus difficile, commencer ce changement de posture au niveau du lycée, ce ne serait pas mal.

Sophie Pène :Il y a une dizaine d’années, 2012 je crois, Luc Massou, à l’Université de Lorraine, avait fait une étude, il y avait eu une cinquantaine d’entretiens. La grille d’entretiens était la même pour tous les enseignants, la question était : comment utilisez-vous le numérique et qu’est-ce que ça a changé à vos pratiques ? Une question m’avait spécialement intéressée, les informateurs répondaient : « Oui, bien sûr, je me sers du numérique. — Vous vous en servez comment vous faites quoi ? — J’ai mis tous mes cours sur powerpoint ». La question c’était : « Et alors comment les étudiants s’en servent ? — Je n’en sais rien, ils téléchargent, etc. Je ne sais pas, c’est leur affaire. » On est donc en train de passer inéluctablement d’un monde, presque avec une sorte de coupure éthique : j‘ai fait ma partie du boulot et toi, ta partie c’est d’apprendre, de décrypter et de t’approprier. Si tu travailles à deux, si tu prends des notes, si tu commentes, c’est ton affaire. Là on sent bien que ce n’est plus du tout la même chose, que nos institutions sont en train de basculer, avec difficulté, vers un intérêt pour les compétences et pour compétences acquises. Vanda parlait de la fameuse, fabuleuse compétence à l’esprit critique qu’on a bien du mal à cerner et voilà que maintenant on arrive dans une terra incognita de la compétence et que ça va être une sacrée secousse quand même et peut-être de tout nouveaux chantiers.

43’ 13

Marc Oddon :C’est un chantier pour lequel