IA qu’à algorithmiser le climat - Algorithmique 4/6
Titre : IA qu’à algorithmiser le climat ?
Intervenant·e·s : Anne-Laure Ligozat - Clément Marquet - Mathilde Saliou
Lieu : Podcast Algorithmique - Next
Date : 6 novembre 2024
Durée : 33 min
Licence de la transcription : Verbatim
Illustration : À prévoir
NB : transcription réalisée par nos soins, fidèle aux propos des intervenant·e·s mais rendant le discours fluide.
Les positions exprimées sont celles des personnes qui interviennent et ne rejoignent pas nécessairement celles de l’April, qui ne sera en aucun cas tenue responsable de leurs propos.
Description
Depuis l'émergence des modèles d'IA générative, les besoins en énergie des principaux constructeurs ont explosé, au point que Microsoft, Google puis Amazon aient successivement annoncé se tourner vers le nucléaire pour y répondre. Mais concrètement, quels sont les effets de l'intelligence artificielle sur le climat ? Dans quelle mesure ces technologies aident-elles à lutter contre le dérèglement climatique ? Ont-elles plutôt tendance à le renforcer ?
Transcription
Voix off : Next, Next, Next, Next.
Mathilde Saliou : Salut, c’est Mathilde Saliou.
Avant l’été, on a appris que le bilan carbone de Microsoft et Google était remonté en flèche. Je dis « remonté », parce qu’au fil de la dernière décennie, ces entreprises ont travaillé pour réduire les émissions de gaz à effet de serre que leurs activités produisaient. En 2020, Microsoft s’était engagée à atteindre une empreinte carbone négative d’ici 2030, et même à effacer l’ensemble de son empreinte carbone depuis sa création d’ici 2050. L’année suivante, c’est Google qui a pris l’engagement d’atteindre un bilan carbone neutre à horizon 2030. Sauf que, si on lit leurs propres rapports environnementaux, en 2023, Google a émis moitié plus de CO2 que ce qu’elle avait rejeté en 2019. Du côté de Microsoft, le document indique une augmentation de près de 30 % des émissions de CO2 entre 2020 et 2023. Qu’est ce qui explique ce retournement ? Un élément que vous aurez certainement deviné, l’intelligence artificielle.
Forcément, ces actualités m’ont fait me poser des questions. Par exemple, quel rôle joue l’intelligence artificielle dans l’impact global du numérique sur l’environnement ? Est-il nécessairement négatif ? Peut-il être positif ?
Clément Marquet : Quand on investit autant dans les datacenters, ce qui a été fait sur les deux dernières années, il y a un moment où la trajectoire du numérique s’envole, alors qu’elle n’était déjà pas soutenable du point de vue environnemental.
Anne-Laure Ligozat : À force de basculer sur des solutions numériques pour un petit peu tout, on se retrouve dans une société qui est très dépendante du numérique.
Mathilde Saliou : Je suis Mathilde Saliou et vous écoutez Algorithmique, un podcast produit par Next.
Épisode 4 : IA qu’à algorithmiser le climat ?
Mathilde Saliou : Quand on parle d’intelligences artificielles, après tout, il arrive d’entendre qu’elles sont nécessaires pour opérer la transition environnementale qui permettrait de sauver la planète. Pour décortiquer un peu ces questions, je suis allée discuter avec Anne-Laure Ligozat, qui est professeure en informatique et chercheuse au LISN [Laboratoire interdisciplinaire des sciences du numérique], un laboratoire multidisciplinaire sur le plateau de Saclay.
Anne-Laure Ligozat : Je viens du traitement automatique des langues en recherche, j’ai fait ma thèse en traitement automatique des langues qui est sous discipline de l’intelligence artificielle. L’évolution du domaine fait qu’on a eu des modèles qui étaient de plus en plus gros, de plus en plus longs à entraîner, etc., ce qui a commencé à poser des questions d’un point de vue environnemental. Par ailleurs, il se trouve que les problèmes environnementaux sont des sujets auxquels j’ai toujours été sensible. Il y a quelques années, j’ai donc décidé de changer complètement de sujet de recherche pour m’intéresser aux impacts environnementaux du numérique, pas spécifiquement en lien au départ, mais comme c’est de là que je viens et qu’une grosse partie de mon laboratoire continue à faire de l’IA, du coup, c’était assez logique de travailler là-dessus.
Mathilde Saliou : Anne-Laure Ligozat, à l’origine, est donc une spécialiste des modèles d’intelligence artificielle. Mais comme parler de leurs impacts environnementaux ne se réduit pas à parler que de codes et de matériel, je suis aussi allée voir Clément Marquet.
Clément Marquet : Je suis Clément Marquet, je suis chargé de recherche et d’enseignement au Centre de sociologie de l’innovation de l’innovation de l’école des Mines de Paris – PSL [Université Paris Sciences et Lettres]. Je suis donc sociologue et je pratique une sous branche de la sociologie qui est un peu particulière, qui s’appelle science and technology studies, donc les études sur les sciences et les techniques qui s’intéressent aux dimensions politiques des savoirs et des technologies, c’est-à-dire qu’on considère qu’elles ne sont pas neutres, qu’elles sont politiques à la fois parce qu’elles sont soutenues par des formes de politique qui visent à transformer la société dans certains sens, et puis qu’elles ont aussi des dimensions politiques qu’on dit « incarnées » au sens où elles transforment les relations sociales, les rapports de force, etc., dès qu’on les fait advenir dans le monde.
Mathilde Saliou : Avant de parler de la dimension politique incarnée de l’intelligence artificielle, je demande à Clément Marquet de m’expliquer dans quelle mesure les évolutions récentes du champ ont joué sur les impacts environnementaux du numérique au sens large. Il me répond en détaillant rapidement le cycle de vie de ces technologies à partir de la construction des machines qui permettent de les faire tourner.
Clément Marquet : Ce qui soulève des enjeux bien spécifiques, ce sont les technologies d’intelligence artificielle qui sont développées aujourd’hui, en particulier les intelligences artificielles génératives et ce qu’on appelle les large language models, ces façons de traiter des données massives pour générer du texte, des images, voire du son ou des films.
Ces modèles-là ont pour spécificité d’avoir besoin de très grandes bases de données et d’avoir besoin de beaucoup de puissance électrique pour les serveurs qui vont calculer si on veut que ces calculs ne durent pas des jours. Ils soulèvent donc déjà un enjeu sur le type de matériel dont ils ont besoin. On a vu, au cours de la dernière année, un changement, un basculement matériel au sein des datacenters qui supportent le développement des IA génératives, le fait d’utiliser de plus en plus de cartes Nvidia à la place des serveurs qui étaient classiquement utilisés pour du <em<cloud ou d’autres services web. Ces cartes Nvidia augmentent ce qu’on appelle la densité électrique, c’est-à-dire la quantité d’électricité dont on a besoin par mètre carré pour un datacenter.
Ça pourrait ne pas être un problème très particulier, puisque l’histoire des datacenters est l’histoire de ce qu’on appelle la densification électrique, c’est-à-dire de mettre de plus en plus de serveurs qui consomment de plus en plus par mètre carré et de réussir à optimiser, d’une façon ou d’une autre, ces enjeux de consommation pour limiter la croissance, même s’il y a quand même une croissance des conséquences des datacenters au fil es vingt dernières années. La spécificité de l’IA, c’est l’engouement en très peu de temps. S’il y a des alertes environnementales fortes sur l’intelligence artificielle générative, c’est parce que, à la différence des autres types d’intelligence artificielle ou de ce qui pouvait exister il y a dix ans, tout à coup on diffuse, de façon internationale, ces technologies avec un soutien très fort des politiques publiques, du coup on veut les mettre partout, ce qui veut dire qu’on a besoin d’énormément de matériels et de transformer les datacenters pour que ça fonctionne.
Les impacts que cela a sont d’ordres multiples : sur la consommation électrique des infrastructures de fait, on y reviendra peut-être plus dans le détail, sur leur consommation d’eau, car une partie des datacenters dans lesquels on fait de l’IA générative va utiliser de l’eau pour refroidir ses serveurs et ça a également des conséquences en termes d’extraction. Tout à coup, on a besoin de produire énormément de matériels. L’entreprise Nvidia est en production maximale depuis quelques mois ou plus, on a des délais d’attente de plus en plus importants sur les cartes Nvidia, parce que tout le monde en veut, ce qui veut dire qu’il faut extraire des matériaux des mines, il faut produire les matériaux et il faut les assembler, etc.
Aujourd’hui, des estimations annoncent que pour fournir les besoins de l’intelligence artificielle à l’horizon 2030, tels qu’ils se dessinent aujourd’hui, il faudrait extraire un million de tonnes de plus de cuivre que prévu, ce qui est relativement important étant donné qu’il y a déjà des tensions sur l’extraction du cuivre pour les véhicules électriques, etc. On voit donc qu’il y a une part très physique, très matérielle, et que l’extraction du cuivre est nécessairement polluante, on ne peut rien y faire.
On va donc ajouter des désordres au monde, quelque part, par cet engouement, dans la phase d’usage et dans la phase de production, et puis, après, il y a toujours la question de ce que deviennent les serveurs en fin de vie, mais c’est peut-être la partie la moins documentée ou la moins facile à suivre du cycle de vie du numérique.
Mathilde Saliou : Pour résumer grossièrement, la généralisation des technologies d’apprentissage machine, ça décuple les besoins en temps de calcul, donc les besoins en énergie. OK, mais dans quelle mesure est-ce que tout cela augmente ? Pour essayer de le détailler, Anne-Laure Ligozat s’est penchée sur l’impact environnemental concret d’un modèle de langage très similaire à ceux qui gagnent en succès ces deux dernières années. Elle a étudié le cas du modèle Bloom.
Anne-Laure Ligozat : Bloom est un modèle de langue qui a été entraîné il y a quelques années dans le cadre d’un grand projet international. Énormément d’équipes, dans le monde, ont travaillé dessus. C’est un modèle de langue qui est multi-langues, multitâches, etc., bref !, il fait tout. La raison pour laquelle nous avons décidé de travailler là-dessus, c’est parce que c’est un modèle de langue qui a été entraîné sur le supercalculateur qui s’appelle Jean Zay, un supercalculateur public, contrairement à beaucoup de modèles qui ont été entraînés chez Google, pour ne pas le nommer, et là on n’a pas du tout accès aux conditions matérielles dans lesquelles ça a été entraîné. Jean Zay est une infrastructure gérée par le CNRS, donc on avait accès à toutes les informations matérielles dont on avait besoin, c’est-à-dire sur quelle machine ça a été entraîné, quelle a été la consommation, combien de temps ça a tourné, etc.
Mathilde Saliou : Un supercalculateur, pour le dire autrement, c’est un superordinateur, une machine dont la puissance de calcul est optimisée pour pouvoir faire tourner des programmes très gourmands.
Anne-Laure Ligozat : Ça permettait donc de calculer une empreinte carbone très complète, ce qui n’avait pas été fait avant. Très complète, c’est-à-dire que jusque-là, par exemple, si vous entraîniez un modèle sur les serveurs de Google, Google va vous dire quel a été votre consommation supplémentaire due à l’entraînement de votre modèle. Une partie des serveurs de Google est tout le temps allumée, et quand vous entraînez votre modèle, ça va entraîner une surconsommation, les serveurs vont consommer un peu plus, puisqu’ils font tourner votre programme. Ce sont des informations qu’on peut avoir à peu près n’importe où, maintenant, quand on entraîne des modèles. On peut savoir quelle est la consommation d’électricité supplémentaire et on peut convertir cette consommation d’électricité supplémentaire en empreinte carbone. Si on sait où c’était, on sait quelles sont les émissions de gaz à effet de serre qui sont associées à la consommation d’un kilowatt-heure, par exemple, d’électricité, ça permet donc de convertir la consommation d’électricité en empreinte carbone.
Pour Bloom, nous sommes allés beaucoup plus loin, c’est-à-dire que nous n’avons pas pris en compte que cette consommation-là, nous avions aussi accès à tout le reste. Par exemple, quand tout est allumé et qu’il n’y a rien qui tourne dessus, Jean Zay consomme déjà à peu près la moitié de l’électricité totale qu’il consomme quand il y a des programmes qui tournent dessus. Donc juste le fait que les serveurs soient allumés, les équipements réseau soient allumés, les serveurs de stockage soient allumés, etc., ça consomme de l’électricité et c’est en partie attribuable aux programmes qui tournent, puisque s’il n’y avait pas de programmes qui tournent, on n’aurait pas besoin d’allumer les serveurs.
On a donc pu prendre en compte notamment cette partie statique de la consommation électrique.
On a pu prendre en compte aussi la fabrication des serveurs. Comme on savait exactement sur quels serveurs ça avait tourné, on a pu essayer de calculer l’empreinte carbone qui était liée à la fabrication des serveurs et attribuer ça, du coup, à l’entraînement de Bloom.
Nous avons donc pu aller beaucoup plus loin, sur le calcul de l’empreinte carbone, que ce qui avait été fait jusque-là.
Mathilde Saliou : Un point vraiment intéressant de Bloom et du supercalculateur sur lequel il tourne, c’est donc de montrer qu’un système ouvert permet de faire des calculs beaucoup plus précis et détaillés que ce qu’il est possible de faire du côté des entreprises privées.
Anne-Laure Ligozat : Globalement, le fait de prendre en compte la consommation de l’infrastructure, même quand rien ne tourne, plus la climatisation, etc., ça fait à peu près multiplier par deux l’empreinte carbone d’un modèle par rapport à prendre juste la consommation qu’on appelle dynamique, c’est-à-dire la consommation supplémentaire parce qu’on fait tourner le programme.
On a pu montrer aussi que la partie liée à la fabrication n’est pas du tout négligeable non plus.
Ce qui était un petit peu particulier dans le cas de Bloom, c’est que ça a tourné en France où, vous le savez, on a une énergie qui est très bas carbone, ce qui fait que la partie utilisation est plus basse. Par rapport à un modèle qui serait entraîné autre part, ça donne une empreinte carbone beaucoup plus basse. On le savait, mais c’est quand même intéressant de pouvoir calculer ce que ça donne, même dans ce cas-là.
L’utilisation est quand même majoritaire par rapport à la fabrication, mais plus on réduit l’empreinte de l’utilisation en optimisant, en utilisant des énergies qui sont moins carbonées, etc., plus la part de la fabrication est grande. Or, actuellement, les matériels qui sont utilisés pour les calculs sont renouvelés assez régulièrement. Par exemple, à Jean Zay, la durée de vie est de six ans, ce qui est quand même pas mal, sauf qu’en réalité, un peu partout, les chercheurs vont avoir tendance à vouloir utiliser les derniers matériels, qui sont les plus efficaces, qui vont faire que les calculs vont pouvoir tourner plus vite. Du coup, le fait d’avoir montré l’empreinte de la fabrication, alors qu’on a considéré que la durée de vie était de six ans, ce qui est quand même assez grand, montre bien que le fait de renouveler le matériel régulièrement est vraiment problématique.
Mathilde Saliou : Ce que dit Anne-Laure Ligozat est important, parce que la consommation énergétique, c’est souvent la question sur laquelle on se focalise quand on réfléchit à l’impact environnemental du numérique en général et de l’IA en particulier. Ça permet de comparer les usages. En 2024, un article des chercheuses Sasha Luccioni, Yacine Jernite et Emma Strubell a montré qu’à l’usage, les modèles d’IA générative consommaient beaucoup plus que les modèles d’intelligence artificielle spécialisée. Elles donnaient différents points de comparaison, comme le fait que produire 1000 images avec le modèle <em<stable-diffusion émettait autant de CO2 que la conduite d’une voiture américaine moyenne sur six kilomètres et demi.
En 2019, Emma Strubell avait signé un autre article sur l’entraînement de grands modèles de langage. En l’occurrence, elle avait travaillé sur un modèle précédent, le transformer, celui qui fait le T » de ChatGPT. À l’époque, elle avait estimé que l’entraînement d’un de ces modèles pouvait mettre autant de CO2 que cinq voitures américaines sur l’ensemble de leur durée de vie. Or, depuis, la taille des modèles n’a fait qu’augmenter.
Mais si on écoute Clément Marquet, cette question de la consommation électrique n’a pas émergé du jour au lendemain.
Clément Marquet : Au milieu des années 2000, même plutôt 2008, on a le rapport Gartner, une entreprise de consultants, qui annonce que le numérique, c’est 2 % des émissions de gaz à effet de serre, donc l’équivalent du secteur aérien, que cela croît et que, du coup, il faut s’inquiéter de cette croissance. Une des réactions dans le monde du datacenter, a été notamment de développer un indicateur qui s’appelle le Power Usage Effectiveness, le PUE, qui vise à évaluer la quantité d’électricité qui est dépensée sur l’ensemble de l’infrastructure et la quantité d’électricité qui est consommée juste par l’informatique. On va diviser le total par l’informatique et le but, c’est que le chiffre soit le plus proche de 1. Ça veut dire qu’on utilise de l’électricité uniquement pour la chose qui est utile et commerciale d’informatique.
Au moment où ce PUE est mis en place, plein d’infrastructures ont des PUE supérieurs à 2,5, voire à 3, ce qui veut dire que, parfois, on utilise trois fois plus d’électricité pour refroidir l’informatique que pour l’informatique. Quelque part, c’est un gaspillage important. Ça veut dire que ce n’est vraiment pas optimisé. Donc, au fil des années 2010, tous ces acteurs économiques vont optimiser leurs infrastructures pour baisser leur PUE et vont inventer des dispositifs. Un des plus répandus, c’est notamment le fait de diviser la salle informatique de sorte qu’il y ait des couloirs d’air froid et des couloirs d’air chaud qui soient hermétiquement construits, comme cela, on balance de l’air froid, qui est ensuite aspiré par les serveurs, qui rejettent de l’air chaud à nouveau aspiré, qui est refroidi. On fait comme ça une boucle, on gère donc des allées chaudes et des allées froides avec des températures différentes. Ça demande donc beaucoup de capteurs pour réussir à avoir tout le temps la bonne température et la bonne hygrométrie. Progressivement, on a aussi augmenté la température des salles en s’adaptant aux contraintes matérielles, donc en passant de températures autour de 20 degrés à des températures plutôt à 25, à 27, la température générale du datacenter s’est donc réchauffée.
On a aussi introduit d’autres technologies qui permettent de réutiliser l’air extérieur quand il est inférieur à une certaine température, de sorte à utiliser moins d’électricité.
Toutes ces avancées ont fait qu’au niveau de la consommation électrique, on a une certaine stabilisation, en fait, de la consommation générale des datacenters, malgré la croissance très importante du numérique entre 2010 et 2020, on va dire. Les chiffres les plus optimistes disent qu’on a augmenté la consommation des datacenters uniquement de 6 % sur cette période-là, ce qui est remarquable parce que, comme on l’a noté, le <em<cloud, l’informatique, etc., ont explosé.
Mathilde Saliou : Tout ça pour dire que quand l’intelligence artificielle connaît un nouveau boom, d’abord avec la création des modèles transformers à la fin des années 2010, ensuite avec la sortie des modèles génératifs à destination du grand public, le sujet de la consommation énergétique du numérique est déjà parfaitement connu par les plus grands acteurs de l’industrie. Cela dit, pendant un certain temps, ils ont eu tendance à chercher de l’électricité là où ils en trouvaient, notamment chez eux. Clément Marquet m’explique d’ailleurs que l’endroit où ils s’installent le plus, aux États-Unis, c’est l’État de Virginie-Occidentale. La raison ? Là-bas, l’électricité est très peu chère, notamment parce qu’elle est produite à partir d’une technique dite du mountaintop removal, c’est-à-dire qu’on extrait du charbon de la montagne non pas en creusant, mais littéralement en faisant sauter le sommet des montagnes des Appalaches.
Ce que dit Clément Marquet, c’est qu’avec la frénésie subite pour les technologies d’intelligence artificielle, les serveurs sont toujours plus mis à contribution. Mais parler de la consommation électrique que génère leur usage, on commençait à l’entendre tout à l’heure dans le discours d’Anne-Laure Ligozat, c’est loin d’être suffisant. Un autre sujet croissant, c’est la question de l’eau.
17 ‘ 09
Clément Marquet : En fait,
