Aujourd’hui, les grands modèles de langues (LLMs, pour Large Language Models) montrent des performances impressionnantes dans de nombreux domaines, alors même que certaines tâches semblent nécessiter davantage qu'une “simple” compréhension du langage. Certains modèles savent écrire du code, d’autres montrent des capacités de raisonnement logique et mathématiques, savent répondre à des questions factuelles... ChatGPT, qui fait tant parler de lui, manie si bien le langage qu’il peut dans beaucoup de situations se faire passer pour un humain. Mais alors, diriez-vous que ChatGPT comprend quoi que ce soit du monde dans lequel nous vivons ? “Comprendre” est un terme communément employé pour décrire les capacités des LLMs, mais est-il justifié ? Dans un monde où les LLMs sont de plus en plus utilisés, il est crucial de prendre conscience de leurs capacités réelles afin de prendre des décisions informées sur leur utilisation.
Questionnons-nous donc sur ce que les modèles apprennent ou non durant leur entraînement.
Pour tenter de répondre à cette problématique, nous allons parcourir différentes études traitant de la capacité des LLMs à ancrer leur aptitudes linguistiques dans une représentation plus générale du monde. Autrement dit, parviennent-ils à appréhender le monde réel d’une quelconque façon, simplement en analysant des données textuelles ?
Pour analyser cette problématique, Bender et al. (2020) (vous vous souvenez, nous avons déjà mentionné l’autrice principale dans un précédent article) présentent la différence entre forme et signification. Selon les auteurs, il faut distinguer la représentation structurelle du langage (la forme) de la relation entre cette représentation structurelle et une représentation externe au langage (la signification). De manière simplifiée, il faut différencier le mot “chat” de ce qu’est réellement un chat, qui est un concept bien plus complexe que le mot lui-même.
De par la manière dont ils sont entraînés, les LLMs n’ont accès qu’à la forme, et n’ont aucune manière d’apprendre la signification. Les auteurs avancent l’argument qu’un tel système, entraîné seulement sur la forme, ne peut pas faire de connexions entre le langage et une représentation du monde réel.
Pour illustrer cet argument, le papier décrit une expérience de pensée mettant en scène un octopus super-intelligent que l’on nommera Octo, et deux personnes, appelons-les Alice et Bob. Alice et Bob sont chacun sur une île déserte et communiquent à l’aide d’un télégraphe. Octo, qui se trouve au fin fond de l’océan entre les deux îles, écoute leurs conversations via le câble qui les relie. Octo n’a aucune connaissance du langage humain, mais est très doué pour repérer les schémas statistiques, si bien qu’il parvient à apprendre à prédire les réponses de Bob en fonction de ce que dit Alice. Un jour, Octo trouve un moyen de trafiquer le câble pour répondre à Alice à la place de Bob. L’octopus peut-il vraisemblablement se faire passer pour Bob auprès d’Alice ? Dans la plupart des cas, il est probable que oui, mais y a-t-il des cas où le manque de signification peut révéler la supercherie d’Octo ? L’article avance que les capacités linguistiques d’Octo sont fondamentalement limitées par rapport à celles d’un humain de par le fait qu’elles ne sont pas ancrées dans le monde réel. Il n’a pas l’expérience du monde. Il ne pourra donc pas faire preuve de créativité ou de raisonnement nouveau, et ne serait ainsi pas capable d’imiter Bob dans n’importe quelle situation. Les auteurs soutiennent que, du fait de leur entraînement purement statistique sur la forme du langage, les LLMs, tout comme Octo, ne peuvent pas acquérir une compréhension de la signification des mots. Les capacités qu’ils pourraient avoir seraient ainsi limitées par rapport à celles d’un humain.
Malgré cela, les auteurs concèdent que, empiriquement, les LLMs les plus puissants montrent des performances impressionnantes sur des tâches complexes, ce qui suggère qu’ils capturent “quelque chose” à propos de la signification. Cependant, ils rappellent que les performances du modèle seules ne permettent pas de conclure quoi que ce soit sur la nature de ce “quelque chose”. La quantité gigantesque de données que les LLMs ingurgitent pendant leur entraînement leur permet notamment de construire des schémas statistiques très complexes. Il en résulte un système considéré comme “boîte noire”, et il est très compliqué de déterminer ce que les modèles apprennent réellement. Certaines études se sont penchées sur cette question et ont cherché à savoir ce que les LLMs sont capables d’apprendre en étant entraînés uniquement sur la forme du langage. C’est ce que nous allons voir maintenant.
Une étude menée par Li et al. (2023) tente de répondre à la question suivante : les LLMs construisent-t-ils une forme de représentation interne du monde, sur laquelle ils se basent pour produire leurs prédictions ? Pour y répondre, ils se placent dans le contexte très simplifié d’un jeu d’Othello.
Reprenons Alice et Bob, et imaginons qu’ils ont quitté leurs îles respectives et se retrouvent régulièrement pour une partie d’Othello. Quand ils jouent, ils ne communiquent que pour annoncer chacun leur prochain coup. Sur le rebord de la fenêtre, un corbeau écoute les annonces de Bob et Alice, sans voir le plateau du jeu. Un jour, le corbeau intervient et annonce un coup, qui s’avère totalement licite à ce stade de la partie. Bob et Alice se questionnent : le coup du corbeau est-il licite car ce dernier est capable de se faire une idée de l’état actuel du plateau ? Ou le corbeau reproduit-il simplement une séquence de jeu qu’il a déjà entendu ? En s’approchant du bord de la fenêtre, Bob et Alice y découvrent un arrangement de graines qui ressemble étrangement au plateau. Ils tentent alors de modifier cet arrangement, et le corbeau annonce alors un coup licite sur ce nouveau plateau et non l’ancien. Cette fois c’est clair, le corbeau a réussi à déduire des séquences qu’il a entendu une représentation du plateau, sur laquelle il se base pour prendre sa décision.
Vous l’aurez compris, dans cette histoire, le corbeau représente un modèle de langue, et il sera question d’analyser si une représentation du plateau existe bel et bien. Pour ce faire, ils entraînent un modèle de type GPT qu’ils nommeront Othello-GPT. Ce modèle est entraîné de la façon suivante : on lui fournit une séquence de coups et il doit prédire le coup suivant qui doit être licite. On ne lui donne aucune autre information concernant le jeu, que ce soit les règles ou la forme du plateau. Le modèle ainsi entraîné présente une performance quasi parfaite.
À présent, il s’agit d’analyser si le modèle construit une représentation du plateau. Pour ce faire, les auteurs utilisent la méthode de probing.
Dans notre cas, les auteurs vont sonder Othello-GPT en entraînant un classifieur par case du plateau, qui devra prédire si la case contient un pion blanc, un pion noir ou aucun pion. Afin de déterminer si une représentation du plateau est apprise par Othello-GPT lors de son entraînement, deux expériences vont être réalisées. Dans la première, les classifieurs sont entraînés à prédire l’état des cases en prenant en entrée les représentations intermédiaires d’un modèle Othello-GPT initialisé aléatoirement, donc non entraîné. Cette expérience joue le rôle de témoin. Dans la seconde, les classifieurs sont entraînés sur les représentations du modèle Othello-GPT entraîné. Les auteurs ont ainsi découvert que dans le cas où les classifieurs se basent sur le modèle entraîné, leurs performances pour prédire l’état du plateau sont bien meilleures. Cette découverte suggère qu’il existe une représentation du plateau dans les représentations internes d’Othello-GPT, qui a été apprise lors de son entraînement.
Une question reste en suspens : Othello-GPT se base-t-il sur cette représentation interne du plateau pour faire ses prédictions ? Pour revenir à l’histoire du corbeau, cela revient à déplacer les graines pour former un nouveau plateau, et voir si le corbeau donne une réponse différente. Les auteurs mettent en place une méthode pour tester cette hypothèse, qu’ils appellent une intervention. L’intervention consiste à modifier les représentations intermédiaires du modèle jusqu’à obtenir un nouveau plateau lors du sondage. Lors de leurs expériences, les auteurs ont pu découvrir qu’Othello-GPT fait des prédictions licites sur les plateaux modifiés, ce qui montre que la représentation du plateau que le modèle construit impacte la prédiction.
Cette étude montre que, dans le contexte simplifié d’un jeu d’Othello, le LLM construit une représentation du monde dans lequel il est placé, et s’en sert pour raisonner. De même, une autre étude menée par Abdou et al. (2021) a observé des résultats similaires pour le concept des couleurs. Ils ont découvert une organisation spatiale des couleurs dans les couches intermédiaires d’un LLM, présentant des similitudes avec la perception des couleurs par les humains. Cette observation suggère que le LLM peut modéliser un concept relevant de la perception, même s'il n'a été entraîné qu'à partir de données textuelles, et n’a jamais expérimenté réellement le concept de couleur.
Grâce à la quantité astronomique de données utilisée pour créer un modèle, il est possible de capturer des schémas statistiques qui vont au-delà de la simple prédiction du mot le plus probable. Ces expériences lèvent le voile sur ce que les LLMs peuvent modéliser à partir de ces données. Evidemment, cela ne prouve en rien une quelconque capacité à comprendre la signification des choses, telle qu’on l’a décrite dans le paragraphe précédent, mais ce pan de recherche permet de mettre un peu de lumière dans la boîte noire, et de donner une réponse partielle sur ce qui peut être appris par les LLMs.
On peut se demander si les modèles de langue parviennent à construire une représentation interne du monde, mais on peut aussi choisir une autre approche et directement apporter cette représentation au modèle. Cela est réalisable par différentes méthodes, mais l’idée reste la même : fournir au modèle une information autre que purement linguistique. On appelle cette méthode le grounding (ancrage), et les modèles qui en résultent sont considérés comme étant des grounded language models (modèles de langues ancrés). En multipliant les sources d’informations qui sont fournies au modèle, on peut imaginer que celui-ci appréhendera mieux le monde réel et sera plus en capacité de résoudre des tâches qui nécessitent une telle compréhension.
Le modèle LaMDA, dont on a parlé dans un précédent blogpost, met en œuvre cette idée en externalisant les données factuelles du modèle. Cela signifie que les données factuelles n’ont pas besoin d’être encodées dans les représentations internes du modèle, mais sont mises à disposition du modèle via un moteur de recherche. D’autres méthodes existent pour ancrer les modèles de langue. Par exemple, le modèle Mind’s Eye utilise un moteur de simulation pour fournir au modèle le résultat d’une simulation physique qui pourrait aider son raisonnement. Pour aller encore plus loin, pourquoi ne pas directement faire en sorte que le modèle puisse interagir avec le monde ? Les créateurs du modèle SayCan ont fait cette expérience, en créant un modèle de langue embarqué dans un robot. Pour agir correctement dans une certaine situation, le système combine deux informations complémentaires : les prédictions du LLM, qui détermine quelle action il serait judicieux de faire, et la perception du robot qui indique quelles actions il est possible de faire.
Dans tous les exemples cités, les performances du modèle sur un large éventail de tâches s’avèrent être meilleures lorsqu’il est ancré. Ces méthodes ne garantissent en rien le fait que les systèmes ainsi fabriqués aient une quelconque compréhension du monde, mais elles permettent de fournir au modèle des informations complémentaires qui vont l’aider dans son raisonnement. Cela se rapproche davantage de l’apprentissage humain: un bébé n’apprend pas uniquement le langage, il utilise aussi la vue, et interagit avec son environnement en même temps.
Alors, qu’est-ce que les LLMs apprennent ? Et surtout, comprennent-ils quoi que ce soit de notre monde ? Si cet article fait un rapide tour d’horizon de différentes études, qu’elles soient philosophiques ou empiriques, sur le sujet, le débat reste encore entièrement ouvert. Beaucoup de paramètres rentrent en compte, le plus fondamental étant la définition de la compréhension.
On peut cependant répondre à une question plus simple : pourquoi est-il important de se poser cette question ? On voit déjà ces systèmes se développer dans de nombreux domaines, et on peut vraisemblablement penser qu’ils vont y prendre de plus en plus de place. Le fait que ces modèles fonctionnent comme des boîtes noires peut poser problème, et les analyser nous permet d’en améliorer l’interprétabilité. C’est un prérequis fondamental afin que les utilisateurs de LLMs soient entièrement conscients de leurs capacités. Nous construisons des modèles dont les capacités ressemblent de plus en plus à celles d’un humain, ce qui déclenche naturellement une tendance à l’anthropomorphisme. Cependant, ces systèmes fonctionnent d'une manière fondamentalement différente d’un humain. Pour appréhender ces enjeux, Bender et al. suggèrent quelques bonnes pratiques afin de guider le développement des LLMs. En particulier, il faut éviter de créer un engouement exagéré envers les modèles de langues. Si ces derniers montrent des performances impressionnantes sur de nombreuses tâches, rappelons-nous que ces évaluations ne sont pas parfaites et ne justifient pas d'extrapoler les capacités des modèles. Au contraire, il faut savoir utiliser un langage adéquat pour décrire les capacités des LLMs, et, plus que tout, encourager la recherche sur ces enjeux.
