IA & NLP

Ce que les modèles de langues comprennent du monde

Louise Garnier


Un petit tour d’horizon de la représentation du monde réel dans les modèles de langue

Aujourd’hui, les grands modèles de langues (LLMs, pour Large Language Models) montrent des performances impressionnantes dans de nombreux domaines, alors même que certaines tâches semblent nécessiter davantage qu'une “simple” compréhension du langage. Certains modèles savent écrire du code, d’autres montrent des capacités de raisonnement logique et mathématiques, savent répondre à des questions factuelles... ChatGPT, qui fait tant parler de lui, manie si bien le langage qu’il peut dans beaucoup de situations se faire passer pour un humain. Mais alors, diriez-vous que ChatGPT comprend quoi que ce soit du monde dans lequel nous vivons ? “Comprendre” est un terme communément employé pour décrire les capacités des LLMs, mais est-il justifié ? Dans un monde où les LLMs sont de plus en plus utilisés, il est crucial de prendre conscience de leurs capacités réelles afin de prendre des décisions informées sur leur utilisation.

Questionnons-nous donc sur ce que les modèles apprennent ou non durant leur entraînement.

Pour tenter de répondre à cette problématique, nous allons parcourir différentes études traitant de la capacité des LLMs à ancrer leur aptitudes linguistiques dans une représentation plus générale du monde. Autrement dit, parviennent-ils à appréhender le monde réel d’une quelconque façon, simplement en analysant des données textuelles ?

Une pieuvre au bout du fil

Pour analyser cette problématique, Bender et al. (2020) (vous vous souvenez, nous avons déjà mentionné l’autrice principale dans un précédent article) présentent la différence entre forme et signification. Selon les auteurs, il faut distinguer la représentation structurelle du langage (la forme) de la relation entre cette représentation structurelle et une représentation externe au langage (la signification). De manière simplifiée, il faut différencier le mot “chat” de ce qu’est réellement un chat, qui est un concept bien plus complexe que le mot lui-même.

De par la manière dont ils sont entraînés, les LLMs n’ont accès qu’à la forme, et n’ont aucune manière d’apprendre la signification. Les auteurs avancent l’argument qu’un tel système, entraîné seulement sur la forme, ne peut pas faire de connexions entre le langage et une représentation du monde réel.

Pour rappel, les LLMs sont dans la plupart des cas entraînés pour résoudre la tâche de prédiction de mots suivant ou manquant. Par exemple, on fournit au modèle un début de texte et ses paramètres sont optimisés pour compléter le texte avec le mot le plus probable.

Pour illustrer cet argument, le papier décrit une expérience de pensée mettant en scène un octopus super-intelligent que l’on nommera Octo, et deux personnes, appelons-les Alice et Bob. Alice et Bob sont chacun sur une île déserte et communiquent à l’aide d’un télégraphe. Octo, qui se trouve au fin fond de l’océan entre les deux îles, écoute leurs conversations via le câble qui les relie. Octo n’a aucune connaissance du langage humain, mais est très doué pour repérer les schémas statistiques, si bien qu’il parvient à apprendre à prédire les réponses de Bob en fonction de ce que dit Alice. Un jour, Octo trouve un moyen de trafiquer le câble pour répondre à Alice à la place de Bob. L’octopus peut-il vraisemblablement se faire passer pour Bob auprès d’Alice ? Dans la plupart des cas, il est probable que oui, mais y a-t-il des cas où le manque de signification peut révéler la supercherie d’Octo ? L’article avance que les capacités linguistiques d’Octo sont fondamentalement limitées par rapport à celles d’un humain de par le fait qu’elles ne sont pas ancrées dans le monde réel. Il n’a pas l’expérience du monde. Il ne pourra donc pas faire preuve de créativité ou de raisonnement nouveau, et ne serait ainsi pas capable d’imiter Bob dans n’importe quelle situation. Les auteurs soutiennent que, du fait de leur entraînement purement statistique sur la forme du langage, les LLMs, tout comme Octo, ne peuvent pas acquérir une compréhension de la signification des mots. Les capacités qu’ils pourraient avoir seraient ainsi limitées par rapport à celles d’un humain.

Malgré cela, les auteurs concèdent que, empiriquement, les LLMs les plus puissants montrent des performances impressionnantes sur des tâches complexes, ce qui suggère qu’ils capturent “quelque chose” à propos de la signification. Cependant, ils rappellent que les performances du modèle seules ne permettent pas de conclure quoi que ce soit sur la nature de ce “quelque chose”. La quantité gigantesque de données que les LLMs ingurgitent pendant leur entraînement leur permet notamment de construire des schémas statistiques très complexes. Il en résulte un système considéré comme “boîte noire”, et il est très compliqué de déterminer ce que les modèles apprennent réellement. Certaines études se sont penchées sur cette question et ont cherché à savoir ce que les LLMs sont capables d’apprendre en étant entraînés uniquement sur la forme du langage. C’est ce que nous allons voir maintenant.

Un corbeau qui joue à Othello

Une étude menée par Li et al. (2023) tente de répondre à la question suivante : les LLMs construisent-t-ils une forme de représentation interne du monde, sur laquelle ils se basent pour produire leurs prédictions ? Pour y répondre, ils se placent dans le contexte très simplifié d’un jeu d’Othello.

Reprenons Alice et Bob, et imaginons qu’ils ont quitté leurs îles respectives et se retrouvent régulièrement pour une partie d’Othello. Quand ils jouent, ils ne communiquent que pour annoncer chacun leur prochain coup. Sur le rebord de la fenêtre, un corbeau écoute les annonces de Bob et Alice, sans voir le plateau du jeu. Un jour, le corbeau intervient et annonce un coup, qui s’avère totalement licite à ce stade de la partie. Bob et Alice se questionnent : le coup du corbeau est-il licite car ce dernier est capable de se faire une idée de l’état actuel du plateau ? Ou le corbeau reproduit-il simplement une séquence de jeu qu’il a déjà entendu ? En s’approchant du bord de la fenêtre, Bob et Alice y découvrent un arrangement de graines qui ressemble étrangement au plateau. Ils tentent alors de modifier cet arrangement, et le corbeau annonce alors un coup licite sur ce nouveau plateau et non l’ancien. Cette fois c’est clair, le corbeau a réussi à déduire des séquences qu’il a entendu une représentation du plateau, sur laquelle il se base pour prendre sa décision.

Vous l’aurez compris, dans cette histoire, le corbeau représente un modèle de langue, et il sera question d’analyser si une représentation du plateau existe bel et bien. Pour ce faire, ils entraînent un modèle de type GPT qu’ils nommeront Othello-GPT. Ce modèle est entraîné de la façon suivante : on lui fournit une séquence de coups et il doit prédire le coup suivant qui doit être licite. On ne lui donne aucune autre information concernant le jeu, que ce soit les règles ou la forme du plateau. Le modèle ainsi entraîné présente une performance quasi parfaite.

À présent, il s’agit d’analyser si le modèle construit une représentation du plateau. Pour ce faire, les auteurs utilisent la méthode de probing.

Le probing, quèsaco ?
Cette méthode, que l'on pourrait traduire par sondage, sert à découvrir si le schéma statistique créé par un modèle de langue contient une certaine information. Elle consiste à entraîner un modèle de classification sur une tâche particulière en prenant en entrée les représentations intermédiaires du LLM. Vous savez peut-être qu’un modèle de langue, comme tout modèle de Deep Learning, se compose d’une succession de couches ; une représentation intermédiaire est le vecteur représentant les mots entre deux couches successives. Si le classifieur montre des performances satisfaisantes, on considère que le modèle de langue contient bien l’information en question.Par exemple, si l’on veut savoir si un LLM sait distinguer un verbe d’un autre type de mot, on entraîne un classifieur qui classifie chaque mot dans deux catégories: les verbes et les non-verbes. Si les performances du classifieur sont bonnes, on en déduit qu’il existe dans les représentations du modèle une différence systématique entre les verbes et les autres mots.Grâce à cette méthode, il a été démontré que les LLMs se construisent une représentation d’un certain nombre d’informations syntaxiques et sémantiques, alors même qu’ils n’ont jamais été explicitement entraînés pour les apprendre.

Dans notre cas, les auteurs vont sonder Othello-GPT en entraînant un classifieur par case du plateau, qui devra prédire si la case contient un pion blanc, un pion noir ou aucun pion. Afin de déterminer si une représentation du plateau est apprise par Othello-GPT lors de son entraînement, deux expériences vont être réalisées. Dans la première, les classifieurs sont entraînés à prédire l’état des cases en prenant en entrée les représentations intermédiaires d’un modèle Othello-GPT initialisé aléatoirement, donc non entraîné. Cette expérience joue le rôle de témoin. Dans la seconde, les classifieurs sont entraînés sur les représentations du modèle Othello-GPT entraîné. Les auteurs ont ainsi découvert que dans le cas où les classifieurs se basent sur le modèle entraîné, leurs performances pour prédire l’état du plateau sont bien meilleures. Cette découverte suggère qu’il existe une représentation du plateau dans les représentations internes d’Othello-GPT, qui a été apprise lors de son entraînement.

Une question reste en suspens : Othello-GPT se base-t-il sur cette représentation interne du plateau pour faire ses prédictions ? Pour revenir à l’histoire du corbeau, cela revient à déplacer les graines pour former un nouveau plateau, et voir si le corbeau donne une réponse différente. Les auteurs mettent en place une méthode pour tester cette hypothèse, qu’ils appellent une intervention. L’intervention consiste à modifier les représentations intermédiaires du modèle jusqu’à obtenir un nouveau plateau lors du sondage. Lors de leurs expériences, les auteurs ont pu découvrir qu’Othello-GPT fait des prédictions licites sur les plateaux modifiés, ce qui montre que la représentation du plateau que le modèle construit impacte la prédiction.

Cette étude montre que, dans le contexte simplifié d’un jeu d’Othello, le LLM construit une représentation du monde dans lequel il est placé, et s’en sert pour raisonner. De même, une autre étude menée par Abdou et al. (2021) a observé des résultats similaires pour le concept des couleurs. Ils ont découvert une organisation spatiale des couleurs dans les couches intermédiaires d’un LLM, présentant des similitudes avec la perception des couleurs par les humains. Cette observation suggère que le LLM peut modéliser un concept relevant de la perception, même s'il n'a été entraîné qu'à partir de données textuelles, et n’a jamais expérimenté réellement le concept de couleur.

Grâce à la quantité astronomique de données utilisée pour créer un modèle, il est possible de capturer des schémas statistiques qui vont au-delà de la simple prédiction du mot le plus probable. Ces expériences lèvent le voile sur ce que les LLMs peuvent modéliser à partir de ces données. Evidemment, cela ne prouve en rien une quelconque capacité à comprendre la signification des choses, telle qu’on l’a décrite dans le paragraphe précédent, mais ce pan de recherche permet de mettre un peu de lumière dans la boîte noire, et de donner une réponse partielle sur ce qui peut être appris par les LLMs.

Ancrer les modèles dans le monde réel

On peut se demander si les modèles de langue parviennent à construire une représentation interne du monde, mais on peut aussi choisir une autre approche et directement apporter cette représentation au modèle. Cela est réalisable par différentes méthodes, mais l’idée reste la même : fournir au modèle une information autre que purement linguistique. On appelle cette méthode le grounding (ancrage), et les modèles qui en résultent sont considérés comme étant des grounded language models (modèles de langues ancrés). En multipliant les sources d’informations qui sont fournies au modèle, on peut imaginer que celui-ci appréhendera mieux le monde réel et sera plus en capacité de résoudre des tâches qui nécessitent une telle compréhension.

Le modèle LaMDA, dont on a parlé dans un précédent blogpost, met en œuvre cette idée en externalisant les données factuelles du modèle. Cela signifie que les données factuelles n’ont pas besoin d’être encodées dans les représentations internes du modèle, mais sont mises à disposition du modèle via un moteur de recherche. D’autres méthodes existent pour ancrer les modèles de langue. Par exemple, le modèle Mind’s Eye utilise un moteur de simulation pour fournir au modèle le résultat d’une simulation physique qui pourrait aider son raisonnement. Pour aller encore plus loin, pourquoi ne pas directement faire en sorte que le modèle puisse interagir avec le monde ? Les créateurs du modèle SayCan ont fait cette expérience, en créant un modèle de langue embarqué dans un robot. Pour agir correctement dans une certaine situation, le système combine deux informations complémentaires : les prédictions du LLM, qui détermine quelle action il serait judicieux de faire, et la perception du robot qui indique quelles actions il est possible de faire.

Dans tous les exemples cités, les performances du modèle sur un large éventail de tâches s’avèrent être meilleures lorsqu’il est ancré. Ces méthodes ne garantissent en rien le fait que les systèmes ainsi fabriqués aient une quelconque compréhension du monde, mais elles permettent de fournir au modèle des informations complémentaires qui vont l’aider dans son raisonnement. Cela se rapproche davantage de l’apprentissage humain: un bébé n’apprend pas uniquement le langage, il utilise aussi la vue, et interagit avec son environnement en même temps.

Conclusion

Alors, qu’est-ce que les LLMs apprennent ? Et surtout, comprennent-ils quoi que ce soit de notre monde ? Si cet article fait un rapide tour d’horizon de différentes études, qu’elles soient philosophiques ou empiriques, sur le sujet, le débat reste encore entièrement ouvert. Beaucoup de paramètres rentrent en compte, le plus fondamental étant la définition de la compréhension.

On peut cependant répondre à une question plus simple : pourquoi est-il important de se poser cette question ? On voit déjà ces systèmes se développer dans de nombreux domaines, et on peut vraisemblablement penser qu’ils vont y prendre de plus en plus de place. Le fait que ces modèles fonctionnent comme des boîtes noires peut poser problème, et les analyser nous permet d’en améliorer l’interprétabilité. C’est un prérequis fondamental afin que les utilisateurs de LLMs soient entièrement conscients de leurs capacités.  Nous construisons des modèles dont les capacités ressemblent de plus en plus à celles d’un humain, ce qui déclenche naturellement une tendance à l’anthropomorphisme. Cependant, ces systèmes fonctionnent d'une manière fondamentalement différente d’un humain. Pour appréhender ces enjeux, Bender et al. suggèrent quelques bonnes pratiques afin de guider le développement des LLMs. En particulier, il faut éviter de créer un engouement exagéré envers les modèles de langues. Si ces derniers montrent des performances impressionnantes sur de nombreuses tâches, rappelons-nous que ces évaluations ne sont pas parfaites et ne justifient pas d'extrapoler les capacités des modèles. Au contraire, il faut savoir utiliser un langage adéquat pour décrire les capacités des LLMs, et, plus que tout, encourager la recherche sur ces enjeux.

Lire un autre article

Icône de professionnel de santé

La recherche clinique : un enjeu de santé et d'avenir

Icône de professionnel de santé

Faire réfléchir les modèles avec Chain of Thought

Icône de professionnel de santé

Entrepôts de données de santé : un seul concept juridique pour...