<figure><img src="image_1.png" /></figure>

HAL
open science

# Les algorithmes des IA peuvent-ils comprendre notre monde ?

Clément Romac, Thomas Carta, Pierre-Yves Oudeyer

► To cite this version:

Clément Romac, Thomas Carta, Pierre-Yves Oudeyer. Les algorithmes des IA peuvent-ils comprendre notre monde?. Pour la science, 2024. hal-04855190

HAL Id: hal-04855190

https://inria.hal.science/hal-04855190v1

Submitted on 30 Apr 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
ChatGPT, GPT-4, Bard, Gemini... Ces derniers mois ont vu éclore une série de "modèles de langage" en majorité produits par des grandes entreprises (Google, Facebook, OpenAI...). Ces outils intrigants et désormais largement utilisés par le grand public (qui n'a pas entendu parler de ChatGPT dans un repas de famille ?) ont tous le même principe de fonctionnement : un logiciel informatique capable de répondre à des messages envoyés sous forme de texte par un utilisateur.

Répondre à des questions sur des faits historiques, raconter des blagues, générer une lettre de motivation... Les capacités de ces outils semblent impressionnantes à première vue. Mais, lorsque l'on creuse, certaines limites apparaissent. On peut notamment observer que ces logiciels produisent parfois des informations fausses, voire inventées de toute pièce. Il est alors d'autant plus difficile de faire le tri entre le vrai et le faux qu'ils sont indiscernables pour le modèle, qui présente chaque résultat sans précaution particulière.

Il arrive cependant que les informations présentées éveillent d'emblée les soupçons. C'est notamment le cas quand elles semblent tout à fait déconnectées du monde dans lequel nous vivons. En témoigne cette explication au doux parfum d'absurde, lors d'un échance avec ChatGPT : si un anaconda ne peut « rentrer, en taille, dans un centre commercial », c'est que sa longueur poserait problème étant donné la hauteur des plafonds du bâtiment.

Pourquoi un modèle passe-t-il à côté de ce qui nous semble évident ? Comment expliquer que, parfois, ce qui relève du sens commun lui échappe complètement ? Pour comprendre, il faut revenir à la nature des modèles de langage. Ils sont fondés sur une fonction mathématique possédant un très grand nombre de paramètres (dans le cas des modèles de langage actuels, plus d'une centaine de milliards) pouvant être modifiés afin d'obtenir la sortie désirée pour une entrée donnée. En utilisant des méthodes mathématiques dites d'« apprentissage automatique », ces paramètres sont automatiquement ajustés afin de faire correspondre les entrées et sorties d'un jeu de données (un ensemble de paires entrée / sortie) d'apprentissage. Plus précisément, chaque mot en entrée est associé à un vecteur de représentation (un point dans un espace de réels à plusieurs dimensions) et la sortie est une distribution de probabilité sur l'ensemble des mots possibles (étant donné un vocabulaire fixé à l'avance). Ainsi, entraîner un modèle de langage revient à lui montrer un grand nombre de phrases et ajuster automatiquement ses paramètres pour qu'il assigne la probabilité la plus forte au bon mot qui suivait chacune de ces phrases. Il est ensuite possible d'utiliser ce modèle pour générer du texte : en commençant par une phrase initiale, nous pouvons sélectionner le mot suivant le plus probable puis répéter cette opération en ajoutant le mot précédemment choisi à la phrase d'entrée.

Ce principe d'entraînement est en fait antérieur à l'explosion des récents modèles de langage. Déjà appliqué depuis plusieurs décennies, ses résultats étaient encourageants mais bien loin de ce que l'on peut désormais observer. Alors, qu'est-ce qui a changé ? Tout d'abord, c'est le modèle mathématique qui a évolué. Jusqu'en 2017, les modèles de langage s'appuyaient principalement sur des réseaux de neurones récurrents : une fonction ne prenant en entrée qu'un seul mot à la fois et utilisant un principe de mémoire (une matrice) pour partager des informations de mots en mots. Mais en 2017, un nouveau modèle appelé « transformer » propose de considérer tous les mots du contexte directement et d'utiliser un principe nommé « attention » pour effectuer des opérations entre les vecteurs de représentation des mots. Ce nouveau modèle a l'avantage de ne pas souffrir de la
« disparition des gradients », un problème bien connu des réseaux de neurones récurrents, qui les rend difficilement entraînables par apprentissage automatique lorsque les séquences sont longues. Surtout, par conception, un « transformer » est à même d'exécuter un grand nombre d'opérations en parallèle. C'est ainsi que les modèles actuels parviennent à manipuler des dizaines de milliards de paramètres, et traiter des jeux de données de plus en plus grands.

Comme un modèle de langage contemporain produit avant tout une distribution de probabilité sur le prochain mot possible, il peut être utilisé pour créer des phrases mais aussi pour calculer la probabilité qu'une phrase apparaisse à la suite d'une autre. Les phrases générées sont donc celles qui ont la plus grande probabilité d'apparaître étant donné les exemples vus pendant l'apprentissage. Si l'on demande à GPT-3 quelle est sa couleur préférée, et que l'on analyse la probabilité qu'il assigne aux différentes couleurs, on s'aperçoit ainsi que les probabilités retenues sont représentatives de la répartition des couleurs préférées exprimées par les humains.

## UN APPRENTISSAGE PASSIF

Cet apprentissage « passif » offre au modèle un accès à certaines connaissances sur notre monde. Mais il ne s'agit jamais que d'un savoir « livresque » (lire l'encadré « Le savoir livresque des IA »). Ces connaissances ne s'ancrent pas dans l'expérience directe de la réalité. Pourtant, c'est cette expérience qui nous fait comprendre immédiatement si, oui ou non, un anaconda peut se tenir dans les allées d'un supermarché...

Comment doter les IA de cette aptitude ? Et, d'abord : est-ce souhaitable ? Au-delà d'une tentative de mimétisme d'un processus naturel, le problème de l'ancrage des mots dans le réel a une importance fondamentale si l'on souhaite que les modèles développés puissent être utilisables dans notre monde - et pas seulement pour générer des blagues, résumer ou reformuler des textes, structurer des documents. En effet, il semble nécessaire que nous partagions avec ces modèles un socle commun de connaissances, et que les mots que nous utilisons pour communiquer avec eux partagent le même sens ou réfèrent aux même concepts. Par exemple, si l'on demande à un robot de « prendre une pomme », il faut qu'il puisse lier le mot « pomme » à la réalité physique de l'objet pomme avec toutes les variations que peut présenter cet objet (la couleur, la taille, la forme, le goût ...).

Ce problème d'ancrage est en fait bien connu du monde de la recherche. Formalisé en 1990 sous le nom de « problème d'ancrage des symboles » (ou « symbol grounding problem ») par le chercheur en sciences cognitives Steven Harnad, il traite la question suivante : un ensemble de règles fixant les combinaisons possibles entre des symboles (des mots, des hiéroglyphes...) et l'ensemble de ces symboles sont-ils susceptibles de contenir, intrinsèquement, un sens et référer à des objets ou concepts extérieurs à l'ensemble des symboles ? Intuitivement, le problème d'ancrage des symboles étudie comment un ensemble de symboles - les mots que nous utilisons en français - peut être associé à ce qui constitue notre monde, et ainsi être porteur de sens lorsque nous interprétons ces mots dans un contexte.
La question de l'ancrage, étudiée en profondeur par les psychologues ou les linguistes, a également fait l'objet de nombreux travaux de recherche dans le domaine de l'apprentissage automatique, et notamment dans le cadre des modèles manipulant du texte. La majeure partie des travaux en apprentissage automatique se sont intéressés à associer des noms d'objets à leur représentation visuelle. En résultent les nombreux générateurs d'images apparus ces dernières années, capables de produire une image étant donné une description textuelle.

Certains de ces travaux ont par ailleurs été appliqués aux récents modèles massifs de langage. Par exemple, des modèles comme GPT-4 sont capables d'accepter en entrée non seulement du texte mais aussi, désormais, des images. Pour autant, le problème d'ancrage de ces modèles dans le monde au sens plus général n'est pas résolu. A l'évidence – qu'on songe à nouveau à l'anaconda de ChatGPT... - les mécanismes d'ancrage actuels semblent échouer à capturer la signification de certains concepts, comme la manipulation de certaines propriétés physiques. A quoi devrait ressembler l'expérience de la gravité, concept fondamental de notre réalité, si elle devait être ancrée dans un modèle de langage ? Serait-il possible de réaliser cet ancrage, afin qu'un robot, échangeant avec nous comme nous le faisons avec ChatGPT, soit apte à effectuer judicieusement des tâches concrètes dans le monde physique ?

Pour esquisser des réponses à ces questions, il faut en réalité s'intéresser à un autre type d'ancrage: le « functional grounding », ou ancrage fonctionnel. L'idée est ici de se concentrer sur les symboles utilisés pour agir sur un environnement donné et prédire le résultat des actions menées, afin d'y résoudre différents problèmes ou objectifs. La résolution de problème rend alors possible d'ancrer les dynamiques ou règles physiques de cet environnement dans le modèle de langage. Nous avons présenté un système de ce type en juillet 2023, lors de l'une des plus importantes conférences internationales du domaine de l'apprentissage automatique.

## VERS UN ANCRAGE FONCTIONNEL

Cette manière d'ancrer la réalité dans nos représentations, et plus particulièrement les actions qui changent notre monde, nous y avons naturellement recours, notamment lorsque l'on utilise notre langage intérieur (endophasie) pour dresser une liste d'actions à conduire pour atteindre un but. Par exemple, si l'on cuisine, il est commun de faire mentalement la liste des prochaines actions à effectuer afin d'obtenir le plat souhaité. Les symboles (ici les actions comme « couper », « cuire »,...) sont utilisés pour agir sur notre environnement et pour prédire l'état de cet environnement après l'interaction. L'ancrage est ici particulier à chaque environnement rencontré, « avancer » n'a pas exactement le même sens dans le contexte d'un jeu d'échec et dans notre environnement de tous les jours.

Comment transposer ce mécanisme à un système d'IA ? Comment relier un modèle de langage à un environnement, qu'il s'agisse du monde physique ou d'une simulation informatique, de manière à mettre en relation symboles, actions et résultats de ces actions ? Il nous a fallu, pour cette première étude de l'ancrage fonctionnel, créer un environnement
dédié, permettant de le dissocier de toute autre forme d'ancrage afin d'étudier ses spécificités.

Nous avions besoin d'un environnement sur lequel pourra agir un agent, et qui sera affecté par les actions de cet agent. Il faut par ailleurs que cet agent décide de quelle action mener selon ce qu'il perçoit du résultat de ses actions sur l'environnement. En pratique, notre agent n'est autre qu'un modèle de langage, à la fois corps (capable d'agir) et cerveau (et de décider).

Quant à l'environnement, il est fait... de texte, soit pour décrire ce que l'agent peut observer, soit décrire les actions possibles. Bien qu'alléchants, les environnements plus complexes, impliquant notamment une perception visuelle (comme par exemple ceux simulant un robot muni d'une caméra et pouvant interagir avec des objets dans une cuisine) induirait d'autres formes d'ancrage (par exemple le lien entre le nom d'un objet et ses différentes facettes dans une vidéo). Nous nous en sommes tenus à une simulation suffisamment simple pour que les éléments de l'environnement soient directement descriptible sous forme de texte, et suffisamment riche pour permettre d'étudier différentes propriétés de l'ancrage fonctionnel. Notre système s'apparente ainsi aux premiers jeux vidéos, comme Zork, un jeu textuel à tours dans lequel un personnage ou agent reçoit une description de ce qu'il « voit » et peut renvoyer à l'environnement, également sous forme de texte, ce qu'il souhaite faire (par exemple une commande « attaquer le dragon avec l'épée »). Lorsque le jeu commence, le joueur reçoit un but (par exemple « vaincre le monstre du donjon ») ainsi que la description de ce qu'il peut initialement observer. Atteindre le but nécessite d'effectuer différentes actions, plus ou moins nombreuses, selon la stratégie suivie. A chaque tour, le joueur saisit au clavier l'action qu'il souhaite effectuer puis reçoit une nouvelle description de ce qui est désormais perçu.

Dans notre dispositif, l'environnement s'appelle BabyAI-text, l'agent est le modèle massif de langage Flan-T5, à 780 millions de paramètres, développé par Google en 2022, et nous appelons GLAM (Grounded Language Model) le « jeu » qui les associe. Dans BabyAI-Text, l'agent évolue dans une pièce où il peut se déplacer au travers de trois commandes: « avancer », « tourner à droite » et « tourner à gauche ». Dans cette pièce se trouvent des objets qu'il peut saisir et déplacer. L'agent reçoit un but du type « Mettre la boule rouge à côté de la boîte bleue ». A chaque tour, il ne peut voir qu'une partie de la pièce et doit sélectionner une action parmi six possibles (trois pour se déplacer, trois pour interagir avec un objet). Quand le but demandé ou la limite de tours est atteinte, le contenu de la pièce est réinitialisé et un nouveau but (éventuellement composé de plusieurs buts simples) assigné aléatoirement.

## UN AGENT EN MISSION

Le « cerveau » de notre agent a initialement été entraîné par ses concepteurs à partir de millions de documents. Il lui faut apprendre à présent à manipuler judicieusement le vocabulaire utilisé lorsqu'il interagit avec BabyAI-Text. Par exemple, lorsque notre modèle de langage choisit d'utiliser la commande « avancer », il doit associer ce mot à ce qu'implique d'avancer d'un pas dans l'environnement (ce qui est perçu change, les objets devant l'agent se rapprochent, si un objet était déjà devant lui il reste bloqué au même endroit...).
Nous aurions pu, au lieu d'interactions entre agent et environnement, choisir de montrer au modèle des explications (sous forme de phrases) des dynamiques de l'environnement et l'entraîner à les réexpliquer (c'est à dire à prédire le mot suivant dans les explications fournies). Sauf qu'il n'est pas toujours trivial de restituer la physique d'un environnement sous forme de phrases. Par exemple, il est difficile de décrire et expliquer que se mouvoir dans un environnement implique un changement dans ce qui est ensuite perçu. Cette notion semble en effet plus facile à acquérir en interagissant directement dans l'environnement et en apprenant des résultats de ces interactions. De plus, apprendre à réciter des explications reçues veut-il dire que le modèle a ancré les dynamiques et est capable de les exploiter pour résoudre des problèmes dans l'environnement ? Cela n'est pas garanti.

Une autre possibilité serait de montrer au modèle un certain nombre de paires entrée-sortie, contenant comme entrée le but à résoudre ainsi que l'observation d'un agent et l'action effectuée comme sortie. Mais d'où viendraient ces exemples ? Doit-on demander à un humain d'interagir avec l'environnement pendant plusieurs milliers de tours ? Doit-on créer un autre agent artificiel qui explorerait l'environnement afin de fournir au modèle de langage ces exemples ? Un inconvénient majeur de cette méthode est qu'inférer de manière passive des effets de causalité à partir d'observations des actions venant d'un autre agent peut introduire des facteurs confondants, c'est à dire des informations ayant influencé la prise de décision de l'agent ainsi que le résultat (la prochaine observation). Par exemple, une voiture autonome apprenant à conduire en observant des humains conduire pourrait inférer que freiner fait apparaître des piétons souhaitant traverser (car les piétons souhaitant traverser sont observés en même temps que l'action de freiner), ce qui pourrait conduire la voiture à adopter la stratégie de ne jamais freiner.

Voilà pourquoi, dans notre étude de l'ancrage fonctionnel, l'agent proposé génère (ou plutôt assemble d'une manière arbitraire définie par l'expérimentateur) un « prompt » contenant l'objectif, la description de l'observation, la liste des actions possibles, ainsi qu'une question demandant quelle action effectuer. Ce texte est utilisé comme entrée du modèle de langage de qui est attendu la suite de ce texte: la prochaine action.

Mais si l'on se rappelle ce qui a été décrit plus haut, un modèle de langage n'est qu'une fonction mathématique que l'on peut notamment utiliser pour calculer la probabilité qu'une phrase entière apparaisse à la suite d'un texte. C'est ce point essentiel sur lequel la méthode GLAM s'appuie. En effet, au lieu d'utiliser le modèle de langage pour générer, sans interaction avec l'environnement, la séquence de texte la plus probable d'apparaître à la suite de son entrée fournie par l'agent (cette génération pouvant ne pas être une action possible dans l'environnement), GLAM utilise le modèle de langage pour directement calculer la probabilité de chaque action étant donnée l'entrée. Ainsi, GLAM va tester les différentes options (« avancer », « tourner à droite »...) à la suite du prompt se terminant par la question demandant quelle action doit être effectuée et choisir l'action ayant obtenue la plus grande probabilité selon le modèle de langage.

L'agent, avec les prompts fournis par l'expérimentateur et les informations retournées par l'environnement textuel, dispose non seulement d'un cerveau (le modèle de langage) mais aussi d'un corps. Comment met-il à jour le contenu de son cerveau en fonction des actions conduites par son corps ? Dans l'approche GLAM, nous utilisons l'apprentissage par
renforcement. Dans ce sous-domaine de l'apprentissage automatique, un agent essaie différentes stratégies (associant une action à une observation) afin de maximiser une récompense envoyée par l'environnement après une série d'interactions. Les paramètres de la fonction de stratégie sont peu à peu ajustés, sans intervention de l'expérimentateur, afin d'obtenir la meilleure récompense possible. C'est grâce à cette méthode que DeepMind a créé AlphaGo, un agent capable de battre le champion du monde du jeu de Go, ou encore qu'OpenAI a plus récemment appris à un agent à résoudre un Rubik's Cube avec une main robotique.

## ANCRER LA DYNAMIQUE DE L'ENVIRONNEMENT

Est-ce suffisant pour ancrer fonctionnellement un modèle de langage dans son environnement ? Nous avons conduit au total 1.5 millions d'interactions entre Flan-T5 et BabyAI-Text, pour que l'agent apprenne à résoudre les différents types d'objectifs dans des pièces différentes. Testé ensuite sur 1000 nouvelles combinaisons de pièces et objectifs jamais vus durant l'entraînement, la version ancrée de Flan-T5 (nommée GFlan-T5) résout notamment 89% des tâches demandant d'atteindre ou même d'attraper un objet, contre 11% de la part du Flan-T5 non ancré. Encore plus intéressant, GFlan-T5 résout toujours 87% de ces tâches même si les objets présents dans les pièces sont des objets jamais vus durant l'entraînement (seulement des balles, boîtes et clés étaient présentes dans les tâches d'entraînement alors que ces tests contiennent des chaises, tables et voitures). Si l'on va encore plus loin et que ces objets sont désormais nommés par des noms inventés ("axfe", "xolo" et "dax"), GFlan-T5 résout toujours 88% des tâches. Ces résultats montrent comment l'ancrage fonctionnel de Flan-T5 avec GLAM a impacté sa manipulation du vocabulaire lié aux dynamiques de l'environnement (par exemple « avancer », « tourner »...) sans perturber d'autres mots tels que les noms d'objets.

Pour finir, nous avons comparé l'approche active de GLAM à une méthode d'ancrage passif. Nous avons créé un agent expert spécifiquement pour BabyAI-Text. Ce programme a accès à plus d'informations que la seule observation textuelle fournie à l'agent utilisant GLAM. Il est ainsi capable de résoudre toutes les tâches grâce à une stratégie optimale fixe (qui ne s'adapte donc pas à d'autres environnements). Nous avons enregistré, pour cet agent expert, autant de « tours » que ceux explorés par GFlan-T5. A chaque tour, le but, l'observation ainsi que les actions possibles ont été utilisés pour recréer un prompt ayant le même format que celui fourni par l'agent utilisé selon l'approche GLAM. A partir de ce jeu de données (contenant pour chaque tour le prompt et l'action choisie par l'expert), le même modèle Flan-T5 que celui utilisé comme base pour GFlan-T5 a été entraîné à prédire chacune des « bonnes » actions étant donnée leur prompt. On obtient de la sorte un ancrage fonctionnel passif où le modèle de langage apprend à choisir la bonne action pour résoudre des problèmes dans l'environnement sans jamais interagir avec l'environnement.

Les résultats de ces expériences montrent que l'apprentissage passif est moins performant que l'approche active de GLAM, alors même qu'il utilise des exemples contenant les
meilleures actions à réaliser à chaque tour. De plus, lorsque l'on change les objets dans la pièce, l'agent ayant suivi un apprentissage passif affiche des performances significativement moindres. Ces résultats, qui peuvent sembler surprenant à première vue, peuvent s'expliquer de deux manières. Tout d'abord, l'ancrage passif n'expose le modèle qu'à un nombre restreint d'exemples (ceux issus des meilleures actions). Ainsi, une fois ancré, s'il commet une erreur, il ne sait pas comment se corriger car il n'a jamais vu d'exemples contentant des actions sous-optimales. GFlan-T5 de son côté a appris lors de son entraînement à corriger une erreur par exemple en revenant sur ses pas. De plus, comme évoqué précédemment, cet ancrage passif peut impliquer des facteurs confondants que Flan-T5 n'arriver pas à discerner. C'est notamment ce qui a été montré dans une précédente étude comparant l'apprentissage par renforcement avec un apprentissage passif dans le cadre de facteurs confondants. Enfin, une autre explication possible vient de la mécanique d'apprentissage elle-même. Si l'ancrage passif fait en sorte que le modèle de langage sélectionne la bonne action pour l'observation donnée, l'apprentissage par renforcement dans GLAM oblige, lui, le modèle langage à sélectionner l'action qui permettra, à la fin, d'atteindre le but. Ce mode d'apprentissage semble donc plus tourné vers l'acquisition d'une stratégie de long terme pour un but donné.

Avec l'introduction d'une nouvelle approche au fameux problème d'ancrage des symboles ainsi qu'une première méthode permettant d'ancrer fonctionnellement un modèle de langage, s'ouvre une voie vers de futures systèmes d'IA plus ancrés dans notre monde. Ce n'est en réalité qu'une première étape, aujourd'hui uniquement testée sur des modèles relativement petits dans un cadre restreint, mais ce travail pourrait bien amener d'autres équipes de recherche à essayer de mieux comprendre et résoudre l'ancrage fonctionnel d'autres modèles massifs de langage.

## UNE PISTE POUR LA ROBOTIQUE

Reste aussi à savoir comment un tel ancrage peut être effectué dans notre monde. De récents travaux ont utilisé des modèles de langage intégrés à un robot interagissant avec le monde physique grâce à différents modèles d'apprentissage automatique permettant de décrire ce que capte sa caméra. Ces travaux montrent notamment que les modèles de langage utilisés, de manière similaire à ce qui a été fait avec GLAM, sont à même de choisir quelle action effectuer pour résoudre des tâches posées au robot. Ils n'impliquent en revanche aucun ancrage fonctionnel pour aligner le modèle de langage avec l'environnement et corriger sa prise de décision en cas d'erreur. Un tel cadre impliquerait d'étudier à la fois l'ancrage fonctionnel utilisé lors de la prise de décision, mais aussi l'ancrage des mécanismes décrivant les images obtenues par la caméra sous forme de texte ainsi que l'ancrage du mécanisme passant de l'action décrite par le modèle de langage en une suite d'impulsions électriques transmises aux différents moteurs du robot.

Enfin, qu'en est-il de l'impact qu'a l'ancrage fonctionnel sur le modèle de langage lorsque celui-ci est ensuite utilisé pour générer du texte et répondre à des questions ? Est-ce le meilleur moyen de doter sa prose de sens commun ? C'est notamment à cette question que nous nous consacrons aujourd'hui. Ancrer fonctionnellement un modèle de langage comme
celui derrière ChatGPT dans un environnement où il faudrait, par exemple, placer les objets
ayant la bonne taille dans un contenant donné, serait-il suffisant pour que le célèbre agent
conversationnel ne fasse plus l'erreur de l'anaconda dans le centre commercial ?