Brevet FR3159690A1 — publié le 20250829

La présente invention concerne un procédé et un dispositif d’apprentissage d’un agent conversationnel d’habitacle de véhicule, l’agent conversationnel mettant en œuvre un modèle de langage de grande taille, dit LLM, l’agent conversationnel étant configuré pour mettre en œuvre une communication en langage naturel entre un utilisateur du véhicule et au moins un système embarqué du véhicule. A cet effet, un apprentissage profond du LLM basé sur des préférences humaines est mis en œuvre avec optimisation de la politique du LLM par projection de paramètres mis à jour d’une politique courante dans un espace fini de politiques pour obtenir une nouvelle politique du LLM. Figure pour l’abrégé : Figure 1 Procédé et dispositif d’apprentissage d’un agent conversationnel d’habitacle de véhicule L’invention concerne les procédés et dispositifs d’apprentissage d’agent conversationnel d’habitacle de véhicule, notamment mais non exclusivement un véhicule automobile. Arrière-plan technologique Le développement de l’intelligence artificielle et des modèles de langage de grande taille, dit LLM ou agent LLM, (de l’anglais « Large Language Model ») permet d’imaginer de nouvelles interfaces homme-machine mises en œuvre dans un véhicule, par exemple pour permettre à un conducteur et/ou un passager du véhicule de contrôler des systèmes embarqués du véhicule ou simplement de communiquer avec un système embarqué pour obtenir des informations sur l’état du véhicule ou sur l’environnement dans lequel le véhicule circule en utilisant le langage naturel comme moyen d’interaction. Pour améliorer l’efficacité et la pertinence des agents LLM génératifs, ces modèles ou agents sont appris selon une méthode dite d’apprentissage par renforcement basé sur des préférences humaines, dite méthode RLHF (de l’anglais « Reinforcement Learning with Human Feedback ») pour aligner le texte généré par le modèle LLM avec les préférences utilisateurs sur les réponses à fournir à des requêtes fournis au modèle LLM dans le contexte d’utilisation du modèle LLM (par exemple pour la communication dans un habitacle de véhicule ou plus précisément pour contrôler en langage naturel un système embarqué déterminé). Un des algorithmes utilisés dans l’apprentissage RLHF est connu sous le nom de PPO (de l’anglais « Proximal Policy Optimization » ou en français « Optimisation proximale de la politique ») et par exemple décrit dans le document intitulé « Proximal Policy Optimization Algorithms », de John Schulman et al., publié le 28 août 2017 sous la référence arXiv : 1707.06347v2. Malgré la popularité de l’algorithme PPO, certains problèmes sont rencontrés tel qu’une convergence lente sans solide garantie théorique de convergence pour étayer ses performances. En d'autres termes, lors de l'apprentissage de RLHF avec PPO, non seulement le processus est lent, mais il n’est pas possible de savoir si l'algorithme sature ou s'il continue à s'améliorer. Par conséquent, cet algorithme consomme beaucoup de ressources informatiques, sans savoir si l'algorithme atteint ou non des performances élevées. Ce problème est particulièrement aigu pour les tâches difficiles telles que celles qui sont demandées à un assistant d’habitacle de véhicule telles que la génération de messages et de réponses en langage naturel sur plusieurs sujets allant de l'état du véhicule à l'aide à la navigation (interface avec le système GPS) ou à la compréhension de la scène à l'intérieur et à l'extérieur du véhicule. La variété et la difficulté de ces tâches rendent les problèmes de convergence décrits ci-dessus particulièrement préoccupants dans le contexte d'un assistant d’habitacle de véhicule. Résumé de la présente invention Un objet de la présente invention est de résoudre au moins l’un des problèmes de l’arrière-plan technologique décrit précédemment. Un objet de la présente invention est par exemple d’améliorer l’apprentissage d’un agent conversationnel pour un habitacle de véhicule. Un autre objectif est de réduire les coûts liés au développement d’un tel agent conversationnel. Selon un premier aspect, la présente invention concerne un procédé d’apprentissage d’un agent conversationnel d’habitacle de véhicule, l’agent conversationnel mettant en œuvre un modèle de langage de grande taille, dit LLM, l’agent conversationnel étant configuré pour mettre en œuvre une communication en langage naturel entre un utilisateur du véhicule et au moins un système embarqué du véhicule, le procédé étant mis en œuvre par au moins un processeur et comprenant les étapes suivantes : - apprentissage supervisé d’un LLM pré-entrainé à partir d’un premier jeu de données d’apprentissage représentatives d’interactions en langage naturel avec le au moins un système embarqué pour obtenir un LLM de base ; - apprentissage d’un modèle de récompense à partir d’un deuxième jeu de données d’apprentissages représentatives de données textuelles scorées par un humain et obtenues en sortie du LLM de base en réponse à chaque requête d’un ensemble de requêtes fournies en entrée du LLM de base ; - apprentissage par renforcement du LLM de base à partir d’un troisième jeu de données d’apprentissage et du modèle de récompense pour obtenir le LLM mis en œuvre dans l’agent conversationnel, l’apprentissage par renforcement comprenant : ● une mise à jour de paramètres d’une politique courante du LLM de base par maximisation de récompenses obtenues du modèle de récompense pour des données de sorties du LLM de base obtenues pour chaque invite d’un ensemble d’invites du troisième jeu de données d’apprentissage fournies en entrée du LLM de base, ● une mise à jour de la politique par projection des paramètres mis à jour dans un espace de politiques fini pour obtenir une nouvelle politique. L’utilisation des paramètres de la politique mis à jour par maximisation des récompenses pour déterminer la nouvelle politique permet de faire converger l’apprentissage plus rapidement, ce qui accélère l’apprentissage et réduit les ressources nécessaires à l’apprentissage d’un agent conversationnel. Selon une variante, les étapes de mise à jour de paramètres de la politique et de mise à jour de la politique sont réitérées de telle manière que la nouvelle politique obtenue à une itération devienne la politique courante à l’itération suivante. Selon encore une variante, la mise à jour de paramètres de la politique courante comprend une détermination d’un gradient des récompenses obtenues du modèle de récompense, la maximisation étant obtenue par une méthode de montée de gradient. Selon une variante supplémentaire, le procédé comprend en outre une étape de transmission de paramètres représentatifs du LLM mis en œuvre dans l’agent conversationnel à destination d’un dispositif de stockage de données du véhicule, le LLM étant mis en œuvre sous la forme d’un réseau de neurones dans le véhicule. Selon un deuxième aspect, la présente invention concerne un dispositif d’apprentissage d’un agent conversationnel d’un habitacle de véhicule, le dispositif comprenant une mémoire associée à un processeur configuré pour la mise en œuvre des étapes du procédé selon le premier aspect de la présente invention. Selon un troisième aspect, la présente invention concerne un système comprenant le dispositif selon le deuxième aspect de la présente invention et un véhicule relié en communication filaire ou sans fil au dispositif. Selon un quatrième aspect, la présente invention concerne un programme d’ordinateur qui comporte des instructions adaptées pour l’exécution des étapes du procédé selon le premier aspect de la présente invention, ceci notamment lorsque le programme d’ordinateur est exécuté par au moins un processeur. Un tel programme d’ordinateur peut utiliser n’importe quel langage de programmation, et être sous la forme d’un code source, d’un code objet, ou d’un code intermédiaire entre un code source et un code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable. Selon un cinquième aspect, la présente invention concerne un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon le premier aspect de la présente invention. D’une part, le support d’enregistrement peut être n'importe quel entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire ROM, un CD-ROM ou une mémoire ROM de type circuit microélectronique, ou encore un moyen d'enregistrement magnétique ou un disque dur. D'autre part, ce support d’enregistrement peut également être un support transmissible tel qu'un signal électrique ou optique, un tel signal pouvant être acheminé via un câble électrique ou optique, par radio classique ou hertzienne ou par faisceau laser autodirigé ou par d'autres moyens. Le programme d’ordinateur selon la présente invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme d’ordinateur est incorporé, le circuit intégré étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question. Brève description des figures D’autres caractéristiques et avantages de la présente invention ressortiront de la description des exemples de réalisation particuliers et non limitatifs de la présente invention ci-après, en référence aux figures 1 à 4 annexées, sur lesquelles : FIG. 1 illustre schématiquement un processus d’apprentissage d’un agent conversationnel d’un habitacle de véhicule, selon un exemple de réalisation particulier de la présente invention ; FIG. 2 illustre schématiquement l’optimisation d’une politique de l’agent conversationnel dans le processus de la FIG. 1 , selon un exemple de réalisation particulier de la présente invention ; FIG. 3 illustre schématiquement un dispositif configuré pour l’apprentissage d’un agent conversationnel d’habitacle de véhicule, selon un exemple de réalisation particulier et non limitatif de la présente invention. FIG. 4 illustre un organigramme des différentes étapes d’un procédé d’apprentissage d’un agent conversationnel d’habitacle de véhicule, selon un exemple de réalisation particulier et non limitatif de la présente invention. Description des exemples de réalisation Un procédé et un dispositif d’apprentissage d’un agent conversationnel d’habitacle de véhicule vont maintenant être décrits dans ce qui va suivre en référence conjointement aux figures 1 à 4. Des mêmes éléments sont identifiés avec des mêmes signes de référence tout au long de la description qui va suivre. Les termes « premier(s) », « deuxième(s) » (ou « première(s) », « deuxième(s) »), etc. sont utilisés dans ce document par convention arbitraire pour permettre d’identifier et de distinguer différents éléments (tels que des opérations, des moyens, etc.) mis en œuvre dans les modes de réalisation décrits ci-après. De tels éléments peuvent être distincts ou correspondre à un seul et unique élément, selon le mode de réalisation. La FIG. 1 illustre schématiquement un processus 1 d’apprentissage d’un agent conversationnel d’un habitacle d’un véhicule, selon des exemples de réalisation particuliers et non limitatifs de la présente invention. Le véhicule embarquant l’agent conversationnel correspond par exemple à un véhicule à moteur thermique, à moteur(s) électrique(s) ou encore un véhicule hybride avec un moteur thermique et un ou plusieurs moteurs électriques. Le véhicule correspond ainsi par exemple à un véhicule terrestre, par exemple une automobile, un camion, un car. L’agent conversationnel est basé sur un LLM génératif, également appelé agent LLM. Un tel LLM génératif est par exemple mis en œuvre sous la forme d’un réseau de neurones, tel que connu de l’homme du métier. L’apprentissage de l’agent conversationnel, c’est-à-dire de l’agent LLM, est mis en œuvre par un dispositif de traitement de données de type ordinateur ou serveur. Des exemples de réalisation matérielle d’un tel dispositif sont décrits ci-après en regard de la FIG. 3 . Dans ce qui suit, le LLM est appelé modèle de langage ou agent. L’apprentissage par renforcement est un domaine de l’apprentissage automatique dans lequel un agent, en l’occurrence le modèle de langage, apprend une stratégie ou politique (de l’anglais « policy ») grâce à des interactions avec son environnement, en l’occurrence l’habitacle d’un véhicule et/ou les systèmes embarqués du véhicule. L’agent prend des mesures ou actions qui affectent l’environnement dans lequel se trouve l’agent, qui à son tour passe à un nouvel état et renvoie à l'agent une récompense. Les récompenses sont des signaux de rétroaction qui permettent à l’agent d’ajuster sa stratégie d’action. Au fur et à mesure que l’agent passe par des épisodes ou itérations d’entrainement, il ajuste sa stratégie pour prendre des séquences d’actions qui maximisent sa récompense. Dans une première opération 11 du processus, un apprentissage supervisé d’un modèle pré-entrainé est mis en œuvre, l’apprentissage supervisé correspondant à une mise au point supervisée, dite SFT (de l’anglais « Supervised Fine-Tune » ou en français « affinage supervisé »). La mise au point supervisée est utilisée pour préparer le modèle de langage à générer ses réponses dans un format attendu par les utilisateurs du modèle de langage (c’est-à-dire l’agent conversationnel), selon l’environnement dans lequel est utilisé le modèle de langage. Le modèle de langage est par exemple utilisé pour contrôler un ou plusieurs systèmes embarqués du véhicule et communiquer avec le véhicule. Le ou les systèmes embarqués appartiennent à un ensemble de systèmes embarqués comprenant : - un système de navigation et de géolocalisation, aussi appelé système GNSS (Géolocalisation et Navigation par un Système de Satellites), par exemple un système de type GPS (de l’anglais « Global Positioning System » ou en français « Système de géo-positionnement par satellites ») ou Galileo ; - un système de climatisation ; - un système d’analyse ou de détection d’environnement intérieur et/ou extérieur du véhicule ; - un système d’infodivertissement ; - etc. L’apprentissage supervisé utilise un premier jeu de données d’apprentissage 10 représentatives d’interactions en langage naturel avec l’environnement dans lequel est utilisé le modèle de langage, c’est-à-dire le ou les systèmes embarqués du véhicule tels qu’un ou plusieurs des systèmes listés ci-dessus. Le premier jeu de données d’apprentissages comprend des données étiquetées sous le format (invite, réponse) relatives à l’environnement d’utilisation du modèle e langage et préparées ou validées par des êtres humains pour montrer au modèle de langage en sortie de l’apprentissage supervisé comment répondre aux invites (ou requêtes formulées par un utilisateur dans le véhicule). Le modèle de langage pré-entrainé utilisé pour obtenir le modèle de langage mis à jour (aussi appelé modèle de langage de base) correspond par exemple à un modèle de type Llama 2, tel que décrit dans le document intitulé « Llama 2 : Open Foundation and Fine-Tuned Chat Models », de Hugo Touvron et al., publié le 19 juillet 2023 sous la référence arXiv:2307.09288v2 ou à un modèle de type Mistral 7B, tel que décrit dans le document intitulé « Mistral 7B », de Albert Q. Jiang et al., publié le 10 octobre 2023 sous la référence arXiv:2310.06825v1. Dans une deuxième opération 13 du processus, un modèle de récompense (de l’anglais « reward model ») est appris ou entraîné à partir d’un deuxième jeu de données d’apprentissages 12 représentatives de données textuelles scorées par un humain et obtenues en sortie du modèle de langage de base (obtenu lors de la première opération par mise à jour du modèle de langage pré-entrainé) en réponse à chaque requête d’un ensemble de requêtes fournies en entrée du modèle de langage de base. Une récompense correspond à une valeur scalaire mesurant l’alignement du modèle de langage de base avec le contexte dans lequel est utilisé le modèle de langage (en l’occurrence un habitacle de véhicule) et l’intention de l’utilisateur utilisant le modèle de langage. L’entrainement du modèle de récompense correspond à l’entrainement d’un autre modèle d’apprentissage automatique, par exemple un autre modèle de langage ou LLM modifié pour générer une valeur scalaire à la place d’une séquence de mots. Le modèle de récompense prend en entrée le texte généré par le modèle de langage de base et fournit en sortie un score de qualité (une valeur scalaire). L’entrainement (ou l’apprentissage) du modèle de récompense requiert un jeu de données d’apprentissage correspondant à un ensemble de données de texte généré par le modèle de base (obtenu à la première opération) en fonction de requêtes ou d’invites fournies en entrée du modèle de langage de base, les données de texte étant étiquetées, c’est-à-dire qu’un score étant associé par un être humain à chaque donnée de texte (ou réponse) obtenue en sortie du modèle de langage de base pour une invite (de l’anglais « prompt ») donnée. Les réponses obtenues sont classées de la meilleure à la plus mauvaise. Selon une variante de réalisation, seules 2 réponses sont obtenues en sortie du modèle de langage de base, une réponse étant classifiée ou scorée comme correcte (aussi appelée réponse choisie) et l’autre réponse étant classifiée ou scorée comme incorrecte ou rejetée (appelée réponse rejetée). En étant entrainé sur les résultats et les scores de qualité du modèle de langage de base, le modèle de récompense crée une représentation mathématique des préférences humaines dans le contexte de l’application du modèle de langage de base (en l’occurrence l’habitacle d’un véhicule et un ou plusieurs systèmes embarqués du véhicule). L’apprentissage d’un modèle de récompense est connu de l’homme du métier et est par exemple décrit dans le document intitulé « Llama 2 : Open Foundation and Fine-Tuned Chat Models », de Hugo Touvron et al., publié le 19 juillet 2023 sous la référence arXiv:2307.09288v2 ou encore dans le document intitulé « Reward design with language models », de Minae Kwon et al., publié le 27 février 2023 sous la référence arXiv:2303.00001v1. Dans une troisième opération 14 du processus, le modèle de langage de base obtenu à la première opération 11 est mis à jour lors d’une phase d’entrainement ou apprentissage par renforcement en utilisant un troisième jeu de données d’apprentissage et le modèle de récompense appris ou entrainé à la deuxième opération 13, un tel apprentissage étant supervisé. Au cours de cette troisième opération, la politique (de l’anglais « policy »), notée π, du modèle de langage de base est mise à jour à partir du troisième jeu de données et des scores ou récompenses obtenues en sortie du modèle de récompense évaluant les réponses du modèle de langage de base sorties en réponse aux invites fournies en entrée du modèle de langage de base. La FIG. 2 illustre un schéma de mise à jour de la politique π du modèle de langage de base 21 en fonction du troisième jeu de données d’apprentissage 20 et du modèle de récompense 22. En réponse à une invite notée ‘S i ’, d’un ensemble d’invites ou requêtes (ou « prompts » en anglais) du troisième jeu de données d’apprentissage 20, le modèle de langage de base 21 génère une action notée a i via la politique courante du modèle de langage 21, laquelle action a i est évaluée par le modèle de récompense qui lui attribue un score ou une récompense notée ‘r i ’, à laquelle est associée un gradient noté ‘Δθ’ qui est calculé par rapport aux paramètres, notés ‘θ’ de la politique courante du modèle de langage de base. La politique d’un modèle de langage comprend un ensemble de règles, par exemple des règles paramétriques, qui déterminent le comportement d’un agent d’intelligence artificielle, en l’occurrence le modèle de langage de base. En termes mathématiques, une politique ‘π’ est une fonction qui prend un état ‘s’ et renvoie une action ‘a’, c’est-à-dire π(s) -> a. L’action ‘a’ appartient à un espace d’actions autorisés qui comprend par exemple l’ensemble du vocabulaire des jetons disponibles pour le modèle de langage de base. En d’autres termes, l’espace d’actions est l’ensemble des sorties linguistiques possibles que le modèle de langage peut générer pour une politique donnée. L’ensemble des états de l’environnement d’utilisation du modèle de langage comprend les invites utilisateurs. La récompense mesure l’alignement de la réponse du modèle de langage avec le contexte de l’application et l’intention de l’utilisateur. L’apprentissage par renforcement utilise avantageusement la montée de gradient pour maximiser la récompense. La troisième opération 13 correspond à une boucle d’apprentissage par renforcement dans laquelle le modèle de langage de base correspond à l’agent d’apprentissage par renforcement, dit agent RL. A chaque étape ou itération de la boucle d’apprentissage, le modèle de langage de base prend plusieurs invites du troisième jeu de données d’apprentissage et génère du texte. La sortie du modèle de langage de base est transmise au modèle de récompense, qui fournit un score qui évalue son alignement avec les préférences humaines. La politique du modèle de langage de base est ensuite mise à jour pour créer des résultats qui obtiennent un score plus élevé sur le modèle de récompense, l’objectif étant de déterminer les paramètres de la politique maximisant le score obtenu du modèle de récompense via une fonction de montée de gradient. La troisième opération 13 comprend ainsi les opérations suivantes, pour chaque itération de la boucle d’apprentissage : - une mise à jour de paramètres d’une politique courante du modèle de langage de base par maximisation de récompenses obtenues du modèle de récompense pour des données de sorties du langage de base en réponse à chaque invite d’un ensemble d’invites du troisième jeu de données d’apprentissage fournies en entrée du modèle de langage de base ; et - une mise à jour de la politique courante, pour obtenir une nouvelle politique courante, par projection des paramètres mis à jour dans un espace de politiques fini. Le nombre d’itérations de la boucle d’apprentissage correspond à un paramètre du système d’apprentissage. Lorsque qu’une nouvelle politique est obtenue, celle-ci devient la politique courante à l’itération suivante, et ainsi de suite pour chaque itération. Le nombre d’itérations est par exemple égale à 10 ou 100, voire 1000 ou 10000 selon d’autres exemples. La mise à jour de la politique par projection des paramètres dans un espace de politiques fini pour sélectionner la nouvelle politique correspondant au résultat de la projection peut être vue comme une forme de régularisation ou de contrainte pour conserver un contrôle sur les mises à jour de la politique. Cela permet que le modèle de langage de base obtenue après les différentes itérations ne s’éloigne trop du modèle de langage de base initial obtenu à la première opération 11. La maximisation des récompenses est obtenue en calculant le gradient associé à une récompense attendue selon la réponse du modèle de langage de base évaluée par le modèle de récompense (la récompense attendue étant comprise dans le troisième jeu de données d’apprentissage) et en appliquant la méthode dite de montée de gradient. Le gradient de la fonction de valeur V π (μ) associée à la politique π courante est obtenu par le théorème de gradient de police (dit PGT, de l’anglais « Policy Gradient Theorem ») suivant : Avec s un état d’un espace d’action fini, μ la distribution d’état cible, γ un facteur d’actualisation et Q π (s,.) la fonction de valeur état-action associée à la politique courante π. Un tel théorème est connu de l’homme du métier et est par exemple décrit dans le document intitulé « A novel framework for policy mirror discent with general parameterization and linear convergence », de Carlo Alfano et al, publié le 21 septembre 2023 à la 37 ème conférence sur les systèmes de traitement d’information neuronale et mis à jour le 15 janvier 2024, dont une version intermédiaire a été publiée le 06 novembre 2023 sous la référence arXiv:2301.13139v3. A chaque itération, une perte de substitution (de l’anglais « surrogate loss ») est minimisée et la projection des paramètres mis à jour sur un simplex de probabilité fonction de l’espace fini des actions associé au modèle de langage de base. Il a été observé que la mise en œuvre d’un tel apprentissage par renforcement permet de réduire le temps d’apprentissage de 1/ε² à log(1/ε) (ou un multiple de log(1/ε)), où ε est la mesure de performance jusqu’à la solution optimale. La durée d’apprentissage avec un tel processus est notamment réduite par rapport à des méthodes connues telles que la méthode dite PPO (de l’anglais « Proximal Policy Optimization » ou en français « Optimisation proximale de la politique »). Dans une opération supplémentaire, le modèle de langage obtenu comme résultat de l’apprentissage décrit précédemment, est intégré au véhicule. Les paramètres du modèle de langage, c’est-à-dire les paramètres du LLM, sont chargés en mémoire du véhicule pour mise en œuvre de l’agent conversationnel basé sur le LLM par un ou plusieurs calculateurs du véhicule. La transmission des paramètres du LLM sont par exemple transmis à un dispositif de stockage de données du véhicule (par exemple une mémoire) via une liaison filaire ou sans fil reliant le dispositif ayant appris les paramètres au véhicule. Le LLM est par exemple mise en œuvre sous la forme d’un réseau de neurones par un ou plusieurs calculateurs du véhicule. Un tel agent conversationnel permet alors au conducteur du véhicule ou à un passager de converser en langage naturel avec le véhicule, par exemple pour obtenir des informations sur l’état courant du véhicule ou d’un ou plusieurs de ses systèmes embarqués, sur l’environnement extérieur du véhicule analysé par les capteurs embarqués du véhicule, sur l’environnement intérieur de l’habitacle du véhicule, ou encore pour le contrôle d’un ou plusieurs systèmes embarqués en langage naturel avec retour de ce ou ces systèmes embarqués en langage naturel. La FIG. 3 illustre schématiquement un dispositif 3 configuré pour l’apprentissage d’un agent conversationnel d’habitacle de véhicule mettant en œuvre un modèle de langage de grande taille, dit LLM, selon des exemples de réalisation de l’invention. Le dispositif 3 correspond par exemple à un dispositif de traitement de données de type ordinateur ou serveur, et plus particulièrement un dispositif configuré pour mettre en œuvre un ou plusieurs réseaux de neurones artificiels, par exemple un ou plusieurs réseaux de neurones profonds. Selon une variante, le dispositif 3 correspond à un dispositif configuré pour la mise en œuvre de l’agent conversationne, par exemple à un dispositif embarqué dans le véhicule, par exemple un calculateur. Le dispositif 3 est par exemple configuré pour la mise en œuvre des opérations décrites en regard des figures 1 et 2 et/ou des étapes du procédé décrit en regard de la FIG. 4 . Des exemples d’un tel dispositif 3 comprennent, sans y être limités, un ordinateur, un serveur, un ordinateur portable, un téléphone intelligent, une tablette, un équipement électronique embarqué tel qu’un ordinateur de bord d’un véhicule ou un calculateur électronique tel qu’une UCE (« Unité de Commande Electronique »). Les éléments du dispositif 3, individuellement ou en combinaison, peuvent être intégrés dans un unique circuit intégré, dans plusieurs circuits intégrés, et/ou dans des composants discrets. Le dispositif 3 peut être réalisé sous la forme de circuits électroniques ou de modules logiciels (ou informatiques) ou encore d’une combinaison de circuits électroniques et de modules logiciels. Le dispositif 3 comprend un (ou plusieurs) processeur(s) 30 configurés pour exécuter des instructions pour la réalisation des étapes du procédé et/ou pour l’exécution des instructions du ou des logiciels embarqués dans le dispositif 3. Le processeur 30 peut inclure de la mémoire intégrée, une interface d’entrée/sortie, et différents circuits connus de l’homme du métier. Le dispositif 3 comprend en outre au moins une mémoire 31 correspondant par exemple à une mémoire volatile et/ou non volatile et/ou comprend un dispositif de stockage mémoire qui peut comprendre de la mémoire volatile et/ou non volatile, telle que EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, disque magnétique ou optique. Le code informatique du ou des logiciels embarqués comprenant les instructions à charger et exécuter par le processeur est par exemple stocké sur la mémoire 31. Selon différents exemples de réalisation particuliers et non limitatifs, le dispositif 3 est couplé en communication avec d’autres dispositifs ou systèmes similaires et/ou avec des dispositifs de communication, par exemple une TCU (de l’anglais « Telematic Control Unit » ou en français « Unité de Contrôle Télématique »), par exemple par l’intermédiaire d’un bus de communication ou au travers de ports d’entrée / sortie dédiés. Le réseau de neurones peut être entrainé par un premier dispositif 3 correspondant à un serveur ou une série de serveurs, en communication avec un deuxième dispositif 3 correspondant à un calculateur d’un véhicule, via un réseau de communication. Les paramètres internes (ou poids) du réseau de neurones peuvent alors être transmis par ce dispositif distant à destination du calculateur qui les reçoit. Le calculateur est alors apte à mettre en œuvre le réseau de neurones et le procédé de classification lorsqu’une image d’entrée acquise par le dispositif d’imagerie du véhicule est présentée en entrée du réseau de neurones entrainé. Selon un exemple de réalisation particulier et non limitatif, le dispositif 3 comprend un bloc 32 d’éléments d’interface pour communiquer avec des dispositifs externes. Les éléments d’interface du bloc 32 comprennent une ou plusieurs des interfaces suivantes : - interface radiofréquence RF, par exemple de type Wi-Fi® (selon IEEE 802.11), par exemple dans les bandes de fréquence à 2,4 ou 5 GHz, ou de type Bluetooth® (selon IEEE 802.15.1), dans la bande de fréquence à 2,4 GHz, ou de type Sigfox utilisant une technologie radio UBN (de l’anglais Ultra Narrow Band, en français bande ultra étroite), ou LoRa dans la bande de fréquence 868 MHz, LTE (de l’anglais « Long-Term Evolution » ou en français « Evolution à long terme »), LTE-Advanced (ou en français LTE-avancé) ; - interface USB (de l’anglais « Universal Serial Bus » ou « Bus Universel en Série » en français) ; - interface HDMI (de l’anglais « High Definition Multimedia Interface », ou « Interface Multimedia Haute Definition » en français) ; - interface LIN (de l’anglais « Local Interconnect Network », ou en français « Réseau interconnecté local »). Des paramètres internes (poids) du réseau de neurones entrainés et/ou mis à jour peuvent être reçus via l’interface de communication 33. Selon un autre exemple de réalisation particulier et non limitatif, le dispositif 3 comprend une interface de communication 33 qui permet d’établir une communication avec d’autres dispositifs (tels que d’autres calculateurs du système embarqué) via un canal de communication 330. L’interface de communication 33 correspond par exemple à un transmetteur configuré pour transmettre et recevoir des informations et/ou des données via le canal de communication 330. L’interface de communication 33 correspond par exemple à un réseau filaire de type CAN (de l’anglais « Controller Area Network » ou en français « Réseau de contrôleurs »), CAN FD (de l’anglais « Controller Area Network Flexible Data-Rate » ou en français « Réseau de contrôleurs à débit de données flexible »), FlexRay (standardisé par la norme ISO 17458) ou Ethernet (standardisé par la norme ISO/IEC 802-3). Selon un exemple de réalisation particulier et non limitatif, le dispositif 3 peut fournir des signaux de sortie à un ou plusieurs dispositifs externes, tels qu’un écran d’affichage 340, tactile ou non, un ou des haut-parleurs 350 et/ou d’autres périphériques 360 (système de projection) via respectivement des interfaces de sortie 34, 35 et 36. Selon une variante, l’un ou l’autre des dispositifs externes est intégré au dispositif 3. La FIG. 4 illustre un organigramme des différentes étapes d’un procédé d’apprentissage d’un agent conversationnel d’habitacle de véhicule, l’agent conversationnel mettant en œuvre un modèle de langage de grande taille, dit LLM, l’agent conversationnel étant configuré pour mettre en œuvre une communication en langage naturel entre un utilisateur du véhicule et au moins un système embarqué du véhicule, selon un exemple de réalisation particulier et non limitatif de la présente invention. Le procédé est par exemple mis en œuvre par le dispositif 3 de la FIG. 3 . Dans une première étape 41, un apprentissage supervisé d’un LLM pré-entrainé est mis en œuvre à partir d’un premier jeu de données d’apprentissage représentatives d’interactions en langage naturel avec le au moins un système embarqué pour obtenir un LLM de base. Dans une deuxième étape 42, un apprentissage d’un modèle de récompense est mis en œuvre à partir d’un deuxième jeu de données d’apprentissages représentatives de données textuelles scorées par un humain et obtenues en sortie du LLM de base en réponse à chaque requête d’un ensemble de requêtes fournies en entrée du LLM de base. Dans une troisième étape 43, un apprentissage par renforcement du LLM de base est mis en œuvre à partir d’un troisième jeu de données d’apprentissage et du modèle de récompense pour obtenir le LLM mis en œuvre dans l’agent conversationnel, l’apprentissage par renforcement comprenant : ● une mise à jour de paramètres d’une politique courante du LLM de base par maximisation de récompenses obtenues du modèle de récompense pour des données de sorties du LLM de base obtenues pour chaque invite d’un ensemble d’invites du troisième jeu de données d’apprentissage fournies en entrée du LLM de base, ● une mise à jour de la politique par projection des paramètres mis à jour dans un espace de politiques fini pour obtenir une nouvelle politique. Selon une variante, les variantes et exemples des opérations décrits en relation avec la FIG. 1 et/ou 2 s’appliquent aux étapes du procédé de la FIG. 4 . Procédé d’apprentissage d’un agent conversationnel d’habitacle de véhicule, ledit agent conversationnel mettant en œuvre un modèle de langage de grande taille, dit LLM, ledit agent conversationnel étant configuré pour mettre en œuvre une communication en langage naturel entre un utilisateur dudit véhicule et au moins un système embarqué du véhicule, ledit procédé étant mis en œuvre par au moins un processeur et comprenant les étapes suivantes : - apprentissage supervisé (41) d’un LLM pré-entrainé à partir d’un premier jeu de données d’apprentissage représentatives d’interactions en langage naturel avec ledit au moins un système embarqué pour obtenir un LLM de base ; - apprentissage (42) d’un modèle de récompense à partir d’un deuxième jeu de données d’apprentissages représentatives de données textuelles scorées par un humain et obtenues en sortie dudit LLM de base en réponse à chaque requête d’un ensemble de requêtes fournies en entrée dudit LLM de base ; - apprentissage (43) par renforcement dudit LLM de base à partir d’un troisième jeu de données d’apprentissage et dudit modèle de récompense pour obtenir ledit LLM mis en œuvre dans l’agent conversationnel, ledit apprentissage par renforcement comprenant : ● une mise à jour de paramètres d’une politique courante dudit LLM de base par maximisation de récompenses obtenues dudit modèle de récompense pour des données de sorties dudit LLM de base obtenues pour chaque invite d’un ensemble d’invites dudit troisième jeu de données d’apprentissage fournies en entrée dudit LLM de base, ● une mise à jour de ladite politique par projection des paramètres mis à jour dans un espace de politiques fini pour obtenir une nouvelle politique. Procédé selon la revendication 1, pour lequel les étapes de mise à jour de paramètres de la politique et de mise à jour de la politique sont réitérées de telle manière que la nouvelle politique obtenue à une itération devienne la politique courante à l’itération suivante. Procédé selon l’une des revendications 1 à 2, pour lequel ladite mise à jour de paramètres de la politique courante comprend une détermination d’un gradient des récompenses obtenues dudit modèle de récompense, ladite maximisation étant obtenue par une méthode de montée de gradient. Procédé selon l’une des revendications 1 à 3, comprenant en outre une étape de transmission de paramètres représentatifs dudit LLM mis en œuvre dans l’agent conversationnel à destination d’un dispositif de stockage de données du véhicule, ledit LLM étant mis en œuvre sous la forme d’un réseau de neurones dans ledit véhicule. Programme d’ordinateur comportant des instructions pour la mise en œuvre du procédé selon l’une quelconque des revendications précédentes, lorsque ces instructions sont exécutées par au moins un processeur. Support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon l’une des revendications 1 à 4. Dispositif (3) d’apprentissage d’un agent conversationnel d’habitacle de véhicule, ledit dispositif (3) comprenant une mémoire (31) associée à au moins un processeur (30) configuré pour la mise en œuvre d’au moins une étape du procédé selon l’une quelconque des revendications 1 à 4. Système comprenant le dispositif (3) selon la revendication 7 et un véhicule relié en communication audit dispositif (3).