Brevet FR3152908A1 — publié le 20250314

Il existe des méthodes et des appareils de traitement des données d'image représentatives d'une image d'un environnement d'un véhicule (10), les données d'image étant obtenues à partir d'une caméra embarquée (105, 106). Pour atteindre cet objectif, de ce véhicule (10), les premières données vocales représentatives d'une requête vocale sont reçues d'un microphone embarqué (100) et traitées pour obtenir les premières données textuelles (1010) représentatives d'une requête textuelle associée à ladite requête vocale. Les informations textuelles sont générées par l'alimentation d'un modèle d'interrogation entraîné avec les premières données textuelles (1010), qui interroge les données d'image pour qu'elles produisent des fonctions visuelles corrélées aux informations textuelles. Les deuxième données textuelles (1020) représentatives d'une réponse textuelle à la requête textuelle sont générées par l'ajout d'un modèle de langue entrainé avec l'information textuelle, la deuxième donnée textuelle (1020) étant traitée pour obtenir des données de deuxième expression représentatives d'une réponse vocale à la requête vocale. Figure 1 Méthode et dispositif de traitement des données d'image représentatives d'une ou de plusieurs images d'un environnement d'un véhicule La présente demande concerne en général le traitement d'images et, en particulier, le traitement en langage naturel appliqué aux données d'images. La présente demande concerne également la méthode et l'appareil de traitement des données d'image représentatives d'une ou de plusieurs images de l'environnement d'un véhicule, par exemple une voiture. La présente demande porte également sur une méthode et un appareil permettant d'aider un conducteur à contrôler un véhicule, par exemple un véhicule autonome ou semi-autonome. La présente demande porte également sur une méthode et un dispositif de traitement des données audio et visuelles par un assistant génératif pour véhicules fonctionnant avec l'IA. Contexte La présente section vise à présenter au lecteur divers aspects de l’art, qui peuvent être liés à divers aspects d’au moins une réalisation exemplaire de la présente demande décrite ci-dessous. Cette discussion serait utile pour fournir au lecteur de l'information de base afin de faciliter une meilleure compréhension des divers aspects de la présente demande. Les véhicules modernes sont généralement équipés d'une interface utilisateur vocale configurée pour contrôler et/ou communiquer avec les systèmes embarqués du véhicule au moyen de commandes vocales. Cependant, une partie de la technologie de pointe nécessite encore des commandes de texte, ce qui limite son utilisation dans un véhicule. Le contrôle de certains systèmes embarqués par interface tactile exige que le conducteur du véhicule utilise l'une de ses mains pour entrer des commandes textuelles, ce qui peut détourner l'attention de la route, mettant en danger le véhicule et ses occupants. Résumé La section suivante présente un résumé simplifié d’au moins une incarnation exemplaire afin de fournir une compréhension de base de certains aspects de la présente demande. Ce résumé n'est pas un aperçu complet d'une incarnation exemplaire. Il n'est pas destiné à identifier les éléments clés ou critiques d'une incarnation. Le résumé ci-après ne présente que certains aspects d'au moins une des réalisations exemplaires sous une forme simplifiée comme prélude à la description plus détaillée fournie ailleurs dans le document. Selon un premier aspect de la présente demande, il est prévu une méthode de traitement des données d'image représentatives d'au moins une image d'un environnement d'un véhicule, les données d'image obtenues à partir d'au moins une caméra embarquée du véhicule, la méthode consistant: - à recevoir des données de première expression représentatives d'une requête vocale provenant d'un microphone embarqué du véhicule; - à traiter les premières données vocales représentatives d'une requête textuelle associée à la requête vocale;- en générant des informations textuelles en alimentant un modèle d'interrogation entrainé avec les premières données textuelles, le modèle d'interrogation entrainé qui interroge les données d'image pour générer des fonctions visuelles basées sur les premières données textuelles, les informations textuelles étant corrélées aux caractéristiques visuelles; - en générant des données textuelles secondes représentatives d'une réponse textuelle à la requête textuelle en alimentant un modèle linguistique entrainé avec les informations textuelles; - traitement des données textuelles de seconde données textuelles pour obtenir des données vocales requête. Une telle méthode permet d'obtenir une réponse à une question exprimée vocalement sur la base du contenu des images de l'environnement du véhicule, en profitant des capacités avantageuses d'un modèle linguistique, par exemple, un grand modèle linguistique. Il permet au conducteur d'un véhicule d'obtenir des renseignements sur son environnement pendant qu'il conduit, la question étant traitée vocalement et la réponse à la question étant également vocale. Dans une incarnation exemplaire, le modèle linguistique entrainé correspond à un grand modèle linguistique, appelé LLM. Dans une autre incarnation exemplaire, le modèle d'interrogation entrainé correspond à un transformateur d'interrogation comprenant un transformateur d'image interagissant avec un encodeur d'image pour obtenir les caractéristiques visuelles et un transformateur de texte pour obtenir les informations textuelles, le transformateur d'image et le transformateur de texte partageant les mêmes couches d'auto-attention. Dans une autre incarnation exemplaire, le traitement des données de la première parole consiste à prédire les premières données textuelles en alimentant un modèle de synthèse vocale autoencadrée. Dans une incarnation exemplaire supplémentaire, le modèle de parole à texte a été entrainé selon des données de formation représentatives du bruit propre à un environnement de véhicule. Dans une autre incarnation exemplaire, le traitement de la seconde donnée textuelle consiste à prédire la seconde donnée vocale en alimentant un modèle de texte à la parole auto-surveillé. Selon un deuxième aspect de la présente demande, il existe un appareil de traitement des données d'images représentant au moins une image d'un environnement d'un véhicule, dans lequel l'appareil comprend une mémoire associée à au moins un processeur configuré pour mettre en oeuvre la méthode conformément au premier aspect de la présente demande. Selon un troisième aspect de la présente demande, un produit de programme informatique est fourni, y compris des instructions qui, lorsque le programme est exécuté par un ou plusieurs transformateurs, font en sorte que le ou les transformateurs effectuent une méthode selon le premier aspect de la présente demande. Selon un quatrième aspect de la présente demande, il existe un moyen de stockage non transitoire, un moyen de stockage transportant des instructions de code de programme pour l'exécution d'une méthode selon le premier aspect de la présente demande. La nature spécifique d'au moins une des incarnations exemplaires ainsi que d'autres objets, avantages, caractéristiques et utilisations dudit au moins une de ces incarnations exemplaires sera évidente à partir de la description ci-après des exemples pris en conjonction avec les dessins qui les accompagnent. Il sera fait référence, par exemple, aux dessins qui accompagnent la présente demande et dans lesquels : La FIG. 1 montre une représentation schématique d'un système et d'un processus de traitement des données d'image obtenues à partir d'une ou plusieurs caméras d'un véhicule, conformément à au moins une représentation exemplaire; La FIG. 2 montre une représentation schématique d'une partie du système et du processus de la FIG. 1 pour obtenir une réponse à une requête basée sur des données d'image, conformément à au moins une incarnation exemplaire; La FIG. 3 illustre un schéma de bloc d'un exemple d'appareil configuré pour traiter les données d'image obtenues à partir d'une ou plusieurs caméras du véhicule de la FIG. 1 , conformément à au moins une représentation exemplaire; et La FIG. 4 montre un schéma de bloc schématique d'une méthode de traitement des données d'image obtenues à partir d'une ou plusieurs caméras du véhicule de la FIG. 1 , conformément à au moins une représentation exemplaire. Au moins une des réalisations exemplaires est décrite plus en détail ci-après en ce qui concerne les figures qui l'accompagnent, dans lesquelles des exemples d'au moins une des réalisations exemplaires sont illustrés. Une incarnation exemplaire peut toutefois être incarnée sous de nombreuses formes alternatives et ne doit pas être interprétée comme se limitant aux exemples présentés dans le présent document. Par conséquent, il convient de comprendre qu'il n'y a pas d'intention de limiter les réalisations exemplaires aux formes particulières divulguées. Au contraire, la divulgation vise à couvrir toutes les modifications, équivalents et solutions de remplacement qui relèvent de l'esprit et du champ d'application de la présente demande. La FIG. 1 illustre une représentation schématique d'un système embarqué d'un véhicule 10 et du processus mis en oeuvre par le système conformément à des réalisations exemplaires. La FIG. 1 illustre un véhicule 10. Le véhicule 10 correspond par exemple à un véhicule équipé d'un moteur à combustion, d'un moteur électrique ou même d'un véhicule hybride équipé d'un moteur à combustion et d'un ou plusieurs moteurs électriques, par exemple un véhicule hybride rechargeable. Le véhicule 10 correspond donc, par exemple, à un véhicule terrestre, par exemple une voiture, un camion, un bus ou une moto. Le véhicule 10 peut être équipé de divers systèmes ADAS (Advanced Driver-Assistance System) configurés pour aider le conducteur du véhicule 10 à contrôler le véhicule. Le véhicule 10 peut être un véhicule semi-autonome ou autonome, c'est-à-dire un véhicule voyageant avec un niveau d'autonomie supérieur ou égal à 2 dans une gamme d'autonomie comprise entre 1 et 5, un niveau 1 correspondant à un véhicule ayant un niveau minimal d'autonomie et un niveau 5 correspondant à un véhicule ayant un niveau maximal d'autonomie (c'est-à-dire un véhicule entièrement autonome). Le véhicule 10 est équipé d'une ou de plusieurs caméras embarquées 105 et 106, par exemple une ou deux caméras avant 105 et une caméra arrière 106. Chaque caméra est configurée pour acquérir des images de parties de l'environnement extérieur entourant le véhicule 10. Le véhicule 10 est également équipé d'un ou de plusieurs microphones 100 et d'un ou de plusieurs haut-parleurs 104. Le ou les microphones 100 et le ou les haut-parleurs 104 sont disposés à l'intérieur du véhicule 10 afin d'acquérir respectivement les commandes vocales, les demandes ou les requêtes d'un passager, par exemple le conducteur, et d'émettre des sons, par exemple une réponse vocale aux commandes vocales, aux demandes ou aux requêtes adressées au passager. Les systèmes embarqués, les caméras, les microphones et les haut-parleurs sont chacun contrôlés par une ou plusieurs calculatrices, par exemple des écus (unité de contrôle électronique). Ces calculateurs forment, par exemple, une architecture multiplexée pour la réalisation de divers services utiles pour le bon fonctionnement du véhicule et pour aider le conducteur et/ou les passagers du véhicule à contrôler le véhicule 10 par le contrôle des systèmes embarqués du véhicule 10. Les calculateurs communiquent et échangent des données entre eux par l'intermédiaire d'un ou de plusieurs bus informatiques, par exemple un bus de communication comme CAN (Controller Area Network), CAN FD (Controller Area Network Flexible Data-Rate Type de bus), FlexRay (selon la norme ISO 17458), LIN (Local Interconnect Network) ou Ethernet (selon la norme ISO/IEC 802-3). Le traitement des données d'image obtenues ou acquises par une ou plusieurs caméras 105, 106 est avantageusement mis en oeuvre par une ou plusieurs calculatrices embarquées du véhicule 10. Les opérations du processus sont illustrées par les blocs 101, 102 et 103 de la FIG. 1 . Les blocs 101 à 103 représentent les opérations/étapes indifférentes d'un processus/d'une méthode et les unités de traitement qui mettent en oeuvre ces opérations/étapes du processus/de la méthode. Les unités de traitement 101 à 103 peuvent être mises en oeuvre en tant qu'élément unique ou en tant qu'éléments distincts, en tant que combinaison de matériel et de logiciel connus de ceux qui sont spécialisés dans l'art. Au bloc 101, les premières données vocales représentatives d'une requête vocale sont reçues d'un ou de plusieurs microphones embarqués 105. La requête vocale peut être faite par le conducteur du véhicule 10 en conduisant. À titre d'exemple, une telle requête vocale correspond par exemple à: "Combien de piétons sont sur la route ?" Les premières données vocales sont traitées pour obtenir les premières données textuelles 1010 représentatives d'une requête textuelle associée à la requête vocale. La requête textuelle ainsi générée correspond à une version textuelle de la requête vocale obtenue en traitant les premières données vocales. La première donnée textuelle 1010 correspond par exemple à un ensemble de mots résultant du traitement des premières données vocales. La conversion des premières données vocales en premières données textuelles 1010 peut être obtenue par la mise en oeuvre de toute méthode automatique de reconnaissance vocale (ASR) connue des personnes qualifiées dans l'art. Les premières données vocales sont par exemple des entrées dans un modèle de synthèse vocale qui génère les premières données textuelles. Le modèle de synthèse vocale peut correspondre à un modèle statistique tel qu'un modèle caché de Markov. Dans une incarnation, le modèle de synthèse vocale correspond à un modèle de transformateur encodeur-décodeur. Un transformateur correspond à une architecture d'apprentissage en profondeur qui repose sur le mécanisme d'attention. Un transformateur est connu de ceux qui sont qualifiés dans l'art et, par exemple, décrit dans l'article "Attention is All You Need", d'Ashish Vaswani et al., publié le 12 juin 2017. Un modèle de transformateur utilise une architecture encodeur/décodeur. L'encodeur comprend des couches d'encodage qui traitent les jetons d'entrée de manière itérative d'un calque à l'autre. Les jetons d'entrée sont obtenus en analysant les données d'entrée (p. ex., les données vocales) par un jetéliseur d'encodage de paires d'octets, et chaque jeton peut être converti en vecteur en recherchant à partir d'une table d'intégration. Le décodeur comprend des couches de décodage qui traitent itérativement la sortie de l’encodeur ainsi que les jetons de sortie du décodeur. Le modèle de la parole au texte peut être entrainé à l'aide de plusieurs ensembles de données vocales accessibles au public, tels que MLS (Multilingual LibriSpeech), Fleurs, MMS (Massively Multilingual Speech), tels que décrits dans l'article "Scaling Speech Technology to 1 000+ Languages", de Vincent Pratap al, publié le 22 mai 2023. Le modèle de transformateur de synthèse vocale-texte peut être initialisé à partir d'un point de contrôle d'encodeur préentraîné et d'un point de contrôle de décodeur préentraîné. Par exemple, un modèle de langage préformé basé sur un transformateur, par exemple "Wav2Vec2", "Hubert" (tel que décrit dans l'article de Vincent Pratap et al.) peut servir d'encodeur et de modèles pré entrainés d'autocodage, par exemple "GPT2", ainsi que la partie pré entrainée du décodeur des modèles séquence à séquence, par exemple, le décodeur de "BART". peut être utilisé comme décodeur. Selon l'architecture choisie pour le décodeur, les couches d'attention croisée peuvent être initialisées au hasard. L'initialisation du modèle de synthèse vocale à texte à partir d'un encodeur et d'un décodeur pré entrainés peut nécessiter un réglage fin du modèle sur une tâche en aval. Le réglage fin du modèle peut également être obtenu en introduisant le bruit auto-induit dans les ensembles de données de préformation afin de permettre au modèle de mieux gérer l'environnement spécifique d'un véhicule en marche. À la case 102, la deuxième donnée textuelle 1020 représentative d'une réponse textuelle à la requête textuelle est générée par l'alimentation d'un modèle de langue entrainé, par exemple un LLM (Grand Language Model) avec de l'information textuelle. Les informations textuelles, par exemple les jetons de texte, peuvent être obtenues à partir d'un modèle d'interrogation entrainé, par exemple un transformateur de requête, alimenté par les premières données textuelles générées au bloc 101. Le modèle d'interrogation entraîné est configuré pour interroger les données d'image afin de générer des fonctions visuelles à partir d'une ou de plusieurs images acquises par les caméras embarquées 105, 106 en fonction des premières données textuelles, les informations textuelles étant corrélées aux caractéristiques visuelles. La sortie du processus d'interrogation peut être traitée (p. ex., par des opérations de projection) pour correspondre à la dimension de l'intégration requise dans l'entrée du modèle de langue générant une réponse textuelle à la requête textuelle reçue dans l'entrée du modèle d'interrogation. On trouvera ci-après une description détaillée de l'incarnation exemplaire du bloc 102 et des opérations connexes, en ce qui concerne la FIG. 2 . À la case 103, la deuxième donnée textuelle 1020 est traitée pour obtenir des données de second discours représentatives d'une réponse vocale à la requête vocale reçue d'un ou plusieurs microphones 100. Les données de la deuxième parole sont ensuite transmises à un ou plusieurs haut-parleurs embarqués 104 pour donner la réponse à la personne, par exemple le conducteur, ayant prononcé la requête vocale. À titre d'illustration, la réponse vocale à la question vocale "Combien de piétons sont sur la route?" correspond par exemple à : "Il y a 5 piétons sur la route." La réponse à la question est obtenue à partir du contenu d'une ou de plusieurs images acquises par les caméras embarquées 105, 105 après le traitement au bloc 102. Le traitement au bloc 103 peut correspondre à n'importe quelle méthode connue de ceux qui sont spécialisés dans l'art, par exemple une méthode de conversion de la langue en langage, par exemple un traitement appelé synthèse vocale. Une telle méthode est par exemple décrite dans "De texte à discours : The MITalk System", de Allen et al., publié en 1987. Selon une incarnation non limitative, le traitement de la seconde donnée textuelle 1020 pour générer les deuxième données vocales correspond à une méthode d'apprentissage profonde basée sur un modèle pré entrainé de texte à parole. Tout comme le modèle de la parole au texte, le modèle de la parole au texte est un modèle entrainé pendant un processus de formation et est configuré pour classifier la deuxième donnée textuelle 1020 afin de prédire la deuxième donnée vocale. Le modèle de texte à synthèse vocale peut également correspondre à un modèle de transformateur encodeur-décodeur. Le processus de formation du modèle de synthèse vocale peut être fondé sur des collections à grande échelle de synthèse vocale et de corpus de texte non étiquetés. Une méthode conjointe de pré-formation permettant d'aligner l'information textuelle et acoustique dans un espace sémantique unifié peut être mise en oeuvre, comme décrit dans "SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing", de Junyi Ao et al., publié le 24 mai 2022. Le modèle texte-discours peut correspondre au modèle "SpeechT5" présenté dans l'article susmentionné par Junyi Ao et al., dont le cadre se compose d'un réseau codeur-décodeur partagé et de six pré/post-moustiquaires modaux spécifiques (parole/texte). Après le prétraitement de la parole/du texte d'entrée à travers les pré-réseaux, le réseau encodeur/décodeur partagé modélise la transformation séquence-à-séquence, puis les post-réseaux génèrent la sortie dans la modalité de la parole/du texte basée sur la sortie du décodeur. Le processus de formation peut en outre comprendre, après la phase de préformation, une opération de réglage fin visant à affiner l'épine dorsale codée-décodeur par la perte de la tâche en aval. La FIG. 2 illustre une représentation schématique de la génération d'une réponse textuelle à la requête textuelle au bloc 102 selon les modes de réalisation exemplaires. Les blocs 21 à 24 représentent des opérations/étapes indifférentes du processus/de la méthode mis en oeuvre au bloc 102 et des unités de traitement, qui peuvent être du matériel et/ou des logiciels, mettant en oeuvre ces opérations/étapes du processus/de la méthode au bloc 102. Un modèle de langage fondé sur la vision, par exemple un modèle de langage grand format basé sur la vision, est mis en oeuvre au bloc 102 pour générer une réponse textuelle représentée par une deuxième donnée textuelle 1020 à la requête/question textuelle représentée par la première donnée textuelle 1010. Le bloc 22, correspondant à un module d'interrogation, est configuré pour servir de lien ou de pont entre le bloc 21, correspondant à un encodeur d'image, et le bloc 24, correspondant à un LLM. Le bloc 23 est configuré pour transformer les intégrations de sortie du bloc 22 pour qu'elles correspondent à la dimension du texte incorporé dans le LLM 24. Certaines parties d'une telle architecture sont décrites à la rubrique "BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models", de Junnan Li et al, publié le 15 juin 2023. Un transformateur d'interrogation 22, appelé Q-Former, correspond à un transformateur léger qui utilise des vecteurs de requête apprenables pour extraire les caractéristiques visuelles de l'encodeur d'image figé 21. Il agit comme un goulot d'étranglement d'information entre l'encodeur d'image congelé 21 et le LLM 24 gelé, où il alimente la fonction visuelle la plus utile pour la LLM 24 pour sortir la réponse 1020 au texte d'entrée 1010. Dans une première phase de pré-formation, l'apprentissage de la représentation linguistique de la vision est effectué pour faire respecter la Q-Ex 22 afin d'apprendre la représentation visuelle la plus pertinente pour le texte d'entrée 1010. Dans une deuxième phase de pré-formation, l'apprentissage génératif de la vision à la langue se fait en reliant la production de la Q-Ex 22 à la LLM 24 gelée et en formant la Q-Ex 24 de sorte que sa représentation visuelle de sortie puisse être interprétée par la LLM 24. Q-Former 24 est proposé comme module de formation pour connecter un encodeur d'image congelé 21 et un LLM gelé 24. Il extrait un nombre fixe de fonctions de sortie de l'encodeur d'image, quelle que soit la résolution d'image d'entrée. Il se compose de deux sous-modules de transformateur qui partagent les mêmes couches d'auto-attention, le premier étant un transformateur d'image qui interagit avec l'encodeur d'image figé 21 pour l'extraction de la fonction visuelle et le second un transformateur de texte qui peut fonctionner comme un encodeur de texte et un décodeur de texte. Un certain nombre d'intégrations de requêtes pouvant être apprêtées est créé pour le transformateur d'image. Les requêtes interagissent les unes avec les autres par le biais de couches d'auto-attention, et avec des fonctions d'image figées par des couches d'attention croisée (insérées tous les autres blocs de transformateur). De plus, les requêtes peuvent interagir avec le texte d'entrée 1010 à travers les mêmes couches d'auto-attention. Selon la tâche de pré-formation, différents masques d'auto-attention peuvent être utilisés pour contrôler l'interaction entre les requêtes et le texte d'entrée 1010. Le Q-Ex 22 est initialisé avec les poids pré-entrainés de BERT-base, tandis que les couches d'attention croisée sont initialisées au hasard. Au stade de l'apprentissage de la représentation, Q-Ex 22 est utilisé en conjonction avec l'encodeur d'image figé 24 pour effectuer un préentraînement à l'aide de paires image-texte. Le but principal de Q-Former est d'apprendre à extraire la représentation visuelle qui est le plus instructif du texte d'entrée 1010. Trois objectifs de préformation sont optimisés conjointement, le format d'entrée et les paramètres du modèle étant partagés au cours des trois objectifs de préformation. L'objectif principal de l'utilisation de trois stratégies de préformation est d'utiliser une stratégie de masquage différente entre les requêtes et le texte pour contrôler leur interaction. Les trois objectifs de préformation sont les suivants: - Mise en correspondance des images et des textes; - Création de textes à base d'images; et - Apprentissage contrastif Image-texte. L'apprentissage contrastif image-texte est un apprentissage contrastif typique où le modèle apprend à aligner les représentations image et texte de manière à maximiser leurs informations mutuelles. Pour ce faire, la similarité d'une paire image-texte positive est comparée à celle de paires négatives. La représentation de la requête de sortie "Z" du transformateur d'image est alignée sur la représentation de texte "t" du transformateur de texte. Un masque d'auto-attention unimodal est utilisé pour empêcher les requêtes et le texte d'entrée 1010 de se voir (pour empêcher la fuite d'informations). La perte de génération de texte basée sur l'image est utilisée pour former le modèle Q-Ex 22 à la génération d'informations textuelles basées sur des images d'entrée données. Cependant, l'architecture Q-Former ne dispose pas d'une voie de communication directe entre l'encodeur d'image figé 21 et les jetons de texte correspondant aux informations de texte. Pour générer du texte, les informations nécessaires doivent d'abord être extraites par les requêtes, puis relayées aux jetons de texte par le biais de calques d'auto-attention. Par conséquent, les requêtes sont forcées d'extraire des caractéristiques visuelles qui englobent toutes les informations du texte d'entrée 1010. Pour réguler l'interaction requête-texte, on utilise un masque d'auto-attention causale multimodal. Les requêtes peuvent interagir les unes avec les autres, mais elles ne peuvent pas s'occuper des jetons de texte. Par contre, chaque jeton de texte peut répondre à toutes les requêtes et à ses jetons de texte précédents. L'objectif de la correspondance image-texte (ITM) est d'établir une corrélation détaillée entre les représentations image et texte. La tâche ITM implique une classification binaire dans laquelle le modèle doit prédire si une paire image-texte est positive (appariée) ou négative (sans correspondance). Pour ce faire, on utilise un masque d'auto-attention bidirectionnel qui permet à toutes les requêtes et à tous les textes de s'occuper l'un de l'autre, ce qui donne lieu à l'intégration de requêtes en sortie "Z" qui capte l'information multimodale. Ces intégrations sont ensuite intégrées dans un classifieur linéaire à deux classes pour obtenir une logit pour chaque classe. Le score de correspondance de sortie est obtenu en faisant la moyenne des journaux de toutes les requêtes. La phase de pré-formation générative consiste à tirer parti de la capacité linguistique générative d'une LLM gelée en la connectant à Q-Ex 22 (avec un encodeur d'image figé 21). Une couche 23 entièrement connectée (FC) est utilisée pour projeter linéairement l'intégration de la requête de sortie Z pour correspondre à la dimension de l'intégration de texte de la LLM. Ces projections d'embarquements servent d'invites visuelles souples qui permettent au LLM d'incorporer des renseignements visuels extraits par Q-Ex 22. Comme Q-Ex 22 est déjà pré entrainé pour extraire des représentations visuelles informatives sur la langue, il fonctionne comme un goulot d'étranglement de l'information qui fournit de l'information pertinente à la LLM tout en filtrant les données visuelles non pertinentes. Cela aide à atténuer le problème de l'oubli en réduisant le fardeau de la MLT d'apprendre l'alignement du langage de vision. Deux types de LLM peuvent être utilisés: un LLM basé sur le décodeur et un LLM basé sur le décodeur. Pour la LLM basée sur décodeur, elle est pré entrainée en utilisant la perte de modélisation de langue, où la LLM gelée est chargée de générer du texte conditionné sur la représentation visuelle de Q-Ex. D'autre part, pour la LLM basée sur le décodeur encodeur, elle est pré entrainée à l'aide de la perte de la modélisation du langage préfixe. Dans cette approche, un texte est divisé en deux parties, où le texte du préfixe est concaténé avec la représentation visuelle comme entrée à l'encodeur LLM. Le texte du suffixe est ensuite utilisé comme cible de génération pour le décodeur LLM. Le modèle de langage fondé sur la vision peut être affiné à la suite du processus de pré-formation afin d'améliorer la compréhension des conditions routières et de répondre aux questions spécifiques du conducteur, par exemple dans le cadre d'un scénario de conduite autonome. Pour atteindre cet objectif, un ensemble de données de finition est utilisé, comme décrit dans "Pano-AVQA: Question audio-visuelle fondée Réponse à une question sur des vidéos à 360°", de Heeseung Yun et al., publié le 11 octobre 2021. L'encodeur d'image 21 correspond par exemple à VIT-g d'EVA-CLIP®, tel un transformateur décrit dans "Scaling Vision Transformers", de Xiaohan Zhai et al., publié le 8 juin 2021. La LLM 24 peut correspondre au modèle de génération de réponses OPT (Open Pre-training Transformer), tel que décrit dans "OPT: Open Pre-training Transformer Language Models", de Susan Zhang et al., publié le 2 mai 2022. 21 juin 2022 [3]. L'encodeur d'image 21 peut, par exemple, être préentraîné pour 250 000 pas dans la première étape, et la LLM 24 peut être préentrainée pour 80 000 pas dans la deuxième étape. Une taille de lot de 1680 est utilisée pour ViT-g, et une taille de lot de 1920 est utilisée pour OPT dans la deuxième étape. Le processus de formation utilise un optimiseur décrit dans "ADAM: A Method for Stochastic Optimization", de Diederik P. Kingma et Jimmy Lei Ba, publié le 30 janvier 2017, avec des paramètres 1 = 0,9, 2 = 0,98 correspondant à des hyper-paramètres contrôlant les taux de décroissance exponentielle des moyennes mobiles, et une décroissance de poids de 0,05. On utilise un taux de décroissance du taux d'apprentissage cosinal avec un taux d'apprentissage maximal de 1e-4. Dans la deuxième étape, le taux d'apprentissage est fixé à 5e-5. La FIG. 3 présente un schéma de bloc illustrant un exemple de système ou d'appareil 3 dans lequel différents aspects et modes de réalisation exemplaires sont mis en oeuvre. L'appareil 3 peut être incorporé comme un ou plusieurs dispositifs, y compris les divers composants décrits ci-dessous. Dans divers modes de réalisation, l'appareil 3 peut être configuré pour mettre en oeuvre un ou plusieurs des aspects décrits dans la présente demande. Les exemples d'équipements qui peuvent constituer tout ou partie de l'appareil 3 incluent le calculateur, l'unité de contrôle électronique (ECU), le dispositif de traitement de l'information ou d'autres dispositifs de communication. Les éléments de l'appareil 3, individuellement ou en combinaison, peuvent être incorporés dans un circuit intégré unique (IC), plusieurs ICs et/ou des composants discrets. Par exemple, dans au moins une incarnation, les éléments de traitement et d'encodeur/décodeur de l'appareil 3 peuvent être répartis sur plusieurs IC et/ou composants distincts. Dans divers modes de réalisation, l'appareil 3 peut être couplé de façon communicative à d'autres systèmes similaires, ou à d'autres dispositifs électroniques, par exemple par l'intermédiaire d'un bus de communication 320 par l'intermédiaire d'interfaces d'entrée et/ou de sortie dédiées 32. L'appareil 3 peut comprendre au moins un processeur 30 configuré pour exécuter les instructions qui y sont chargées pour mettre en oeuvre, par exemple, les divers aspects décrits dans la présente application. Le processeur 30 peut inclure de la mémoire intégrée, une interface de sortie d'entrée et divers autres circuits connus dans l'art. L'appareil 3 peut comprendre au moins une mémoire 31 (par exemple un périphérique de mémoire volatile et/ou un périphérique de mémoire non volatile). L'appareil 3 peut comprendre un périphérique de stockage, qui peut comprendre une mémoire non volatile et/ou une mémoire volatile, y compris, mais non exclusivement, une mémoire en lecture seule électrique pouvant être effacée (EEPROM), une mémoire en lecture seule (ROM), une mémoire en lecture seule programmable (PROM), une mémoire vive Mémoire à accès aléatoire (SRAM), mémoire flash, lecteur de disque magnétique et/ou lecteur de disque optique. Le périphérique de stockage peut inclure un périphérique de stockage interne, un périphérique de stockage rattaché et/ou un périphérique de stockage accessible au réseau, comme exemples non limitatifs. L'appareil 3 peut comprendre un module encodeur/décodeur configuré, par exemple, pour traiter les données d'image afin de fournir des données de texte codées/décodées, et le module encodeur/décodeur peut inclure son propre processeur et sa propre mémoire. Le module encodeur/décodeur peut représenter le ou les modules qui peuvent être inclus dans un dispositif pour exécuter les fonctions d'encodage et/ou de décodage. Comme on le sait, un périphérique peut inclure un ou les deux modules d'encodage et de décodage. De plus, le module encodeur/décodeur peut être mis en oeuvre en tant qu'élément distinct ou incorporé dans le processeur 30 en tant que combinaison de matériel et de logiciel connus de ceux qui sont qualifiés dans l'art. Le code du programme à charger sur le processeur 30 ou l'encodeur/décodeur pour exécuter les différents aspects décrits dans la présente application peut être stocké dans un dispositif de stockage et ensuite chargé sur la mémoire 31 pour être exécuté par le processeur 30. Conformément à diverses réalisations, un ou plusieurs des processeurs 30, la mémoire 31, le périphérique de stockage et le module encodeur/décodeur peuvent stocker un ou plusieurs éléments différents lors de l'exécution des processus décrits dans la présente application. Ces éléments stockés peuvent inclure, sans s'y limiter, des données représentatives du contenu audio, des données représentatives du contenu vidéo, des données liées à l'haptique, un flux bitstream, des matrices, des variables et des résultats intermédiaires ou finaux du traitement des équations, des formules, des opérations et de la logique opérationnelle. Dans plusieurs modes d'exécution, la mémoire à l'intérieur du processeur 30 et/ou du module encodeur/décodeur peut être utilisée pour stocker les instructions et fournir une mémoire de travail pour le traitement qui peut être effectué pendant le traitement, l'encodage ou le décodage des données. Dans d'autres modes de réalisation, cependant, une mémoire externe au dispositif de traitement (par exemple, le processeur peut être le processeur) peut être utilisée pour une ou plusieurs de ces fonctions. La mémoire externe peut être la mémoire 31 et/ou le périphérique de stockage, par exemple, une mémoire volatile dynamique et/ou une mémoire flash non volatile. Dans au moins une incarnation, une mémoire volatile dynamique externe rapide telle qu'une mémoire vive peut être utilisée comme mémoire de travail pour le traitement des données. La FIG. 4 montre un schéma de bloc schématique des étapes d'une méthode de traitement des données d'image représentant au moins une image d'un environnement d'un véhicule 10, les données d'image étant obtenues à partir d'au moins une caméra embarquée du véhicule 10, conformément à au moins une incarnation exemplaire. La méthode peut, par exemple, être mise en oeuvre par un appareil embarqué du véhicule 10 ou par l'appareil 3 de la FIG. 3 . Au cours de la première étape 41, les premières données vocales représentatives d'une requête vocale sont reçues d'un microphone embarqué du véhicule. Dans la deuxième étape 42, les premières données vocales sont traitées pour obtenir les premières données textuelles représentatives d'une requête textuelle associée à la requête vocale. Dans la troisième étape 43, les informations textuelles sont générées en alimentant un modèle d'interrogation formé avec les premières données textuelles, le modèle d'interrogation entrainé qui interroge les données d'image pour générer des fonctions visuelles basées sur les premières données textuelles, les informations textuelles étant corrélées aux caractéristiques visuelles. À la quatrième étape 44, une deuxième donnée textuelle représentative d'une réponse textuelle à la requête textuelle est générée en alimentant un modèle linguistique entrainé avec l'information textuelle. À la cinquième étape 45, la deuxième donnée textuelle est traitée pour obtenir des données de second discours représentatives d'une réponse vocale à la requête vocale. La terminologie utilisée dans le présent document vise uniquement à décrire des réalisations particulières et n'a pas pour but de limiter les réalisations. Il sera entendu que les termes "comprend/comprend" et/ou "comprend/comprend", lorsqu'ils sont utilisés dans la présente spécification, peuvent spécifier la présence de caractéristiques, d'éléments et/ou de composants déclarés, par exemple, mais n'empêchent pas la présence ou l'ajout d'une ou de plusieurs autres caractéristiques, éléments, composants et/ou groupes de ces éléments. De plus, lorsqu'un élément est appelé "réactif" ou "connecté" à un autre élément, il peut être directement réactif ou relié à l'autre élément, ou des éléments intervenant peuvent être présents. En revanche, lorsqu'un élément est appelé "directement sensible" ou "directement lié" à un autre élément, il n'y a pas d'éléments d'intervention présents. Il est à noter que l'utilisation de l'un des symboles/termes "/", "et/ou" et "au moins l'un des", par exemple, dans les cas de "A/B", "A et/ou B" et "au moins l'un des A et B", peut être destinée à englober la sélection de la première option (A) ou la sélection de la deuxième option (B) seulement, ou les deux options (A et B). Par exemple, dans les cas "A, B et/ou C" et "au moins l'une des options A, B et C", ce libellé vise à englober la sélection de la première option (A) seulement ou de la deuxième option (B) seulement, ou la sélection de la troisième option (C) seulement, ou la sélection des première et deuxième options (A et B) seulement, ou la sélection de la troisième option (C), de la première et de la troisième option (A et C) seulement, ou de la deuxième et troisième option (B et C) seulement, ou de la sélection des trois options (A et B et C). Cela peut être étendu, comme il est clair à l'une des compétences ordinaires dans ce domaine et les arts connexes, pour autant d'éléments que sont énumérés. Diverses valeurs numériques peuvent être utilisées dans la présente demande. Les valeurs spécifiques peuvent être par exemple des fins et les aspects décrits ne se limitent pas à ces valeurs spécifiques. Il sera entendu que, bien que les termes premier, deuxième, etc. puissent être utilisés dans le présent document pour décrire divers éléments, ces éléments ne sont pas limités par ces termes. Ces termes ne sont utilisés que pour distinguer un élément d'un autre. Par exemple, un premier élément pourrait être qualifié de deuxième élément et, de même, un deuxième élément pourrait être qualifié de premier élément sans s'écarter des enseignements de cette application. Aucun ordre n'est implicite entre un premier élément et un deuxième élément. La référence à "une incarnation exemplaire" ou "une incarnation exemplaire" ou "une mise en oeuvre unique" ou "une mise en oeuvre", ainsi que d'autres variantes de celle-ci, est fréquemment utilisée pour indiquer qu'une caractéristique, une structure, une caractéristique particulière, et ainsi de suite (décrite en relation avec l'incarnation/la mise en oeuvre) est incluse dans au moins une incarnation/mise en oeuvre. Ainsi, les apparences de l'expression "dans une incarnation exemplaire" ou "dans une incarnation exemplaire" ou "dans une mise en oeuvre" ou "dans une mise en oeuvre", ainsi que toute autre variation, apparaissant à divers endroits dans cette application ne font pas nécessairement toutes référence à la même incarnation. De même, la référence ici à "conformément à une incarnation / exemple / mise en oeuvre exemplaire" ou "dans une incarnation / exemple / mise en oeuvre exemplaire", ainsi que d'autres variantes de celle-ci, est fréquemment utilisée pour indiquer qu'une caractéristique, une structure ou une caractéristique particulière (décrite en relation avec l'incarnation / exemple / mise en oeuvre exemplaire) peut être incluse dans au moins une incarnation / exemple / mise en oeuvre exemplaire. Ainsi, les apparences de l'expression "conformément à une incarnation / exemple / mise en oeuvre exemplaire" ou "dans une incarnation / exemple / mise en oeuvre exemplaire" à divers endroits de la spécification ne font pas nécessairement toutes référence à la même incarnation / exemple / mise en oeuvre exemplaire, ni ne sont une incarnation / exemples / mise en oeuvre exemplaire séparée ou alternative, nécessairement mutuellement exclusifs d'autres incarnations / exemples / mise en oeuvre exemplaires. Bien qu'elles ne soient pas explicitement décrites, les incarnations / exemples et variantes présents peuvent être utilisés dans n'importe quelle combinaison ou sous-combinaison. Un certain nombre de mises en oeuvre ont été décrites. Néanmoins, il sera entendu que diverses modifications pourront être apportées. Par exemple, des éléments de différentes implémentations peuvent être combinés, complétés, modifiés ou supprimés pour produire d'autres implémentations. De plus, l'une des compétences ordinaires comprendra que d'autres structures et processus peuvent être substitués à ceux divulgués et que les mises en oeuvre qui en résulteront auront au moins sensiblement la même ou les mêmes fonctions, au moins sensiblement de la même façon, pour obtenir au moins sensiblement les mêmes résultats que les mises en oeuvre divulguées. Par conséquent, ces mises en oeuvre et d'autres sont envisagées dans la présente demande. Procédé de traitement des données d'image représentatives d'au moins une image de l'environnement d'un véhicule (10), lesdites données d'image étant obtenues à partir d'au moins une caméra embarquée (105, 106) dudit véhicule (10), la méthode comportant les étapes de: - réception (41) de premières données vocales représentatives d’un requête vocale provenant d'un microphone embarqué (10) sur ledit véhicule (10); - traitement (42) des premières données vocales pour obtenir des premières données textuelles (1010) représentatives d'une requête textuelle associée à ladite requête vocale; - génération d’informations textuelles (43) en alimentant un modèle d'interrogation entrainé (22) avec lesdites premières données textuelles (1010), ledit modèle d'interrogation entrainé (22) interrogeant lesdites données d’images pour l’obtention de caractéristiques visuelles fondées sur lesdites premières données textuelles (1010), les informations textuelles étant corrélées à ces caractéristiques visuelles; - génération (44) de deuxième données textuelles (1020) représentative d'une réponse textuelle à ladite requête textuelle en alimentant un modèle linguistique entrainé (24) avec lesdites informations de textuelles; - traitement (45) des deuxième données textuelles (1020) pour obtenir des deuxième données vocales représentatives d'une réponse vocale à la requête vocale. Procédé selon la revendication 1, dans laquelle ledit modèle de langue entrainé (24) correspond à un modèle de langue large, appelé LLM. Procédé selon la revendication 1 ou 2, dans laquelle ledit modèle d'interrogation entraîné (22) correspond à un transformateur d'interrogation comprenant un transformateur d'image interagissant avec un encodeur d'image (21) pour obtenir lesdites caractéristiques visuelles et un texte pour obtenir lesdites informations textuelles, ledit transformateur d'image et ledit transformateur de texte partageant les mêmes couches d'auto-attention. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications précédentes, lorsque ces instructions sont exécutées par un processeur. Support de stockage non transitoire, qui transporte des instructions de code de programme pour l'exécution du procédé conformément à l'une des revendications 1 à 3. Dispositif (3) de traitement des données d'images représentant au moins une image d'un environnement d'un véhicule, dans lequel ledit dispositif comprend une mémoire (31) associée à au moins un processeur (30) configuré pour mettre en œuvre le procédé conformément à l'une des revendications 1 à 3. Véhicule (10) comprenant le dispositif (3) conformément à la revendication 6.