Brevet FR3133475A1 — publié le 20230915

Procédé d’analyse d’une série d’images dans un ego véhicule automobile, caractérisé en ce qu’il comprend les étapes suivantes : Détermination d’un texte (S30), par un premier réseau de neurones électronique, à partir de la série d’images, le texte étant en langage naturel et décrivant la série d’image, Détermination d’une donnée de commande (S70) de l’égo véhicule à partir du texte par un troisième réseau de neurones électronique ou une machine à vecteurs de support, Commande (S80) de l’égo véhicule à partir de la donnée de commande. Figure pour l’abrégé : figure 3 Procédé d’analyse d’images dans un véhicule automobile par génération de texte, dispositif et véhicule associés L’invention concerne l’aide à la conduite d’un véhicule automobile. Aujourd’hui, Il existe des dispositifs électroniques d’aides à la conduite (ou d’automatismes de conduite) permettant une adaptation automatique (ou semi-automatique) de la trajectoire d’un véhicule automobile en fonction de l’environnement du véhicule ou de signaler au conducteur des situations de danger. Ces aides à la conduite nécessitent une analyse des séries d’images faisant appel à des réseaux de neurones pour détecter des situations de danger et/ou déterminer la trajectoire du véhicule automobile. Il existe, d’une part, un besoin d’améliorer la capacité de détection des situations, notamment, de danger, et de faciliter l’interprétation des décisions prises par le système. Dans ce but, l’invention concerne un procédé d’analyse d’une série d’images dans un ego véhicule automobile (appelé aussi véhicule égo.), comprenant les étapes suivantes : Détermination, par un premier réseau de neurones électronique, d’un texte à partir de la série d’images, le texte étant en langage naturel et décrivant la série d’images, Détermination d’une donnée de commande de l’égo véhicule à partir du texte par un troisième réseau de neurones électronique ou une machine à vecteurs de support (en Anglais : « support-vector machine » et connue sous l’acronyme «SVM»), Commande de l’égo véhicule à partir de la donnée de commande. Ainsi l’utilisation d’un texte permet : D’utiliser la puissance et les performances des réseaux de neurones dans le domaine du traitement du langage, De faciliter la compréhension des décisions prises (par la simple lecture du texte). Selon un mode de réalisation, le procédé selon l’invention comprend l’étape suivante : Prédiction d’une suite textuelle (i.e. : sous forme de texte, donc préférentiellement en langage naturel) au texte par un deuxième réseau de neurones électronique, la détermination de la donnée de commande de l’égo véhicule étant réalisée à partir (du texte et) de la suite par le troisième réseau de neurones électronique ou la machine à vecteurs de support. La suite représente, en langage naturel, une prédiction de la manière dont va se poursuivre, dans le futur, la situation décrite par la série d’images. En variante, la donnée de commande est déterminée seulement à partir du texte. Le premier réseau de neurones, le deuxième réseau de neurones, et le troisième réseau de neurones sont des réseaux de neurones électroniques, c’est-à-dire mis en œuvre par un circuit électronique, par exemple un microcircuit, comprenant par exemple un processeur avec une mémoire ou un circuit électronique dédié. Selon un mode de réalisation, le procédé selon l’invention comprend en outre l’étape suivante : Entrainement du premier réseau de neurones (préalablement à l’étape de détermination du texte), du deuxième réseau de neurones (préalablement à l’étape de prédiction), et du troisième réseau de neurones (préalablement à l’étape de détermination de la donnée de commande) à partir de triplets comprenant la série d’images, le texte (obtenu à partir de la série d’images) et la suite (obtenue à partir du texte). Le premier réseau de neurones est par exemple un réseau à convolution ou un transformer. Selon un mode de réalisation, l’entrainement du premier réseau de neurones est précédé en outre par l’étape suivante : Pré-entrainement non supervisée du premier réseau de neurones (préalable à l’étape d’entrainement) à partir d’une base de vidéos générales (i.e. : la majorité des images ne montrent pas de véhicules automobiles et de routes) annotées par du texte en langage naturel. Selon un mode de réalisation, le procédé selon l’invention comprend en outre l’étape suivante, précédent l’entrainement du deuxième réseau de neurones : Pré-entrainement non supervisée du deuxième réseau de neurones (préalable à l’étape d’entrainement) à partir du contenu textuel de pages web. Ainsi, le procédé selon l’invention tire parti d’un deuxième réseau de neurones pré-entrainé sur un ensemble très grand de données. Le deuxième réseau de neurones est ainsi par exemple un réseau de type transformeur pré-entrainé génératif (en anglais : « Generative Pre-trained Transformer» connu sous l’abréviation « GPT »), par exemple le réseau appelé « transformeur pré-entrainé génératif 2 » connu en Anglais sous l’abréviation «GPT-2 » pour « Generative Pre-trained Transformer 2». Un tel réseau peut être distillé pour devenir plus rapide et moins consommateur de mémoire pour une meilleure intégration dans un véhicule automobile. De tel réseau comporte un paramètre de température qui peut être fixé par exemple à une valeur inférieure à 1 durant l’étape de détermination de la donnée de commande. Par exemple, le deuxième réseau de neurones produit un seul mot en sortie et la suite textuelle est obtenue durant l’étape de prédiction par des mises en œuvre successives du deuxième réseau de neurones (avec en entrée le texte, auquel a été ajouté les mots obtenus par les mises en œuvre précédentes du réseau de neurones). Selon un mode de réalisation, le troisième réseau de neurones est un perceptron multicouche. Selon un mode de réalisation, le véhicule comprend un habitacle, la donnée de commande indique soit un danger ou l’absence de danger et la commande déclenche un freinage de l’ego véhicule ou la restitution d’un signal (audio ou visuel) dans l’habitacle de l’égo véhicule. En variante, la donnée de commande peut déterminer la vitesse ou plus généralement la trajectoire (notamment la vitesse et la direction) de (autrement dit : appliquée à) l’égo véhicule. Selon un mode de réalisation, le procédé selon l’invention comprend les étapes suivantes : Répétition de l’étape de prédiction et de l’étape de détermination de la donnée de commande de manière à ce qu’une pluralité de suites soient prédites et qu’une pluralité de données de commandes (correspondantes, c’est-à-dire déterminées à partir de chacune des suites de la pluralité de suites) soit déterminées, et Commande du freinage ou de la restitution d’un signal si la proportion de données de commandes indiquant un danger, parmi la pluralité, de commandes dépasse un seuil. En variante, par exemple, le troisième réseau de neurones commande directement la trajectoire du véhicule à partir du texte et éventuellement de la suite. L’invention concerne également un programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontroller, pour la mise en œuvre du procédé selon l’invention. Le procédé selon l’invention est par exemple mis en œuvre par un dispositif électronique d’aide à la conduite. L’invention concerne donc aussi un dispositif électronique configuré pour mettre en œuvre les étapes du procédé selon l’invention, et un véhicule automobile comprenant le dispositif électronique. Le dispositif électronique peut comprendre le premier réseau de neurones, le deuxième réseaux de neurones et/ou le troisième réseau de neurones. Les caractéristiques et avantages du dispositif électronique, du véhicule automobile et du programme d’ordinateur sont identiques à ceux du procédé, c’est pourquoi, ils ne sont pas repris ici. On entend qu’un élément tel que le dispositif électronique, ou un autre élément est « configuré pour » réaliser une étape ou une opération, par le fait que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour ») réaliser l’étape ou l’opération. Il s’agit préférentiellement de moyens électroniques, par exemple d’un programme d’ordinateur, de données en mémoire et/ou de circuits électroniques spécialisés. Lorsqu’une étape ou une opération est réalisée par un tel élément, cela implique généralement que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour » ou « est configuré pour ») réaliser l’étape ou l’opération. Il s’agit également par exemple de moyens électroniques, par exemple un programme d’ordinateur, des données en mémoire et/ou des circuits électroniques spécialisés, et/ou éventuellement de moyens mécaniques. D’autres caractéristiques et avantages de la présente invention apparaitront plus clairement à la lecture de la description détaillée qui suit comprenant des modes de réalisation de l’invention donnés à titre d’exemples nullement limitatifs et illustrés par les dessins annexés, dans lesquels. représente un dispositif électronique d’un véhicule automobile et un véhicule selon un mode de réalisation de l’invention. représente une série d’images traitées selon un mode de réalisation de l’invention représente le procédé de l’invention, selon un exemple de réalisation, mis en œuvre notamment par le dispositif électronique et le véhicule de la . Description détaillée d’un exemple de réalisation de l’invention En référence à la , un véhicule égo 100 circule sur une route 300. Le véhicule égo 100 comporte une caméra 120 et un dispositif électronique d’aide à la conduite 110 comprenant un premier réseau de neurones 111, un deuxième réseau de neurones 112, et un troisième réseau de neurones 113. Un piéton 400 et un véhicule sont présents également sur la route 300. A l’étape S10, les premiers réseaux de neurones 111, deuxième réseau de neurones 112, et troisième réseau de neurones 113 sont entrainés à partir de triplets comprenant une série d’images, le texte (obtenu à partir de la série d’images) et la suite (obtenue à partir du texte). A l’étape S20, le dispositif d’aide à la conduite 110 réceptionne une série d’images 1000, , de l’environnement obtenue, par exemple par la caméra 120. A l’étape S30, le premier réseau de neurones 111 détermine un texte en langage naturel à partir de la série d’images, le texte décrivant la série d’images : « Un piéton, venant de la droite, derrière la voiture, s’apprête à traverser devant notre véhicule » Le premier réseau de neurones 111 est un réseau pré-entrainé (de manière non supervisée) à partir d’une base de vidéos générales (i.e. : la majorité des images ne montrent pas de véhicules automobiles et de routes) annotées par un texte en langage naturel décrivant les images. Cette base est par exemple celle présentée dans l’article suivant : Krishna et al. (2017). Dense-captioning events in videos. In The IEEE International Conference on Computer Vision (ICCV). Le premier réseau de neurones 111 est par exemple un réseau à convolution ou un transformer. Il s’agit par exemple du réseau de neurones présentée dans l’article suivant : Ging et al. (2020) COOT: Cooperative Hierarchical Transformer for Video-Text Representation Learning. Advances on Neural Information Processing Systems (NeurIPS). A l’étape S40, le deuxième réseau de neurones 112 engendre (autrement dit : produit en sortie) une première suite suivante au texte à partir du texte : « Le piéton entre en collision avec notre véhicule » Par exemple, le deuxième réseau de neurones produit un seul mot en sortie, et la première suite est obtenue durant l’étape de prédiction par des mises en œuvre successives du deuxième réseau de neurones. A l’étape S50, le deuxième réseau de neurones 112 engendre (autrement dit : produit en sortie) une deuxième suite suivante au texte à partir du texte (par des mises en œuvre successives du deuxième réseau de neurones) : « Le piéton manque de peu d’entrer en collision avec notre véhicule. La collision est évitée grâce à un freinage d’urgence » A l’étape S60, le deuxième réseau de neurones 112 engendre (autrement dit : produit en sortie) une troisième suite suivante au texte à partir du texte (par des mises en œuvre successives du deuxième réseau de neurones) : « Le piéton est en sécurité, à l’arrêt sur le côté de la voie, et regarde notre véhicule » Par exemple, le deuxième réseau de neurones 112 est par exemple le réseau appelé « transformeur pré-entrainé génératif 2 » pré-entrainé à partir du contenu textuel de pages web, et connu en Anglais sous l’abréviation «GPT-2 » pour « Generative Pre-trained Transformer 2». Un tel réseau peut être distillé pour devenir plus rapide et moins consommateur de mémoire pour une meilleure intégration dans un véhicule automobile. Le paramètre de température peut être fixé par exemple à une valeur inférieure à 1, tirée au sort pour le traitement d’une série d’images 1000. A l’étape S70, le troisième réseau de neurones 113 détermine une donnée de commande de l’égo véhicule à partir de chacune des première, deuxième et troisièmes suites. La donnée de commande indique soit un danger, soit l’absence de danger. Pour la première et la deuxième suite, le troisième réseau de neurones 113 détermine une donnée qui indique un danger. Pour la troisième suite, le troisième réseau de neurones 113 détermine une donnée qui indique l’absence de danger. A l’étape S80, puisque la majorité des données de commande indiquent un danger, la dispositif 110 déclenche un freinage d’urgence de l’ego véhicule 100. Par exemple, le troisième réseau de neurones 113 est un perceptron multicouche. Procédé d’analyse d’une série d’images (1000) dans un ego véhicule automobile (100), caractérisé en ce qu’il comprend les étapes suivantes : Détermination d’un texte (S30), par un premier réseau de neurones électronique (111), à partir de la série d’images (1000), Détermination d’une donnée de commande (S70) de l’égo véhicule (100) à partir du texte par un troisième réseau de neurones électronique (113) ou une machine à vecteurs de support, Commande (S80) de l’égo véhicule (100) à partir de la donnée de commande. Procédé d’analyse selon la revendication précédente comprenant en outre les étapes suivantes : Prédiction d’une suite textuelle (S40, S50, S60) au texte par un deuxième réseau de neurones électronique (112), la détermination de la donnée de commande (S70) de l’égo véhicule (100) étant réalisée à partir de la suite par le troisième réseau de neurones électronique (113) ou la machine à vecteurs de support, Procédé d’analyse selon la revendication précédente comprenant en outre une étape suivante : Entrainement (S10) du premier réseau de neurones (111), du deuxième réseau de neurones (112), et du troisième réseau de neurones (113) à partir de triplets comprenant la série d’images, le texte et la suite. Procédé d’analyse selon la revendication précédente comprenant en outre l’étape suivante, précédant l’entrainement du deuxième réseau de neurones : Pré-entrainement non supervisée du deuxième réseau de neurones à partir du contenu textuel de pages web. Procédé d’analyse selon l’une quelconque des revendications 2 à 4 dans lequel le deuxième réseau de neurones (112) est un réseau de type transformeur pré-entrainé génératif. Procédé d’analyse selon l’une quelconque des revendications précédentes dans lequel, l’égo véhicule (100) comprend un habitacle, la donnée de commande indique soit un danger, soit l’absence de danger, et dans lequel la commande déclenche un freinage de l’ego véhicule (100) ou la restitution d’un signal dans l’habitacle de l’égo véhicule (100). Procédé d’analyse selon la revendication précédente, prise en dépendance de la revendication 2, comprenant les étapes suivantes : Répétition de l’étape de prédiction et de l’étape de détermination de la donnée de commande de manière à ce qu’une pluralité de suites soient prédites et qu’une pluralité de données de commandes soit déterminées, et Commande du freinage ou de la restitution d’un signal si la proportion de données de commandes indiquant un danger parmi la pluralité de commandes dépasse un seuil. Programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontrôleur, pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 7, lorsque ledit programme est exécuté. Dispositif électronique (110) configuré pour mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 7. Véhicule automobile (100) comprenant le dispositif électronique (110) selon la revendication précédente.