Brevet FR3145826A1 — publié le 20240816

L’invention porte sur un procédé de détermination de l’environnement de conduite d’un véhicule automobile, sur un dispositif (100) mettant en œuvre un tel procédé ainsi que sur un véhicule automobile (1) comprenant un tel dispositif. Figure pour l’abrégé : 1 Détermination de l’environnement de conduite d’un véhicule automobile par segmentation sémantique d’images produites au moyen d’une caméra embarquée Domaine technique de l’invention La présente invention concerne le domaine des systèmes d’aide à la conduite des véhicules automobiles. L’invention porte en particulier sur un procédé de détermination de l’environnement de conduite d’un véhicule automobile. L’invention concerne également un dispositif mettant en œuvre un tel procédé ainsi qu’un véhicule automobile comprenant un tel dispositif. L’invention s’applique aux véhicules automobiles tels que les véhicules terrestres à moteur, notamment les voitures. État de la technique antérieure On sait que la fourniture de fonctionnalités de conduite autonome se base sur une modélisation de l’environnement de conduite et que certains systèmes d’aide à la conduite modernes sont aujourd’hui capables de déterminer une telle modélisation sous forme tridimensionnelle. Pour permettre cela, on utilise généralement des réseaux de neurones artificiels qui sont préalablement entraînés par apprentissage supervisé. Cependant, les données annotées qui servent à l’apprentissage de ces réseaux sont rares et chères. En outre, bon nombre de procédés connus basent leur modélisation sur une représentation tridimensionnelle sous forme de nuage de points, par exemple générés au moyen d’un lidar. Cependant, les procédés connus qui permettent de déterminer des boites englobantes pour des éléments à partir de nuages de points s’avèrent manquer de fiabilité, notamment lorsqu’il s’agit de détecter des éléments à faible emprise au sol, par exemple les piétons. En outre, ces procédés nécessitent d’importantes ressources de calcul, ce qui implique une limitation dans la rapidité de prise de décision du système d’aide à la conduite et engendre par ailleurs des besoins en matériels informatiques embarqués qui augmentent les coûts des véhicules. L’invention vise à pallier ces inconvénients. L’invention a en particulier pour but de fournir une alternative plus fiable et plus économe sur le plan des besoins en ressources de calcul pour permettre à un système d’aide à la conduite d’un véhicule automobile de déterminer l’environnement de conduite du véhicule. Par ce biais, l’invention vise à améliorer la rapidité de prise de décision des systèmes d’aide à la conduite des véhicules automobiles et à participer à la réduction de leur coût. Afin d’atteindre ces buts, l’invention concerne, selon un premier aspect, un procédé de détermination, par un dispositif informatique embarqué à bord d’un véhicule automobile, de l’environnement de conduite du véhicule, le procédé comprenant les étapes de : obtenir des données caractérisant une image en couleurs de l’environnement de conduite du véhicule générées au moyen d’une caméra embarquée à bord du véhicule ; déterminer des données caractérisant une valeur de profondeur pour chaque pixel de ladite image ; déterminer des données caractérisant une représentation tridimensionnelle de l’environnement de conduite du véhicule en fonction des données caractérisant une valeur de profondeur pour chaque pixel de ladite image ; déterminer des données caractérisant au moins un élément présent dans l’environnement de conduite du véhicule en effectuant une segmentation sémantique de ladite image ; déterminer des données caractérisant au moins un élément insignifiant de l’environnement de conduite du véhicule en fonction des données caractérisant au moins un élément présent dans l’environnement de conduite du véhicule ; et déterminer des données caractérisant une boite englobante pour chaque élément signifiant de l’environnement de conduite du véhicule en utilisant les données caractérisant une représentation tridimensionnelle de l’environnement de conduite du véhicule et les données caractérisant au moins un élément insignifiant de l’environnement de conduite du véhicule. Selon une variante, l’étape ii) peut être réalisée en utilisant un premier réseau de neurones artificiels entraîné par apprentissage non-supervisé. Selon une autre variante, l’étape iv) peut être réalisée en utilisant un deuxième réseau de neurones artificiels entraîné par apprentissage non-supervisé. Selon encore une autre variante, l’étape v) peut être réalisée en utilisant des données caractérisant au moins une condition d’intérêt préalablement établies. Selon encore une autre variante, l’étape vi) peut être réalisée en utilisant un troisième réseau de neurones artificiels entrainé apprentissage non-supervisé. Selon un deuxième aspect, l’invention concerne un dispositif de détermination de l’environnement de conduite d’un véhicule automobile, le dispositif comprenant au moins une unité de traitement d’informations, comprenant au moins un processeur, et un support de stockage de données configurés pour mettre en œuvre un procédé tel que décrit ci-dessus. Selon un troisième aspect, l’invention concerne un programme d’ordinateur comprenant des instructions de code de programme pour l’exécution des étapes d’un procédé tel que décrit ci-dessus lorsque ledit programme est exécuté par au moins un processeur. Selon un quatrième aspect, l’invention concerne un support utilisable dans un ordinateur sur lequel un programme tel que décrit ci-dessus est enregistré. Selon un cinquième aspect, l’invention concerne un véhicule automobile comprenant un dispositif tel que décrit ci-dessus. Brève description des figures D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés, sur lesquels : est un schéma d’un véhicule automobile selon l’invention ; est un diagramme fonctionnel d’un dispositif selon l’invention ; et est un organigramme des étapes d’un procédé selon l’invention. Description détaillée de l’invention Sur la est illustré schématiquement un véhicule automobile 1 selon l’invention. Celui-ci est équipé d’un système d’aide à la conduite 2 qui interagit avec une caméra couleur 3 embarquée pour générer des images numériques de l’environnement de conduite du véhicule. De manière avantageuse, le véhicule 1 selon l’invention embarque en plus un dispositif 100 de détermination de l’environnement de conduite d’un véhicule automobile au sens de la présente invention, tel que décrit ci-dessous, qui met en œuvre un procédé de de détermination de l’environnement de conduite d’un véhicule automobile au sens de la présente invention, tel que décrit plus bas. Lors de la mise en œuvre du procédé selon l’invention, le dispositif 100 selon l’invention effectue une prédiction de la profondeur des données d’images et une segmentation sémantique des images afin de déterminer des boîtes englobantes uniquement pour des éléments d’intérêt de l’environnement de conduite du véhicule (véhicule, piéton, infrastructure routière, signalisation routière, etc.). C’est ainsi que l’on permet à un système d’aide à la conduite d’un véhicule automobile de déterminer l’environnement de conduite du véhicule exclusivement à partir d’images en couleurs générées au moyen d’une caméra embarquée de manière plus fiable et en consommant moins de ressources de calcul. Le dispositif 100 de détermination de l’environnement de conduite d’un véhicule automobile selon l’invention est illustré sur la . Il s’agit fondamentalement d’un appareil informatique, qui comprend au moins une unité de traitement d’informations 101, comportant un ou plusieurs processeurs, un support de stockage de données 102, sur lequel est notamment enregistré un programme qui comprend des instructions de code de programme pour l’exécution des étapes du procédé selon l’invention décrit ci-après, et une interface d’entrée et sortie 103 permettant la réception et l’émission de données. De plus, afin mettre en œuvre au moins une étape du procédé selon l’invention décrit ci-dessous, le dispositif 100 selon l’invention comprend avantageusement un premier réseau de neurones artificiels 104, un deuxième réseau de neurones artificiels 105 et un troisième réseau de neurones artificiels 106. Préférentiellement, le dispositif 100 selon l’invention est hébergé sur un calculateur indépendant et il interagit par le biais de son interface d’entrée et sortie 103 et au moyen d’un réseau de communication filaire du véhicule (e.g. CAN, Ethernet) – matérialisé sur la par les flèches à double sens – avec le système d’aide à la conduite 2. Alternativement, le dispositif 100 selon l’invention fait partie intégrante d’un calculateur du système d’aide à la conduite 2 du véhicule 1. Ainsi, le dispositif 100 selon l’invention peut, notamment, obtenir des données générées au moyen de la caméra 3. Selon l’invention, tous les éléments décrits ci-dessus contribuent pour permettre la mise en œuvre d’un procédé de détermination de l’environnement de conduite d’un véhicule automobile, tel que décrit ci-dessous en lien avec les figures 1 et 3. Selon une première étape 201 du procédé selon l’invention, le dispositif 100 selon l’invention obtient des données caractérisant une image en couleurs de l’environnement de conduite du véhicule générées au moyen le caméra 3. Pour ce faire, il interagit préférentiellement avec le système d’aide à la conduite 2, qui interagit à son tour avec la caméra 3 embarquée pour obtenir ce que l’on appelle communément une image RGB de l’environnement de conduite du véhicule. En effet, une telle image RGB constitue avantageusement les seules données dont le dispositif 100 selon l’invention a besoin pour pouvoir déterminer l’environnement de conduite du véhicule et, en particulier, pour pouvoir déterminer une représentation tridimensionnelle de celui-ci et localiser dans l’espace au moyen de boites englobantes des éléments qui le composent, par exemple des véhicules, des piétons, des éléments de signalisation ou d’infrastructure routière, etc. On permet ainsi une mise en œuvre bon marché au moyen d’une simple caméra embarquée qui est moins onéreuse et plus performante du point de vue de sa résolution qu’un lidar. Selon une deuxième étape 202 du procédé selon l’invention, le dispositif 100 selon l’invention détermine des données caractérisant une valeur de profondeur pour chaque pixel de l’image. En d’autres termes, le dispositif 100 selon l’invention fournit à ce stade un moyen pour étendre dans l’espace la représentation en deux dimensions que forme l’image RGB précédemment acquise. Pour ce faire, le dispositif 100 selon l’invention utilise le premier réseau de neurones artificiels 104, qui, préférentiellement, a été entraîné préalablement par apprentissage non-supervisé. Par exemple, lorsque la caméra 3 est une caméra stéréoscopique, on a entraîné le premier réseau de neurones à reconstruire l’image produite par l’une des caméras à partir de celle produite par l’autre caméra afin de pouvoir ainsi en déduire la profondeur de chaque pixel. Alternativement, lorsque la caméra 3 est monoculaire, on a entraîné le premier réseau de neurones artificiels 104 à apprendre non seulement la profondeur mais aussi le mouvement de la caméra 3 entre deux images consécutives en lui apprenant à reconstruire une image produite à un instant courant à partir d’une image produite à un instant précédent. Alternativement, le premier réseau de neurones artificiels 104 peut aussi avoir été entraîné par apprentissage supervisé au moyen de données annotées. Ainsi, au terme de cette deuxième étape du procédé, le dispositif 100 selon l’invention a avantageusement déterminé à partir d’une simple image couleur des données qui définissent ce que l’on appelle communément une image RGB-D, où la lettre « D » signifie « profondeur » (de l’anglais depth ). Selon une troisième étape 203 du procédé selon l’invention, le dispositif 100 selon l’invention détermine des données caractérisant une représentation tridimensionnelle de l’environnement de conduite du véhicule en fonction des données caractérisant une valeur de profondeur pour chaque pixel de l’image. Préférentiellement, cette représentation tridimensionnelle ainsi déterminée à partir de l’image RGB-D précédemment établie prend la forme d’un nuage de points ou d’une grille qui représentent l’environnement de conduite du véhicule de manière tridimensionnelle. Ainsi, au terme à cette deuxième étape du procédé, le dispositif 100 selon l’invention a avantageusement étendu dans l’espace la simple image RGB obtenue lors de la première étape du procédé, en particulier en déterminant à partir de celle-ci une représentation tridimensionnelle prenant la forme d’un nuage de points. Selon une quatrième étape 204 du procédé selon l’invention, le dispositif 100 selon l’invention détermine des données caractérisant au moins un élément présent dans l’environnement de conduite de conduite du véhicule en effectuant une segmentation sémantique de l’image. Pour ce faire, le dispositif 100 selon alimente le deuxième réseau de neurones artificiels 105 avec l’image RGB, celle obtenue lors de la première étape du procédé, et le deuxième réseau de neurones 105 identifie au sein de l’image tous les éléments de l’environnement de conduite du véhicule (e.g. véhicules, piétons, éléments d’infrastructure et/ou de signalisation routière, etc.). Le deuxième réseau de neurones artificiels 105 est avantageusement en mesure de permettre cela grâce à son entraînement réalisé selon l’une ou l’autre des méthodes de segmentation sémantique connues. Préférentiellement, le deuxième réseau de neurones artificiels 105 a été entraîné par apprentissage non-supervisé. Alternativement, le deuxième réseau de neurones artificiels 105 a été entraîné par apprentissage supervisé. Ainsi, au terme de cette quatrième étape du procédé, le dispositif 100 selon l’invention a avantageusement identifié à partir d’une simple image RGB les éléments qui composent l’environnement de conduite du véhicule. Selon une cinquième étape 205 du procédé selon l’invention, le dispositif 100 selon l’invention détermine des données caractérisant au moins un élément insignifiant de l’environnement de conduite du véhicule en fonction des données caractérisant au moins un élément présent dans l’environnement de conduite du véhicule. En d’autres termes, le dispositif 100 selon l’invention procède à ce stade en déterminant les éléments insignifiants de l’environnement de conduite du véhicule, ceux qui ne sont pas pertinents du point de vue de la planification du mouvement du véhicule. Il en déduit ainsi quels sont les éléments signifiants, ceux qui sont au contraire pertinents du point de vue de la planification du déplacement du véhicule. Pour ce faire, le dispositif 100 selon l’invention passe préférentiellement en revue plusieurs conditions d’intérêt préalablement établies en lien avec chaque élément de l’environnement de conduite identifié par segmentation sémantique de l’image RGB au cours de l’étape précédente du procédé. De telles conditions d’intérêts établissent, par exemple, que les véhicules éloignés compte tenu de la vitesse du véhicule et de la limitation de la vitesse sont insignifiants. De manière similaire, d’autres conditions d’intérêt stipulent l’insignifiance d’autres éléments de l’environnement de conduite, comme les véhicules qui circulent en sens inverse sur une route à chaussées séparées, les objets statiques à côté de la chaussée ou les piétons qui se trouvent assez loin des voies de circulation. Ainsi, par cette cinquième étape du procédé, le dispositif 100 selon l’invention effectue avantageusement un tri des éléments de l’environnement de conduite du véhicule pour ne garder que les éléments les plus signifiants du point de vue de la planification du déplacement du véhicule. C’est ainsi qu’il permet une économie substantielle de ressources de calcul lors de la mise en œuvre de la sixième étape 206 du procédé selon l’invention décrite ci-dessous. Selon une sixième étape 206 du procédé selon l’invention, le dispositif 100 selon l’invention détermine des données caractérisant une boite englobante pour chaque élément signifiant de l’environnement de conduite du véhicule en utilisant les données caractérisant une représentation tridimensionnelle de l’environnement de conduite du véhicule et les données caractérisant au moins un élément insignifiant de l’environnement de conduite du véhicule. Pour ce faire, le dispositif 100 selon l’invention alimente à ce stade le troisième réseau de neurones artificiels 106 avec les données précédemment déterminées, à savoir la représentation tridimensionnelle de l’environnement de conduite du véhicule sous forme de nuage de points et les résultats du tri réalisé au cours de l’étape précédente du procédé visant à choisir des éléments signifiants à partir des résultats de la segmentation sémantique de l’image RGB effectuée au cours de la quatrième étape du procédé. Ici encore, le troisième réseau de neurones artificiels 106 a préférentiellement été entraîné pour permettre la mise en œuvre de cette ultime étape du procédé par apprentissage non-supervisé. Alternativement, on a eu recours à un apprentissage supervisé réalisé au moyen de nuages de points annotés. Ainsi, c’est lors de cette sixième étape du procédé que le dispositif 100 selon l’invention combine le calcul de profondeur des pixels de l’image RGB réalisé au cours de la deuxième étape 202 du procédé avec la segmentation sémantique effectuée au cours de la quatrième étape 204 du procédé. De cette manière, il minimise avantageusement les besoins en ressources de calcul en permettant au troisième réseau de neurones artificiels 106 de déterminer des boites englobantes seulement pour les éléments signifiants de l’environnement de conduite du véhicule, i.e. ceux qui sont réellement pertinents du point de vue de la planification du déplacement du véhicule. Par conséquent, grâce au procédé et au dispositif selon l’invention décrits ci-dessus, une solution est fournie pour permettre à un système d’aide à la conduite d’un véhicule automobile de pouvoir déterminer de manière plus fiable et à moindre coût l’environnement de conduite du véhicule. Par ce biais, l’invention améliore la rapidité de prise de décision d’un système d’aide à la conduite en permettant ainsi la fourniture de fonctionnalités de conduite autonome plus sûres. Procédé de détermination, par un dispositif informatique (100) embarqué à bord d’un véhicule automobile (1), de l’environnement de conduite du véhicule, caractérisé en ce que le procédé comprend les étapes de : obtenir des données caractérisant une image en couleur de l’environnement de conduite du véhicule générées au moyen d’une caméra (3) embarquée à bord du véhicule ; déterminer des données caractérisant une valeur de profondeur pour chaque pixel de ladite image ; déterminer des données caractérisant une représentation tridimensionnelle de l’environnement de conduite du véhicule en fonction des données caractérisant une valeur de profondeur pour chaque pixel de ladite image ; déterminer des données caractérisant au moins un élément présent dans l’environnement de conduite du véhicule en effectuant une segmentation sémantique de ladite image ; déterminer des données caractérisant au moins un élément insignifiant de l’environnement de conduite du véhicule en fonction des données caractérisant au moins un élément présent dans l’environnement de conduite du véhicule ; et déterminer des données caractérisant une boite englobante pour chaque élément signifiant de l’environnement de conduite du véhicule en utilisant les données caractérisant une représentation tridimensionnelle de l’environnement de conduite du véhicule et les données caractérisant au moins un élément insignifiant de l’environnement de conduite du véhicule. Procédé selon la revendication 1, caractérisé en ce que l’étape ii) est réalisée en utilisant un premier réseau de neurones artificiels (104) entraîné par apprentissage non-supervisé. Procédé selon l’une des revendications précédentes, caractérisé en ce que l’étape iv) est réalisée en utilisant un deuxième réseau de neurones artificiels (105) entraîné par apprentissage non-supervisé. Procédé selon l’une des revendications précédentes, caractérisé en ce que l’étape v) est réalisée en utilisant des données caractérisant au moins une condition d’intérêt préalablement établies. Procédé selon l’une des revendications précédentes, caractérisé en ce que l’étape vi) est réalisée en utilisant un troisième réseau de neurones artificiels (106) entrainé apprentissage non-supervisé. Dispositif (100) de détermination de l’environnement de conduite d’un véhicule automobile, caractérisé en ce que le dispositif comprend au moins une unité de traitement d’informations (101), comprenant au moins un processeur, et un support de stockage de données (102) configurés pour mettre en œuvre un procédé selon l’une quelconque des revendications précédentes. Programme d’ordinateur comprenant des instructions de code de programme pour l’exécution des étapes d’un procédé selon l’une quelconque des revendications 1 à 5 lorsque ledit programme est exécuté par au moins un processeur. Support utilisable dans un ordinateur, caractérisé en ce qu’ un programme selon la revendication 7 y est enregistré. Véhicule automobile, caractérisé en ce qu’ il comprend un dispositif (100) selon la revendication 6.