Brevet FR3133096A1 — publié le 20230901

Procédé d’analyse d’une première image dans un ego véhicule automobile (100), le procédé étant caractérisé en ce qu’il comporte les étapes suivantes : Classification sémantique de la première image par un premier réseau de neurones (111) ayant pour résultat une quatrième image, Estimation par le premier réseau de neurones (111) de l’incertitude de la classification au travers de la quatrième image, Masquage de parties de la quatrième image pour lesquelles l’incertitude dépasse un seuil d’incertitude, Complétion de la classification sémantique dans les parties de la quatrième image par un deuxième réseau de neurones (112). Figure pour l’abrégé : figure 1 Procédé d’analyse d’images par masquage et complétion en fonction de l’incertitude, dispositif et véhicule associés L’invention concerne l’aide à la conduite d’un véhicule automobile. Aujourd’hui, Il existe un certain nombre de dispositifs électroniques d’aides à la conduite (ou d’automatismes de conduite) permettant une adaptation automatique (ou semi-automatique) de la trajectoire d’un véhicule en fonction de l’environnement du véhicule. Ces aides à la conduite nécessitent des analyses d’images complexes faisant appel à des réseaux de neurones. L’analyse d’image détermine ainsi la trajectoire (c’est-à-dire la direction et la vitesse du véhicule) donnée au véhicule par le dispositif d’aide à la conduite, ou des signaux délivrés dans l’habitacle (signaux d’avertissement). Notamment, ces analyses d’images utilisent des réseaux de neurones pour réaliser une analyse sémantique de ces images. Or, il existe un besoin pour améliorer la qualité de l’analyse sémantique produite par ces réseaux de neurones. Dans ce but, l’invention concerne un procédé d’analyse d’une première image dans un ego véhicule automobile (100) (circulant selon une première trajectoire), le procédé étant caractérisé en ce qu’il comporte les étapes suivantes : Classification sémantique (S60) de la première image (4000) par un premier réseau de neurones (111) (de l’égo véhicule automobile) ayant pour résultat une quatrième image (5000), Estimation par le premier réseau de neurones (111) d’une incertitude de la classification au travers de la quatrième image (5000), Masquage (S80) de parties de la quatrième image (5000) pour lesquelles l’incertitude dépasse un seuil d’incertitude, Complétion (S90) de la classification sémantique dans les parties de la quatrième image (5000) par un deuxième réseau de neurones (112) (de l’égo véhicule automobile). Ainsi, l’analyse de sémantique de l’image peut être améliorée en utilisant l’algorithme de complétion dans les parties de l’image où l’incertitude est la plus élevée. Le premier réseau de neurones et/ou le deuxième réseau de neurones est un réseau de neurone électronique, c’est-à-dire mis en œuvre par un circuit électronique, par exemple un microcircuit, comprenant par exemple un processeur avec une mémoire ou un circuit électronique dédié. Durant l’étape de classification, le premier réseau de neurones peut ajouter, à chaque pixel de la quatrième image, une étiquette indiquant une classe à laquelle appartient le pixel et (et durant le l’étape l’estimation qui peut être concomitante à l’étape de classification) l’incertitude de la classification associée à ce pixel. Par exemple, durant l’étape de masquage, chaque pixel de la quatrième image pour lesquel l’incertitude dépasse le seuil d’incertitude est masqué (autrement dit : supprimé ou masqué comme masqué). Par exemple, durant l’étape de complétion, chaque pixel masqué durant l’étape de masquage est étiqueté, par le deuxième réseau de neurones, par une étiquette indiquant une classe à laquelle appartient ce pixel. Ainsi donc, selon un mode de réalisation : Durant l’étape de classification, le premier réseau de neurones étiquette chaque pixel de la quatrième image (5000) avec une étiquette de classe et une incertitude, et/ou Durant l’étape de masquage, chaque pixel de la quatrième image (5000) pour lesquel l’incertitude dépasse le seuil d’incertitude est masqué, et/ou Durant l’étape de complétion, le deuxième réseau de neurones (112) étiquette chaque pixel masqué durant l’étape de masquage par une étiquette indiquant une classe à laquelle appartient ce pixel. Par exemple, le premier réseau de neurones est celui enseigné dans l’article suivant : Paszke, Chaurasia, Kim, Culurciello (2016), Enet: A deep neural network architecture for real-time semantic segmentation,” arXiv preprint arXiv:1606.02147. Selon un mode de réalisation, le deuxième réseau de neurones est un réseau de neurones convolutif et/ou contextuel, par exemple celui enseigné dans l’article : Shin, Sagong, Yeo, Kim, Ko (2019). PEPSI++: Fast and lightweight network for image inpainting. IEEE Transactions on Neural Networks and Learning Systems 32 (1), 252-265. Selon un mode de réalisation, l’égo véhicule est situé dans un environnement comprenant un élément (immobile, ou circulant selon une deuxième trajectoire), le procédé étant caractérisé en ce qu’il comporte les étapes suivantes : Réception d’une information d’environnement (relative à l’environnement), Détermination d’une durée avant collision jusqu’à une collision anticipée entre l’égo véhicule (s’il poursuit la première trajectoire) et l’élément (s’il demeure immobile, ou poursuit la deuxième trajectoire), à partir de l’information d’environnement, Détermination d’une durée d’analyse disponible pour l’analyse de la première image à partir de la durée avant collision, La complétion n’étant mise en œuvre que si la durée d’analyse est supérieure à un seuil temporel. En variante, la complétion est mise en œuvre dans tous les cas ou en fonction d’autres critères. Ainsi, selon l’invention, l’analyse de l’image peut être améliorée lorsque le temps disponible pour réaliser cette analyse le permet, ce qui permet d’améliorer la qualité des aides à la conduite. Le procédé peut comprendre une étape de réception de la première image. En variante, le première image est déjà en mémoire. La première image peut être obtenue par une première caméra du véhicule égo. En variante, la première image est reçue par exemple par une caméra d’autres véhicules situés dans l’environnement du l’égo véhicule (non représenté). Selon un mode de réalisation, l’information d’environnement est reçue de la part d’une deuxième caméra. L’information comprend par exemple des images vidéo, dans ce cas. L’information d’environnement peut être reçue de la part d’un deuxième radar de l’égo véhicule. L’information comprend par exemple des images radar, dans ce cas. En variante, l’information d’environnement est reçue par exemple par un radar ou une caméra d’autres véhicules situés dans l’environnement du l’égo véhicule. Selon un mode de réalisation, le procédé d’analyse comprend : Une étape de détermination d’une distance entre l’ego véhicule et l’élément à partir de l’information d’environnement, Une étape de détermination d’une vitesse relative entre l’ego véhicule et l’élément à partir de l’information d’environnement. La durée avant collision étant déterminée à partir de la distance et de la vitesse. En variante, la durée avant collision peut être obtenue par un troisième réseau de neurones, à partir de l’information d’environnement. La durée avant collision peut aussi prendre en compte l’accélération de l’égo véhicule ou de l’élément. Selon un mode de réalisation, le procédé comprend une étape de réception d’une deuxième image de l’environnement (obtenue par exemple de la part d’une troisième caméra de l’égo véhicule) et l’élément est une surface représentée par un pixel de la deuxième image. En variante, l’élément est un véhicule, un piéton, ou objet fixe représentée par un ensemble de pixels (et le procédé peut comprendre une étape de reconnaissance de l’élément). Lorsque l’environnement comprend une pluralité d’éléments, l’élément est préférentiellement celui pour lequel la durée avant collision est minimum parmi la pluralité d’éléments. En variante, un risque encouru, par exemple en cas de choc entre l’égo véhicule et l’élément, peut être pris en compte pour déterminer l’élément. Selon un mode de réalisation, La pluralité d’élément peut être représentée par tous les pixels de la deuxième image, et l’élément peut être représenté par un de ces pixels. La durée avant collision est par exemple obtenue à partir de la vitesse relative entre l’égo véhicule et l’élément divisée par la distance. Selon un mode de réalisation, la durée d’analyse est égale à la durée avant collision moins un temps de sécurité. Le temps de sécurité est par exemple le temps nécessaire à la mise en œuvre d’une mesure d’urgence. Il est par exemple de 2s. Par exemple, si la durée d’analyse est inférieure au seuil temporel, le procédé selon l’invention comprend en outre une étape de commande de la trajectoire de l’égo véhicule (ou la restitution d’un signal à l’intérieur du véhicule) à partir de la quatrième image. Si la durée d’analyse est supérieure au seuil temporel, le procédé selon l’invention peut comprendre une étape de commande de la trajectoire de l’égo véhicule (ou la restitution d’un signal à l’intérieur du véhicule) à partir du résultat de la complétion. L’incertitude de la classification peut être obtenue de plusieurs manières, préférentiellement, par une méthode d’abandon de monté-carlo ( en Anglais « Monté-Carlo dropout ») introduite dans l’article : Y. Gal and Z. Ghahramani. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning. In ICML, 2016. L’invention concerne également un programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontroller, pour la mise en œuvre du procédé selon l’invention. Le procédé selon l’invention est par exemple mis en œuvre par un dispositif électronique d’aide à la conduite. L’invention concerne donc aussi un dispositif électronique configuré pour mettre en œuvre les étapes du procédé selon l’invention, et un véhicule automobile comprenant le dispositif électronique. Le dispositif électronique peut comprendre le premier et/ou le deuxième réseau de neurones. Les caractéristiques et avantages du dispositif électronique, du véhicule automobile et du programme d’ordinateur sont identiques à ceux du procédé, c’est pourquoi, ils ne sont pas repris ici. On entend qu’un élément tel que le dispositif électronique, ou un autre élément est « configuré pour » réaliser une étape ou une opération, par le fait que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour ») réaliser l’étape ou l’opération. Il s’agit préférentiellement de moyens électroniques, par exemple d’un programme d’ordinateur, de données en mémoire et/ou de circuits électroniques spécialisés. Lorsqu’une étape ou une opération est réalisée par un tel élément, cela implique généralement que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour » ou « est configuré pour ») réaliser l’étape ou l’opération. Il s’agit également par exemple de moyens électroniques, par exemple un programme d’ordinateur, des données en mémoire et/ou des circuits électroniques spécialisés, et/ou éventuellement de moyens mécaniques. D’autres caractéristiques et avantages de la présente invention apparaitront plus clairement à la lecture de la description détaillée qui suit comprenant des modes de réalisation de l’invention donnés à titre d’exemples nullement limitatifs et illustrés par les dessins annexés, dans lesquels. représentent un dispositif électronique d’un véhicule automobile et un véhicule selon un mode de réalisation de l’invention. , et représentent des images traitées selon un mode de réalisation de l’invention représente le procédé de l’invention, selon un exemple de réalisation, mis en œuvre notamment par le dispositif électronique et le véhicule de la . Description détaillée d’un exemple de réalisation de l’invention En référence à la et 6, à l’étape S10, un véhicule égo 100 circule sur une route 300 selon une trajectoire (autrement dit : direction et sens) T1. Le véhicule égo 100 comporte une caméra 120 et un radar 130 et un dispositif électronique d’aide à la conduite 110 comprenant un premier réseau de neurones 111 et un deuxième réseau de neurones 112. La route 300 comporte une séparation centrale 310 (terre-plein ou autre), deux glissières de sécurité 330 et 320. Sur la route 300, les véhicules 220 et 210 circulent également selon une trajectoire (autrement dit : direction et sens) T2 et T3 respectivement. Un arbre 400 est également présent sur le côté de la route. A l’étape S20, le dispositif d’aide à la conduite 110 réceptionne l’image 4000, , de l’environnement obtenue par exemple par la caméra 120. A l’étape S30, le dispositif 110 reçoit des images radars (successives) de la part du radar 130 A l’étape S40, le dispositif 110 détermine, à partir des images radars, pour chaque pixel de l’image 4000, une durée avant une collision avec l’ego véhicule. Le pixel PX représentant surface PP (situé à une distance D1 du véhicule égo 100) du véhicule 220 est celui pour lequel la durée avant collision est minimum parmi tous les pixels de l’image 4000. La durée avant collision est par exemple obtenue à partir de la vitesse relative entre l’égo véhicule et l’élément de l’environnement représenté par le pixel divisé par la distance entre l’élément de l’environnement représenté par le pixel et l’égo véhicule. A l’étape S50, une durée d’analyse égale à la durée avant collision moins un temps de sécurité, par exemple égal à 2 secondes est déterminée. Par exemple, la durée d’analyse est de 1,1 seconde, et la durée avant collision de 3,1 secondes. A l’étape S60, le premier réseau de neurones 111 réalise une classification sémantique de l’image 4000 avec pour résultat une image 5000, . Dans l’image 5000, sont classifiés : Comme véhicules, le véhicule 210 (i.e. les pixels représentant le véhicule 210), Comme séparations entre voies, la séparation centrale 310 (i.e. : les pixels représentant la séparation centrale 310), Comme glissières de sécurité, les glissières 320 et 330 (i.e. : les pixels représentant ces éléments). Comme éléments extérieurs à la route : l’arbre 400 et le véhicule 220 (i.e. : les pixels représentant ces éléments). Durant l’étape de classification, le premier réseau de neurones peut ajouter, à chaque pixel de l’image 4000, une étiquette indiquant une classe à laquelle appartient le pixel et l’incertitude de la classification associée à ce pixel, pour obtenir l’image 5000. Par exemple, le premier réseau de neurones 111 est celui enseigné dans l’article suivant : Paszke, Chaurasia, Kim, Culurciello (2016) Enet: A deep neural network architecture for real-time semantic segmentation,” arXiv preprint arXiv:1606.02147. Par exemple, la classification sémantique est réalisée par le premier réseau de neurones 111 en 0,5 seconde. Le premier réseau de neurones en même temps que la classification, réalise une l’estimation d’une incertitude du premier résultat, par exemple, par une méthode d’abandon de monté-carlo ( en Anglais « Monté-Carlo dropout ») introduite dans l’article : Y. Gal and Z. Ghahramani. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning. In ICML, 2016. Cette estimation peut être réalisée systématique ou uniquement si la durée d’analyse est supérieure au seuil ci-après. A l’étape S70, la durée de d’analyse (1,1 secondes) est ensuite comparée à un seuil temporel, par exemple de 1 seconde. Si la durée d’analyse est inférieure au seuil, le dispositif électronique 110 commande la trajectoire de l’égo véhicule 100 à partir de l’image 5000. Si la durée d’analyse est supérieure au seuil, comme cela peut être le cas dans l’exemple ici ou la durée d’analyse pourrait être de 1,1 seconde et le seuil de 1 seconde, le procédé se poursuit par les étapes suivantes. A l’étape S80, masquage de parties de l’image 5000 pour lesquelles l’incertitude dépasse un seuil d’incertitude, pour obtenir l’image 5000’ , , dans lequel le véhicule 220 est masqué (i.e. : les étiquettes des pixels correspondant au véhicule 220 associées à la classification sont supprimées ou marqués comme masqués), A l’étape S90, complétion par le deuxième réseau de neurones 112 (autrement dit : détermination ou action de compléter) de la classification dans l’image 5000’ pour obtenir l’image 5000’’ . Par exemple, durant l’étape de complétion S90, chaque pixel masqué durant l’étape de masquage est étiqueté, par le deuxième réseau de neurones 112, par une étiquette indiquant une classe à laquelle appartient ce pixel. Dans l’image 5000’’, la classification est identique à celle de l’image 5000 sauf pour le véhicule 220 classifié comme un véhicule dans 5000’’. Selon un mode de réalisation, le deuxième réseau de neurones 112 est un réseau de neurones convolutif et/ou contextuel, par exemple celui enseigné dans l’article : Shin, Sagong, Yeo, Kim, Ko (2019). PEPSI++: Fast and lightweight network for image inpainting. IEEE Transactions on Neural Networks and Learning Systems 32 (1), 252-265. Par exemple, le masquage est réalisé en 0.01 secondes et la complétion est réalisé par le premier réseau de neurones 111 en 0,49 secondes. A l’étape S100, le dispositif électronique 110 commande la trajectoire de l’égo véhicule 100 à partir de l’image 5000’’. Procédé d’analyse d’une première image dans un ego véhicule automobile (100), le procédé étant caractérisé en ce qu’il comporte les étapes suivantes : Classification sémantique (S60) de la première image (4000) par un premier réseau de neurones (111) ayant pour résultat une quatrième image (5000), Estimation par le premier réseau de neurones (111) d’une incertitude de la classification au travers de la quatrième image (5000), Masquage (S80) de parties de la quatrième image (5000) pour lesquelles l’incertitude dépasse un seuil d’incertitude, Complétion (S90) de la classification sémantique dans les parties de la quatrième image (5000) par un deuxième réseau de neurones (112). Procédé d’analyse d’une première image selon la revendication précédente dans lequel : Durant l’étape de classification (S60), le premier réseau de neurones (111) étiquette chaque pixel de la quatrième image (5000) avec une étiquette de classe et une incertitude, Durant l’étape de masquage (S80), chaque pixel de la quatrième image (5000) pour lequel l’incertitude dépasse le seuil d’incertitude est masqué, Durant l’étape de complétion (S90), le deuxième réseau de neurones (112) étiquette chaque pixel masqué durant l’étape de masquage par une étiquette indiquant une classe à laquelle appartient ce pixel. Procédé d’analyse selon l’une quelconque des revendications précédentes, l’égo véhicule (100) étant situé dans un environnement comprenant un élément (PX), le procédé comportant les étapes suivantes : Réception (S30) d’une information d’environnement, Détermination (S40) d’une durée avant collision jusqu’à une collision anticipée entre l’égo véhicule et l’élément (PX), à partir de l’information d’environnement, La complétion n’étant mise en œuvre que si la durée d’analyse est supérieure à un seuil temporel. Procédé d’analyse selon la revendication précédente comprenant : Une étape de détermination d’une distance (D1) entre l’ego véhicule (100) et l’élément (PP) à partir de l’information d’environnement, Une étape de détermination d’une vitesse relative entre l’ego véhicule (100) et l’élément (PP) à partir de l’information d’environnement. La durée avant collision étant déterminée à partir de la distance et de la vitesse Procédé d’analyse selon l’une quelconque des revendications précédentes dans lequel le procédé comprend une étape de réception (S20) d’une deuxième image (4000) de l’environnement et l’élément est une surface (PP) représentée par un pixel (PX) de la deuxième image (4000). Programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontroller, pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 5, lorsque le programme est exécuté par un microprocesseur ou un microcontroller. Dispositif électronique (110) configuré pour mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 5. Véhicule automobile (100) comprenant le dispositif électronique (110) selon la revendication précédente.