Brevet FR3133098A1 — publié le 20230901

Procédé d’analyse d’une première image dans un ego véhicule automobile (100) par un premier réseau de neurones (111), le premier réseau de neurones comprenant une couche d’entrée et une couche de sortie, une dernière couche connectée directement à la couche de sortie, caractérisé en ce qu’il comprend les étapes suivantes : Réception d’une première image par la couche d’entrée, Détermination de la couche de sortie à partir de la couche d’entrée par le premier réseau de neurones, et d’une incertitude sur la couche de sortie, Amélioration de la couche de sortie comprenant les étapes suivantes : Modification de la dernière couche de manière à réduire l’incertitude, à partir de la couche de sortie, Calcul de la couche de sortie à partir de la dernière couche modifiée. Figure pour l’abrégé : figure 1 Procédé d’analyse d’images dans un véhicule automobile, dispositif et véhicule associés L’invention concerne l’aide à la conduite d’un véhicule automobile. Aujourd’hui, Il existe un certain nombre de dispositifs électroniques d’aides à la conduite (ou d’automatismes de conduite) permettant une adaptation automatique (ou semi-automatique) de la trajectoire d’un véhicule en fonction de l’environnement du véhicule. Ces aides à la conduite nécessitent des analyses d’images complexes faisant appel à des réseaux de neurones. L’analyse d’image détermine ainsi la trajectoire (c’est-à-dire la direction et la vitesse du véhicule) donnée au véhicule par le dispositif d’aide à la conduite, ou des signaux délivrés dans l’habitacle (signaux d’avertissement, par exemple visuels ou sonores). Notamment, ces analyses d’images utilisent des réseaux de neurones pour réaliser une analyse sémantique de ces images. Or, il existe un besoin pour améliorer la qualité de l’analyse sémantique produite par ces réseaux de neurones. Dans ce but, l’invention concerne un procédé d’analyse d’une première image dans un ego véhicule automobile par un premier réseau de neurones (de l’égo véhicule), le premier réseau de neurones comprenant une couche d’entrée et une couche de sortie, une dernière couche connectée directement à la couche de sortie (la dernière couche étant située entre la couche d’entrée et la couche de sortie), caractérisé en ce qu’il comprend les étapes suivantes : Réception d’une première image par la couche d’entrée, Détermination de la couche de sortie à partir de la couche d’entrée par le premier réseau de neurones, et d’une incertitude sur la couche de sortie, Amélioration de la couche de sortie comprenant les (deux) étapes suivantes : Modification de la dernière couche de manière à réduire l’incertitude, à partir de la (i.e. : du contenu de la) couche de sortie, (puis) Calcul de la couche de sortie à partir de la (i.e. : du contenu de la) dernière couche modifiée. Ainsi, l’invention permet d’améliorer l’analyse de la première image par une modification de la dernière couche du réseau de neurone à partir de la couche de sortie. Le premier réseau de neurones est un réseau de neurone électronique, c’est-à-dire mis en œuvre par un circuit électronique, par exemple un microcircuit, comprenant par exemple un processeur avec une mémoire ou un circuit électronique dédié. L’incertitude sur la couche de sortie peut être obtenue de plusieurs manières. Préférentiellement, par une méthode d’abandon de monté-carlo ( en Anglais « Monté-Carlo dropout ») introduite dans l’article : Y. Gal and Z. Ghahramani. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning. In ICML, 2016. En variante, le premier réseau de neurones peut être un réseau de neurones bayésien. Par exemple, la dernière couche peut être modifiée par une méthode de descente en gradient. Par exemple, la modification de la dernière couche s’écrit : où : x t est (i.e. : un vecteur représentant) la valeur de la dernière couche, x t+1 est (i.e. : un vecteur représentant) la valeur de la dernière couche modifiée, M est une matrice tel que x t .M ou x t+1 .M est la couche de sortie, La matrice M est modifiée aléatoirement n fois en une matrice M i , i variant de 1 à n, en mettant à zéro un élément de cette matrice. M i T est la transposée de la matrice Mi. α est une constante représentant un pas de descente en gradient de x t de manière à réduire l’incertitude, y i est la valeur du neurone numéro i dans la couche de sortie, est la moyenne des y i . Cette modification de la dernière couche est particulièrement adaptée lorsque l’incertitude est obtenue par une méthode d’abandon de Monté-carlo (en Anglais « Monté-Carlo dropout »). D’autres modifications de la dernière couche sont possibles, notamment en fonction de la méthode d’évaluation de l’incertitude. Selon un mode de réalisation, la première image est une image d’un conducteur de l’égo véhicule lorsqu’il conduit l’égo véhicule et le réseau de neurones produit comme résultat (i.e : la couche de sortie) une information selon laquelle le conducteur est distrait ou pas. Le premier réseau de neurones est dans ce cas par exemple un réseau de neurones classifieur, par exemple tel qu’enseigné dans l’article suivant : He, Zhang, Ren, Sun (2016) Deep Residual Learning for Image Recognition. Computer Vision and Pattern Recognition (CVPR). Selon un mode de réalisation, l’égo véhicule est situé dans un environnement comprenant un élément (immobile, ou circulant selon une deuxième trajectoire), le procédé étant caractérisé en ce qu’il comporte les étapes suivantes : Réception d’une information d’environnement (relative à l’environnement), Détermination d’une durée avant collision jusqu’à une collision anticipée entre l’égo véhicule (s’il poursuit la première trajectoire) et l’élément (s’il demeure immobile, ou poursuit la deuxième trajectoire), à partir de l’information d’environnement, Détermination d’une durée d’analyse disponible pour l’analyse de la première image à partir de la durée avant collision, L’amélioration de la couche de sortie n’étant mise en œuvre que si la durée d’analyse est supérieure à un seuil temporel. En variante, l’amélioration est mise en œuvre dans tous les cas. Selon un mode de réalisation, l’étape d’amélioration peut être répétée jusqu’à la durée d’analyse soit expirée. En variante, l’étape d’amélioration peut être répétées un nombre prédéterminé de fois (par exemple, le nombre prédéterminé peut être déterminé à partir de la durée d’analyse). Ainsi, selon l’invention, l’analyse de l’image peut être améliorée lorsque le temps disponible pour réaliser cette analyse le permet, ce qui permet d’améliorer la qualité des aides à la conduite. Le procédé peut comprendre une étape de réception de la première image. En variante, le première image est déjà en mémoire. La première image peut être obtenue par une première caméra du véhicule égo. En variante, la première image est reçue par exemple par une caméra d’autres véhicules situés dans l’environnement du l’égo véhicule (non représenté). Selon un mode de réalisation, l’information d’environnement est reçue de la part d’une deuxième caméra. L’information comprend par exemple des images vidéo, dans ce cas. L’information d’environnement peut être reçue de la part d’un deuxième radar de l’égo véhicule. L’information comprend par exemple des images radar, dans ce cas. En variante, l’information d’environnement est reçue par exemple par un radar ou une caméra d’autres véhicules situés dans l’environnement du l’égo véhicule. Selon un mode de réalisation, le procédé d’analyse comprend : Une étape de détermination d’une distance entre l’ego véhicule et l’élément à partir de l’information d’environnement, Une étape de détermination d’une vitesse relative entre l’ego véhicule et l’élément à partir de l’information d’environnement. La durée avant collision étant déterminée à partir de la distance et de la vitesse. En variante, la durée avant collision peut être obtenue par un troisième réseau de neurones, à partir de l’information d’environnement. La durée avant collision peut aussi prendre en compte l’accélération de l’égo véhicule ou de l’élément. Selon un mode de réalisation, le procédé comprend une étape de réception d’une deuxième image de l’environnement (obtenue par exemple de la part d’une troisième caméra (de l’égo véhicule) et l’élément est une surface représentée par un pixel de la deuxième image. En variante, l’élément est un véhicule, un piéton, ou objet fixe représentée par un ensemble de pixels (et le procédé peut comprendre une étape de reconnaissance de l’élément). Lorsque l’environnement comprend une pluralité d’éléments, l’élément est préférentiellement celui pour lequel la durée avant collision est minimum parmi la pluralité d’éléments. En variante, un risque encouru, par exemple en cas de choc entre l’égo véhicule et l’élément, peut être pris en compte pour déterminer l’élément. Selon un mode de réalisation, La pluralité d’élément peut être représentée par tous les pixels de la deuxième image, et l’élément peut être représenté par un de ces pixels. La durée avant collision est par exemple obtenue à partir de la vitesse relative entre l’égo véhicule et l’élément divisée par la distance. Selon un mode de réalisation, la durée d’analyse est égale à la durée avant collision moins un temps de sécurité. Le temps de sécurité est par exemple le temps nécessaire à la mise en œuvre d’une mesure d’urgence. Il est par exemple de 2s. L’incertitude peut être obtenue de plusieurs manières, préférentiellement, par une méthode d’abandon de monté-carlo ( en Anglais « Monté-Carlo dropout ») introduite dans l’article : Y. Gal and Z. Ghahramani. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning. In ICML, 2016. L’invention concerne également un programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontrôleur, pour la mise en œuvre du procédé selon l’invention. Le procédé selon l’invention est par exemple mis en œuvre par un dispositif électronique d’aide à la conduite. L’invention concerne donc aussi un dispositif électronique configuré pour mettre en œuvre les étapes du procédé selon l’invention, et un véhicule automobile comprenant le dispositif électronique. Le dispositif électronique peut comprendre le premier réseau de neurones. Les caractéristiques et avantages du dispositif électronique, du véhicule automobile et du programme d’ordinateur sont identiques à ceux du procédé, c’est pourquoi, ils ne sont pas repris ici. On entend qu’un élément tel que le dispositif électronique, ou un autre élément est « configuré pour » réaliser une étape ou une opération, par le fait que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour ») réaliser l’étape ou l’opération. Il s’agit préférentiellement de moyens électroniques, par exemple d’un programme d’ordinateur, de données en mémoire et/ou de circuits électroniques spécialisés. Lorsqu’une étape ou une opération est réalisée par un tel élément, cela implique généralement que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour » ou « est configuré pour ») réaliser l’étape ou l’opération. Il s’agit également par exemple de moyens électroniques, par exemple un programme d’ordinateur, des données en mémoire et/ou des circuits électroniques spécialisés, et/ou éventuellement de moyens mécaniques. D’autres caractéristiques et avantages de la présente invention apparaitront plus clairement à la lecture de la description détaillée qui suit comprenant des modes de réalisation de l’invention donnés à titre d’exemples nullement limitatifs et illustrés par les dessins annexés, dans lesquels. représente un dispositif électronique d’un véhicule automobile et un véhicule selon un mode de réalisation de l’invention. représente une image traitée selon un mode de réalisation de l’invention représente le procédé de l’invention, selon un exemple de réalisation, mis en œuvre notamment par le dispositif électronique et le véhicule de la . Description détaillée d’un exemple de réalisation de l’invention En référence à la et 3 à l’étape S10, un véhicule égo 100 circule sur une route 300 selon une trajectoire (autrement dit : direction et sens) T1. Le véhicule égo 100 comporte une caméra 120 et un radar 130 et un dispositif électronique d’aide à la conduite 110 comprenant un premier réseau de neurones 111. La route 300 comporte une séparation centrale 310 (terre-plein ou autre), deux glissières de sécurité 330 et 320. Sur la route 300, les véhicules 220 et 210 circulent également selon une trajectoire (autrement dit : direction et sens) T2 et T3 respectivement. Un arbre 400 est également présent sur le côté de la route. A l’étape S20, le dispositif d’aide à la conduite 110 réceptionne l’image 4000, , de l’environnement obtenue par exemple par la caméra 120. A l’étape S30, le dispositif 110 reçoit des images radars (successives) de la part du radar 130 A l’étape S40, le dispositif 110 détermine, à partir des images radars, pour chaque pixel de l’image 4000, une durée avant une collision avec l’ego véhicule. Le pixel PX représentant surface PP (situé à une distance D1 du véhicule égo 100) du véhicule 220 est celui pour lequel la durée avant collision est minimum parmi tous les pixels de l’image 4000. La durée avant collision est par exemple obtenue à partir de la vitesse relative entre l’égo véhicule et l’élément de l’environnement représenté par le pixel divisé par la distance entre l’élément de l’environnement représenté par le pixel et l’égo véhicule. A l’étape S50, une durée d’analyse égale à la durée avant collision moins un temps de sécurité, par exemple égal à 2 secondes est déterminée. Par exemple, la durée d’analyse est de 1,1 seconde, et la durée avant collision de 3,1 secondes. A l’’étape S60, le premier réseau de neurones est mis en œuvre avec pour entrée (c’est-à-dire, en couche d’entrée) une image d’un conducteur de l’égo véhicule 100 lorsqu’il conduit l’égo véhicule 100 et produit comme résultat (i.e. : le contenu de la couche de sortie) une information selon laquelle le conducteur est distrait ou pas. Par exemple, le premier réseau de neurones 111 comprend une couche d’entrée et une couche de sortie comprenant le premier résultat, une dernière couche connectée directement à la couche de sortie. Le premier réseau de neurones en même temps que la détermination (du contenu) de la couche de sortie, réalise une l’estimation d’une incertitude (du contenu) de la couche de sortie, par exemple, par une méthode d’abandon de monté-carlo ( en Anglais « Monté-Carlo dropout ») introduite dans l’article : Y. Gal and Z. Ghahramani. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning. In ICML, 2016. Cette estimation peut être réalisée systématiquement ou uniquement si la durée d’analyse est supérieure au seuil ci-après. Les étapes suivantes sont ensuite mises en œuvre : A l’étape S70, modification de la dernière couche de manière à réduire l’incertitude, A l’étape S80, calcul de la couche de sortie (c’est-à-dire le deuxième résultat) à partir de la dernière couche modifiée Ces deux étapes peuvent être réalisées tant que la durée d’analyse n’est pas expirée. Par exemple, la modification de la dernière couche, à l’étape S70, s’écrit : où x t est (i.e. : un vecteur réprésentant) la valeur de la dernière couche, x t+1 est .(i.e. : un vecteur réprésentant) la valeur de la dernière couche modifiée, M est une matrice tel que x t .M ou x t +1 .M est la couche de sortie, La matrice M est modifiée aléatoirement n fois en une matrice M i , i variant de 1 à n, en mettant à zéro un élément de cette matrice. M i T est la transposée de la matrice Mi. α est une constante représentant un pas de descente en gradient de x t de manière à réduire l’incertitude, y i est la valeur du neurone numéro i dans la couche de sortie, est la moyenne des y i . Le premier réseau de neurones est dans ce cas par exemple un réseau de neurones classifieur, par exemple tel qu’enseigné dans l’article suivant : He, Zhang, Ren, Sun (2016) Deep Residual Learning for Image Recognition. Computer Vision and Pattern Recognition (CVPR). A l’étape S90, à partir (du contenu) de la couche de sortie, une mise en œuvre d’une trajectoire de l’égo véhicule est commandée par le dispositif électronique ou une restitution d’un signal (sonore ou visuel) dans l’habitacle est commandée par le dispositif électronique. Procédé d’analyse d’une première image dans un ego véhicule automobile (100) par un premier réseau de neurones (111), le premier réseau de neurones comprenant une couche d’entrée et une couche de sortie, une dernière couche connectée directement à la couche de sortie, caractérisé en ce qu’il comprend les étapes suivantes : Réception d’une première image (4000) par la couche d’entrée, Détermination (S60) de la couche de sortie à partir de la couche d’entrée par le premier réseau de neurones, et d’une incertitude sur la couche de sortie, Amélioration de la couche de sortie comprenant les étapes suivantes : Modification (S70) de la dernière couche de manière à réduire l’incertitude, à partir de la couche de sortie, Calcul (S80) de la couche de sortie à partir de la dernière couche modifiée. Procédé d’analyse selon la revendication précédente dans lequel la dernière couche est modifiée par une méthode de descente en gradient. Procédé d’analyse selon la revendication précédente dans lequel la modification de la dernière couche s’écrit : où x t est la valeur de la dernière couche, x t+1 est la valeur de la dernière couche modifiée, M est une matrice tel que x t .M ou x t +1 .M est la couche de sortie, La matrice M est modifiée aléatoirement n fois en une matrice M i , i variant de 1 à n, en mettant à zéro un élément de cette matrice. M i T est la transposée de la matrice Mi. α est une constante représentant un pas de descente en gradient de x t de manière à réduire l’incertitude, y i est la valeur du neurone numéro i dans la couche de sortie, est la moyenne des y i . Procédé d’analyse d’une première image dans un ego véhicule automobile (100) selon l’une quelconque des revendications précédentes, l’égo véhicule (100) étant situé dans un environnement comprenant un élément (PX), le procédé étant caractérisé en ce qu’il comporte les étapes suivantes : Réception (S30) d’une information d’environnement, Détermination (S40) d’une durée avant collision jusqu’à une collision anticipée entre l’égo véhicule et l’élément (PP), à partir de l’information d’environnement, Détermination (S50) d’une durée d’analyse disponible pour l’analyse de la première image à partir de la durée avant collision, L’amélioration de la couche de sortie n’étant mise en œuvre que si la durée d’analyse est supérieure à un seuil temporel. Procédé d’analyse selon la revendication précédente comprenant en outre les étapes suivantes: Détermination d’une distance (D1) entre l’ego véhicule (100) et l’élément (PP) à partir de l’information d’environnement Détermination d’une vitesse relative entre l’ego véhicule (100) et l’élément (PP) à partir de l’information d’environnement. La durée avant collision étant déterminée à partir de la distance et de la vitesse. Procédé d’analyse selon l’une quelconque des revendications 4 ou 5 dans lequel le procédé comprend une étape de réception (S20) d’une deuxième image (4000) de l’environnement et l’élément est une surface (PP) représentée par un pixel (PX) de la deuxième image (4000). Programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontrôleur, pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 6, lorsque le programme est exécuté par un microprocesseur ou un microcontrôleur. Dispositif électronique (110) configuré pour mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 6. Véhicule automobile (100) comprenant le dispositif électronique (110) selon la revendication précédente.