Brevet FR3137201A1 — publié le 20231229

L’invention concerne un procédé perfectionné pour la détection d’objets (16) au moyen d’un réseau de neurones, ledit réseau de neurones étant alimenté en entrée par au moins une première carte de flux optique originale qui représente le suivi informatisé d'objets (16) en mouvement dans une scène par analyse des différences de contenu entre une première image capturée par un dispositif d'acquisition d’images (14) dans une première position (P1) à un instant antérieur, et une seconde image successive capturée par ledit dispositif d'acquisition d’images (14) dans une seconde position (P2) à un instant courant, caractérisé en ce qu’il consiste à rectifier la carte de flux optique originale en utilisant les informations d’estimation de l’ego mouvement du dispositif d'acquisition d’images (14). Figure pour l’abrégé : Figure 1 Procédé perfectionné pour la détection d’objets au moyen d’un réseau de neurones L’invention se rapporte au domaine de la détection d’objets au moyen d’un réseau de neurones, et plus particulièrement à un procédé perfectionné pour la détection d’objets au moyen d’un réseau de neurones. La présente invention est particulièrement adaptée à une mise en œuvre par un calculateur qui équipe un véhicule, notamment automobile, comportant un système d’assistance à la conduite. Il est connu d’équiper un véhicule automobile d’un système d’assistance à la conduite appelé communément sous l’acronyme anglais ADAS pour « Advanced Driver Assistance System » en anglais. Un tel système d’assistance comprend, de manière connue, au moins un dispositif d'acquisition d’images qui est monté sur le véhicule et qui permet de générer une série d’images représentant l’environnement du véhicule. Le dispositif d'acquisition d’images est par exemple un Lidar (acronyme anglais de « Light Detection And Ranging »), une caméra ou un radar. Les images capturées sont exploitées par un calculateur dans le but d’assister le conducteur, par exemple en détectant des « objets » tels qu’un piéton, un véhicule à l’arrêt, ou tout autre objet sur la route, et en calculant par exemple le temps avant collision avec l’objet détecté. Les informations données par les images capturées par le dispositif d'acquisition d’images permettent de mettre en œuvre une localisation et une cartographie simultanées, (connue en anglais sous l’acronyme SLAM pour « Simultaneous Localization And Mapping ») pour permettre de simultanément construire et enrichir la scène représentant l’environnement du véhicule automobile et aussi pour permettre la localisation du véhicule automobile dans la scène. Aussi, il est connu d’utiliser des réseaux de neurones, ou réseaux neuronaux, aussi connu sous l’acronyme anglais CNN pour « convolutional neural networks ». Les réseaux de neurones sont utilisés pour remplir une fonction de perception d’une scène et pour fournir des informations sur divers objets présents dans l’environnent du véhicule. Les réseaux de neurones sont utilisés notamment pour fournir des informations sémantiques, de détection, de mouvement et de localisation des objets de la scène. A cet effet, il convient d’entraîner le réseau de neurones en mode apprentissage, en l’alimentant en entrée avec de nombreuses images préalablement étiquetées, pour apprendre au réseau de neurones à reconnaître des objets. Une fois le réseau de neurones entraîné, il peut être utilisé en mode détection pour détecter et reconnaître des objets. Pour ce faire, le réseau de neurones préalablement entraîné est alimenté avec des images, par exemple des images capturées par un dispositif d'acquisition d’images monté sur un véhicule automobile. Aussi, il est connu d’alimenter un réseau de neurones avec des cartes de flux optique. Une carte de flux optique décrit et représente le suivi informatisé d'objets en mouvement en analysant les différences de contenu entre des images vidéo successives. Un calculateur peut localiser des repères marquant les limites, les bords et les régions des images fixes individuelles. Détecter leurs progressions permet au calculateur de suivre un objet dans le temps et dans l'espace. Autrement dit, une carte de flux optique représente le mouvement des régions mobiles, ou objets mobiles, entre une première image capturée par un dispositif d'acquisition d’images dans une première position à un instant t-1 antérieur, et une seconde image successive capturée par le dispositif d'acquisition d’images dans une seconde position à un instant t courant. La direction et la force du mouvement des objets mobiles sont par exemple illustrées par des vecteurs mouvement sur la carte de flux optique. Dans le domaine de l’invention, à savoir l’assistance à la conduite, le dispositif d’acquisition d’images est solidaire en mouvement du véhicule automobile qui le porte. Le dispositif d’acquisition d’images est attaché à un repère caméra qui comprend un axe transversal, un axe vertical et un axe longitudinal qui s’étend suivant une direction principale de déplacement du véhicule, d’arrière en avant. Le mouvement du dispositif d’acquisition d’images, ou son ego mouvement, comprend six degrés de liberté, à savoir une translation transversale, une translation verticale de haut en bas, une translation longitudinale, une rotation autour de l’axe transversal appelée tangage, une rotation autour de l’axe vertical appelée lacet et une rotation autour de l’axe longitudinal appelée roulis. Au cours du cycle de vie du véhicule, le véhicule et le dispositif d’acquisition d’images vont se déplacer essentiellement suivant la direction d’avancement principale du véhicule sur route, c’est à dire en translation longitudinale. Aussi, les réseaux de neurones sont entraînés avec des cartes de flux optiques qui correspondent en majorité à un déplacement en translation longitudinale, et en minorité aux autres déplacements décrits précédemment. Par conséquent, les réseaux de neurones vont être performants pour détecter des objets lorsque le véhicule se déplace en translation longitudinale. A l’inverse, les réseaux de neurones vont être moins performants pour détecter des objets lorsque le mouvement du véhicule comprend une composante autre qu’une translation longitudinale, comme un dérapage qui correspond à une translation latérale, un dos d’âne qui correspond à une translation de haut en bas et à un tangage, un virage serré qui correspond à une rotation en lacet, un nid de poule qui correspond à une rotation en roulis ou encore une forte accélération du véhicule qui correspond à une rotation en tangage. Ainsi, on observe que les performances des réseaux de neurones sont limitées par les données avec lesquelles ils sont alimentés. La présente invention vise à proposer un procédé perfectionné pour la détection d’objets au moyen d’un réseau de neurones qui favorise les performances du réseau de neurones en particulier dans les conditions qui correspondent à des déplacements du véhicule autres qu’un déplacement en translation longitudinale suivant la direction d’avancement principale du véhicule. On atteint cet objectif, ainsi que d’autres qui apparaîtront à la lecture de la description qui suit, avec un procédé perfectionné pour la détection d’objets au moyen d’un réseau de neurones, ledit réseau de neurones étant alimenté en entrée par au moins une première carte de flux optique originale qui représente le suivi informatisé d'objets en mouvement dans une scène par analyse des différences de contenu entre une première image capturée par un dispositif d'acquisition d’images dans une première position à un instant antérieur, et une seconde image successive capturée par ledit dispositif d'acquisition d’images dans une seconde position à un instant courant, caractérisé en ce qu’il comporte au moins : une première étape d’estimation des trois paramètres de translation et des trois paramètres de rotation de l’ego mouvement du dispositif d'acquisition d’images entre ladite première position et ladite seconde position, les trois paramètres de translation comprenant deux paramètres de translation secondaires et un paramètre de translation principale suivant un axe longitudinal qui correspond au déplacement principal du dispositif d'acquisition d’images, une deuxième étape qui consiste à estimer une première matrice de rotation qui permet de passer de la première position à une première position rectifiée virtuelle, et une seconde matrice de rotation qui permet de passer de la seconde position à une seconde position rectifiée virtuelle, de sorte que les deux paramètres de translation secondaires et les trois paramètres de rotation qui permettent le passage depuis la première position rectifiée jusqu’à la seconde position rectifiée sont égales à zéro, une troisième étape de normalisation qui consiste à calculer une seconde carte de flux optique rectifiée qui est obtenue en appliquant la première matrice de rotation et la seconde matrice de rotation à la première carte de flux optique originale, et qui représente le suivi informatisé d’objets en mouvement entre la première position rectifiée et la seconde position rectifiée. Ainsi, le procédé selon l’invention permet d’obtenir des cartes de flux optique rectifiées qui font abstraction des mouvements parasites du capteur d’acquisition d’images, tels que des mouvements de tangage, de roulis et de lacet lorsque le capteur d’acquisition d’images est monté sur un véhicule automobile. Suivant d’autres caractéristiques optionnelles de l’invention, prises seules ou en combinaison : - le procédé comporte une étape d’apprentissage qui consiste à alimenter un réseau de neurones avec une pluralité de cartes de flux optique rectifiées selon la troisième étape de normalisation du procédé, pour entraîner ledit réseau de neurones. Cette caractéristique permet d’améliorer les performances d’apprentissage du réseau de neurones ainsi alimenté par des cartes de flux optique rectifiées ; - le procédé comporte une étape de détection qui consiste à alimenter un réseau de neurones avec une pluralité de cartes de flux optique rectifiées selon la troisième étape de normalisation, pour réaliser une détection d’objets. Cette caractéristique permet d’améliorer les performances de détection du réseau de neurones ainsi alimenté par des cartes de flux optique rectifiées. L’invention concerne également un calculateur configuré pour mettre en œuvre le procédé décrit précédemment. De plus, l’invention concerne un véhicule automobile comprenant un calculateur du type décrit ci-dessus, et au moins un dispositif d'acquisition d’images qui est solidaire en mouvement du véhicule automobile, le véhicule automobile se déplaçant principalement suivant un axe longitudinal. D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description qui suit, en référence aux figures annexées, qui illustrent : une vue schématique de dessus d’un véhicule automobile équipé d’un dispositif d’acquisition d’images, dans une première position antérieure et dans une seconde position courante ; une vue schématique similaire à celle de la du véhicule automobile dans une première position rectifiée et dans une seconde position rectifiée suivant le procédé selon l’invention ; une vue schématique d’une première carte de flux optique originale ; une vue schématique d’une seconde carte de flux optique rectifiée au moyen du procédé selon l’invention. Dans la description et les revendications, on adoptera à titre non limitatif la terminologie transversal, vertical et longitudinal en référence à l’axe Xc transversal, à l’axe Yc vertical et à l’axe Zc longitudinal respectivement du repère caméra Rc indiqué aux figures, en considérant que le véhicule automobile s’étend longitudinalement et se déplace longitudinalement vers l’avant. On a représenté à la un véhicule automobile 10 qui est équipé d’un calculateur 12 et d’un dispositif d'acquisition d’images 14. On considère un repère caméra Rc, qui est le repère attaché au dispositif d’acquisition d’images 14. Aussi, on considère un repère nominal (non représenté) qui correspond à la position nominale du dispositif d’acquisition d’images 14, c’est à dire la position idéale théorique que devrait occuper le dispositif d’acquisition d’images 14 sur le véhicule automobile 10 associé. Le repère caméra Rc comprend un axe Xc qui s’étend transversalement, un axe Yc qui s’étend verticalement et un axe Zc qui s’étend longitudinalement suivant une direction principale de déplacement du véhicule automobile 10, d’arrière en avant. On notera que le dispositif d’acquisition d’images 14 est lié en mouvement au véhicule automobile 10. Aussi, le mouvement du dispositif d’acquisition d’images 14, ou son ego mouvement, comprend six degrés de liberté, à savoir un degré de liberté qui correspond à une translation transversale suivant l’axe Xc, un degré de liberté qui correspond à une translation verticale de haut en bas suivant l’axe Yc, un degré de liberté qui correspond à une translation longitudinale suivant l’axe Zc, un degré de liberté autour de l’axe Xc qui correspond à une rotation appelée tangage, un degré de liberté autour de l’axe Yc qui correspond à une rotation appelée lacet et un degré de liberté autour de l’axe Zc qui correspond à une rotation appelée roulis. Le véhicule automobile 10 est équipé d’un système d’assistance à la conduite qui vise à assister le conducteur, par exemple en analysant les données fournies par le dispositif d’acquisition d’images 14, notamment pour détecter des « objets » tels qu’un piéton, un véhicule à l’arrêt, ou tout autre obstacle sur la route A cet effet, le calculateur 12 du véhicule automobile 10 met en œuvre un procédé perfectionné pour la détection d’objets au moyen d’un réseau de neurones, selon l’invention. Le réseau de neurones est alimenté en entrée par une pluralité de cartes de flux optique. Par soucis de clarté, le fonctionnement du procédé selon l’invention sera décrit par la suite avec une seule carte de flux optique, appelée « première carte de flux optique originale C1 ». La première carte de flux optique originale C1, illustrée à la , représente le suivi informatisé d'objets en mouvement dans une scène, en analysant les différences de contenu entre deux images successives capturées par le dispositif d’acquisition d’images 14. En référence à la , les images qui permettent d’obtenir la première carte de flux optique originale C1 comprennent une première image capturée par le dispositif d'acquisition d’images 14 dans une première position P1 à un instant antérieur, et une seconde image successive capturée par le dispositif d'acquisition d’images 14 dans une seconde position P2 à un instant courant. Le procédé selon l’invention comprend une première étape d’estimation de l’ego mouvement du dispositif d'acquisition d’images 14. La première étape consiste à estimer les trois paramètres de translation et les trois paramètres de rotation de l’ego mouvement du dispositif d'acquisition d’images 14 entre la première position P1et la seconde position P2. Les trois paramètres de translation comprennent un paramètre de translation principale suivant l’axe Zc longitudinal de déplacement principal du dispositif d'acquisition d’images 14 et deux paramètres de translation secondaires suivant l’axe Yc vertical et suivant l’axe Xc transversal du repère caméra Rc. L’estimation de l’ego mouvement du dispositif d’acquisition d’images 14 peut être obtenue par différentes méthodes, comme une méthode de localisation et de cartographie simultanées connue en anglais sous l’acronyme SLAM pour « Simultaneous Localization And Mapping », ou au moyen des données fournies par un capteur inertiel porté par le véhicule automobile 10, ou encore ua moyen d’un système de géolocalisation. A la suite de la première étape, le procédé exécute une deuxième étape qui consiste à estimer une matrice de transformation qui permet de passer d’une première position rectifiée P3 virtuelle, à une seconde position rectifiée P4 virtuelle du dispositif d’acquisition d’images 14. Comme on peut le voir à la , le passage depuis la première position rectifiée P3 jusqu’à la seconde position rectifiée P4 nécessite uniquement une translation longitudinale suivant l’axe Zc longitudinal, qui est illustrée par un trait en pointillés Tz à la . La translation longitudinale suivant l’axe Zc longitudinal correspond à la direction principale de déplacement de l’ensemble formé par le véhicule automobile 10 et le dispositif d’acquisition d’images 14. Ainsi, la deuxième étape consiste à estimer une première matrice de rotation qui permet de passer de la première position P1 à la première position rectifiée P3 virtuelle, et une seconde matrice de rotation qui permet de passer de la seconde position P2 à la seconde position rectifiée P4 virtuelle, de sorte que que les deux paramètres de translation secondaires et les trois paramètres de rotation qui permettent le passage depuis la première position rectifiée P3 jusqu’à la seconde position rectifiée P4 sont égales à zéro. A la suite de la deuxième étape, le procédé exécute une troisième étape de normalisation qui consiste à calculer une seconde carte de flux optique rectifiée C2, illustrée à la , qui est obtenue en appliquant la première matrice de rotation et la seconde matrice de rotation à la première carte de flux optique originale C1. La seconde carte de flux optique rectifiée C2 représente le suivi informatisé d'objets en mouvement entre la première position rectifiée P3 et la seconde position rectifiée P4 du dispositif d’acquisition d’images 14. Ainsi, la seconde carte de flux optique rectifiée C2 présente l’avantage de rectifier les flux optiques représentés par des vecteurs mouvements au figures 3 et 4, de sorte que le passage depuis la première position rectifiée P3, jusqu’à la seconde position rectifiée P4, se limite à une translation longitudinale suivant l’axe Zc longitudinal d’avancement du véhicule automobile 10. Un exemple de mise en œuvre du procédé selon l’invention est décrit ci-dessous. En référence à la , le dispositif d'acquisition d’images 14 dessine une trajectoire courbe pour se déplacer depuis la première position P1, jusqu’à la seconde position P2, ce qui se traduit par une rotation du dispositif d'acquisition d’images 14, et du véhicule automobile 10, autour de l’axe Yc vertical. Cette trajectoire courbe est illustrée par une ligne en trait d’axe aux figures 1 et 2. L’ego mouvement du dispositif d'acquisition d’images 14 est estimé au cours de la première étape d’estimation du procédé. Ensuite, au cours de la deuxième étape du procédé, on estime une première matrice de rotation qui permet de passer de la première position P1 à la première position rectifiée P3 virtuelle, et une seconde matrice de rotation qui permet de passer de la seconde position P2 à la seconde position rectifiée P4 virtuelle, de sorte que les deux paramètres de translation secondaires et les trois paramètres de rotation qui permettent le passage depuis la première position rectifiée P3 jusqu’à la seconde position rectifiée P4 sont égales à zéro. Comme on peut le voir à la , qui illustre la première carte de flux optique originale C1, une pluralité de vecteurs mouvements représentent le suivi d’un objet 16, en analysant les différences de contenu entre la première image capturée par le dispositif d'acquisition d’images 14 dans la première position P1 et la seconde image capturée par le dispositif d'acquisition d’images 14 dans la seconde position P2. A la , on a représenté la seconde carte de flux optique rectifiée C2 calculée au cours de la troisième étape de normalisation du procédé. On remarque que le mouvement induit par la trajectoire courbe du véhicule automobile 10, qui correspond à une rotation du capteur d’acquisition 14 autour de l’axe Yc vertical, est compensé. Cette compensation se traduit par une réduction de la longueur des vecteurs mouvements de la , soit une suppression du biais provoqué par la trajectoire courbe du véhicule automobile 10. On comprendra que le procédé selon l’invention est adapté pour corriger un biais provoqué par tout mouvement autre qu’une translation longitudinale suivant l’axe Zc, comme un dérapage qui correspond à une translation latérale suivant l’axe Xc, un dos d’âne qui correspond à une translation de haut en bas suivant l’axe Yc et/ou une rotation autour de l’axe Xc, un virage serré qui correspond à une rotation en lacet autour de l’axe Yc, un nid de poule qui correspond à une rotation en roulis autour de l’axe Zc, ou encore une forte accélération du véhicule qui correspond à une rotation en tangage autour de l’axe Xc. Le procédé selon l’invention peut être utilisé en mode détection d’objets et en mode apprentissage. En mode détection, le procédé comporte une étape de détection qui consiste à alimenter un réseau de neurones avec une pluralité de cartes de flux optique rectifiées selon la troisième étape de normalisation. Le mode détection permet d’améliorer les performances du réseau de neurones pour détecter des objets dans de nombreuses situations, notamment dans les situations énumérées ci-dessus de tangage, roulis, lacet et autres. En mode apprentissage, le procédé comporte une étape d’apprentissage qui consiste à alimenter un réseau de neurones avec une pluralité de cartes de flux optique rectifiées selon la troisième étape de normalisation, pour entraîner le réseau de neurones. Le mode apprentissage permet d’améliorer les performances du réseau de neurones entraîné par le procédé selon l’invention. Naturellement, l’invention est décrite dans ce qui précède à titre d’exemple. Il est entendu que l’homme du métier est à même de réaliser différentes variantes de réalisation de l’invention sans pour autant sortir du cadre de l’invention. Par exemple, il est possible de compenser et de corriger une inclinaison importante du dispositif d’acquisition d’images 14 dans certains véhicules surélevés, comme des camions, ou de corriger une erreur de monte du dispositif d’acquisition d’images 14 par rapport à sa position nominale théorique. A cet effet, on applique une transformation adéquat entre le repère caméra Rc, qui est le repère attaché au dispositif d’acquisition d’images 14, et le repère nominal qui correspond à la position nominale du dispositif d’acquisition d’images 14, à la suite de la deuxième étape du procédé. Cette transformation consiste par exemple à appliquer une matrice de rotation supplémentaire à la première carte de flux optique originale C1 au cours de la troisième étape, pour corriger une erreur de monte du dispositif d’acquisition d’images 14 par rapport à sa position nominale théorique. Procédé perfectionné pour la détection d’objets (16) au moyen d’un réseau de neurones, ledit réseau de neurones étant alimenté en entrée par au moins une première carte de flux optique originale (C1) qui représente le suivi informatisé d'objets (16) en mouvement dans une scène par analyse des différences de contenu entre une première image capturée par un dispositif d'acquisition d’images (14) dans une première position (P1) à un instant antérieur, et une seconde image successive capturée par ledit dispositif d'acquisition d’images (14) dans une seconde position (P2) à un instant courant, caractérisé en ce qu’il comporte au moins : une première étape d’estimation des trois paramètres de translation et des trois paramètres de rotation de l’ego mouvement du dispositif d'acquisition d’images (14) entre ladite première position (P1) et ladite seconde position (P2), les trois paramètres de translation comprenant deux paramètres de translation secondaires et un paramètre de translation principale suivant un axe longitudinal (Zc) qui correspond au déplacement principal du dispositif d'acquisition d’images (14), une deuxième étape qui consiste à estimer une première matrice de rotation qui permet de passer de la première position (P1) à une première position rectifiée (P3) virtuelle, et une seconde matrice de rotation qui permet de passer de la seconde position (P2) à une seconde position rectifiée (P4) virtuelle, de sorte que les deux paramètres de translation secondaires et les trois paramètres de rotation qui permettent le passage depuis la première position rectifiée (P3) jusqu’à la seconde position rectifiée (P4) sont égales à zéro, une troisième étape de normalisation qui consiste à calculer une seconde carte de flux optique rectifiée (C2) qui est obtenue en appliquant la première matrice de rotation et la seconde matrice de rotation à la première carte de flux optique originale (C1), et qui représente le suivi informatisé d’objets (16) en mouvement entre la première position rectifiée (P3) et la seconde position rectifiée (P4). Procédé perfectionné pour la détection d’objets (16) au moyen d’un réseau de neurones selon la revendication 1, caractérisé en ce qu’il comporte une étape d’apprentissage qui consiste à alimenter un réseau de neurones avec une pluralité de cartes de flux optique rectifiées (C2) selon la troisième étape de normalisation du procédé, pour entraîner ledit réseau de neurones. Procédé perfectionné pour la détection d’objets (16) au moyen d’un réseau de neurones selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il comporte une étape de détection qui consiste à alimenter un réseau de neurones avec une pluralité de cartes de flux optique rectifiées (C2) selon la troisième étape de normalisation, pour réaliser une détection d’objets. Calculateur (12) configuré pour mettre en œuvre le procédé selon l’une quelconque des revendications précédentes. Véhicule automobile (10) comprenant un calculateur (12) selon la revendication 4 et au moins un dispositif d'acquisition d’images (14) qui est solidaire en mouvement du véhicule automobile (10), le véhicule automobile (10) se déplaçant principalement suivant un axe longitudinal (Zc).