Brevet FR3138951A1 — publié le 20240223

L’invention porte sur un procédé d’aide à la navigation d’un système mobile, comprenant : la génération de données d’entrainement, comprenant: l’obtention d’une séquence d’images d’un environnement acquises par une caméra (2) embarquée à bord d’un véhicule (1) en déplacement dans l’environnement; la détermination d’une empreinte au sol du véhicule (E N ) lors de l’acquisition d’une image de la séquence ; l’annotation, en tant que zone traversable par le système mobile, d’une région d’image (RI) correspondant à la projection de ladite empreinte dans une autre image de la séquence; l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par le système mobile à l’aide des données d’entrainement ; l’obtention d’images d’une scène acquises par une caméra embarquée à bord du système mobile ; et la prédiction de la traversabilité de la scène par fourniture des images de la scène au modèle ayant fait l’objet de l’apprentissage machine. Figure pour l’abrégé : Figure 3 Système et procédé d’aide à la navigation d’un système mobile au moyen d’un modèle de prédiction de traversabilité d’un terrain par le système mobile Le domaine de l’invention est celui de l’aide à la navigation d’un système mobile du type robot ou véhicule autonome. L’invention concerne plus particulièrement l’apprentissage machine d’un modèle et l’utilisation du modèle ayant fait l’objet de l’apprentissage machine pour prédire, à partir d’images d’un terrain, la traversabilité du terrain par le système mobile. Dans le domaine de la navigation de systèmes mobiles, on connait des méthodes qui ont pour but de trouver la présence d’une route dans des images acquises par une caméra embarquée sur un système mobile. Ces méthodes utilisent des indices visuels comme les points de fuite, les textures ou encore le relief pour délimiter les contours d’une route sur une image, ou posent le problème directement comme un problème de segmentation de la route dans l’image. Cependant, ces méthodes ne s’intéressent pas aux chemins au sens le plus large du terme, qui peuvent notamment être des chemins hors-pistes non forcément goudronnés ni correctement délimités, et encore moins au thème plus général de la traversabilité correspondant à l’identification dans les images acquises de zones du terrain sur lesquelles le système mobile serait apte à se déplacer. On trouve d’autre part des méthodes basées sur des modèles de réseaux de neurones qui identifient le type de sol sur lequel le véhicule évolue. Par exemple, le document WO 2019/241022 A1 décrit une solution utilisant un réseau de neurones profond convenablement pré-entrainé pour réaliser la détection d’une voie navigable qui n’est pas nécessairement délimitée par des marquages au sol. L’apprentissage de tels modèles de réseaux de neurones reposent sur l’acquisition d’images lors de roulages du système mobile en situations réelles, suivis d’une étape d’annotation manuelle des images par des opérateurs humains. Cette phase d’annotation manuelle des données d’apprentissage est longue et couteuse. L’invention a pour objectif de proposer une technique d’aide à la navigation dans laquelle l’annotation de données dédiées à l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par un système mobile pourrait être automatisée. A cet effet, l’invention propose un procédé mis en œuvre par ordinateur d’aide à la navigation d’un système mobile, comprenant : la génération de données d’entrainement pour l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par le système mobile, ladite génération comportant: l’obtention d’une séquence d’images d’un environnement acquises par une caméra embarquée à bord d’un véhicule en déplacement dans l’environnement; la détermination d’une empreinte au sol du véhicule lors de l’acquisition d’une image de la séquence formant une première image de référence ; l’annotation, en tant que zone traversable par le système mobile, d’une région d’image correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une première image de projection ; l’apprentissage machine du modèle à l’aide des données d’entrainement ; l’obtention d’images d’une scène acquises par une caméra embarquée à bord du système mobile ; et la prédiction de la traversabilité de la scène par fourniture des images de la scène au modèle ayant fait l’objet de l’apprentissage machine. L’invention permet ainsi d’automatiser l’annotation des images. Il en découle une phase d’annotation moins couteuse et pouvant être réalisée plus rapidement. Elle permet en outre de constituer une base d’apprentissage comprenant un nombre accru d’images annotées. L’annotation automatique des images est en outre moins sujette à des erreurs qu’une annotation manuelle. Il en découle l’apprentissage d’un modèle de prédiction de meilleure qualité et de là une aide à la navigation plus précise. Certains aspects préférés mais non limitatifs de ce procédé sont les suivants : la génération des données d’entraînement comprend en outre : l’obtention de données inertielles acquises par une centrale inertielle embarquée à bord du véhicule en déplacement dans l’environnement ; la détermination, par localisation et cartographie simultanées exploitant les images de la séquence et les données inertielles, de la position de la caméra dans un repère de l’environnement lors de l’acquisition des images de la séquence ; et la détermination de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence est réalisée à partir de la position de la caméra dans le repère de l’environnement lors de l’acquisition de la première image de référence ; la génération des données d’entraînement comprend en outre le calcul d’un score de similarité entre la région d’image correspondant à la projection de ladite empreinte dans la première image de projection et une région d’image correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une deuxième image de projection et, lorsque le score de similarité est inférieur à un seuil, la région d’image correspondant à la projection de ladite empreinte dans la deuxième image de projection ne fait pas l’objet d’une annotation ; lors de la génération des données d’entraînement la détermination d’une empreinte au sol du véhicule est réitérée pour déterminer une empreinte au sol du véhicule lors de l’acquisition d’une autre image de la séquence formant une deuxième image de référence et comprenant en outre l’annotation en tant que zone traversable d’une région d’image correspondant à la projection dans la première image de projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence ; la génération des données d’entraînement comprend en outre l’annotation en tant que zone traversable d’une région intermédiaire dans la première image de projection entre la région d’image correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence et la région d’image correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence. D'autres aspects, buts, avantages et caractéristiques de l’invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels : - la est un schéma illustrant l’annotation de données d’apprentissage et l’apprentissage machine d’un réseau de neurones ; - la est un schéma illustrant l’utilisation d’un réseau de neurones pré-entrainé conformément à l’invention ; - la illustre le principe général selon lequel des images acquises pendant le déplacement du véhicule présentent des régions d’image traversables correspondant aux zones où le véhicule s’est déplacé ; - la est un schéma illustrant différentes étapes d’un processus d’annotation des données d’apprentissage conforme à l’invention ; - la illustre la projection d’empreintes au sol du véhicule dans différentes images ; - la illustre l’annotation d’une zone intermédiaire entre plusieurs empreintes au sol projetées dans une image. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS L’invention porte sur un procédé mis en œuvre par ordinateur de génération de données d’entrainement pour l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par un système mobile, par exemple un système mobile terrestre type tout-terrain tel qu’un robot, un drone ou un véhicule autonome. L’invention s’étend à un procédé d’apprentissage machine, comprenant la génération de données d’entrainement et l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par un système mobile, à l’aide des données d’entrainement. En référence à la , ce procédé comprenant l’annotation ANN de données brutes RDS pour fournir des données d’entrainement ADS et l’entraînement TRAIN d’un réseau de neurones non-entraîné UNN à l’aide des données d’entrainement annotées ADS pour fournir un réseau de neurones entraîné TNN. Les données brutes RDS sont ici des images de terrain et les données d’entrainement sont des images de terrain annotées où chaque pixel est identifié comme étant traversable ou non par le système mobile. Par exemple, si le pixel est traversable, il prend la valeur 1, sinon il prend la valeur 0. On se retrouve ainsi avec une image binaire qui représente la traversabilité du terrain. Le réseau de neurones peut être un réseau convolutif (CNN pour « Convolutional Neural Network »)) capable de faire la prédiction dense, par exemple un réseau reposant sur l’architecture U-net. En référence à la , l’invention s’étend en outre à l’utilisation INFER du réseau de neurones entraîné TNN pour déterminer, à partir d’une image d’une scène IE, une carte de traversabilité de cette scène CT, par exemple une carte binaire dans laquelle chaque point de la scène imagée est identifié comme étant traversable ou non par le système mobile ou encore une carte dans laquelle une probabilité de traversabilité est associée à chaque point de la scène. L’image de la scène IE est acquise par une caméra embarquée sur le système mobile, de préférence une caméra monoculaire. On retiendra que l’utilisation d’une seule caméra monoculaire pour estimer une telle carte de traversabilité présente les avantages d’une faible consommation pour un système embarqué, d’un coût réduit par rapport à un système de stéréovision ou à un système de type LiDAR et de permettre de réaliser une telle estimation sans capteur émissif. Les images successivement acquises par la caméra sont typiquement des images RGB du terrain, assurant une fonctionnalité en lumière visible. Dans une variante de réalisation, un fonctionnement nocturne est assuré en exploitant une autre plage de longueur d’onde (infrarouge typiquement). L’invention exploite des images formant les données brutes RDS qui ont été acquises au moyen d’une caméra embarquée à bord d’un véhicule en déplacement dans l’environnement. Ce déplacement est par exemple opéré par un conducteur humain. Différents déplacements sont de préférence réalisés afin de couvrir des environnements divers. En admettant que le véhicule navigue a priori sur le sol, l’invention prend le postulat que les zones traversables d’un environnement correspondent aux plans du sol sur lesquels le véhicule s’est déplacé. Il s’avère dès lors possible d’annoter automatiquement les images formant les données brutes RDS en y repérant les zones sur lesquelles le véhicule a été amené à se déplacer. Cette approche permet de passer directement du déplacement, qui est une étape obligatoire pour acquérir des données brutes, à la génération d’une base de données annotée automatiquement avec les zones traversables identifiées sur les images, sans passer par une phase d’annotation manuelle des données brutes. La illustre la mise en œuvre de cette approche. On considère ici que le véhicule 1 se déplace en marche avant (de la droite vers la gauche sur la ) et que la caméra embarquée 2 image l’environnement au-devant du véhicule. La représente ainsi le véhicule à deux instants différents au cours du déplacement. A droite, la caméra image une région du sol sur laquelle le véhicule sera ensuite amené à se déplacer. L’invention propose de déterminer l’empreinte au sol du véhicule E N lorsqu’il roule sur cette région (i.e. dans sa position de gauche sur la ) puis de venir annoter, en tant que zone traversable par le système mobile, une région d’image RI correspondant à la projection de ladite empreinte dans une image acquise par la caméra (dans cet exemple, une image préalablement acquise lorsque le véhicule est dans sa position de droite sur la ). En référence à la qui illustre différentes étapes qui peuvent être réalisées lors de l’annotation ANN de données brutes RDS, le procédé selon l’invention comprend une étape OBT d’obtention d’une séquence d’images d’un environnement acquises par une caméra embarquée à bord d’un véhicule en déplacement dans l’environnement. Le procédé comprend par ailleurs une étape EMP de détermination d’une empreinte au sol du véhicule lors de l’acquisition d’une image de la séquence formant une première image de référence (i.e. lorsque le véhicule est à la position à gauche sur la ). Afin de déterminer cette empreinte, le sol peut être considéré comme étant localement plat sous le véhicule. Cette détermination de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence est suivie d’une étape PROJ de projection de ladite empreinte dans une autre image de la séquence formant une première image de projection (i.e. l’image acquise lorsque le véhicule est à la position de droite sur la ) et d’une étape d’annotation, en tant que zone traversable par le système mobile, d’une région d’image dans la première image de projection correspondant à la projection de ladite empreinte. Dans un souci de clarté, on a dans ce qui précède pris le cas d’une première image de référence et d’une première image de projection. En réalité, l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence peut être projetée dans une pluralité d’images de la séquence, typiquement les images précédant immédiatement l’image de référence (par exemple lorsque les images ont été acquises avec le véhicule en marche avant et la caméra pointant vers l’avant) dans la séquence ou suivant immédiatement l’image de référence dans la séquence (par exemple lorsque les images ont été acquises avec le véhicule en marche avant et la caméra pointant vers l’avant). Par ailleurs, le procédé peut être réitéré en prenant tour à tour chacune des images de la séquence comme première image de référence. La illustre ce principe avec l’empreinte au sol du véhicule E N lors d’une l’acquisition d’une image à l’instant t N projetée dans les images I N-1 , I N- 2 et I N- 3 précédemment acquises aux instants t N -1 , t N -2 et t N -3 , avec l’empreinte au sol du véhicule E N-1 lors de l’acquisition de l’image I N-1 à l’instant t N -1 projetée dans les images I N- 2 et I N- 3 précédemment acquises aux instants t N -2 et t N -3 et avec l’empreinte au sol du véhicule E N-2 lors de l’acquisition de l’image I N- 2 à l’instant t N -2 projetée dans l’image I N- 3 précédemment acquise à l’instant t N -3 . Dans l’image I N- 3 sont ainsi annotés comme pixels traversables les pixels correspondant aux projections dans cette image des empreintes E N , E N-1 et E N-3. Afin de permettre la détermination de l’empreinte au sol, dans un mode de réalisation possible, le procédé comprend l’obtention de données inertielles acquises par une centrale inertielle embarquée à bord du véhicule en déplacement dans l’environnement, ces données inertielles étant acquises de manière synchrone avec les images de la séquence d’image. Puis en référence à la , le procédé comprend une étape de détermination SLAM, par localisation et cartographie simultanées (connue en anglais sous le nom de « simultaneous localization and mapping ») exploitant les images de la séquence et les données inertielles, de la position de la caméra dans un repère de l’environnement lors de l’acquisition des images de la séquence. Ce repère, également qualifié de repère du monde, forme un repère global de référence de tout positionnement. L’étape SLAM permet plus particulièrement de reconstruire la trajectoire du véhicule en replaçant les différentes poses successives de la caméra dans le repère de l’environnement. L’empreinte au sol du véhicule lors de l’acquisition de la première image de référence est alors déterminée en exploitant la position de la caméra dans le repère de l’environnement lors de l’acquisition de la première image de référence ainsi qu’une connaissance a priori des dimensions du véhicule (typiquement sa longueur et sa largeur) et de la position spatiale de la caméra dans le véhicule. Cette empreinte caractérise une zone de l’environnement empruntée par le véhicule dans le repère de l’environnement à un instant donné (en l’occurrence l’instant d’acquisition de la première image de référence). En caractérisant l’empreinte au sol associée à chacune des images de la séquence, l’ensemble du chemin emprunté par le véhicule peut être déterminé. Une fois le chemin emprunté par le véhicule déterminé, il est nécessaire de déterminer ce chemin dans les images afin de pouvoir effectuer leur annotation sur les images. Comme indiqué précédemment, cela est effectué lors de l’étape PROJ par projection des coordonnées 3D de l’empreinte au sol lors de l’acquisition d’une image dans une pluralité d’autres images de la séquence (par exemple les N images précédentes en supposant que le véhicule roule en marche avant et que la caméra regarde devant le véhicule). Cette projection permet de passer des coordonnées de l’empreinte au sol du véhicule dans le repère de l’environnement aux pixels correspondant à cette empreinte vue dans les images précédentes. Cette projection est effectuée en utilisant la matrice intrinsèque et les paramètres de distorsion de la caméra obtenues par calibration ainsi que les différentes poses de la caméra estimées par la localisation et cartographie simultanées lors de l’étape SLAM. Par exemple, la projection d’un point 3D dans une image est donnée par l’équation suivante : , où correspondent aux coordonnées du point 3D dans le repère de l’environnement ; est une matrice de rotation et est un vecteur de translation, qui permettent de représenter la position de la caméra dans le repère de l’environnement ; désigne la matrice de projection de la caméra, déterminée par calibration préalable de la caméra. A noter que les paramètres de distorsion de la caméra ne sont pas utilisés, car les images sont rectifiées. Le procédé peut par ailleurs comprendre une étape de filtrage FILT des images dans lesquelles la région d’image correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence n’est en réalité pas représentative de cette empreinte au sol. Par exemple, si une surface sur laquelle le véhicule a roulé (position associée à la première image de référence) n’est pas visible, par exemple du fait d’un occultation ou d’un virage sur le chemin emprunté, dans une image acquise à une position précédente de la caméra, alors cette image est discréditée. Pour ce faire, l’étape de filtrage FILT peut comprendre le calcul d’un score de similarité entre la région d’image correspondant à la projection de l’empreinte au sol lors de l’acquisition de la première image de référence dans la première image de projection et la région d’image correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une deuxième image de projection. Par exemple, la première image de référence est l’image I N , la première image de projection est l’image I N-1 acquise immédiatement avant l’image I N et la deuxième image de projection est l’une quelconque des autres images de la pluralité d’images dans lesquelles est réalisée la projection de l’empreinte au sol lors de l’acquisition de la première image de référence. Lorsque le score de similarité est inférieur à un seuil, la région d’image correspondant à la projection de ladite empreinte dans la deuxième image de projection ne fait pas l’objet d’une annotation. Le problème à traiter est ainsi le suivant : ayant deux pixels provenant de deux images différentes, on cherche à savoir si ces deux pixels voient le même point 3D de la scène. Une manière de répondre à cette question est d’utiliser un descripteur d’une région d’image autour de chacun des deux pixels puis de calculer une distance entre ces deux descripteurs. Des exemples de descripteurs sont les suivants : SIFT (pour « Scale-Invariant Feature Transform »), SURF (pour « Speeded Up Robust Features), BRIEF (pour « Binary Robust Independent Elementary Features »), ORB (pour « Oriented FAST and rotated BRIEF »), histogramme de couleur. La distance entre les descripteurs peut être la distance euclidienne, une distance Hamming, une distance cosine, un coefficient de corrélation, etc. La distance mesurée est comparée à un seuil afin de déclarer si les deux pixels voient le même point ou pas. Comme indiqué précédemment, la détermination d’une empreinte au sol du véhicule est typiquement réitérée pour déterminer une empreinte au sol du véhicule lors de l’acquisition d’une autre image de la séquence prise comme deuxième image de référence et projeter cette empreinte dans la première image de projection. Le procédé comprend alors également l’annotation en tant que zone traversable d’une région d’image correspondant à la projection dans la première image de projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence. Il est par ailleurs possible (notamment du fait d’une fréquence d’acquisition des images faible au vu de la vitesse d’avancée du véhicule) que les zones roulables visibles sur une image soient disjointes par endroits. Par exemple, comme représenté sur la , la région R1 de la première image de projection correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence et la région R2 de la première image de projection correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence sont disjointes. Dans un tel cas de figure, le procédé peut comprendre une étape INT consistant à annoter en tant que zone traversable une région intermédiaire RI dans la première image de projection entre les deux régions d’image disjointes R1, R2 susmentionnées. Cette zone intermédiaire peut être automatiquement délimitée, par exemple en joignant comme représenté les bords de la forme 2D de l’enveloppe du véhicule. L’invention n’est pas limitée aux procédés précédemment décrits mais s’étend également à un système comprenant un processeur configuré pour la mise en œuvre de l’un ou l’autre de ces procédés ains qu’à un produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes de l’un ou l’autre de ces procédés. L’invention s’étend également à un système comprenant un premier processeur configuré pour mettre en œuvre les étapes de génération des données d’entrainement et d’apprentissage et un deuxième processeur configuré pour mettre en œuvre les étapes d’obtention des images de la scène et de prédiction de la traversabilité de la scène au moyen du modèle ayant fait l’objet de l’apprentissage. Procédé mis en œuvre par ordinateur d’aide à la navigation d’un système mobile, comprenant : la génération de données d’entrainement pour l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par le système mobile, ladite génération comportant: l’obtention (OBT) d’une séquence d’images d’un environnement acquises par une caméra (2) embarquée à bord d’un véhicule (1) en déplacement dans l’environnement; la détermination (EMP) d’une empreinte au sol du véhicule (E N ) lors de l’acquisition d’une image de la séquence formant une première image de référence ; l’annotation, en tant que zone traversable par le système mobile, d’une région d’image (RI) correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une première image de projection ; l’apprentissage machine du modèle à l’aide des données d’entrainement ; l’obtention d’images d’une scène acquises par une caméra embarquée à bord du système mobile ; et la prédiction de la traversabilité de la scène par fourniture des images de la scène au modèle ayant fait l’objet de l’apprentissage machine. Procédé selon la revendication 1, dans lequel la génération des données d’entraînement comprend en outre : l’obtention de données inertielles acquises par une centrale inertielle embarquée à bord du véhicule en déplacement dans l’environnement ; la détermination (SLAM), par localisation et cartographie simultanées exploitant les images de la séquence et les données inertielles, de la position de la caméra dans un repère de l’environnement lors de l’acquisition des images de la séquence ; et dans lequel la détermination de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence est réalisée à partir de la position de la caméra dans le repère de l’environnement lors de l’acquisition de la première image de référence. Procédé selon l’une des revendications 1 et 2, dans lequel la génération des données d’entraînement comprend en outre le calcul d’un score de similarité (FILT) entre la région d’image correspondant à la projection de ladite empreinte dans la première image de projection et une région d’image correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une deuxième image de projection et, lorsque le score de similarité est inférieur à un seuil, la région d’image correspondant à la projection de ladite empreinte dans la deuxième image de projection ne fait pas l’objet d’une annotation. Procédé selon l’une des revendications 1 à 3, dans lequel lors de la génération des données d’entraînement la détermination d’une empreinte au sol du véhicule est réitérée pour déterminer une empreinte au sol du véhicule lors de l’acquisition d’une autre image de la séquence formant une deuxième image de référence et comprenant en outre l’annotation en tant que zone traversable d’une région d’image correspondant à la projection dans la première image de projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence. Procédé selon la revendication 4, dans lequel la génération des données d’entraînement comprend en outre l’annotation (INT) en tant que zone traversable d’une région intermédiaire (RI) dans la première image de projection entre la région d’image (R1) correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence et la région d’image (R2) correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence. Produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l’une des revendications 1 à 5. Système de traitement de données comprenant un premier processeur configuré pour mettre en œuvre les étapes de génération des données d’entrainement et d’apprentissage du procédé selon l’une des revendications 1 à 5 et un deuxième processeur configuré pour mettre en œuvre les étapes d’obtention des images de la scène et de prédiction du procédé selon l’une des revendications 1 à 5.