Brevet FR3138944A1 — publié le 20240223

L’invention porte sur un dispositif de cartographie de terrain destiné à être embarqué sur un système mobile, comprenant une unité d’estimation de traversabilité configurée pour : déterminer (E1) une carte de profondeur du terrain ; déterminer (E3) une carte de hauteur du terrain à partir de la carte de profondeur et de données d’image du terrain acquises par une caméra embarquée sur le système mobile ; déterminer (E4) un premier masque de traversabilité du terrain par le système mobile au moyen d’un seuillage de la carte de hauteur ; déterminer (E5) un deuxième masque de traversabilité du terrain par le système mobile au moyen d’une segmentation sémantique des données d’image du terrain acquises par la caméra embarquée sur le système mobile ; déterminer (E6) une carte de traversabilité du terrain par le système mobile (CT) par fusion du premier et du deuxième masque de traversabilité. Figure pour l’abrégé : Figure 1 Dispositif et procédé d’estimation de la traversabilité d’un terrain par un système mobile Le domaine de l’invention est celui de l’aide à la navigation d’un système mobile du type robot ou véhicule autonome. L’invention concerne plus particulièrement l’estimation de la traversabilité d’un terrain par le système mobile, c’est-à-dire l’identification de zones du terrain sur lesquelles le système mobile est apte à se déplacer. Dans le domaine de la navigation de systèmes mobiles, on connait des méthodes qui ont pour but de trouver la présence d’une route dans des images acquises par une caméra embarquée sur le système mobile. Ces méthodes utilisent des indices visuels comme les points de fuite, les textures ou encore le relief pour délimiter les contours d’une route sur une image, ou posent le problème directement comme un problème de segmentation de la route dans l’image. Cependant, ces méthodes ne s’intéressent pas aux chemins au sens le plus large du terme, qui peuvent notamment être des chemins hors-pistes non forcément goudronnés ni correctement délimités, et encore moins au thème plus général de la traversabilité correspondant à l’identification dans les images acquises de zones du terrain sur lesquelles le système mobile est apte à se déplacer. On trouve d’autre part des méthodes qui identifient le type de sol sur lequel le véhicule évolue. Par exemple, le document US 2019/0129435 A1 vise à prédire la traversabilité d’un terrain pour un véhicule au moyen de capteurs embarqués dans le véhicule tels qu’une centrale inertielle, un GPS ainsi qu'un lidar pour identifier la topographie de la surface du sol et générer une carte 3D du terrain. La position du véhicule relativement à cette carte est déterminée au moyen d’un algorithme de localisation et cartographie simultanées (connu en anglais sous le nom de SLAM pour Simultaneous Localization And Mapping ). Puis le chemin à suivre par le véhicule est déterminé en fonction de caractéristiques du terrain extraites des données de capteurs, comme par exemple des données d’un accéléromètre ou d’un gyroscope. L’invention a pour objectif de proposer une technique d’estimation de la traversabilité d’un terrain par un système mobile qui soit à la fois performante et simple à mettre en œuvre et ce qu’il y ait ou non une route sur le terrain (par exemple dans le cas d’une navigation en hors-piste ou dans un environnement déstructuré). A cet effet, l’invention propose un dispositif de cartographie de terrain destiné à être embarqué sur un système mobile, comprenant une unité d’estimation de traversabilité configurée pour : déterminer une carte de profondeur du terrain ; déterminer une carte de hauteur du terrain à partir de la carte de profondeur et de données d’image du terrain acquises par une caméra embarquée sur le système mobile ; déterminer un premier masque de traversabilité du terrain par le système mobile au moyen d’un seuillage de la carte de hauteur ; déterminer un deuxième masque de traversabilité du terrain par le système mobile au moyen d’une segmentation sémantique des données d’image du terrain acquises par la caméra embarquée sur le système mobile ; déterminer une carte de traversabilité du terrain par le système mobile par fusion du premier et du deuxième masque de traversabilité. Certains aspects préférés mais non limitatifs de ce dispositif sont les suivants : l’unité d’estimation de traversabilité est configurée pour déterminer la carte de profondeur du terrain à partir des données d’image du terrain acquises par la caméra ; pour déterminer la carte de profondeur l’unité d’estimation de traversabilité exploite un modèle d’apprentissage profond ; l’unité d’estimation de traversabilité comprend un réseau neuronal pré-entrainé pour mettre en œuvre le modèle d’apprentissage profond ; le réseau neuronal est également pré-entrainé pour réaliser la segmentation sémantique des données d’image du terrain ; le réseau neuronal comprend un encodeur, un premier décodeur dédié à l’inférence de profondeur et un deuxième décodeur dédié à la segmentation sémantique ; le seuillage de la carte de hauteur est réalisée de manière à ce que le premier masque de traversabilité conserve, lorsqu’il est appliqué aux données d’image du terrain, des points du terrain présentant une hauteur comprise entre un premier seuil et un deuxième seuil supérieur au premier seuil ; l’unité d’estimation de traversabilité est en outre configurée pour déterminer un troisième masque de traversabilité qui conserve, lorsqu’il est appliqué aux données d’image du terrain, des points du terrain présentant une hauteur inférieure au premier seuil et dans lequel déterminer la carte de traversabilité comprend en outre l’addition du troisième masque de traversabilité à la fusion du premier et du deuxième masque de traversabilité. D'autres aspects, buts, avantages et caractéristiques de l’invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels : - la est un schéma illustrant différentes étapes mises en œuvre au cours d’un procédé conforme à l’invention d’estimation de la traversabilité d’un terrain par un système mobile ; - la est une image acquise par une caméra ; - la est une carte de profondeur de l’image de la ; - la est une carte de hauteur déterminée à partir de la carte de profondeur de la et de l’image de la ; - la illustre un premier masque de traversabilité ; - la illustre une segmentation sémantique de l’image de la ; - la est une autre représentation du premier masque de traversabilité ; - la illustre le résultat de la fusion du premier et du deuxième masque de traversabilité. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS L’invention porte sur un dispositif de cartographie de terrain destiné à être embarqué sur un système mobile, par exemple un système mobile terrestre type tout-terrain tel qu’un robot, un drone ou un véhicule autonome. Comme cela sera détaillé par la suite, ce dispositif comprend une unité d’estimation de traversabilité configurée pour réaliser la fusion d’une solution de navigation géométrique tenant compte de la hauteur des obstacles rencontrés sur le terrain et d’une solution de navigation sémantique identifiant les zones traversables par le système mobile dans des données d’image du terrain acquises par une caméra embarquée sur le système mobile, typiquement une caméra monoculaire. L’unité d’estimation de traversabilité délivre une carte de traversabilité, par exemple une carte binaire dans laquelle chaque point du terrain imagé par la caméra est identifié comme étant traversable ou non par le système mobile ou encore une carte dans laquelle une probabilité de traversabilité est associée à chaque point du terrain. Les images acquises par la caméra sont typiquement des images RGB du terrain. Le dispositif est alors fonctionnel en lumière visible. Dans une variante de réalisation, la fonctionnalité du dispositif est étendue à un fonctionnement nocturne en exploitant une autre plage de longueur d’onde (infrarouge typiquement). En référence à la , l’unité d’estimation de traversabilité est configurée pour déterminer une carte de profondeur du terrain au cours d’une étape E1. Dans un mode de réalisation privilégié, la détermination de la carte de profondeur du terrain au cours de cette étape E1 est directement réalisée à partir des données d’image du terrain It acquises par la caméra. Plus particulièrement, cette détermination peut être obtenue au moyen d’un modèle d’apprentissage supervisé, tel qu’un modèle basé sur un réseau neuronal profond. Les figures 2 à 8 sont données à titre d’exemple illustratif de l’invention. La représente ainsi une image du jeu de données public NYU Depth v2 tandis que la représente la carte de profondeur correspondante. Dans une variante de réalisation, la carte de profondeur peut être déterminée par l’unité d’estimation de traversabilité au moyen d’une mesure directe par un capteur dédié émissif (comme un LiDAR ou un scanner 3D à lumière structurée). Dans une autre variante, cette détermination est toujours réalisée de manière passive mais en utilisant non pas une mais plusieurs caméras, par exemple des caméras d’un système de stéréovision. On retiendra que l’utilisation d’une seule caméra monoculaire présente les avantages d’une faible consommation pour un système embarqué, d’un coût réduit par rapport à un système de stéréovision ou à un système de type LiDAR et de permettre l’élaboration d’une solution non émissive. La carte de profondeur ainsi déterminée permet de compléter l’information sur le terrain obtenue par la caméra pour fournir ainsi une connaissance sur la structure 3D du terrain. En prenant l’hypothèse que le système mobile se déplace sur le sol, les zones traversables du terrain correspondent alors au plan du sol contrairement aux obstacles rencontrés. Un des principes courants en robotique mobile pour adresser le problème de navigabilité d’un système est de définir une grille d’occupation de l’environnement du robot. L'idée de base de la grille d'occupation est de représenter une carte de l'environnement comme un champ uniformément espacé de variables aléatoires représentant chacune la probabilité de présence d'un obstacle à cet endroit dans l'environnement. Partant de ce principe, l’invention considère l’image acquise par la caméra comme une carte de l’environnement où chaque pixel correspond à un point de la grille. En connaissant la structure 3D du terrain, l’invention vient associer à chaque point de la grille la hauteur de l’élément présent en ce point pour décider si cet élément est un obstacle ou non. Pour ce faire, l’unité d’estimation de traversabilité est configurée pour déterminer au cours d’une étape E3 une carte de hauteur du terrain à partir de la carte de profondeur et des données d’image du terrain. Avec les données d’image du terrain, la carte de profondeur permet en effet de calculer les coordonnées 3D de chaque point du terrain, coordonnées qui peuvent être reprojetées selon l’axe correspondant à la hauteur de ces points afin de calculer la carte de hauteur. La détermination de la carte de hauteur peut notamment comprendre une transformation projective inverse reposant sur le modèle projectif de la caméra, par exemple sous la forme d’une opération matricielle linéaire. La illustre la carte de hauteur déterminée à partir de la carte de profondeur de la et de l’image de la . Cette détermination de la carte de hauteur peut être réalisée comme suit. On considère les coordonnées d’un pixel dans l’images originale présentant des distorsions géométriques. Afin de déterminer l’élévation (hauteur) de ce pixel, il est nécessaire de connaitre les paramètres intrinsèques de la caméra, à savoir la matrice de projection (focale et centre optique) de la caméra ainsi que les paramètres de distorsion . Ces paramètres sont classiquement déterminés par calibration de la caméra. Une première étape vise à corriger la distorsion du pixel en appliquant le modèle de distorsion déterminé lors de la calibration. Par exemple dans le cas d’un modèle de distorsion radiale, la correction de distorsion est effectuée par l’équation suivante : avec représente le centre de la distorsion. Une deuxième étape consiste à déterminer la position 3D de chaque pixel dans l’espace 3D, en appliquant la projection inverse et en utilisant la profondeur estimée, comme suit : Avec : la position du point 3D dans le repère de la caméra, les paramètres de la caméra (focale et centre optique), et la profondeur estimée. Le point étant déterminé dans le repère de la caméra, il est possible de déterminer sa hauteur par rapport au sol, car la position de la caméra dans le véhicule est connue a priori (distance entre la caméra et les roue du véhicule). Dans un mode de réalisation possible dans lequel le système mobile embarque une centrale inertielle, l’unité d’estimation de traversabilité peut, dans une étape E2 antérieure à l’étape E3, adapter le modèle projectif à la pose de la caméra telle qu’estimée par la centrale inertielle. Comme indiqué précédemment, la hauteur qu’on souhaite estimer est par rapport au sol et non pas dans le repère de la caméra. Ainsi, il est nécessaire de prendre en compte la pose de la caméra. Pour cela, il suffit de prendre comme référence un sol plat et d’estimer la position de la caméra à chaque prise d’image par rapport à une position initiale en utilisant les données inertielles. Cela revient à estimer les poses relatives de la caméra par rapport à une position initiale en utilisant les données inertielles. En particulier, cette adaptation permet de normaliser la vue du terrain afin d’en éliminer des biais liés à l’orientation du véhicule par rapport au sol. Un changement de repère, depuis le repère de la caméra vers le repère du terrain imagé, peut notamment être effectué au moyen des différents angles fournis par la centrale inertielle. Dans une étape E4, l’unité d’estimation de traversabilité est configurée pour déterminer un premier masque de traversabilité du terrain par le système mobile au moyen d’un seuillage de la carte de hauteur. Ce seuillage permet de déterminer pour chaque pixel de la carte de hauteur si le point du terrain associé à ce pixel est traversable ou non par le système mobile, c’est-à-dire s’il fait partie du sol ou si au contraire sa hauteur indique qu’il est un obstacle. Ce seuillage est ainsi effectué en fonction des caractéristiques du système mobile selon les dimensions des obstacles à éviter par celui-ci. Dans un mode de réalisation possible, le premier masque de traversabilité conserve, lorsqu’il est appliqué aux données d’image du terrain, des points du terrain présentant une hauteur inférieure à une hauteur seuil. La illustre à cet égard le seuillage de la carte de hauteur de la pour déterminer le premier masque de traversabilité, lequel conserve lorsqu’il est appliqué aux données d’image du terrain les points du terrain associés aux zones en blanc sur la . Dans un autre mode de réalisation possible, le premier masque de traversabilité est déterminé pour qu’il conserve, lorsqu’il est appliqué aux données d’image du terrain, des points du terrain présentant une hauteur comprise entre un premier seuil et un deuxième seuil supérieur au premier seuil. Dans cet autre mode de réalisation, un autre masque de traversabilité, appelé troisième masque de traversabilité dans ce qui suit, peut être déterminé qui conserve, lorsqu’il est appliqué aux données d’image du terrain, les points du terrain présentant une hauteur inférieure au premier seuil. L’unité d’estimation de traversabilité est par ailleurs configurée pour, au cours d’une étape E5, déterminer un deuxième masque de traversabilité du terrain par le système mobile au moyen d’une segmentation sémantique des données d’image du terrain acquises par la caméra embarquée sur le système mobile. La illustre à ce propos le résultat d’une segmentation sémantique de l’image de la dans laquelle les zones du terrain identifiées par la segmentation sémantique à la catégorie « traversable par le système mobile » portent la référence Tsm. Cette segmentation sémantique peut être obtenue au moyen d’un modèle d’apprentissage supervisé, tel qu’un modèle basé sur un réseau neuronal profond. Dans un mode de réalisation possible, cette segmentation est binaire, les pixels de l’image étant segmentés en deux classes distinctes : traversable par le système mobile et non-traversable par le système mobile. Les informations géométriques représentées par le premier masque de traversabilité et les informations sémantiques représentées par le deuxième masque s’avèrent complémentaires. En effet, d’une part, les objets de petite taille ou dont une partie présente une hauteur comprise dans la plage de hauteur autorisée pour la détermination du premier masque de traversabilité ne sont pas pris en compte comme des obstacles lorsque seules les informations géométriques sont utilisées. En revanche, en venant coupler les informations géométriques avec les informations sémantiques indiquant que ces objets ou parties d’objet ne sont pas traversables, il s’avère possible de correctement les identifier comme des obstacles. Par ailleurs, d’autre part, la segmentation sémantique ne permet pas à elle seule de résoudre le problème d’estimation de traversabilité puisqu’elle est uniquement basée sur l’apparence de l’image. Or les zones traversables représentent une classe potentiellement complexe, notamment du fait de textures variées (la terre, le gazon ou encore le bitume sont trois types de sols potentiellement traversables mais donnent des rendus et textures très différents). Par ailleurs, décorrélée de notions géométriques, la segmentation sémantique peut fournir des résultats aberrants comme des pixels « traversables » à des endroits improbables dont la texture homogène est localement similaire à celle du sol (par exemple le pan de mur entre le lit et le bureau identifié dans la zone portant la référence ZA sur la ). En revanche, en venant coupler les informations sémantiques avec les informations géométriques indiquant que ces endroits ne sont pas traversables, il s’avère possible de correctement les identifier comme des obstacles. Conformément à l’invention, l’unité d’estimation de traversabilité est avantageusement configurée pour, au cours d’une étape E6, déterminer une carte de traversabilité CT en procédant à la fusion du premier et du deuxième masque de traversabilité. De telle manière, ne sont in fine considérés comme traversables par le système mobile que les pixels de la grille de l’environnement qui sont à la fois conservés par le premier et par le deuxième masque de traversabilité. Cette fusion comprend typiquement l’application d’un ET logique entre le premier et le deuxième masque de traversabilité et permet ainsi de ne conserver que les pixels géométriquement viables et dont la sémantique est avérée. Sont ainsi réglés à la fois les problèmes de petits obstacles présents dans la plage de valeurs utilisée pour la détermination du premier masque de traversabilité, tout en enlevant les pixels aberrants dont la classe sémantique prédite est « traversable » à des endroits improbables de l’image. La illustre à ce propos le premier masque de traversabilité M1 tandis que la illustre la fusion du premier masque de la avec le deuxième masque pour fournir la carte de traversabilité CT. On constate que l’estimation de traversabilité est affinée. Notamment, les pieds de la chaise sont détourés et ne sont pas considérés comme des pixels traversables alors qu’ils l’étaient sur la . Par ailleurs, aucun pixel dont la hauteur est trop élevée dans l’image n’est proposé dans l’estimation finale (cf. le pan de mur dans la zone ZA de la ). Dans le mode de réalisation précédemment évoqué où le premier masque de traversabilité est déterminé pour qu’il conserve, lorsqu’il est appliqué aux données d’image du terrain, les points du terrain présentant une hauteur comprise entre le premier et le deuxième seuil et où un troisième masque de traversabilité est déterminé pour qu’il conserve, lorsqu’il est appliqué aux données d’image du terrain, les points du terrain présentant une hauteur inférieure au premier seuil, seul le premier masque est fusionné au deuxième masque et le troisième masque est alors ajouté au résultat de cette fusion. Une telle réalisation permet de considérer qu’en dessous du premier seuil de hauteur, tous les pixels (du troisième masque) sont considérés traversables alors que sur le reste de l’image les pixels considérés comme étant traversables sont ceux résultant de la fusion du premier masque (approche géométrique) et du deuxième masque (approche sémantique). On a vu dans ce qui précède que l’unité d’estimation de traversabilité peut exploiter un modèle d’apprentissage profond pour déterminer la carte de profondeur. Ce modèle d’apprentissage profond peut exploiter un réseau de neurones qui présente une architecture encodeur-décodeur. L’encodeur se charge de l’extraction de caractéristiques qui sont par la suite fournies au décodeur pour générer les cartes de profondeur. L’extracteur de caractéristiques comprend des couches de convolution successives suivies de non linéarités telles que des fonctions de normalisation de données, des fonctions de réduction de dimension ou des fonctions de reprojection non linéaire comme, entre autres, la sigmoïde ou l’unité linéaire rectifié (réseau convolutif). Les caractéristiques de dimensions réduites extraites de l’image sont ensuite délivrées au décodeur (lui aussi est typiquement un réseau convolutif) qui se charge de récupérer la dimension spatiale de l’image tout en calculant les caractéristiques nécessaires au décodage des caractéristiques produisant ainsi une carte de profondeur. Un entrainement du modèle d’apprentissage profond peut être réalisé comme suit : Acquisition d’une base de données d’apprentissage qui comporte des images de scènes ainsi que les cartes de profondeurs qui leurs correspondent. Ces cartes de profondeur vérité-terrain sont obtenue par une méthode tierce, par exemple une carte de profondeur acquise par LIDAR, au moyen d’une lumière structurée, par stéréovision, etc. Calcul d’une valeur représentative de la performance du modèle d’apprentissage par comparaison de la carte de profondeur de la scène fournie en sortie du réseau de neurones et la carte de profondeur vérité-terrain. Les poids des connexions du réseau de neurone sont alors ajustés de sorte à réduire l’erreur de prédiction de la carte de profondeur. Par exemple, le gradient de l’erreur peut être calculé afin de déterminer une direction de variation et un déplacement dans une direction opposée au gradient est alors réalisée. Ainsi, dans une réalisation possible, l’unité d’estimation de traversabilité peut comprendre un réseau neuronal pré-entrainé pour mettre en œuvre le modèle d’apprentissage profond. Dans une variante possible, ce réseau neuronal peut également être pré-entrainé pour réaliser la segmentation sémantique des données d’image du terrain. Notamment, le réseau neuronal peut comprendre un encodeur et, en sortie de l’encodeur, un premier décodeur dédié à la détermination de la carte de profondeur et un deuxième décodeur dédié à la segmentation sémantique. L’invention n’est pas limitée au dispositif précédemment décrit mais s’étend également à un procédé au cours duquel sont mises en œuvre par ordinateur les étapes précédemment décrites ains qu’à un produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes d’un tel procédé. Dispositif de cartographie de terrain destiné à être embarqué sur un système mobile, comprenant une unité d’estimation de traversabilité configurée pour : déterminer (E1) une carte de profondeur du terrain ; déterminer (E3) une carte de hauteur du terrain à partir de la carte de profondeur et de données d’image du terrain acquises par une caméra embarquée sur le système mobile; déterminer (E4) un premier masque de traversabilité du terrain par le système mobile au moyen d’un seuillage de la carte de hauteur ; déterminer (E5) un deuxième masque de traversabilité du terrain par le système mobile au moyen d’une segmentation sémantique des données d’image du terrain acquises par la caméra embarquée sur le système mobile ; déterminer (E6) une carte de traversabilité du terrain par le système mobile (CT) par fusion du premier et du deuxième masque de traversabilité. Dispositif selon la revendication 1, dans lequel l’unité d’estimation de traversabilité est configurée pour déterminer la carte de profondeur du terrain à partir des données d’image du terrain acquises par la caméra. Dispositif selon la revendication 2, dans lequel pour déterminer la carte de profondeur l’unité d’estimation de traversabilité exploite un modèle d’apprentissage profond. Dispositif selon la revendication 3, dans lequel l’unité d’estimation de traversabilité comprend un réseau neuronal pré-entrainé pour mettre en œuvre le modèle d’apprentissage profond. Dispositif selon la revendication 4, dans lequel le réseau neuronal est également pré-entrainé pour réaliser la segmentation sémantique des données d’image du terrain. Dispositif selon la revendication 5, dans lequel le réseau neuronal comprend un encodeur, un premier décodeur dédié à l’inférence de profondeur et un deuxième décodeur dédié à la segmentation sémantique. Dispositif selon l’une des revendications 1 à 6, dans lequel le seuillage de la carte de hauteur est réalisée de manière à ce que le premier masque de traversabilité conserve, lorsqu’il est appliqué aux données d’image du terrain, des points du terrain présentant une hauteur comprise entre un premier seuil et un deuxième seuil supérieur au premier seuil. Dispositif selon la revendication 7, dans lequel l’unité d’estimation de traversabilité est en outre configurée pour déterminer un troisième masque de traversabilité qui conserve, lorsqu’il est appliqué aux données d’image du terrain, des points du terrain présentant une hauteur inférieure au premier seuil et dans lequel déterminer la carte de traversabilité comprend en outre l’addition du troisième masque de traversabilité à la fusion du premier et du deuxième masque de traversabilité. Procédé mis en œuvre par ordinateur d’estimation de la traversabilité d’un terrain par un système mobile, comprenant les étapes consistant à : déterminer une carte de profondeur du terrain ; déterminer une carte de hauteur du terrain à partir de la carte de profondeur et de données d’image du terrain acquises par une caméra embarquée sur le système mobile; déterminer un premier masque de traversabilité du terrain par le système mobile au moyen d’un seuillage de la carte de hauteur : déterminer un deuxième masque de traversabilité du terrain par le système mobile au moyen d’une segmentation sémantique de données d’image du terrain acquises par la caméra embarquée sur le système mobile ; déterminer une carte de traversabilité du terrain par le système mobile par fusion du premier et du deuxième masque de traversabilité. Produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon la revendication 9.