Brevet FR3073312A1 — publié le 20190510

Procédé d'estimation de pose d'une caméra dans le référentiel d'une scène tridimensionnelle, dispositif, système de réalité augmentée et programme d'ordinateur associé 1. Domaine de l'invention Le domaine de l'invention est celui de l'estimation de la pose d'une caméra dans le référentiel d'une scène tridimensionnelle (3D). L'invention peut notamment, mais non exclusivement, trouver une application dans le domaine de la réalité augmentée, pour l'insertion d'un ou plusieurs objets virtuels ou réels dans l'image de la scène réelle vue par la caméra. 2. Présentation de l'art antérieur On connait du document de Shotton et al., intitulé « Scene Coordinate Regression Forests for Camera Relocalisation in RGB-D images », publié par la Conférence IEEE Conference on Computer Vision and Pattern Recognition, en 2013, une solution permettant de calculer la pose d'une caméra RGB-D (pour « Red Green Blue - Depth », en anglais) à l'aide d'un système de prédiction automatique, pour (« machine learning », en anglais), qui, après une phase d'apprentissage, est capable de prédire, à partir d'une image d'intensités de couleurs et une image de profondeur acquises par la caméra, un nuage de points correspondants dans un référentiel de la scène 3D. La pose de la caméra est ensuite estimée sur la base du nuage de points prédit. Un avantage de cette solution est qu'elle prédit la pose de la caméra de façon complètement automatique sans aucune hypothèse géométrique. Un premier inconvénient de cette solution est qu'elle impose de manipuler des nuages de points, ce qui la rend complexe à mettre en oeuvre, notamment parce qu'elle nécessite des ressources importantes de calcul et de stockage. Un deuxième inconvénient de cette méthode est qu'elle comprend, aussi bien dans la phase d'apprentissage que dans la phase de test, une transformation préalable de l'image destinée à prendre en compte des paramètres intrinsèques de la caméra, tels que des focales ou des centres de projection. Cette étape nécessite une calibration préalable de la caméra. Un troisième inconvénient de cette solution est qu'elle nécessite une caméra de profondeur dans la phase de tests, ce qui exclut son utilisation pour une application de réalité virtuelle embarquée dans 2 des équipements terminaux de type mobile, comme par exemple un téléphone intelligent (pour « snnartphone », en anglais) ou une tablette. On connait aussi du document de Kendall et al., intitulé « PoseNet : A convolutional Network for RelTinne 6-DOF Camera Relocalization », publié dans les Proceedings de la conférence IEEE International 5 Conference on Computer Vision, pages 2938-2946, en 2015, une méthode d'estimation directe de la pose de la caméra à partir d'images d'une caméra RGB 2D et d'un réseau de neurones convolutif. Le réseau de neurones utilisé est adapté d'un réseau de neurones connu et entraîné pour classifier des images, en modifiant certaines couches. On appellera cette méthode « PoseNet-1 ». L'apprentissage du réseau est réalisé à partir d'une base d'images RGB entières et leurs poses correspondantes. Il 10 s'appuie sur la minimisation d'une fonction de perte qui prend en compte la somme pondérée d'une erreur de translation et d'une erreur de rotation de la pose. La pondération comprend un facteur d'échelle qui dépend de la scène. Un inconvénient majeur de la solution PoseNet-1 est que la valeur du facteur d'échelle est difficile à déterminer. Son évaluation se fait par voie empirique ce qui nécessite plusieurs 15 apprentissages à partir desquels une valeur optimale est déterminée. La configuration du réseau est donc complexe. Dans une deuxième publication plus récente, intitulée « Geonnetric loss functions for camera pose regression with deep learning » et publiée sur ArXiv.2017, les mêmes auteurs ont proposé une nouvelle version appelée « PoseNet-2 » de leur méthode qui utilise une fonction de perte purement 20 géométrique qui n'utilise pas de facteur d'échelle. Un avantage de ces deux solutions est qu'elles réalisent une estimation de la pose de la caméra en temps réel. Un inconvénient de ces méthodes PoseNet-2 est qu'elles n'estiment pas toujours la pose de la caméra avec une précision suffisante pour des applications de réalité augmentée et qu'elles ne 25 fournissent aucune indication sur la précision ou la confiance associée à l'estimation de pose. 3. Objectifs de l'invention L'invention vient améliorer la situation. L'invention a notamment pour objectif de pallier ces inconvénients de l'art antérieur. 3 Plus précisément, un objectif de l'invention est de proposer une solution d'estimation de pose plus précise tout en gardant une complexité adaptée à des contraintes temps réel et une configuration simple. Un autre objectif de l'invention est de fournir une mesure de confiance associé à la pose de 5 la caméra estimée. Encore un autre objectif de l'invention est de proposer une solution robuste aux occultations de la scène. 4. Exposé de l'invention 10 Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé d'estimation de pose d'une caméra dans un référentiel d'une scène tridimensionnelle, ledit procédé comprenant les étapes suivantes : - Obtention d'une image d'intensités de couleur de la scène capturée par la caméra, dite image courante ; 15 - Extraction d'une pluralité de points d'intérêt de l'image courante, un dit point étant invariant par transformation géométrique de l'image ; - Formation d'une pluralité d'innagettes dans l'image d'intensités de couleur, une innagette comprenant un point d'intérêt de la pluralité extraite; - Prédiction des localisations 3D des points d'intérêt de la pluralité d'innagettes dans un 20 référentiel de la scène, par application d'un système de prédiction automatique, ledit système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des innagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis une pluralité de points de vue, une innagette étant associée à une position 2D de son point d'intérêt dans un référentiel de l'image et à une localisation 3D de son point d'intérêt dans 25 le référentiel de la scène; et - Estimation d'une pose de la caméra pour l'image courante, par mise en correspondance des positions 2D de la pluralité de points d'intérêt et de reprojections dans le référentiel de l'image courante des localisations 3D prédites. 4 L'invention repose sur une approche tout-à-fait nouvelle et inventive de l'estimation de pose d'une caméra, qui s'appuie sur une prédiction directe de la localisation 3D de petites zones de l'image ou innagettes centrées sur des points d'intérêts de l'image à partir de leur position 2D dans l'image d'entrée, sans nécessité de recourir à une carte de profondeur, et sur une mise en correspondance 5 3D/2D des localisations des points d'intérêt de l'image, indépendante des images précédemment acquises. Plutôt que d'utiliser l'ensemble des points de l'image, l'invention restreint la prédiction à des petites zones de l'image, dites innagettes, qui concentrent l'information pertinente, ce qui permet de réduire la complexité du système sans compromis sur son efficacité. 10 Le fait de prédire la localisation 3D d'innagettes (3 composantes) plutôt que directement la pose de la caméra (6 composantes) contribue en outre à simplifier la structure du système de prédiction automatique. Selon un premier aspect de l'invention, l'étape de prédiction prédit une localisation 3D par innagette par application d'un système de prédiction automatique comprenant un réseau de neurones 15 comprenant plusieurs couches de convolution et plusieurs couches de connexion. Un avantage de ce premier mode de réalisation est qu'il réalise un bon compromis entre complexité et performances. Selon un deuxième aspect de l'invention, l'étape de prédiction comprend en outre une extraction d'un vecteur de caractéristiques par innagette et en ce que l'application du système de prédiction 20 automatique prédit une pluralité de localisations 3D par vecteur de caractéristiques extrait. Un avantage de ce deuxième mode de réalisation est que l'extraction d'un vecteur de caractéristiques permet d'améliorer la précision de la localisation 3D prédite et donc de la pose estimée. Selon un autre aspect de l'invention, le système de prédiction automatique connprendune forêt aléatoire décisionnelle comprenant des arbres de décision comprenant des noeuds séparateurs, undit 25 noeud étant apte à séparer de façon binaire un groupe de vecteurs de caractéristiques issu d'un noeud amont en sous-groupes, à transmettre les sous-groupes à des noeuds séparateurs aval et des noeuds feuilles, aptes à stocker la pluralité de localisations 3D des innagettes associées à un sous-groupe reçu d'un noeud séparateur amont, le procédé comprend dans une phase préalable une étape) d'entraînement du système de prédiction comprenant un test de séparation binaire basé sur un calcul 30 de distance entre le vecteur de caractéristiques extrait d'une innagette de l'ensemble d'apprentissage 5 et un vecteur de caractéristiques de référence et une comparaison de la distance calculée par rapport à un seuil prédéterminé. Contrairement aux tests binaires réalisés habituellement dans une forêt décisionnelle, qui évaluent une distance entre deux éléments choisis aléatoirement dans un même canal d'une donnée d'entrée, 5 comme par exemple une différence entre deux intensités de pixels d'une même image, l'invention propose de comparer l'ensemble des composantes du vecteur de caractéristiques associé à une innagette à un vecteur de caractéristiques de référence. Par exemple le vecteur de caractéristiques est choisi parmi les vecteurs de caractéristiques extraits des innagettes de l'ensemble d'apprentissage par itération du test et en fonction d'un critère de minimisation d'erreur. Ceci permet de mieux 10 discriminer les points clés les uns des autres. L'avantage de recourir à une forêt décisionnelle aléatoire est qu'elle comprend plusieurs arbres entraînés pour prédire chacun une localisation à partir d'un vecteur d'entrée, ce qui rend le procédé d'estimation de pose plus robuste aux scènes comprenant des motifs répétitifs. Selon encore un autre aspect de l'invention, l'extraction comprend une prédiction du vecteur de 15 caractéristiques par application d'un deuxième système de prédiction automatique, ledit système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des innagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis une pluralité de points de vue, une innagette étant associée dans ledit ensemble à une position 2D de son point d'intérêt dans un référentiel de l'image et à une position 3D de son point d'intérêt dans le référentiel de la scène. 20 Un avantage est d'obtenir des vecteurs de caractéristiques encore plus pertinents et d'améliorer les performances de la prédiction, donc la précision de la pose estimée. Avantageusement, le deuxième système de prédiction automatique comprenant un réseau de neurones comprend plusieurs couches de convolution et le procédé comprend dans une phase préalable une étape d'entraînement du deuxième système à partir de l'ensemble d'apprentissage, 25 après ajout audit réseau de neurones d'une pluralité de couches de connexion agencées à la suite des couches de convolution. De la sorte, le réseau de neurones enrichi des couches de connexion fournit en sortie des localisations 3D prédites, ce qui correspond aux vérités terrains fournies dans l'ensemble d'apprentissage. Une fois l'apprentissage terminé, il suffit de supprimer les couches de connexion pour obtenir les 30 vecteurs de caractéristiques qu'il a appris à extraire des données d'entrée. 6 Selon un autre aspect de l'invention, l'estimation de pose comprend la mise en oeuvre d'au moins une itération des sous-étapes suivantes : Détermination d'un sous-ensemble de la pluralité de points d'intérêt ; Calcul d'au moins une hypothèse de pose à partir des localisations 3D prédites pour le sous- 5 ensemble et des positions 2D correspondantes; et Evaluation d'une erreur de reprojection des positions 2D de la pluralité de points d'intérêt dans le référentiel de la scène à l'aide de l'hypothèse de pose calculée par rapport aux localisations 3D prédites ; et une sélection de l'hypothèse de pose qui minimise l'erreur de reprojection. 10 Un avantage de ce mode de réalisation est de ne prendre en compte que les meilleures prédictions de localisation 3D dans l'estimation de pose. Selon un autre aspect de l'invention, une mesure de confiance de la pose estimée est évaluée au moins en fonction d'un nombre de points d'intérêt, pour lesquels l'erreur de reprojection est inférieure à un seuil prédéterminé. 15 Un avantage de cette mesure de confiance est qu'elle apporte une dimension probabiliste à la pose estimée. Selon encore un autre aspect de l'invention, le procédé comprend une phase préalable d'apprentissage comprenant les étapes suivantes : Obtention d'un ensemble d'apprentissage comprenant une pluralité de d'images d'intensité 20 de couleur de la scène acquises par la caméra, depuis une pluralité de points de vue, un point de vue étant associé à une pose connue de la caméra; Extraction d'une pluralité de points d'intérêt de ladite image d'intensités de couleurs, un dit point étant associé à une position 2D dans l'image d'intensités; Obtention de localisations 3D de la pluralité de points d'intérêt dans le référentiel de la 25 scène, dites de vérité terrain; Entraînement du système automatique de prédiction de pose à partir des couples d'innagettes, un couple d'innagettes étant associé à la position 2D de son point d'intérêt dans un référentiel de l'image et à la localisation 3D de son point d'intérêt dans le référentiel de la scène. 7 Selon une première option, dans la phase d'apprentissage, la localisation 3D d'un point d'intérêt de l'image d'intensités associée à une pose connue est obtenue par triangulation géométrique des positions 2D du point dans l'image et dans une image précédente. Un avantage de cette méthode est qu'elle ne nécessite pas de caméra de profondeur pour labelliser 5 les données d'entrées. Selon une deuxième option, dans la phase d'apprentissage, la caméra est configurée pour acquérir simultanément une image de profondeur associée à une image d'intensités et : - l'ensemble d'apprentissage obtenu comprend une pluralité de couples d'images d'intensité de couleur et de profondeur de la scène, depuis une pluralité de points de 10 vue, un point de vue étant associé à une pose connue de la caméra; - les localisations 3D des points d'intérêt sont obtenues par projection perspective de leurs position 2D et profondeur à l'aide d'un modèle prédéterminé de la caméra et de la pose connue, dans le référentiel de la scène. Un avantage de ce mode de réalisation est qu'il permet de labelliser de façon simple et efficace les 15 innagettes grâce à l'utilisation d'une caméra de profondeur limitée à la phase d'apprentissage. Avantageusement, la prédiction est réalisée par un réseau de neurones comprenant 5 étages de convolution. Un avantage de cette architecture particulière de réseau de neurones est qu'elle est de faible profondeur, tout en permettant une prédiction efficace des localisations 3D des points d'intérêts de 20 l'image dans le référentiel de la scène directement à partir des innagettes d'intensité. Selon encore un autre aspect de l'invention, la pluralité de localisations 3D prédites par la forêt décisionnelle aléatoire comprenant une distribution de localisations 3D prédites par arbre, unedite distribution étant associée à une mesure de covariance, l'étape d'estimation comprend une sous-étape préalable de filtrage de la pluralité de distributions de localisations 3D prédites par 25 comparaison de la mesure de covariance associée une distribution à un seuil prédéterminé et suppression de la distribution prédictions dont la mesure de covariance est supérieure ou égale audit seuil. Un avantage est, lorsque le système de prédiction automatique comprend une forêt décisionnelle aléatoire qui produit une distribution gaussienne de localisations 3D prédites par arbre, de ne 30 conserver que les moyennes des distributions les plus compactes pour l'estimation de pose. 8 Selon un aspect de l'invention, la phase préalable d'apprentissage comprend une étape d'acquisition d'une image de profondeur associée à une image d'intensité, l'ensemble d'apprentissage comprend en outre l'image de profondeur associée à l'image d'intensité, une étape d'obtention (A3) de localisations 3D de la pluralité de points d'intérêt dans le référentiel de la scène, dites de vérité 5 terrain par projection perspective de leurs position 2D et profondeur à l'aide d'un modèle prédéterminé de la caméra et de la pose connue, dans le référentiel de la scène. Selon un aspect de l'invention, l'estimation de pose comprend la mise en oeuvre d'au moins une itération des sous-étapes suivantes : Détermination (E51) d'un sous-ensemble de la pluralité de points d'intérêt ; 10 Calcul (E52) d'au moins une hypothèse de pose à partir des localisations 3D prédites pour le sous-ensemble et des positions 2D correspondantes; et Evaluation (E53) d'une erreur de reprojection des positions 2D de la pluralité de points d'intérêt dans le référentiel de la scène à l'aide de l'hypothèse de pose calculée par rapport aux localisations 3D prédites ; 15 et en ce qu'elle comprend une sélection (E6) de l'hypothèse de pose qui minimise l'erreur de reprojection. De préférence, une mesure de confiance de la pose estimée est évaluée au moins en fonction d'un nombre de points d'intérêt, pour lesquels l'erreur de reprojection est inférieure à un seuil prédéterminé. 20 Selon un aspect de l'invention, la pluralité de localisations 3D prédites par la forêt comprenant une distribution de localisations 3D prédites par arbre, unedite distribution étant associée à une mesure de covariance, l'étape d'estimation (E5) comprend une sous-étape préalable (E50) de filtrage de la pluralité de distributions de localisations 3D prédites par comparaison de la mesure de covariance associée une distribution à un seuil (T_cov) prédéterminé et suppression de la 25 distribution prédictions dont la mesure de covariance est supérieure ou égale audit seuil. L'invention concerne également un dispositif adapté pour mettre en oeuvre le procédé d'estimation de pose selon l'un quelconque des modes particuliers de réalisation définis ci-dessus. Ce dispositif pourra bien sûr comporter les différentes caractéristiques relatives au procédé selon l'invention. Ainsi, les caractéristiques et avantages de ce dispositif sont les mêmes que ceux du 30 procédé d'estimation de pose, et ne sont pas détaillés plus amplement. Avantageusement, un tel dispositif est compris dans un équipement terminal, par exemple de type tablette ou téléphone intelligent (pour « smartphone », en anglais). L'invention concerne aussi un système de réalité augmentée comprenant une caméra apte à acquérir une image d'intensités de couleurs d'une scène tridimensionnelle réelle, un module) de 9 composition d'images apte à composer une image de sortie à partir d'une image d'entrée acquise de la scène par la caméra et au moins un objet réel ou virtuel, à l'aide d'une localisation 3D initiale dudit au moins un objet dans la scène et d'une pose estimée de la caméra, un module d'affichage apte à restituer l'image de sortie et un dispositif d'estimation de pose de la caméra qui vient d'être décrit. 5 L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en oeuvre des étapes d'un procédé d'estimation de pose d'une caméra tel que décrit précédemment, lorsque ce programme est exécuté par un processeur. Ce programme peut utiliser n'importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistrés sur un support lisible par ordinateur. 10 L'invention se rapporte enfin à un support d'enregistrement, lisible par un processeur, intégrés ou non au dispositif d'estimation de pose d'une caméra selon l'invention, éventuellement amovible, mémorisant un programme d'ordinateur mettant en oeuvre un procédé d'estimation de pose, tel que décrit précédemment. 15 5. Liste des figures D'autres avantages et caractéristiques de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier de l'invention, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : - la figure 1 décrit de façon schématique les étapes d'un procédé d'estimation de pose selon 20 l'invention, dans une phase d'apprentissage ; - la figure 2 illustre une image RGB d'entrée à partir de laquelle on a extrait des points clés et formé des imagettes autour de ces points clés ; la figure 3 illustre un exemple d'image RGB d'entrée dont on a labellisé les points clés à partir d'une image de profondeur acquise par une caméra RGB-D et les caractéristiques de la 25 caméra ; la figure 4 illustre de façon schématique un modèle de projection de sténopé d'un point de l'image d'entrée dans le référentiel de la caméra à l'aide de la carte de profondeur puis dans le référentiel monde à l'aide de la pose H = [Rit] ; 10 la figure 5 compare la complexité du réseau de neurones convolutif mis en oeuvre dans un mode de réalisation de l'invention en termes de nombres de paramètres à celles des réseaux de l'art antérieur ; - la figure 6 présente de façon schématique la structure en couche du réseau de neurones 5 convolutif selon un mode de réalisation de l'invention ; - la figure 7 illustre le principe de filtrage par une couche de convolution d'un réseau de neurones convolutif ; - la figure 8 illustre de façon schématique le principe d'une couche de pooling d'un réseau de neurones convolutif ; 10 - la figure 9 décrit de façon schématique les étapes d'un procédé d'estimation de pose selon un premier mode de réalisation de l'invention, dans une phase de test ; - la figure 10 décrit de façon plus détaillée l'étape d'estimation de pose de l'image d'entrée par mise en correspondance des localisations 2D et 3D de ses imagettes selon un mode de réalisation de l'invention et élimination des prédictions incorrectes (« outliers ») ; 15 - la figure 11 décrit de façon schématique les étapes d'un procédé d'estimation de pose selon un deuxième mode de réalisation de l'invention, dans une phase de test ; - la figure 12 illustre un exemple de vecteur de caractéristiques extrait selon le deuxième mode de réalisation de l'invention ; la figure 13 présente de façon schématique la structure du système de prédiction 20 automatique mis en oeuvre selon le deuxième mode de réalisation de l'invention ; la figure 14 décrit de façon schématique la structure d'une forêt décisionnelle aléatoire mis en oeuvre selon le deuxième mode de réalisation de l'invention ; la figure 15 présente une reconstruction visuelle de la trajectoire de la caméra à partir de sa pose estimée et la compare à celle de la vérité terrain ; 25 - la figure 16 illustre le rapport entre le nombre d'inliers retenu par le procédé selon l'invention et l'erreur d'estimation de pose de la caméra sur plusieurs scènes ; - la figure 17 illustre la robustesse de la méthode d'estimation de pose selon l'invention face à une situation d'occultation partielle ; - la figure 18 illustre le lien entre temps de calcul de la prédiction, précision de l'estimation de 30 pose et nombre d'imagettes extraites de l'image d'entrée ; et 11 - la figure 19 décrit de façon schématique la structure matérielle d'un dispositif d'estimation de pose selon un mode de réalisation de l'invention. 6. Description d'un mode de réalisation particulier de l'invention 5 Le principe général de l'invention repose sur la prédiction directe des localisations 3D dans le référentiel de la scène d'une pluralité d'imagettes extraites d'une image 2D d'intensités de couleur de la scène et sur l'estimation de la pose de la caméra par mise en correspondance des localisations 3D prédites avec les positions 2D des imagettes. Cette prédiction est réalisée à l'aide d'un système de prédiction automatique qui nécessite d'être entraîné à partir de données labellisées avec le 10 résultat de la prédiction, au cours d'une phase préalable, dite d'apprentissage. Une fois entraîné, il peut être utilisé sur des données d'entrée non labellisées, dans un mode de fonctionnement normal, dit phase de test. En relation avec la Figure 1, on décrit les étapes d'un procédé d'estimation de pose d'une caméra dans une phase d'apprentissage selon un premier mode de réalisation de l'invention. 15 Au cours d'une étape Al, des données d'apprentissage sont collectées. Ces données sont constituées d'une collection de N images (pour « frames », en anglais), avec N entier non nul, qui sont soit acquises directement par une caméra RGB-D, apte à fournir une image d'intensité de couleur Ic et son image de profondeur ID associée, soit obtenues d'une base de données publiques. Ces données d'apprentissage comprennent aussi une pose de la caméra dans le référentiel monde, associée à 20 chacune des images de la collection. N est par exemple compris entre 100 et 2000. Par exemple, les données d'apprentissage sont acquises par un module d'acquisition MACQ constitué par exemple d'un système « Kinect.v2 ® », marque déposée, apte à acquérir simultanément les images d'intensité de couleur et de profondeur et la pose de caméra associée. Ce système comprend un capteur RGB apte à générer une image de résolution w=1920xh=1080 pixels à 30 Hz et un 25 capteur D de profondeur apte à capturer une image de résolution 512x424 avec la même fréquence. L'image d'intensité de couleur et l'image de profondeur sont ensuite alignées de telle sorte qu'elles présentent les mêmes dimensions w, h et correspondent à un unique point de vue de la caméra RGB- D. Le système Kinect.v2 comprend en outre un émetteur laser et une caméra infrarouge. Le laser génère 30 une onde modulée qui est capturée par la caméra infrarouge. Un temps de trajet de l'onde entre 12 l'émetteur et un objet de la scène est calculé puis exploité pour en déduire une distance entre l'émetteur et l'objet. Dans la suite, on désigne par (Iic, IP) avec i entier compris entre 1 et N, un couple d'images acquis par la caméra RGB-D. Un exemple de couple d'images (Iic, ID) est illustré par la Figure 2. 5 Selon l'exemple précédent, la pose de la caméra est obtenue en A2 à l'aide d'un module d'annotation apte à calculer une pose associée à chaque paire d'images de la caméra. Il s'agit par exemple d'un module « KinectFusion C)», marque déposée, inclus dans le système « Kinect.v2 8 », dont le principe de fonctionnement est par exemple décrit dans le document de Newcombe et al. intitulé « KinectFusion : Real-time Dense Surface Mapping and Tracking », par la conférence IEEE 10 International Symposium on Mixed and Augmented Reality (ISMAR), 2011. Ce système est basé sur une méthode de reconstruction dense 3D et temps-réel qui s'appuie sur une technique de Localisation et Mise en correspondance simultanées ou SLAM (pour « Simultaneous Localization and Mapping », en anglais). Une telle technique fait des hypothèses géométriques et temporelles sur la scène. Elle considère une paire d'images en entrée, en extrait des points d'intérêts et les met en correspondance, 15 ce qui lui permet, en résolvant un système linéaire d'équations, de déterminer précisément la pose de la caméra et de reconstruire un modèle 3D de la scène £14. Ce module fournit donc les valeurs de pose Hi de la caméra associées à chaque instant d'acquisition d'un couple d'images RGB-D 11c, I.D. Ces informations constituent une « vérité terrain » nécessaire à l'apprentissage du système de prédiction de localisation 3D des imagettes qui va être décrit ci-après. 20 On notera qu'il existe d'autres systèmes d'annotation de poses, qui utilisent des marqueurs positionnés sur la caméra RGB-D. Par exemple, ils sont composés d'un matériau qui offre une réponse maximale à un module de segmentation comprenant un laser, apte à les localiser. Par exemple, la base de données CORBS décrite dans le document de Wasenmüller et al., intitulé « Corbs : Comprehensive RGB-D Benchmark for SLAM using Kinect v2 », publié par la conférence Applications 25 of Computer Vision, en 2016, pages 1-7, a été annotée de cette manière. Selon une alternative, on peut aussi obtenir directement d'une base d'images le couple d'images Iic, IP et sa pose Hi associée. De façon connue en soi, la pose d'un couple d'images s'exprime par exemple sous la forme Hi = (Q, Tl avec Qi un quaternion unitaire comprenant 4 composantes de rotation qw, qx, qy, qz et Ti un 13 vecteur comprenant 3 composantes de translation tx, ty, t, de la caméra dans le référentiel monde (0, x, y, z). Au cours d'une étape A3, on extrait K points d'intérêt KP de l'image d'intensité de couleur Iic, avec K entier non nul, inférieur à au nombre w.h de pixels contenus dans l'image Iic. On désigne par points 5 d'intérêt, ou points clés, des points invariants aux rotations/translations/ changements d'échelle. Ce module détecte des points isolés (pour « sparse », en anglais) par exemple à l'aide d'une méthode dite SURF et décrite dans le document de Bay et al., intitulé « Speeded-up Robust Features (SURF) », publié dans la revue Computer Vision and Image Understanding , numéro 110, pages 346-359, en 2008. 10 La méthode SURF exploite une matrice Hessienne 1f(x,0-) définie comme suit : Lxx (X, 0-) Lxy(X, Cf)) gf (X, = Gyx(x, 0-) Lyy(X, 0") f3 (32 Lxx (X, (7) = 1(x) x22 - g (o-), L(x o-) = 1(x) x - g (o-) 2x aXy où 1(x) représente l'image dans laquelle on cherche à extraire les points clés. g(o-) définit une gaussienne avec un noyau cr. La convolution de l'image avec la gaussienne a pour but de représenter 20 l'image à plusieurs résolutions, sous la forme d'une pyramide d'échelles. Une dérivation seconde est appliquée à aux images de la pyramide (7,a;,e,2) ce qui correspond à une intensité de variation de contraste. Concrètement, pour calculer les dérivées secondes sur l'image on utilise des noyaux discrets convolutifs. En relation avec la Figure 3, on présence des exemples de filtres permettant de calculer Lxx et Lxy respectivement. 25 On calcule ensuite le déterminant de .1f qui estdéfini comme suit : Det(31) = DxxDyy- (0.9D)2 où Dxx est l'approximation de Lrx par une convolution avec un noyau discret. Une réponse maximale correspond à un point clé KP(x,y,$) dont la position dans l'image vaut x, y et s correspond à l'échelle à laquelle il a été extrait. Une orientation de ce point clé est calculée à partir d'une ondelette de Haar 30 dans les directions x, y sur un voisinage prédéterminé. Une orientation principale est calculée comme étant la somme de toute les réponses des ondelettes sur un secteur de 7113. En relation avec la Figure 3, on présente un exemple de points d'intérêt extraits d'une image d'intensités de couleur Tic. On note qu'il s'agit par exemple de points correspondant à des angles et des changements de contraste importants. avec 15 14 On extrait au maximum 500 points d'intérêt par image. On associe à chaque point sa valeur d'échelle et son orientation. La valeur d'échelle indique le niveau de détails et d'importance du point clé extrait. L'orientation indique la nature du changement de contraste. Au cours d'une étape A4, on obtient une localisation 3D des points d'intérêt Pio chaque couple 5 d'imagettes (Iic, IP) dans le référentiel de la scène. Il s'agit d'une labellisation des échantillons de l'ensemble d'apprentissage. Un exemple est illustré par la Figure 2. Cette étape, illustrée par la Figure 4, comprend d'abord une première projection des images (Iic, dans un référentiel de la caméra, à l'aide de paramètres intrinsèques Q et t de cette caméra, comprenant un centre de projection (c'cy), une focale horizontale fx et une focale verticale fy. On 10 notera que dans le cas de pixels carrés, on a fx= fy. A partir des paramètres intrinsèques du capteur de profondeur de la caméra RGB-D, chaque valeur de profondeur d (représentée par deux coordonnées de pixel u, v) est projetée dans un référentiel 3D de la caméra, selon un modèle de projection dit de sténopé (pour « pinhole », en anglais) connu en soi, en 3 coordonnées (x, y, z) selon les formules suivantes = d(u - cx) x d(v - cy) fy z = d Il s'agit d'une modélisation simple et linéaire du processus de formation des images au sein d'une caméra. Ce modèle suppose que le système optique de la caméra, c'est-à-dire sa lentille respecte les conditions de Gauss. On obtient un triplet Loc3Dfam(4arn,yram, ui correspond à la localisation 3D du point d'intérêt 20 dans le référentiel de la caméra. A l'aide de la pose Hi de la caméra, comprenant les paramètres extrinsèques de la caméra, les paramètres intrinsèques Q et t déjà cités, correspondant à la vérité terrain, ce nuage de points est ensuite projeté dans le référentiel monde de la scène (0,x,y,z), selon une deuxième projection basée sur une transformation rigide. On obtient le triplet suivant : 25 Loc3Dw0rid (xiWorld yrorld zrorld) 15 15 Les données d'entrée du système automatique d'apprentissage prennent alors la forme suivante : jD, Loc3Drorldl j. avec i allant de 1 à N, N étant le nombre d'images de la collection de données d'apprentissage. Au cours d'une étape A5, illustrée par la Figure 3, on forme ensuite des imagettes (pour « patches », 5 en anglais) centrées sur les points d'intérêt KP extraits, dans chacune des images du couple (I,c, Dans cet exemple de réalisation, elles sont toutes choisies avec les mêmes dimensions, égales à 49x49. Plus généralement, on choisit avantageusement le nombre de points d'intérêts et la dimension des imagettes de telle sorte qu'au maximum deux imagettes se recouvrent de 70 °/0. Par exemple, on considère jusqu'à 500 imagettes dans une image d'entrée de dimensions par exemple 10 égales à 640x380. A l'issue de cette étape, on dispose d'un ensemble de K couples d'imagettes (Ptc,k,Pii"k) avec k entier compris entre 1 et K, annotés par leur localisation 3DLoc3D0rid(x:4Torld ytWorld ;World) associée à leur couple d'images d'origine (If, IP). Dans la suite, on désigne par échantillon Ei,k un couple d'imagettes et sa localisation 3D associée : Ei,k = {(Pic,k,PiD,k), Loc3Diw071d}. 15 Les étapes A2 à A5 sont répétées pour les N couples d'images d'entrée. Selon une variante des étapes précédentes, on collecte les données d'apprentissage à partir d'un ensemble d'images RGB-D acquises à partir d'une caméra calibrée. Ceci permet d'obtenir directement pour chaque image un nuage de points 3D dans un référentiel de la caméra. On obtient la pose de la caméra à l'aide d'une méthode géométrique de pose, de type « Structure for Motion », qui réalise 20 une triangulation entre deux images 2D successives. Les points clés sont extraits de façon similaire à celle décrite précédemment. On détermine ensuite la localisation 3D des points clés dans le référentiel de la scène à l'aide de la pose obtenue. A l'issue de l'étape A5, on dispose donc d'une collection de N.K échantillons d'apprentissage {Ei,k}- Au cours d'une étape A6, on présente cet ensemble de N.K échantillons {Ei,k} en entrée d'un système 25 de prédiction automatique. Dans cet exemple de réalisation de l'invention, il s'agit d'un réseau de neurones convolutif dont un exemple est illustré par la Figure 6. Ce réseau de neurones convolutif a été spécialement conçu pour prédire directement la localisation 3D des éléments de la pluralité d'imagettes issue d'une image RGB dans le référentiel de la scène, à partir de leur position 2D dans l'imagette. Il utilise uniquement des imagettes d'image RGB de 30 dimensions fixes, par exemple égales à 49 x 49 pixels. 16 Les inventeurs ont constaté que les réseaux de neurones convolutifs connus, comme AlexNet, décrit par Krizhevsky et al. dans le document intitulé «Imagenet classification with deep convolutional neural networks,» publié dans la revue « Advances in neural information processing systems », en 2012, VGG-Net décrit par Simonyan et al., dans le document intitulé : «Very Deep Convolutional 5 Networks for Large-Scale Image Recognition» publié dans ICLR, en 2014, GoogleNet décrit par Szegedy et al., dans un article intitulé «Going deeper with convolutions» publié dans les Proceedings of the IEEE conference on computer vision and pattern recognition, en 2015 ou ResNet décrit par He et al., dans un article intitulé «Deep residual learning for image recognition», publié dans les Proceedings of the IEEE conference on computer vision and pattern recognition, en 2016, sont conçus 10 pour classifier des objets et ne conviennent pas au traitement de plusieurs imagettes, en en termes de temps de calcul, de l'ordre de 10 ms à quelques secondes par image). Ils sont généralement très profonds, c'est-à-dire qu'ils comprennent un nombre élevé de couches et de ce fait mettent en oeuvre un nombre élevé de paramètres, comme illustré par le graphique de la Figure 5. Une conséquence de cette complexité est un temps d'apprentissage élevé, de l'ordre de quelques semaines pour un 15 million d'images. Selon un mode de réalisation, l'invention propose un réseau neuronal convolutif léger, que l'on désignera par « xyzNet », pour localiser les K points d'intérêt d'une image d'entrée dans le système de coordonnées du monde. Ce réseau de neurones convolutif se compose, comme illustré par la Figure 6, de cinq couches de convolution CONV qui constituent 5 étages successifs de la structure 20 du réseau de neurones. Les deux premières couches de convolution sont suivies d'une couche dite « RELU » réalisant une opération non linéaire et d'une couche de sous-échantillonnage dite « POOL ». Seul le premier étage comprend, suite à la couche de sous-échantillonnage POOL une couche de normalisation de réponse dite « LRN ». Les 5 étages ainsi formés sont suivis de deux étages comprenant chacun une couche de connexion neuronale complète dite « FC » et d'une couche RELU. 25 Pour superviser le réseau, on utilise une fonction de perte (pour « LOSS », en anglais) définie par une différence de distance euclidienne entre la la localisation 3D réelle d'un point d'intérêt (ou vérité) et sa localisation 3D prédite. On décrit maintenant les différents types de couches de façon plus détaillée : - CONV pour « Convolution » en anglais) : Chacune des cinq convolutions effectue une 30 opération de filtrage spatiale avec ensemble de filtres de taille 3 x 3 (conv1 : 32 filtres ; conv2 : 64 filtres ; conv3, conv4, conv5 : 128 filtres). On décrit plus en détails une couche de convolution, en relation avec la Figure 7. Il s'agit d'un bloc de base d'un réseau CNN, qui 17 est utilisé pour extraire des caractéristiques des données d'entrée. Une couche comprend généralement plusieurs filtres. Un filtre est entraîné au cours de la phase d'apprentissage pour détecter une même caractéristique à différentes positions dans l'image d'entrée et produire une carte. Le produit de convolution de l'image x et le filtre h est définie 5 par l'expression suivante. +CO +00 y[m, ri] =- x[m, * h[m, = x[i,j].h[m- i,n- j] 1:-oo i:- POOL (pour « Pooling », en anglais) : les deux couches de pooling permettent de réaliser un 10 sous-échantillonnage avec une métrique basée sur la valeur maximum dans un voisinage de taille 3x3. Cette opération permet, d'un côté d'ajouter une forme d'invariance aux translations et aux rotations. D'un autre côté, elle réduit la quantité de paramètres permettant de définir les poids du réseau en question. La Figure 8 illustre cette opération. 15 - LRN (pour « Local Response Normalization », en anglais), est une opération permettant de normaliser la sortie d'une couche donnée (en imposant la moyenne à zéro et la déviation standard à 1) sur l'ensemble d'imagettes envoyées en parallèle pendant une itération (pour « batch », en anglais). L'importance de cette opération réside dans qualité de convergence de l'apprentissage du réseau. En effet, en normalisant, on réduit le taux de variabilité des 20 données entre elles permettant un comportement plus restreint de l'optimisation de la fonction (par descente de gradient par exemple). Cette opération peut être formalisée de la manière suivante : ni 1 iig = i=1 25 aB - L(xi- tiB 2 1 V, =1 )2 X-LLp al3 E 18 Où /LB représente la moyenne de toutes les imagettes du batch B, et o-B désigne la déviation standard relative au même batch. 2i représente le signal centré normalisé et yi définit le signal de sortie final shifté avec deux paramètres y et fi respectivement. FC ( pour « Fully connected », en anglais), est une opération permettant de regrouper toutes 5 les réponses neuronales obtenues à partir d'une donnée d'entrée initiale pour constituer une représentation encodée de cette donnée d'entrée. Notre réseau comporte deux couches FC (FC6, FC7). La première permet de constituer une représentation de dimension (1x1024), et la deuxième reconstitue une représentation finale de même dimension que la localisation 3D qu'on veut régresser ou prédire, à savoir 1x3. Cette opération est, analytiquement, définie 10 comme suit : yi = W. xi + hT Où x et y représentent respectivement les représentations de la donnée à l'entrée et à la sortie de la couche FC respectivement, W définit les poids à apprendre au niveau de cette 15 couche, et bT est le biais. - RELU (pour « Rectified Linear Unit », en anglais), est un opérateur non linéaire qui calcule les activations des neurones par une excitation donnée. Dans notre réseau, chaque convolution est suivie d'une couche relu pour introduire une non-linéarité importante dans le comportement du réseau et obtenir une meilleure discrimination. Cette rectification 20 s'applique sur la fonction d'activation standard utilisée précédemment qui est par exemple la fonction sigmoïde représentée comme suit : f (x) 1 25 1 + e-x Cette fonction représente une limitation importante pour la convergence de l'apprentissage. On peut la rectifier de la manière suivante : f(x) = max(0,x) 30 19 ce qui permet un résultat plus consistant et rapide en terme de convergence. - Fonction de perte ou LOSS : Dans la phase d'apprentissage, les poids du réseau xyzNet sont appris en minimisant une fonction de perte d'objectif euclidienne avec un algorithme d'optimisation descendant gradient stochastique. La fonction de perte est alors définie 5 comme suit: loss = norm(1oc3D' - 1oc35"rid k ) kEB Cette fonction de perte évalue la qualité de la localisation 3D prédite. Cette localisation se réduit à 3 coordonnées (x,y,z), ce qui la rend plus facile à optimiser que celle associée à un 10 système de prédiction automatique de la pose de la caméra, du type « posenet », dont la donnée de sortie comprend 6 paramètres (3 translations et 3 rotations). Dans ce mode de réalisation de l'invention, 500 imagettes sont extraites de chaque image avec la contrainte que deux imagettes ne se chevauchent pas plus de 70%. Les imagettes d'entraînement 15 sont normalisées par soustraction de la valeur d'intensité moyenne de tous les imagettes. En relation avec la Figure 9, on décrit maintenant le procédé d'estimation de pose dans sa phase de test, selon un premier mode de réalisation de l'invention. - Au cours d'une étape El, on obtient une image d'entrée I acquise par une caméra RGB 2D, par exemple de dimensions VGA 640x480. Chaque élément d'image comprend 3 intensités 20 R, G et B. - Au cours d'une étape E2, on extrait de l'image I un nombre K prédéterminé, par exemple égal à 500, de points clés KP, par exemple selon la méthode SURF précédemment décrite. - Au cours d'une étape E3, on forme autant d'imagettes ou patches Pk que de points clés extraits, une imagette étant centrée sur un point clé KPk et de dimensions prédéterminées, 25 par exemple égales à 49x49. A l'issue de cette étape, on dispose donc pour l'image I de K imagettes Pk avec k entier compris entre 1 et K, à présenter en entrée du système de prédiction automatique, qui est dans cet exemple de réalisation, le réseau de neurones convolutif xyznet qui a subi la phase d'apprentissage précédemment décrite. - Au cours d'une étape E4, les K imagettes {Pk} sont traitées par le réseau xyznet, qui 30 produit une prédiction de localisation 3D par imagette Pk :Loc3Dtorid (xik4forld ztorld) 20 - En ES, on estime la pose H = [RIT] (R : rotation,T : translation) de l'image I à partir des K prédictions de localisation 3D des K imagettes extraites de l'image I. Dans ce mode de réalisation, illustré par la Figure 10, l'estimation de pose ES est réalisée en générant en E51 plusieurs hypothèses de poses à partir de sous-ensembles choisis aléatoirement parmi les K 5 localisations prédites par le système de prédiction automatique et en sélectionnant en E52 l'hypothèse de pose qui minimise une erreur de reprojection. Plus précisément, la sous-étape E51 comprend : - Une détermination aléatoire E511 d'un sous-ensemble SE de M avec 2 2D définie comme suit : reproj (X) = K 11-1. X Avec 25 Hn (R t) 0 Où R et t définissent la rotation et la translation de la caméra avec ses paramètres intrinsèques K. On définit les points d'intérêts correctement prédits (pour « inliers », en anglais) en 30 optimisant l'expression suivante : 21 mHiaxI p(a1) jEB Où norm(Loc2D - K.11F1Loc3Dr°7-1d) T On définit notre fonction p comme suit : 5 fi if a G 0 P(a) = 0 otherwise r est le seuil maximal d'erreur de reprojection qui définit les inliers. Ces étapes sont itérées N fois, avec N entier non nul, selon un algorithme dit de Ransac (pour 10 « Random Sample Access », en anglais). En E52, on sélectionne parmi les hypothèses de pose H, la meilleure hypothèse de pose H parmi N obtenues, comme celle qui obtient l'erreur de reprojection Er la plus faible sur ses 3 points d'intérêts définis comme inliers. La prise en compte des inliers seulement permet d'éliminer les prédictions bruyantes ou erronées 15 fournies par le réseau de neurones convolutif. Avantageusement, le nombre d'inliers associés à une hypothèse est utilisé pour évaluer une mesure de confiance associée à la pose de caméra estimée. Par exemple, on la définit en considérant qu'un nombre d'inliers égal à 80 représente approximativement une erreur de translation de 5 cm et une erreur de rotation de 2 degrés en 20 moyenne. Ces valeurs représentent un seuil de précision important en réalité augmentée. On associe de ce fait une mesure de confiance maximale de 100% à un nombre supérieur ou égal à 80 inliers. Une telle mesure de confiance empirique permet d'injecter un aspect probabiliste à la méthode d'estimation de pose selon l'invention. Un avantage de l'invention est de combiner l'apprentissage en profondeur de multiples imagettes 25 avec une méthode de filtrage basée sur les algorithmes PnP et Ransac pour éliminer les outliers, par exemple localisés sur les objets en mouvement dans la scène ou encore les objets partiellement occultés. 22 En relation avec la Figure 11, on décrit maintenant le procédé d'estimation de pose selon un deuxième mode de réalisation de l'invention. Dans la phase de test, les étapes El à E3 sont inchangées par rapport au premier mode de réalisation décrit en relation avec la figure 9. On décrit maintenant une étape E4' de prédiction des localisations 3D des points clés extraits de 5 l'image d'entrée. Selon ce deuxième mode de réalisation, elle comprend les sous-étapes suivantes : extraction E41' d'un vecteur de caractéristiques par imagette centrée sur un point clé ; et application E42' du système de prédiction automatique pour obtenir une pluralité de localisations 3D prédites par vecteur de caractéristiques extrait. L'étape E5 d'estimation d'une pose de la caméra à partir de la pluralité de localisations 3D prédites 10 est inchangée. La sous-étape d'extraction d'un vecteur de caractéristiques par imagette peut être mise en oeuvre de différentes façons. Dans tous les cas, un vecteur de caractéristiques VCi est extrait à partir d'une imagette centrée sur un point clé KPi par une fonction d'extraction (1), telle que : VCi = (b(KPi) 15 Selon une première option, la fonction d) réalise une extraction de caractéristiques invariantes à partir du point clé KPi de l'imagette Pi, par exemple selon une technique de type SURF déjà citée. On notera que selon cette première option, l'imagette Pi formée en E3 est généralement de dimensions 16x16. Elle constitue un voisinage du point clé KPi, qui est subdivisé en 16 cellules de 4x4 pixels. Pour 20 chacune d'elles, on calcule les réponses horizontales et verticales d'ondelettes de Haar . dx,dy respectivement, ainsi que les valeurs absolues de ces réponses Idxj,Idy. On obtient ainsi un vecteur de 4 valeurs {dx, Idxj,dy, idyl) par cellule. Il en résulte un vecteur de 64 caractéristiques qui décrivant de façon robuste une variabilité et une orientation des intensités des pixels dans le voisinage du point clé KPi. La figure 12 illustre visuellement un exemple de vecteur de caractéristiques obtenu 25 avec la méthode SURF. Selon une deuxième option, la fonction çb réalise une extraction de caractéristiques à l'aide d'un système de prédiction automatique supervisé. En relation avec la figure 13, le système de prédiction automatique supervisé comprend par exemple un réseau de neurones à couches CNN2. Avantageusement, le réseau de neurones CNN2 comprend la pluralité de couches de convolution du 30 réseau CNN1 décrit en relation avec le premier mode de réalisation, mais, contrairement au réseau 23 de neurones CNN1, il ne comprend pas de couches de connexion FC. Par exemple, le vecteur de caractéristiques VCi obtenu comprend 2048 caractéristiques. L'apprentissage du réseau de neurones CNN2 est avantageusement réalisé à partir d'un ensemble d'apprentissage décrit dans le premier mode de réalisation et à l'aide du réseau de neurones CNN1. 5 Pour rappel, cet ensemble d'apprentissage associe à une pluralité d'imagettes d'entrée la pluralité de localisations 3D attendues, ou vérités terrain. Une fois l'apprentissage réalisé, il suffit de supprimer les couches de connexion pour obtenir le réseau CNN2. La sous-étape E42' applique avantageusement un système de prédiction automatique de type forêt 10 décisionnelle aléatoire que l'on désignera dans la suite par « DeepForest. La technique de forêt décisionnelle aléatoire est connue de l'homme de métier et par exemple décrite dans le document de Shotton et al., intitulé « Scene Coordinate Regression Forests for Camera Relocalisation in RGBD images », publié par la Conférence IEEE Conference on Computer Vision and Pattern Recognition, en 2013. L'invention, dans son deuxième mode de réalisation, adapte une forêt décisionnelle à la 15 prédiction de localisation 3D de points clés d'une image 2D. Les spécificités de la forêt décisionnelle DeepForest vont maintenant être décrites en relation avec la Figure 14. Une forêt décisionnelle aléatoire comprend plusieurs arbres, typiquement M, avec M entier non nul. Chaque arbre ADm, avec m entier compris entre 1 et M, reçoit un sous-ensemble choisi de façon aléatoire d'une collection E d'échantillons d'apprentissage. Un arbre comprend des noeuds 20 intermédiaires S, au niveau desquels il se sépare en deux branches, qui aboutissent à deux noeuds fils gauche respectivement droit SL, SR. Un test binaire simple h est réalisé à chaque noeud intermédiaire S. En fonction de son résultat, un échantillon de données et son étiquette ou vérité terrain associée, sont dirigés vers le noeud fils de gauche ou le noeud fils de droite. Les paramètres ei du test binaire h appliqué au niveau d'un noeud Si sont générés aléatoirement au 25 cours de l'apprentissage. A l'issue de cette phase, on choisit les valeurs de paramètres qui réalisent une séparation optimale des échantillons au niveau d'un noeud non feuille. Un critère est notamment qu'elle produise deux deux groupes homogènes d'un point de vue de leur valeur de localisation 3D. Selon l'invention, un échantillon de données comprend un vecteur de caractéristiques VCk et son étiquette associée, à savoir la localisation Loc3D du point clé KPk correspondant dans le référentiel 30 monde. 24 Classiquement, les échantillons d'entrée comprennent plusieurs composantes ou canaux de données et le test binaire s'applique à ddes données d'un canal choisi aléatoirement dans un échantillon. Il s'agit par exemple d'une différence entre deux valeurs pixels d'une image d'intensités. Selon l'invention, on réalise le test binaire hi au niveau du noeud Si sur l'ensemble des composantes 5 du vecteur de caractéristiques VCk, de la façon suivante : hi( tic 0, si d(VCRef,,VCk) REVENDICATIONS1. Procédé d'estimation de pose d'une caméra dans un référentiel d'une scène tridimensionnelle, comprenant les étapes suivantes : - Obtention (El) d'une image d'intensités de couleur de la scène capturée par la caméra, dite image courante ; - Extraction (E2) d'une pluralité de points d'intérêt de l'image courante, un dit point étant invariant par transformation géométrique de l'image ; - Formation (E3) d'une pluralité d'imagettes dans l'image d'intensités de couleur, une imagette comprenant un point d'intérêt de la pluralité extraite; Prédiction (E4) des localisations 3D des points d'intérêt de la pluralité d'imagettes dans un référentiel de la scène, par application d'un système de prédiction automatique, ledit système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des imagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis une pluralité de points de vue, une imagette étant associée dans ledit ensemble à une position 2D de son point d'intérêt dans un référentiel de l'image et à une position 3D de son point d'intérêt dans le référentiel de la scène; - Estimation (ES) d'une pose de la caméra pour l'image courante, par mise en correspondance des positions 2D de la pluralité de points d'intérêt et de reprojections dans le référentiel de l'image courante des localisations 3D prédites. 2. Procédé d'estimation de pose d'une caméra selon la revendication 1, caractérisé en ce que l'étape de prédiction prédit une localisation 3D par imagette par application d'un système de prédiction automatique comprenant un réseau de neurones comprenant plusieurs couches de convolution et plusieurs couches de connexion. 3. Procédé d'estimation de pose d'une caméra selon la revendication 1, caractérisé en ce que l'étape de prédiction comprend en outre une extraction d'un vecteur de caractéristiques par imagette et en ce que l'application du système de prédiction automatique prédit une pluralité de localisations 3D par vecteur de caractéristiques extrait. 4. Procédé d'estimation de pose d'une caméra selon la revendication 3, caractérisé en ce que, le système de prédiction automatique comprenant une forêt aléatoire décisionnelle, comprenant des arbres de décision, un arbre de décision comprenant des noeuds séparateurs, undit noeud 36 étant apte à séparer de façon binaire un groupe de vecteurs de caractéristiques issu d'un noeud amont en sous-groupes, à transmettre les sous-groupes à des noeuds séparateurs aval et des noeuds feuilles, aptes à stocker les localisations 3D des imagettes associées à un sous-groupe reçu d'un noeud séparateur amont, le procédé comprend dans une phase préalable une étape 5 (A4) d'entraînement du système de prédiction comprenant un test de séparation binaire basé sur un calcul de distance entre le vecteur de caractéristiques extrait d'une imagette de l'ensemble d'apprentissage et un vecteur de caractéristiques de référence (VCref,) et une comparaison de la distance calculée par rapport à un seuil prédéterminé. 5. Procédé d'estimation de pose d'une caméra selon la revendication 3 ou 4, caractérisé en ce que 10 l'extraction comprend une prédiction du vecteur de caractéristiques par application d'un deuxième système de prédiction automatique, ledit système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des imagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis une pluralité de points de vue, une innagette étant associée dans ledit ensemble à une position 2D de son point d'intérêt dans un référentiel de l'image et à une 15 position 3D de son point d'intérêt dans le référentiel de la scène. 6. Procédé d'estimation de pose d'une caméra selon les revendications 4 et 5, caractérisé en ce que, le deuxième système de prédiction automatique comprenant un réseau de neurones (CNN2) comprenant plusieurs couches de convolution, le procédé comprend dans une phase préalable une étape d'entraînement du deuxième système à partir de l'ensemble 20 d'apprentissage, après ajout audit réseau de neurones d'une pluralité de couches de connexion agencées à la suite des couches de convolution. 7. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'une phase préalable d'apprentissage comprend une étape d'obtention (A3) de localisations 3D de la pluralité de points d'intérêt dans le référentiel de la scène, dites de vérité terrain par triangulation 25 géométrique des positions 2D du point dans l'image et dans une image précédente. 8. Procédé selon l'une des revendications 1 à 7, caractérisé en ce qu'une phase préalable d'apprentissage comprend une étape d'acquisition d'une image de profondeur associée à une image d'intensité, l'ensemble d'apprentissage comprend en outre l'image de profondeur associée à l'image d'intensité, une étape d'obtention (A3) de localisations 3D de la pluralité de 30 points d'intérêt dans le référentiel de la scène, dites de vérité terrain par projection perspective de leurs position 2D et profondeur à l'aide d'un modèle prédéterminé de la caméra et de la pose connue, dans le référentiel de la scène. 37 9. Procédé d'estimation de pose d'une caméra selon la revendication 1, caractérisé en ce que l'estimation de pose comprend la mise en oeuvre d'au moins une itération des sous-étapes suivantes : Détermination (E51) d'un sous-ensemble de la pluralité de points d'intérêt ; 5 Calcul (E52) d'au moins une hypothèse de pose à partir des localisations 3D prédites pour le sous-ensemble et des positions 2D correspondantes; et - Evaluation (E53) d'une erreur de reprojection des positions 2D de la pluralité de points d'intérêt dans le référentiel de la scène à l'aide de l'hypothèse de pose calculée par rapport aux localisations 3D prédites ; 10 et en ce qu'elle comprend une sélection (E6) de l'hypothèse de pose qui minimise l'erreur de reprojection. 10. Procédé selon la revendication 9, caractérisé en ce qu'une mesure de confiance de la pose estimée est évaluée au moins en fonction d'un nombre de points d'intérêt, pour lesquels l'erreur de reprojection est inférieure à un seuil prédéterminé. 15 11. Procédé selon l'une des revendications 9 ou 10, en ce qu'elle dépend de la revendication 4, caractérisé en ce que, la pluralité de localisations 3D prédites par la forêt comprenant une distribution de localisations 3D prédites par arbre, unedite distribution étant associée à une mesure de covariance, l'étape d'estimation (E5) comprend une sous-étape préalable (E50) de filtrage de la pluralité de distributions de localisations 3D prédites par comparaison de la 20 mesure de covariance associée une distribution à un seuil (-1-0,) prédéterminé et suppression de la distribution prédictions dont la mesure de covariance est supérieure ou égale audit seuil. 12. Dispositif (100) d'estimation de pose d'une caméra dans un référentiel d'une scène tridimensionnelle, ledit dispositif comprenant une machine de calcul dédiée à ou configurée pour : 25 - Obtenir une image d'intensités de couleur de la scène capturée par la caméra, dite image courante ; - Extraire une pluralité de points d'intérêt de l'image courante, un dit point étant invariant par transformation géométrique de l'image ; - Former une pluralité d'imagettes dans l'image d'intensités de couleur, une imagette 30 comprenant un point d'intérêt de la pluralité extraite; 38 Prédire des localisations 3D des points d'intérêt de la pluralité d'imagettes dans un référentiel de la scène, par application d'un système de prédiction automatique, ledit système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des imagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis 5 une pluralité de points de vue, une imagette étant associée à une position 2D de son point d'intérêt dans un référentiel de l'image et à une position 3D de son point d'intérêt dans le référentiel de la scène; Estimer une pose de la caméra pour l'image courante, par mise en correspondance des positions 2D de la pluralité de points d'intérêt et de reprojections dans le 10 référentiel de l'image courante des localisations 3D prédites. 13. Système (10) de réalité augmentée comprenant : une caméra (MACQ) apte à acquérir une image d'intensités de couleurs d'une scène tridimensionnelle réelle, un module (COMP) de composition d'images apte à composer une image de sortie à partir 15 d'une image d'entrée acquise de la scène par la caméra et au moins un objet réel ou virtuel, à l'aide d'une localisation 3D initiale dudit au moins un objet dans la scène et d'une pose estimée de la caméra, un module (DISP) d'affichage apte à restituer l'image de sortie, caractérisé en ce qu'il comprend un dispositif d'estimation de pose de la caméra selon la 20 revendication 12. 14. Programme d'ordinateur (Pgl) comportant des instructions pour la mise en oeuvre du procédé de procédé d'estimation de pose d'une caméra selon l'une quelconque des revendications 1 à 11, lorsque ledit programme est exécuté par un processeur. 15. Support d'enregistrement lisible par un ordinateur, sur lequel est enregistré un programme 25 d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon l'une des revendications 1 à 11.