Brevet FR3073312A1 (20190510)

REVENDICATIONS1. Procédé d'estimation de pose d'une caméra dans un référentiel d'une scène tridimensionnelle, comprenant les étapes suivantes : - Obtention (El) d'une image d'intensités de couleur de la scène capturée par la caméra, dite image courante ; - Extraction (E2) d'une pluralité de points d'intérêt de l'image courante, un dit point étant invariant par transformation géométrique de l'image ; - Formation (E3) d'une pluralité d'imagettes dans l'image d'intensités de couleur, une imagette comprenant un point d'intérêt de la pluralité extraite; Prédiction (E4) des localisations 3D des points d'intérêt de la pluralité d'imagettes dans un référentiel de la scène, par application d'un système de prédiction automatique, ledit système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des imagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis une pluralité de points de vue, une imagette étant associée dans ledit ensemble à une position 2D de son point d'intérêt dans un référentiel de l'image et à une position 3D de son point d'intérêt dans le référentiel de la scène; - Estimation (ES) d'une pose de la caméra pour l'image courante, par mise en correspondance des positions 2D de la pluralité de points d'intérêt et de reprojections dans le référentiel de l'image courante des localisations 3D prédites.\n<CLM>\1\tProcédé d'estimation de pose d'une caméra selon la revendication 1, caractérisé en ce que l'étape de prédiction prédit une localisation 3D par imagette par application d'un système de prédiction automatique comprenant un réseau de neurones comprenant plusieurs couches de convolution et plusieurs couches de connexion.\n<CLM>\1\tProcédé d'estimation de pose d'une caméra selon la revendication 1, caractérisé en ce que l'étape de prédiction comprend en outre une extraction d'un vecteur de caractéristiques par imagette et en ce que l'application du système de prédiction automatique prédit une pluralité de localisations 3D par vecteur de caractéristiques extrait.\n<CLM>\1\tProcédé d'estimation de pose d'une caméra selon la revendication 3, caractérisé en ce que, le système de prédiction automatique comprenant une forêt aléatoire décisionnelle, comprenant des arbres de décision, un arbre de décision comprenant des noeuds séparateurs, undit noeud 36 étant apte à séparer de façon binaire un groupe de vecteurs de caractéristiques issu d'un noeud amont en sous-groupes, à transmettre les sous-groupes à des noeuds séparateurs aval et des noeuds feuilles, aptes à stocker les localisations 3D des imagettes associées à un sous-groupe reçu d'un noeud séparateur amont, le procédé comprend dans une phase préalable une étape 5 (A4) d'entraînement du système de prédiction comprenant un test de séparation binaire basé sur un calcul de distance entre le vecteur de caractéristiques extrait d'une imagette de l'ensemble d'apprentissage et un vecteur de caractéristiques de référence (VCref,) et une comparaison de la distance calculée par rapport à un seuil prédéterminé.\n<CLM>\1\tProcédé d'estimation de pose d'une caméra selon la revendication 3 ou 4, caractérisé en ce que 10 l'extraction comprend une prédiction du vecteur de caractéristiques par application d'un deuxième système de prédiction automatique, ledit système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des imagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis une pluralité de points de vue, une innagette étant associée dans ledit ensemble à une position 2D de son point d'intérêt dans un référentiel de l'image et à une 15 position 3D de son point d'intérêt dans le référentiel de la scène.\n<CLM>\1\tProcédé d'estimation de pose d'une caméra selon les revendications 4 et 5, caractérisé en ce que, le deuxième système de prédiction automatique comprenant un réseau de neurones (CNN2) comprenant plusieurs couches de convolution, le procédé comprend dans une phase préalable une étape d'entraînement du deuxième système à partir de l'ensemble 20 d'apprentissage, après ajout audit réseau de neurones d'une pluralité de couches de connexion agencées à la suite des couches de convolution.\n<CLM>\1\tProcédé selon l'une des revendications précédentes, caractérisé en ce qu'une phase préalable d'apprentissage comprend une étape d'obtention (A3) de localisations 3D de la pluralité de points d'intérêt dans le référentiel de la scène, dites de vérité terrain par triangulation 25 géométrique des positions 2D du point dans l'image et dans une image précédente.\n<CLM>\1\tProcédé selon l'une des revendications 1 à 7, caractérisé en ce qu'une phase préalable d'apprentissage comprend une étape d'acquisition d'une image de profondeur associée à une image d'intensité, l'ensemble d'apprentissage comprend en outre l'image de profondeur associée à l'image d'intensité, une étape d'obtention (A3) de localisations 3D de la pluralité de 30 points d'intérêt dans le référentiel de la scène, dites de vérité terrain par projection perspective de leurs position 2D et profondeur à l'aide d'un modèle prédéterminé de la caméra et de la pose connue, dans le référentiel de la scène. 37\n<CLM>\1\tProcédé d'estimation de pose d'une caméra selon la revendication 1, caractérisé en ce que l'estimation de pose comprend la mise en oeuvre d'au moins une itération des sous-étapes suivantes : Détermination (E51) d'un sous-ensemble de la pluralité de points d'intérêt ; 5 Calcul (E52) d'au moins une hypothèse de pose à partir des localisations 3D prédites pour le sous-ensemble et des positions 2D correspondantes; et - Evaluation (E53) d'une erreur de reprojection des positions 2D de la pluralité de points d'intérêt dans le référentiel de la scène à l'aide de l'hypothèse de pose calculée par rapport aux localisations 3D prédites ; 10 et en ce qu'elle comprend une sélection (E6) de l'hypothèse de pose qui minimise l'erreur de reprojection.\n<CLM>\1\tProcédé selon la revendication 9, caractérisé en ce qu'une mesure de confiance de la pose estimée est évaluée au moins en fonction d'un nombre de points d'intérêt, pour lesquels l'erreur de reprojection est inférieure à un seuil prédéterminé. 15\n<CLM>\1\tProcédé selon l'une des revendications 9 ou 10, en ce qu'elle dépend de la revendication 4, caractérisé en ce que, la pluralité de localisations 3D prédites par la forêt comprenant une distribution de localisations 3D prédites par arbre, unedite distribution étant associée à une mesure de covariance, l'étape d'estimation (E5) comprend une sous-étape préalable (E50) de filtrage de la pluralité de distributions de localisations 3D prédites par comparaison de la 20 mesure de covariance associée une distribution à un seuil (-1-0,) prédéterminé et suppression de la distribution prédictions dont la mesure de covariance est supérieure ou égale audit seuil.\n<CLM>\1\tDispositif (100) d'estimation de pose d'une caméra dans un référentiel d'une scène tridimensionnelle, ledit dispositif comprenant une machine de calcul dédiée à ou configurée pour : 25 - Obtenir une image d'intensités de couleur de la scène capturée par la caméra, dite image courante ; - Extraire une pluralité de points d'intérêt de l'image courante, un dit point étant invariant par transformation géométrique de l'image ; - Former une pluralité d'imagettes dans l'image d'intensités de couleur, une imagette 30 comprenant un point d'intérêt de la pluralité extraite; 38 Prédire des localisations 3D des points d'intérêt de la pluralité d'imagettes dans un référentiel de la scène, par application d'un système de prédiction automatique, ledit système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des imagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis 5 une pluralité de points de vue, une imagette étant associée à une position 2D de son point d'intérêt dans un référentiel de l'image et à une position 3D de son point d'intérêt dans le référentiel de la scène; Estimer une pose de la caméra pour l'image courante, par mise en correspondance des positions 2D de la pluralité de points d'intérêt et de reprojections dans le 10 référentiel de l'image courante des localisations 3D prédites.\n<CLM>\1\tSystème (10) de réalité augmentée comprenant : une caméra (MACQ) apte à acquérir une image d'intensités de couleurs d'une scène tridimensionnelle réelle, un module (COMP) de composition d'images apte à composer une image de sortie à partir 15 d'une image d'entrée acquise de la scène par la caméra et au moins un objet réel ou virtuel, à l'aide d'une localisation 3D initiale dudit au moins un objet dans la scène et d'une pose estimée de la caméra, un module (DISP) d'affichage apte à restituer l'image de sortie, caractérisé en ce qu'il comprend un dispositif d'estimation de pose de la caméra selon la 20 revendication\n<CLM>\1\t14. Programme d'ordinateur (Pgl) comportant des instructions pour la mise en oeuvre du procédé de procédé d'estimation de pose d'une caméra selon l'une quelconque des revendications 1 à 11, lorsque ledit programme est exécuté par un processeur.\n<CLM>\1\tSupport d'enregistrement lisible par un ordinateur, sur lequel est enregistré un programme 25 d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon l'une des revendications 1 à 11.