Brevet FR3073311A1 (20190510)

REVENDICATIONS1. Procédé d'estimation de pose d'une caméra dans un référentiel d'une scène tridimensionnelle, comprenant les étapes suivantes : - Obtention (El) d'une image d'intensités de couleur de la scène capturée par la caméra, dite image courante ; - Extraction (E2) d'une pluralité de points d'intérêt de l'image courante, un dit point étant invariant par transformation géométrique de l'image ; - Formation (E3) d'une pluralité d'innagettes dans l'image d'intensités de couleur, une innagette comprenant un point d'intérêt de la pluralité extraite; - Prédiction (E4) des localisations 3D des points d'intérêt de la pluralité d'innagettes dans un référentiel de la scène, par application d'un système de prédiction automatique, ledit système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des innagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis une pluralité de points de vue, une innagette étant associée à une position 2D de son point d'intérêt dans un référentiel de l'image et à une position 3D de son point d'intérêt dans le référentiel de la scène; - Estimation (E5) d'une pose de la caméra pour l'image courante, par mise en correspondance des positions 2D de la pluralité de points d'intérêt et de reprojections dans le référentiel de l'image courante des localisations 3D prédites.\n<CLM>\1\tProcédé d'estimation de pose d'une caméra selon la revendication 1, caractérisé en ce que l'estimation de pose comprend la mise en oeuvre d'au moins une itération des sous-étapes suivantes : - Détermination (E51) d'un sous-ensemble de la pluralité de points d'intérêt ; - Calcul (E52) d'au moins une hypothèse de pose à partir des localisations 3D prédites pour le sous-ensemble et des positions 2D correspondantes; et - Evaluation (E53) d'une erreur de reprojection des positions 2D de la pluralité de points d'intérêt dans le référentiel de la scène à l'aide de l'hypothèse de pose calculée par rapport aux localisations 3D prédites ; et en ce qu'elle comprend une sélection (E6) de l'hypothèse de pose qui minimise l'erreur de reprojection. 26 27\n<CLM>\1\tProcédé selon la revendication 2, caractérisé en ce qu'une mesure de confiance de la pose estimée est évaluée au moins en fonction d'un nombre de points d'intérêt, pour lesquels l'erreur de reprojection est inférieure à un seuil prédéterminé.\n<CLM>\1\tProcédé selon l'une des revendications précédentes, caractérisé en ce qu'il comprend une 5 phase préalable d'apprentissage comprenant les étapes suivantes : Obtention (Al.) d'un ensemble d'apprentissage comprenant une pluralité de d'images d'intensité de couleur de la scène acquises par la caméra, depuis une pluralité de points de vue, un point de vue étant associé à une pose connue de la caméra; Extraction (A2) d'une pluralité de points d'intérêt de ladite image d'intensités de couleurs, 10 un dit point étant associé à une position 2D dans l'image d'intensités ; Obtention (A3) de localisations 3D de la pluralité de points d'intérêt dans le référentiel de la scène, dites de vérité terrain; Entraînement (A4) du système automatique de prédiction de pose à partir des couples d'innagettes, un couple d'innagettes étant associé à la position 2D de son point d'intérêt 15 dans un référentiel de l'image et à la localisation 3D de son point d'intérêt dans le référentiel de la scène.\n<CLM>\1\tProcédé selon la revendication 4, caractérisé en ce que, dans la phase d'apprentissage, la localisation 3D de vérité terrain d'un point d'intérêt de l'image d'intensités associée à une pose connue est obtenue par triangulation géométrique des positions 2D du point dans l'image 20 et dans une image précédente.\n<CLM>\1\tProcédé selon la revendication 4, caractérisé en ce que, dans la phase d'apprentissage, la caméra étant configurée pour acquérir simultanément une image de profondeur associée à une image d'intensités : - l'ensemble d'apprentissage obtenu comprend une pluralité de couples d'images 25 d'intensité de couleur et de profondeur de la scène, depuis une pluralité de points de vue, un point de vue étant associé à une pose connue de la caméra; - les localisations 3D des points d'intérêt sont obtenues par projection perspective de leurs position 2D et profondeur à l'aide d'un modèle prédéterminé de la caméra et de la pose connue, dans le référentiel de la scène. 28\n<CLM>\1\tProcédé selon l'une des revendications 4 à 6, caractérisé en ce que caractérisé en ce que, la prédiction étant réalisée par un réseau de neurones, ledit réseau comprenant 5 étages de convolution.\n<CLM>\1\tDispositif (100) d'estimation de pose d'une caméra dans un référentiel d'une scène 5 tridimensionnelle, ledit dispositif comprenant une machine de calcul dédiée à ou configurée pour : - Obtenir une image d'intensités de couleur de la scène capturée par la caméra, dite image courante ; - Extraire une pluralité de points d'intérêt de l'image courante, un dit point étant 10 invariant par transformation géométrique de l'image ; - Former une pluralité d'innagettes dans l'image d'intensités de couleur, une innagette comprenant un point d'intérêt de la pluralité extraite; - Prédire des localisations 3D des points d'intérêt de la pluralité d'innagettes dans un référentiel de la scène, par application d'un système de prédiction automatique, ledit 15 système ayant été entraîné à l'aide d'un ensemble d'apprentissage comprenant des innagettes issues d'une pluralité d'images de la scène acquises par la caméra depuis une pluralité de points de vue, une innagette étant associée à une position 2D de son point d'intérêt dans un référentiel de l'image et à une position 3D de son point d'intérêt dans le référentiel de la scène; 20 - Estimer une pose de la caméra pour l'image courante, par mise en correspondance des positions 2D de la pluralité de points d'intérêt et de reprojections dans le référentiel de l'image courante des localisations 3D prédites.\n<CLM>\1\tSystème (10) de réalité augmentée comprenant : une caméra (MACQ) apte à acquérir une image d'intensités de couleurs d'une scène 25 tridimensionnelle réelle, un module (COMP) de composition d'images apte à composer une image de sortie à partir d'une image d'entrée acquise de la scène par la caméra et au moins un objet réel ou virtuel, à l'aide d'une localisation 3D initiale dudit au moins un objet dans la scène et d'une pose estimée de la caméra, 30 un module (DISP) d'affichage apte à restituer l'image de sortie, 29 caractérisé en ce qu'il comprend un dispositif d'estimation de pose de la caméra selon la revendication\n<CLM>\1\t10. Programme d'ordinateur (PO) comportant des instructions pour la mise en oeuvre du procédé de suivi de cible selon l'une quelconque des revendications 1 à 7, lorsque ledit programme est 5 exécuté par un processeur.\n<CLM>\1\tSupport d'enregistrement lisible par un ordinateur, sur lequel est enregistré un programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon l'une des revendications 1 à\n<CLM>\1\t10