Brevet FR3076028A1 — publié le 20190628

Méthode de reconnaissance d'objets dans une scène observée en trois dimensions L'invention concerne le domaine de la détection et de la 5 reconnaissance d'objets dans une scène observée par un capteur d'images en trois dimensions. L'invention porte précisément sur une méthode de reconnaissance d'objets dans une scène observée en trois dimensions, la méthode comprenant une segmentation des éléments de la scène puis une mise en 10 correspondance des segments avec des modèles géométriques prédéfinis. L'invention s'applique dans le domaine de la vision par ordinateur et de l'analyse automatique de scènes en 3D pour toute application industrielle qui nécessite la détection et la reconnaissance automatique d'objets dans une scène capturée en trois dimensions. Les applications possibles de 15 l'invention incluent notamment la robotique industrielle, les véhicules autonomes, les bâtiments intelligents, la vidéo surveillance, la vidéo protection mais aussi les applications liées à la réalité virtuelle. Un problème technique général que cherche à résoudre l'invention 20 concerne l'analyse sémantique automatique et temps réel d'une scène capturée par un capteur ou une caméra en trois dimensions. Plus précisément, un objectif de l'invention consiste, à partir d'un ensemble de points 3D capturés par une caméra filmant une scène 3D, à modéliser la scène, la décomposer en différents éléments correspondants aux éléments 25 de la scène et à caractériser sémantiquement et géométriquement chaque élément. Un problème technique plus spécifique concerne la capacité à reconnaitre des objets dans une scène observée en trois dimensions lorsque ces objets sont partiellement occultés. L'occultation d'un objet peut provenir 30 d'une autre partie du même objet ou d'un autre objet. Une partie d'un objet 2 peut aussi être occultée car elle se trouve en dehors du champ de vision de la caméra ou du capteur 3D. La littérature comporte de nombreux travaux sur la reconnaissance 5 d'objets en trois dimensions. On peut citer sans être exhaustif les solutions décrites dans les brevets ou demandes de brevet US 20160154999, US 9396545, US 20150288947 ou encore US 8885925. Un inconvénient général de ces méthodes est qu'elles ne proposent pas de solution efficace pour réaliser une reconnaissance fine des éléments 10 d'une scène 3D lorsque certains de ces éléments sont partiellement occultés. Il existe plusieurs niveaux de finesse dans la reconnaissance des objets 3D dans une scène. Par exemple pour la reconnaissance de la classe véhicule dans une scène routière, on peut définir quatre niveaux de finesse ou plus. Le premier niveau de reconnaissance concerne le gabarit d'un 15 véhicule : deux roues, véhicules légers, véhicules intermédiaires, poids lourds et autocars à deux essieux, poids lourds et autocars à trois essieux et plus. Le deuxième niveau de reconnaissance concerne le type de véhicule : vélo, moto, voiture, van, camion, bus, poids lourds. Le troisième niveau de reconnaissance concerne la catégorie du véhicule : routière, sportive, cruiser 20 ou scooter pour les motos, urbaine, citadine, compact, berline, SUV, Pick-up pour les voitures. Le quatrième niveau de reconnaissance concerne la marque et le modèle du véhicule. Alors que les méthodes de reconnaissance d'objets 3D selon l'art antérieur se limitent à des niveaux de reconnaissance grossiers, l'invention 25 permet d'effectuer une reconnaissance avec tous les niveaux de finesse. Par ailleurs, il est connu qu'une seule prise de vue d'une scène, c'est-à-dire à partir d'un seul point de vue, n'est pas suffisante pour modéliser entièrement une scène ou un sujet. En effet, du fait des problèmes d'occultation, d'auto-occultation ou de limitation du champ de vision de la 30 caméra, il est en général nécessaire de réaliser plusieurs prises de vue d'une 3 même scène afin de pouvoir modéliser complètement la scène et effectuer une reconnaissance précise des éléments qui la compose. Les méthodes de l'art antérieur utilisent en général plusieurs acquisitions de la même scène depuis différents points de vue pour produire plusieurs nuages de points associés. Les nuages de points recueillis sont ensuite regroupés et transformés dans un même système de coordonnées unique afin de reconstruire la scène selon tous les points de vue. Cette technique, notamment connue sous l'appellation « 3D scanning pipeline », est décrite dans la référence [1]. L'invention permet de supprimer les inconvénients des méthodes de reconnaissance d'objets 3D selon l'art antérieur en proposant une nouvelle méthode basée sur trois étapes principales. L'image acquise par un capteur en trois dimensions est tout d'abord segmentée afin de détecter les différents éléments de la scène. Ensuite, un nombre réduit de poses candidates est déterminé à partir de caractéristiques géométriques des segments détectés afin de limiter le nombre d'opérations à effectuer et ainsi de rester compatible d'une application temps réelle. Enfin, une recherche de la pose optimale parmi les poses candidates et d'un modèle géométrique optimal est réalisée pour chaque segment détecté en prenant en compte les occultations partielles éventuelles du segment. Pour arriver à ce résultat, chaque modèle géométrique candidat est incrusté dans la scène en trois dimensions selon la pose candidate et une comparaison avec le segment détecté d'une part et les autres segments de la scène d'autre part est réalisée. L'invention permet ainsi de modéliser entièrement une scène à partir d'une seule acquisition 3D de la scène faite par un scanner 3D depuis un seul point de vue. Un scanner 3D mesure les positions dans un système de coordonnées d'un échantillonnage de points 3D de la surface d'une scène. Les coordonnées des points 3D recueillies sont généralement clairsemées, c'est-à-dire que les surfaces des éléments de la scène sont représentées de manière discrète. L'invention propose de mettre en correspondance le nuage 4 de points discret fournit par le scanner 3D lors d'une observation d'une scène et des modèles géométriques continus (généralement surfaciques) prédéfinis à l'avance. Pour se rapprocher au mieux d'une observation continue de la scène, l'invention met en oeuvre une technique particulière d'incrustation des 5 modèles géométriques dans la scène 3D. Des points 3D virtuels sont calculés sur ces modèles, très proches des points 3D réellement acquis par le scanner 3D. En d'autres termes, l'invention exploite les paramètres d'acquisition du scanner 3D pour sélectionner sur le modèle géométrique les points 3D les plus proches d'un objet de la scène. L'intérêt de cette 10 technique est d'optimiser le choix des points 3D sur les modèles pour une meilleure mise en correspondance avec les points 3D acquis par le scanner 3D. L'invention a pour objet une méthode de reconnaissance d'objets 15 dans une image en trois dimensions, la méthode comprenant les étapes de : - recevoir une image d'une scène en trois dimensions acquise à l'aide d'un capteur 3D, l'image acquise comprenant une pluralité de points 3D étant chacun associé à un rayon reliant le point 3D au capteur 3D, 20 - recevoir une pluralité de modèles géométriques étant chacun associé à une classe d'objets, - déterminer une segmentation de la scène de manière à produire une pluralité de segments correspondants chacun à un élément de la scène, 25 - déterminer au moins une pose candidate pour chaque segment déterminé et chaque modèle géométrique, - pour chaque segment, chaque modèle géométrique et chaque pose candidate : - Incruster le modèle géométrique dans la scène selon la 30 pose candidate, 5 - Déterminer au moins un ensemble de points 3D parmi : un premier ensemble constitué des points d'intersection entre le modèle géométrique incrusté et les rayons des points dudit segment, un deuxième ensemble constitué des points 5 dudit segment dont les rayons n'intersectent pas le modèle géométrique incrusté, un troisième ensemble constitué des points d'intersection entre le modèle géométrique incrusté et les rayons des points de la scène hormis ledit segment, un quatrième ensemble constitué des points de la scène 10 hormis ledit segment dont les rayons n'intersectent pas le modèle géométrique incrusté, - calculer un score de mise en correspondance entre le modèle géométrique incrusté et ledit segment, en fonction d'au moins un critère de mise en correspondance pris 15 parmi : un critère de proximité entre le premier ensemble et ledit segment, un critère d'éloignement entre le deuxième ensemble et le modèle géométrique incrusté, un critère d'éloignement entre le troisième ensemble et ledit segment, un critère de proximité entre le quatrième ensemble et les 20 points de la scène hormis ledit segment. - déterminer un score optimal parmi l'ensemble des scores calculés, - sélectionner le modèle géométrique et la pose candidate correspondant au score optimal. Selon un aspect particulier de l'invention, le premier ensemble de 25 points comprend un premier sous-ensemble constitué des points du premier ensemble qui sont à une distance inférieure ou égale à un seuil prédéterminé des points dudit segment appartenant aux mêmes rayons respectifs et le critère de proximité entre le premier ensemble et ledit segment est fonction d'un premier critère de proximité secondaire pris parmi le cardinal du premier 30 sous-ensemble ou une première fonction de la somme des distances entre 6 les points du premier ensemble et les points dudit segment appartenant aux mêmes rayons respectifs. Selon un aspect particulier de l'invention, le premier ensemble de points comprend un second sous-ensemble constitué des points du premier 5 ensemble qui sont à une distance supérieure audit seuil prédéterminé des points dudit segment appartenant aux mêmes rayons respectifs et le critère de proximité entre le premier ensemble et ledit segment est fonction d'un second critère d'éloignement secondaire pris parmi le cardinal du second sous-ensemble ou une fonction de signe opposé à la première fonction. 10 Selon un aspect particulier de l'invention, le score de mise en correspondance est calculé à partir d'une combinaison linéaire d'au moins deux critères de mise en correspondance dans laquelle les coefficients de pondération appliqués au premier critère de proximité secondaire et au critère de proximité entre le quatrième ensemble et les points de la scène 15 hormis ledit segment sont de signes opposés aux coefficients de pondération appliqués au second critère d'éloignement secondaire, au critère d'éloignement entre le deuxième ensemble et le modèle géométrique incrusté et au critère d'éloignement entre le troisième ensemble et ledit segment. 20 Selon un aspect particulier de l'invention, le critère d'éloignement entre le deuxième ensemble et le modèle géométrique incrusté est pris parmi le cardinal du deuxième ensemble ou une deuxième fonction de la somme des distances minimales entre chaque point du deuxième ensemble et le modèle géométrique incrusté. 25 Selon un aspect particulier de l'invention, le critère d'éloignement entre le troisième ensemble et ledit segment est pris parmi le cardinal du troisième ensemble ou une troisième fonction de la somme des distances minimales entre chaque point du troisième ensemble et ledit segment. Selon un aspect particulier de l'invention, le critère de proximité entre 30 le quatrième ensemble et lesdits points de la scène hormis ledit segment est pris égal au cardinal du quatrième ensemble. 7 Selon un aspect particulier de l'invention, l'étape de déterminer au moins une pose candidate pour chaque segment et chaque modèle géométrique comprend : - la recherche d'au moins une caractéristique géométrique du 5 modèle géométrique, - l'élimination d'au moins une hypothèse de pose incompatible avec l'au moins une caractéristique géométrique du modèle géométrique. Selon un aspect particulier de l'invention, l'au moins une 10 caractéristique géométrique est prise parmi une caractéristique géométrique de symétrie ou une caractéristique géométrique d'orientation. Selon un aspect particulier de l'invention, l'étape de déterminer une segmentation de la scène comprend au moins les sous-étapes de : - Déterminer une première segmentation des éléments supports de 15 la scène, - Supprimer les points 3D appartenant à un segment de la première segmentation, - Déterminer une seconde segmentation des éléments structurants de la scène, chaque élément structurant étant connecté à au 20 moins un élément support. Selon un aspect particulier de l'invention, l'étape de déterminer au moins une pose candidate pour chaque segment comprend : - la sélection d'au moins une pose candidate pour chaque segment associé à un élément support de la scène, 25 - pour chaque segment associé à un élément structurant connecté audit élément support, l'élimination d'au moins une hypothèse de pose incompatible de l'au moins une pose candidate sélectionnée pour le segment associé audit élément support. 8 Dans un mode de réalisation particulier, la méthode de reconnaissance d'objets selon l'invention comprend une étape préalable d'alignement et de mise à l'échelle des modèles géométriques. L'invention a aussi pour objet un système de reconnaissance 5 comprenant un capteur 3D pour acquérir une image d'une scène en trois dimensions, l'image acquise comprenant une pluralité de points 3D étant chacun associé à un rayon reliant le point 3D au capteur 3D, le système comprenant en outre un dispositif configuré pour mettre en oeuvre une méthode de reconnaissance d'objets dans une image en trois dimensions 10 selon l'invention. L'invention a aussi pour objet un programme d'ordinateur comportant des instructions pour l'exécution de la méthode de reconnaissance d'objets dans une image en trois dimensions selon l'invention et un support d'enregistrement lisible par un processeur sur lequel est enregistré un 15 programme comportant des instructions pour l'exécution de la méthode de reconnaissance d'objets dans une image en trois dimensions selon l'invention, lorsque le programme est exécuté par un processeur. D'autres caractéristiques et avantages de la présente invention 20 apparaîtront mieux à la lecture de la description qui suit en relation aux dessins annexés qui représentent : - La figure 1, un organigramme détaillant les étapes de mise en oeuvre de la méthode de reconnaissance d'objets dans une scène 3D selon l'invention, 25 - Les figures 2a et 2b, deux illustrations du résultat d'une étape de segmentation d'éléments supports appliquée à une image d'une scène 3D, - Les figures 3a et 3b, deux illustrations du résultat d'une étape de segmentation d'éléments structurants appliquée à une image d'une 30 scène 3D, 9 - Les figures 4a à 4d, quatre illustrations, selon quatre points de vue différents, d'un segment structurant associé à une boite englobante, le segment comprenant un plan dominant, - Les figures 5a à 5p, seize illustrations de l'incrustation d'un modèle 5 géométrique de la classe des voitures dans une scène 3D selon seize poses candidates différentes, - Les figures 6a à 6d, quatre illustrations, selon quatre points de vue différents, des différents ensemble de points utilisés pour calculer un score de mise en correspondance entre un modèle géométrique et un 10 segment, - Les figures 7a et 7b, deux illustrations, respectivement en vue de droite et en vue de dessus, des résultats de la reconstruction complète d'une scène dans laquelle chaque segment est reconstruit par un modèle géométrique optimal incrusté selon une pose optimale, 15 - La figure 8, un schéma d'un système de reconnaissance d'objets en 3D selon l'invention. La figure 1 schématise, sur un organigramme, les principales étapes de mise en oeuvre de la méthode de reconnaissance d'objets dans une 20 scène 3D selon l'invention. Une première étape 101 de la méthode consiste à acquérir une ou plusieurs images 3D capturant une scène observée en trois dimensions. Cette acquisition peut être réalisée au moyen de tout capteur 3D ou caméra 3D ou dispositif équivalent permettant d'acquérir un nuage de points 25 représentant une scène observée, chaque point étant défini par trois coordonnées spatiales. Il existe notamment trois types de capteurs 3D permettant de réaliser la première étape 101 de l'invention. Un premier exemple de capteur 3D est un capteur LIDAR (Light Detection and Ranging) qui est un type de scanner 3D actif basé sur la 30 télédétection par laser. Pour acquérir une observation 3D d'une scène, le capteur LIDAR émet un rayon laser qui scanne la scène entièrement. 10 L'acquisition en 3D consiste à mesurer des distances fondées sur l'analyse des propriétés de faisceaux de lumière renvoyés par les objets de la scène vers le capteur LIDAR. Généralement, la distance entre le capteur et la surface de l'objet étudié est mesurée en comptant le temps nécessaire au 5 trajet aller-retour de l'impulsion du faisceau laser réfléchi. Les capteurs LIDAR ont la capacité de traiter entre 10 000 à 100 000 points par seconde. Les données produites par l'acquisition du capteur LIDAR sont un nuage de points 3D positionnant chacun des points échantillonnés par rapport au scanner 3D. 10 Un second exemple de capteur 3D est une caméra à temps de vol (ou TOF pour « time of Flight » en anglais). Ce type de capteurs 3D fournit une image de profondeur où chaque pixel correspond à la distance entre un point de la scène et un point spécifique. Un troisième exemple de capteur 3D est un scanner stéréoscopique, 15 composé généralement d'un ensemble de caméras ou d'un couple composé d'une caméra et d'un projecteur, associés à des traitements spécifiques tels que des calculs de disparité. Dans la suite, on désignera de façon indifférenciée le dispositif d'acquisition 3D par les termes capteur 3D ou scanner 3D ou caméra 3D. 20 Dans la première étape 101 du procédé objet de l'invention, la scène est observée à partir d'un capteur 3D qui produit un nuage de points 3D. Un nuage de points 3D, P = {pi = (xi, yi, zi); 0 Références [1] : "KinectFusion: Real-time dense surface mapping and tracking", Richard A. Newcombe, Shahram Izadi, Otmar Hilliges, David Molyneaux, David Kim, 5 Andrew J. Davison, Pushmeet Kohi, Jamie Shotton, Steve Hodges, Andrew Fitzgibbon. 10th IEEE International Symposium on Mixed and Augmented Reality, 2011. [2] "Alignment of 3D models", Mohamed Chaouch, Anne Verroust-Blondet 10 [3] : "A Fast Ground Segmentation Method for 3D Point Cloud", Phuong Chu, Seoungjae Cho, Sungdae Sim, Kiho Kwak and Kyungeun Cho. Journal of information processing systems, Volume 13, N° 3, 2017. 15 [4] : "Segmentation Based Classification of 3D Urban Point Clouds: A SuperVoxel Based Approach with Evaluation", Ahmad Kamal Aijazi, REVENDICATIONS1. Méthode de reconnaissance d'objets dans une image en trois dimensions, la méthode comprenant les étapes de : - recevoir (101) une image d'une scène en trois dimensions acquise à l'aide d'un capteur 3D, l'image acquise comprenant une pluralité de points 3D étant chacun associé à un rayon reliant le point 3D au capteur 3D, - recevoir (102) une pluralité de modèles géométriques étant chacun associé à une classe d'objets, - déterminer (103) une segmentation de la scène de manière à produire une pluralité de segments correspondants chacun à un élément de la scène, - déterminer (104) au moins une pose candidate pour chaque segment déterminé et chaque modèle géométrique, - pour chaque segment, chaque modèle géométrique et chaque pose candidate : - Incruster (105) le modèle géométrique dans la scène selon la pose candidate, - Déterminer au moins un ensemble de points 3D parmi : un premier ensemble constitué des points d'intersection entre le modèle géométrique incrusté et les rayons des points dudit segment, un deuxième ensemble constitué des points dudit segment dont les rayons n'intersectent pas le modèle géométrique incrusté, un troisième ensemble constitué des points d'intersection entre le modèle géométrique incrusté et les rayons des points de la scène hormis ledit segment, un quatrième ensemble constitué des points de la scène hormis ledit segment dont les rayons n'intersectent pas le modèle géométrique incrusté, - calculer (106) un score de mise en correspondance entre le modèle géométrique incrusté et ledit segment, en fonction d'au moins un critère de mise en correspondance pris parmi : un critère de proximité entre le premier ensemble et 5 ledit segment, un critère d'éloignement entre le deuxième ensemble et le modèle géométrique incrusté, un critère d'éloignement entre le troisième ensemble et ledit segment, un critère de proximité entre le quatrième ensemble et les points de la scène hormis ledit segment. 10 - déterminer (107) un score optimal parmi l'ensemble des scores calculés, - sélectionner (108) le modèle géométrique et la pose candidate correspondant au score optimal. 15 2. Méthode de reconnaissance d'objets selon la revendication 1 dans laquelle le premier ensemble de points comprend un premier sous-ensemble constitué des points du premier ensemble qui sont à une distance inférieure ou égale à un seuil prédéterminé des points dudit segment appartenant aux mêmes rayons respectifs et le critère de 20 proximité entre le premier ensemble et ledit segment est fonction d'un premier critère de proximité secondaire pris parmi le cardinal du premier sous-ensemble ou une première fonction de la somme des distances entre les points du premier ensemble et les points dudit segment appartenant aux mêmes rayons respectifs. 25 3. Méthode de reconnaissance d'objets selon la revendication 2 dans laquelle le premier ensemble de points comprend un second sous-ensemble constitué des points du premier ensemble qui sont à une distance supérieure audit seuil prédéterminé des points dudit segment 30 appartenant aux mêmes rayons respectifs et le critère de proximité entre le premier ensemble et ledit segment est fonction d'un second critère d'éloignement secondaire pris parmi le cardinal du second sous- ensemble ou une fonction de signe opposé à la première fonction. 4. Méthode de reconnaissance d'objets selon l'une des revendications 2 ou 5 3 dans laquelle le score de mise en correspondance est calculé à partir d'une combinaison linéaire d'au moins deux critères de mise en correspondance dans laquelle les coefficients de pondération appliqués au premier critère de proximité secondaire et au critère de proximité entre le quatrième ensemble et les points de la scène hormis ledit segment 10 sont de signes opposés aux coefficients de pondération appliqués au second critère d'éloignement secondaire, au critère d'éloignement entre le deuxième ensemble et le modèle géométrique incrusté et au critère d'éloignement entre le troisième ensemble et ledit segment. 15 5. Méthode de reconnaissance d'objets selon l'une des revendications précédentes dans laquelle le critère d'éloignement entre le deuxième ensemble et le modèle géométrique incrusté est pris parmi le cardinal du deuxième ensemble ou une deuxième fonction de la somme des distances minimales entre chaque point du deuxième ensemble et le 20 modèle géométrique incrusté. 6. Méthode de reconnaissance d'objets selon l'une des revendications précédentes dans laquelle le critère d'éloignement entre le troisième ensemble et ledit segment est pris parmi le cardinal du troisième 25 ensemble ou une troisième fonction de la somme des distances minimales entre chaque point du troisième ensemble et ledit segment. 7. Méthode de reconnaissance d'objets selon l'une des revendications précédentes dans laquelle le critère de proximité entre le quatrième 30 ensemble et lesdits points de la scène hormis ledit segment est pris égal au cardinal du quatrième ensemble. 8. Méthode de reconnaissance d'objets selon l'une des revendications précédentes dans laquelle l'étape (104) de déterminer au moins une pose candidate pour chaque segment et chaque modèle géométrique comprend : 5 - la recherche d'au moins une caractéristique géométrique du modèle géométrique, - l'élimination d'au moins une hypothèse de pose incompatible avec l'au moins une caractéristique géométrique du modèle géométrique. 10 9. Méthode de reconnaissance d'objets selon la revendication 8 dans laquelle l'au moins une caractéristique géométrique est prise parmi une caractéristique géométrique de symétrie ou une caractéristique géométrique d'orientation. 15 10. Méthode de reconnaissance d'objets selon l'une des revendications précédentes dans laquelle l'étape (103) de déterminer une segmentation de la scène comprend au moins les sous-étapes de : - Déterminer une première segmentation des éléments supports de 20 la scène, - Supprimer les points 3D appartenant à un segment de la première segmentation, - Déterminer une seconde segmentation des éléments structurants de la scène, chaque élément structurant étant connecté à au 25 moins un élément support. 11. Méthode de reconnaissance d'objets selon la revendication 10 dans laquelle l'étape (104) de déterminer au moins une pose candidate pour 30 chaque segment comprend : - la sélection d'au moins une pose candidate pour chaque segment associé à un élément support de la scène, - pour chaque segment associé à un élément structurant connecté audit élément support, l'élimination d'au moins une hypothèse de 5 pose incompatible de l'au moins une pose candidate sélectionnée pour le segment associé audit élément support. 12. Méthode de reconnaissance d'objets selon l'une des revendications précédentes comprenant une étape préalable d'alignement et de mise à 10 l'échelle des modèles géométriques. 13.Système de reconnaissance (SYS) comprenant un capteur 3D (CAM) pour acquérir une image d'une scène en trois dimensions, l'image acquise comprenant une pluralité de points 3D étant chacun associé à un 15 rayon reliant le point 3D au capteur 3D, le système (SYS) comprenant en outre un dispositif (PROC,MEM,AFF,BMG) configuré pour mettre en oeuvre une méthode de reconnaissance d'objets dans une image en trois dimensions selon l'une quelconque des revendications 1 à 12. 20 14.Programme d'ordinateur comportant des instructions de code de programme pour l'exécution des étapes de la méthode de reconnaissance d'objets dans une image en trois dimensions selon l'une quelconque des revendications 1 à 12, lorsque ledit programme est exécuté sur un ordinateur. 25 15.Support d'enregistrement lisible par un processeur sur lequel est enregistré un programme comportant des instructions pour l'exécution de la méthode de reconnaissance d'objets dans une image en trois dimensions selon l'une quelconque des revendications 1 à 12, lorsque le 30 programme est exécuté par un processeur.