Brevet FR3057981A1 — publié le 20180427

Procédé d'élaboration d'un nuage de points 3D représentatif d'une oreille 3D d'un individu, et système associé La présente invention porte sur un procédé d'élaboration d'un 5 nuage de points 3D représentatif d'une oreille 3D d'un individu, et système associé. Les avancées dans les applications de réalité virtuelle, d'acronyme RV, utilisant du matériel embarqué dans l'objectif d'immerger l'utilisateur dans un environnement virtuel sont nombreuses. Une expérience 10 de RV implique simultanément le cerveau humain dans le processus d'interprétation de données visuelles et audio. Ainsi, l'expérience d'immersion ne se limite pas au rendu graphique d'une scène mais implique aussi le rendu de son 3D au casque, essentiel surtout dans des applications de jeux vidéo, de cinéma en RV ou encore dans des simulateurs physiques. 15 La synthèse binaurale est une technique de rendu de son spatialisé dans un casque audio qui consiste à reproduire les altérations (atténuations, réflexions, diffractions) que subit le signal sonore depuis sa source jusqu'à l'entrée des canaux auditifs. En supposant le sujet statique, de telles altérations peuvent être modélisées pour chaque oreille et chaque 20 direction de l'espace comme un système linéaire et invariant dans le temps, caractérisé par sa fonction de transfert, appelée "Head Related Transfer Function" en langue anglaise et d'acronyme HRTF. Ces altérations du signal étant directement liées à la forme du pavillon de l'oreille, de la tête et du torse, les HRTF sont spécifiques à la morphologie de chaque auditeur. 25 II est connu d'obtenir de tels HRTF individuelles par des mesures acoustiques, en plaçant de petits microphones dans les canaux auditifs d'un sujet et en mesurant la réponse impulsionnelle pour des sources sonores réparties dans l'espace autour du sujet. Toutefois, une telle méthode engendre des coûts de mise en oeuvre relativement élevés, notamment par 30 la nécessité d'utiliser une salle anéchoïque ainsi qu'un temps de mesure 3057981 2 conséquent, ce qui rend difficile de l'envisager pour une application commerciale. Une autre approche consiste à acquérir un maillage en trois dimensions ou 3D du buste de l'auditeur et de calculer un jeu d'HRTF au 5 moyen d'une méthode d'éléments frontière, ou "boundary element méthod" en langue anglaise d'acronyme BEM, à partir de ce maillage. Sous réserve d'une géométrie suffisamment précise, cette approche permet d'atteindre des performances de localisation de son spatialisé similaires à celles obtenues par des mesures acoustiques. Cette méthode permet d'envisager des 10 applications commerciales car il est bien plus facile de scanner un utilisateur que de le placer dans une chambre anéchoïque et de l'amener à rester immobile pendant une durée non négligeable de plus de 20 minutes. Il existe actuellement peu de travaux visant à la reconstruction 3D d'oreilles à partir d'images en deux dimensions ou 2D. 15 La recherche en vision par ordinateur et en informatique graphique a porté un intérêt spécifique à la reconstruction de visages humains en trois dimensions ou 3D sans apporter de solutions spécifiquement liées à la reconstruction détaillée de la forme d'oreille. Un but de l'invention est de proposer un procédé permettant de 20 construire un maillage en trois dimensions ou 3D d'oreilles d'un individu, de manière à la fois simplifiée et fiable. Il est proposé, selon un aspect de l'invention, un procédé d'élaboration d'un nuage de points 3D représentatif d'une oreille 3D d'un individu, à partir d'un premier ensemble d'au moins une image 2D de ladite 25 oreille, par utilisation d'un modèle paramétrique ou paramétrable d'oreille 3D. Ainsi, il est aisé de reconstruire en 3D les oreilles à partir d'images 2D. Selon un mode de mise en oeuvre, le procédé comprend les 30 étapes consistant à: 3057981 3 - sélectionner, dans chaque image 2D du premier ensemble, un deuxième ensemble d'au moins un point d'intérêt-repère d'une oreille; - mettre en correspondance, lorsque le premier ensemble comprend au moins deux images 2D, chaque point d'intérêt-repère respectif; - déterminer, ou recaler, des valeurs des paramètres de pose de l'individu auquel appartient l'oreille lors de la prise de chaque image 2D du premier ensemble, et des valeurs des paramètres du modèle paramétrique d'oreille 3D, à partir du deuxième ensemble d'au moins un point d'intérêt-repère d'une oreille par minimisation d'une fonction de coût par rapport à des 1 0 erreurs pondérées de distances entre la re-projection estimée d'un vertex 3D dans le modèle paramétrique d'oreille et la localisation du point d'intérêt-repère prédite lui correspondant qui a été détectée dans l'image 2D. Ainsi, les poids des erreurs pondérées déterminent la contribution 15 de chaque erreur de distance dans le processus de minimisation. Les points d'intérêt-repère les moins fiables quant à leurs localisations dans l'image induiront moins d'erreur lors de l'optimisation. Dans un mode de mise en oeuvre, la fonction de coût correspond 20 à la somme des erreurs de re-projections pondérées associées aux points d'intérêts-repères. Selon un mode de mise en oeuvre, la pondération respective d'une erreur de re-projection associée à un point d'intérêt-repère dépend de 25 sa difficulté relative à le trouver. Les points d'intérêt-repères dans l'image, dont la détection est fiable, sont ceux qui sont localisés sur les contours à fortes courbures de l'oreille interne. Les points de l'oreille externe, sont plus difficilement 30 ajustables à leur localisation anatomique précise sur les contours à faibles courbures dans l'image. Ainsi le processus de pondération permet de prendre en considération les cas d'occultation de certaines parties de l'oreille dans 3057981 4 l'image, annulant ainsi la contribution d'un point d'intérêt-repère si celui-ci n'a pas été retrouvé dans l'image, par exemple. Selon un mode de mise en oeuvre, plus un point d'intérêt-repère 5 est difficile à trouver, plus la pondération de l'erreur de re-projection qui lui est associée est faible. Dans un mode de mise en oeuvre, le deuxième ensemble d'au moins un point d'intérêt-repère caractéristique d'une oreille comprend au 10 moins un point du tragus, et/ou au moins un point de l'anti-tragus, et/ou au moins un point de l'helix, et/ou au moins un point de l'anti-hélix. Ainsi, les caractéristiques de l'oreille interne ainsi que celles de l'oreille externe sont prises en considération pour la reconstruction de la 15 forme de ladite oreille. Selon un mode de mise en oeuvre, le procédé comprend en outre, une étape consistant à estimer un jeu de fonctions de transfert relatives à la tête adapté à ladite oreille par méthode des éléments de frontière à partir des 20 étapes précédentes. Ainsi, la méthode permet la personnalisation des fonctions de transfert susmentionnées à partir d'images 2D, facilement accessibles à l'utilisateur lambda. 25 Il est proposé, selon un autre aspect de l'invention, un système d'élaboration d'un nuage de points 3D représentatif d'une oreille 3D d'un individu, à partir d'un premier ensemble d'au moins une d'image 2D de ladite oreille, par utilisation d'un modèle paramétrique d'oreille 3D, comprenant un 30 calculateur configuré pour mettre en oeuvre le procédé tel que précédemment décrit. L'invention sera mieux comprise à l'étude de quelques modes de réalisation décrits à titre d'exemples nullement limitatifs et illustrés par les dessins annexés sur lesquels : 3057981 5 - la figure 1 illustre schématiquement des zones caractéristiques d'une oreille , - la figure 2 illustre schématiquement un mode de mise en oeuvre du procédé selon un aspect de l'invention; et 5 - la figure 3 illustre schématiquement un mode de mise en oeuvre du procédé dans le cadre de l'estimation de HRTF, selon un aspect de l'invention. La figure 3 illustre schématiquement un mode de mise en oeuvre 10 d'un procédé 20 dans le cadre de l'estimation de HRTF, selon un aspect de l'invention. La figure 2 illustre le procédé 20 d'élaboration d'un nuage de points 3D représentatif d'une oreille 3D d'un individu, à partir d'un premier 15 ensemble d'au moins une image 2D de ladite oreille, par utilisation d'un modèle paramétrique d'oreille 3D. Restituer un relief en reconstruisant la structure 3D d'un objet requiert au moins deux images 2D. Le système de vision humaine établit des 20 relations géométriques par exploitation de correspondances entre des images 2D. La technique "structure à partir de mouvement", ou "structure from motion" en langue anglaise, permet la reconstruction 3D d'un objet simultanément avec la calibration des caméras fournissant les multiples images utilisées. La technique "structure à partir d'ombrage" ou "structure 25 from Shading" en langue anglaise, quant à elle, exploite les illuminations et les ombres dans les images 2D pour la restitution du relief. Ceci nécessite une étude appropriée des propriétés d'illumination et de réflectance (facteur de réflexion), ainsi que des variations des dégradés d'ombres dans les images. 30 Ces deux techniques permettent une reconstruction des surfaces concaves, et reposent sur le suivi de points représentant des caractéristiques saillantes, comme des contours, des coins ou des zones à intensités de couleur uniformes, extraites à partir du contenu photométrique des images 35 et/ou sur la connaissance de la calibration des caméras. Elles sont robustes 3057981 6 dans des applications utilisant des séquences ordonnées d'images ou des vidéos dans lesquelles le suivi de ces informations est possible ou lorsque le processus d'acquisition est contrôlé. Cependant, étant basées principalement sur la texture, elles peuvent échouer dans la reconstruction 5 des détails de certains éléments morphologiques occultés extraites des formes d'oreilles et qui sont liées à l'anatomie de l'oreille. Les méthodes basés modèle sont privilégiées pour ce type de problématique et permettent la reconstruction de la forme complète à partir d'un modèle statistique et de l'analyse du contenu de l'image. Ce type de méthode est adopté dans la présente invention et les éléments anatomiques tel que le tragus, l'antitragus, l'incisure intertragique, ainsi que des points sur les contours de l'helix, le lobe ou lobule et le scapha sont les primitives, dans l'image, utilisées. La figure 1 illustre différentes régions caractéristiques d'une oreille 1, comme le tragus 2, l'anti-tragus 3, l'incisure intertragique 4, l'hélix 5, l'anti- hélix 6, la conque 7, la scapha 8, la fosse triangulaire 9, et le lobule ou lobe 10. Pour une pluralité de sujets, les oreilles 3D reconstruites sont 20 fusionnées avec des données représentant l'ensemble torse/tête, le maillage composite ainsi obtenu est utilisé pour calculer un jeu d'HRTF nommé jeu d'HRTF reconstruit. La qualité des oreilles reconstruites est ensuite évaluée. Dans un 25 premier temps, une comparaison objective et purement quantitative par comparaison métrique du maillage de l'oreille scannée et du maillage de l'oreille 3D obtenue par reconstruction est effectuée. L'oreille scannée vient de la base de données de formes 3D d'oreilles servant à calculer le modèle paramétrique. Cette comparaison permet d'évaluer la similarité du nuage de 30 points 3D reconstruit par rapport au scan pour juger la qualité de la reconstruction. Il s'agit donc de prouver l'efficacité de la méthode en l'évaluant sur tous les vraies formes 3D d'oreilles des individués qui ont été utilisées pour la construction du modèle paramétrique. 3057981 7 Ensuite est évaluée la qualité de la reconstruction dans le cadre du calcul d'HRTF individualisées. Pour chaque sujet pour lequel a été calculé le jeu d'HRTF reconstruit, trois jeux d'HRTF supplémentaires sont calculés, qui serviront de références pour la comparaison. Ces jeux de 5 référence sont calculés à partir d'autres maillages composites, dans lesquels seules les oreilles sont changées. Ces jeux d'HRTF sont ensuite évalués pour chaque sujet par le biais de tests de localisation de sons spatialisés. Le modèle déformable ou modèle paramétrique est construit à 10 partir d'une base de données de scans 3D d'oreilles. Dans la présente invention, il s'agit de l'utilisation d'un scanner conçu spécifiquement pour scanner le canal auditif. Le résultat obtenu est un maillage 3D représentant uniquement la forme de l'oreille. Aucune information liée à la texture n'est à disposition. Une opération de nettoyage manuelle est effectuée pour garder 15 des contenus similaires pour tous les maillages exploités. En variante, cette opération de nettoyage peut être effectuée de manière automatique. On entend par opération de nettoyage la sélection de points parmi l'ensemble du nuage de points. Une étape cruciale est nécessaire avant l'analyse en composante principale d'acronyme ACP pour la construction du modèle déformable. Il s'agit d'une mise en correspondance dense d'un maximum de vertex (représentation 3D de coordonnées d'un point) de tous les exemples alignés de la base de données. Ceci est effectué en tenant compte de caractéristiques géométriques locales pour chaque vertex 3D de chaque exemple, dans ce cas la méthode nommée "surface patch histogram of index shape" en langue anglaise, d'acronyme SPHIS. Le modèle est généré par analyse en composantes principales ACP sur les points retenus par la mise en correspondances dense. Avant de présenter la méthode de recalage du modèle 3D obtenu à partir de points d'intérêt-repère ou "landmarks 2D" en langue anglaise dans une image, nous rappelons la description analytique du modèle déformable d'oreille. Soit M+1 exemples de la base de données alignés par N vertex dans chaque maillage 3D. Le modèle déformable est défini de manière à représenter linéairement une forme par des vecteurs-vertex 3D selon la relation suivante : 3057981 8 S(3xN) = S(3xN) + E7.1 Pi - Si(3xN) (R1) dans laquelle: 5 S représente une forme de N vertex générée à partir du modèle; S représente la forme moyenne calculée sur la base des formes 3D de la base de données; Si , j variant de 1 à M, représentent les vecteurs propres de déformation du 10 modèle définie à partir de l'ACP; et pi représente la pondération associée à chaque vecteur propre. Ainsi est obtenue une instance du modèle paramétrique. 15 Chaque vecteur propre correspond à un mode de déformation appliqué à la forme moyenne (une déformation par vertex), définie statistiquement à partir de l'ACP sur les exemples de la base de données. La présente invention nécessite un ensemble de points d'intérêt 20 ou "landmarks" en langue anglaise à localiser sur une image 2D représentant la structure morphologique d'une oreille. Dans un premier temps, dans l'image, la zone correspondant à l'oreille est détectée par la méthode de Viola et Jones décrite dans le document "Rapid object detection using a boosted cascade of simple features" dans Proceedings of the 2001 IEEE 25 Computer Society Conference on Computer Vision and Pattern Recognition, 2001, CVPR 2001, volume 1, pages 1-511-1-518 vol.1, 2001. Après avoir identifié dans l'image la zone correspondant à l'oreille, on détecte 22 les points d'intérêts souhaités. 30 Plusieurs approches existent pour la localisation automatisée de points d'intérêt-repère dans les images. Les modèles locaux contraints ou "constrained local models" en langue anglaise d'acronyme CLM effectuent un apprentissage sur des zones ou patches locaux de propriétés de pixels au 35 voisinage de points caractéristiques prédéfinis de l'objet à apprendre pour 3057981 9 permettre de prédire, par régression, les paramètres du modèle représentant une forme 2D dans une images et par la suite localiser des points représentant cette forme dans l'image. 5 Cette approche contrainte à des propriétés locales permet, contrairement aux approches utilisées avant (les modèles actifs d'apparence effectuant l'apprentissage sur l'ensemble des pixels de l'image délimitant la forme à classifier), d'éviter les imprécisions liées aux conditions d'illumination, ou aux occlusions éventuelles dans l'image d'un objet. 10 D'autres méthodes pour l'extraction de points d'intérêt-repère dans les images 2D peuvent être mises en oeuvre. Il est possible de porter une attention particulière aux méthodes d'extraction de points caractéristiques dans les images 2D d'oreilles notamment utilisées dans des 15 applications de biométrie pour la reconnaissance de personnes à partir d'images de leurs oreilles, comme décrites dans " Ear biometrics : a survey of detection, feature extraction and recognition methods" de A. Pflug and C. Busch, 1(2) :114-129,2012. 20 L'extraction de points caractéristiques ou points d'intérêts dans les images 2D n'est pas l'objet de l'invention. On identifie au préalable un ensemble de points d'intérêts, dans une étape 22, par exemple de manière semi-automatique. L'utilisateur est ensuite invité à sélectionner ces caractéristiques dans une image de référence, dans une étape 23. Les points 25 sélectionnés sont ensuite ajustés à la position la plus proche dans l'image déterminant un extremum de courbure sur son voisinage, dans une étape 24. Ceci est inspiré de la propriété inhérente des points d'intérêts définis (au moins un point du tragus, et/ou au moins un point de l'anti-tragus, et/ou au moins un point de l'helix, et/ou au moins un point de l'anti-hélix) nommés 30 points d'intérêts-repères. Une étape optionnelle 25 permet un ajustement des poids permettant d'annuler les poids associés à des points d'intérêt-repère qui n'ont pas été retrouvés dans l'image à cause d'une occultation, par exemple 35 3057981 10 Quand ces points sont annotés dans l'image de référence, leurs correspondants dans les autres vues de l'oreille de la même personne sont identifiés par correspondance basée sur la mesure de corrélations croisées normalisées, dans une étape 26. 5 Il est proposé une méthode multi-vues pour les recalages et déformation de modèle 3D en vue de la reconstruction de forme 3D d'oreille, comme illustré sur la figure 2. Hypothèse est faite d'une configuration de projection orthographique dans l'image, ou, en d'autres termes une 10 projection suivant la direction orthogonale au plan de l'image. L'acquisition des images 2D d'une oreille est acquise à une distance supérieure à 1 mètre de l'appareil prenant les images 2D. Soient K points d'intérêt-repère et suivis sur un ensemble de V 15 images d'oreilles d'une personne. Les correspondances 2D-3D sont prédéfinies par association préalable de chaque point d'intérêt-repère au vertex 3D qu'il représente, comme illustré à l'étape 21. Il est d'abord procédé au sous-échantillonnage du modèle déformable dense 3D pour obtenir un sous-modèle contenant exclusivement les vecteurs associés au vertex suivis 20 dans les images 2D. La relation (R1) du modèle est alors réduite à: M (R3) (3 xK) - .Ç (3 xK) _L j =1 Pj - --,j(3xK) dans laquelle: 25 S(3> REVENDICATIONS1. Procédé d'élaboration d'un nuage de points 3D représentatif d'une oreille 3D (1) d'un individu, à partir d'un premier ensemble d'au moins une image 2D de ladite oreille (1), par utilisation d'un modèle paramétrique d'oreille 3D. 2. Procédé selon la revendication 1, comprenant les étapes consistant à: - sélectionner (23), dans chaque image 2D du premier ensemble, un deuxième ensemble d'au moins un point d'intérêt-repère d'une oreille; - mettre en correspondance (26), lorsque le premier ensemble comprend au moins deux images 2D, chaque point d'intérêt-repère respectif; - déterminer (27) des valeurs des paramètres de pose de l'individu auquel appartient l'oreille lors de la prise de chaque image 2D du premier ensemble et des valeurs des paramètres du modèle paramétrique d'oreille 3D, à partir du deuxième ensemble d'au moins un point d'intérêt-repère d'une oreille par minimisation d'une fonction de coût par rapport à des erreurs pondérées (22) de distances entre la re-projection estimée d'un vertex 3D dans le modèle paramétrique d'oreille et la localisation du point d'intêret-repère prédite lui correspondant qui a été détectée dans l'image 2D. 3. Procédé selon la revendication 2, dans lequel la fonction de coût correspond à la somme des erreurs de re-projections pondérées associées aux points d'intérêts-repères. 4. Procédé selon la revendication 3, dans lequel la pondération respective d'une erreur de re-projection associée à un point d'intérêt-repère dépend de sa difficulté relative à le trouver. 3057981 17 5. Procédé selon la revendication 4, dans lequel plus un point d'intérêt-repère est difficile à trouver, plus la pondération de l'erreur de re-projection qui lui est associée est faible. 5 6. Procédé selon l'une des revendications 2 à 5, dans lequel le deuxième ensemble d'au moins un point d'intérêt-repère caractéristique d'une oreille (1) comprend au moins un point du tragus (2), et/ou au moins un point de l'anti-tragus (3), et/ou au moins un 10 point de l'helix (5), et/ou au moins un point de l'anti-hélix (6). 7. Procédé selon l'une des revendications précédentes comprenant, en outre, une étape consistant à estimer (30) un jeu de fonctions de transfert relatives à la tête adapté à ladite oreille par 15 méthode des éléments de frontière à partir des étapes précédentes. 8. Système d'élaboration d'un nuage de points 3D représentatif d'une oreille 3D (1) d'un individu, à partir d'un premier ensemble d'au moins une image 2D de ladite oreille par utilisation 20 d'un modèle paramétrique d'oreille 3D, comprenant un calculateur configuré pour mettre en oeuvre le procédé selon l'une des revendications précédentes.