Projet ANR-10-CHEX-0014 – SHARED : Analyse et recalage des formes de personnes avec utilisation de données dynamiques
Programme : Chaires d’excellence (CHEX)
Année de financement : 2010
Coordinateur du projet : Madame Hyewon SEO (UNIVERSITE DE STRASBOURG)
Partenaires : Laboratoire des Sciences de l'Ingénieur, de l'Informatique et de l'Imagerie
Montant : 220000.0 euros
Durée : 48 mois
Résumé : Analyse et mise en correspondance de formes en utilisant les données de mouvementL’objectif du projet est de développer des méthodes pour l’analyse et la mise en correspondance de formes tridimensionnelles en mouvement. Ces méthodes exploitent la redondance importante qui existe dans les données de mouvement. Ces données sont celles de personnes dont les mouvements ont été capturés avec un scanner ou un appareil de capture de mouvements.
Développement des nouvelles techniques pour analyser les formes en exploitant leur mouvementGrâce au développement récent des technologies d’imagerie, nous avons accès aux données de formes et de déformations de la peau ou des organes en utilisant soit un système optique de capture de mouvements ou soit un scanner pour l’imagerie médicale. Par rapport aux méthodes existantes qui sont essentiellement basées sur l’analyse des formes statiques, l’objectif du projet est d’exploiter les données de mouvements, c’est-à-dire, d’analyser les déformations et de les exploiter pour la mise en correspondance. Durant les 18 premiers mois du projet, nous avons travaillé pour les deux tâches suivantes :(1)	Acquisition et analyse des données de mouvements d’une personne : nous avons enregistré les déformations de la peau à l’aide de marqueurs d’une façon à obtenir des données les plus précises possible. Nous avons ensuite développé une méthode d’analyse qui permet d’extraire les points caractéristiques. Les données en entrée sont un ensemble de maillages réguliers, relativement denses et composés de points couvrant la surface de la peau à analyser. Chaque maillage correspond à la forme de la peau à une certaine étape du mouvement. Notre méthode permet de calculer les contraintes de déformation : pour chaque point de la peau, nous obtenons la direction ou la contrainte est maximale ainsi que sa valeur.(2)	Développement d’une méthode de recalage basée sur les données de mouvement et déformation. À partir d’un ensemble de champs vectoriels représentant les déformations de la peau, notre travail est de calculer automatiquement la correspondance entre ces champs vectoriels afin que les points en correspondance aient les mêmes valeurs de contrainte. Nous utilisons une méthode d’optimisation qui calcule les déplacements des points du champ vectoriel. L’objectif est de minimiser la différence des valeurs de contraintes des points en correspondance tout en gardant les distances géodésiques entre les points du même champ.
Segmentation et recalage basés sur l’analyse des propriétés cinématiques de la surface se déformantAcquisition et analyse des mouvements de la peau d’une personne : nous utilisons un système optique de capture de mouvements pour générer un maillage dynamique (séquence de maillages de même topologie) correspondant aux déformations de la peau. Nous analysons ensuite ce maillage pour calculer les changements de courbures et de tension en fonction du temps au niveau de chaque point. Ces données sont ensuite intégrées pour calculer une signature pour chaque point (valeurs numériques correspondant au comportement de la peau à ce point). Ceci nous permet ensuite d’extraire les points caractéristiques de la peau, c’est-à-dire, les points correspondant aux extremums.* Segmentation spatio-temporelle des données de mouvement : nous calculons d’abord une segmentation de la séquence de maillages de façon à ce que les maillages se trouvant dans la même séquence présentent les mêmes caractéristiques. Ensuite, nous effectuons une segmentation spatiale pour chaque segment temporel. Ceci nous permet de construire un graphe correspondant au mouvement et à la forme de la peau.* Recalage : le recalage initial grossier consiste à calculer la transformation rigide du maillage en entier en utilisant les points caractéristiques. Ensuite, nous calculons le recalage précis qui consiste à calculer les transformations affines pour chaque point du maillage. Ces transformations sont calculées de façon à mettre en correspondance les points ayant les mêmes propriétés. Le principal problème qui reste à résoudre est le temps de calcul beaucoup trop.
Résumé de la soumission : L’analyse et le recalage de formes humaines sont devenus un sujet de recherche important ; son objectif est le remplacement des méthodes conventionnelles basées sur les images bidimensionnelles. Les technologies utilisant les rayons laser pour capturer des formes humaines et construire des modèles statistiques sont devenues très courantes. Ces technologies sont utilisées pour l’anthropométrie, le dessin assisté par ordinateur, et en psychologie. Un nombre important de recherches basées sur une étude théorique approfondie ont été effectuées sur la capture et la reconstruction de formes statiques. Malgré tout, peu de travaux ont été faits pour le cas de formes dynamiques, c’est-à-dire des formes qui changent au cours du temps. Ceci est principalement dû au manque de données pour les formes dynamiques. Pour la plupart des outils de capture de formes, la personne ne doit pas bouger et donc la capture de formes dynamiques est impossible. En conséquence, très peu d’études sur la déformation et le mouvement de la peau ont été réalisées. Par rapport aux travaux existants sur les formes humaines dont la plupart consistent à l’analyse de la forme du corps sans mouvement, l’objectif de notre projet SHARED est de proposer de nouvelles méthodes qui exploitent la redondance des informations des formes dynamiques (en mouvements). Les principaux intérêts de notre approche seront : (1) acquérir et traiter les données de mouvements de façon à caractériser les points anatomiques (2) de développer une technique de recalage qui utilise les informations sur le mouvement afin calculer la correspondance entre les formes. Avec le développement récent des techniques d’imagerie médicale, nous avons la possibilité d’obtenir ces données de déformation et mouvements de la forme du corps et des organes très facilement. Enfin, notre objectif sera de construire des modèles statistiques pour identifier les changements de forme entre les individus (changement inter patient) et les changements de forme dus aux mouvements pour un même individu. Grâce à ce modèle statistique, nous pensons qu’il sera possible de proposer des algorithmes de recalage qui seront plus robustes que les techniques existantes.
Résultats : Capture de mouvements des expressions du visage. Nous avons capturé les mouvements du visage en hautes définitions et pour plusieurs personnes.
Calcul automatique des lignes dynamiques de tension de la peau. Ces lignes correspondent aux lignes de tension maximale sur la peau. Ces lignes sont importantes pour la chirurgie puisque les incisions orientées le long de ces lignes de tension guérissent plus rapidement et les cicatrices sont moins visibles. Beaucoup de travaux de recherche ont été menés sur les lignes statiques de tension de la peau et peu sur les lignes dynamiques, c’est-à-dire les lignes de tension qui change en fonction de la posture du corps. Notre méthode peut être utilisée pour n’importe quelle personne et n’importe quelle posture, ne nécessite pas d’incision et est efficace. Nous l’avons testé sur différents sujets pour le genou et l’épaule.
* Transfère de points de repère. Nous avons développé une méthode qui permet de transférer des points de repère entre des maillages 3D qui sont isométriques (une isométrie est une transformation qui conserve les distances géodésiques). À partir d’un maillage source avec un ou plusieurs points de repère placés par un utilisateur, notre algorithme est capable de calculer automatiquement la position de ces points de repère sur d’autres maillages.
* Recalage en utilisant les donnes de déformation. Actuellement, nous travaillons sur une nouvelle technique de recalage basée sur les propriétés cinématiques des maillages avec mouvements.
* Segmentation spatio-temporelle des maillages avec mouvements. Nous avons développé une méthode qui calcule une segmentation spatio-temporelle de maillages dynamique. Ce travail est un des premiers abordant le problème de la segmentation temporelle et spatiale en même temps.
Perspectives : Pour l’année qui suit, nous allons travailler sur le problème mentionné plus haut, c’est-à-dire celui concernant le temps de calcul pour le recalage. Nous pensons rendre l’algorithme plus efficace (1) en améliorant l’algorithme de segmentation afin d’obtenir une segmentation consistante entre les deux maillages (2) en calculant le recalage entre les segments correspondants des deux maillages. Ceci permettra de remplacer le problème d’optimisation de très grande taille par un ensemble de problèmes d’optimisation de petite taille, permettant ainsi de réduire le temps de calcul. Une fois que les modifications concernant le temps de calcul seront finies, nous pensons avoir un algorithme qui utilise non seulement les données de formes, mais aussi les données de mouvement, permettant ainsi d’augmenter la robustesse du recalage.
Publications et brevets : Nous avons publié dans une revue internationale, CAD (Computer-Aided Design). Le facteur d'impact de cette revue est 1.234. Une valeur de 1.0 ou plus indique une revue de bonne visibilité. L'article sera aussi présenté à une conférence internationale «ACM Symposium on Solid and Physical Modeling«, qui aura lieu à Dijon en octobre.
- Seo H., Kim S., Cordier F., Choi J. and Hong K., Estimating Dynamic Skin Tension Lines in Vivo using 3D Scans, Computer-Aided Design, (Special issue of ACM Symposium on Solid and Physical Modeling 2012, October 29-31, Dijon, France), Elsevier.