Méthodes variationnelles pour la segmentation avec application à la réalité augmentée. (Variational methods for segmentation with application to augmented reality)

Dans cette these, nous nous interessons au probleme de la segmentation de portraits numeriques. Nous appelons portrait numerique la photographie d’une personne avec un cadre allant grossierement du gros plan au plan poitrine. Le probleme aborde dans ce travail est un cas specifique de la segmentation d’images ou il s’agit notamment de definir precisement la frontiere de la region « cheveux ». Ce probleme est par essence tres delicat car les attributs de la region « cheveux » (geometrie, couleur, texture) presentent une grande variabilite a la fois entre les personnes et au sein de la region. Notre cadre applicatif est un systeme d’« essayage virtuel » de lunettes a destination du grand public, il n’est pas possible de controler les conditions de prise de vue comme l’eclairage de la scene ou la resolution des images, ce qui accroit encore la diculte du probleme. L’approche proposee pour la segmentation de portraits numeriques est une approche du plus grossier au plus fin procedant par etapes successives. Nous formulons le probleme comme celui d’une segmentation multi-regions, en introduisant comme « regions secondaires », les regions adjacentes a la region « cheveux » , c. -a-d. les regions « peau » et « fond ». La methode est fondee sur l’apparence (appearance-based method) et a comme specificite le fait de determiner les descripteurs de regions les plus adaptes a partir d’une base d’images d’apprentissage et d’outils statistiques. A la premiere etape de la methode, nous utilisons l’information contextuelle d’un portrait numerique — connaissances a priori sur les relations spatiales entre regions— pour obtenir des echantillons des regions « cheveux », « peau » et « fond ». L’interet d’une approche fondee sur l’apparence est de pouvoir s’adapter a la fois aux conditions de prises de vue ainsi qu’aux attributs de chaque regions. Au cours de cette etape, nous privilegions les modeles de forme polygonaux couples aux contours actifs pour assurer la robustesse du modele. Lors de la seconde etape, a partir des echantillons detectes a l’etape precedente, nous introduisons un descripteur prenant en compte l’information de couleur et de texture. Nous proposons une segmentation grossiere par classification en nous appuyant a nouveau sur l’information contextuelle : locale d’une part grâce aux champs de Markov, globale d’autre part grâce a un modele a priori de segmentation obtenu par apprentissage qui permet de rendre les resultats plus robustes. La troisieme etape ane les resultats en definissant la frontiere des « cheveux » comme une region de transition. Cette derniere contient les pixels dont l’apparence provient du melange de contributions de deux regions (« cheveux »et « peau » ou «fond »). Ces deux regions de transition sont post-traitees par un algorithme de «demelange » (digital matting) pour estimer les coecients de transparence entre « cheveux » et « peau », et entre « cheveux » et « fond ». A l’issue de ces trois etapes, nous obtenons une segmentation precise d’un portrait numerique en trois « calques », contenant en chaque pixel l’information de transparence entre les regions « cheveux », « peau » et « fond ». Les resultats obtenus sur une base d’images de portraits numeriques ont mis en evidence les bonnes performances de notre methode.