Estimation du champ dense de mouvement pour la génération semi-automatique de cartes de profondeur

Avec la recrudescence de la popularite du cinema 3D, la demande pour la production de contenu de projection 3D est en croissance. Les options actuelles pour generer du contenu sont souvent tres couteuses, car elles requierent de l’equipement specialise pour filmer directement en 3D ou un effort considerable pour convertir du contenu originellement en 2D en ajoutant la profondeur estimee aux images originelles. Le but de cette recherche est de trouver une technique semi-automatique qui permet de sauver beaucoup de temps a ajouter la profondeur sur des images 2D. Pour y arriver la recherche tente de parvenir, a partir de seulement quelques annotations sur une image cle dans une sequence, a propager l’estimation initiale de profondeur rapidement sur toute l’image annotee puis dans un deuxieme temps sur toutes les images qui seraient assez similaires dans une sequence video. Le projet vise a developper une method pour atteindre ce but tout en conservant un temps de traitement assez court et en obtenant des resultats permettant de generer du contenu 3D visuellement plaisant a regarder. La recherche utilise le principe du Random-walker pour permettre la propagation de l’information dans une image, a partir de seulement quelques annotations, en traitant le probleme comme un probleme de segmentation. En appliquant une technique iterative, cela permet de separer le processus d'estimation de la profondeur a partir des annotations de celui de la propagation de cette estimation sur les autres images de la sequence. La technique considere les images comme des graphes dont les noeuds sont les pixels et les aretes ont un poids calcule selon la similarite entre les pixels relies. Les resultats obtenus avec cette methode montrent que la premiere partie de la methode, soit l’estimation de la profondeur a partir des annotations d’un utilisateur, donne de bons resultats en ne necessitant qu’un petit nombre d’annotations. Cependant, la propagation de l’information a travers la sequence d’images necessiterait des ameliorations. Plusieurs problemes ont ete rencontres comme la presence d’occlusions, la propagation d’erreurs dans la sequence et les potentiels changements d’illuminations. C’est suite a ces problemes qu’une recherche a aussi ete effectuee pour trouver une technique d’estimation de mouvement qui correspondrait bien aux besoins de la methode originale. Cette recherche a abouti a une method automatique d’estimation du mouvement dense, c’est-a-dire de trouver le mouvement pour tous les pixels de l’image. La methode proposee se sert de la similarite calculee des pixels voisins dans la meme image et aussi de la similarite avec les pixels de l’image suivante inclus dans un noyau de recherche. La similarite entre les pixels est calculee selon plusieurs caracteristiques d’un pixel incluant les composantes Lab du pixel meme et d’un nombre de ses voisins ainsi que des gradients voisins. Les resultats obtenus sont compares a d’autres methodes suivant deux mesures d’erreurs comptabilisees par Middlebury. La comparaison montre que la methode obtient de bons resultats sur les images proposes pour tester, mais la visualisation des resultats selon une coloration representant le movement permet de mettre en lumiere certaines erreurs produites par la methode. La performance de la methode a par la suite ete amelioree en utilisant les correspondances SIFT trouvees prealablement. La vitesse de calcul a aussi ete amelioree en regroupant les pixels similaires de l’image en superpixels ce qui permet de reduire le nombre de comparaisons a effectuer. Finalement, les effet de la variation des parametres de controle de la methode sur les resultats obtenus sont decrits en detail et la comparaison entre les resultats obtenus avec ou sans SIFT et en utilisant les superpixels ou pas sont expliques en presentant les images resultantes. Les principaux problemes de la methode sont expliques et certaines ameliorations sont proposes pour les surmonter, mais elles n’ont pas ete implementees.