Algorithmes de traitement et de visualisation pour la vision plénoptique à grande distance. (Light field remote vision)

Les champs de lumiere ont attise la curiosite durant ces dernieres decennies. Captures par une camera plenoptique ou un ensemble de cameras, ils echantillonnent la fonction plenoptique qui informe sur la radiance de n'importe quel rayon lumineux traversant la scene observee. Les champs lumineux offrent de nombreuses applications en vision par ordinateur comme en infographie, de la reconstruction 3D a la segmentation, en passant par la synthese de vue, l'inpainting ou encore le matting par exemple.Dans ce travail nous nous attelons au probleme de reconstruction du champ de lumiere dans le but de synthetiser une image, comme si elle avait ete prise par une camera plus proche du sujet de la scene que l'appareil de capture plenoptique. Notre approche consiste a formuler la reconstruction du champ lumineux comme un probleme de rendu base image (IBR). La plupart des algorithmes de rendu base image s'appuient dans un premier temps sur une reconstruction 3D approximative de la scene, appelee proxy geometrique, afin d'etablir des correspondances entre les points image des vues sources et ceux de la vue cible. Une nouvelle vue est generee par l'utilisation conjointe des images sources et du proxy geometrique, bien souvent par la projection des images sources sur le point de vue cible et leur fusion en intensite.Un simple melange des couleurs des images sources ne garantit pas la coherence de l'image synthetisee. Nous proposons donc une methode de rendu direct multi-echelles basee sur les pyramides de laplaciens afin de fusionner les images sources a toutes les frequences, prevenant ainsi l'apparition d'artefacts de rendu.Mais l'imperfection du proxy geometrique est aussi la cause d'artefacts de rendu, qui se traduisent par du bruit en haute frequence dans l'image synthetisee. Nous introduisons une nouvelle methode de rendu variationnelle avec des contraintes sur les gradients de l'image cible dans le but de mieux conditionner le systeme d'equation lineaire a resoudre et supprimer les artefacts de rendu dus au proxy.Certaines scenes posent de grandes difficultes de reconstruction du fait du caractere non-lambertien eventuel de certaines surfaces~; d'autre part meme un bon proxy ne suffit pas, lorsque des reflexions, transparences et specularites remettent en cause les regles de la parallaxe. Nous proposons methode originale basee sur l'approximation locale de l'espace plenoptique a partir d'un echantillonnage epars afin de synthetiser n'importe quel point de vue sans avoir recours a la reconstruction explicite d'un proxy geometrique. Nous evaluons notre methode a la fois qualitativement et quantitativement sur des scenes non-triviales contenant des materiaux non-lambertiens.Enfin nous ouvrons une discussion sur le probleme du placement optimal de cameras contraintes pour le rendu base image, et sur l'utilisation de nos algorithmes pour la vision d'objets dissimules derriere des camouflages.Les differents algorithmes proposes sont illustres par des resultats sur des jeux de donnees plenoptiques structures (de type grilles de cameras) ou non-structures.