Projet ANR-13-BS02-0010 – MIXCAM : Reconstruction Visuelle Temps-réel en Mixant des Caméras de Profondeur et Couleur
Programme : Blanc - SIMI 2 - Science informatique et applications (Blanc SIMI 2)
Année de financement : 2013
Coordinateur du projet : Monsieur Radu HORAUD (Centre de Recherche Inria Grenoble Rhone-Alpes)
Partenaires : Inria Centre Grenoble - Rhône-Alpes; Inria Centre Grenoble - Rhône-Alpes
Montant : 272543.0 euros
Durée : 24 mois
Résumé : Système mixte caméras couleur/profondeurReconstruction visuelle temps-réel avec un système mixte de caméras couleur et profondeur
00
00
Résumé de la soumission : Les humains ont l'extraordinaire capacité de percevoir en trois dimensions, essentiellement grâce à leur système visuel binoculaire. Alors que la stéréoscopie biologique et computationelle ont été étudiées en profondeur durant les cinquante dernières années, les méthodes et technologies du cinéma et de la télévision ont exclusivement fait appel à des séquences d'images à deux dimensions, y compris les toutes récentes productions 3D qui utilisent deux séquences d'images, une pour chaque oeil. Cet état de faits est dû à deux limitations fondamentales : it est difficile d'obtenir des reconstructions 3D de scènes complexes, et la technologie d'écrans 3D "sans lunettes" et multi-vues, susceptible d'avoir besoin de contenu 3D, est encore en cours de développement. L'objectif de MIXCAM est de développer de nouveaux concepts scientifiques ainsi que les méthodes et logiciels associés afin de produire du contenu 3D "live" pour des écrans 3D multi-vues et sans lunettes. MIXCAM combinera (i) des principes théoriques de stéréoscopie, (ii) des méthodologies de reconstruction multi-caméras ainsi que (iii) des capteurs utilisant de la lumière active, afin de développer une chaîne méthodologique complète de production et de visualisation de contenu, ainsi qu'un démonstrateur "preuve-de-concept" implémenté sur une plate-forme multi-capteurs et multi-PC capable d'effectuer les traitements en temps réel et de manière distribuée. MIXCAM planifie de développer une approche originale basée sur des méthodes combinant des caméras couleurs et des caméras temps-de-vol (TOF) : matching robuste TOF-stereo, reconstruction 3D précise et rapide,  rendu photo-réaliste, traitements temps-réels et répartis, ainsi que le développement d'une nouvelle plate-forme mixant des caméras couleur et temps-de-vol.  Le projet comporte deux partenaires français (INRIA et 4D View Solutions) et un partenaire international (Samsung Electronics). Les partenaires developperont du logiciel scientifique qui sera démontré sur deux prototypes d'une nouvelle plate-forme, conçue est construite par 4D View Solutions, et qui seront disponibles à l'INRIA et à Samsung, facilitant de la sorte l'exploitation scientifique et industrielle des résultats. Vers la fin du projet, les principes scientifiques et la technologie associée seront demontrés à la foire annuelle de Samsung, à Seoul en Corée.
Résultats : Au terme de douze mois, la chaine méthodologique est complète et nous avons également commencé à étudier les aspects liés à la parallélisation et distribution du logiciel sur la plate-forme MIXCAM.
Perspectives : Le projet avance normalement. Pendant la période suivante nous allons finaliser la chaine de traitement et étudier les possibles applications industrielles.
Publications et brevets : Les travaux de MIXCAM ont donné lieu à trois publications scientifiques dans deux journaux parmi les plus prestigieux du domaine de la vision par ordinateur (Computer Vision and Image Understanding et IEEE Transactions on Pattern Analysis and Machine Intelligence) ainsi qu’un article dans la conférence européenne de vision (European Conference on Computer Vision).