Détection temps réel de postures humaines par fusion d'images 3D

Nous presentons dans ce manuscrit le contenu de la these, centree sur un projet de recherche en vision. Nous presentons l’etude de l’etat de l’art de la reconstruction de posture et leurs contextes d’application associes. Nous partons des systemes embarques et cameras intelligentes et nous focalisons sur la vision par ordinateur et son utilisation pour la reconnaissance d’activites humaines. Ensuite, nous nous interessons a la reconstruction de posture, car cela represente l’element-cle du processus de reconnaissance. Ces travaux de these se sont appuyes sur les dernieres avancees technologiques typiquement l’avenement du capteur RGB-D type Kinect. Nous avons developpe un algorithme de fusion bas niveau de multiples capteurs de profondeur. Les challenges sous-jacents sont lies a plusieurs phenomenes : (1) aux occultations dues a l’utilisation d’un capteur unique, ensuite, (2) a la complexite combinatoire en fonction du nombre de postures a apprendre, et (3) aux contraintes imposees a l’integration du systeme. Nous avons aborde chacun de ces points. L’utilisation de plusieurs capteurs permet par evidence de s’affranchir de la majorite des problemes d’auto-occultation et offre de meilleures garanties de robustesse et completude sur la scene observee. Nous avons donc elabore une technique de fusion bas niveau qui represente a priori la contribution principale de la these. Nous avons adapte une technique d’apprentissage fondee sur des forets de decision. Notre algorithme s’appuie sur notre propre base d’apprentissage elaboree a partir de notre plate-forme multi-kinect couplee a un systeme commercial de capture de mouvement. Les deux principales specificites sont la fusion de donnees sensorielles et l’apprentissage supervise. Plus precisement, la fusion des donnees est decrite par les etapes de capture, segmentation et voxellisation qui generent une reconstruction 3D de l’espace occupe. L’apprentissage s’appuie sur le formalisme des forets de decision en utilisant un descripteur approprie. Des experimentations et le reglage (« tuning ») des parametres de l’apprentissage ont egalement ete realises. Une comparaison avec l’etat de l’art a ete menee de facon qualitative et quantitative avec des resultats concluants au niveau de la precision des articulations reconstruites. L’etude algorithmique a ete approfondie sur un environnement PC et a permis de cibler une sous-partie des modalites a integrer dans notre systeme. L’integration materielle a consiste en une etude et comparaison des differentes approches disponibles. Les FPGA sont une plate-forme permettant de repondre aux criteres de performance et d’ « embarquabilite », car ils delivrent une puissance permettant de reduire le cout CPU. Ceci nous a permis d’apporter une contribution qui consiste a hierarchiser la conception et developper une couche de « modules » intermediaires. Une comparaison a ete menee entre une fonctionnalite de detection d’arriere-plan, integree sur PC, GPU et FPGA puis son implementation sur FPGA a ete detaillee. Le document se termine par la conclusion et les perspectives qui font l’objet de futures investigations et prospectives professionnelles.