Algorithms and VLSI architectures for low-power mobile face verification (2006)

Parmi les modalités biométriques convenant à la vérification d'identité sur un dispositif portable, la reconnaissance de visage est particulièrement intéressante de par sa faible invasivité, et de par sa simplicité d'usage (du moins du point de vue de l'utilisateur). De plus, le coût du dispositif de vérification d'identité peut être réduit lorsque le senseur d'image est partagé entre plusieurs applications. Ce n'est pas le cas de la reconnaissance d'empreintes digitales, par exemple, qui nécessite un senseur propre. Cette thèse traite le problème de la conception d'un sysème de vérification de visage à faible consommation, adapté aux besoins pointus des terminaux mobiles. Ce travail comprend l'étude et la conception d'algorithmes, ainsi qu'une implantation mixte matérielle-logicielle sur une plate-forme dédiée comprenant plusieurs processeurs. Par rapport à l'état de l'art, cette thèse propose plusieurs améliorations algorithmiques originales, et une architecture VLSI originale pour la réalisation d'un système sur puce, dans laquelle les aspects algorithmiques et architecturaux ont été conjointement optimisés, de sorte que l'exécution de la reconnaissance de visage peut être entièrement traitée sur le dispositif mobile (téléphone portable ou un agenda personnel). Au moment de la réalisation et de la clôture de ce travail de thèse, aucun résultat équivalent n'avait été publié par la communauté scientifique, ou n'était disponible sur le marché sous la forme d'une description ou annonce de produit. L'environnement mobile est caractérisé par de larges variations des conditions d'acquisition des images, en ce qui concerne l'angle de vue et l'illumination, ce qui nécessite une conséquente optimisation de la robustesse des algorithmes. De plus, la vérification de visages est une tâche relativement complexe, généralement effectuée sur des stations comportant un ou plusieurs processeurs performants, plutôt que sur des processeurs de traitement du signal à faible consommation. Dans le cas des applications portables, les algorithmes doivent donc être également optimisés en termes de complexité, et des architectures matérielles spécialisées doivent être développées pour arriver à respecter les contraintes de consommation électrique. Cette thèse couvre donc différents domaines, tels que les sciences cognitives, la reconnaissance de formes, l'acquisition et le traitement d'image, et la conception de circuits intégrés numériques à faible consommation. La première partie du rapport décrit une liste d'applications possibles, et les contraintes imposées par l'environnement mobile, ainsi qu'une revue de l'état de l'art étendue. Une catégorie d'algorithmes est sélectionnée, caractérisée, et optimisée en fonction des spécificités de la vérification d'identité sur un appareil portable. La deuxième partie de la thèse décrit au niveau système une implantation sous la forme d'un système-sur-puce contenant aussi bien le senseur d'image qu'un micro-contrôleur et des blocs de traitement spécialisés (coprocesseurs). Finalement, une architecture spécifique de coprocesseur embarqué est décrite et discutée, complémentairement à la méthodologie de conception utilisée, Among the biometric modalities suitable for mobile applications, face verification is definitely an interesting one, because of its low level of invasiveness, and because it is easily applicable from the user viewpoint. Additionally, a reduced cost of the identity verification device is possible when sharing the imaging device between different applications. This is for instance not possible with fingerprint verification, which asks for a specific sensor. This Ph.D. thesis addresses the problem of conceiving a low-power face authentication system adapted to the stringent requirements of mobile communicators, including the study and design of the algorithms, and the mixed hardware and software implementation on a dedicated multi-processors platform. With respect to the anterior state-of-art, this thesis proposes several original algorithmic improvements, and an original architecture for a VLSI System-On-Chip realization, where the algorithmic and architectural aspects have been jointly optimized, so as to enable the execution of the face verification to be entirely processed on low-power mobile devices such as mobile phones, or personal digital assistants. At the time when this work was undertaken and completed, there were no similar results published either from the academic scientific community, or from the market in form of a product description / announcement. The mobile environment is known to be characterized by large variations in image acquisition conditions with regard to the scene acquisition viewpoint and illumination, and it is therefore requiring a sound optimization of the algorithmic robustness. Moreover, face verification is a quite complex task that is usually performed on powerful - possibly multi-processor - mainframe computers rather than on low-power digital signal processors. In the case of mobile applications, the algorithms need to be tightly optimized, and specific hardware architectures need to be developed in order to fulfill the power consumption constraints. This thesis thus embraces several domains such as cognitive science, pattern recognition, image acquisition and processing, and low-power digital circuit design. The first part of the thesis presents a list of possible applications and of constraints raised by the mobile environment, and an extensive literature review. A class of algorithms is selected, characterized, and optimized with respect to the specificities of mobile face verification. The second part of the thesis describes a System-on-Chip implementation performed at system-level, including image acquisition and higher-level processing. Finally, the architecture of a specific embedded VLSI coprocessor is described and discussed complementarily to the corresponding design methodology used