Brevet FR2911984A1 — publié le 20080801

La présente invention appartient au domaine de la surveillance de la vigilance d'une personne et de ses zones d'intérêt lors d'une activité telle que la conduite d'un véhicule. Plus particulièrement l'invention concerne un procédé destiné à reconnaître sur un visage une série de points particuliers afin de pouvoir dans une étape ultérieure en assurer une poursuite. Pour surveiller la vigilance d'une personne et de ses zones d'intérêt, une méthode consiste à observer le visage de cette personne au moyen d'une caméra délivrant une image dont l'analyse permet d'identifier des mouvements comme ceux de la tête, des yeux et des paupières et d'en déduire la direction vers laquelle la personne filmée regarde et avec quelle attention. II est connu d'utiliser pour cela une ou des caméras vidéo et de soumettre les images électroniques délivrées par ces caméras à des traitements numériques pour en extraire l'information recherchée. Lorsque cette information doit être obtenue très rapidement, de manière quasiment instantanée souvent dite en temps réel, il est nécessaire d'utiliser de puissants et coûteux moyens de génération et de traitement d'images pour résoudre des algorithmes souvent complexes et devant être exécutés un grand nombre de fois dans le cadre de ce type de traitement. De tels moyens s'ils sont généralement utilisés sans réserve pour des besoins de recherche ou dans le cadre d'activités humaines menées sur des systèmes complexes, coûteux ou sensibles, par exemple dans le domaine aéronautique ou le domaine nucléaire, s'avèrent inacceptables pour être utilisés sur des systèmes de grande diffusion, comme les automobiles, dans lesquels le prix de revient est un critère essentiel et la diminution des coûts est toujours recherchée. Pour abaisser les prix de tels systèmes il faut alors utiliser d'une part des systèmes d'imagerie à faible coût, en particulier des caméras monochromes à basse résolution, et limiter le processus de traitement des images au strict nécessaire. Ces choix induisent alors des pertes de performances sur la précision, l'aptitude à suivre des mouvements plus ou moins rapides, ainsi que sur le temps d'initialisation des systèmes mettant en oeuvre ces dispositifs. La présente invention a précisément pour objectif d'identifier au cours d'une étape d'initialisation d'un système de suivi des mouvements d'un visage des points particuliers du visage d'une manière fiable, afin que les déplacements de ces points particuliers dans des images successives du visage puissent dans une étape ultérieure être suivis et mesurés, particulièrement adapté à un dispositif utilisant des moyens simples et peu coûteux d'acquisition et de traitement des images. Afin de limiter le volume du traitement à réaliser pour identifier des points symboliques sur l'image d'un visage, ladite image comportant a priori les images d'un oeil droit, d'un oeil gauche et d'une bouche, le procédé comporte successivement les étapes de : a) détection d'éléments à forts contrastes du visage et identification de ces éléments; b) sélection d'au moins une zone de l'image située par rapport aux éléments à forts contrastes et de dimensions telles qu'elle contient a priori deux points symboliques recherchés liés entre eux par un critère morphologique ; c) recherche, dans la zone considérée, de points définis par la convergence de lignes de séparation de zones contrastées de l'image, dit points naturels ; d) détermination d'une signature pour chacun des dits points naturels par un calcul de gradient de contraste de l'image autour du point naturel ; e) détermination pour chaque point naturel d'au moins un score caractérisant une ressemblance de la signature du point par rapport à des signatures préétablies de points symboliques et sélection des points naturels ayant un score supérieur à une valeur seuil ; f) parmi les points naturels de la zone dont les scores sont supérieurs à une valeur seuil, identification de couples de points naturels, chaque couple étant déterminé par un premier point naturel et par un second point naturel dont la position relative dans la zone considérée par rapport au premier point naturel correspond à une position proche de positions relatives préétablies de couples de points symboliques standards recherchés dans la zone et détermination pour chaque couple identifié d'un score caractéristique de l'écart du couple par rapport aux couples de points symboliques standards ; g) dans la zone considérée, sélection du couple de points naturels ayant le meilleur score en tant que points symboliques de ladite zone de l'image du 30 visage. Avantageusement les iris des yeux et ou les narines et ou la bouche sont utilisés sur l'image du visage comme éléments à forts contrastes. En raison de leurs traits morphologiques relativement constants d'un visage à un autre, les zones de l'image sélectionnées sont déterminées pour correspondre à une zone 35 recouvrant l'oeil droit et ou à une zone! recouvrant l'oeil gauche et ou à une zone recouvrant la bouche. 3 Dans ce cas, de préférence, le couple de points symboliques recherché dans une zone recouvrant un oeil est déterminé par des points correspondant à la convergence de lignes naturelles constituées par un bord d'une paupière supérieure et par un bord d'une paupière inférieure de l'oeil, et le couple de points symboliques recherché dans une zone recouvrant la bouche est déterminé par des points correspondant à la convergence de lignes naturelles constituées par un bord d'une lèvre supérieure et par un bord d'une lèvre inférieure de la bouche. En raison de la forme sensiblement symétrique de chaque oeil et de la bouche, les zones sont sélectionnées de telle sorte que, dans chaque zone, les positions relatives préétablies de couples de points symboliques standards correspondent de préférence à un agencement symétrique des points symboliques standards par rapport à une ligne de référence de la zone considérée. Avantageusement pour limiter la puissance de calcul nécessaire au traitement des images, l'image du visage est obtenue à partir d'une image digitale à faible résolution, de préférence inférieur à 500 lignes de 500 points d'image, réalisée dans le proche infrarouge pour un meilleur contraste des formes et éléments observés sur l'image. La description détaillée d'un mode de réalisation est faite en référence aux figures qui représentent : - figure 1 : une vue schématique des étapes du procédé suivant l'invention ; - figure 2 : une représentation schématique d'éléments à forts contrastes d'une image d'un visage humain ; - figure 3 : une illustration des zones de l'image d'un visage humain dans lesquels sont recherchés des points symboliques ; -figure 4 : une illustration d'un exemple de méthode d'identification d'un point naturel. Un procédé d'initialisation d'un système de suivi de visage d'une personne suivant l'invention consiste à identifier une série de points particuliers, dits points symboliques, sur une image d'un visage 1. 30 Ces points symboliques sont choisis parmi des points de l'image, dits points naturels, qui correspondent à des points de convergence de lignes séparant des zones contrastées de l'image. Par zone contrastée de l'image, il convient de comprendre des zones contiguës de l'image dont les densités respectives sont suffisamment différentes pour permettre de 35 déterminer une ligne théorique de séparation des deux zones. Suivant le procédé, au moins quatre et de préférence six points symboliques sont recherchés. Quatre points sont en théorie suffisant pour réaliser un suivi des 25 déplacements du visage mais en pratique six points sont souhaitables pour obtenir un suivi de qualité, en particulier en raison de mouvements de tête de la personne qui peuvent conduire à une image du visage dans laquelle certaines zones autour de points symboliques deviendraient non visibles ou très difficiles à analyser. Les dits points symboliques du visage correspondent chacun à un point de convergence des lignes formées par des bords des paupières d'un oeil ou par des bords des lèvres de la bouche. Les étapes du procédé 10 sont schématisées sur le diagramme de la figure 1. Pour rechercher les points symboliques, une première étape 11 consiste à détecter des éléments très contrastés sur une image du visage 1 qui permettent de définir une position approximative dudit visage dans l'image et à déterminer l'emplacement de zones de l'image dans lesquelles doivent logiquement se situer les points symboliques recherchés. Avantageusement on utilise comme éléments très contrastés les images des iris 2a, 2b des yeux et ou de la bouche 4 et ou des narines 3a, 3b dont les formes et les contrastes, en particulier lorsque les images sont réalisées dans le proche infrarouge, permettent de les détecter et de les identifier sans problème particulier sur une image et ceci malgré leurs dimensions et leurs formes variables. La position dans l'image de ces éléments contrastés détermine un repère général du visage comportant un premier axe 5 passant par les centres des iris 2a, 2b des yeux, dit axe horizontal, et un second axe 6 perpendiculaire à l'axe horizontal sensiblement équidistant des iris 2a, 2b et ou des narines 3a, 3b, dit axe de symétrie du visage. Dans une seconde étape 12, les éléments contrastés identifiés sont associés à des données anthropométriques 7 relatives aux visages humains et sont utilisés pour définir des zones, dites zones de recherche, par exemple une zone 20a pour l'oeil droit, une zone 20b pour l'oeil gauche et une zone 40 pour la bouche, dans lesquelles zones de recherches doivent se trouver les points symboliques recherchés avec une probabilité proche de l'unité. Chaque zone est choisie suffisamment étendue pour être quasiment certain de la présence des points symboliques recherchés dans ladite zone et de dimensions aussi réduite que possible pour limiter les traitements numériques correspondant à la recherche de points naturels. En pratique les dimensions des zones de recherche sont déterminées en fonction de la dispersion des données anthropométriques choisies. Si la population devant utiliser le dispositif est très homogène, les zones de recherche seront de dimensions réduites et, a contrario, si la population est très hétérogène, par exemple des enfants et des adultes, elles seront de dimensions plus importantes. Dans une troisième étape 13, l'image est analysée dans chaque zone de recherche afin d'identifier tous les points naturels détectables inclus dans cette zone, c'est à dire des points qui dans un premier temps peuvent être considéré comme potentiellement des points symboliques recherchés. Une telle recherche de points naturels est par exemple réalisée en suivant la méthode proposée dans la demande de brevet publiée sous le numéro WO90/14634, 5 méthode dans laquelle l'image est constituée de points élémentaires ou pixels et dans laquelle l'intensité de chaque pixel est comparée à celles des pixels voisins pour identifier si le pixel est du type appartenant à un bord ou à un angle. Dans une quatrième étape 14, chaque point identifié comme un point naturel est caractérisé en fonction d'au moins une valeur d'une grandeur caractéristique d'un gradient de contraste de l'image autour dudit point naturel et ladite valeur est comparée à des signatures de référence préalablement établies pour déterminer une signature du point considéré. Une méthode, schématisée sur la figure 4, pour calculer un gradient de contraste en un point 21 d'une image consiste par exemple à considérer quatre zones 211a, 211b, 15 211c et 211d contiguës au point 21 à caractériser. Avantageusement ces quatre zones 211a, 211b, 211c et 211d correspondent à des zones déterminées dans un carré 210 de l'image par les médiatrices des côtés dudit carré, centré sur le point à caractériser, et chacune d'elle est elle même constituée de plusieurs éléments 212 distincts de l'image, plusieurs pixels d'une image digitalisée, 20 avantageusement 16 pixels, de sorte que, pour chaque zone 211a, 211b, 211c et 211d, il soit possible de calculer un premier vecteur caractérisant le gradient de contraste de ladite zone. La combinaison des vecteurs des quatre zones 211a, 211b, 211c et 211d autour du point naturel à caractériser permet de déterminer une signature dudit point naturel par quatre directions principales du gradient de contraste. 25 Par exemple, une méthode connue pour déterminer un gradient de contraste dans une image autour d'un point est décrite dans le brevet US 6711923 appliquée à l'identification d'éléments à échelle non variable d'une image plus généralement connue sous l'appellation d'algorithme SIFT (Scale-Invariant Feature Transform). Dans une cinquième étape 15, la signature de chaque point naturel est comparée 30 à des signatures de référence 8 correspondant à des signatures de points symboliques similaires à ceux recherchés dans la zone dans laquelle se situe le point naturel considéré. Cette comparaison détermine un score du point naturel qui est fonction d'écarts entre la signature dudit point naturel et la ou les signatures de référence. Plus les écarts 35 sont faibles entre la signature du point naturel et la signature de référence d'un point symbolique donné, plus le score du point naturel est élevé et plus le point naturel a de probabilité de correspondre au point symbolique auquel la signature est comparée. Les points naturels présentant un score suffisamment élevé, par exemple supérieur à un score minimum prédéterminé sont alors sélectionnés 15b pour l'étape suivante. Dans une sixième étape 16, les points naturels sélectionnés lors de l'étape 15b sont associés par couples. Un couple est formé d'un premier point naturel d'une zone avec un second point naturel de la même zone qui est choisi comme le point naturel le plus proche de la position théorique, relative par rapport au premier point naturel, établie à partir de base de données anthropométriques 9, d'un point correspondant à un second point symbolique si le premier point était également un point symbolique. Une méthode pour obtenir ce résultat consiste à considérer comme position théorique pour la recherche du second point le plus proche une position correspondant au point de symétrie du premier point naturel par rapport à un axe de symétrie de la zone sensiblement parallèle à l'axe 6 de symétrie du visage. L'utilisation de cette méthode particulière suppose que la zone considérée soit placée sur l'image de telle sorte que son axe de symétrie soit sensiblement sur l'axe de symétrie de la partie du visage correspondante, par exemple pour l'oeil droit, la zone 20a est sensiblement entrée sur l'image de l'iris 2a. Un score combiné est alors attribué à chaque couple de points, ledit score combiné étant obtenu par une combinaison des scores de chacun des deux points du couple et de la qualité de la symétrie des dits points, par exemple un écart de leurs distances à l'axe de symétrie de la zone et ou un écart de leurs positions suivant la direction de l'axe de symétrie du visage 6 par rapport à l'axe horizontal 5. Dans une septième étape 17, les couples ayant obtenus le meilleur score combiné pour chaque paire de points symboliques recherchés sont retenus comme correspondant aux points identifiant les points symboliques. Dans une mise en oeuvre préférée du procédé six points symboliques d'un visage humain sont définis comme étant : 35 pour l'oeil droit : - le coin extérieur de l'oeil ou ROC, correspondant à une jonction des paupières supérieure et inférieure ; - le coin intérieur de l'oeil ou RIC ; pour l'oeil gauche : - le coin extérieur cle l'oeil ou LOC ; - le coin intérieur de l'oeil ou LIC ; pour la bouche : - le coin gauche de la bouche ou LMC, correspondant à jonction des lèvres supérieure et inférieure ; - le coin droit de la bouche ou RMC. une 7 Une première zone 20a est définie comme étant la zone autour de l'oeil droit ou REZ, une seconde zone 20b est définie comme étant la zone autour de l'oeil gauche ou LEZ et une troisième zone 40 est définie comme étant la zone autour de la bouche ou MZ. Dans une réalisation d'un dispositif pour la mise en oeuvre du procédé, l'utilisation d'une caméra vidéo noir et blanc de basse résolution, donnant des images numériques de quelques centaines de lignes comportant chacune quelques centaines de pixels, a montré que lors de la troisième étape 13 du procédé environ 20 à 50 points naturels sont identifiés dans chaque zone. A l'issue de la cinquième étape 15 du procédé, deux à six points naturels dans chaque zone ont un score suffisant pour être retenu comme candidat en tant que points symboliques parmi lesquels la sixième étape 16 permet de sélectionner dans chaque zone REZ, LEZ et MZ un couple de points, respectivement (ROC-RIC), (LOC-LIC) et (RMC-LMC), correspondant aux points symboliques recherchés avec une probabilité d'erreur extrêmement réduite. Dans l'hypothèse 18 où certains points symboliques recherchés n'auraient pas été identifiés, le processus d'identification est recommencé avec une nouvelle image 1 jusqu'à ce que la position du visage dans l'image permette de détecter tous les points symboliques recherchés. Le procédé proposé permet ainsi, tout en conservant des performances suffisantes, de simplifier le processus d'identification préliminaire des points symboliques de l'image d'un visage donnée par un système d'imagerie de performance limitée pour pouvoir réaliser un suivi ultérieur des mouvements du visage. REVENDICATIONS 1l Procédé (10) d'identification de points symboliques sur l'image d'un visage (1), ladite image comportant a priori les images d'un oeil droit, d'un oeil gauche et d'une bouche, ledit procédé comportant successivement les étapes de : a) détection (11) d'éléments (2a, 2b, 3a, 3b, 4) à forts contrastes du visage et identification desdits éléments à forts contrastes ; b) sélection (12) d'au moins une zone (20a, 20b, 40) de l'image, ladite au moins une zone ayant une position et des dimensions sur l'image (1) déterminées par rapport aux éléments à forts contrastes (2a, 2b, 3a, 3b, 4) et telles qu'elle contient a priori deux points symboliques recherchés liés entre eux par un critère morphologique ; c) recherche (13) de points définis par la convergence de lignes de séparation de zones contrastées de l'image, dit points naturels, dans ladite au moins une zone ; d) détermination (14) d'une signature pour chacun des dits points naturels par un calcul de gradient de contraste de l'image autour du point naturel ; e) détermination (15a) pour chaque point naturel d'au moins un score caractérisant une ressemblance de la signature du point par rapport à des signatures préétablies de points symboliques et sélection (15b) des points naturels ayant un score supérieur à une valeur seuil ; f) parmi les points naturels de la au moins une zone dont les scores sont supérieurs à une valeur seuil, identification (16) de couples de points naturels, chaque couple étant déterminé par un premier point naturel et par un second point naturel dont la position relative dans la zone considérée par rapport au premier point naturel correspond à une position proche de positions relatives préétablies de couples de points symboliques standards recherchés dans ladite au moins une zone et détermination pour chaque couple identifié d'un score caractéristique de l'écart du couple considéré par rapport aux couples de points symboliques standards ; g) dans la au moins une zone, sélection (17) du couple de points naturels ayant le meilleur score en tant que points symboliques de ladite au moins une zone considérée de l'image du visage (1). 21 Procédé suivant la revendication 1 dans lequel les éléments à forts contrastes (2a, 2b, 3a, 3b, 4) du visage sont choisis parmi des iris des yeux, des narines et la bouche. 31 Procédé suivant la revendication 1 ou la revendication 2 dans lequel la 35 sélection (12) des zones (20a, 20b, 40) de l'image est déterminée pour correspondre à 9 une zone recouvrant l'oeil droit et ou à une zone recouvrant l'oeil gauche et ou à une zone recouvrant la bouche. 41 Procédé suivant la revendication 3 dans lequel le couple de points symboliques dans une zone recouvrant un oeil est recherché (16) par l'identification de la convergence de lignes naturelles constituées par un bord d'une paupière supérieure et par un bord d'une paupière inférieure de l'oeil. 51 Procédé suivant la revendication 3 ou la revendication 4 dans lequel le couple de points symboliques dans une zone recouvrant la bouche est recherché (16) par l'identification de la convergence de lignes naturelles constituées par un bord d'une lèvre supérieure et par un bord d'une lèvre inférieure de la bouche. 61 Procédé suivant l'une des revendications précédentes dans lequel les zones (20a, 20b, 40) sont sélectionnées de telle sorte que, dans chaque zone, les positions relatives préétablies de couples de points symboliques standards 9) correspondent à un agencement symétrique des points symboliques standards par rapport à une ligne de référence de la zone considérée. 71 Procédé suivant l'une des revendications précédentes dans lequel l'image du visage (1) est obtenue d'une image digitale à faible résolution, de préférence inférieur à 500 lignes de 500 points d'image. 81 Procédé suivant la revendication 7 dans lequel l'image digitale est réalisée 20 dans le proche infrarouge.