Brevet FR2911978A1 — publié le 20080801

La présente invention appartient au domaine de la surveillance de la vigilance d'une personne et de ses zones d'intérêt lors d'une activité telle que la conduite d'un véhicule. Plus particulièrement l'invention concerne un procédé pour initialiser un dispositif de suivi de la position et/ou des mouvements d'un visage dans une séquence d'images. Pour surveiller la vigilance d'une personne et de ses zones d'intérêt, une méthode consiste à observer le visage de cette personne au moyen d'une caméra délivrant des images dont l'analyse permet d'identifier des mouvements comme ceux de la tête, des yeux et des paupières et d'en déduire la direction vers laquelle la personne filmée regarde et avec quelle attention. Il est connu d'utiliser pour cela une ou des caméras vidéo et de soumettre les images électroniques délivrées par ces caméras à des traitements numériques pour en extraire l'information recherchée. Une méthode connue pour suivre les déplacements du visage consiste, dans une étape d'initialisation, à construire une représentation en deux dimensions du visage de la personne filmée, dite modèle 2D spécifique du visage, et, ensuite, dans une étape de poursuite, à suivre les mouvements et les déformations de cette représentation 2D pour en déduire les informations recherchées sur la position et l'orientation du visage de la personne. Pour construire un modèle 2D spécifique lors d'une étape d'initialisation, une méthode connue consiste, comme illustré sur la figure 1, à : ^ acquérir 10a une image 10b d'un visage devant être suivi ; ^ localiser 10c le visage sur l'image ; ^ identifier 11 des points symboliques PS sur l'image du visage ; ^ dans l'hypothèse 12 où tous les points symboliques recherchés n'ont pas été identifiés sur l'image, recommencer un cycle de recherche des points symboliques avec une nouvelle image jusqu'à ce que tous les points recherchés soient identifiés sur une image courante ; ^ mémoriser 13 des imagettes correspondant à chaque point symbolique, 30 imagettes extraites de l'image courante ; construire 14, à partir des positions des points symboliques dans l'image courante, le modèle 2D spécifique du visage observé. De telles méthodes de suivi des mouvements d'un visage sont connues par exemple de la demande de brevet internationale publiée sous le numéro WO 02/09025. Une des difficultés de ces méthodes de suivi provient précisément de l'étape d'initialisation au cours de laquelle des points symboliques utilisés pour placer les imagettes et construire le modèle 2D sont recherchés dans une image. Pour réaliser une poursuite de qualité, il est en effet nécessaire d'avoir identifié plusieurs points symboliques et, lorsque tous les points symboliques recherchés n'ont pas été identifiés sur une première image la recherche est recommencée sur l'image suivante et ainsi de suite sur les images successives jusqu'à ce que tous les points symboliques recherchés aient été identifiés sur une même image. Les différentes morphologies de visages, ainsi que pour un même visage les différentes conditions d'observation : éclairage, position, orientation du visage, position des paupières et des lèvres ... expliquent que les résultats de la phase d'initialisation sont imprévisibles. L'issue d'une phase d'initialisation s'avère dépendre en grande partie de la sensibilité des méthodes mises en oeuvre pour identifier dans les images les points symboliques, sensibilité qui correspond à un compromis entre d'une part la durée et la quantité de calculs nécessaires pour identifier un point symbolique recherché et d'autre part le risque d'une mauvaise détection dans laquelle un point est identifié à tort comme un point symbolique recherché. Si les moyens mis en oeuvre pour identifier les points symboliques recherchés sont peu discriminants, le taux d'initialisations abouties est élevé mais les initialisations sont de mauvaises qualités du fait de l'utilisation probable de points pour construire le modèle 2D spécifique qui ne correspondent pas aux points symboliques recherchés. Si les moyens mis en oeuvre pour identifier les points symboliques recherchés sont très discriminants, le taux d'initialisations non abouties est élevé en raison de la non détection systématique de tous les points recherchés sur une image et la durée d'initialisation s'en trouve affectée. La présente invention a précisément pour objectif un procédé de poursuite d'un visage mettant en oeuvre un procédé d'initialisation qui accélère la phase d'initialisation sans nuire à la qualité de l'initialisation et qui permet de commencer la phase de poursuite alors que la phase d'initialisation n'est pas totalement achevée. Pour obtenir ces résultats, au cours de l'étape d'initialisation : a) des points symboliques PS prédéfinis du visage sont identifiés sur une image du visage ; b) une image de dimension réduite associée à chaque point symbolique identifié, 35 dite imagette, est extraite de l'image du visage ; c) un modèle à deux dimensions du visage poursuivi, dit modèle 2D spécifique, est réalisé à partir des positions des points symboliques détectés ; et, lorsque au cours de l'étape d'initialisation une partie seulement des points symboliques PS est identifiée sur une première image d'une séquence, d) les points symboliques identifiés et les imagettes associées extraites de ladite première image sont mémorisés ; e) les points symboliques non détectés sont recherchés sur des images successives de la séquence ; f) chaque point symbolique détecté dans une image de la séquence est, au moins pour les points symboliques non encore détectés, mémorisé ainsi que l'imagette correspondant au dit point extraite de ladite image de la séquence ; g) l'étape d'initialisation n'est considérée terminée que lorsque chaque point symbolique PS a été identifié au rnoins une fois sur une image de la séquence. De préférence, pour améliorer la qualité de la détection des points symboliques 15 et des imagettes, en outre : h) tous les points symboliques PS sont recherchés dans chaque image analysée de la séquence ; i) lorsqu'un point symbolique est détecté dans une image en cours d'analyse, dite image courante, un score représentatif de la qualité de l'identification du point en 20 tant que point symbolique est attribué au dit point de ladite image, et ; j) lorsqu'un point symbolique est identifié dans l'image courante et qu'il a également été identifié dans une image précédente de la séquence : j1) son score dans l'image courante est comparé à un score mémorisé obtenu dans une image antérieure pour ledit point ; 25 j2) l'imagette mémorisée correspondant audit point symbolique lors d'une détection dudit point dans l'image antérieure : est conservée si le score dans l'image courante est moins bon que le score mémorisé de l'image antérieure ; est remplacée par une imagette extraite de l'image courante si le score 30 dans l'image courante est meilleur que le score mémorisé de l'image antérieure. Pour tenir compte du fait que les imagettes mémorisées au cours de l'initialisation ne sont pas toutes extraites de la même image du visage, les imagettes des différents points symboliques sont alignées sur une image de la séquence, lorsque 35 chaque point symbolique PS a été identifié au moins une fois dans les différentes images de la séquence, en utilisant un modèle géométrique à deux dimensions générique de visage. Avantageusement du fait des constantes morphologiques d'un visage humain, au moins six points symboliques sont recherchés, correspondant aux angles extérieurs et intérieurs des yeux et aux angles gauche et droit de la bouche du visage. L'invention concerne également tout dispositif de poursuite d'un visage utilisant un modèle de visage à deux dimensions comportant une telle phase d'initialisation. En outre la mémorisation des points symboliques PS et des imagettes étant réalisée à la volée sur chaque nouvelle image, la phase de poursuite est avantageusement débutée avant la fin de la phase d'initialisation, notamment lorsque au moins deux points symboliques PS ont été identifiés. La description détaillée d'un mode de réalisation est faite en référence aux figures qui représentent : figure 1 : une vue schématique des étapes d'un procédé connu d'initialisation 15 déjà cité ; ^ figure 2 : une illustration d'une séquence d'image d'un visage et d'identification de points symboliques ; ^ figure 3 : une vue schématique des étapes du procédé d'initialisation suivant l'invention ; 20 Un procédé d'initialisation d'un dispositif de suivi de visage d'une personne suivant l'invention consiste à identifier une série de p points particuliers prédéterminés, dits points symboliques PS, sur des images d'un visage 1, à associer à chacun de ces p points symboliques une imagette correspondant à une fraction de l'image autour du point symbolique correspondant et à construire à partir de ces points un modèle 2D spécifique 25 du visage dont les mouvements doivent être suivis. Ces points symboliques sont choisis parmi des points de l'image identifiables, dits points naturels, qui correspondent à des points de convergence de lignes séparant des zones contrastées de l'image. La description détaillée de l'invention est illustrée par des exemples 30 correspondant à un dispositif de poursuite utilisant six points symboliques PS, p=6, correspondant aux coins des yeux et de la bouche. Les points symboliques sont dans ce cas : ^ pour l'oeil droit : - le coin extérieur de l'oeil ou ROC, correspondant à une jonction 35 des paupières supérieure et inférieure ; - le coin intérieur de l'oeil ou RIC ; ^ pour l'ceil gauche : D le coin extérieur de l'ceil ou LOC ; D le coin intérieur de l'ceil ou LIC ; pour la bouche : > le coin gauche de la bouche ou LMC, correspondant à une jonction des lèvres supérieure et inférieure ; > le coin droit de la bouche ou RMC. D'autres points symboliques, en plus ou en remplacement de ceux-ci, peuvent être utilisés dés lors qu'ils sont identifiables sur un visage quelconque. Le dispositif comporte des moyens d'acquisition d'images, en particulier au moins une caméra vidéo et des mémoires d'images, aptes à délivrer des images successives constituant une séquence il, i2...if, comme illustré sur la figure 2. On considère que la première image de la séquence est une image i0, et la première image prise en compte dans le processus d'initialisation est identifiée par l'indice il. Dans un système conventionnel d'acquisition d'images, les images d'une séquence se succèdent avec une fréquence de l'ordre de dix hertz ou de quelques dizaines de hertz. Dans une première étape le dispositif acquiert 20a une image 20b comportant un visage 1, identifie 20c le visage sur l'image puis recherche 21 les points symboliques 20 PSU), pour j=1 à p, sur l'image i0 de la séquence. Si les p points symboliques sont identifiés, les imagettes correspondant à chaque point symbolique sont extraites de l'image et un modèle 2D spécifique du visage est déterminé à partir de la position relative des points symboliques. La phase d'initialisation est dans cette situation considérée comme terminée. 25 Cependant, dans la plupart des cas, les p points symboliques PS ne seront pas extraits de l'image i0, en particulier si la recherche des points symboliques est très discriminante et ou si les moyens utilisés pour générer ces images sont de performances limitées, par exemple des caméras vidéo à basse résolution telles que celles mises en oeuvre dans des dispositifs à faibles coûts.. 30 Si 22 aucun point symbolique n'est identifié sur l'image i0, le processus de recherche des points symboliques est recommencé avec les images suivantes successives jusqu'à ce qu'au moins un point symbolique PS(j) soit effectivement identifié. Le cas échéant, dans un mode particulier de mise en oeuvre de l'invention, pour 35 chaque point symbolique PSU) identifié une note, dite score S-PS(j)(i), dont l'usage est décrit ultérieurement, est attribuée 23 au dit point symbolique PS(j) identifié sur ladite image d'indice i en fonction de critères représentatifs d'une qualité de l'identification du point. Par exemple des valeurs caractéristiques de l'image autour du point, tels que des gradients de contraste, sont comparées à des valeurs typiques de points symboliques connus et le score attribué est d'autant plus élevé que les valeurs associées au point considéré sont proches des valeurs typiques. En outre une imagette est extraite de l'image d'indice i et est associée au dit point symbolique. Les positions, scores et imagettes des points détectés sont mémorisés. Par exemple, figure 2, le point ROC est identifié en premier lieu sur une image il et un score S-ROC(il) est associé à ce point de la dite image de laquelle est extraite l'imagette il de ROC. Sur la figure 2 les imagettes sont symbolisées par un rectangle dans lequel est inscrit l'indice de l'image de laquelle a été extraite ladite imagette. Dans une seconde étape, les points symboliques PS(j) sont à nouveau recherchés 21 sur une image suivante de la séquence jusqu'à une image i2 sur laquelle des points symboliques sont détectés. Comme lors de la recherche décrite précédemment, un score est attribué 23 à chaque point symbolique identifié et une imagette est, si besoin, extraite 25 de l'image pour chaque point symbolique identifié sur l'image i2. Dans un premier mode de mise en oeuvre de cette étape du procédé, seuls les points symboliques PS non détectés antérieurement sur des images d'un rang inférieur à 20 l'image en cours d'analyse sont recherchées. Dans un second mode préféré, correspondant aux figures 2 et 3, de mise en oeuvre de cette étape du procédé, tous les points symboliques PS sont à nouveau recherchés sur chaque image de la séquence et, lorsqu'un point symbolique, par exemple le point ROC identifié dans une image i3, a déjà été identifié dans une image 25 précédente, l'image il dans l'exemple, son nouveau score, S-ROC(i3), est comparé 24 au score que ledit point symbolique avait obtenu antérieurement, S-ROC(il) dans l'exemple. Si le nouveau score est meilleur que le score antérieur, S-RIC(i3) > S-RIC(il), l'imagette associée au point symbolique considéré est extraite de l'image i3 et est mémorisée à la place de l'imagette correspondante extraite de l'image il (cas de la 30 figure 2). Dans le cas contraire, l'imagette extraite antérieurement est conservée, par exemple sur la figure 2 pour le point LOC lorsque S-LOC(i3) Le processus qui vient d'être décrit est répété 26 de manière itérative avec les images successives de la séquence jusqu'à une image de rang if pour laquelle tous les p points symboliques recherchés ont été identifiés au moins une fois et des imagettes associées sont stockées, même si aucune image de la séquence analysée n'a été en mesure de permettre à elle seule l'identification de tous ces points symboliques. En outre les imagettes associées aux points symboliques s'avèrent de meilleure qualité dans la mesure où, extraites d'images pouvant être différentes, pour chaque point symbolique l'imagette la plus représentative du point considéré est mémorisée parmi toutes les imagettes possibles des images de la séquence pour ce point symbolique. Certaines imagettes ayant été extraites d'images de la séquence antérieures à la dernière image if, l'image courante lorsque tous les points symboliques recherchés ont été identifiés, les positions des différentes imagettes sont recalées 27 par rapport à ladite image courante. Avantageusement ce recalage des positions est réalisé en utilisant un modèle 15 2D générique 7 de visage et un filtrage qui permettent de reconstituer 28 le modèle 2D spécifique au visage traité. La phase d'initialisation est alors considérée comme terminée. Ainsi le procédé permet d'obtenir une initialisation rapide et cependant de grande qualité, gage d'une poursuite ultérieure performante et de qualité, par la mise en 20 oeuvre de méthodes de détermination des points symboliques très discriminantes, méthodes de détermination qui n'auraient pas permis d'aboutir à une initialisation dans une durée acceptable par des méthodes d'initialisation conventionnelles. Dans une forme particulière de mise en oeuvre de l'invention, la phase de poursuite est démarrée avant la fin de la phase d'initialisation. 25 En effet il est théoriquement possible de réaliser une poursuite sur la base d'un modèle 2D de visage dés lors qu'au moins deux points sont identifiés. Une telle poursuite dans un mode dégradé utilisant un nombre limité de points n'est envisageable que si la qualité de détection des points symboliques est bonne ce que permet le procédé par l'utilisation de méthodes de détection des points symboliques 30 très discriminantes. Dans cette forme particulière de mise en oeuvre de l'invention, la phase de poursuite est donc avantageusement démarrée avant que tous les points symboliques n'aient été détectés, donc avant la fin de la phase d'initialisation. De préférence la phase de poursuite est démarrée dés qu'au moins deux points 35 symboliques ont été détectés. Dans une variante de mise en oeuvre de cette forme particulière, des résultats de la phase de poursuite, en particulier des informations de la position estimée du visage ayant une influence sur la position des points symboliques dans l'image, par exemple l'inclinaison du visage, sont utilisés pour améliorer la performance de la recherche des autres points symboliques de l'image qui n'ont pas encore été détectés par le processus d'initialisation en cours. Le procédé proposé permet d'accélérer sensiblement le processus d'initialisation d'un dispositif de poursuite d'un visage et la qualité de l'initialisation. Le procédé s'applique avantageusement à tout dispositif de poursuite basé sur la reconstruction d'un modèle à deux dimensions de l'image d'un visage devant être poursuivi. Bien entendu, le procédé ci-dessus décrit pourrait être également extrapolé pour être applicable à un procédé et un dispositif de poursuite d'un visage qui serait basé sur un modèle en trois dimensions. REVENDICATIONS 1. Procédé de poursuite d'un visage (1) comportant une étape d'initialisation au cours de laquelle : a) des points symboliques prédéfinis PS du visage sont identifiés (21) sur une image du visage ; b) une image de dimension réduite associée à chaque point symbolique identifié, dite imagette, est extraite (25) de l'image du visage ; c) un modèle à deux dimensions du visage poursuivi, dit modèle 2D spécifique, est réalisé (28) à partir des positions des points symboliques détectés ; caractérisé en ce que, lorsque au cours de l'étape d'initialisation une partie seulement 10 des points symboliques PS est identifiée sur une première image d'une séquence : d) les points symboliques identifiés et les imagettes associées extraites de ladite première image sont mémorisés ; e) les points symboliques non détectés sont recherchés sur des images successives de la séquence ; 15 f) chaque point symbolique détecté dans une image de la séquence est, au moins pour les points symboliques non encore détectés, mémorisé ainsi que l'imagette correspondant au dit point extraite de ladite image de la séquence ; g) l'étape d'initialisation n'est considérée terminée (26) que lorsque chaque point symbolique PS a été identifié au moins une fois sur une image de la séquence. 20 2. Procédé suivant la revendication 1 dans lequel : h) tous les points symboliques PS sont recherchés dans chaque image analysée de la séquence ; i) lorsqu'un point symbolique est détecté dans une image en cours d'analyse, dite image courante, un score représentatif de la qualité de l'identification du point en 25 tant que point symbolique est attribué au dit point de ladite image, et ; j) lorsqu'un point symbolique est identifié dans l'image courante et qu'il a également été identifié dans une image précédente de la séquence : j1) son score dans l'image courante est comparé (24) à un score mémorisé obtenu dans une image antérieure pour ledit point ; 30 j2) l'imagette mémorisée correspondant audit point symbolique lors d'une détection dudit point dans l'image antérieure : est conservée si le score dans l'image courante est moins bon que le score mémorisé de l'image antérieure ; - est remplacée par une imagette extraite de l'image courante si le score dans 35 l'image courante est meilleur que le score mémorisé de l'image antérieure. 3. Procédé suivant la revendication 1 ou la revendication 2 dans lequel les imagettes des différents points symboliques sont alignées sur une image de la séquence lorsque chaque point symbolique PS a été identifié au moins une fois dans les différentes images de la séquence en utilisant un modèle géométrique à deux dimensions générique de visage. 4. Procédé suivant l'une des revendications précédentes dans lequel au moins six points symboliques d'un visage sont recherchés, les dits six points correspondant aux angles extérieurs et intérieurs des yeux et aux angles gauche et droit de la bouche du visage. 5. Procédé suivant l'une des revendications précédentes caractérisé en ce qu'une phase de poursuite est débutée dès que au moins deux points symboliques ont été identifiés et en ce que les résultats de la poursuite sont utilisés pour la recherche des autres points symboliques non encore détectés. 6. Dispositif de poursuite d'un visage d'une personne utilisant un modèle de visage à deux dimensions comportant une phase d'initialisation conforme à l'une des 15 revendications 1 à 5. 7. Dispositif suivant la revendication 6 dans lequel une phase de poursuite du visage est débutée avant la fin de la phase d'initialisation. 8. Dispositif suivant la revendication 7 dans lequel la phase de poursuite est débutée lorsque au moins deux points symboliques PS ont été identifiés. 20