Brevet FR2960315A1 — publié le 20111125

TITRE Procédé et dispositif de captation de mouvements d'un individu par imagerie thermique. DESCRIPTION L'invention concerne le domaine technique des interfaces homme machine permettant à un individu de communiquer ou interagir avec une 10 source d'affichage. Plus particulièrement mais non limitativement, l'invention concerne un système de détection des mouvements humains produits avec la tête et/ou avec les mains et/ou avec les doigts, par exemple à des fins de 15 navigation dans du contenu ou dans des menus, ou d'adaptation du cadre d'affichage en 2D ou en 3D, ou de navigation en réalité virtuelle par exemple pour des jeux vidéos, ou de navigation en réalité augmentée par exemple pour une assistance à maintenance industrielle ou pour une assistance à la conduite automobile. 20 Selon l'état de la technique, on connaît des interfaces homme machine mettant en oeuvre des techniques d'imagerie active, selon lesquelles les rayonnements acquis sont des rayonnements réfléchis sur les surfaces d'une scène observée, ou des rayonnements émis par des accessoires fixés 25 sur celle-ci. C'est par exemple le cas des solutions de reconnaissance de formes en deux dimensions dans le spectre visible, des solutions de reconnaissance de formes en trois dimensions dans l'infrarouge grâce à une reconstruction 3D des surfaces exposées des individus de la scène (maillage spatial), ou des solutions de suivi de points lumineux infrarouges rendus 15 solidaires d'une partie de l'individu observé (pastilles réfléchissantes ou sources lumineuses ponctuelles embarquées). De telles solutions ne donnent pas totalement satisfaction et présentent certains inconvénients : - La reconnaissance 2D nécessite une puissance de calcul importante pour le traitement des images, et est sensible aux conditions d'éclairage ambiant et aux spécificités physiques de l'individu observé. - La reconnaissance 3D nécessite une puissance de calcul encore plus importante puisqu'elle génère et traite une information brute beaucoup plus complète (reconstruction surfacique de la scène observée en 3D). La majeure partie de cette information est pourtant superflue dans le cas où un simple mouvement de consigne (geste de l'individu) est recherché. Le système matériel nécessaire est également relativement complexe et coûteux à mettre en oeuvre si l'on recherche une reconnaissance précise (maillage fin). - Le suivi de points lumineux est simple à mettre en oeuvre, mais ne fonctionne correctement que si l'utilisateur fixe sur lui des accessoires particuliers, tels que des pastilles réfléchissantes ou des sources lumineuses ponctuelles. Cette contrainte technique induit un inconfort majeur à l'utilisation. En marge des techniques d'imagerie active, la technique de détection thermique est bien adaptée pour la détection passive de présence, mais elle est inadaptée à la reconnaissance de mouvements. Le document WO2009033491 propose une évolution depuis l'approche « détection de présence » vers l'approche « localisation de présence ». Pour cela, elle exploite la dépendance de la mesure de capteurs thermiques à l'angle d'incidence des rayonnements thermiques, afin de localiser la zone de présence de la source chaude par rapport auxdits capteurs. L'hypothèse de base, reprise aux systèmes de détection de présence, consiste à considérer l'individu dans sa globalité comme une source chaude unique et homogène. Cette hypothèse limite la reconnaissance de mouvements à un nombre faible de degrés de liberté, ces degrés de libertés étant le plus généralement de type translation. À titre illustratif on peut considérer un mouvement de rotation latérale de la tête autour du cou ; un tel mouvement risque soit de ne pas être détecté, soit d'être considéré à tort comme une translation horizontale. L'invention s'est fixée pour but de remédier à ces inconvénients d'une manière simple, sûre, efficace et rationnelle. Le problème que se propose de résoudre l'invention est de proposer un nouveau type d'interface homme machine qui soit à la fois peu exigeant en termes de ressources de calcul, et le moins intrusif possible pour le ou les utilisateurs. Pour résoudre ce problème, il a été conçu et mis au point un procédé de captation d'au moins un mouvement d'au moins un individu, qui comprend les étapes suivantes : - on mesure la distribution spatiale de rayonnements thermiques, ou de variations dans le temps de rayonnements thermiques, émis par une scène thermique constituée d'au moins une zone chaude et émissive d'au moins un individu ; - on identifie au moins une zone de rayonnement thermique particulier sur la distribution spatiale mesurée ; - on suit les évolutions dans le temps d'au moins une des zones de rayonnement thermique particulier identifiées ; - on procède à l'estimation d'au moins un mouvement humain à l'origine de l'évolution d'au moins une des zones de rayonnement thermique particulier identifiées. Pour la mise en oeuvre du procédé, le dispositif comprend : - des moyens radiométriques d'imagerie, passive et en deux dimensions, de rayonnements thermiques ou de variations de rayonnements thermiques émis par une scène thermique constituée d'au moins une zone chaude et émissive d'au moins un individu ; - des moyens optiques aptes à projeter une image nette et fidèle de la scène thermique dans un plan focal où sont situés les moyens radiométriques ; - des moyens de conditionnement des signaux électriques aptes à extraire des informations numériques sur la distribution spatiale de l'émission thermique de la scène thermique à un instant donné, ou sur les variations de cette distribution dans le temps ; - des moyens de traitement de l'image et des moyens de décision aptes à identifier au moins une zone de rayonnement thermique particulier, à suivre son évolution dans le temps, et à en extraire une estimation d'au moins un mouvement humain à l'origine de l'évolution d'au moins une des zones identifiées. D'une manière avantageuse, il résulte de ces caractéristiques que l'invention est un système d'imagerie passive en deux dimensions de rayonnements émis naturellement et en permanence par tout être humain vivant. Cette caractéristique intrinsèque de l'invention la différencie des autres solutions connues qui mettent en oeuvre des techniques d'imagerie active dont les rayonnements considérés sont des rayonnements réfléchis sur les surfaces de la scène observée, ou des rayonnements émis par des accessoires fixés sur celle-ci, mais en aucun cas des rayonnements directement émis par le ou les individus de la scène. Cette caractéristique intrinsèque de l'invention procure de nombreux avantages, parmi lesquels on peut citer : - Une simplicité et un confort d'utilisation puisqu'il n'est pas nécessaire de s'équiper d'accessoires pour être reconnu par le système de captation de mouvements. - Une insensibilité aux conditions d'éclairage ambiant, que l'on soit dans l'obscurité ou à contre-jour. - Une sensibilité très réduite aux spécificités physiques du ou des individus observés à un instant donné, puisque la distribution spatiale du rayonnement thermique est très similaire entre deux individus, ou pour un même individu d'un jour sur l'autre. - Une économie d'énergie et la protection des personnes puisqu'aucun élément du système n'émet de lumière, dans le visible ou l'infrarouge, en particulier dans la direction de l'individu et de son champ de vision. Il est à noter que l'interface homme machine selon l'invention est adaptée à l'interaction ou à la communication, simultanée ou non, d'un ou plusieurs individus avec une ou plusieurs sources d'affichage. Au sens de l'invention, on entend par source d'affichage un ensemble informatique autonome, doté de capacités de traitement, de communication, d'actionnement ou de mesure, et utilisé pour émettre ou recevoir des informations, en provenance ou à destination d'un ou plusieurs individus, par la mise à jour dynamique d'une zone affichage. L'interface homme machine selon l'invention est adaptée à toute source d'affichage sujette à interaction ou à communication avec un ou plusieurs êtres humains, des sources d'affichages candidates mais non exclusives, étant des écrans de terminaux mobiles, des moniteurs d'ordinateurs ou de consoles de jeux, des écrans de télévision, des surfaces de vidéo projection, des bornes interactives, des pupitres de commande industriels, des écrans ou des surfaces de projection en vitrine, des solutions de projection en vision haute (Head-Up Display), ou des lunettes avec affichage en vision directe. L'invention est exposée ci-après plus en détail à l'aide des figures annexées parmi lesquelles : la figure 1 montre, par une vue à caractère schématique, le principe à la base du procédé selon l'invention la figure 2 montre, notamment, une forme de réalisation de l'ensemble de radiométrie et de l'unité de traitement ; les figures 3, 4 et 5 montrent, à titre indicatif et nullement limitatif, des exemples de parties d'un individu aptes à constituer la scène thermique. la figure 6 montre, à titre indicatif et nullement limitatif, la décomposition selon six degrés de liberté d'un mouvement en trois dimensions d'une partie. Sur les figures, les différents éléments communs aux diverses variantes ou formes de réalisation portent les mêmes références. Un procédé de captation de mouvements humains par imagerie thermique selon l'invention, tel qu'illustré schématiquement à la figure 1, mesure et analyse la distribution spatiale du rayonnement thermique d'une scène thermique (4). Le ou les mouvements humains sont reconnus comme des consignes à destination finale d'au moins une source d'affichage. Selon l'invention, une scène thermique (4) est constituée d'au moins une partie (5) d'au moins un individu (6). Une partie (5) se définit comme une zone d'un individu, délimitée et émissive de rayonnements thermiques, telle que l'on peut faire l'approximation que tous les points source de rayonnement thermique de cette partie sont entraînés en bloc lors de la réalisation d'un mouvement par l'individu. Des exemples préférés mais non exclusifs de parties sont des zones délimitées du visage (figure 4) ou des mains (figure 3), ou des ouvertures faites dans un vêtement présentant une faible émissivité dans l'infrarouge lointain pour ne laisser s'échapper que localement le rayonnement thermique (trous circulaires dans une cagoule et/ou des gants et/ou une combinaison intégrale) (figure 5). Plus précisément : sur le visage, ces zones peuvent être constituées par les lobes oculaires, ou le nez, ou la bouche, ou les lèvres, ou le menton, ou les joues, ou éventuellement des objets portés tels que des lunettes ; sur les mains, ces zones peuvent être constituées par les doigts, ou les ongles, ou les phalanges, ou les portions des doigts situées entre deux phalanges ou entre une phalange et une extrémité d'un doigt, ou éventuellement des objets portés tels que des bagues. Le procédé de captation de mouvements humains par imagerie thermique selon l'invention, fait l'hypothèse que l'inertie thermique des parties de la scène thermique est suffisamment grande pour considérer que les variations temporelles de la distribution spatiale de rayonnement thermique, entre au moins deux acquisitions successives d'un même pixel, résultent d'une réorganisation spatiale des parties dans la scène thermique plutôt que d'une modification de l'intensité d'émission de certaines zones de la scène thermique par rapport à d'autres. A partir de là, il est possible d'estimer le mouvement d'au moins une partie (5) de la scène thermique (4) : selon au moins six degrés de liberté de réalisation (figure 6), dès que l'on connaît la projection selon deux dimensions non confondues, du déplacement d'au moins trois points distincts et non-alignés de cette partie ; - selon au moins quatre degrés de liberté de réalisation (figure 6), dès que l'on connaît la projection selon deux dimensions non confondues, du déplacement d'au moins deux points distincts de cette partie ; - selon au moins deux degrés de liberté de réalisation (figure 6), dès que l'on connaît la projection selon deux dimensions non confondues, du déplacement d'au moins un point de cette partie. Il est à noter que l'invention ainsi décrite se distingue fondamentalement des solutions de détection de présence ou de localisation de présence identifiées dans l'état de l'art, puisque l'individu n'est pas considéré dans sa globalité comme une source chaude unique et homogène, mais comme une association de parties, chaque partie présentant elle-même une carte d'émission thermique non nécessairement homogène. Au même titre que les caractéristiques géométriques d'une partie, le dispositif selon l'invention interprète l'inhomogénéité de la distribution de rayonnement thermique d'une partie pour estimer son mouvement selon les considérations énoncées dans le paragraphe précédent. Un dispositif de captation de mouvements humains par imagerie thermique selon l'invention, tel qu'illustré schématiquement à la figure 1 et désigné dans son ensemble par la référence (1), comprend : - d'une part un ensemble de radiométrie (2) des rayonnements thermiques incidents (3) émis par une scène thermique (4) constituée d'au moins une partie (5) d'au moins un individu (6) ; - et, d'autre part, une unité de traitement (7). L'unité de traitement (7) est raccordée électriquement à l'ensemble de radiométrie (2) et comprend, comme le montre la figure 2, une unité de conditionnement (8) des signaux issus de l'ensemble de radiométrie (2), une unité de traitement de l'image (9) des images en provenance de l'unité de conditionnement (8), et une unité de décision (10) en charge d'estimer le mouvement humain et, par association, la commande (11) à envoyer vers la source d'affichage dynamique (12) située de préférence dans le champ de vision (13) de l'individu (6). L'ensemble de radiométrie (2) comprend (figure 2) des capteurs radiométriques (14), et des moyens optiques (15) aptes à projeter une image nette et fidèle de la scène thermique (4) dans un plan focal (16) où sont situés lesdits capteurs radiométriques (14). Au sens de l'invention on entend par capteur radiométrique un dispositif de mesure qui quantifie le rayonnement thermique incident sur au moins deux niveaux de mesure. Cette définition inclut les détecteurs de présence de type « Tout-Ou-Rien », mais ne s'y limite pas. Dans une application préférée mais non exclusive, l'ensemble de radiométrie fournit des informations sur un nombre de niveaux bien supérieur à deux. Au sens de l'invention on entend par projection fidèle le fait que les moyens optiques sont transparents dans la plage de longueur d'onde caractéristique de rayonnements thermiques humains. L'unité de conditionnement (8) des signaux issus de l'ensemble de radiométrie (2) extrait des informations numériques (17) sur la distribution spatiale de l'émission thermique de la scène thermique (4) à un instant donné, ou sur les variations de cette distribution dans le temps. L'unité de traitement de l'image (9) des images (17) en provenance de l'unité de conditionnement (8) identifie au moins une zone de rayonnement thermique particulier (18) et suit son évolution dans le temps. Au sens de l'invention on entend par zone de rayonnement particulier, une zone de pixels sur une image fournie à un instant donné par les moyens de radiométrie et de conditionnement de signaux, tels que les pixels constitutifs de cette zone présentent des caractéristiques communes. Des critères préférés mais non exclusifs concernent l'amplitude du signal en chaque pixel relativement aux pixels voisins, ou la dérivée spatiale du signal au voisinage d'un pixel, ou la dérivée temporelle du signal en chaque pixel, ou la combinaison de ces critères. Il doit être noté que selon l'invention, les zones de rayonnement thermique particulier identifiées par les moyens de traitement de l'image (9), ne sont ni prédéterminées, ni déterminées de manière définitive, ni relatives à des portions particulières et dénommables du corps humain, mais définies par lesdits moyens de traitement de l'image selon des critères quantitatifs, de manière à ce qu'au moins une des zones identifiées soit corrélée avec au moins une des parties caractéristiques de la scène thermique (4). L'unité de décision (10) extrait une estimation d'au moins un mouvement humain qui serait à l'origine de l'évolution d'au moins une des zones de pixels identifiées (18). Elle en déduit ensuite par association la commande (11) à adresser à la source d'affichage dynamique (12). L'estimation selon l'invention a été décrite plus tôt. Elle s'appuie par exemple sur des considérations telles que la forme géométrique des zones de pixels de rayonnement thermique particulier, ou la distribution d'intensité du rayonnement sur ces zones. Au sens de l'invention on entend par évolution toute translation, rotation, déformation, ou variation d'amplitude, dans le temps, d'une zone de pixels par rapport à elle-même, ou d'une zone par rapport à une ou plusieurs autres, ou d'une zone par rapport au cadre de l'image traitée. Il est à noter que l'interface homme machine selon l'invention peut être configurée pour reconnaître tout type de mouvements de l'individu. Au sens de l'invention, on entend par mouvement un déplacement relatif d'une partie de l'individu par rapport audit dispositif, et/ou d'une partie de l'individu par rapport à une autre partie de lui-même, et/ou d'une partie d'un individu par rapport à une partie d'un autre individu. Des exemples particuliers mais non exclusifs de mouvements reconnus sont : - des mouvements relatifs de la tête par rapport audit dispositif, de type translation latérale, translation verticale, rapprochement ou éloignement, inclinaison sur l'avant ou l'arrière, inclinaison latérale, rotation latérale, ou la combinaison de plusieurs de ces mouvements (figure 6) ; - ou des mouvements relatifs des mains ou des doigts par rapport audit dispositif, de type translation ou rotation ou déformation ; - ou l'aboutissement de tels mouvements à une forme géométrique particulière, de type angle droit, rond, parallélépipède, ou tout autre forme géométrique simple ; - ou encore la combinaison de mouvements de la tête et/ou des mains et/ou des doigts, ceci de la part d'un ou plusieurs individus. A partir des caractéristiques à la base de l'invention, on décrit ci- après différentes formes de réalisation de moyens constitutifs. Les moyens radiométriques (2) d'imagerie passive en deux dimensions sont des capteurs de rayonnement thermique organisés sous forme de matrice à plan focal (Focal Plan Array) ou associés à des moyens de balayage optico-mécanique pour obtenir la résolution spatiale souhaitée. Toutes les technologies de radiométrie thermique sont compatibles avec le système de captation de mouvements humains selon l'invention. Parmi ces technologies, certaines reposent sur la mesure de flux de photons incidents, d'autres reposent sur la mesure de températures locales d'éléments intégrés dans les moyens radiométriques. Parmi ces technologies, certaines nécessitent un refroidissement alors que d'autres non. Une technologie préférée mais non exclusive met en oeuvre une matrice de microbolomètres placée dans le plan focal des moyens optiques, la réalisation de ces microbolomètres étant de préférence compatible avec une ligne industrielle CMOS afin de minimiser les coûts de fabrication. Il doit être noté que les moyens radiométriques (2) d'imagerie selon l'invention peuvent limiter leur acquisition à une plage restreinte de températures, et peuvent fournir une estimation non-linéaire et biaisée de la distribution spatiale de température de la scène thermique, dans une mesure que les moyens de traitement de l'image selon l'invention peuvent supporter. Les moyens optiques (15) mis en oeuvre pour projeter sont réalisés dans des matériaux transparents aux rayonnements thermiques, et permettent ou non l'ajustement de la distance focale. Une solution préférée, mais non exclusive, consiste en une lentille de Fresnel en polyéthylène, dont les coûts de réalisation sont faibles. Les moyens de traitement de l'image (9) selon l'invention peuvent par exemple mettre en oeuvre des techniques de seuillage et/ou des techniques de détection de contours, ces techniques ayant la particularité d'être peu exigeantes en termes de ressources matérielles et logicielles. Il est à noter que le système de captation de mouvements humains selon l'invention ne se limite pas à une disposition relative particulière des trois éléments : partie (5) en mouvement de l'individu, source d'affichage (12) et yeux (13) de l'individu. Ainsi, dans certaines configurations : - la partie en mouvement de l'individu se trouve dans l'espace entre ses yeux et la source d'affichage, par exemple une main entre la tête et la source d'affichage ; - la source d'affichage se trouve dans l'espace entre ses yeux et la partie en mouvement de l'individu, par exemple une main cachée du champ de vision de l'individu par la source d'affichage, et éventuellement reproduite en temps réel sur cette dernière dans un esprit de transparence virtuelle et améliorée ; - la partie en mouvement de l'individu et ses yeux sont dans une zone confondue, par exemple lorsque les mouvements captés sont des mouvements de la tête. Les avantages ressortent bien de la description.