Brevet FR3020710A1 — publié le 20151106

- 1 - La présente invention concerne un dispositif amélioré pour reconnaitre les gestes et les mouvements des mains et des bras du porteur et les transmettre à un ordinateur qui en fait le traitement. Il existe actuellement plusieurs dispositifs de reconnaissance des gestes. Les plus courants sont les périphériques externes de capture de mouvement « vision based », tels que les caméras en spectre visible ou infrarouge. Ces dispositifs ont l'avantage de ne pas nécessiter que l'utilisateur « porte » quelque chose et les interactions sont souvent immédiats sans configuration préalable. Le principal inconvénient de ces outils est leur sensibilité aux conditions d'utilisation. Une fois calibrés, de petites modifications dans la luminosité, la vitesse du mouvement peuvent réduire leur précision. De plus, ils nécessitent souvent un accès direct et sans occlusion des mains afin de les identifier, et la présence d'obstacles ou d'éléments entre le système optique et les mains empêche le traitement efficace du mouvement. Aussi, ces systèmes nécessitent la présence d'éléments extérieurs au corps de l'utilisateur qui captent ces mouvements. Souvent peu portatifs, ces périphériques d'acquisition réduisent le champ d'utilisabilité de ces systèmes aux espaces confinés et contrôlés. Certains systèmes nécessitent aussi des marqueurs ou des gants colorés afin de simplifier la reconnaissance des gestes ; mais le plus grand enjeu demeure la reconnaissance spatiale des mouvements, d'où l'utilisation de deux ou plusieurs cameras pour obtenir une vision en stéréoscopie La seconde catégorie est celle des dispositifs portatifs ou portés. Plus chers et moins démocratisés que les systèmes optiques, ils présentent l'intérêt d'avoir une fiabilité constante et indépendante des conditions environnantes. Le traitement est beaucoup moins lourd (en général) qu'une analyse d'image et beaucoup plus rapide. Enfin, ils peuvent être utilisés dans n'importe quel contexte et ne nécessitent pas de configuration à chaque utilisation. Ce domaine est particulièrement dynamique avec une dizaine de produits sur le marché et d'intenses recherches menés par des universités (Shanghai Jia Tong [1] ...) ou des entreprises (Canon[2], BAE SYSTEMS [3]). Parmi les produits disponibles actuellement, sont à citer, le P5 Glove (49$ [4]) était le modèle le moins cher sur le marché, permettait une reconnaissance approxmative des mouvements de doigts. Lancé en 2002, il a été un échec et n'est plus commercialisé [5]. Un autre modèle vendu à tarif grand public est le DG5-VHand Glove [6] vendu à 585$. Ces deux modèles utilisent des gauges de flexion pour mesurer l'orientation des doigts. Les modèles à destination du marché professionnel (animation 3d, motion capture, ...) comportent par exemple le 5DT Data Glove 5 Ultra vendu à 3495$-6995$ le gant [7]. Ainsi, un énorme gouffre existe au niveau tarifaire. Aucun dispositif n'a permis d'ouvrir la reconnaissance portée des geste au grand public, en proposant à la fois des tarifs abordables, une bonne autonomie et un produit à l'encombrement réduit. Le présent dispositif repose sur une approche différente qu'a permis l'apparition et le développement des technologies MEMS, par l'utilisation d'inclinomètres 2 axes afin d'évaluer l'orientation des doigts. Cela permet au présent dispositif d'être beaucoup plus compact, plus léger et avec une précision atteinte par les outils professionnels. - 2 - Un premier objectif est de pouvoir traduire la langue des signes française et de la synthétiser en voix. Pour cela, il est nécessaire de localiser l'orientation des doigts, mais aussi la totalité du mouvement et de la position des mains par rapport au corps. Cela se fait en utilisant des capteurs d'inclinaison deux axes au niveau de chaque doigt. Un premier capteur est placé au niveau de la phalange distale. Le second est placé au niveau de la phalange intermédiaire ou de la phalange proximale. En intégrant l'accélération selon les deux axes x et y (qui définissent le plan du dos du doigt), nous pouvons déterminer l'inclinaison par rapport à la terre de chaque capteur. Sachant que l'angle de rotation de la phalange distale par rapport à la phalange intermédiaire est corrélé à l'angle que fait la phalange intermédiaire par rapport à la phalange proximale et connaissant l'orientation de la main, il est alors possible de définir précisément par différences l'angle que fait chaque phalange par rapport à l'autre et donc de modéliser l'orientation de chaque doigt. Les emplacements des accéléromètres sont précisés sur la FIG.1. Ils sont notés « 1 ». Une unité de mesure inertielle (IMU) ou Centrale à Inertie est localisée au niveau des métacarpes (notée « 2 » sur la FIG.1) ou au niveau du poignet de chaque main. A partir d'une position initiale, elle détermine la position, l'inclinaison et la rotation de la main par rapport au référentiel initial. La position initiale peut être par exemple de détendre le bras et le laisser contre le corps. La figure présente le dispositif destiné à la main droite. C'est une vue du dessus (le côté dos de la main). piemdbarbékiegbeansejeaseigeme Une variante du dispositif intègre une puce de communication sans fil (notée « 3 » sur la FIG.1). Elle transmet l'ensemble des signaux reçus à l'unité de traitement. L'unité de traitement peut être mer, smartphone, ou tout « ordinateur » disposant de capacités sans fil. La puce sans fil peut par exemple être une puce Bluetooth 4.0 (ou BLE). Une variante du dispositif est l'adjonction de capteurs de contact ou de pression au niveau des doigts sur le côté « paume » (FIG.2, notés « 4 »). Cette variante peut être associée à la variante précédente au sein d'un même dispositif. Une variante du dispositif est l'adjonction d'un boitier externe situé au niveau du torse de l'utilisateur (une illustration de cette position est représentée par la FIG.3, le boitier est noté « 5 »). Ce boitier comporte une caméra dirigée vers le haut. Disposant d'un large champ, elle capture les mouvements situés au niveau du cou et analysent les expressions du visage. Ce boitier dispose d'une puce sans fil qui lui permet de communiquer avec l'unité de traitement. Ce dispositif peut être une paire de gants en matériau semi-élastique auquels sont incorporés l'ensemble des composants précédemment cités. Ces composants existent en version miniaturisés de sorte à obtenir un gant qui se rapproche le plus des modèles existants sur le marché, et permettant une grande souplesse et une liberté d'action des utilisateurs. - 3 - [1] : https://www.google.fr/patents/CN103226398A [2] :https://www.google.fr/patents/US5714698 [3] : https://www.google.fr/patents/US20130181810 [4] : http://www.cwonline.com/store/view_product.asp?Product=1179 [5] : http://en.wikipedia.org/wiki/Wired_glove [6]: http://www.vrealities.com/products/data-gloves/dg5-vhand-glove-3-0 [7] : http://www.5dt.com/products/pdataglove5u.html REVENDICATIONS1- Dispositif de reconnaissance des mouvements des doigts et des mains du porteur composé d'un périphérique d'entrée transformant les mouvements des doigts et des mains en signaux électriques connecté à un système de traitement de ces signaux. Le dit périphérique d'entrée est caractérisé en ce qu'il est composé de : Plusieurs inclinomètres ou accéléromètres 2 axes, 2 par doigt situés au niveau de la phalange distale et de la phalange proximale ou au niveau de la phalange distale et de la phalange intermédiaire. Ils permettent de calculer l'inclinaison des phalanges de chaque doigt. Une ou la totalité des doigts peut comporter ces capteurs. Une centrale à inertie (IMU) située sur chaque main au niveau des métacarpes ou au niveau des poignets pour mesurer la position et l'inclinaison des mains dans l'espace. 2- Dispositif selon la revendication 1, caractérisé en ce que chaque main comporte côté paume, des capteurs de contacts ou de pression situés pour chaque doigt au niveau de la phalange distale ou de la phalange intermédiaire. Une ou la totalité des doigts peut comporter ces capteurs. 3- Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte en plus sur chaque main une puce de communication sans fil et un microcontrôleur. Les composants situés sur chaque main communiquent alors sans fil avec le système de traitement des signaux. 4- Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte en plus un boitier externe situé au niveau du torse de l'utilisateur et doté d'une caméra, d'une puce sans fil et d'un microcontrôleur. Le boitier communique alors sans fil avec le système de traitement des signaux. La camera est orientée vers le visage et permet le traitement des mouvements des mains au niveau du cou et de la tête et le traitement des expressions du visage. 5- Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce que les puces sans fil sont des puces Bluetooth. 6- Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce que sur chaque main est placé un microcontrôleur qui analyse et récupère l'ensemble des signaux du gant avant de transmettre de nouveaux signaux au système de traitement des signaux cité dans la 1è' revendication. 7- Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce que le boitier externe décrit permet aussi d'émettre des sons ou de les recevoir. 8- Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce que l'ensemble des composants de chaque main, situés au niveau des phalanges et des métacarpes sont incorporés dans un gant.