Brevet FR2859800A1 — publié le 20050318

Dispositif électronique portable à interface homme/machine tenant compte de mouvements du dispositif, procédé et programme informatique correspondants. Le domaine de l'invention est celui des dispositifs portables électroniques, tels que les radiotéléphones ou les assistants personnels ( PDA ). Plus précisément, l'invention concerne l'interface homme/machine (IHM) pour de tels dispositifs. Notamment, l'invention s'applique aux dispositifs électroniques de petite taille, ou qui sont peu aisés à contrôler avec les moyens d'interface classiques, au 10 moins pour certaines applications ou commandes. Généralement, l'interface homme/machine de tels dispositifs comprend un clavier et un écran. Pour simplifier ou optimiser la saisie, on a proposé parfois des extensions à ces claviers sous des formes diverses (boules, joysticks , ...). On a également développé des moyens complémentaires et/ou alternatifs, tels que des commandes vocales, des écrans tactiles, etc. Dans certains cas, ces moyens connus sont cependant insuffisants. C'est par exemple le cas lorsque la surface disponible est réduite, et que le clavier est de petite taille, et peu aisé à manipuler. Le fait que le nombre de touches soit réduit peut également poser problème. Dans d'autres cas, une interface telle qu'un clavier ne permet pas de transmettre des informations rapides, de façon ergonomique. C'est par exemple le cas de commandes d'un jeu, pour interagir avec des images sur l'écran. Il existe encore d'autres situations où il est difficile de manipuler un clavier, par exemple lorsque l'appareil est tenu d'une seule main. Il y a alors un besoin d'une solution simple et efficace pour effectuer un certain nombre de commandes. Plus généralement, il existe un besoin de nouvelles approches d'interface homme/machine pour des raisons pratiques, ludiques ou ergonomiques. Cela permet notamment de définir de nouveaux produits, ou de nouvelles applications, et donc d'offrir des prestations nouvelles au public. 2 2859800 L'invention a donc pour objectif de pallier ces inconvénients de l'art antérieur, et de fournir une nouvelle approche d'interface homme/machine. Plus précisément, un objectif de l'invention est de fournir une technique d'interface homme/machine originale, efficace, ergonomique et/ou ludique. L'invention a également pour objectif de fournir une telle technique, qui permette le développement de nouvelles applications ou fonctions, ou l'amélioration d'applications ou fonctions connues. Un autre objectif de l'invention est de fournir une telle technique, qui ne nécessite pas de moyens ou de traitements complexes, et plus précisément qui 10 exploite ceux disponibles. L' invention a également pour objectif de fournir de nouveaux appareils, tels que des radiotéléphones, avec des fonctions nouvelles, à coût et complexité raisonnables. Ces objectifs, ainsi que d'autres qui apparaîtront plus clairement par la suite, sont atteints selon l'invention à l'aide d'un dispositif électronique portable équipé d'une caméra, comprenant des moyens de détection d'au moins un mouvement en fonction d'une analyse d'au moins deux images successives prises par ladite caméra, et des moyens d'interface homme-machine associant au moins un événement à au moins un desdits mouvements. Ainsi, selon l'invention, on associe des événements, des commandes ou fonctions à des mouvements relatifs du dispositif. Ces mouvements sont détectés simplement, en analysant des images successives prises par une caméra. Une telle caméra est généralement disponible sur les radiotéléphones multimédia, de même des moyens de détection de mouvement. On notera que les mouvements pris en compte sont relatifs, dans le sens où ils peuvent correspondre aux mouvements du dispositif et/ou de l'objet filmé (l'utilisateur pouvant se déplacer par rapport à l'objectif). Selon un mode de réalisation avantageux, lesdits moyens de détection peuvent déterminer un vecteur mouvement principal entre deux images 30 successives, lesdits moyens d'interface analysant ledit vecteur mouvement 3 2859800 principal et lui associant au moins un événement s'il répond à au moins un critère prédéterminé. Le ou lesdits critères prédéterminés appartiennent préférentiellement au groupe comprenant la direction, le sens et l'amplitude dudit vecteur mouvement principal. De façon avantageuse, lesdits moyens d'interface comparent au moins un desdits critères à au moins un seuil (par exemple un seuil, permettant d'éliminer de petits mouvements intempestifs), pour décider si ledit vecteur mouvement principal correspond ou non à un desdits événements. Préférentiellement, lesdits moyens d'interface associent des événements distincts auxdits mouvements, en fonction de contextes applicatifs distincts dans lesquels peut se trouver ledit dispositif. Lesdits contextes applicatifs peuvent notamment appartenir au groupe comprenant: des applications différentes; des niveaux hiérarchiques différents, dans une application donnée; des sous-applications spécifiques. Avantageusement, ledit dispositif comprend au moins un écran et des moyens pour afficher sur ledit écran au moins une information représentative d'un 20 événement qui sera réalisé si un mouvement particulier est effectué. Selon un autre aspect avantageux, le dispositif comprend au moins un écran et des moyens pour afficher sur ledit écran au moins une information représentative d'un événement réalisé suite à un mouvement. En d'autres termes, l'approche de l'invention permet notamment de sélectionner un événement proposé à l'écran, et/ou d'interagir avec l'écran, pour modifier ce qui y est affiché. Selon un mode de réalisation avantageux de l'invention, lesdits moyens de détection mettent en oeuvre une corrélation spatiale, selon laquelle une première image est décalée dans au moins une direction, puis comparée à une seconde image. 4 2859800 Dans ce cas, lesdits moyens de détection calculent avantageusement la somme des carrés des différences d'une grandeur prédéterminée pour chaque pixel desdites images. Selon un autre aspect avantageux, lesdits moyens de détection 5 comprennent des moyens de re-dimensionnement d'images, pour réduire la complexité des images analysées. Selon une approche avantageuse de l'invention, lesdits moyens de détection peuvent prendre en compte des vecteurs mouvement calculés par un encodeur MPEG-4. Selon encore une autre approche avantgeuse, lesdits moyens de détection prennent en compte des mouvements déterminés par des moyens de stabilisation d'images. Les mouvements détectés peuvent être relatifs ou absolus. Dans le cas d'un repérage absolu notamment, on peut avantageusement utiliser des moyens de détection mettant en oeuvre des moyens de reconnaissance de forme, pour identifier une forme principale (par exemple la silhouette ou le contour du visage de l'utilisateur), et des moyens d'analyse des mouvements de ladite forme principale. L'invention peut notamment être mise en oeuvre dans les dispositifs 20 comprenant des moyens de radiocommunication, notamment des radiotéléphones ou des PDA. L'invention concerne également un procédé d'interface homme-machine pour dispositif électronique portable équipé d'une caméra, associant au moins un événement à au moins un mouvement détecté par analyse d'au moins deux images successives prises par ladite caméra. L'invention concerne encore les programmes informatiques pour dispositif électronique portable équipé d'une caméra, comprenant des instructions pour associer au moins un événement à au moins un mouvement détecté par analyse d'au moins deux images successives prises par ladite caméra. De tels programmes peuvent être intégrés dès l'origine (par exemple pour 2859800 la navigation dans des menus) et/ou être développés par des tiers, et par exemple téléchargés (par exemple pour des jeux). De tels programmes n'incluent pas forcément. le procédé de l'invention (implanté par ailleurs dans le dispositif), mais tirent parti de la nouveauté de l'invention pour fournir des fonctionnalités nouvelles. D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante d'un mode de réalisation préférentiel de l'invention, donné à titre de simple exemple illustratif et non limitatif, et des figures annexées parmi lesquelles: - la figure 1 illustre schématiquement un radiotéléphone mettant en oeuvre l'invention; - la figure 2 représente un utilisateur tenant en main le radiotéléphone de la figure 1; les figures 3A, 3B et 3C sont trois vues schématiques de prises de vue effectuées avec le dispositif de la figure 2, lorsque l'utilisateur met en oeuvre le principe de l'invention; la figure 4 est un schéma synoptique simplifié du traitement effectué dans le cadre de l'invention. Le mode de réalisation décrit par la suite concerne un radiotéléphone de type multimédia, équipé d'une caméra (ou d'un appareil photo). Bien entendu, l'approche de l'invention peut également s'appliquer à d'autres dispositifs portables, comme les assistants personnels, les dispositifs de stockage de fichiers audio et/ou vidéo, les consoles de jeux portables, ... Un exemple d'un tel radiotéléphone est illustré schématiquement en figure 1. Le boîtier 11 porte classiquement un clavier 12, comportant un nombre réduit de touches (généralement un pavé numérique), un écran 13 et un objectif 14, permettant la prise de vues fixes et/ou animées. Souvent, cet objectif est monté mobile par rapport au boîtier 11, et par exemple mobile en rotation. Le principe général de l'invention est de détecter certains mouvements appliqués par l'utilisateur à son téléphone, et par exemple quatre mouvements de 6 2859800 base, vers le haut, vers le bas, à gauche ou à droite (voir flèches H, B, G, D représentées sur la figure 1). Selon l'invention, on utilise des images prises par l'objectif 14 pour détecter ces mouvements. Plus précisément, l'inclinaison relative du téléphone est déduite du déplacement de l'image saisie par la caméra. On peut alors en déduire des mouvements relatifs du téléphone. Dans le mode de réalisation illustré schématiquement en figure 2, l'utilisateur 21 tient son téléphone face à lui, et regarde l'écran 13. La caméra 14 le filme, et les images correspondantes sont analysées, pour y détecter des mouvements. Cette approche est illustrée par les figures 3A à 3C. Sur la figure 3A, le téléphone étant dirigé vers l'utilisateur, on dispose d'une première image. Si l'utilisateur déplace ou incline légèrement son téléphone vers la gauche, l'image se déplacera vers la droite, comme illustré en figure 3B. De même, si l'utilisateur oriente son téléphone vers le haut, l'image résultante se déplacera vers le bas, comme illustré en figure 3C. Il suffit donc de comparer les images 3A et 3B pour déduire que l'utilisateur a effectué un déplacement relatif du téléphone vers la gauche, et les images 3A et 3C pour détecter un mouvement vers le haut. Il suffit alors d'associer ces mouvements à des commandes, des actions ou évènements prédéfinis pour définir une nouvelle interface homme/machine selon l'invention, consistant à associer un mouvement relatif à un événement. Le traitement est donc très simple, comme illustré schématiquement par la figure 4, et met en oeuvre des moyens et des traitements simples, et souvent disponibles, comme une caméra et des moyens de détection du mouvement. Plus précisément, le traitement comprend: une étape de prises de vues 41, par exemple à un rythme de 5 à 10 images par seconde. Pour simplifier les calculs, ces images peuvent être redimensionnées à une taille réduite, et/ou sous-échantillonnées; une étape de détection du mouvement 42, consistant par exemple à calculer un vecteur de mouvement principal dans l'image. On peut 7 2859800 notamment mettre en oeuvre une corrélation spatiale consistant à décaler deux images dans les deux dimensions (ou plus généralement dans les directions associées à un événement possible), et détecter la position qui se rapproche le plus de la superposition. Le calcul de corrélation pour chaque déplacement de l'image consiste par exemple à calculer la somme des carrés des différences de chaque pixel; une association du mouvement détecté à une commande prédéterminée 43, pouvant par exemple utiliser une simple table. Cette étape peut prendre en compte un ou plusieurs seuils, par exemple pour éviter la prise en compte de petits déplacements intempestifs, ou pour graduer les déplacements selon leur amplitude. La détection peut être de type numérique, ou logique: existence ou non d'un mouvement dans une direction, ou analogique, c'est- à-dire progressive, ou proportionnelle. On peut alors obtenir des commandes également proportionnelles, par exemple pour le déplacement d'un objet sur l'écran: le mouvement de ce dernier peut tenir compte de l'amplitude et/ou de la vitesse du déplacement du radiotéléphone; une étape de réalisation de la commande 44, de la même façon que cela serait fait avec un événement obtenu à l'aide d'une autre interface. La puissance nécessaire pour effectuer ces opérations, et notamment la détection du mouvement, est a priori acceptable, notamment pour des processeurs multimédias de téléphonie mobile. Par exemple, pour des images redimensionnées à 100 x 100 pixels, et des déplacements de l'objet correspondant à 30 pixels au maximum, la quantité de calculs est de l'ordre de 180 Mips (5 images/s x (30x30) déplacements x (100x 100) pixels x 4 opérations/pixel). A ce besoin approximatif de puissance, il faut également ajouter un redimensionnement de l'image, les caméras ayant en général une résolution d'au moins 640 x 480 pixels. Il existe de nombreuses autres façons connues, plus simples et plus 30 efficaces, de déterminer des mouvements dans l'image. En outre, avantageusement, on peut utiliser des moyens disponibles pour d'autres applications. Ainsi, on peut utiliser un stabilisateur d'image intégré dans le processeur multimédia (un tel stabilisateur d'image est par exemple disponible dans les processeurs produits par la société Emblaze (marque déposée)). Ce stabilisateur détecte le mouvement global de l'image, pour compenser les mouvements de la caméra. On pourra aisément modifier ces moyens, pour obtenir un mouvement global de l'image, qui pourra être exploité dans l'algorithme illustré en figure 4. On peut également envisager d'utiliser un algorithme optimisé, comme un encodeur MPEG4, présent d'ores et déjà dans l'interface des téléphones multimédia. Ce dernier propose une détection de mouvement dans des macroblocs (carrés de 8 x 8 pixels), que l'on pourrait utiliser pour déterminer un mouvement global. Selon l'invention, seuls des mouvements suffisamment importants devront 15 préférentiellement être pris en compte, pour éviter toute commande intempestive, due à un mouvement involontaire. Le mouvement détecté peut être absolu ou relatif. Dans le cas d'un repérage absolu, on peut également prévoir une étape de détection de la silhouette (par reconnaissance de forme) de l'utilisateur (ou d'un autre objet unique), puis de détecter son mouvement. Dans le mode de réalisation décrit, notamment avec la figure 2, le mouvement est analysé par observation du visage de l'utilisateur. On comprend bien sûr que la même approche peut être mise en oeuvre de façon similaire, si la caméra est orientée vers l'avant, par rapport à l'utilisateur. Cette nouvelle interface selon l'invention peut être utilisée de nombreuses manières, les développeurs imaginant facilement des applications. A titre d'exemple, elle peut permettre la navigation dans des menus, les mouvements vers la gauche ou vers la droite permettant la sélection d'une commande parmi deux, présentées sur l'écran, respectivement du côté gauche et du côté droit. Un mouvement vers le haut peut être associé à une commande de 9 2859800 validation, et un mouvement vers le bas à une commande d'annulation, ou de retour à l'étape précédente. L'interface peut également être utilisée pour des jeux. Par exemple, dans le cadre d'un jeu relatif à une course automobile, les mouvements vers la gauche et vers la droite permettent de déplacer un véhicule à gauche ou à droite, un mouvement vers la droite vers l'avant permet d'obtenir une accélération, et un mouvement vers l'arrière un ralentissement. 1Q REVENDICATIONS 1. Dispositif électronique portable équipé d'une caméra, caractérisé en ce qu'il comprend des moyens de détection d'au moins un mouvement en fonction d'une analyse d'au moins deux images successives prises par ladite caméra, et des moyens d'interface homme-machine associant au moins un événement à au moins un desdits mouvements. 2. Dispositif électronique portable selon la revendication 1, caractérisé en ce que lesdits moyens de détection déterminent un vecteur mouvement principal entre deux images successives, lesdits moyens d'interface analysant ledit vecteur mouvement principal et lui associant au moins un événement s'il répond à au moins un critère prédéterminé. 3. Dispositif électronique portable selon la revendication 2, caractérisé en ce que le ou lesdits critères prédéterminés appartiennent au groupe comprenant la direction, le sens et l'amplitude dudit vecteur mouvement principal. 4. Dispositif électronique portable selon l'une quelconque des revendications 2 et 3, caractérisé en ce que lesdits moyens d'interface comparent au moins un desdits critères à au moins un seuil, pour décider si ledit vecteur mouvement principal correspond ou non à un desdits événements. 5. Dispositif électronique portable selon l'une quelconque des revendications 1 à 4, caractérisé en ce que lesdits moyens d'interface associent des événements distincts auxdits mouvements, en fonction de contextes applicatifs distincts dans lesquels peut se trouver ledit dispositif. 6. Dispositif électronique portable selon l'une quelconque des revendications 1 à 5, caractérisé en ce qu'il comprend au moins un écran et des moyens pour afficher sur ledit écran au moins une information représentative d'un événement qui sera réalisé si un mouvement particulier est effectué. 7. Dispositif électronique portable selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il comprend au moins un écran et des moyens pour 30 afficher sur ledit écran au moins une information représentative d'un événement II ' réalisé suite à un mouvement. 8. Dispositif électronique portable selon l'une quelconque des revendications 1 à 7, caractérisé en ce que lesdits moyens de détection mettent en oeuvre une corrélation spatiale, selon laquelle une première image est décalée dans au moins une direction, puis comparée à une seconde image. 9. Dispositif électronique portable selon la revendication 8, caractérisé en ce que lesdits moyens de détection calculent la somme des carrés des différences d'une grandeur prédéterminée pour chaque pixel desdites images. 10. Dispositif électronique portable selon l'une quelconque des revendications 1 à 9, caractérisé en ce que lesdits moyens de détection comprennent des moyens de re-dimensionnement d'images, pour réduire la complexité des images analysées. 11. Dispositif électronique portable selon l'une quelconque des revendications 1 à 10, caractérisé en ce que lesdits moyens de détection prennent en compte des vecteurs mouvement calculés par un encodeur MPEG-4. 12. Dispositif électronique portable selon l'une quelconque des revendications 1 à 11, caractérisé en ce que lesdits moyens de détection prennent en compte des mouvements déterminés par des moyens de stabilisation d'images. 13. Dispositif électronique portable selon l'une quelconque des revendications 1 à 12, caractérisé en ce que lesdits moyens de détection mettent en oeuvre des moyens de reconnaissance de forme, pour identifier une forme principale, et des moyens d'analyse des mouvements de ladite forme principale. 14. Dispositif électronique portable selon l'une quelconque des revendications 1 à 13, caractérisé en ce qu'il comprend des moyens de radiocommunication. 15. Procédé d'interface homme-machine pour dispositif électronique portable équipé d'une caméra, caractérisé en ce qu'il associe au moins un événement à au moins un mouvement détecté par analyse d'au moins deux images successives prises par ladite caméra. 16. Programme informatique pour dispositif électronique portable équipé d'une caméra, caractérisé en ce qu'il comprend des instructions pour associer au moins un événement à au moins un mouvement détecté par analyse d'au moins deux images successives prises par ladite caméra.