Brevet FR2814026A1 — publié le 20020315

La présente invention concerne un dispositif qui permet à un utilisateur de pointer à distance au moyen d'un boîtier sur un dispositif d'affichage digital et de piloter le mouvement d'un curseur sur ce dispositif d'affichage. I1 existe divers dispositifs qui permettent de désigner une position sur un écran informatique, tels que des souris, des dispositifs à boule appelés trackballs ou des tablettes sensibles appelées touchpads . Ces dispositifs peuvent être reliés par fil ou sans fil au système informatique qui pilote l'affichage, mais ils ont en commun le fait que l'utilisateur définit une position en agissant sur un élément du dispositif, par exemple au moyen d'un déplacement ou d'une rotation, mais sans faire directement référence à ce qui est affiché à l'écran. Il existe par ailleurs des dispositifs qui permettent dans certains cas de désigner directement une position sur l'écran au moyen d'un boîtier manipulé comme une télécommande, mais ces dispositifs sont dépendants de la technologie d'affichage, par exemple, ils supposent que l'affichage est réalisé au moyen d'un tube électronique à balayage. Le dispositif selon l'invention fonctionne indépendamment de la technologie utilisée pour l'affichage (la technologie peut donc être un tube électronique à balayage, mais aussi des écrans à cristaux liquides LCD ou des écrans à plasma). Il peut donc être utilisé dans tous les cas par le possesseur d'un ordinateur portable qui dispose en standard d'un affichage sur un écran à cristaux liquides, mais qui est amené à utiliser des dispositifs d'affichages externes tels que un écran à tube cathodique ou un projecteur sur grand écran connectés à son ordinateur portable. I1 peut aussi être utilisé pour pointer une position sur un écran de télévision digitale, c'est à dire un écran dont la luminosité de chaque point a été calculée à la suite de calculs numériques par un système digital tel qu'un décodeur numérique pour qui décode et décomprime des images en provenance d'un câble ou d'un satellite. EXPOSE DE L'INVENTION L'invention se compose de trois éléments principaux : un système informatique ou digital (1), un dispositif d'affichage (2) et un boîtier manipulé par l'utilisateur (3). Le système (1) comprend lui même les éléments suivants Une fonction (12) de génération de signaux spécifiques de pilotage des éléments de positionnement de l'écran (22) et (23) définis ci-après Une application (14) qui utilise les informations de position de la zone pointée, un récepteur (11) qui reçoit du boîtier utilisateur (3) la position de la zone de l'écran pointée par l'utilisateur et une envoi d'information (15) du récepteur à l'application (14) Le système (1) peut en outre gérer un curseur graphique qui matérialise sur l'écran la position courante. Il comprend en outre dans ce cas les éléments suivants Une fonction de gestion du curseur (10) Un lien optionnel (16) entre l'application et la gestion du curseur et un envoi optionnel d'information (13) du récepteur (11) vers la gestion du curseur (10) Le dispositif d'affichage (2) se compose des éléments suivants . Un écran d'affichage (20) de technologie indifférente (par exemple : tube cathodique, cristaux liquides, plasma, toile d'écran éclairée par un projecteur d'images vidéo) et de dimensions indifférentes, inclus dans une forme rectangulaire Un curseur graphique (21) optionnel Des éléments émetteurs de signaux qui peuvent être soit des éléments particuliers de l'image affichée (22) soit des dispositifs (23) extérieurs à l'écran mais liés de manière fixe à l'écran Les éléments (22) et (23) sont définis de telle sorte que la connaissance de leur position sur l'image vidéo générée par la caméra (30) définie ci-après permette de définir la position de la zone rectangulaire associée à l'écran (20). Les éléments (22) et (23) peuvent par exemple être positionnés à proximité immédiate de deux sommets opposés du rectangle associé à l'écran (20). Les éléments (23) extérieurs à l'écran (20) doivent être placés de manière fixe par rapport à l'écran (20), mais ils peuvent être amovibles et être déplacés en cas de changement de dispositif d'affichage, par exemple en cas de passage d'un écran à un projecteur d'image vidéo ou inversement. Les éléments (23) peuvent de plus avoir une dimension optique vue de la caméra vidéo (30) qui soit en rapport avec la taille de l'écran (20). Par exemple les éléments (23) peuvent être constitués par des diodes lumineuses fonctionnant en lumière visible ou en infra rouge et dotés de réflecteurs paraboliques, ces réflecteurs paraboliques étant de petite taille lorsqu'il sont associés à un tube cathodique ou à un écran à cristaux liquides et de plus grande taille lorsqu'ils sont associés à une toile d'écran éclairée par un projecteur d'images vidéo. Le boîtier manipulé par l'opérateur se compose des éléments suivants . Une caméra vidéo (30) dont la résolution horizontale et la résolution verticale sont chacune de quelques centaines d'éléments lumineux (pixels). Cette caméra peut être précédée d'un filtre (36), par exemple pour bloquer la lumière visible tout en laissant passer les rayons infrarouges et être dotée d'une fonction obturateur (37) dont l'effet est de permettre des durées d'exposition plus brèves que celles qui résulteraient de la génération périodique d'images vidéo par la caméra (30) Une fonction optionnelle (31) d'estimation et de suppression de mouvement, du type de la fonction d'estimation et de suppression de mouvement définie dans les standards MPEG de formats d'images vidéo numériques. Cette fonction est utile lorsque la durée d'acquisition de plusieurs images successives nécessaires à la réalisation d'une mesure de position de la zone pointée de l'écran est telle que les mouvements du boîtier manipulé par l'opérateur, qui se traduisent par un mouvement inverse de l'image de l'écran (20) dans la caméra (30), ne peuvent pas être ignorés Une fonction (32) de détection synchrone des pixels des images vidéo fournies par la caméra (30) et qui sont l'image des éléments (22) ou (23). Une fonction (33) de positionnement de l'écran et du point visé qui utilise les informations fournies par la fonction (32). Une fonction (34) de génération de l'information à émettre par l'émetteur (35). L'émetteur (35) peut être un émetteur à ondes (par exemple : radio, infra rouges, ultrasons) ou utiliser un câble. La fonction (34) contient une combinaison des fonctions suivantes : codage numérique de l'information de position, codage par code correcteur d'erreur, ajout d'informations complémentaires, compression. Les fonctions (32), (33) et (34) supposent une capacité de calcul et de mémoire numériques dans le boîtier (1). L'image de la caméra vidéo (30), le dispositif d'affichage (2) et la zone pointée sur l'écran (20) sont liés de la manière suivante Le champ de l'image (40) de la caméra vidéo (30) est deux fois plus large en largeur et deux fois plus large en hauteur que l'image du dispositif d'affichage (2). Il est possible de satisfaire à cette condition si la focale de l'objectif de la caméra (30) a la valeur convenable. La taille du dispositif d'affichage (2) pouvant varier dans des proportions importantes, il pourra être utile de prévoir pour la caméra (30) des objectifs différents de focales différentes ou bien un objectif de focale variable qui sera ajustée en fonction de la taille du dispositif (2) La zone visée sur l'écran (20) est matérialisée sur l'image (40) par le centre géométrique du rectangle (40) Avec les deux conditions précédentes, il est donc possible en déplaçant le boîtier de viser un point quelconque de l'écran (20) Le nombre de pixels de l'image (40) de la caméra vidéo (30), la taille de l'écran (20) et la dimension optique des éléments (22) et (23) sont reliés de la manière suivante La détection de la position dans le champ (40) de la caméra vidéo (30) de la position des pixels qui sont l'image des éléments (22) et (23) suppose que l'image de ces éléments (22) et (23) soit une zone dont chaque dimension ait une longueur de quelques pixels Des considération pratiques et de confort pour l'utilisateur incitent à minimiser la dimension des éléments (22) et (23) par rapport à la dimension de l'écran (20) Avec un rapport très élevé de 50 entre la dimension maximale de (20) d'une part et les dimensions de (22) ou (23) d'autre part (par exemple des zones (22) ou (23) de 1 centimètre dans chaque dimension et un écran (20) de 50 centimètres de largeur), une image des zones (22) ou (23) de 6 pixels sur 6 pixels implique un nombre de pixels qui est égal ou légèrement supérieur à 6 fois 50 (pour prendre en compte la dimension de l'écran) fois 2 (pour prendre ne compte le fait que l'image (40) doit contenir deux fois dans chaque dimension l'image de (2)), soit 600 pixels environ pour la plus grande dimension. La faisabilité technique de telles caméras vidéo, en particulier avec des technologies CCD ou CMOS ne pose aucun problème particulier. Le principe du fonctionnement des fonctions (32) et (33) est le suivant On suppose au préalable que la fonction (31) d'estimation et de suppression de mouvement a permis d'obtenir une succession d'images vidéo dans lesquelles l'écran (20) et les éléments (22) ou (23) sont à des positions quasiment constantes, qu'il s'agit de déterminer I1 s'agit de détecter la position des images de (22) et (23) à l'intérieur d'une image qui, dans le cas le moins favorable, varie dans des proportions importantes. En effet, l'éclairage artificiel à incandescence ou fluorescent provoque des variations importantes de luminosité à une fréquence double de la fréquence du secteur (100 ou 120 hertz suivant les pays) Pour détecter la position des images de (22) ou (23), on utilise le fait que (22) ou (23) émettent des séquences bien précises dans le temps de niveaux hauts et de niveaux bas, et qu'il est donc possible d'utiliser une détection synchrone de ces séquences, détection qui présente une forte immunité au bruit. Une méthode simple de génération des signaux spécifiques qui pilotent les éléments (22) et (23) et de détection synchrone de la position des images de ces éléments (22) et (23) est la suivante Les signaux qui pilotent les éléments (22) et (23) sont synchronisés avec la fréquence d'affichage ou de rafraîchissement de l'image sur l'écran (20) Ces signaux sont constitués par l'envoi par les dispositifs (22) ou (23) de signaux clairs pendant tout ou partie de la durée d'une image ou de plusieurs images suivie de l'envoi de signaux sombres pendant la durée de tout ou partie de la durée d'une ou plusieurs images La détection synchrone consiste à effectuer le traitement arithmétique suivant individuellement au niveau de chaque pixel de chaque image vidéo d'une séquence de plusieurs images vidéo Lorsque les éléments (22) ou (23) émettent un signal lumineux fort, la valeur numérique de la luminosité du pixel est ajoutée Lorsque les éléments (22) ou (23) émettent un signal lumineux faible, la valeur numérique de la luminosité du pixel est retranchée puis à rechercher parmi tous les nombres positifs ou négatifs obtenus à la suite du traitement précédent ceux qui ont la valeur numérique algébrique la plus élevée Avec une telle méthode arithmétique simple les valeurs des pixels autres que ceux qui sont les images des éléments (22) et (23) sont fortement atténuées. La méthode précédente permet aussi de traiter au moyens de recherches plus complexes les cas dans lesquels le mouvement du boîtier n'a pas pu être complètement supprimé. Des dispositions particulières peuvent simplifier et/ou améliorer les performances de la détection des pixels images des éléments (22) et (23) Si les éléments (23) sont des diodes lumineuses mettant dans l'infrarouge, la caméra (30) peut être sensible aux infrarouges et un filtre (36) bloquant la lumière visible mais laissant passer les infrarouges peut être disposé devant la caméra (30). Dans ce cas, la détection des images des éléments (23) est très simple car ils seront les principaux ou les seuls éléments sur l'image (40) de la caméra (30), et la fonction (31) estimation et suppression du mouvement n'est pas nécessaire. De plus, l'utilisation d'un obturateur (37) piloté par le niveau de lumière infrarouge détecté par le détecteur (38) de lumière permet à la caméra (30) de n'enregistrer de signal que pendant une période d'émission des émetteurs (23) Si des éléments de type (22) sont utilisés, l'utilisation d'un obturateur (37), éventuellement piloté par le niveau de la lumière visible ambiante (qui varie à 100 ou 120 hertz en cas de lumière artificielle détecté par le détecteur (38) de lumière permet de s'affranchir d'une partie des contraintes liées au fait que les fréquences d'affichage des écrans (qui sont typiquement de 50 à 120 hertz) peuvent être différentes des variations de la lumière ambiante (qui varient avec une fréquence de 100 ou 120 hertz, mais avec des évolutions temporelles très diverses selon les dispositifs d'éclairage) PRESENTATION DES FIGURES La Figure 1 est une vue d'ensemble des différents éléments du dispositif La Figure 2 et la Figure 3 décrivent les différents éléments entrant dans le champ de la caméra vidéo. EXPOSE D'UN MODE DE REALISATION Beaucoup de variantes de réalisation de dispositifs mettant en #uvre les principes précédents sont possibles. On décrira plus spécifiquement deux modes de réalisation, l'un avec des éléments émetteurs en dehors de l'écran de type (23, et pour lequel la fonction (31) d'estimation et de détection du mouvement n'est pas nécessaire, l'autre utilisant des éléments émetteurs dans l'image de type (22), pour laquelle la fonction (31) d'estimation et de détection du mouvement est nécessaire. Des éléments techniques sont communs aux deux modes de réalisation . Le système (1) peut être réalisé de manière simple par un ordinateur personnel compatible IBM PC auquel est connecté sur un des ports série un récepteur infra rouge ou radio Alternativement, le système (1) peut être réalisé sous la forme d'un décodeur numérique pour télévision par câble ou par satellite, car ces dispositifs sont dotés de récepteurs infrarouges pour recevoir des signaux provenant d'une télécommande, et sont dotés de capacités de traitement informatiques sous la forme de microprocesseurs ou de micro contrôleurs pouvant être programmés de manière standard avec un langage de programmation La technologie de l'écran d'affichage (20) est indifférente (tube cathodique, écran à cristaux liquides, écran à plasma, toile d'écran éclairée par un projecteur d'images vidéo) L'émetteur (35) est un émetteur classique radio ou infrarouge, et la fonction (34) de génération de l'information à émettre devra tenir compte des signaux qui peuvent être reconnus par le système (1). En particulier, si le système (1) est un ordinateur de type compatible IBM PC, il sera avantageux d'émettre l'information avec des fréquences et des séquences compatibles avec le protocole de liaison série V24 pour que le récepteur (11) puisse être connecté à un port série de l'ordinateur Par ailleurs, il peut être avantageux car plus confortable pour l'utilisateur de séparer la caméra vidéo (30) et les éléments optionnels qui lui sont rattachés (l'obturateur (37), le filtre (36) et le détecteur de lumière (38)) du reste du boîtier (3). Dans ce cas, les techniques de réalisation décrites précédemment continuent à s'appliquer, mais il sera nécessaire de que le reste du boîtier (3) communique électriquement avec les éléments séparés. cette communication peut être assurée par câble ou par ondes, en particulier par ondes radio ou infra rouges. REVENDICATIONS 1) Dispositif permettant à un utilisateur de pointer une position sur un affichage digital et de piloter un curseur sur cet affichage indépendamment de la technologie utilisée pour l'affichage et la dimension de l'affichage caractérisé en ce qu'il comporte les éléments suivants Un système informatique, numérique ou digital (1) lui même comportant une fonction (12) de génération de signaux spécifiques de pilotage des éléments de positionnement de l'écran (22) et (23) définis ci-après, une application (14) qui utilise les informations de position de la zone pointée, un récepteur (11) qui reçoit du boîtier utilisateur (3) défini ci-après la position de la zone de l'écran pointée par l'utilisateur et un envoi d'information (15) du récepteur à l'application (14) Un dispositif d'affichage (2) lui même comportant un écran d'affichage (20) de technologie et de dimensions indifférentes inclus dans une forme rectangulaire, des éléments émetteurs de signaux de positionnement pilotés par la fonction (12), et qui peuvent être des éléments de l'image affichée par l'écran (22) ou être des dispositifs externes à l'écran (23) Un boîtier manipulé par l'utilisateur (3) lui même comportant une caméra vidéo (30) dont l'axe de l'objectif définit l'axe de pointage du boîtier, une mémoire vidéo analogique et/ou digitale ainsi que des moyens de calculs permettant d'effectuer le traitement de l'image périodique générée par la caméra vidéo selon les étapes suivantes Une étape facultative (31) d'estimation et de suppression du mouvement, du type de celle définie par les standards MPEG Une étape (32) de détection des pixels de l'image vidéo qui sont l'image des éléments de positionnement (22) et (23) Une étape (33) de positionnement par rapport à la mémoire vidéo de l'écran d'affichage et de la position pointée sur cet écran, une étape (34) de génération de l'information de l'émission de position à émettre et un dispositif (35) réalisant cette émission 2) Dispositif selon la revendication 1 permettant en plus de piloter un curseur et caractérisé en ce qu'il comprend en plus les éléments suivants Dans le système informatique ou digital (1) : une fonction de gestion du curseur (10), un envoi facultatif d'information (13) depuis le récepteur (11) vers la fonction de gestion du curseur (10) et un envoi facultatif d'information depuis l'application (14) vers la gestion du curseur (10) Dans le dispositif d'affichage : un curseur graphique (21) piloté par la fonction (10) 3) Dispositif selon la revendication 1 ou la revendication 2 caractérisé en ce que les éléments de positionnement (22) sont constitués par l'affichage dans l'image de zones à des positions fixes et qui permettent de reconstituer la forme rectangulaire de l'écran d'affichage, ces zones étant constituées alternativement selon diverses séquences de zones claires, de zones foncées et de zones sans changement par rapport à l'image initialement affichée 4) Dispositif selon la revendication 1 ou la revendication 2 caractérisé en ce que les éléments de positionnement (23) sont constitués par des diodes lumineuses émettant de préférence dans les fréquences infra rouges des signaux lumineux représentant des séquences périodiques de 0 et de 1 5) Dispositif selon la revendication 4 caractérisé en ce que les éléments (23) sont amovibles et dotés de moyens optiques tels que des réflecteurs de tailles diverses leur permettant d'avoir des dimensions optiques diverses et en rapport avec les dimensions de l'écran (20) 6) Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que la caméra vidéo est dotée de plusieurs objectifs de longueurs focales différents ou d'un objectif à focale variable, dont la focale est ajustée aux dimensions du dispositif d'affichage (2) utilisé afin d'obtenir dans la caméra vidéo des images du dispositif d'affichage (2) utilisant un nombre sensiblement constant de pixels, alors que les dimensions des dispositifs d'affichage peuvent varier de manière importante 7) Dispositif selon une quelconque des revendications précédentes caractérisé en ce que la caméra vidéo (30) est sensible à l'infrarouge et est précédée d'un filtre (36) filtrant la lumière visible mais laissant passer les rayons infra rouges 8) Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que les affichages réalisés par les éléments (22) ou (23) ne sont actifs que lorsque une demande de mesure de position est enregistrée par le système (1) et uniquement pendant la durée de cette mesure 9) Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que les signaux de positionnement sont synchronisés avec la fréquence d'affichage ou de rafraîchissement de l'image sur l'écran (20) et sont constitués par l'envoi par les dispositifs (22) ou (23) de signaux clairs pendant tout ou partie de la durée d'une image ou de plusieurs images suivie de l'envoi de signaux sombres pendant la durée de tout ou partie de la durée d'une ou plusieurs images 10) Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que les signaux de positionnement sont synchronisés avec la fréquence maximum d'acquisition d'images permise par la caméra vidéo et/ou avec les durées pendants lesquelles l'obturateur (37) est ouvert 11) Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que la caméra vidéo est dotée d'une fonction obturateur (37) qui permet d'obtenir pour chaque image une durée d'exposition plus courte que la durée associée à la fréquence d'acquisition des images de la caméra vidéo, l'obturateur (37) étant éventuellement piloté par le niveau de lumière visible ou infrarouge détecté par le détecteur de lumière (38) 12) Dispositif selon une quelconque des revendications précédentes caractérisé en ce que la détection synchrone consiste à effectuer le traitement arithmétique suivant individuellement au niveau de chaque pixel de chaque image vidéo d'une séquence de plusieurs images vidéo : lorsque les éléments (22) ou (23) émettent un signal lumineux fort, la valeur numérique de la luminosité du pixel est ajoutée, lorsque les éléments (22) ou (23) émettent un signal lumineux faible, la valeur numérique de la luminosité du pixel est retranchée, puis à rechercher parmi tous les nombres positifs ou négatifs obtenus à la suite du traitement précédent ceux qui ont la valeur numérique algébrique la plus élevée 13) Dispositif selon l'une des revendications précédentes caractérisé en ce que la caméra vidéo (30), l'obturateur (37), le filtre (36) et le détecteur de lumière (38) sont séparés du reste du boîtier (3) tout en communiquant électriquement avec le reste du boîtier (3)