FR 3021123 A1 20151120 FR 1401113 A 20140516 - 1 - Procédé d'affichage sur HMD en réalité augmentée de l'Image d'une caméra et des données d'autres capteurs. La présente invention concerne un procédé consistant à traiter les images d'une caméra et les données d'autres capteurs, afin de les visualiser en réalité augmentée directement dans le champ visuel de l'utilisateur au moyen d'un écran transparent ou semi-transparent capable d'afficher tout type d'information devant au moins un oeil de l'utilisateur, autrement dit un dispositif HMD (« Head-Mounted Display » See-Through en anglais). Ce procédé permet de collecter et de partager les données des capteurs et d'au moins une caméra au travers d'un moyen de communication. Par ce dernier moyen, il peut aussi recevoir des données. Le procédé permet la réalisation d'un système autonome, mobile et portable. Il permet une utilisation en mains libres des dispositifs associés dans un mode de fonctionnement continu. Depuis des années, les dispositifs d'affichage HMD progressent par leur qualité d'affichage en réalité augmentée et dans leur conception. Ils sont destinés à enrichir la vision naturelle en ajoutant des objets virtuels dans l'environnement observé ou toutes autres données intéressant l'utilisateur. Ils sont conçus dans des montures de lunettes ou intégrés dans des casques. Certains dispositifs HMD incluent une caméra qui permet la photographie dans l'axe de vision de l'utilisateur ou qui apporte à un procédé de traitement en réalité augmentée des images sur lesquelles sont ajoutées des informations contextuelles en rapport avec les objets visionnés. En règle générale, les caméras associées à des dispositifs HMD sont destinées : soit à ajouter de la valeur à la vision de l'utilisateur grâce à un traitement spécifique, soit à apporter un autre point de vue par rapport à celui de l'utilisateur. Le dispositif HMD est intéressant pour l'utilisateur, parce-que celui-ci augmente sa perception : Premier point, une caméra haute définition munie d'un téléobjectif ou d'un zoom à longue focale permet de visualiser des détails lointains que l'oeil ne peut pas discerner dans un champ de vue étroit. L'emploi d'une telle caméra au travers d'un dispositif HMD, par le procédé proposé ici, permet le grossissement, le rapprochement de l'espace concernant le champ de vue de la caméra. Second point, l'oeil perçoit de son environnement une image en spectre visible et il ne peut visualiser naturellement les rayonnements infrarouges (IR) alors qu'il existe des caméras capables de capter les rayonnements invisibles à l'oeil : les caméras thermiques. C'est pourquoi l'emploi d'une caméra thermique, dans le procédé de traitement présenté ici, permet à l'utilisateur de visualiser une représentation du rayonnement infrarouge, au travers d'un dispositif HMD, en plus de sa vision naturelle. - 2 - Il existe différents dispositifs qui impliquent une caméra et un HMD (brevets n° DE102006049404 de ZEISS CARL AG ou n° EP1659890 de SAAB AB par exemple). Un prototype réalisé par le « Federal University of Pernambuco » au Brésil est construit sur la base d'un casque incluant une caméra thermique, une caméra standard, un procédé de fusion des images des deux caméras afin d'afficher une image en réalité virtuelle devant les yeux. Le HMD utilisé dans ce prototype n'est pas équipé d'écran transparent, il ne conserve pas la vision naturelle de son utilisateur. Aussi, il existe un système de formation d'image thermique (brevet n° FR2686208 de MARCONI GEC LTD) qui présente un dispositif avec des caméras thermiques dissociées du casque HMD, dont le principe est utilisé dans les aéronefs. Ce système a pour avantage d'afficher une image thermique correspondant à la position du casque de l'utilisateur. La caméra thermique produit des images qui sont une représentation du rayonnement IR reçu par le capteur de la caméra. L'image thermique est représentée par des couleurs du spectre visible (ou image noir et blanc) correspondant à des températures. Chaque point de couleur, ou pixel, est associé à une température : du violet pour les points de température les plus froids et du rouge pour les points les plus chauds par exemple (ou du noir pour les points les plus froids et du blanc pour les plus chauds). Cette représentation, appelée ici « image par colorisation » offre l'avantage de visualiser la totalité des zones thermiques d'une image IR en fonction des couleurs associées à une échelle de température. L'image thermique telle que représentée ne peut pas se superposer à la vision naturelle de l'utilisateur sur un HMD sans provoquer des mélanges de couleurs ou de contrastes. L'image par colorisation ne peut pas convenir à l'utilisation d'un HMD dans un mode de fonctionnement continu, tout en conservant la perception naturelle des détails et des couleurs du champ de vision dans un environnement suffisamment clair pour l'oeil. Toutefois, elle peut convenir dans une fenêtre en périphérie du champ visuel de l'utilisateur, afin que ce dernier ne soit pas gêné. Cependant, elle peut techniquement s'effectuer en mode superposition, de manière ponctuelle ou à la demande de l'utilisateur, pour une utilisation dans un environnement obscur ou enfumé. Le présent procédé permet de relier un dispositif contenant une caméra et un dispositif HMD capable d'afficher au-devant de l'oeil des informations sous forme de graphique, texte, vidéo, image, ou autre. La caméra peut être fixée sur un casque ou sur un arceau de tête ou sur tout autre support. Elle doit être fixée de telle manière que son axe optique suive la même direction que l'axe de vision de l'utilisateur. Le HMD peut être fixé sur une monture de lunette. Il peut être intégré dans un casque ou fixé par tout moyen que ce soit, du moment que le dispositif soit disposé devant au moins un oeil de l'utilisateur. Dans toutes les configurations possibles, La distance entre la caméra et le HMD induit un premier problème technique : L'effet de parallaxe. - 3 - Dans la configuration où la caméra n'est pas solidaire du HMD (caméra fixée sur un arceau de tête et HMD intégré dans une monture de lunettes par exemple), la caméra et le HMD peuvent bouger l'un par rapport à l'autre. Ici, le parallélisme entre les axes optiques n'est pas assuré. Ces mouvements relatifs induisent un second problème technique : l'alignement des axes. Le troisième problème technique est spécifique à l'emploi d'une caméra thermique. Il réside dans la représentation des images par colorisation qui ne peut se superposer à la vision naturelle sans l'altérer par des jeux de mélange des couleurs ou des contrastes. Le quatrième problème est lié à l'emploi d'une caméra dotée d'un objectif à focale variable, 10 autrement dit un zoom. La focale a une incidence sur le champ de vue, et donc sur la représentation de l'image de la caméra au travers du dispositif HMD. Lorsque la distance focale varie, selon le choix de l'utilisateur, elle doit être prise en compte dans le procédé, afin d'assurer une représentation correcte dans le champ visuel de l'utilisateur. Un dernier problème prend sa source dans le rôle que doit assurer l'utilisateur de ce 15 procédé. Son rôle est en particulier la recherche, l'observation, et la surveillance. En règle générale, l'utilisateur évolue dans le cadre d'une mission de secours ou de sauvetage gérée en équipe. Il a besoin de communiquer avec un centre opérationnel ou un poste de commandement. Ce dernier a de plus en plus besoin de disposer d'images et de données techniques afin de prendre les meilleures décisions possibles. Le procédé a tout intérêt de 20 prévoir l'intégration de différents capteurs, comme un capteur GPS ou d'autres capteurs (capteurs électrochimiques CO ou 02 par exemple), ou d'une caméra à champ large et en lumière visible. Le procédé a aussi tout intérêt de se raccorder à un équipement de communication, afin de transmettre les images des caméras (IR et lumière visible) et des capteurs et de recevoir des instructions destinées à un affichage sur le HMD. Cet intérêt pour 25 une ouverture du procédé à d'autres capteurs et à la communication induit un cinquième problème technique, en ce qu'il concerne l'architecture du procédé. L'objet principal de l'invention est un procédé qui permet de visualiser au travers d'un dispositif HMD au moins des images d'une caméra dotée d'un téléobjectif à focale fixe ou variable ou d'une caméra thermique, ainsi que le cadre représentant le champ de vue de la 30 caméra et les données des capteurs. Il permet d'augmenter la capacité de vision de l'utilisateur de manière à visualiser le rayonnement IR ou des détails par grossissement d'un champ de vision étroit, selon le mode de réalisation. Pour ce faire, le procédé répond à l'ensemble des problèmes exposés ci-dessus : - la correction de l'effet de parallaxe ; 35 - la gestion du champ de vue de la caméra à l'intérieur du champ de vision du HMD en fonction de la direction des axes optiques des deux dispositifs, dont le parallélisme n'est pas assuré ; - 4 - la transformation des images IR de façon à superposer leurs représentations à la vision naturelle de façon efficace, de manière non gênante pour une utilisation continue ; la prise en compte de la distance focale d'un zoom qui est liée au champ de vue de la caméra ; l'intégration dans l'architecture d'un système de communication. L'invention définit un procédé de traitement d'image d'une caméra et des données d'un ensemble de capteurs, au moins d'un capteur télémétrique et des capteurs de position, destiné à un affichage dans le champ visuel de l'utilisateur au moyen d'un dispositif HMD équipé d'un écran transparent ou semi-transparent, caractérisé par : - le positionnement, le dimensionnement et l'affichage du cadre représentant le champ de vue de la caméra sur l'écran HMD, de façon à superposer le champ de l'image sur le champ de vision de l'utilisateur, aux moyens des traitements de correction de l'effet de parallaxe et/ou de la gestion de l'angle entre l'axe optique de la caméra et l'axe de vision du HMD en fonction des caractéristiques des dispositifs, de leurs spécificités, des paramètres, des données des capteurs ; - l'affichage de l'image ou d'une représentation graphique de l'image de la caméra en périphérie du champ de vision du HMD ou dans le cadre correspondant au champ de vue de la caméra, selon l'un des modes de fonctionnement. Le procédé permet également un traitement spécifique à une caméra thermique ou infrarouge, qui consiste à transformer le thermogramme ou l'image thermique en une représentation graphique sous forme de courbes isothermes, en fonction d'une échelle de température. Aussi, ce procédé consiste à la prise en compte de la distance focale, spécifique à l'emploi d'un objectif à focale variable, dans le traitement consistant à dimensionner le cadre du champ de vue de la caméra à l'intérieur du champ de vision du dispositif HMD. Le procédé est aussi caractérisé par les éléments suivants : - un système qui consiste à collecter les données des capteurs, d'au moins une caméra, à synchroniser et à associer les données pour chaque image de la caméra ; - un système de stockage des données, des spécificités techniques, des paramètres, et des données des capteurs et d'au moins une caméra dans au moins une mémoire de masse ; - un traitement vidéo consistant à gérer l'affichage au travers du dispositif HMD, afin de réaliser des fenêtres d'affichage en périphérie du champ de vision, d'afficher des informations provenant du système de communication ou du système de collecte de données des capteurs, d'afficher toutes informations concernant l'état des dispositifs, en fonction d'un des modes de fonctionnement ; un système de communication permettant d'émettre la vidéo ou les images d'au moins une caméra ou toutes autres informations collectées ou stockées dans la mémoire de masse, ou permettant de recevoir des informations destinées à être affichées au moyen du dispositif - 5 - HMD, au travers du traitement vidéo. Il est destiné à assurer une liaison avec un équipement de communication ; un système de communication comprenant un système de compression et de décompression de données afin d'accélérer la communication et/ou un système de cryptage et de décryptage afin de protéger les données transmises ; un système de contrôle qui définit une interface avec au moins un dispositif capable d'interagir avec l'utilisateur, permettant de saisir, de modifier ou de consulter les mémoires de masse ou de choisir l'un des modes d'affichage du système vidéo ou une échelle de courbes isothermes et d'effectuer toutes opérations nécessaires aux fonctionnements du procédé. L'architecture du procédé (100) se dessine autour de quatre équipements : un dispositif caméra et autres capteurs (101), un dispositif HMD (102), un équipement de communication (103) et une interface de contrôle (104). Voici une description de ces équipements : Le dispositif caméra (101) peut disposer d'un zoom. Dans ce cas, le système optoélectronique de l'objectif doit être capable de transmettre la distance focale dont le procédé a besoin. A propos de l'optique, l'angle de vue de l'objectif doit être inférieur à l'angle de vision du HMD, afin que le champ de vue de la caméra s'inscrive à l'intérieur du champ de vision, sinon seulement une partie de l'image sera visible à l'intérieur du HMD. Le dispositif est équipé d'un capteur télémétrique, dont l'axe de visée est parallèle à l'axe optique de la caméra. Le télémètre peut utiliser un laser, si son rayonnement n'interfère pas avec le capteur thermique. Le dispositif contient un capteur de position gyroscopique. Il contient aussi un système de fixation dédié à un casque ou à un arceau de tête par exemple. Il peut contenir d'autres capteurs selon le mode de réalisation souhaité. Le HMD (102) est un dispositif exploitant un écran transparent ou semi-transparent, destiné à être monté devant au moins un oeil de l'utilisateur, afin que ce dernier visualise des informations (textes, graphiques, vidéos, ou autres). Le dispositif est équipé d'un capteur de position gyroscopique, comme par exemple le « LASTER SeeThru » de la société LASTER Technologie. Il peut aussi être fixé à l'intérieur d'un casque, en utilisant la visière comme support d'affichage, ou encore être intégré à l'intérieur d'un masque pour appareil respiratoire isolant. L'équipement de communication (103) est un système de liaison radio numérique. Il peut être un téléphone portable, ou n'importe quel moyen de communication déjà existant capable de se relier au procédé. L'équipement de contrôle (104) est une interface capable d'interagir avec l'utilisateur. Il peut être tactile. Il peut se composer de plusieurs interfaces, comme un capteur de mouvement oculaire, ou un système par commande vocale, selon le mode de réalisation souhaité. - 6 - Les différents dispositifs et équipements communiquent avec le procédé, avec n'importe quel moyen existant : filaire ou sans fils, selon les normes et les protocoles en vigueur, à partir du moment où le mode de réalisation suffit pour assurer un débit de données permettant un fonctionnement à temps réel du procédé, afin d'assurer la fluidité des images et des données des capteurs au travers du procédé jusqu'à l'affichage sur le support HMD. Le procédé (100) se décrit par l'architecture suivante : Un système « capteurs » collecte les données des capteurs (105), sur lequel se connecte au moins une caméra, un télémètre, des capteurs de position ou d'autres types de capteurs. Il peut recevoir les données correspondant à la distance focale, lors de l'emploi d'un zoom. Les données collectées sont synchronisées, associées et stockées dans une mémoire de masse et transmises immédiatement au centre de traitement (106). Le centre de « traitement » (106) analyse les données collectées, au travers d'algorithme en tenant compte des paramètres liés à la caméra et au dispositif HMD (angles de vue, distance horizontale et verticale de la caméra par rapport au HMD, mode de traitement, etc.). Il est le coeur du procédé (200). Il permet de transformer les données collectées en données exploitables par le système « vidéo » (107). Le système « vidéo » (107) reçoit les données à afficher du centre de « traitement ». Il reçoit aussi certaines données provenant directement du système « capteurs » (105). Il traduit les données de manière à les afficher selon un mode de fonctionnement au travers du HMD. Il utilise pour cela le pilote graphique lié à l'équipement HMD. Un système de « contrôle » (109) interprète les commandes et les envoie au système « vidéo » (107), ou au centre de « traitement » (106), ou encore au système de « communication » (108) par l'un des moyens de commande offert à l'utilisateur. Il peut aussi activer ou désactiver des fonctions ou définir un choix selon l'un des modes de fonctionnement proposé. Un système de « communication » (108) apporte la connectivité nécessaire avec un équipement de communication distant. Il apporte ainsi la capacité au procédé de transférer les données des capteurs (105) ou d'en recevoir (instructions, plans, autres informations). Le système de communication (108) peut inclure une fonction de compression et de décompression de données pour accélérer les transmissions ou de cryptage et de décryptage afin de protéger les données transmises, selon le mode de réalisation souhaité. Cette architecture peut se concrétiser avec un ordinateur portable, mobile et autonome, équipé de toute la connectique nécessaire afin de relier les différents dispositifs. Il peut se réaliser aussi sur la base d'une carte électronique spécifique. Le mode de réalisation de l'architecture doit assurer une performance suffisante permettant à l'ensemble des systèmes de s'exécuter de façon fluide pour l'utilisateur, afin de limiter les temps de latence sous le seuil de persistance rétinienne, d'environ 1/25ème de seconde. - 7 - Le procédé assure le fonctionnement suivant : Le système « capteurs » (105) collecte le flux d'image de la caméra (110), avec les données des capteurs (télémètre et capteurs de position ou autres), avec éventuellement la distance focale si la caméra est équipée d'un zoom. Il collecte aussi les données concernant le capteur de position (111) du dispositif HMD. Le rôle de ce système est d'associer les données à chaque image collectée. Pour ce faire, dans l'idéal, il analyse la fréquence des images reçues et il collecte les données des autres capteurs, sur la même fréquence et au même instant. Dans la pratique, une horloge interne est utilisée afin d'assurer la synchronisation des données captées. Lorsque les fréquences sont différentes selon les modes de réalisation des 10 capteurs, la dernière donnée captée est associée à l'image. En ce qui concerne les capteurs de position de type gyroscope, il est nécessaire que leurs données soient parfaitement synchronisées en temps réel, afin d'assurer la gestion dans les meilleures conditions. Le système associe les données à chaque image à la manière d'un flux (112) de données enrichi transmis au centre « traitement » (106). Le système stocke dans une mémoire de masse 15 toutes ces données, tout en octroyant un horodatage de l'enregistrement à des fins de consultations ultérieures. Il met à disposition ces données pour le système de « communication » (108). Le centre de « traitement » (106) (200) reçoit donc, un flux de données (112) comprenant : une distance « D », la mesure télémétrique entre l'objet visé et la caméra (209) ; 20 les coordonnées des positions concernant les dispositifs HMD et caméra (210) ; une image ou un thermogramme lorsqu'il s'agit d'une caméra thermique (211) ; la distance focale provenant d'un zoom, si la caméra en est équipée (212). La correction de la parallaxe (201) (figure 3a) s'effectue en prenant en compte la distance « D » (209) mesurée par le capteur télémétrique et les paramètres spécifiques : la distance 25 « d » entre la caméra et le dispositif HMD et la distance « f » entre l'ceil de l'utilisateur et l'écran du HMD. Le traitement est un calcul géométrique qui permet de calculer le décalage de l'image « p » sur l'écran, en fonction de la distance « f », de la distance « d » entre les dispositifs et de la distance « D » entre la caméra et l'objet visé. La correction s'effectue en deux traitements simultanés afin de calculer le décalage « p » pour l'horizontale et pour la 30 verticale. Pour chacun des deux calculs, la distance « d » prend la valeur des distances « h » ou « y » (figure 3b), respectivement la distance horizontale ou verticale entre les axes de la caméra et du HMD. La distance « f » est une spécificité du dispositif HMD. Les données « h », « y » et « f » sont des paramètres mémorisés. La tolérance induite par cette correction de la parallaxe dépend de la précision et de la 35 portée maximale du télémètre et des distances déterminées selon le mode de configuration de la caméra par rapport à l'oeil et son support HMD. Aussi, dans le champ de vue de la caméra, plusieurs objets peuvent apparaitre à des distances différentes de la mesure « D », la superposition d'une représentation sur ces objets - 8 - est nécessairement en décalage. La solution ici est d'utiliser un capteur télémétrique de type scanner 3D, autrement dit un « LIDAR » (« Light Detection And Ranging » en anglais) qui mesure les distances de tous les objets du champ de vue. Ainsi, le calcul géométrique ci-dessus s'effectue sur chaque point mesuré de l'image et apporte une correction de la parallaxe sur l'ensemble de l'image. Pour revenir au télémètre à mesure ponctuelle, un pointeur ou un télémètre laser permet de désigner l'objet pour lequel l'affichage est correct. Le positionnement de l'image est corrigé de la parallaxe pour tous les objets à distance « D ». Dans la configuration où le HMD et la caméra sont dissociés, les distances « y » et « h » peuvent variées de quelques millimètres de par les mouvements de l'utilisateur, l'impact de ces variations est minime sur la correction de la parallaxe. Cependant, l'impact d'une variation d'angle des axes optiques de la caméra et du HMD est important à gérer. Les coordonnées des capteurs de position (210) définissent les axes optiques du HMD (400) et de la caméra (402). L'axe optique est perpendiculaire au champ de vision. L'axe du HMD (400) est associé au champ de vision du HMD (401). L'axe de la caméra (402) est associé à son champ de vue (403). Il est donc nécessaire de calculer la position du point central du champ de vue de la caméra à l'intérieur du champ de vue du HMD (404). Pour ce faire, le traitement (202) consiste d'abord à analyser l'angle dans l'espace entre les deux axes. Si l'angle est nul, les deux axes sont parallèles (figure 4a). Ensuite, le traitement consiste à traduire cet angle de façon à déterminer la position du point d'intersection (404) entre l'axe de la caméra et le champ de vision du HMD, en tenant compte des caractéristiques du dispositif HMD mémorisées. Les coordonnées des positions doivent avoir le même référentiel afin que l'angle puisse se calculer. C'est pourquoi les capteurs de position de type « MEMS » (« MicroElectroMechanic.al Systems » en anglais) sont équipés de gyroscopes associés à des accélérateurs et des magnétomètres, afin de définir un référentiel en rapport avec la gravité et le géomagnétisme terrestre. Une autre façon de définir un référentiel commun est le calibrage des deux gyroscopes, au moyen d'un laser qui représente l'axe du capteur de position associé à la caméra et d'une cible qui s'affiche sur le HMD. Le calibrage consiste à positionner la cible sur le point de visée laser et à relever la distance entre le point de visée au moyen du télémètre. Un calcul géométrique permet d'obtenir un référentiel entre les deux capteurs de position. A partir de ce référentiel, tout mouvement relatif peut être suivi et analysé. Lorsque la caméra change de position par rapport au HMD, l'angle relatif est recalculé sur la base des données des capteurs (figure 4b). Le point d'intersection entre l'axe de la caméra et le champ de vision du HMD se déplace. Lorsque l'angle entre les deux axes devient important, le champ de vue de la caméra est rogné par rapport au champ de vision du HMD (figure 4c). Si l'angle est trop important, le champ de vue de la caméra n'est plus visible à l'intérieur du champ de vue du HMD (figure 4d). Dans ce cas de figure, le traitement permet de donner les - 9 - coordonnées du point d'intersection au-delà des limites du champ de vision. Ainsi, le système « vidéo » peut afficher des flèches permettant à l'utilisateur de savoir où se trouve l'axe de la caméra afin que ce dernier soit rectifié par un repositionnement manuel. Le traitement géométrique des axes de la caméra et du HMD (202) donne les coordonnées de la position centrale du champ de vue de la caméra dans le champ de vision du HMD. Ces coordonnées sont envoyées au système de traitement consistant à positionner et à définir le cadre de l'image par rapport au HMD (203). Le système (203) consiste à positionner et à dimensionner le cadre représentant le champ de vue de la caméra dans le champ de vision du HMD. Le positionnement s'effectue en appliquant la correction de parallaxe (201) sur les coordonnées représentant le champ de vue de la caméra (202). Le dimensionnement du champ de vue de la caméra se calcule par rapport à la longueur de focale de l'objectif monté sur la caméra et des dimensions de son capteur d'image et des caractéristiques optiques du dispositif HMD. Pour un objectif à focale fixe, le dimensionnement du cadre représentant le champ de vue est fixe au travers du HMD. Pour un objectif à focale variable, le dimensionnement du champ de vue varie en fonction de la distance focale de l'objectif et des caractéristiques du capteur d'image. C'est pourquoi la valeur de la focale est collectée (110), ensuite cette valeur est associée au flux image (112) (212) dans le système « capteurs » (105) pour enfin être utilisée dans le dimensionnement du cadre représentant le champ de vue (203). Le système (203) définit la position et un cadre aux dimensions du champ de vue de la caméra sous forme de coordonnées transmis au système de traitement d'image (208). Ce cadre est le support graphique de la représentation de l'image de la caméra, par superposition à l'environnement observé. Il a deux rôles : représenter le champ de vue de la caméra, utile lors de l'utilisation d'un téléobjectif à longue focale ; servir de support à l'affichage d'une représentation IR, lors d'une configuration impliquant une caméra thermique. Deux modes d'affichage de l'image thermique s'effectuent dans le cadre : la représentation des images par colorisation ou la représentation par courbes de niveau isotherme. Pour rappel, l'affichage en HMD d'une représentation par colorisation est utile pour l'utilisateur dans un environnement obscur ou enfumé. L'affichage de l'image thermique sous forme de courbes de niveau isotherme permet à l'utilisateur de visualiser les différentes zones thermiques de son environnement tout en conservant la perception naturelle des couleurs et des détails. Le traitement de l'image thermique consiste donc à transformer le thermogramme (211) de la caméra thermique en courbes isothermes. Le principe est similaire à celui appliqué à la construction des courbes isobares en météorologie ou des courbes de niveau en topographie. - 10 - La méthode employée se décrit en trois étapes : l'analyse du thermogramme (204) ; la gestion des échelles de température pour définir les courbes (205) ; la transformation du thermogramme en courbes de niveau (207). Le thermogramme est une matrice qui représente la surface de l'image. Chaque point de la matrice (pixel pour une image) définit une température (ou une couleur). L'analyse du thermogramme (204) consiste à calculer une moyenne des températures de l'image, avec son écart-type, à identifier les températures minimales et maximales. Cette analyse statistique permet de définir l'amplitude de température à partir de laquelle une échelle de valeur thermique est calculée de manière représentative. Ces résultats sont transmis au système de gestion des échelles de température (205). Une échelle de température (205) se définit par un ensemble de courbes. Chaque courbe représente un seuil de température. La gestion des échelles offre la possibilité à l'utilisateur de définir plusieurs échelles thermiques (206). En effet, chaque échelle répond à une utilisation spécifique. Pour la recherche de personne, une échelle de température proche de celui du corps humain est définie. Pour une reconnaissance dans un incendie, une échelle est définie autour des points d'auto-inflammation. L'ensemble des échelles de température est enregistré dans une mémoire de masse. L'utilisateur peut choisir au travers du système de contrôle l'échelle la plus appropriée à la situation (206). Il peut choisir aussi une échelle de température calculée automatiquement à partir des résultats de l'analyse statistique (204), combinée avec des échelles prédéfinies ou non. A partir du choix de l'échelle de température, le traitement du thermogramme en courbes de niveau s'effectue (207). L'algorithme de traitement effectue un balayage de la matrice point par point, afin de vérifier si la variation d'un point par rapport au suivant franchit l'un des seuils de l'échelle. Si l'un des seuils est franchi, alors les coordonnées sont mémorisées dans une nouvelle matrice, l'ensemble des coordonnées d'un même seuil forme une courbe isotherme. La nouvelle matrice regroupe l'ensemble des courbes. L'algorithme CONREC de Paul Bourke de « University of Western Australia », publié dans la revue « Byte » en juin/juillet 1987, décrit précisément un sous-programme qui permet de tracer les courbes de niveau à partir d'une matrice et d'une échelle. Le traitement d'image (208) a pour fonction de transformer la position et la dimension du cadre en image. Selon le choix de l'utilisateur (213), le traitement consiste à dessiner : - le cadre seul, sans contenu ; - l'image thermique par colorisation à l'intérieur du cadre, pour une utilisation dans un environnement obscur ou enfumé ; la matrice des courbes isothermes à l'intérieur du cadre. Ici, le traitement associe des couleurs au cadre et aux courbes, en fonction des températures relevées. L'image graphique de ce traitement est envoyée au système « vidéo » du HMD (214) (114). Le système « vidéo » (107) inclut le pilote dédié au dispositif HMD. Il est chargé d'envoyer les images qui seront affichées sur l'écran du HMD (120). Ce système propose l'affichage des éléments suivants : la cadre (114) avec ou sans contenu ; une image de la caméra en périphérie du champ de vision ; l'échelle de température ; les valeurs des capteurs (113) ; des informations provenant du système de communication ; des spécificités et des caractéristiques paramétrées ; l'état des dispositifs : la durée d'autonomie, l'activation d'une session de communication ou d'enregistrement par exemple. L'utilisateur peut choisir l'un des modes d'affichage, parmi ceux qui sont composés lors de la réalisation du procédé ou de son paramétrage. Ce choix s'effectue au travers du système de contrôle (109). Le système de « contrôle » a pour fonction de connecter (115) le procédé à un ou plusieurs dispositifs capable d'interagir avec l'utilisateur (104) : commandes fixées sur le dispositif caméra, dispositif tactile, système vocal ou autre. Ce système donne l'accès aux paramètres et aux mémoires utiles pour la configuration des systèmes. Il regroupe tous les modes de fonctionnement possibles du procédé, afin de les proposer de façon organisés à l'utilisateur. Lorsque ce dernier active une commande, elle est interprétée et diffusée à l'intérieur du procédé, afin d'effectuer l'opération associée à la commande. Ainsi, ce système assure la gestion des commandes suivantes : choix du mode d'affichage vidéo (116) et du cadre (213) ; choix d'un mode de traitement (117) et de l'échelle de température (206) ; ouverture et clôture d'une session de communication (118) ; ouverture et clôture d'une session d'enregistrement ; saisie et modification des paramètres et des spécificités des dispositifs ; toutes autres commandes utiles au procédé. Le système de « communication » (108) a pour fonction de connecter (119) le procédé à un équipement de communication radio numérique (103). Par ce moyen, il transmet les données des capteurs et les images d'au moins une caméra (120). Il reçoit des informations formatées pour un affichage sur le dispositif HMD. Ces informations sont transmises au système « capteurs » (120) afin d'utiliser le flux de données déjà existant entre le système « capteurs » et le système « vidéo » (113). Ainsi, les informations reçues sont dirigées vers le système « vidéo » et ensuite affichées sur le HMD. Il peut inclure un système de compression et de décompression de données ou de cryptage et de décryptage de données, selon le mode de réalisation du procédé. - 12 - Selon le point de vue de l'utilisateur, l'emploi des différents équipements associés à ce procédé apporte une vision enrichie sur son environnement. En effet, les dispositifs HMD sont déjà connus pour leur rôle dans le domaine de la réalité augmentée. Grâce au procédé décrit ici, les dispositifs HMD augmentent la perception naturelle de l'utilisateur, à l'aide de caméra dont les capacités sont différentes et complémentaires à celles des yeux. Dans une configuration employant une caméra en lumière visible dotée d'un téléobjectif, l'utilisateur voit au travers du HMD le cadre correspondant au champ de vue de la caméra, un rectangle très étroit par exemple. Il voit en périphérie de son champ de vision une image agrandie de ce cadre. Ce système invente une autre façon d'assurer le rôle des jumelles 10 optiques, tout en laissant les mains libres à l'utilisateur. Dans une configuration équipée d'une caméra thermique dotée d'un objectif standard, l'utilisateur voit toujours le cadre représentant le champ de vue de la caméra. Il voit à l'intérieur de ce cadre les courbes isothermes en superposition à son champ de vision. Il voit aussi l'échelle de température en périphérie. Selon le choix du mode de fonctionnement, il peut 15 voir l'image par colorisation de la caméra thermique, soit dans une fenêtre en périphérie, soit dans le cadre correspondant au champ de vue de la caméra. Ce système enrichit la vision naturellement limitée dans le spectre visible, en ajoutant des représentations graphiques du rayonnement infrarouge. Dans tous les cas de figures, l'utilisateur peut visualiser aussi la distance qui le sépare des 20 objets qu'il regarde. Il peut visualiser des informations provenant d'autres capteurs choisis selon le mode de réalisation. L'utilisateur dispose de nombreuses commandes pour contrôler l'affichage des informations dans son champ de vision et les différents modes de fonctionnement du procédé. Il dispose enfin d'un moyen de communication afin de partager sa vision. 25 30 REVENDICATIONS1) Procédé de traitement d'image d'une caméra et des données d'un ensemble de capteurs destiné à un affichage dans le champ visuel de l'utilisateur au moyen d'un dispositif HMD équipé d'un écran transparent ou semi-transparent, caractérisé par : le positionnement, le dimensionnement et l'affichage du cadre représentant le champ de vue de la caméra sur l'écran HMD, de façon à superposer le champ de l'image sur le champ de vision de l'utilisateur, aux moyens des traitements de correction de l'effet de parallaxe et/ou de la gestion de l'angle entre l'axe optique de la caméra et l'axe de vision du HMD en fonction des caractéristiques des dispositifs, de leurs spécificités, des paramètres et des données des capteurs ; l'affichage de l'image ou d'une représentation graphique de l'image de la caméra en périphérie du champ de vision du HMD ou dans le cadre correspondant au champ de vue de la caméra, selon l'un des modes de fonctionnement. 2) Procédé selon la revendication 1, caractérisé par un traitement spécifique à une caméra thermique ou infrarouge, qui consiste à transformer le thermogramme ou l'image thermique en une représentation graphique sous forme de courbes isothermes en fonction d'une échelle de température. 3) Procédé selon la revendication 1, caractérisé par la prise en compte de la distance focale, spécifique à l'emploi d'un objectif à focale variable, dans le traitement consistant à dimensionner le cadre du champ de vue de la caméra à l'intérieur du champ de vision du dispositif HMD. 4) Procédé selon l'une des revendications 1 ou 3, caractérisé par un système qui consiste à collecter les données des capteurs, à synchroniser et à associer les données pour chaque image de la caméra. 5) Procédé selon chacune des revendications de 1 à 4, caractérisé par un système de stockage des données, des spécificités techniques, des paramètres, et des données des 30 capteurs et d'au moins une caméra dans au moins une mémoire de masse. 6) Procédé selon l'une des revendications de 1 à 5, caractérisé par un traitement vidéo consistant à gérer l'affichage au travers du dispositif HMD, afin de réaliser des fenêtres d'affichage en périphérie du champ de vision, d'afficher des informations provenant du système de communication ou du système de collecte de données des capteurs, d'afficher 35 toutes informations concernant l'état des dispositifs, en fonction d'un des modes de fonctionnement. 7) Procédé selon l'une des revendications 4, 5 ou 6, caractérisé par un système de communication permettant d'émettre la vidéo ou les images d'au moins une caméra ou toutes- 14 - autres informations collectées ou stockées dans la mémoire de masse, ou permettant de recevoir des informations destinées à être afficher au moyen du dispositif HMD, au travers du traitement vidéo. Il est destiné à assurer une liaison avec un équipement de communication. 8) Procédé selon la revendication 7, caractérisé par ce qu'il peut comprendre un système de compression et de décompression de données afin d'accélérer la communication et/ou un système de cryptage et de décryptage afin de protéger les données transmises. 9) Procédé selon chacune des revendications de 1 à 8, caractérisé par un système de contrôle qui définit une interface avec au moins un dispositif capable d'interagir avec l'utilisateur, permettant de saisir, de modifier ou de consulter les mémoires de masse et d'effectuer toutes opérations nécessaires aux fonctionnements du procédé.15