Brevet FR3025917A1 — publié le 20160318

La présente invention relève du domaine des dispositifs de présentation d'information et des dispositifs d'interaction. Elle relève plus particulièrement des dispositifs de projection et d'affichage d'images numériques sur supports multiples prenant en compte des interactions d'un ou plusieurs utilisateurs avec cet environnement principalement visuel mais pouvant être étendu au domaine sonore et à tout dispositif d'information spatialisé. Préambule et art antérieur L'informatique est un univers en perpétuelle évolution sur différents plans : le matériel, le logiciel, l'architecture et les usages. L'informatique a débuté dans les années 1950 sur le modèle de l'unité centrale fixe (mainframe) utilisée par plusieurs personnes, avant d'évoluer vers le modèle d'ordinateur personnel (Personal Computer) dans les années 1980, d'ordinateurs interconnectés via Internet dans les années 1990 et finalement évoluer vers l'informatique ubiquitaire ou omniprésente (pervasive computing) où l'utilisateur est entouré d'un ensemble de dispositifs informatiques avec lesquels il peut interagir ou qu'il peut utiliser pour monitorer son environnement. Ces évolutions du matériel informatique et son ubiquité dans l'environnement ont introduit de nouvelles exigences en termes d'architecture logicielle (informatique distribuée), de communications et d'échanges d'information entre les différents dispositifs constituant l'environnement interactif de l'utilisateur : il faut pouvoir gérer l'hétérogénéité des agents présents (différents facteur de formes, systèmes d'exploitation, etc.), permettre à l'utilisateur une gestion dynamique de ses tâches (utiliser le ou les dispositifs les plus adaptés à sa tâche en fonction du contexte courant, pouvoir changer de dispositifs en cours de tâche, etc.) et offrir la possibilité d'enrichir le système avec de nouveaux dispositifs pour que l'environnement interactif de l'utilisateur ne soit pas fermé. La combinaison des progrès techniques (puissance de calcul, parallélisme, multiplication des dispositifs, etc.), des évolutions méthodologiques permettant une meilleur prise en compte des besoins utilisateurs (conception centrée sur l'utilisateur, expérience utilisateur, etc.) ainsi que l'explosion des usages du numérique au cours des dernières années 3025917 2 font qu'aujourd'hui il est de plus en plus fréquent que la réalisation d'un système interactif se traduisent par la mise en oeuvre de plusieurs dispositifs informatiques, qu'ils s'agissent de dispositifs de calcul, dispositifs d'affichage, de dispositifs d'entrée, de dispositifs d'émission sonore, etc. Par exemple, dans 5 le cadre de la réalisation d'une nouvelle fonctionnalité pour des simulateurs de navigation, tels que des simulateurs de vol, de nombreux écrans représentent les écrans d'un cockpit réel d'aéronef, les tableaux de commande et les images vues à travers les vitres du cockpit, de façon telle qu'un utilisateur se sent immergé dans l'environnement d'un aéronef réel. Des dispositifs d'interaction 10 tels que manche de commande, interrupteurs etc. complètent l'environnement de l'utilisateur. Les images projetées sur les divers écrans d'affichage sont modifiées en temps réel selon les lois de vols de l'aéronef et selon les commandes de l'utilisateur, telles que détectées à travers les dispositifs d'interaction. 15 La multiplication des dispositifs nécessaires à la réalisation de ces environnements interactifs dans lesquels l'utilisateur aura accès aux fonctionnalités proposées fait que ces environnements sont généralement très coûteux et complexes à mettre en place, ce qui rend moins évident le prototypage et l'évaluation de nouvelles fonctionnalités dans ces 20 environnements. Pour l'homme de l'art, une solution à ce problème de complexité de réalisation consiste à recourir à la réalité virtuelle : l'environnement de l'utilisateur est reproduit virtuellement et les nouvelles fonctionnalités sont incorporées dans cet environnement virtuel. L'utilisateur peut ensuite évaluer 25 les nouvelles fonctionnalités en s'immergeant virtuellement dans l'environnement à l'aide d'un casque de réalité virtuelle. Cette approche présente plusieurs inconvénients. D'une part, le matériel nécessaire pour créer une expérience de réalité virtuelle réellement immersive, c'est à dire dans laquelle l'utilisateur n'est pas 30 un simple spectateur mais peut interagir avec l'environnement virtuel comme il ferait avec l'environnement réel, est assez prohibitif ce qui restreint son utilisation à la recherche et à certains domaines métiers où les contraintes sécuritaires sont plus importantes que les contraintes budgétaires. 3025917 3 D'autre part, même avec une expérience de réalité virtuelle de qualité et très immersive, les résultats obtenus ne seront pas forcément représentatifs de l'utilisation dans le monde réel. Le monde virtuel ne reproduit pas forcément l'environnement réel dans tous ses détails (conditions sonores et lumineuses, 5 vibrations, etc.) et il n'est pas adapté à la collaboration parce que les avatars virtuels ne permettent pas de transcrire fidèlement les positions relatives des utilisateurs entre eux et la communication non verbale (gestes, attitudes, mimiques, etc.). Une autre solution de l'état de l'art repose sur la réalité augmentée dont 10 le principe est de mélanger le monde réel et le monde virtuel. L'utilisateur perçoit le monde réel au travers d'une paire de lunettes semi-transparentes qui superposent en temps réel un modèle virtuel 3D (ou 2D) à sa perception du monde réel. Par rapport à la réalité virtuelle, la réalité augmentée présente un avantage en termes d'algorithme et de fidélité du rendu : l'utilisation du monde 15 réel permet de placer l'utilisateur dans un environnement familier et de réduire les efforts de modélisation en réutilisant des éléments existants de l'environnement de l'utilisateur ce qui permet de diminuer la complexité de la scène graphique manipulée en termes de nombre de polygones. Un inconvénient majeur de cette approche est que l'utilisateur doit être appareillé 20 avec une paire de lunettes de réalité augmentée ce qui peut être fatiguant pour les évaluations longues et nécessite des équipements adaptés à la vue (lunettes correctrices, lentilles de contact, etc.) de l'ensemble des utilisateurs participants à l'évaluation ce qui peut être assez coûteux. Un autre inconvénient majeur est que chaque utilisateur dispose de sa propre vue 25 subjective du monde réel augmenté ce qui ne facilite pas la création d'un contexte partagé dans les situations de collaboration co-localisée : même si le monde virtuel superposé à la réalité est partagé, les différents utilisateurs ne voient pas exactement la même chose, plus particulièrement le monde virtuel présenté à utilisateur peut venir masquer les mains d'un second utilisateur 30 empêchant ainsi le premier utilisateur de prendre pleinement conscience des actions de son collaborateur. La dernière solution à disposition de l'homme de l'art est d'utiliser la vidéo-projection pour enrichir un environnement réel avec des éléments 3025917 4 virtuels. Des techniques comme le « projection mapping » permettent de projeter des images sur des structures en relief ou de recréer des univers à 360°. Via l'utilisation des logiciels spécifiques, les volumes sont reproduits afin d'obtenir une projection vidéo qui se superpose le plus fidèlement possible à la 5 structure physique utilisée pour l'affichage. Ces techniques sont particulièrement adaptées à l'affichage sur une surface physique quelconque. Pour rendre interactive ces surfaces, l'homme de l'art recourt à la vision par ordinateur avec des caméras 2D ou 3D : l'approche consiste à détecter par analyse d'image les moments où l'utilisateur touche la surface physique afin de 10 déclencher les actions appropriées pour mettre à jour le contenu projeté. Un inconvénient de cette approche est que la vision par ordinateur est très sensible à l'occlusion : un utilisateur peut masquer les actions d'un autre utilisateur en plaçant son bras ou sa main entre celui-ci et la caméra, le rendant ainsi invisible à la caméra. La vision par ordinateur est aussi sensible à la 15 lumière ambiante ce qui contraint les conditions d'utilisation de l'environnement ainsi réalisé, en particulier la luminosité maximale tolérée par la vision par ordinateur est généralement inférieure à l'éclairage du lieu de travail des utilisateurs. De plus, l'utilisation de dispositifs d'affichage, comme des écrans, dans le champ de la caméra peut perturber la vision par ordinateur : la lumière 20 et la chaleur émise par ces dispositifs d'affichage peuvent être perçues par la caméra et conduire à des faux positifs. La vision par ordinateur gère difficilement les changements dynamiques de l'environnement parce que cette technique repose sur la comparaison d'une image courante à une condition de départ. Pour prendre en compte un changement comme l'apparition ou la 25 disparition d'un dispositif dans l'environnement de travail, il faut recalibrer dynamiquement la vision par ordinateur ce qui introduit des coupures dans l'interaction : il faut attendre que le système se soit reconfiguré pour agir sans risque d'erreur sur le nouvel environnement. La présente invention vise à remédier à ces inconvénients en fournissant 30 un procédé et un dispositif pour réaliser rapidement et à moindre coût un environnement réel interactif qui sait s'adapter dynamiquement aux dispositifs présents. Plus particulièrement, la présente invention vise un dispositif d'orchestration de surfaces d'affichage, de dispositifs de projection et de 3025917 5 dispositifs d'interaction spatialisés 2D et 3D. Le dispositif selon l'invention est particulièrement adapté à la réalisation de simulateurs, par exemple un simulateur de cockpit, mais n'est nullement limité à ce domaine d'utilisation. 5 Exposé de l'invention L'invention vise en premier lieu un dispositif de gestion d'affichage et d'interaction sur une pluralité de supports, comportant : - des moyens de désignation et de modélisation géométrique d'une 10 pluralité de zones choisies sur des surfaces d'affichage, et / ou de projection d'images, ces zones d'affichage formant l'environnement visuel d'au moins un l'utilisateur, ces désignations et modélisations résultant en un modèle géométrique d'environnement interactif, - des moyens d'interprétation des informations fournies par au moins un 15 dispositif d'interaction spatialisé dans ce modèle géométrique d'environnement - des moyens de génération des images projetées sur les diverses zones d'affichage par au moins un système de projection et d'affichage d'images en fonction des actions de l'utilisateur telles que détectées par les dispositifs d'interaction spatialisés. 20 L'invention vise en second lieu un dispositif d'affichage, comporte un dispositif tel qu'exposé ci-dessus et : - une pluralité de surfaces passives d'affichage, - au moins un système de projection d'image vers ces surfaces 25 d'affichage, - au moins un dispositif d'interaction spatialisé adapté à détecter des instructions gestuelles d'un utilisateur. L'invention vise sous un autre aspect un procédé de gestion d'affichage 30 et d'interaction sur une pluralité de zones choisies sur des supports d'affichage, ces surfaces d'affichage recevant des images projetées par au moins un système de projection d'images. Le procédé comporte une étape : 3025917 6 100/ de génération d'un modèle géométrique global d'environnement, c'est à dire de données caractérisant la position et les dimensions de chaque surface d'affichage face aux systèmes de projection d'image, l'orientation ou la distance précises de chaque surface d'affichage vis à vis des systèmes de 5 projection d'image étant initialement inconnues. Dans une mise en oeuvre plus particulière, le procédé comporte la modélisation de chaque surface d'affichage, en utilisant au moins l'une des sous-étapes suivantes: 10 100A mesure géométrique directe dans l'espace, 100B mesure géométrique à l'aide de systèmes de modélisation en trois dimensions, 100C calage visuel. 15 Dans une mise en oeuvre encore plus particulière, la sous-étape 100C comporte un calage automatisé à l'aide d'un système de vision par ordinateur couplé à un système de projection affichant différentes séquences de motifs visuels pour détecter et calibrer les différents plans de projection. 20 Dans une mise en oeuvre particulière alternative, la sous-étape 100C comporte la modélisation d'un plan de projection virtuel en fonction de l'orientation du système de projection d'images mais aussi de sa focale, ce plan de projection virtuel étant normal à l'axe de projection du système de projection d'images et situé à une distance dépendant de la focale du 25 projecteur. Dans une mise en oeuvre particulière, le procédé comporte une étape : 200/ d'intégration de dispositifs d'interaction spatialisés 3D dans le modèle géométrique global d'environnement, par le biais de la détermination 30 des transformations géométriques nécessaires à l'interprétation des informations que ces dispositifs d'interaction spatialisé 3D fournissent dans le même repère à trois dimensions que celui utilisé pour la modélisation des surfaces d'affichage. 3025917 7 Dans une mise en oeuvre plus particulière, l'étape 200 comporte des sous-étapes : 200A. de calcul de la fonction de transformation entre le repère intrinsèque du dispositif d'interaction spatialisé et le repère du modèle 5 d'environnement global, à partir de la position d'au moins deux points dans ces deux repères ou d'un point et d'un vecteur, 200D. de génération d'une fonction de correspondance entre les informations des dispositifs d'interaction spatialisés et les surfaces d'affichage. 10 Dans une mise en oeuvre particulière, le procédé comporte une étape : 300/ d'intégration d'au moins un dispositif d'interaction spatialisés 2D dans le modèle géométrique global d'environnement par la détermination de transformation des coordonnées 2D issues du dispositif d'interaction spatialisé 2D en coordonnées 3D pouvant être prises en compte dans le modèle 15 géométrique global d'environnement. Dans une mise en oeuvre particulière, le procédé comporte une étape : 400/ de génération des images projetées sur les diverses surfaces d'affichage en temps réel en fonction des actions de l'utilisateur telles que 20 détectées par les dispositifs d'interaction spatialisés, cette étape 400 comportant des sous-étapes suivantes : 400A. de projection mathématique des informations des dispositifs d'interaction spatialisés sur les surfaces d'affichage, 400B. d'utilisation des informations spatialisées pour localiser des entités 25 physiques et projeter de l'information sur ou autour de ces entités. On comprend que l'invention constitue alors un dispositif et un procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'interaction spatialisés 2D et 3D pour la création d'environnements 30 interactifs multimodaux. En d'autres termes, l'invention vise un dispositif et un procédé d'unification dans un même repère en trois dimensions d'une pluralité de 3025917 8 surfaces d'affichage, de dispositifs de projection vidéo et de dispositifs d'entrée incluant au moins un dispositif d'interaction spatialisée 2D ou 3D et / ou une surface tactile - tous pouvant être statiques ou mobiles -, permettant de faire correspondre à tout point, à toute ligne et à toute forme de l'espace physique, 5 produits par un dispositif d'entrée, un ou plusieurs points et/ou une ou plusieurs lignes et/ou une ou plusieurs formes sur les surfaces d'affichage et les dispositifs de projection vidéo. L'invention concerne un système (matériel et procédé) adapté à recréer 10 un environnement partiellement ou complètement simulé sur un ensemble de surfaces quelconques entourant l'utilisateur, en lui fournissant un affichage équivalent à celui qu'il aurait dans un environnement réel, avec des fonctions tactiles et / ou d'interaction identiques. A cet effet, le logiciel mettant en oeuvre le procédé de l'invention 15 comporte des modules destinés : à adapter la géométrie d'une image projetée par un vidéoprojecteur à une ou plusieurs surfaces quelconques non nécessairement planes et non nécessairement orientées face au projecteur, à projeter des images, à l'aide du vidéoprojecteur, sur des 20 surfaces désignées par l'utilisateur en temps réel, ces surfaces entourant l'utilisateur et étant de tailles et orientations quelconques, comprenant ou non des écrans d'affichage, à tenir compte de la présence d'un écran d'affichage parmi les surfaces désignées, et à ne pas projeter d'image sur cette surface, cet écran 25 affichant directement les données à afficher à gérer éventuellement une interaction tactile sur les surfaces de projection. Présentation des figures 30 Les caractéristiques et avantages de l'invention seront mieux appréciés grâce à la description qui suit, description qui expose les caractéristiques de l'invention au travers d'un exemple non limitatif d'application. La description s'appuie sur les figures annexées qui représentent : 3025917 9 Figure 1 : les différents éléments impliqués dans une mise en oeuvre de l'invention, Figure 2 : un organigramme des étapes principales du procédé. 5 Description détaillée d'un mode de réalisation de l'invention Dans le présent mode de mise en oeuvre, donné ici à titre illustratif et non limitatif, un dispositif selon l'invention est utilisé dans le cadre de la génération d'un simulateur de cockpit. On le désignera par la suite sous le terme de dispositif de gestion de simulation. 10 Comme on le voit sur la figure 1, le dispositif de gestion de simulation utilise pour sa mise en oeuvre une pluralité de surfaces d'affichage 10 non nécessairement planes, ni nécessairement parallèles, connexes ou coplanaires. L'invention peut naturellement être mise en oeuvre sur une seule surface, mais ne trouve sa pleine utilisation que pour la génération d'images 15 vers plusieurs surfaces. Les surfaces d'affichage 10 ici considérées sont notamment de type passif. C'est à dire qu'il peut typiquement s'agir de surface de boites cartonnées, de planches, etc. Dans un mode de réalisation donné à titre de simple exemple illustratif, les surfaces d'affichage 10 sont constituées d'un 20 ensemble de boites cartonnées de tailles diverses, disposées sensiblement face à un utilisateur 15 dudit dispositif de gestion de simulation Le dispositif de gestion de simulation comporte en premier lieu au moins un système de projection d'images 11 vers ces surfaces d'affichage 10, par exemple de type vidéoprojecteur. Ces systèmes de projection d'images 11 25 peuvent, plus généralement, être constitués de tout dispositif capable de générer une information visuelle dynamique. Le dispositif de gestion de simulation comporte en second lieu un calculateur 12, par exemple de type microordinateur, adapté à envoyer des données à afficher et des commandes d'affichage aux systèmes de projection 30 d'images 11. Ce calculateur 12 est relié à une base de données 13. Dans un mode de mise en oeuvre particulier, certaines surfaces d'affichage 10' peuvent être constituées d'écrans (de type LCD ou autre). Dans 3025917 10 ce cas, le calculateur 12 envoie directement à ces écrans 10' les images à afficher. Le dispositif de gestion de simulation comprend en troisième lieu au moins un dispositif 16 d'interaction spatialisée entre l'utilisateur 15 et le 5 calculateur 12. Un tel dispositif d'interaction spatialisée sans contact peut être par exemple de type basé sur des reconnaissances de formes et/ou de mouvements (type « Leap Motion », Kinect -marque déposée-, détection de mouvement oculaires « Eye-tracking », etc.). De tels systèmes sont connus de l'homme du métier, et le détail de leur constitution sort du cadre de la présente 10 invention. Il n'est donc pas détaillé plus avant ici, de même que pour ce qui concerne le calculateur 12 et les systèmes de projection d'images 11. Ces systèmes permettent d'interpréter des mouvements visuels ou manuels de l'utilisateur comme des commandes de modification de l'affichage. On comprend que dans le cas particulier de la mise en oeuvre ici décrite 15 à titre d'exemple, de tels dispositifs d'interaction spatialisée sans contact 16 permettent de détecter des mouvements des mains de l'utilisateur 15 vers certaines zones des surfaces d'affichage 10, représentant par exemple des images de zones de panneau de commande de système avion. De la sorte, le dispositif de gestion de simulation peut modifier l'affichage en fonction des 20 mouvements de la main de l'utilisateur 15, de façon représentative de ce qui se produirait si un utilisateur agissait sur le panneau de commande réel du système avion. De même, le dispositif de gestion de simulation peut déterminer, grâce aux détecteurs 16, la position ou l'attitude de l'utilisateur 15 face aux surfaces d'affichage 10, et adapter en conséquence l'affichage en 25 fonction de cette attitude de l'utilisateur 15. Cette attitude peut caractériser soit une zone qu'il observe, soit une commande de changement à destination du véhicule faisant l'objet de la simulation. Dans le présent exemple non limitatif de mise en oeuvre, le dispositif de gestion de simulation comprend également au moins un dispositif d'interaction 30 par contact tel que capteur, bouton, surface tactile, etc. Le dispositif de gestion de simulation peut également comprendre des dispositifs d'interaction entre l'utilisateur 15 et le calculateur 12, tels que reconnaissance vocale, détecteur de présence ou autre dispositif actif 3025917 11 intervenant dans les environnements interactifs et générant des événements discrets ou continus. Dans le présent exemple non limitatif de mise en oeuvre, le dispositif de gestion de simulation comprend enfin un réseau de communication numérique 5 14 reliant les éléments ci-dessus, et notamment les dispositifs d'interaction spatialisés 16, les systèmes de projection d'images 11 et le calculateur 12. Le choix du réseau 14 est naturellement adapté au volume de données numériques (par exemple images) à faire transiter sur ce réseau. Le dispositif de gestion de simulation comporte enfin des moyens de 10 gestion des systèmes de projection d'images 11, mis en oeuvre sous la forme d'un ou plusieurs modules logiciels par le calculateur 12. Le procédé mis en oeuvre par ce logiciel comporte plusieurs étapes : 15 100/ Modélisation géométrique de l'environnement visuel Dans une étape 100, il est réalisé une modélisation géométrique de l'environnement visuel de l'utilisateur. Le dispositif de gestion de simulation comporte à cet effet en premier lieu un module permettant de combiner des surfaces d'affichage 10 de natures 20 hétérogènes au sein d'un même modèle numérique d'environnement. Ces surfaces d'affichage 10 sont modélisées dans un même repère de cet espace à trois dimensions (le modèle numérique d'environnement). La modélisation de chaque surface d'affichage 10 peut être réalisée à l'aide de trois techniques combinables entre elles: 25 100A. La première technique de modélisation utilise une mesure géométrique directe dans l'espace à l'aide d'outils tels que des mètres, rubans, règles graduées, etc. 1006. La seconde technique de modélisation utilise une mesure géométrique à l'aide de systèmes de modélisation en trois dimensions, par 30 exemple basés sur des techniques à base d'accéléromètre, de traitement optique ou laser, etc. De telles techniques sont connues de l'homme du métier. Ces mesures géométriques permettent de modéliser et repérer aussi bien des surfaces d'affichage 10 que les systèmes de projection d'images 11 3025917 12 qui génèrent les images affichées par ces surfaces d'affichage 10 (en particulier un vidéoprojecteur en tant que dispositif émetteur) ou encore les dispositifs d'interaction. 100C. La troisième technique de modélisation utilise un calage visuel. 5 Pour l'homme de l'art, celui-ci peut être automatisé à l'aide d'un système de vision par ordinateur couplé à un système de projection affichant différentes séquences de motifs (« patterns ») visuels (damier, bandes parallèle, etc.) pour détecter et calibrer les différents plans de projection. Ce calage visuel peut également être manuel, et réalisé à l'aide d'outils 10 graphiques permettant de déplacer des points de repère virtuels par le biais des systèmes d'affichage 10 pour les faire correspondre à des points de repère physiques . Cette tâche de calage visuel peut par exemple demander à l'utilisateur 15 de placer visuellement des points de repère vidéo-projetés sur les coins 15 d'une surface d'affichage 10 formant un polygone physique, quelle que soit la position du système de projection d'images 11, à condition que ce dernier éclaire la surface d'affichage 10 considérée. Pour permettre une véritable modélisation en 3D des surfaces d'affichage 10, des systèmes de projection d'images 11 et des dispositifs 20 d'interaction, incluant les distances et angles dans un repère orthonormé, la technique de modélisation par calage visuel est combinée aux première ou seconde techniques de modélisation, par mesure géométrique directe. En effet, la technique de modélisation par calage visuel n'étant basée que sur de la projection géométrique, elle ne conserve pas les distances. A ce titre, la 25 technique de modélisation par calage visuel ne constitue qu'une facilité pour replacer facilement un vidéoprojecteur 11 dans l'environnement, pour peu que les surfaces d'affichage 10 sur lesquelles il projette aient été modélisées avec l'une des deux premières techniques 100A, 100B définies ci-dessus. Il est à noter que, dans un exemple particulier de réalisation avec affichage sur des 30 boites cartonnées faisant office de surfaces d'affichage 10, si les boites cartonnées ne sont pas déplacées, le vidéoprojecteur 11 peut être placé de façon approximative et la technique de calage visuel permet de le "réaligner" avec les polygones correspondant aux surfaces d'affichage 10. 3025917 13 Dans le cas où les techniques de mesure géométrique directe 100A, 100B (première ou seconde techniques de modélisation des systèmes d'affichage 10) sont utilisées, l'environnement est complètement modélisé, sous forme d'un modèle géométrique global d'environnement, c'est à dire que 5 l'on dispose de données caractérisant la position et les dimensions de chaque surface d'affichage 10 dans l'environnement visuel de l'utilisateur 15 face aux systèmes de projection d'image 11. Pour autant, si cet environnement utilise un système de projection d'images 11 pour alimenter une ou plusieurs surfaces d'affichage 10, il est 10 nécessaire de créer une correspondance entre ces surfaces d'affichage 10 et le système de projection d'images 11 en tant que source d'affichage, de manière à ce que chaque surface d'affichage 10 soit adressable sur commande par le système de projection d'image 11. De la sorte, le système de projection d'image 11 peut afficher toute 15 image composite comprenant un ensemble d'images projetées vers diverses surfaces d'affichage 10, en adaptant sa projection pour faire coïncider chaque image souhaitée avec la surface d'affichage 10 correspondante, dont les bords ou points caractéristiques ont été identifiés. La technique de modélisation d'environnement par calage visuel décrite 20 ci-dessus n'est pas l'unique moyen de modéliser géométriquement l'environnement visuel. Cette modélisation peut aussi être assurée de la manière suivante : 100C'-1. Dans un premier temps, un plan de projection virtuel est modélisé en fonction de l'orientation du système de projection d'images 11 25 mais aussi de sa focale. Il s'agit du plan qu'il faudrait faire correspondre avec un mur de projection dans un usage classique, par exemple dans une salle de réunion. Ce plan est normal à l'axe de projection du système de projection d'images 11 et situé à une distance dépendant de la focale du projecteur, correspondant à la distance de netteté de l'image. 30 100C'-2. Dans un second temps, connaissant précisément la position du « rectangle» générateur de ce plan de projection dans le repère du modèle géométrique global d'environnement, il est possible de projeter sur ce plan les surfaces d'affichage 10 que le système de projection d'images 11 doit 3025917 14 alimenter. Le résultat de celte projection donne les coordonnées, dans le plan de projection, des points clés pour les surfaces d'affichage 10 à alimenter par projection vidéo. Il est alors possible d'utiliser la technique de modélisation par calage visuel pour ces points clés qui ont été déterminés par calcul 5 mathématique plutôt que par la position d'un objet physique. Le dispositif considéré est compatible avec des surfaces d'affichage 10, des systèmes de projection d'images 11 et des dispositifs interactifs mouvants si l'ont sait mettre à jour dynamiquement le modèle géométrique global d'environnement à l'aide d'au moins l'une des trois techniques de modélisation 10 d'environnement définies plus haut. 200/ Gestion des interactions spatialisées en trois dimensions Dans une étape 200 du procédé, les dispositifs d'interaction spatialisés 3D 16 sont intégrés dans le modèle géométrique global d'environnement par le 15 biais de la détermination des transformations géométriques nécessaires à l'interprétation des informations qu'ils fournissent dans le même repère à trois dimensions que celui utilisé pour la modélisation de l'environnement visuel. Le dispositif de gestion de simulation comporte à cet effet en second lieu 20 un module de gestion des interactions fournies par les dispositifs d'interaction spatialisés 16. 200A. Le calcul de la fonction de transformation entre le repère intrinsèque du dispositif d'interaction spatialisé et le repère de l'invention s'effectue en connaissant la position d'au moins deux points dans ces deux 25 repères ou d'un point et d'un vecteur. Ces données nécessaires au calcul peuvent être déterminées à l'aide des première ou seconde techniques de modélisation d'environnement visuel, par mesure géométrique directe, utilisées pour l'affichage et détaillées plus haut. 30 200B. Dans le cas où les dispositifs d'interaction spatialisés 16 considérés ont un comportement relatif à une surface d'affichage 10 particulière leur servant de référence, la modélisation peut être complétée par un calibrage visuel de ces dispositifs d'interaction spatialisés 1. 3025917 15 200C. La modélisation du dispositif d'interaction peut être obtenue au travers de la modélisation de cette surface d'affichage 10 dans le modèle géométrique global d'environnement, pour permettre le calcul des transformations géométriques permettant la mise en relation bijective des 5 informations générées par ce dispositif d'interaction spatialisé 16 dans sa surface de référence, avec les autres surfaces d'affichage 10 et l'ensemble de l'environnement. Ceci peut être le cas par exemple pour un dispositif de suivi oculaire (« eye tracking ») capable de projeter la direction du regard uniquement sur un écran. Connaissant les coordonnées précises du "point de 10 regard" sur cet écran et la modélisation de cet écran dans l'environnement global, il devient simple d'obtenir les coordonnées du "point de regard", exprimées dans le repère de l'environnement global. 200D. Une fois le calibrage réalisé, le dispositif de gestion de simulation 15 procède aux calculs nécessaires pour faire correspondre les Informations des dispositifs d'interaction spatialisée 16 avec les surfaces d'affichage 10 et produit des effets visuels sur ces derniers en conséquence. Les correspondances incluent de façon non-exhaustive: - un pointage précis sur les surfaces d'affichage 10, 20 - la réalisation de gestes de l'utilisateur 15 sur une ou plusieurs surfaces d'affichage 10 induisant des réactions ou feedbacks, - une combinaison d'interaction multimodale (fusion multimodale en entrée) entre l'un des deux moyens précédents et un dispositif d'interaction autre (exemple: une commande vocale). 25 Les sources sonores spatialisées, en utilisant par exemple les solutions Dolby 5.1 -marque déposée- ou l'écoute binaurale, peuvent aussi être intégrées dans le repère de l'environnement global, au même titre que les dispositifs visuels. Ceci réclame seulement de connaître la position de la tête de l'utilisateur. Cette position peut être obtenue par différents systèmes de 30 vision informatique connus de l'homme de l'art. 300/ Gestion des interactions spatialisées en deux dimensions Dans une étape 300, le procédé mis en oeuvre dans l'invention, et décrit 3025917 16 ici dans un exemple non limitatif, interprète les interactions captées par les dispositifs d'interaction spatialisé en deux dimensions (par exemple, un capteur qui suit les déplacements oculaires (eye-tracking) ou des dispositifs de tactilisation, d'une zone rectangulaire précise (cadre tactile ou multitouch) ou 5 d'un plan entier (radarTouch - marque déposée -, plan de faisceaux lumineux, lasers ou infrarouges), qui peuvent être utilisés conjointement à une surface d'affichage (les deux constituent alors une surface d'affichage tactile ou multitouch) ou sans surface d'affichage (il s'agit dans ce cas de dispositifs d'interaction gestuelle dans l'espace « in-air gesture ») et les retranscrit en 10 modifications de l'affichage sur les surfaces d'affichage 10. Les dispositifs d'Interaction spatialisée en deux dimensions réclament, par comparaison aux dispositifs d'interaction spatialisés trois dimensions, des opérations complémentaires pour transformer les coordonnées 2D en coordonnées 3D pouvant être pris en compte dans le modèle géométrique 15 global d'environnement de l'invention. 300A. Cette intégration dans le modèle géométrique global passe par le rattachement de chaque dispositif d'interaction spatialisé en deux dimensions à une surface plane de référence (virtuelle ou non) modélisée dans l'environnement global et, ensuite, par l'utilisation de techniques de lancer de 20 rayon pour étendre les capacités du dispositif 2D à d'autres surfaces d'affichage 10 de l'environnement. Le calibrage d'un dispositif d'Interaction spatialisée 2D se fait à l'aide d'une grille visuelle de calibrage comportant un certain nombre de points de référence, généralement cinq ou neuf points même si trois points non-alignés 25 sont suffisants pour l'homme de l'art. Ces points de référence peuvent être projetés sur la surface de référence du dispositif d'interaction spatialisé 2D de diverses manières, utilisant ou non les capacités d'affichage de l'invention. Dans tous les cas, le calibrage d'un dispositif d'interaction spatialisée 2D se fait point de référence par point de référence, et permet de créer une 30 correspondance entre les données du dispositif d'interaction spatialisé 2D et la grille visuelle de calibrage. Connaissant la position du dispositif d'interaction spatialisé 2D dans le modèle géométrique global d'environnement et au moins un point résultant sur 3025917 17 la surface de référence, le procédé utilise des techniques, connues en soi, de lancer de rayon pour détecter des intersections avec d'autres surfaces d'affichage 10 ou d'autres dispositifs qui permettent de se ramener au cas d'un dispositif d'interaction spatialisé en 3D. 5 II est à noter qu'une fois le calibrage réalisé, la surface de référence n'a plus besoin d'être visible. Il est seulement nécessaire d'obtenir l'information du ou des points résultants sur cette surface de référence d'un point de vue mathématique pour pouvoir les représenter dans le repère de l'environnement global. 10 400/ Orchestration des surfaces d'affichage 10 et des dispositifs d'interaction spatialisés 16 Dans une étape 400, le procédé mis en oeuvre dans l'invention, orchestre les images projetées sur les surfaces d'affichage en fonction des 15 informations reçues de tous les dispositifs d'interaction spatialisés. On appelle orchestration la génération des images projetées sur les diverses surfaces d'affichage 10 en temps réel en fonction des actions de l'utilisateur 15 telles que détectées par les dispositifs d'interaction spatialisés 16. Cette modification des images est calculée par le calculateur 12 et émise 20 vers les surfaces d'affichage 10 par les systèmes de projection d'images 11. Cette orchestration est assurée par des calculs mathématiques de changement de repère et de lancer de rayon. 400A. Dans une première étape, il s'agit de projeter mathématiquement les informations des dispositifs d'interaction spatialisés 16 sur les surfaces 25 d'affichage 10. La projection obtenue est utilisée pour réaliser différentes actions sur les surfaces d'affichage 10 concernées: pointage, déclenchement d'actions, équivalent de clic ou de touch en combinant le pointage avec des 30 événements venant des gestes et mouvements de l'utilisateur 15 sur le dispositif d'interaction 16 considéré ou venant d'autres sources (fusion multimodale). La fusion des informations des différents dispositifs d'interaction 3025917 18 spatialisés 16 et des surfaces d'affichage 10 au sein du modèle géométrique global d'environnement permet de faire opérer un dispositif d'interaction spatialisé 16 sur plusieurs surfaces d'affichage 10 en même temps. 400B. Dans une deuxième étape, il s'agit d'utiliser les informations 5 spatialisées pour localiser des entités physiques (objets ou des utilisateurs, exemple: un Leap Motion permet de localiser dans l'espace la main de l'utilisateur 15) et projeter de l'information sur ou autour de ces entités. Cette projection s'appuie à la fois sur le positionnement en 3D des surfaces d'affichage 10 et sur les surfaces virtuelles de référence des vidéoprojecteurs 10 11. Nous rappelons que l'on entend par surface virtuelle de référence d'un vidéoprojecteur 11 la surface "rectangulaire" correspondant à la zone de projection du vidéoprojecteur à sa "distance de netteté". Cette surface "rectangulaire" est normale à l'axe de projection du vidéoprojecteur. 15 Dans une variante, chaque dispositif d'interaction spatialisé 16 communique aux autres éléments (dispositifs d'interaction spatialisés 16, surfaces d'affichage 10, systèmes de projection d'image 11) du dispositif de gestion de simulation les actions qu'il capte et chaque surface d'affichage 10 détecte si elle est concernée par ces actions et, le cas échéant, réagit en se 20 mettant à jour visuellement fonctionnellement, et en communiquant avec le reste du dispositif. Dans une autre variante de mise en oeuvre du dispositif, il est possible de rajouter, au logiciel de gestion du dispositif, une couche de pilotage globale qui permet : 25 - d'activer ou de désactiver des surfaces d'affichage 10 et des dispositifs d'Interaction spatialisés 16 selon différentes conditions, - aux différentes surfaces d'affichage 10 et aux différents dispositifs d'interaction spatialisés 16 de se synchroniser entre eux pour interagir et réagir de façon globale et coordonnée (techniques de fusion et fission multimodale en 30 entrée et en sortie, connues de l'homme de l'art). Dans encore une autre variante, le dispositif de gestion de simulation comporte au moins un dispositif d'interaction tiers du type commande vocale, capteurs de présence, etc. 3025917 19 Il peut également comporter un dispositif d'affichage holographique en complément ou en remplacement d'une partie des surfaces d'affichage 10. Le dispositif de gestion de simulation ici décrit à titre d'exemple non 5 limitatif trouve notamment une utilisation dans le cadre du prototypage d'environnements interactifs (cockpits, systèmes de supervision, etc.) en permettant de recréer et d'étendre tout ou partie d'un environnement de travail complexe en utilisant des dispositifs de prototypage ou des dispositifs à bas coût comparés aux dispositifs qui seront retenus dans l'environnement une fois 10 industrialisé et mise en opération. REVENDICATIONS1. Dispositif de gestion d'affichage et d'interaction sur une pluralité de supports, caractérisé en ce qu'il comporte : - des moyens de désignation et de modélisation géométrique d'une pluralité de zones choisies sur des surfaces d'affichage (10), et / ou de projection d'images, ces zones d'affichage formant l'environnement visuel d'au moins un utilisateur (15), ces désignations et modélisations résultant en un modèle géométrique d'environnement, - des moyens d'interprétation des informations fournies par au moins un dispositif d'interaction spatialisé (16) de cet utilisateur (15) dans ce modèle 10 géométrique d'environnement, - des moyens de génération des images projetées sur les diverses zones d'affichage (10) par au moins un système de projection d'images (11) en fonction des actions de l'utilisateur (15) telles que détectées par les dispositifs d'interaction spatialisés (16). 15 2. Dispositif d'affichage, caractérisé en ce qu'il comporte un dispositif selon la revendication 1, et : - une pluralité de surfaces passives d'affichage (10), - au moins un système de projection d'image (11) vers ces surfaces 20 d'affichage (10), - au moins un dispositif d'interaction spatialisé (16) adapté à détecter des instructions gestuelles d'un utilisateur (15). 3. Procédé de gestion d'affichage et d'interaction sur une pluralité de 25 zones choisies sur des supports d'affichage (10), pour dispositif selon l'une des revendications 1 à 2, ces surfaces d'affichage recevant des images projetées par au moins un système de projection d'images (11), caractérisé en ce qu'il comporte une étape : 100/ de génération d'un modèle géométrique global d'environnement, 30 c'est à dire de données caractérisant la position et les dimensions de chaque surface d'affichage (10) face aux systèmes de projection d'image (11), 3025917 21 l'orientation ou la distance précises de chaque surface d'affichage (10) vis à vis des systèmes de projection d'image(11) étant initialement inconnues. 4. Procédé selon la revendication 3, caractérisé en ce qu'il comporte la 5 modélisation de chaque surface d'affichage (10), en utilisant au moins l'une des sous-étapes suivantes: 100A mesure géométrique directe dans l'espace, 100B mesure géométrique à l'aide de systèmes de modélisation en trois dimensions, 100C calage visuel. 5. Procédé selon la revendication 4, caractérisé en ce que la sous-étape 100C comporte _un calage automatisé à l'aide d'un système de vision par ordinateur couplé à un système de projection affichant différentes séquences de motifs visuels pour détecter et calibrer les différents plans de projection. 6. Procédé selon la revendication 4, caractérisé en ce que la sous-étape 100C comporte la modélisation d'un plan de projection virtuel en fonction de l'orientation du système de projection d'images (11) mais aussi de sa focale, ce plan de projection virtuel étant normal à l'axe de projection du système de projection d'images (11) et situé à une distance dépendant de la focale du projecteur. 7. Procédé selon l'une quelconque des revendications 3 à 6, caractérisé 25 en ce qu'il comporte une étape : 200/ d'intégration de dispositifs d'interaction spatialisés 3D (16) dans le modèle géométrique global d'environnement, par le biais de la détermination des transformations géométriques nécessaires à l'interprétation des informations que ces dispositifs d'interaction spatialisé 3D (16) fournissent 30 des le même repère à trois dimensions que celui utilisé pour la modélisation des surfaces d'affichage (10). 8. Procédé selon la revendication 7, caractérisé en ce que l'étape 200 3025917 22 comporte des sous-étapes : 200A. de calcul de la fonction de transformation entre le repère intrinsèque du dispositif d'interaction spatialisé et le repère du modèle d'environnement global, à partir de la position d'au moins deux points dans ces 5 deux repères ou d'un point et d'un vecteur, 200D. de génération d'une fonction de correspondance entre les informations des dispositifs d'interaction spatialisés (16) et les surfaces d'afficlaage (10). 10 9. Procédé selon l'une quelconque des revendications 3 à 8, caractérisé en ce qu'il comporte une étape : 300/ d'intégration d'au moins un dispositif d'interaction spatialisés 2D dans le modèle géométrique global d'environnement par la détermination de transformation des coordonnées 2D issues du dispositif d'interaction spatialisé 15 2D en coordonnées 3D pouvant être prises en compte dans le modèle géométrique global d'environnement. 10. Procédé selon l'une quelconque des revendications 3 à 9, caractérisé en ce qu'il comporte une étape : 20 400/ de génération des images projetées sur les diverses surfaces d'affichage (10) en temps réel en fonction des actions de l'utilisateur (15) telles que détectées par les dispositifs d'interaction spatialisés (16), cette étape 400 comportant des sous-étapes suivantes : 400A. de projection mathématique des informations des dispositifs d'interaction spatialisés (16) sur les surfaces d'affichage (10), 400B. d'utilisation des informations spatialisées pour localiser des entités physiques et projeter de l'information sur ou autour de ces entités.