Brevet FR3030842A1 — publié le 20160624

- 1 - PROCÉDÉ DE PROJECTION D'IMAGES SUR UNE SCÈNE TRIDIMENSIONNELLE À PLANS MULTIPLES DOMAINE TECHNIQUE DE L'INVENTION [0001]La présente invention concerne un procédé de projection d'images adapté pour une scène tridimensionnelle pourvue d'une pluralité de plans de projection. Elle concerne également un système de projection correspondant. ETAT DE LA TECHNIQUE ANTERIEURE [0002]Les projecteurs de types connus permettent de projeter des images sur un plan unique de projection, c'est-à-dire un plan où l'ensemble des points se situent sensiblement dans un même plan. Lors d'une projection dans une grande pièce, avec au moins un grand plan de projection, l'obtention d'une image projetée de grande surface est aisément possible. [0003]Lorsque la pièce de projection est plus petite, et/ou qu'aucun plan ne 20 correspond à la surface de projection souhaitée, le projection d'une image trop grande donne lieu à des distorsions d'image dans chacune des zones où le plan de projection diffère du plan principal. [0004]Pour des applications visant à créer une immersion des utilisateurs dans un 25 univers de projection sur plusieurs plans, on connaît des solutions utilisant une pluralité de projecteurs, chacun d'entre eux étant prévu pour projeter une image spécifique sur une plan de projection qui lui est propre. Ce type de solution est très coûteux à mettre en oeuvre, notamment du fait de l'utilisation de plusieurs projecteurs, ces derniers étant relativement coûteux. 30 [0005]La demande de brevet FR2919934 propose un dispositif de projection panoramique permettant de projeter une image mère sur une scène comportant Cat_plans multiples-FR - 2 - plusieurs faces. Le système et le procédé prévoient à cet effet une transmission de l'image par l'entremise d'un miroir hémisphérique permettant de réfléchir les rayons du projecteur dans différentes directions, sur les différents points de projection. Un exemple d'un tel système est illustré à la figure 1 de la présente demande. La disposition du miroir, par exemple au centre de la scène, permet d'organiser la réflexion des rayons lumineux dans toutes les directions souhaitées. Cette approche donne de bons résultats dans certaines configurations où l'on recherche par exemple à projeter sur une scène de plus de 180 degrés, et plus particulièrement avec une scène occupant jusqu'à 360 degrés. Par contre, le système est relativement complexe et coûteux et implique une phase d'installation longue et fastidieuse. Ce type de système est donc avant tout susceptible d'intéresser les utilisateurs professionnels. [0006]II existe donc un besoin pour un procédé et système plus simple d'utilisation, plus facile à installer, et qui soit à la portée des utilisateurs non spécialistes. [0007]Pour pallier ces différents inconvénients, l'invention prévoit différents moyens techniques. EXPOSE DE L'INVENTION [0008] Tout d'abord, un premier objet de l'invention consiste à prévoir un procédé de projection d'images sur une scène comportant une pluralité de plans distincts. [0009]Un autre objet de l'invention consiste à prévoir un procédé de projection d'images sur des scènes complexes qui soit simple et rapide à mettre en oeuvre. [0010]Encore un autre objet de l'invention consiste à prévoir un procédé de projection d'images sur des scènes complexes qui soit à la portée d'utilisateurs non spécialisés. Cat_plans multiples-FR 3030 842 - 3 - [0011]Un autre objet de l'invention consiste à prévoir un système de projection permettant de projeter des images sur une scène complexe, quelle que soit la pièce où l'utilisateur se trouve. 5 [0012]Un autre objet de l'invention consiste à prévoir un système de projection permettant de projeter des images sur une scène complexe, avec un système simple, peu coûteux, facile à installer et à utiliser. [0013]Pour ce faire, l'invention prévoit un procédé comprenant les étapes 10 consistant à: - obtenir au moins une image d'entrée destinée à être projetée dans la scène tridimensionnelle ; - transposer l'image d'entrée en « cubemap »; - obtenir les coordonnées 3D des plans de projection d'une scène 15 tridimensionnelle prévue pour projection des images d'entrée ; - obtenir les caractéristiques de projection des unités de projection ; - sur la base des coordonnées 3D reçues des plans de projection et des caractéristiques de projection, générer une scène virtuelle permettant l'affichage sur un écran de configuration de la scène avec les plans de projection ; 20 - générer une image de paramétrage (par exemple un « shader » ou un mesh ») pour projection dans la scène virtuelle ; - pour chaque unité de projection, effectuer une mise en correspondance entre chaque pixel de l'unité de projection et chaque point des plans de projection de la scène virtuelle ; 25 - pour chaque unité de projection, générer une matrice de transformation basée sur cette mise en correspondance permettant de prendre en compte les spécificités spatiales et géométriques de chacun des plans de projection ; - transformer la ou les images à projeter sur la scène tridimensionnelle avec la ou les matrices correspondantes ; 30 - projeter la ou les images sur les multiples plans de la scène complexe réelle. Cat_plans multiples-FR - 4 - [0014]Un tel procédé permet de réaliser des projections de façon simple, dans une panoplie de configuration scéniques complexes, permettant ainsi d'effectuer des projections dans pratiquement toute pièce, même si les murs forment une géométrie complexe. Le procédé fonctionne avec un ou plusieurs projecteurs. Aucun miroir n'est requis pour la mise en oeuvre, rendant l'installation simple et rapide, et à la portée des utilisateurs non spécialisés. [0015]De manière avantageuse, la matrice de transformation est basée sur les coordonnées 3D des plans de projection de la scène de projection, et avantageusement sur les caractéristiques de projection de l'unité de projection. [0016]Selon un mode de réalisation avantageux, l'étape de mise en correspondance comporte une phase de prise en compte de la position et de l'orientation de l'utilisateur. [0017]L'image d'entrée est de préférence fournie par une application comprenant des contenus en 3D. [0018]Les caractéristiques de projection comprennent par exemple le nombre, le 20 type, les positions et angles de projection de chacune des unités de projection. [0019]L'invention prévoit également un système de projection d'images sur une scène tridimensionnelle complexe comprenant une pluralité de plans de projection distincts comprenant : 25 - au moins une unité de projection ; - un ensemble modulaire de projection en immersion comprenant : - un module de mise en correspondance entre les pixels des images d'entrée et les points de projection répartis sur une pluralité de plans de projection d'une scène tridimensionnelle complexe, conçu pour effectuer une mise en 30 correspondance entre chaque pixel de l'unité de projection et chaque point des plans de projection de la scène de projection et générer une matrice de transformation pour chacun des moyens de projection, basée sur cette mise en Cat_plans multiples-FR correspondance ; - un module de gestion d'images, conçu pour obtenir une pluralité d'images d'entrée destinées à être projetées dans la scène tridimensionnelle complexe et appliquer les matrices de transformation sur les images d'entrée ; - la ou les unités de projection permettant d'effectuer la projection des images transformées sur les plans de projection de la scène tridimensionnelle complexe. [0020]Une telle architecture permet de réaliser un système de projection relativement peu coûteux, peu encombrant et donc très facile à transporter, facile à installer et à utiliser. La lentille est avantageusement adaptée pour une projection à grand angle, par exemple jusqu'à sensiblement 180 degrés. Le système fonctionne de façon autonome, sans miroir (externe au projecteur). (0021] De manière avantageuse, le système de projection d'images comprend par ailleurs un module de gestion de scène, conçu pour générer une scène virtuelle permettant l'affichage sur un écran de configuration de la scène tridimensionnelle complexe avec les plans de projection, générer un « shader » ou « mesh » pour projection dans la scène virtuelle et mettre à disposition de l'utilisateur un module d'ajustement, conçu pour ajuster la mise en correspondance entre les pixels projetés et les plans de projection de la scène tridimensionnelle complexe. [0022]De manière avantageuse, l'unité de projection comprend par ailleurs au moins un modulateur spatial de lumière et une lentille de projection à sensiblement grand angle, préférentiellement une lentille de type « fisheye ». DESCRIPTION DES FIGURES [0023]Tous les détails de réalisation sont donnés dans la description qui suit, 30 complétée par les figures 1 à 11, présentées uniquement à des fins d'exemples non limitatifs, et dans lesquelles : Cat_plans multiples-FR - 6 - -la figure 1 est une représentation schématique illustrant un système de projection panoramique selon l'art antérieur; -la figure 2 est une représentation schématique illustrant un système de projection d'images sur une scène complexe à plans multiples selon l'invention; -les figures 3 et 4 sont des représentations schématiques illustrant des exemples de types de scènes complexes avec 4 plans distincts à la figure 3 et 5 plans distincts à la figure 4; -la figure 5 montre un organigramme fonctionnel présentant les phases principales du procédé de projection d'images selon l'invention ; -les figures 6 et 7 représentent schématiquement l'image destinée à être projetée après mise en forme en « cubemap » (figure 6), la « cubemap » étant présentée en format déplié à la figure 7; -les figures 8A et 8B montrent des exemples d'affichages d'une scène viruelle (figure 8A) et d'une matrice de transformation correspondante (figure 8B) ; -la figure 9 montre un organigramme fonctionnel présentant les étapes détaillées du procédé de projection d'images selon l'invention ; -la figure 10 est une représentation schématique d'un ensemble modulaire de projection en immersion ; -les figures 11A et 11B sont des représentations schématiques d'exemples de 20 projecteurs intégrant un ensemble modulaire de projection en immersion. DESCRIPTION DETAILLEE DE L'INVENTION (0024] Par « scène tridimensionnelle complexe », on entend une scène comportant une pluralité de plans distincts, la distinction provenant soit de l'angle entre les plans, leurs positions relatives, leur orientation, ou plusieurs de ces facteurs simultanément. Cat_plans multiples-FR 25 30 - 7 - [0025]Par « plans distincts » on entend des surfaces sensiblement planes, jointes ou non, disposées selon des orientations et/ou positions différentes pour au moins deux des plans. [0026]La figure 2 illustre un exemple de mise en oeuvre de l'invention dans laquelle un projecteur 20 permet de projeter une image ou une succession d'images sur une scène tridimensionnelle complexe 30. Dans cet exemple, la scène tridimensionnelle complexe 30 comprend un plan de projection 31 face au projecteur 20, un second plan de projection 32 orienté perpendiculairement au plan 31. Dans cet exemple, pour qu'une image puisse être projetée sans distorsion, celle-ci doit être adéquatement traitée pour que la zone de projection correspondant au plan latéral 32 soit projetée de façon à prendre en compte les spécificités de ce plan. [0027]Les figures 3 et 4 montrent de façon schématique d'autres exemples de configurations de scènes complexes susceptibles d'être mises en oeuvre dans le cadre de la présente invention. L'exemple de la figure 3 prend en compte quatre plans distincts comprenant un plan face au projecteur 31, deux plans latéraux opposés 32 et 33 ainsi qu'un plan inférieur 34 correspondant au sol. L'exemple de la figure 4 est similaire à celui de la figure 3, avec un plan supplémentaire 35 pour le plafond. [0028] La figure 5 présente un organigramme fonctionnel illustrant sommairement les principales phases du procédé selon l'invention. Ce procédé est ensuite décrit plus en détails avec les figures 6 à 9. Le procédé permet d'utiliser une image source en provenance d'une application dans laquelle de telles images sont générées ou tout au moins mises à disposition (étape 44). Cette image est ensuite mise en forme en format « cubemap » (étape 45). Les coordonnées spatiales de la scène de projection sont prises en compte à l'étape 46. Ces coordonnées comprennent de préférence les données correspondant aux multiples plans distincts de la scène complexe. Ces coordonnées peuvent être obtenues de diverses façons connues, comme par exemple à l'aide de mesures effectuées à Cat_plans multiples-FR - 8 - l'aide de télémètres laser ou autres. Une transformation, avantageusement sous forme de matrice (étape 47), est ensuite appliquée à l'image préalablement reçue (étape 48). L'image transformée est ainsi adaptée pour projection (étape 49) dans une scène complexe telle qu'une des scènes illustrées aux figures 2, 3 ou 4. Les mêmes phases peuvent aussi être mises en oeuvre pour une succession d'images comme par exemple pour une projection vidéo. [0029]Les figures 6 et 7 illustrent la mise en forme de l'image d'entrée sous forme de « cubemap » 40. L'image est alors en coordonnées x, y, z, tel que montré à la 10 figure 6. Cette même image peut également être mise en forme en cube éclaté 41, dans cet exemple en forme de « T », tel que montré à la figure 7. Les deux figures montrent les multiples faces de l'image, depuis un point d'observation situé à l'intérieur du cube. Les faces sont identifiées en langue anglaise, comme il est d'usage en traitement d'images : « front » (avant), « top » (dessus), « bottom » 15 (dessous), « left » (gauche), « right » (droite), et « back » (arrière). [0030]La figure 8A illustre schématiquement un exemple de scène virtuelle 50, avantageusement mise en oeuvre pour présentation sur un écran de travail. Cette scène virtuelle est une représentation, en coordonnées U-V de la scène 20 tridimensionnelle complexe, telle qu'une scène 30 dans l'exemple de la figure 2. Les multiples plans distincts de la scène réelle sont reproduits dans la scène virtuelle. Par exemple, le plan du fond 52 de la scène est représenté en teinte foncée. Les autres plans (en couleur dans les images d'origine), sont présentés en teinte claire. Le projecteur 51 prévu pour assurer la projection dans la scène réelle 25 est également simulé dans la scène virtuelle. La figure 8A montre aussi les rayons émanant du projecteur 51 et se dirigeant vers les différents plans. La scène virtuelle permet à l'utilisateur d'une part de visualiser et paramétrer le système de projection, afin de bien prendre en compte les données de tous les plans de projection distincts. 30 [0031]La figure 8B, en étroite relation avec la figure 8A, illustre la matrice de transformation résultante. On observe les secteurs correspondants aux différents Cat_plans multiples-FR - 9 - plans de projection : le plan 61 face au projecteur, les plans latéraux 62 et 63, le plan 65 correspondant au plafond, le plan 64 correspondant au sol. Le décrochement mural de la scène réelle a donné lieu au secteur 66, voisin du secteur 65, mais avec un léger décalage par rapport à ce dernier. [0032]La figure 9 présente les étapes détaillées du procédé de projection d'images selon l'invention. Les premières étapes sont en relation avec les acquisitions de données utiles à la mise en oeuvre du procédé. Tout d'abord, en relation avec la ou les images à projeter sur la scène. A l'étape 70, la ou les images d'entrée sont obtenues, par exemple d'un système ou application externe utilisant ou générant des images, de préférence des images 3D. Les images sont ensuite transposées en format « cubemap » (étape 71). Les données en relation avec les coordonnées de la scène de projection sont également obtenues, en particulier les données permettant de définir l'ensemble des plans distincts constitutifs de la scène à l'étape 72. Les caractéristiques de projection, telles que le nombre de projecteurs, leurs coordonnées, leurs orientation et angle de projection sont par ailleurs obtenues à l'étape 73. [0033]Ces données permettent de générer une scène virtuelle (étape 74), telle que celle illustrée dans l'exemple de la figure 8A. Pour faciliter l'ajustement précis de l'image dans la scène virtuelle, une image de travail (« shader » ou « mesh ») est avantageusement utilisée (étape 75). Dans l'exemple illustré à la figure 8A, l'image de paramétrage ou de travail est ajustée à la configuration de la scène virtuelle à l'aide d'une représentation virtuelle d'une pluralité de rayons en provenance du projecteur virtuel. En variante, une grille (« mesh » en anglais) peut également être utilisée. L'utilisateur utilise la représentation de la scène virtuelle pour s'assurer d'une correspondance la plus exacte possible entre l'image de paramétrage et les plans de la scène sur lesquels l'image doit être projetée (étape 76). Cette mise en correspondance peut être effectuée par tout moyen classique tel qu'une souris, des curseurs, un pavé tactile, ou autre. Lorsque la correspondance est optimale, une matrice de transformation d'image est obtenue à l'étape 77. Cette matrice pourra permettre de projeter des images dans la scène Cat_plans multiples-FR - 10 - réelle tant que les paramètres des plans de projection et des projecteurs restent inchangés. [0034]Le procédé selon l'invention permet donc de générer un mode de correspondance entre chaque pixel du périphérique d'affichage et sa position 3D dans l'espace de projection. La matrice de transformation permet de formaliser le lien entre chaque coordonnée U, V de la texture d'affichage, qui est associé à une coordonnée 3D (x, y, z) de la scène. L'équation ci-dessous permet d'exprimer ce lien entre les systèmes de coordonnées : [0035]La figure 10 est une représentation schématique d'un ensemble modulaire 10 de projection en immersion selon l'invention. Cet ensemble comporte un module 12 de mise en correspondance entre les pixels des images d'entrée et les points de projection répartis sur une pluralité de plans de projection d'une scène tridimensionnelle complexe, conçu pour effectuer une mise en correspondance entre chaque pixel de l'unité de projection et chaque point des plans de projection de la scène de projection et générer une matrice de transformation pour chacun des moyens de projection, basée sur cette mise en correspondance. L'ensemble modulaire 10 de projection comprend également un module 13 de gestion d'images, conçu pour obtenir une pluralité d'images d'entrée destinées à être projetées dans la scène tridimensionnelle complexe et appliquer les matrices de transformation sur les images d'entrée. L'ensemble modulaire 10 comprend enfin des blocs mémoires 15 et 16 pour stocker les données utiles telles que celles de la matrice de transformation (bloc mémoire 15), et les données des images (bloc mémoire 16). [0036]Selon un mode de réalisation avantageux, l'ensemble modulaire 10 de 30 projection comprend également un module 14 de gestion de scène, conçu pour générer une scène virtuelle permettant l'affichage sur un écran de configuration de Cat_plans multiples-FR la scène tridimensionnelle complexe avec les plans de projection, générer un « shader » ou « mesh » pour projection dans la scène virtuelle et mettre à disposition de l'utilisateur un module d'ajustement, conçu pour ajuster la mise en correspondance entre les pixels projetés et les plans de projection de la scène tridimensionnelle complexe. [0037]L'ensemble 10 de projection est mis en oeuvre au moyen d'un microprocesseur 11 opérant à l'aide d'instructions spécifiquement prévues pour la mise en oeuvre du procédé de projection préalablement décrit. [0038]Les figures 11A et 11B sont des représentations schématiques d'exemple d'unités de projection 20 selon l'invention, assimilables, dans ces exemples, à des projecteurs. Dans l'exemple de réalisation de la figure 11A, le projecteur comprend une source lumineuse 20 agencée en coopération optique avec un modulateur spatial de lumière (en anglais SLM pour « spatial light modulator ») de type connu et une roue de couleurs 23, également de type connu, comme par exemple de type RGB. Une lentille 24 adaptée complète la partie optique du projecteur. Selon un mode de réalisation avantageux, la lentille 24 permet de projeter avec un grand angle, de préférence jusqu'à environ 180 degrés. Ce type de lentille est couramment désigné par l'expression en langue anglaise « fisheye » (pour « oeil de poisson). [0039] La figure 11B illustre un autre exemple de réalisation d'un projecteur, pourvu d'un agencement optique comprenant des cubes séparateurs 25 ou lames séparatrices, une pluralité de modulateurs spatiaux de lumière ou SLM, chacun dédié au traitement d'une couleur spécifique, dans cet exemple rouge, vert et bleu, soit RGB (pour « red », « green », « blue » en anglais). Selon un mode de réalisation avantageux, la lentille 24 permet de projeter avec un grand angle, de préférence jusqu'à environ 180 degrés, tel que préalablement décrit en relation avec la figure 11A. Cat_plans multiples-FR - 12 - [0040]Un ensemble modulaire 10 de projection en immersion est avantageusement intégré à l'unité de projection, tel qu'illustré dans les exemples des figures 11A et 11B. Cette intégration permet de constituer un produit complet et autonome. En variante, -cet ensemble modulaire est avantageusement prévu indépendamment de l'unité de projection 20, comme par exemple intégré à un ordinateur (fixe, portable ou en format tablette) ou une console de jeu. [0041] Les Figures et leurs descriptions faites ci-dessus illustrent l'invention plutôt qu'elles ne la limitent. En particulier, l'invention et ses différentes variantes viennent d'être décrites en relation avec un exemple particulier comportant une 10 scène avec sept plans de projections à prendre en compte, et un projecteur. [0042] Néanmoins, il est évident pour un homme du métier que l'invention peut être étendue à d'autres modes de réalisation dans lesquels, en variantes, on prévoit une quasi-infinité de géométries de scènes. De même, il est possible d'utiliser une pluralité de projecteurs, typiquement 2, 3, 4, ou plus. 15 Cat_plans multiples-FR REVENDICATIONS1. Procédé de projection d'images sur une scène tridimensionnelle comprenant une pluralité de plans de projection, et au moins une unité de projection, comprenant les étapes consistant à: - obtenir (70) au moins une image d'entrée destinée à être projetée dans la scène tridimensionnelle ; 10 - transposer (71) l'image d'entrée en « cubemap »; - obtenir (72) les coordonnées 3D des plans de projection d'une scène tridimensionnelle prévue pour projection des images d'entrée ; - obtenir (73) les caractéristiques de projection des unités de projection ; - sur la base des coordonnées 3D reçues des plans de projection, et des 15 caractéristiques de projection, générer (74) une scène virtuelle permettant l'affichage sur un écran de configuration de la scène avec les plans de projection ; - générer (75) une image de paramétrage (par exemple un « shader » ou un mesh ») pour projection dans la scène virtuelle ; - pour chaque unité de projection, effectuer (76) une mise en correspondance 20 entre chaque pixel de l'unité de projection et chaque point des plans de projection de la scène virtuelle ; - pour chaque unité de projection, générer (77) une matrice de transformation basée sur cette mise en correspondance permettant de prendre en compte les spécificités spatiales et géométriques de chacun des plans de projection ; 25 - transformer (78) la ou les images à projeter sur la scène tridimensionnelle avec la ou les matrices correspondantes ; - projeter la ou les images sur les multiples plans de la scène complexe réelle. 2. Procédé de projection d'images selon la revendication 1, dans lequel la 30 matrice de transformation est basée sur les coordonnées 3D des plans de projection de la scène de projection. Cat_plans multiples-FR- 14 - 3. Procédé de projection d'images selon l'une des revendications 1 ou 2, dans lequel la matrice de transformation est basée sur les caractéristiques de projection de l'unité de projection. 4. Procédé de projection d'images selon l'une des revendications 1 à 3, dans lequel l'étape de mise en correspondance comporte une phase de prise en compte de la position et de l'orientation de l'utilisateur. 5. Procédé de projection d'images selon l'une des revendications précédentes, dans lequel l'image d'entrée est fournie par une application comprenant des contenus en 3D. 6. Procédé de projection selon l'une des revendications précédentes, dans lequel les caractéristiques de projection comprennent le nombre, le type, les positions et angles de projection de chacune des unités de projection. 7. Système de projection d'images sur une scène tridimensionnelle complexe comprenant une pluralité de plans de projection distincts comprenant : - au moins une unité (20) de projection ; - un ensemble modulaire (10) de projection en immersion comprenant : - un module (12) de mise en correspondance entre les pixels des images d'entrée et les points de projection répartis sur une pluralité de plans de projection d'une scène tridimensionnelle complexe, conçu pour effectuer une mise en correspondance entre chaque pixel de l'unité de projection et chaque point des plans de projection de la scène de projection et générer une matrice de transformation pour chacun des moyens de projection, basée sur cette mise en correspondance ; - un module (13) de gestion d'images, conçu pour obtenir une pluralité d'images d'entrée destinées à être projetées dans la scène tridimensionnelle complexe et appliquer les matrices de transformation sur les images d'entrée ; - la ou les unités de projection permettant d'effectuer la projection des images transformées sur les plans de projection de la scène tridimensionnelle complexe. Cat_plans multiples-FR- 15 - 8. Système de projection d'images selon la revendication 7, comprenant par ailleurs un module (14) de gestion de scène, conçu pour générer une scène virtuelle permettant l'affichage sur un écran de configuration de la scène tridimensionnelle complexe avec les plans de projection, générer un « shader » ou « mesh » pour projection dans la scène virtuelle et mettre à disposition de l'utilisateur un module d'ajustement, conçu pour ajuster la mise en correspondance entre les pixels projetés et les plans de projection de la scène tridimensionnelle complexe. 9. Système de projection d'images selon l'une des revendications 7 ou 8, dans lequel l'unité de projection (20) comprend au moins un modulateur spatial de lumière (22) et une lentille (24) de projection à sensiblement grand angle. 10. Système de projection d'images selon la revendication 9, dans lequel la lentille (24) est de type « fisheye ». Cat_plans multiples-FR