Brevet FR2814255A1 — publié le 20020322

"Procédé et système de navigation interactive au sein d'un film panoramique numérisé, et dispositif d'acquisition d'un film panoramique" DESCRIPTION La présente invention concerne un procédé de navigation interactive au sein d'un film panoramique numérisé et généralement visualisé sur un écran de micro ordinateur. L'invention concerne également un dispositif d'acquisition d'images vidéo pour la réalisation d'un tel film panoramique. Par film panoramique, on entend un film acquis sous un angle de 360 degrés. Le document WO 9918725 (IPIX) divulgue un dispositif de prise d'images à 360 degrés à l'aide d'une lentille spécifique en forme de demi sphère montée sur un support. Pour obtenir une image panoramique, on réalise quatre séries d'images en direction des quatre points cardinaux. Dans chaque série, on effectue deux images, une image droite et une image gauche pour laquelle la caméra est décalée d'une distance donnée par rapport à la prise de l'image droite. Ce document ne semble pas concerner la capture d'images vidéos. On connaît aussi le document WO 9750252 (BEHERE) dans lequel est décrit un système de caméra comprenant une lentille capable de prendre directement une image sur 360 degrés ainsi qu'un dispositif de microphones afin de créer des effets sonores. Ce document décrit également une interface de visualisation comportant une fenêtre rectangulaire de visualisation dans laquelle est affichée l'image complète prise à 360 degrés. Ce système d'acquisition d'images nécessite la mise en ouvre d'une lentille spécifique et ce document divulgue une visualisation inerte des images obtenues. L'invention a pour objet de remédier à ces inconvénients en proposant un procédé de navigation interactive lors de la visualisation d'un film panoramique. Un autre objet de l'invention est de proposer un dispositif d'acquisition d'images vidéos rapide, efficace et peu onéreux afin de réaliser un tel film panoramique. On atteint les objectifs précités avec un procédé de navigation interactive au sein d'un film panoramique numérisé, dans lequel : on affiche sur une partie d'un écran une fenêtre de visualisation dans laquelle on visualise le film panoramique suivant un champ de vision courant, les dimensions de cette fenêtre étant variables ; on affiche sous la fenêtre de visualisation une barre temporelle représentant la progression temporelle du film panoramique ; et - on affiche une représentation graphique de l'espace panoramique filmé sous forme de cercle dans lequel le champ de vision courant du film panoramique est représenté au moyen d'un quartier, ce champ de vision pouvant être modifié par déplacement du quartier au sein du cercle. Le centre de ce cercle de navigation représente l'endroit où a été disposé la ou les cameras qui ont servi à l'acquisition du film panoramique. Les 360 degrés du film panoramique ne sont pas étalés dans la fenêtre de visualisation comme dans le document W09750252, on affiche seulement la séquence vidéo correspondant à un angle de vue donné. Pour explorer les 360 degrés du film, on modifie le champ de vision en manipulant directement le film panoramique. Pour ce faire, on clique (en maintenant la souris appuyée) sur le film panoramique, et on effectue un mouvement de translation latérale. Le déroulement du film peut être effectué en bouclage ou en linéaire en débouchant éventuellement sur un autre film panoramique. Avec un tel procédé, on distingue clairement les dimensions temporelle et spatiale du film panoramique au moyen de la barre temporelle et du cercle de navigation. Le champ de vision est représenté par un quartier lumineux inscrit dans le cercle de navigation. Pour modifier le champ de vision, on peut déplacer le quartier lumineux en actionnant un des éléments actifs disposés autour du cercle de navigation. Ces éléments actifs peuvent être des boutons sur lesquels on peut cliquer au moyen d'une souris d'un micro ordinateur. Selon une caractéristique avantageuse de l'invention, le film panoramique comprend des zones actives telles que lorsque l'on clique sur une de ces zones actives, on déclenche un événement prédéterminé. A titre d'exemple, ces événements prédéterminés peuvent être le passage vers un autre film panoramique, l'affichage d'une fenêtre vidéo supplémentaire comprenant un plan subjectif tel qu'un zoom sur un objet particulier, l'affichage d'une zone de texte, le déclenchement d'un son, l'ouverture d'un navigateur sur un site Interne donné, ou tout autre événement prévu par l'auteur du scénario interactif. Avantageusement, la barre temporelle peut comprendre des marqueurs graphiques placés à des moments prédéterminés correspondant en la présence de zones actives sur le film panoramique. Suivant l'invention, le cercle de navigation peut comprendre des marqueurs représentant des éléments particuliers présents dans le film panoramique. De préférence, ces éléments sont mobiles et représentent le déplacement des personnages présents dans le film panoramique. En observant le cercle de navigation, on peut ainsi voir le mouvement d'un personnage donné. En outre, en déplaçant le quartier de manière à ce que le marqueur représentant le personnage reste constamment dans le quartier, on déplace le champ de vision en même temps que ce personnage qui reste donc constamment visible dans la fenêtre de visualisation. Suivant un autre aspect de l'invention, il est proposé un système de navigation interactive au sein d'un film panoramique numérisé. Le système comprend des moyens d'acquisition pour acquérir des images vidéos, des moyens de traitement pour élaborer ledit film panoramique et créer une interface graphique de navigation. Cette interface comprend des éléments décrits ci-dessus, à savoir, une fenêtre de visualisation, une barre temporelle et une représentation graphique de l'espace panoramique filmé. L'invention propose un dispositif pour acquérir des images afin de réaliser le film panoramique. Selon l'invention, ce dispositif comprend : - une pluralité d'objectifs, au moins six par exemple, disposés en couronne, chaque objectif étant apte à filmer un champ de vision prédéterminé ; - un miroir disposé au centre de la couronne et composé d'au moins autant de facettes que d'objectifs ; chaque facette étant apte à recevoir un faisceau lumineux émis par un objectif lui faisant face ; - des capteurs disposés en couronne sur un plan inférieur à celui des objectifs et aptes à recevoir des faisceaux lumineux renvoyés par les facettes dudit miroir, ces capteurs étant de préférence des composants à couplage de charge de haute résolution tel que des tri-CCD ; - un terminal doté au moins d'une carte d'acquisition temps réel pour recevoir et traiter de façon numérique les images provenant des objectifs, lesdits objectifs fonctionnant simultanément pendant une durée prédéterminée. Afin de réaliser des effets sonores, chaque objectif peut être surmonté d'un microphone directionnel pointant dans l'axe de l'objectif de façon à constituer autant de pistes sonores que de champs de vision filmés. On pourra ainsi constituer plusieurs pistes sonores afin de reconstruire l'ambiance sonore réelle. Avantageusement, les champs de vision mitoyens peuvent comporter une zone de recouvrement d'environ 30%. Ceci permet d'assurer une continuité parfaite lors du montage du film panoramique. Chaque facette est inclinée de 45 par rapport à l'axe verticale de la couronne de façon à renvoyer les faisceaux lumineux reçus avec un angle de 90 degrés vers le bas. En outre, le dispositif comprend un système de report de commande permettant à un utilisateur de commander les objectifs à distance. D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée d'un mode de mise en oeuvre nullement limitatif, et des dessins annexés sur lesquels : - la figure 1 est un schéma simplifié d'un dispositif d'acquisition d'images pour la réalisation d'un film panoramique ; et - la figure 2 est un schéma simplifié d'une interface de navigation interactive affichée sur un écran d'ordinateur pour la visualisation du film panoramique. Sur la figure 1, est illustrée une disposition schématisée d'objectifs servant à la capture d'images. Pour des raisons de simplification, seuls deux objectifs 1 et 2 sont représentés au lieu des six normalement présents. Les six objectifs sont disposés en couronne 12 de telle sorte que leurs points de focale convergent et chaque objectif voit en regard un objectif diamétralement opposé. Le champ de vision couvert par chaque objectif comporte une partie commune, ou zone de recouvrement de 30%, avec les champs de vision couverts par les objectifs mitoyens, ceci permet de garantir la couverture des 360 degrés. Au centre de la couronne 12, se trouve un miroir 13 composé d'autant de facettes 3, 4 que d'objectifs. Ces facettes sont inclinées à 45 degrés par rapport à l'axe vertical de la couronne 12. Chaque facette intercepte le faisceau lumineux émis par l'objectif qui lui fait face. Elle renvoie ce faisceau à 90 degrés vers le bas sur une couronne 14 composée de capteurs tri-CCD haute résolution 5,6 qui transforment le signal lumineux en signal électronique comme pour une caméra électronique classique. Les capteurs tri-CCD possèdent une haute résolution en nombre de pixels afin de palier à l'absence de zoom optique. Ce dispositif constitue une caméra qui est équipée d'un système de report de commande permettant à un opérateur de prise de vue de déclencher simultanément l'enregistrement sur l'ensemble des objectifs. Cette commande à distance permet également de contrôler indépendamment chaque objectif, ceci permet de réaliser l'enregistrement avec un nombre de champs de vision déterminé. Cette souplesse d'utilisation est parfaitement adaptée à tous types d'écriture scénaristique et traitement en post production. On peut décider de n'avoir que quelques champs de vision tournés en vidéo et de reconstituer le reste uniquement en post production avec des environnement 3D par exemple. La même caméra peut également servir au tournage complémentaire de type plan subjectif en réalisant par exemple un zoom sur un objet particulier du film d'un champ de vision. Le report de commande permet également pour chaque objectif les réglages de diaphragme, de mise au point et de vitesse d'obturation. Sur la couronne 12, chaque objectif est surmonté d'un microphone directionnel 15,16 pointant dans l'axe de l'objectif et permettant une prise de son préférentielle du secteur filmé. La prise de son est synchrone avec le mode d'enregistrement des objectifs. L'opérateur ne devant pas apparaître dans le champ de vision, la caméra est placée sur un pied-de-caméra mobile entièrement télécommandé. Le report de commande permet à l'opérateur de prise de vue d'effectuer des mouvements caméra de type"travelling"sans risque d'intrusion dans le champ de vision. Le flux électronique 9,10 issu de chaque capteur tri-CCD et de chaque micro est envoyé à une carte d'acquisition temps réel disposée dans un micro ordinateur 11. Cette carte d'acquisition gère la numérisation d'un flux vidéo de 25 images d'une résolution allant jusqu'à 1440x1152 pixels non carrés par seconde, soit une bande passante de 36 Mo/s pour un taux de compression de 2 : 1. oil faut ajouter à cette bande passante 1 Mo/s pour le son échantillonné à 48000 Hz. Le flux numérique généré par la carte d'acquisition est stocké sur des disques durs formatés en"RAID" (Redundant Array of Inexpensive Disks), un formatage permettant la coopération de plusieurs disques durs. De façon optimale, chaque capteur tri-CCD et le microphone correspondant sont connectés à une carte d'acquisition présente dans l'ordinateur 11. L'acquisition et le montage du film panoramique sont gérés par un logiciel de type montage virtuel qui permet de pré-visualiser le raccord, ou "stitching" en langue anglaise, des différents plans constituant un panorama de 360 degrés. Pour ce faire, on utilise le logiciel Quick Time ' . Une piste son est affectée ensuite au film panoramique raccordé. En fait, cette piste est composée d'autant de sous-pistes sonores que de secteurs filmés. Avec ce logiciel, on peut effectuer le montage de plusieurs films panoramiques avec leur piste son et établir des transitions entre ces différents films. La transition entre un premier film et un second film peut par exemple être opérée en actionnant une zone active lors de la visualisation du premier film. Lorsque le montage est finalisé, on procède à la compilation du film. Lors de cette compilation on décide du format de compressiondécompression (codes) et de la bande passante cible. Le logiciel utilisé permet le montage complet avec possibilité d'incrustation sur le plan principal de texte, d'images fixes ou animées, de sons etc. La lecture en bouclage du film panoramique est obtenu au moyen d'un"plug"spécifique mis en ouvre dans un format Quick Time '. La visualisation du film panoramique permet une navigation interactive dont l'interface graphique est représentée sur la figure 2. On distingue deux parties en parfaite corrélation. La première partie est une fenêtre de visualisation 21 sur laquelle on visualise le film panoramique suivant un champ de vision donné. La seconde partie 22 est une interface de navigation comportant des éléments temporel et spatial. La fenêtre de visualisation 21 affiche donc le film panoramique qui représente en l'espèce un personnage 33 tournant autour d'une fontaine 34 dans un jardin comportant des arbres 31 et 32. Seul un champ de vision est visualisé (champ de vision courant), on ne visualise pas les 360 degrés étalés sur la fenêtre de visualisation 21. Ainsi si l'on reste sur un champ de vision, on voit le personnage 33 entrer par la droite, traverser la fenêtre puis disparaître par la gauche. Mais il est possible de garder le champ de vision sur le personnage et effectuer le tour de la fontaine 34 en même temps que ce personnage. Pour cela, on manipule (au moyen d'une souris) directement la fenêtre en la faisant défiler latéralement. On peut également utiliser l'interface de navigation pour déplacer le champ de vision. Cette interface de navigation 22 comprend une barre temporelle 23 qui indique en temps réel et de façon graphique le temps écoulé 36 dans la lecture du film panoramique. La barre temporelle comporte des marqueurs graphiques 35 placés à des temps prédéterminés et indiquant à l'utilisateur la présence d'une zone active quelque part dans l'espace du film panoramique. Le marqueur graphique 35 correspond à une durée pendant laquelle le personnage 33 se trouve entre les arbres 32 et 31. La zone active peut être l'ensemble du feuillage de l'arbre 32. Une action de l'utilisateur, tel qu'un clic de souris, sur cette zone active pendant que la durée 36 traverse le marqueur 35, déclenche un événement qui est l'ouverture d'une nouvelle fenêtre sur l'écran. Cette nouvelle fenêtre est une image vidéo montrant par exemple un couple d'oiseaux perchés dans l'arbre 32. Cet événement peut être un autre film panoramique remplaçant le premier ou tout autre événement. Les marqueurs permettent également de rejouer le film à partir de ces instants prédéterminés. Les marqueurs explorés changent de couleur ce qui permet à l'utilisateur d'avoir une mémoire visuelle de sa navigation. Ces marqueurs peuvent être re-initialisés à tout moment. L'interface de navigation 22 comprend en outre une représentation graphique de l'espace panoramique filmé sous forme d'un cercle de visualisation 24. La représentation graphique indique en temps réel quel est le champ de vision choisi par l'utilisateur. Ce champ de vision est représenté par un quartier 28 inscrit dans le cercle de navigation 24. Le centre 30 du cercle de navigation correspond à la position de la caméra d'acquisition d'images. Le personnage 33 est représenté dans l'espace panoramique par l'élément mobile 29. On peut ainsi visualiser le déplacement du personnage 33. Sur la bordure du cercle de navigation 24, des éléments actifs 25,26, 27 permettent à l'utilisateur suite à une action (clic par exemple) de se déplacer instantanément vers une zone précise dans l'espace filmé en déplaçant le quartier 28 donc le champ de vision courant de la fenêtre de visualisation 21. L'interface de navigation 22 comprend encore une zone de texte 37 sur laquelle s'inscrivent des informations sur le secteur filmé. Le son est aussi panoramique. Le volume et la balance du son (est - ouest/nord-sud) s'ajustent en fonction des déplacements de l'utilisateur dans le panorama et deviennent un indicateur fort de ce qui se passe hors champ de vision. Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention, notamment on peut envisager une interface de navigation en représentation tridimensionnelle non pas d'un seul film panoramique mais d'un univers de films panoramiques liés entre eux. Cela augmenterait les possibilités de navigation non plus au sein d'une seule séquence mais au sein de l'univers que compose un scénario interactif dans sa globalité. Une base de données vidéo peut être représentée sous forme d'une pluralité de couronnes vidéo concentriques formant un tore. Chaque couronne vidéo peut être un film panoramique respectant la continuité spatio-temporelle ou une juxtaposition de plusieurs films panoramiques indépendants, et chaque film panoramique pouvant appartenir à une classe de films donnée. Cette disposition permettrait d'optimiser la navigation entre différents films panoramiques classés par exemple par thèmes, par époques ou par problématiques. L'interface graphique ainsi décrite peut concerner les applications suivantes : - reportage, clip vidéo de groupe de musique, concerts filmés ; - documentaire, tournage d'un film comme"bonus Track"d'un DVD vidéo ; - fiction interactive, jeux scénarisés, quête, enquête policière, "sitcoms"... - des réalisations expérimentales artistiques ; - des visites virtuelles , découverte du Louvre en multilingues, ou encore - des conférences et symposiums. REVENDICATIONS 1. Procédé de navigation interactive au sein d'un film panoramique numérisé, caractérisé en ce que : - on affiche sur une partie d'un écran une fenêtre de visualisation (21) dans laquelle on visualise ledit film panoramique suivant un champ de vision courant ; - on affiche sous la fenêtre de visualisation une barre temporelle (23) représentant la progression temporelle (36) du film panoramique ; - on affiche une représentation graphique (24) de l'espace panoramique filmé comprenant un moyen graphique (28) pour représenter le champ de vision courant du film panoramique, ledit champ de vision pouvant être modifié par déplacement dudit moyen graphique (28). 2. Procédé selon la revendication 1, caractérisé en ce qu'on déplace ledit moyen graphique (28) en actionnant un des éléments actifs (25,26, 27) disposés autour de ladite représentation graphique (24). 3. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'on manipule directement le film panoramique (21) pour modifier le champ de vision courant. 4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le film panoramique comprend des zones actives telles que lorsque l'on clique sur une de ces zones actives, on déclenche un événement prédéterminé. 5. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que la barre temporelle comprend des marqueurs graphiques (35) placés à des moments prédéterminés correspondant en la présence de zones actives sur le film panoramique. 6. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que la représentation graphique (24) de l'espace panoramique filmé comprend une forme circulaire sur laquelle sont disposés des marqueurs (29) représentant des éléments particuliers (33) présents dans le film panoramique. 7. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'on visualise le film panoramique en bouclage. 8. Procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'on visualise le film panoramique en linéaire. 9. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que les dimensions de la fenêtre de visualisation sont variables. 10. Système de navigation interactive au sein d'un film panoramique numérisé, comprenant des moyens d'acquisition pour acquérir des images vidéos, des moyens de traitement pour élaborer ledit film panoramique et créer une interface graphique de navigation, caractérisé en ce que ladite interface graphique de navigation comprend : - une fenêtre de visualisation (21) pour visualiser ledit film panoramique suivant un champ de vision courant ; - une barre temporelle (23) pour indiquer la progression temporelle (36) du film panoramique ; - une représentation graphique (22) de l'espace panoramique filmé comprenant un moyen graphique (28) pour représenter le champ de vision courant du film panoramique, ledit champ de vision pouvant être modifié par déplacement dudit moyen graphique. 11. Système selon la revendication 10, caractérisé en ce que la représentation graphique (24) comprend une forme circulaire et en ce que ledit moyen graphique (28) représentant le champ de vision courant comprend une forme triangulaire inscrit dans ladite forme circulaire. 12. Système selon l'une des revendications 10 et 11, caractérisé en ce que le film panoramique comprend des zones actives pour accéder à des événements prédéterminés. 13. système selon l'une quelconque des revendications 10 à 12, caractérisé en ce que les moyens d'acquisition comprennent : - une pluralité d'objectifs (1,2) disposés en couronne (12), chaque objectif étant apte à filmer un champ de vision prédéterminé ; - un miroir (13) disposé au centre de la couronne et composé d'au moins autant de facettes (3,4) que d'objectifs ; chaque facette étant apte à recevoir un faisceau lumineux émis par un objectif lui faisant face ; - des capteurs (5,6) disposés en couronne (14) sur un plan inférieur à celui des objectifs et aptes à recevoir des faisceaux lumineux (7, 8) renvoyés par les facettes dudit miroir ; - un terminal (11) doté au moins d'une carte d'acquisition temps réel pour recevoir et traiter de façon numérique les images provenant des objectifs, lesdits objectifs fonctionnant simultanément pendant une durée prédéterminée. 14. Système selon la revendication 13, caractérisé en ce que chaque objectif est surmonté d'un micro directionnel (15, 16) pointant dans l'axe de l'objectif de façon à constituer autant de pistes sonores que de champs de vision filmés. 15. Système selon l'une des revendications 13 et 14, caractérisé en ce que les champs de vision mitoyens comportent une zone de recouvrement. 16. Système selon l'une quelconque des revendications 13 à 15, caractérisé en ce que chaque facette (3, 4) est inclinée de 450 par rapport à l'axe verticale de la couronne (12). 17. Système selon l'une quelconque des revendications 13 à 16, caractérisé en ce qu'il comprend en outre un système de report de commande permettant à un utilisateur de commander les objectifs à distance. 18. Système selon l'une quelconque des revendications 13 à 17, caractérisé en ce que les capteurs (5,6) comprennent des composants à couplage de charge de haute résolution.