Brevet FR2928805A1 — publié le 20090918

Procédé permettant la mise en oeuvre de la vidéo enrichie sur les terminaux mobiles L'invention a trait au domaine des télécommunications, et plus précisément à l'affichage de vidéo enrichie sur les terminaux mobiles. Si les réseaux de mobiles de deuxième génération (2G) ont introduit la technologie numérique dans les communications sans fil, la troisième génération (3G) û mise en oeuvre notamment par la norme UMTS (Universal Mobile Telecommunications system) û assure la convergence des réseaux fixes et des réseaux de mobiles en intégrant à ces derniers les services de communication jusque là réservés aux réseaux fixes, grâce notamment à des débits accrus via l'interface air (jusqu'à 2 Mbit/s). Parmi les services supportés figurent notamment (outre la voix) l'audio, la vidéo, le texte et le graphique, c'est-à-dire les éléments essentiels des applications multimédia. Parallèlement, les terminaux mobiles ont vu leur puissance augmenter, et se comportent désormais comme des ordinateurs standards, qui peuvent mettre en oeuvre non seulement des applications persistantes û qui se déroulent sur le terminal û mais également des applications non persistantes û qui se déroulent sur un serveur distant, le terminal n'effectuant que les opérations de restitution, tel que l'affichage dans les applications vidéo (Cf. Pujolle, Les Réseaux, éd. 2008, Chap.43, pp.1004-1012). L'augmentation combinée de la puissance des terminaux et des débits dans les communications hertziennes permet ainsi de faire tourner sur les terminaux 3G des applications multimédia initialement conçues pour les réseaux fixes dans lesquels les problèmes classiques rencontrés dans les réseaux mobiles (accessibilité au réseau, handover, délai de transmission des données) ne se posaient pas. Il en va ainsi de la réalité augmentée, technique dans laquelle des éléments virtuels sont restitués en surimpression sur une scène issue de la réalité. L'une des applications de la réalité augmentée est la vidéo enrichie, dans laquelle une scène filmée est agrémentée, en temps réel, d'éléments visuels tels que du texte ou des images issus d'une base de données multimédia (cf. par exemple la demande de brevet européen n°EP 1 527 599). Cette technique a récemment fait son apparition dans les terminaux mobiles équipés de caméras : voir par exemple la demande de brevet européen n°EP 1 814 101 ou la demande de brevet américain n°US 2007/0024527. Cependant les solutions proposées se révèlent globalement insatisfaisantes. La plupart restent en effet théoriques, et se limitent (voir les documents précités) à des éléments visuels simples n'offrant pas à l'utilisateur une réelle interactivité. En effet, les systèmes décrits dans les documents n°EP 1 814 101 ou n°US 2007/0024527 ne permettent pas d'intégrer une réalité augmentée en temps réel, c'est-à-dire dans des temps sensiblement indécelables par un utilisateur. L'invention vise notamment à remédier à ces inconvénients, en proposant une solution de vidéo enrichie sur terminal mobile pouvant être effectivement mise en pratique dans les réseaux de mobiles et procurant aux utilisateurs une vraie interactivité en temps réel. De plus, l'invention vise à pouvoir s'adapter sur la plupart des terminaux mobiles standards. Enfin, l'invention vise à procurer à l'utilisateur des moyens d'interagir avec l'image de réalité augmentée. A cet effet, l'invention propose, en premier lieu, un procédé de communication comprenant l'affichage, sur un terminal mobile communiquant équipé d'une caméra, d'une vidéo enrichie comprenant une scène réelle filmée au sein de laquelle sont incrustés des éléments visuels additionnels en lien avec ladite scène, ce procédé comprenant les opérations suivantes : Établissement d'une session média entre le terminal mobile et un système de communication distant ; - Réalisation par le terminal, au moyen de la caméra, d'une vidéo non enrichie comprenant ladite scène réelle filmée ; -Transmission de la vidéo non enrichie, en temps réel, par le terminal mobile au système de communication ; - Réception de la vidéo non enrichie par le système de comrnunication ; - Analyse en temps réel de la scène filmée, au sein du système de comrnunication ; - Sélection, au sein d'une base de données du système de communication, d'un ou plusieurs objets médias additionnels en lien avec la scène filmée ; - Ajout à la vidéo non enrichie de l'objet ou des objets médias additionnels ainsi sélectionnés, pour former une vidéo enrichie ; - Transmission de la vidéo enrichie, en temps réel, par le système de communication au terminal ; - Restitution par le terminal, en temps réel, de la vidéo enrichie. Selon un mode préféré de réalisation, l'objet média additionnel est associé à une ou plusieurs fonctionnalités interactives pouvant être activées depuis le terminal. On peut prévoir, entre la réception de la vidéo enrichie par le système de communication et l'analyse de la scène filmée, une opération de décodage de la vidéo, l'analyse étant réalisée à partir d'un format vidéo décompressé. On peut en outre prévoir, une opération de commande, effectuée depuis le terminal, d'une interaction proposée par l'objet média, et une opération de mise à jour des propriétés apparentes de l'objet média réalisées par le système de communication en fonction d'un scénario préétabli. Cette opération de commande comprend par exemple les étapes suivantes : - transmission de la commande par le terminal au système de communication ; - analyse de la commande par le système de communication - mise à jour des propriétés apparentes de l'objet média dans le système de communication ; affichage sur le terminal de l'objet média mis à jour. Cette opération de commande est par exemple activée par l'intermédiaire d'un clavier du terminal. En second lieu, l'invention propose un système de communication comprenant : - un serveur média, propre à établir une session média avec un terminal mobile ; - un serveur d'applications vidéo, relié au serveur média et sur lequel est implémentée une application de vidéo enrichie ; - un serveur de réalité augmentée, relié au serveur d'applications vidéo, programmé, sur commande du serveur d'applications vidéo, pour effectuer une analyse d'images au sein d'une vidéo non enrichie reçue du terminal mobile via le serveur média ; - une base de données d'objets médias, reliée au serveur de réalité augmentée. Ce système peut en outre comprendre un codeur/décodeur relié au serveur de réalité augmentée et au serveur média, configuré pour effectuer une décompression d'une vidéo non enrichie reçue du terminal mobile via le serveur média, ou réciproquement compresser une vidéo enrichie à transmettre au terminal via le serveur média. D'autres objets et avantages de l'invention apparaîtront à la lumière de la description faite ci-après en référence au dessin annexé qui illustre une architecture réseau et un procédé de communication conformes à l'invention. L'architecture réseau 1 représentée comprend un terminal 2 mobile (téléphone mobile, PDA communicant ou Smartphone), relié, via l'interface air, à un système 3 de communication comprenant un serveur média 4, qui assure l'établissement de sessions médias avec le terminal 2, un serveur 5 d'applications vidéo, relié au serveur média 4 et sur lequel est implémentée une application de vidéo enrichie, un serveur 6 de réalité augmentée relié au serveur 5 d'applications vidéo, une base de données 7 dans laquelle sont mémorisés des objets multimédias, reliée ou intégrée au serveur 6 de réalité augmentée. Par serveur, on entend ici tout système informatique capable d'intégrer des fonctionnalités ou tout programme informatique capable de mettre en oeuvre un procédé. Selon un mode de réalisation, le système 3 comprend en outre un codeur/décodeur 8, relié d'une part au serveur 6 de réalité augmentée et d'autre part au serveur média 4. Le serveur média 4 et le terminal mobile 2 sont configurés pour établir entre eux des sessions médias (par exemple suivant le protocole RTP ou H324m), permettant notamment l'échange de données audio/vidéo. Le terminal mobile 2 est équipé d'une caméra permettant de réaliser une vidéo simple (c'est-à-dire non enrichie) consistant en un film d'une scène réelle se déroulant dans l'environnement du terminal, face à la caméra. Le terminal est en outre équipé d'un écran 9 permettant l'affichage de vidéo, d'un clavier 10 permettant à l'utilisateur d'introduire des commandes, d'un haut-parleur permettant une restitution sonore audible à distance (c'est-à-dire lorsque le terminal 2 est tenu à bout de bras) ou d'une oreillette pour une écoute discrète. Les protocoles de transfert de données utilisés seront choisis de préférence pour obtenir une vitesse de transmission des données maximale, afin de minimiser, du point de vue de l'utilisateur, non seulement le délai entre la réalisation de la vidéo à partir du terminal 2 et l'affichage de la vidéo enrichie, mais également le temps de réponse à des interactions. Dans la mesure où l'acquisition d'une vidéo ou le traitement d'une image par un serveur impliquent un délai de traitement incompressible, il est important que les protocoles soient suffisamment rapides pour que le délai total de réception, traitement et renvoi des données ne soit pas décelable par l'utilisateur. L'enrichissement en temps réel d'une vidéo réalisée sur le terminal 2 est alors réalisé de la manière suivante. Une session média est d'abord établie (101) suivant un protocole temps réel (par exemple RTP ou H324m) entre le terminal 2 et le système 3 de communication, et plus précisément entre le terminal 2 (à l'initiative de celui-ci) et le serveur média 4. Par nature cette session est bidirectionnelle, et comprend la transmission de données audio et vidéo en temps réel, avec codage des données sortantes (à l'entrée de l'interface air) et décodage des données entrantes (à la sortie de l'interface air) effectués par le terminal 2. Le serveur média 4 signale alors sans délai (102) au serveur 5 d'applications vidéo l'ouverture de cette session média, pour commander l'ouverture de l'application de vidéo enrichie. Au cours de la session média établie entre le terminal 2 et le serveur média 4, une vidéo non enrichie, comprenant une scène réelle filmée se déroulant face à la caméra, est réalisée à partir du terminal 2. Cette vidéo est transmise (103), en temps réel, par le terminal 2 au serveur média 3. Plus précisément, au fur et à mesure que la scène est filmée, le flux vidéo est codé par le terminal 2 suivant une norme de compression vidéo adéquate (c'est-à-dire, en pratique, adaptée au niveau de compression souhaité : ainsi, pour un niveau de compression relativement faible le terminal pourra utiliser la norme H.263 ; pour des niveaux de compression plus élevés le terminal 2 pourra employer la norme MPEG-4, et pour les très hauts niveaux de compression la norme H.264) et transmis par paquets RTP au serveur média 4. Ainsi, le flux filmé en permanence par le mobile, à partir de l'établissement de la session, est transmis en continu au système 3 de communication. Dès que la session média est établie ou sur requête du serveur 5 d'application, le serveur média 4 signale sans délai la réception des premiers paquets RTP de vidéo au serveur 5 d'application vidéo enrichie, dont l'application de vidéo enrichie effectue alors (104) une configuration du serveur 6 de réalité augmentée en prévision des opérations décrites ci-après. La vidéo non enrichie est transmise (105) par paquets RTP par le serveur média 4 au codeur/décodeur 8 qui la décompresse et l'adresse (106) en temps réel, au format décompressé, au serveur 6 de réalité augmentée. Le format décompressé utilisé correspond par exemple à la norme RFC 4175 de l'IETF, et utilise les définitions colorimétriques RGB (Red Green Blue) ou YUV (également dénommée YCrCb). Le serveur 6 de réalité augmentée effectue alors (107), en temps réel, une analyse de la scène filmée incluse dans la vidéo. Par exemple, la vidéo est découpée image par image, puis chaque image est comparée avec les images de la base de données 7, au moyen d'une technique de reconnaissance d'image, telle que la technique des coins de Harris. Une image analysée est donc mise en correspondance biunivoque avec une image préalablement mémorisée dans la base de données 7 et à laquelle est associé au moins un objet média en lien avec le contenu de l'image (et par conséquent en lien avec la scène filmée). A cet objet média, qui peut être un objet audio, un objet vidéo, du texte, de l'image (par exemple une image de réalité virtuelle 3D), ou encore un objet utilisant une combinaison de ces ressources (par exemple un objet audio/vidéo) est associé un scénario prédéterminé, c'est-à-dire une règle de corrélation avec l'image de la vidéo non enrichie à l'origine de sa sélection. A titre d'exemple, si à l'image d'un véhicule est associée dans la base de données, en tant qu'objet média, une vue virtuelle tridimensionnelle de l'habitacle du véhicule, le scénario peut consister à superposer cette vue à une photographie publicitaire du véhicule, et à permettre la rotation de la vue dans l'espace en temps réel en fonction de l'orientation du terminal au cours de la réalisation de la vidéo. A cet effet, le suivi en temps réel par le serveur 6 de réalité augmentée des positions relatives de la caméra et de l'image analysée permet alors la rotation dans l'espace de la vue virtuelle synchronisée avec l'orientation de la caméra. Le terminal 2 peut également être muni d'accéléromètres dont les mesures sont incluses en temps réel dans le flux RTP en association avec les données vidéo. Le ou les objets médias ainsi sélectionnés sont alors ajoutés (107') par le serveur 6 de réalité augmentée, en temps réel, à la vidéo non enrichie, pour former une vidéo enrichie au format non compressé. Le flux de vidéo enrichie, au format non compressé, est transmis (108) en temps réel par le serveur 6 de réalité augmentée au codeur/décodeur 8, qui en assure la compression au format d'échange précédemment employé (H.263, MPEG-4, H.264), puis la transmission (109), également en temps réel, au serveur média 4. Ce dernier relaye alors (110) en temps réel la vidéo enrichie au terminal 2, qui en assure localement la décompression et la restitution en temps réel. Du point de vue de l'utilisateur, l'enrichissement de la vidéo réalisée est effectué en temps réel, c'est-à-dire sans délai perceptible ou dans un délai inférieur à la seconde. Grâce à la rapidité de traitement des informations permises par l'architecture qui vient d'être décrite, il est possible d'associer aux objets média additionnels de la vidéo enrichie des fonctionnalités interactives allant au-delà d'une simple adaptation aux mouvements du terminal 2, et qui peuvent être activées sur commande vocale ou manuelle de l'utilisateur, par exemple par l'intermédiaire de touches du clavier 10, qui peut être réel ou virtuel. Chaque commande interactive est transmise (111) par le terminal 2 au serveur média 4, qui les relaye (112) au serveur 5 d'application vidéo, lequel commande alors (113), via son application de vidéo enrichie, une mise à jour des propriétés apparentes de l'objet média au sein du serveur 6 de réalité augmentée, en fonction du scénario préétabli. L'utilisateur peut ainsi agir directement sur l'objet additionnel en modifiant ses propriétés : couleur, texture, position, etc., ou se servir de fonctionnalités proposées par l'objet lui-même : lecture de messages publicitaires, activation d'hyperliens, etc. A titre d'exemple, un utilisateur peut filmer un véhicule et recevoir, en retour, une vue tridimensionnelle du véhicule que l'utilisateur peut manipuler à sa guise (rotation, ouverture des portières, examen de l'habitacle, modification de la couleur, etc.), éventuellement associée à des informations commerciales éventuellement interactives : tarifs, coordonnées des concessionnaires, délais de livraison, lien vers un site Web commercial, etc. Selon un mode particulier de réalisation, certaines des fonctionnalités décrites ci-dessus sont intégrées dans le terminal mobile 2, de façon à diminuer les retards dus à des temps de transfert de données. Ainsi, le terminal 2 mobile peut intégrer par exemple les fonctions de codage/décodage, de façon à envoyer au système 3 de communication le flux vidéo déjà compressé et donc éventuellement plus rapidement. La solution qui vient d'être décrite propose ainsi une application effective, utilisable au quotidien, de la réalité augmentée, pouvant être mise en oeuvre sur les terminaux mobiles de troisième génération sans que des fonctionnalités particulières supplémentaires soient implémentées dans ceux-ci, l'essentiel du traitement étant réalisé au sein du système de communication distant, dont la configuration permet de réaliser les opérations d'enrichissement de la vidéo en temps réel. Cette solution permet également d'accéder, à partir de la vidéo enrichie, à des portails de e-commerce. REVENDICATIONS 1. Procédé de communication comprenant l'affichage, sur un terminal (2) mobile communiquant équipé d'une caméra, d'une vidéo enrichie comprenant une scène réelle filmée au sein de laquelle sont incrustés des éléments visuels additionnels en lien avec ladite scène, ce procédé comprenant les opérations suivantes : Établissement d'une session média entre le terminal mobile (2) et un système (3) de communication distant ; - Réalisation par le terminal (2), au moyen de la caméra, d'une vidéo non enrichie comprenant ladite scène réelle filmée ; - Transmission de la vidéo non enrichie, en temps réel, par le terminal mobile (2) au système de communication (3) ; - Réception de la vidéo non enrichie par le système de comrnunication (3) ; - Analyse en temps réel de la scène filmée, au sein du système de communication (3) ; - Sélection, au sein d'une base de données (7) du système de communication (3), d'un ou plusieurs objets médias additionnels en lien avec la scène filmée ; - Ajout à la vidéo non enrichie de l'objet ou des objets médias additionnels ainsi sélectionnés, pour former une vidéo enrichie ; - Transmission de la vidéo enrichie, en temps réel, par le système de communication (3) au terminal (2) ; -Restitution par le terminal (2), en temps réel, de la vidéo enrichie. 2. Procédé selon la revendication 1, dans lequel l'objet média additionnel est associé à une ou plusieurs fonctionnalités interactives pouvant être activées depuis le terminal (2). 3. Procédé selon la revendication 1 ou 2, qui comprend, entre la réception de la vidéo enrichie par le système de communication (3) et l'analyse de la scène filmée, une opération de décodage de la vidéo, l'analyse étant réalisée à partir d'un format vidéo décompressé. 4. Procédé selon l'une des revendications 1 à 3, qui comprend une opération de commande, effectuée depuis le terminal (2), d'une interaction proposée par l'objet média, et une opération de mise à jour des propriétés apparentes de l'objet média réalisées par le système de communication (3) en fonction d'un scénario préétabli. 5. Procédé selon la revendication 4, dans lequel l'opération de commande comprend les étapes suivantes : - transmission de la commande par le terminal (2) au système de communication (3) ; - analyse de la commande par le système de communication (3) ; - mise à jour des propriétés apparentes de l'objet média dans le système de communication (3) ; -affichage sur le terminal (2) de l'objet média mis à jour. 6. Procédé selon la revendication 4 ou 5, dans lequel l'opération de commande est activée par l'intermédiaire d'un clavier (10) du terminal (2). 7. Système de communication (3) comprenant : un serveur média (4), propre à établir une session média avec un terminal mobile (2) ; - un serveur (5) d'applications vidéo, relié au serveur média (4) et sur lequel est implémentée une application de vidéo enrichie ; - un serveur (6) de réalité augmentée, relié au serveur (5) d'applications vidéo, programmé, sur commande du serveur (6) d'applications vidéo, pour effectuer une analyse d'images au sein d'une vidéo non enrichie reçue du terminal mobile (2) via le serveur média (4) ; - une base de données (7) d'objets médias, reliée au serveur (6) de réalité augmentée. 8. Système de communication (3) selon la revendication 7, qui comprend en outre un codeur/décodeur (8) relié au serveur (6) de réalité augmentée et au serveur média (4), configuré pour effectuer une décompression d'une vidéo non enrichie reçue du terminal mobile (2) via le serveur média (4), ou réciproquement compresser une vidéo enrichie à transmettre au terminal (2) via le serveur média (4).30