Brevet FR2889758A1 — publié le 20070216

Système permettant de visualiser une maquette numérique intégrée dans un lieu réel La présente invention est relative à un système permettant de visualiser une maquette numérique intégrée dans un lieu réel ou "Showroom augmenté". L'inventeur a développé le produit, ci-après dénommé "D'Fusion", qui permet d'insérer en temps réel des objets 3D dans des flux vidéo (technologie de réalité augmentée). Aujourd'hui, dans l'industrie, de nombreux produits sont d'abord conçus et modélisés sur ordinateur. Avant sa fabrication, le produit est alors virtuel, il est représenté par sa maquette numérique. La présente invention concerne un système permettant de visualiser une maquette numérique intégrée dans un lieu réel, notamment un espace d'exposition, caractérisé en ce qu'il comprend: - un premier équipement informatique comprenant une pluralité de cartes d'acquisition, notamment de type SD sur bus PCI, connectées à une pluralité de caméras, notamment via une liaison vidéo composite ou SVideo, et/ou - un second équipement informatique, connecté au premier équipement informatique, comprenant une carte d'acquisition haute définition connectée à une caméra haute définition, - des moyens de traitement informatique associés à au moins une carte graphique permettant d'associer en temps réel des images de synthèse de la maquette numérique à des signaux vidéo numérisés, issus de la pluralité de caméras et de la caméra haute définition, - des moyens de visualisation permettant de visualiser les images de synthèse de la maquette numérique associées aux signaux vidéo numérisés. Le présent document décrit une technologie permettant de visualiser cette maquette numérique parfaitement intégrée dans un lieu réel, que nous appellerons showroom. Les innovations apportées par la technologie permettent les avantages suivants: - N caméras peuvent être utilisées: cela permet de visualiser la maquette numérique sous différents angles. - Les caméras peuvent être statiques ou mobiles. Elles peuvent aussi avoir des changements de zoom (focale variable). - La technologie est temps réel (les caméras filment le showroom en temps réel et le système restitue l'image finale en temps réel). - La maquette numérique peut être animée en temps réel (ex: ouverture de portes sur une maquette numérique de véhicule) - La maquette numérique peut être déplacée dans le showroom: changement de position, rotation etc. .. - Il est possible d'apporter dans le showroom des produits réels pour comparer la maquette numérique par rapport à ceux-ci (ex: comparaison d'un véhicule virtuel avec des véhicules réels). - Les produits réels peuvent être animés (ex: ouverture / fermeture de portes de véhicules réels à côté de la maquette virtuelle). - Le showroom peut aussi contenir des personnes physiques. - On peut aussi avoir des reflets du monde extérieur sur la maquette numérique: o Reflets statiques o Reflets dynamiques - Le système peut être connecté à un rack de visioconférence pour transmettre les images en temps réel vers un autre site. - Les cameras peuvent être en haute définition (norme HD), ce qui permet de visualiser le résultat final (maquette augmentée insérée dans le showroom réel) - Vue depuis chaque caméra, la maquette numérique peut être partiellement ou totalement occultée par les éléments réels. Description du système Le présent document décrit une configuration typique pour le showroom augmenté. Caméra SDCapteur de mouvement (facnitati f) Capteur de mouvement (facnitati f) Emplacement de la maquette numérique L _ J Produits réels Caméra SD Capteur de mouvement (facultatif) Capteur de mouvement (facnitati f) SD Inputs Caméra HD Capteur de mouvement (facnitati f) Ethernet Standard PC 2 avec D'FUSION HD Input VGA output Projecteur 1 Projecteur 2 Ecran de projection Explications sur le système Le système ci-dessous décrit une configuration typique de showroom augmenté : Le PC1 est équipé de 4 cartes d'acquisition SD sur bus PCI. Quatre caméras sont connectées à PCl (par exemple via une liaison vidéo composite ou SVideo). Eventuellement, les quatre caméras ou certaines sur les quatre sont équipées de capteurs de mouvement, ce qui permet de gérer soit des cameras statiques soit des caméras mobiles. Par exemple, les capteurs de mouvement sont du type pan/tilt/zoom si on se contente de rotation et de zoom (les caméra sont alors à trois degrés de liberté), on peut aussi avoir des caméras totalement mobiles en utilisant des capteurs à 6 degrés de liberté (x, y, z, yaw, pitch, roll). Le PC1 pourra afficher les quatre flux vidéo enrichis simultanément, ou bien il sera également possible d'afficher une seule vue enrichie (au choix de l'utilisateur). Le PC2 est équipé d'une carte d'acquisition haute définition. A l'heure actuelle, une seule carte d'acquisition HD peut être insérée dans le PC (limitation de bande passante sur la carte mère), mais le système pourra se généraliser à N cartes HD dans un même PC, et autoriser ainsi l'affichage simultané de N flux HD enrichis. Préparation avant utilisation du système Import des modèles CAO La maquette numérique est réalisée à l'aide de modeleurs standards du marché. Le fichier est converti au format interne de D'FUSION (format directX à l'heure actuelle). Le cas échéant, on importera également les modèles CAO des objets réels qui seront présents dans le showroom, pour la gestion des occlusions. On stocke alors sur le disque dur: - modèle 3D texturé (et animé si besoin) de la maquette numérique - modèle 3D des objets réels présents dans le showroom. Note: - Le Nombre de polygones et de textures doivent être compatibles avec la génération d'image temps réel du logiciel D'FUSION. - Animations sur les modèles: o Rotation. o Translation. o Scaling. o Bones. Texture d'environnement Des reflets réalistes peuvent être appliqués sur la maquette numérique. Deux possibilité : reflets statiques (le showroom est considéré comme figé) ou reflets dynamiques Reflets statiques Pour gérer les reflets de l'environnement sur la maquette numérique, on réalise une texture d'environnement statique. Deux méthodes sont possibles: - On modélise la salle showroom (murs/sol/plafond), puis on calcule la texture d'environnement en utilisant un modeleur standard avec des paramètres de caméra à 180 degrés ( environment mapping sphérique). - On apporte dans le showroom, à l'endroit ou se situera la maquette numérique, une sphère réfléchissante. On prend une photo de cette sphère, qui servira de map d'environnement sphérique. Reflets dynamiques On installe une caméra vidéo à l'endroit où l'on désire afficher la maquette numérique. Généralement, cette caméra est fixée au sol et regarde vers le haut; elle est aussi équipée d'une optique grand angle ( fish eye ). Le flux vidéo est connecté au PC D'FUSION, il sera utilisé pour rafraîchir en temps réel la texture d'environnement. Cela permet par exemple de se voir réfléchi par la maquette numérique, et de voir les changements de reflets lorsque l'on se déplace ou que l'on modifie le contenu ou la position des objets proches de la maquette numérique. Calibration du système Les distorsions optiques et le champ de vision des N caméras sont calculés avant installation des caméras dans le showroom. On installe les N caméras et les PC dans le showroom. A l'endroit ou sera affichée la maquette numérique, on place un objet réel, dont les caractéristiques sont les suivantes: - De préférence, la taille de l'objet réel est de l'ordre de grandeur des proportions de la maquette numérique. - L'objet réel a été préalablement modélisé, on possède un fichier CAO qui le représente. Pour chaque caméra, on utilise l'outil de localisation (décrit dans le fichier outil localisation.doc). On apparie des points caractéristiques de l'objet réel avec leur équivalent dans le modèle CAO. Cela permet d'obtenir, pour chaque caméra, sa pose (x,y,z, yaw, pitch, roll), dans le repère absolu lié à l'objet réel. Une fois la procédure effectuée, toutes les caméras sont localisées dans le même repère absolu. L'objet réel utilisé pour la calibration est le plus souvent un cube ou un parallélépipède, de préférence dans un matériau faiblement dilatable. Configuration du logiciel de réalité augmentée D'FUSION pour l'application showroom augmenté Résolution - Les caméras SD sont de préférence en qualité PAL: les acquisitions vidéo temps réel seront à la résolution 768 points par 576 lignes. - La caméra HD a une des résolutions préconisées par la norme HD: par exemple 1920 par 1080. - Pour une qualité optimale, la génération d'images est effectuée à la résolution native du videoprojecteur. Si besoin, les images vidéo seront upscalées à la résolution native du projecteur en utilisant la technologie de redimensionnement de texture de haute qualité disponible sur la carte graphique (filtrage bilinéaire). - Le tracé de la maquette numérique est à la résolution native du projecteur. Fonctionnalités de la scène D'FUSION de réalité augmentée Affichage de la maquette numérique parfaitement intégrée dans l'image de chaque caméra. Au démarrage, le logiciel peut charger N maquettes numériques. Il est alors possible de choisir séquentiellement l'affichage d'une maquette numérique parmi les N. Pour la maquette courante sélectionnée, on peut agir sur les paramètres suivants: - changement de matériau (texture, couleur...) - changement de position et d'orientation - lancement d'animations (ex: portes qui s'ouvrent sur une voiture virtuelle) Possibilité de Switcher entre les quatre caméras au clavier. Cas de cameras mobiles robotisées: Pan/Tilt/Zoom de chaque caméra pilotable en temps réel avec la souris, le clavier ou tout autre périphérique de pointage (ex: joystick). Fonction de réglage temps réel des sources lumineuses virtuelles pour harmonisation avec les éclairages réels du Showroom. Affichage de personnages autour de la maquette numérique (gestion des billboards), fonction de réglage des positions des billboards sur le sol du showroom. Gestion des masques 3D des objets réels pour obtenir une occultation de la maquette numérique par les objets 3D (en utilisant les modèle CAO des objets réels occultants la maquette numérique). Acquisition et gestion de la texture d'environnement statique ou dynamique de la salle à l'endroit où se situera le véhicule virtuel. Billboards pour les personnages Pour l'affichage de personnages à l'échelle 1 autour de la maquette numérique, la méthode retenue est la suivante: On photographie chaque personne de face et de dos (voir photo). On détoure le personnage. On utilise la photo de face pour texturer un objet 3D qui est en fait un simple rectangle. En temps réel, ce rectangle est positionné toujours perpendiculaire à l'axe optique de la caméra (voir photo). Revendication 1. Système permettant de visualiser une maquette numérique intégrée dans un lieu réel, notamment un espace d'exposition, caractérisé en ce qu'il comprend: - un premier équipement informatique comprenant une pluralité de cartes d'acquisition, notamment de type SD sur bus PCI, connectées à une pluralité de caméras, notamment via une liaison vidéo composite ou SVideo, et/ou - un second équipement informatique, connecté au premier équipement informatique, comprenant une carte d'acquisition haute définition connectée à une caméra haute définition, - des moyens de traitement informatique associés à au moins une carte graphique permettant d'associer en temps réel des images de synthèse de la maquette numérique à des signaux vidéo numérisés, issus de la pluralité de caméras et de la caméra haute définition, - des moyens de visualisation permettant de visualiser les images de synthèse de la maquette numérique associées aux signaux vidéo numérisés.