Brevet FR2889760A1 — publié le 20070216

Système permettant d'ajouter des éléments virtuels à une maquette réelle L'invention concerne un système permettant d'ajouter des éléments virtuels à une maquette réelle, permettant ainsi de réaliser une "maquette augmentée". Le système est caractérisé en ce qu'il comprend: - une pluralité de caméras, connectées à un équipement informatique, notamment via une liaison vidéo composite ou SVideo, destinées à destinées à capter des images de la maquette réelle, des moyens de traitement informatique de l'équipement informatique permettant d'associer en temps réel des images de synthèse des éléments virtuels aux images de la maquette réelle captées par la pluralité de caméras, - des moyens de visualisation permettant de visualiser les images de synthèse des éléments virtuels associés aux images de la maquette réelle captées par la pluralité de caméras. L'inventeur a développé un produit, ci-après dénommé D'FUSION, qui permet d'insérer en temps réel des objets 3D dans des flux vidéo (technologie de réalité augmentée). Au cours du processus de design d'un produit (par exemple un véhicule automobile), les industriels modélisent virtuellement plusieurs formes, puis sélectionnent en final les deux ou trois projets les plus intéressants. Ensuite il faut réaliser une maquette réelle correspondant à ces projets pour juger dans le monde réel de la qualité du design de chacun de ces projets. Pour chaque maquette réelle, l'ajout d'enrichissements est source de délais et de coûts importants et imprédictibles: par exemple un changement de phare sur une maquette réelle de véhicule nécessite la réalisation puis l'insertion du phare dans la maquette réelle. L'objectif de la technologie décrite est d'utiliser la réalité augmentée pour ajouter des enrichissements virtuels sur une maquette réelle et ainsi augmenter le nombre de tests possibles tout en diminuant les coûts et délais. Le présent document décrit une technologie permettant de visualiser une maquette réelle et de lui ajouter des éléments virtuels parfaitement attachés à cette maquette réelle. Les innovations apportées par la technologie permettent les avantages suivants: - N caméras peuvent être utilisées: cela permet de visualiser la maquette réelle avec ses enrichissements sous différents angles. - Les caméras peuvent être statiques ou mobiles. Elles peuvent aussi avoir des changements de zoom (focale variable). - La technologie est temps réel (les caméras filment la maquette réelle et le système restitue l'image finale en temps réel). - La maquette réelle peut être animée en temps réel (ex: ouverture de portes sur une maquette réelle) - Les enrichissements virtuels peuvent être animés (ex: essuies glasses virtuel se déplaçant sur le pare-brise réel de la maquette réelle) - On peut aussi avoir des reflets du monde extérieur sur les enrichissements virtuels: o Reflets statiques o Reflets dynamiques - Le système peut être connecté à un rack de visioconférence pour transmettre les images en temps réel vers un autre site. - Les cameras peuvent être en haute définition (norme HD), ce qui permet de visualiser le résultat final sur de grands écrans de projection (maquette réelle enrichie) Description du système Le présent document décrit une configuration typique pour l'application de maquette augmentée. Caméra SD Capteur de mouvement (fa ii itatifiCapteur de mouvement (fa ii itatifi Emplacement de la maquette réelle r Caméra SD Capteur de mouvement (facnitati f) SD Inputs Capteur de mouvement (fa ii itatifiCaméra HD Capteur de mouvement (facultatif) Ethernet Standard PC 2 avec D'FUSION HD Input VGA output Projecteur 2 Projecteur 1 Ecran de projection 1 1 Explications sur le système Le système ci-dessous décrit une configuration typique de maquette augmentée : Le PC1 est équipé de 4 cartes d'acquisition SD sur bus PCI. Quatre caméras sont connectées à PCl (par exemple via une liaison vidéo composite ou SVideo). Eventuellement, les quatre caméras ou certaines sur les quatre sont équipées de capteurs de mouvement, ce qui permet de gérer soit des cameras statiques soit des caméras mobiles. Par exemple, les capteurs de mouvement sont du type pan/tilt/zoom si on se contente de rotation et de zoom (les caméra sont alors à trois degrés de liberté), on peut aussi avoir des caméras totalement mobiles en utilisant des capteurs à 6 degrés de liberté (x, y, z, yaw, pitch, roll). Le PC1 pourra afficher les quatre flux vidéo enrichis simultanément, ou bien il sera également possible d'afficher une seule vue enrichie (au choix de l'utilisateur). Le PC2 est équipé d'une carte d'acquisition haute définition. A l'heure actuelle, une seule carte d'acquisition HD peut être insérée dans le PC (limitation de bande passante sur la carte mère), mais le système pourra se généraliser à N cartes HD dans un même PC, et autoriser ainsi l'affichage simultané de N flux HD enrichis. Préparation avant utilisation du système Import des modèles CAO Le modèle CAO de la maquette réelle ainsi que les enrichissements virtuels proviennent de modeleurs standard du marché. Ces fichiers sont convertis au format interne de D'FUSION (format directX à l'heure actuelle). On stocke alors sur le disque dur: - Le modèle 3D la maquette réelle (les textures ne sont pas indispensables) - Les modèles 3D des enrichissement virtuels que l'on voudra ajouter sur la maquette réelle. Note: - Le Nombre de polygones et de textures doivent être compatibles avec la génération d'image temps réel du logiciel D'FUSION. - Animations sur les enrichissements: o Rotation. o Translation. o Scaling. o Bones. Texture d'environnement Des reflets réalistes peuvent être appliqués sur les enrichissements de la maquette réelle. Deux possibilité : reflets statiques (le showroom est considéré comme figé) ou reflets dynamiques. Reflets statiques Pour gérer les reflets de l'environnement sur les enrichissements, on réalise une texture d'environnement statique. Deux méthodes sont possibles: - On modélise la salle dans laquelle sera placée la maquette réelle (murs/sol/plafond), puis on calcule la texture d'environnement en utilisant un modeleur standard avec des paramètres de caméra à 180 degrés ( environment mapping sphérique). - On apporte dans la salle, à l'endroit ou se situera la maquette numérique, une sphère réfléchissante. On prend une photo de cette sphère, qui servira de map d'environnement sphérique. Reflets dynamiques On installe une caméra vidéo proche de l'endroit où l'on positionne la maquette réelle. Généralement, cette caméra est fixée au sol et regarde vers le haut; elle est aussi équipée d'une optique grand angle ( fish eye ). Le flux vidéo est connecté au PC D'FUSION, il sera utilisé pour rafraîchir en temps réel la texture d'environnement. Cela permet par exemple de se voir réfléchi par les enrichissements virtuels (ex: pare brise virtuel), et de voir les changements de reflets lorsque l'on se déplace ou que l'on modifie le contenu ou la position des objets proches de la maquette réelle. Calibration du système Les distorsions optiques et le champ de vision des N caméras sont calculés avant installation des caméras dans la salle. On installe les N caméras et les PC dans la salle. Méthode de calibration La maquette réelle est installée dans la salle. Pour chaque caméra, on utilise l'outil de localisation (décrit dans le fichier outil localisation.doc). On apparie des points caractéristiques de la maquette réelle avec leur équivalent dans le modèle CAO de la maquette réelle. Cela permet d'obtenir, pour chaque caméra, sa pose (x,y, z, yaw, pitch, roll), dans le repère absolu lié à la maquette réelle. Une fois la procédure effectuée, toutes les caméras sont localisées dans le même repère absolu. Configuration du logiciel de réalité augmentée D'FUSION pour l'application maquette augmentée Résolution - Les caméras SD sont de préférence en qualité PAL: les acquisitions vidéo temps réel seront à la résolution 768 points par 576 lignes. - La caméra HD a une des résolutions préconisées par la norme HD: par exemple 1920 par 1080. - Pour une qualité optimale, la génération d'images est effectuée à la résolution native du système d'affichage (par exemple un vidéo projecteur) . Si besoin, les images vidéo seront upscalées à la résolution native du projecteur en utilisant la technologie de redimensionnement de texture de haute qualité disponible sur la carte graphique (filtrage bilinéaire). - Le tracé des enrichissements est à la résolution native du projecteur. Fonctionnalités de la scène D'FUSION de réalité augmentée Affichage des enrichissements virtuels: - possibilité de sélectionner chaque enrichissement - pour chaque enrichissement sélectionné : o affichage / disparition dans l'image. o position / orientation. o changement de texture. Possibilité de Switcher entre les quatre caméras au clavier. Cas de cameras mobiles robotisées: Pan/Tilt/Zoom de chaque caméra pilotable en temps réel avec la souris, le clavier ou tout autre périphérique de pointage (ex: joystick). Fonction de réglage temps réel des sources lumineuses virtuelles pour harmonisation avec les éclairages réels du Showroom. Acquisition et gestion de la texture d'environnement statique ou dynamique de la salle à l'endroit où se situera le véhicule virtuel. Revendication 1. Système permettant d'ajouter des éléments virtuels à une maquette réelle caractérisé en ce qu'il comprend: - une pluralité de caméras, connectées à un équipement informatique, notamment via une liaison vidéo composite ou SVideo, destinées à destinées à capter des images de la maquette réelle, - des moyens de traitement informatique de l'équipement informatique permettant d'associer en temps réel des images de synthèse des éléments virtuels aux images de la maquette réelle captées par la pluralité de caméras, - des moyens de visualisation permettant de visualiser les images de synthèse des éléments virtuels associés aux images de la maquette réelle captées par la pluralité de caméras.