FR 2889736 A1 20070216 FR 0552477 A 20050809 Système d'entraînement au tir mettant en oeuvre une arme réelle L'inventeur a développé un produit, ci-après dénommé D'FUSION, qui permet d'insérer en temps réel des objets 3D dans des flux vidéos (technologie de réalité augmentée). La présente invention concerne un système d'entraînement au tir, ou simulateur de tir, mettant en oeuvre une arme réelle caractérisé en ce qu'il comprend: - une arme réelle, notamment un fusil, un lanceur de missile, un char, - une caméra, associée à l'axe de tir de l'arme réelle, destinée à capter des images d'un paysage situé dans le prolongement de l'axe de tir, - un capteur de mouvement fixé sur l'arme réelle, - des premiers moyens de traitement informatique, associés à un premier équipement informatique, destinés à insérer, en temps réel, des images de synthèse d'éléments virtuels, notamment des cibles, des missiles, des explosions, dans les images du paysage situé dans le prolongement de l'axe de tir, - des seconds moyens de traitement informatique, associés à un second équipement informatique, destinés à permettre à un instructeur de piloter, en temps réel, l'insertion des images de synthèse d'éléments virtuels dans les images du paysage situé dans le prolongement de l'axe de tir, - un moniteur vidéo, associé à l'arme réelle, permettant à un tireur utilisant l'arme réelle de visualiser les images de synthèse d'éléments virtuels insérées dans les images du paysage situé dans le prolongement de l'axe de tir. L'invention concerne ainsi un simulateur d'entraînement au tir pour systèmes d'arme, composé des éléments suivants: - L'arme réelle (char, lanceur de missile, fusil etc...). - Une caméra associée à l'axe de tir pour filmer le paysage en temps réel (de préférence une caméra haute définition). - Un capteur de mouvement rigidement lié à l'arme. - Un système informatique de réalité augmentée pour le tireur (PC). - Un système informatique de gestion d'exercice pour l'instructeur (PC). - Un moniteur vidéo permettant d'afficher des images vidéo dans la voie optique du tireur. Une fois ces éléments installés, on configure le logiciel de réalité augmentée (D'FUSION) pour insérer, en temps réel, des éléments virtuels (cibles, missiles, explosions etc..) dans le paysage réel filmé par la caméra. La technologie doit permettre en final à l'instructeur d'installer le système à n'importe quel endroit d'un théâtre d'opération dans un temps raisonnable (la géométrie 3D de celui-ci étant connue). Il est alors possible d'instruire un tireur (de missile, de char, ou de toute autre arme) sous la conduite d'un instructeur, en utilisant le système d'arme réel et non un simulateur spécifique. Les innovations apportées par rapport à l'art antérieur sont les suivantes: - Utilisation du système dans les conditions réelles (sur le vrai théâtre d'opération). - Possibilité de déplacer l'arme d'une position de tir à une autre avec un temps très court de réglage du système. - Utilisation de la vraie arme et non d'une fausse arme spécifique pour l'entraînement (double avantage: réduction du coût de réalisation du simulateur et entraînement plus réaliste). Description du système mis en oeuvre sur l'arme réelle Bloc optique d'adaptation Moniteur vidéo Viseur de l'arme réelle Caméra ajoutée à l'arme Canon de l'arme réelle Capteur de mouvement Tireur Trépied de l'arme réelle Explications: L'arme réelle est composée de trois éléments: - Le canon. - Le viseur. - Eventuellement un trépied (facultatif, dépend du type d'arme). Le viseur est souvent un système optique dont l'axe optique est quasiment confondu avec l'axe du canon (parallaxe négligeable). On rajoute les éléments suivants rigidement fixés à l'arme réelle: - Une caméra vidéo (de préférence une caméra en haute définition). L'axe optique de la caméra vidéo est quasiment confondu avec l'axe du canon (parallaxe négligeable). - Un moniteur vidéo (de préférence de petite taille et de haute définition). - Un bloc optique d'adaptation: grâce à celui-ci, le tireur voit une image nette (générée par le moniteur vidéo) à travers le viseur. - Un capteur de mouvement. Différentes technologies sont utilisables (centrale inertielle, positionnement laser, encodeurs optiques, tracking optique). En fonction de la précision du capteur de mouvement, deux architectures matérielles sont applicables: - architecture matérielle sans analyse d'images (cas ou le capteur de mouvement a une précision suffisante). - architecture matérielle avec analyse d'images (cas ou le capteur de mouvement a une précision insuffisante). Architecture matérielle 1 (sans analyse d'images) Le schéma suivant détaille l'architecture matérielle complete du simulateur. Moniteur Tireur Paysage réel + cibles virtuelles + effets visuels Hauts parleurs Sortie Son PC Tireur Capteur de mouvement Convertisseur YUV vers HD-SDI Bouton Mise de feu - Entrée HD-SDI Sortie UXGA Port E/S Ethernet Ethernet PC Instructeur Sortie UXGA Port USB Hub Ethernet Répartiteur UXGA Down Converter y Enregistreur DVD (avec disque dur) Switch UXGA Joystick Ecran instructeur Explications sur l'architecture matérielle 1 (voir schéma ci-dessus) : É La sortie composante (HD - YUV) de la caméra HD est convertie à la norme HD-SDI par le convertisseur HD-YUV vers HD-SDI. É Le signal HD-SDI est ensuite envoyé sur l'entrée HD-SDI du PC tireur. É Le bouton de mise de feu présent sur l'arme réelle est connecté à un port d'entrées/sorties sur le PC tireur (exemple de port, liste non exhaustive: port série, port parallèle, entrée analogique sur une carte PCI). É Le capteur de mouvement est connecté à un port d'entrées/sorties sur le PC tireur (exemple de port, liste non exhaustive: port série, port parallèle, entrée analogique sur une carte PCI). É Le signal (de préférence UXGA) en sortie du PC tireur est connecté à un répartiteur vidéo. Le répartiteur duplique le signal pour fournir 3 sorties (de préférence UXGA) : - Une sortie vers le micro moniteur. - Une sortie vers l'écran de l'instructeur (pour permettre la recopie de l'image tireur sur le moniteur de l'instructeur). - Une sortie vers le down converter É Le boîtier down converter convertit l'image (de préférence UXGA) en PAL ou NTSC pour permettre l'enregistrement par un enregistreur DVD. É L'enregistreur DVD permet de stocker les images vidéo vues par le tireur. Cela permet de rejouer les séquences de tir lors de la phase d'évaluation ou de débriefing . É Le boîtier down converter et l'enregistreur DVD sont facultatifs. É Le PC tireur génère les images vidéo enrichies avec les objets virtuels. É L'instructeur est muni d'un switch UXGA qui lui permet: - Soit de visualiser la vue tireur. - Soit de visualiser 1'IHM du poste instructeur générée par le PC instructeur. É Les BDD (cibles, missiles, effets, terrain etc...) sont stockées soit sur le disque dur du PC tireur, soit sur le disque dur du PC instructeur. É Le PC tireur et le PC instructeur sont reliés par un réseau Ethernet. É Le son est généré par le PC tireur (effets sonores: explosions, mise de feu etc...). Architecture matérielle 2 (avec analyse d'images) Le schéma suivant détaille l'architecture matérielle complète du simulateur. Paysage réel + cibles virtuelles + effets visuels Hauts parleurs Moniteur Tireur Caméra HD Sortie Son PC Tireur Convertisseur YUV vers HD-SDI Bouton Mise de feu Entrée HD-SDI Port E/S Ethernet Hub Ethernet Ethernet PC Instructeur Sortie UXGA Port USB t Sortie UXGA Répartiteur UXGA Down Converter y Enregistreur DVD (avec disque dur) Switch UXGA Joystick Ecran instructeur Ethernet PC analyse d'image Port E/S Entrée vidéo composite Capteur de mouvement Explications sur l'architecture matérielle 2 (voir schéma ci-dessus) : L'architecture matérielle 2 est équivalente à l'architecture matérielle 1 sauf pour les points suivants: - Un PC spécifique analyse d'image est ajouté. - Le capteur de mouvement sur l'arme est connecté à ce PC par un port d'E/S (liste non exhaustive: port RS232, port parallèle, port USB ou carte d'E/S analogique ou numérique). - Ce PC va être dédié à l'envoi sur port Ethernet de l'axe de visée de l'arme en hybridant deux flux de données: o Le flux de données en provenance du capteur de mouvement. o Le flux de données en provenance de l'algorithme d'analyse d'images. Architecture logicielle et interfaces Architecture logicielle 1 (sans analyse d'images) PC tireur Logiciel D'FUSION configuré pour le tireur: Génération d'images en temps réel pour le tireur. Plugin trajectoire missile Plugin capteur de mouvement Description de l'architecture logicielle 1: Sur le PC tireur, le logiciel D'FUSION de réalité augmentée génère en temps réel les images de réalité augmentée. Trois plugins spécifiques sont installés: - Plugin mise de feu : récupération de l'appui sur le bouton de mise de feu par le tireur. - Plugin trajectoire du missile : calcul en temps réel des coordonnées du missile (X,Y,Z, cap, tangage, roulis). En fonction du type d'arme, il est possible que l'axe de visée du tireur influence la trajectoire du missile (cas des missiles guidés). - Plugin capteur de mouvements : récupération des données en provenance du capteur de mouvement (en fonction du type de capteur, les données peuvent être du type (liste non exhaustive) : (cap, tangage), ou (cap, tangage, roulis) ou bien encore (x,y,z, cap, tangage, roulis). Sur le PC instructeur, le logiciel D'FUSION génère 1'IHM de saisie des points de passage des cibles, le pilotage des cibles en temps réel, ou bien encore le pilotage de la symbologie (réticule, aide à la visée) par l'instructeur. Interfaces (voir schéma ci-dessus) Interface Instructeur / Tireur -Pour chaque cible: coordonnées (X, Y, Z, Cap, Tangage, Roulis) - Pour chaque type de symbologie: coordonnées écran (X, Y) PC instructeur Plugin mise de feu Interface instructeur / tireur Logiciel D'FUSION instructeur: Saisie des points de passage des cibles. Pilotage des cibles au joystick. Pilotage des incrutations présentées au tireur (position du réticule ou d'informations de visée). Interface instructeur / tireur Architecture logicielle 2 (avec analyse d'images) PC tireur Logiciel D'FUSION configuré pour le tireur: Génération d'images en temps réel pour le tireur. Plugin trajectoire missile Plugin de réception des données de capture de mouvement PC instructeur Plugin mise de feu Logiciel D'FUSION instructeur: Saisie des points de passage des cibles. Pilotage des cibles au joystick. Pilotage des incrutations présentées au tireur (position du réticule ou d'informations de visée). Interface analyse d'images / tireur Logiciel d'analyse d'image: Réception des données du capteur de mouvement - Algorithme de traitement d'images - Hybridation des données - Envoi des données résultantes sur Ethernet. PC analyse d'images Description de l'architecture logicielle 2: L'architecture logicielle 2 est identique à l'architecture logicielle 1 sauf pour les points suivants: - Le PC tireur ne reçoit plus directement les données en provenance du capteur de mouvement; à la place il y a maintenant un plugin de réception de données sur un port ethernet (pour recevoir les données en provenance du PC d'analyse d'images). - Le logiciel d'analyse d'image fonctionne sur un troisième PC spécifique. - Le logiciel d'analyse d'images reçoit les données en provenance du capteur de mouvement, reçoit et analyse le flux vidéo en provenance de la caméra, hybride les données capteur avec les données d'analyse d'image, et enfin envoi le résultat final vers le PC tireur sur un port Ethernet. Interfaces (voir schéma ci-dessus) Interface Instructeur / Tireur -Pour chaque cible: coordonnées (X, Y, Z, Cap, Tangage, Roulis) - Pour chaque type de symbologie: coordonnées écran (X, Y) Interface Analyse d'images / Tireur - Données relative à la position de la caméra (lise non exhaustive) : É (Cap, tangage) É (Cap, tangage, roulis) É (X, Y, Z, cap, tangage, roulis) Performances et caractéristique du logiciel visuel embarqué sur le PC tireur Système d'exploitation De préférence, à la date du document: Windows XP Pro, service pack 2 Nombre d'images par seconde Le système rafraîchit l'image (paysage et objets virtuels insérés) présentée au tireur à une fréquence compatible avec la caméra et le moniteur tireur: 50 Hz dans le cas d'une caméra au standard européen (le moniteur tireur doit alors fonctionner également à 50 Hz) - 60 Hz dans le cas d'une caméra au standard américain (le moniteur tireur doit alors fonctionner également à 60 Hz) Calage des cibles dans le paysage La précision de calage des cibles dans le paysage sera fonction de la précision de la méthode de capture de mouvement (avec ou sans analyse d'images). Résolution de l'acquisition vidéo HD (le système pouvant aussi utiliser des caméras SD) La sortie YUV HD analogique de la caméra est convertie à la norme HD-SDI au format 16/9. Norme HD-SDI 16/9: 1920 pixels par 1080 lignes entrelacées. En général le champ de vision dans le viseur tireur est circulaire. 1920 pixels t - 1080 lignes 1080 pixels É La résolution vidéo utile à l'intérieur du champ circulaire sera donc de 1080 pixels par 1080 lignes entrelacées. É La résolution vidéo utile pour un format 4/3 (pour l'utilisation sur le micromoniteur) sera de 1440 par 1080 lignes. Remarque: D'FUSION redimensionne la résolution vidéo utile à la résolution de l'affichage (soit 1280 par 1024 soit 1600 par 1200) en utilisant le filtrage bi-linéaire de texture de la carte graphique: l'image vidéo est ainsi redimensionnée plein écran sans aucun artefact visuel (pas de pixellisation de l'image vidéo). Résolution de l'affichage en sortie du PC tireur En fonction du micromoniteur, deux résolutions d'affichage sont envisageables: É affichage en mode SXGA: 1280 pixels par 1024 lignes É affichage en mode UXGA: 1600 pixels par 1200 lignes Les cibles seront tracées à la résolution de l'affichage choisi. - Critères de DRI pour un affichage en 1280 par 1024 et un champ de vision de 8.5 degrés 1024 lignes correspondent à 8.5 degrés Détection: 1 ligne vidéo Reconnaissance: 3 lignes vidéo Identification: 5 lignes vidéo Pour une cible de 2 mètres de haut, cela donne les résultats suivants: Détection 1 ligne > 6 km Reconnaissance 3 lignes 4600 mètres Identification 5 lignes 2760 mètres - Critère de DRI pour un affichage en 1600 par 1200 1200 lignes correspondent à 8.5 degrés Détection: 1 ligne vidéo Reconnaissance: 3 lignes vidéo Identification: 5 lignes vidéo Pour une cible de 2 mètres de haut, cela donne les résultats suivants: Détection 1 ligne > 6 km Reconnaissance 3 lignes 5390 mètres Identification 5 lignes 3200 mètres Fonctionnalités visuelles Dépointage Le dépointage de l'arme induira visuellement: É un dépointage du paysage vidéo. É un dépointage des cibles et du missile. Cibles Les cibles virtuelles peuvent se déplacer dans le paysage réel filmé par la caméra vidéo HD: É exemple: cible de type char (en mode non détruite ou en mode carcasse immobile) É exemple: cible de type hélicoptère (avec animation du rotor). Une cible peut visuellement être non détruite ou détruite (ex: carcasse immobile dans le cas du char) Exemple de destruction de cibles: É destruction d'un char - affichage de l'explosion sur char. - le char devient affiché sous forme d'une carcasse . É destruction d'un hélicoptère - affichage de l'explosion sur l'hélicoptère. - après l'explosion, l'hélicoptère disparaît. Déplacement des cibles: L'instructeur pourra choisir deux types de déplacement pour chaque cible: É Mode point de passage : Déplacement selon une liste de points de passage, les points de passage étant modifiables durant l'exercice. É Mode joystick : Déplacement par pilotage avec un joystick. Définition / Modification des points de passage: É Souvent, la voie tireur présente un champ de vision trop étroit pour sélectionner les points de passage. La solution est la suivante: le PC instructeur sera équipé du logiciel D'FUSION configuré spécifiquement pour la saisie et la modification des points de passage, ainsi que la gestion du joystick. Pour saisir ou modifier les points de passage des cibles, l'instructeur verra une vue de dessus de la base de donnée. A l'aide du clavier et de la souris, l'instructeur pourra ajouter, supprimer ou modifier un point de passage. Les points de passage apparaîtront numérotés à l'écran. Les points de passage pour les véhicules terrestres seront associés au relief du terrain. Les points de passage pour les véhicules aériens auront une altitude réglable par l'instructeur. Remarques: É Basculement du mode point de passage au mode joystick : la cible part de sa position courante. É Basculement du mode joystick au mode point de passage : la cible se repositionne sur le premier point de passage défini par l'instructeur. É Trajectoire de la cible le long des points de passage: la trajectoire est calculée par interpolation linéaire. É On prévoit par exemple16 points de passage éditable par cible. É En temps réel, le PC instructeur équipé du logiciel D'FUSION envoie les positions et orientations des cibles au PC tireur, via la liaison Ethernet. Gestion des effets d'explosion / impacts Au minimum trois effets d'explosion sont possibles: - Explosion suite à l'impact du missile sur le sol ou un élément du décor. - Explosion suite à l'impact du missile sur une cible aérienne. - Explosion suite à l'impact du missile sur une cible terrestre. Principe technique commun pour les trois types d'explosion: Chaque explosion est un objet bilboard dans lequel est jouée une texture vidéo détourée (vidéo spécifique en fonction du type d'impact) Remarque sur la gestion des impacts: Dans le vas d'un impact sur le sol ou sur un élément du paysage (maison...), suite à l'impact on ne modifie pas visuellement l'élément du paysage concerné. Le système visuel déterminera en temps réel: - Détermination de la distance dl: missile / terrain (point du terrain dans l'axe du missile). - Détermination des N distances d(N) : missile / cible N (calcul simplifié : distance entre le centre de gravité du missile et le centre de gravité de la cible). Algorithme d'affichage des effets d'explosion: - Si dl - Si d(N) Missile Comme le char ou l'hélicoptère, le missile sera un objet 3D principalement vu de l'arrière. Fumée du missile Pour simuler la fumée du missile, on affiche N bilboards circulaires texturés avec gestion de l'alpha et de la transparence, pour obtenir une traînée réaliste. La trajectoire du missile sera mémorisée par le visuel pour positionner les N bilboards le long de celle-ci. Occultation Au moment du départ de coup, un objet bilboard circulaire texturé sera affiché à l'écran. Au cours du temps, le coefficient de transparence sera modifié pour passer d'un aspect opaque à un aspect 100% transparent. La position du bilboard sera couplée à la position du missile pour obtenir un effet d'occultation plus réaliste. Réticule Un réticule de visée peut être affiché. Il sera contrôlable: É Apparition / disparition. É Position écran modifiable. Aide à la visée Une information supplémentaire d'aide à la visée (par exemple un chevron ) peut être affichée; elle est contrôlable: É Apparition / disparition. É Position ajustable en coordonnées (X,Y) écran. Effets sonores Sur réception info mise de feu: bruit départ de missile (fichier.wav). Si le missile atteint le sol, un élément du paysage, ou une cible: bruit d'impact (fichier.wav). Autres fonctionnalités Temps de sortie du tube Le visuel peut différer l'affichage du missile N millisecondes après la réception de la mise de feu. Rejeu exercice Lors de l'exercice, l'enregistreur DVD avec disque dur enregistre le contenu de la vue tireur. Le rejeu exercice s'effectue en lançant le film vidéo stocké dans l'enregistreur DVD. Le fait que l'enregistreur DVD soit muni d'un disque dur autorise le rejeu exercice sans être obligé de graver un support DVD. Production de données pour l'analyse exercice Lors de l'exercice, le visuel sauvegarde dans des fichiers les informations suivantes: É position et orientation de chaque cible. É Position et orientation du missile. É Position et axe de visée de l'arme A la fin de l'exercice, les fichiers sont disponibles pour analyse par un logiciel d'analyse exercice. Outil de localisation Pour la gestion des cibles (masquage et trajectoires) ainsi que pour la gestion des impacts au sol, il est nécessaire que le visuel ait en mémoire la BDD du terrain (sol et bâtiments). Lors de l'utilisation du démonstrateur, l'instructeur installe l'arme sur le terrain réel. Avant de lancer l'exercice, il est nécessaire de caler la BDD part rapport au terrain réel. L'invention fournit un outil de localisation qui permet, par un simple appariement de points, d'extraire la position de la caméra dans le repère du terrain de synthèse: ainsi il est possible de caler le terrain réel avec le terrain virtuel. L'outil de localisation est détaillé dans le fichier outil localisation. doc . L'appariement de points doit être le plus simple et le plus intuitif possible: L'utilisateur associe des points de la BDD à leur équivalent dans la fenêtre vidéo. Une fois que quelques points ont été appariés, le logiciel de localisation calcule la position de la caméra dans le repère de la BDD terrain, ce qui permet au visuel de caler la BDD sur la vue vidéo. Option GPS: Un récepteur GPS peut être associé à l'arme: il en enverra à l'outil de localisation les trois coordonnées de position de l'arme sur le terrain réel. Une fois ces informations reçues par l'outil, l'utilisateur peut localiser la caméra de deux manières différentes: - association de points virtuels sur les points réel du flux vidéo (tel que décrit ci-dessus). - à l'aide de la souris l'utilisateur pourra caler angulairement la BDD terrain. Dans ce cas, la BDD terrain sera affichée en transparence sur l'image vidéo pour permettre le calage par l'utilisateur. Différentes utilisations du système Deux modes d'utilisation sont possible - utilisation en salle. - utilisation sur un terrain réel. É Utilisation en salle Le système sera placé devant des maquettes, dans lesquelles évolueront les cibles virtuelles. Les maquettes sont préalablement modélisées. É Utilisation sur un terrain réel Il est nécessaire d'avoir une BDD polygonalisée du terrain réel. Exemple de matériel utilisé, à la date de rédaction du document: É Le PC tireur Pentium IV, 3 Ghz, 1 Giga de RAM, disque dur 80 Go, carte mère avec bus PCI-X et PCIExpress. Carte d'acquisition DeckLink HD. Carte graphique Nvidia GeForce6 (6800 GT) ou ATI Radeon X800XT. É La caméra HD Sony HDR-FX1E É Convertisseur YUV-HD vers HD-SDI AJA HD 10A É Le répartiteur UXGA (1600 par 1200). Komelec MSV1004 É Le switch UXGA. Comprehensive Video HRS-2x1-SVA 2x1 VGA/UXGA High Resolution Vertical Switcher É Le down-converter UXGA vers PAL. Folsom ViewMax É L'enregistreur DVD. Enregistreur de DVD Philips HDRW 720 - Disque Dur de 80 Go Glossaire: SD: Simple Definition (basse définition). HD: High Definition (haute définition). Down Converter: convertisseur des signaux vidéo PC (VGA, SVGA, XGA, UXGA) vers la norme vidéo Revendication 1. Système d'entraînement au tir mettant en oeuvre une arme réelle caractérisé en ce qu'il comprend: - une arme réelle, notamment un fusil, un lanceur de missile, un char, - une caméra, associée à l'axe de tir de l'arme réelle, destinée à capter des images d'un paysage situé dans le prolongement de l'axe de tir, - un capteur de mouvement fixé sur l'arme réelle, - des premiers moyens de traitement informatique, associés à un premier équipement informatique, destinés à insérer, en temps réel, des images de synthèse d'éléments virtuels, notamment des cibles, des missiles, des explosions, dans les images du paysage situé dans le prolongement de l'axe de tir, - des seconds moyens de traitement informatique, associés à un second équipement informatique, destinés à permettre à un instructeur de piloter, en temps réel, l'insertion des images de synthèse d'éléments virtuels dans les images du paysage situé dans le prolongement de l'axe de tir, - un moniteur vidéo, associé à l'arme réelle, permettant à un tireur utilisant l'arme réelle de visualiser les images de synthèse d'éléments virtuels insérées dans les images du paysage situé dans le prolongement de l'axe de tir.