# Réalité Augmentée en extérieur : Enjeux et Etat de l'Art

Imane Zendjebil, Fakhr-Eddine Ababsa, Jean-Yves Didier, Jacques Vairon, Luc Frauciel, Martin Hachet, Pascal Guitton, Romuald Delmont

<figure><img src="image_1.png" /></figure>

## To cite this version:

Imane Zendjebil, Fakhr-Eddine Ababsa, Jean-Yves Didier, Jacques Vairon, Luc Frauciel, et al.. Réalité Augmentée en extérieur : Enjeux et Etat de l'Art. 2es journées de l'Association Française de Réalité Virtuelle, 2007, Luminy, France. hal-00339491

HAL Id: hal-00339491

https://hal.science/hal-00339491v1

Submitted on 11 May 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Réalité Augmentée en extérieur: Enjeux et Etat de l'Art

I. M. Zendjebil(1), F. Ababsa(1), J-Y Didier(1)

J. Vairion(2), L. Frauciel(2)

M. Hachet(3), P. Guittot(3)

R. Delmont(4)

## RÉSUMÉ

L'objectif d'un système de réalité augmentée (RA) en extérieur est de permettre à l'opérateur de terrain de se déplacer librement dans son environnement de travail, de visualiser et d'intéragir, en temps réel, avec des données géo-référencées via des terminaux mobiles communicants. Ceci nécessite la mise en œuvre de nouvelles techniques de localisation 3D, de visualisation et d'interaction, mieux adaptées aux conditions de travail en environnement extérieur (variation de luminosité, caractéristiques des dispositifs d'affichage utilisés, etc). Cet article présente un aperçu sur les avancées récentes dans le domaine de la réalité augmentée en environnement extérieur. Il dresse une rétrospective assez large des travaux menés dans cette discipline, notamment sur les aspects méthodologiques (techniques de localisation, génération de modèles 3D, visualisation et interaction), technologiques (capteurs, dispositifs de visualisation et logicielles) et industriels (projets et travaux).

**Mots clés:** réalité augmentée en extérieur, localisation 3D, génération de modèle 3D, visualisation 3D, interaction 3D, technologie RA.

## 1 INTRODUCTION

La réalité augmentée est une nouvelle technologie qui suscite de plus en plus d'intérêt auprès des scientifiques. Sa capacité d'enrichir le monde réel par l'ajout d'entités virtuelles lui offre un grand potentiel et ouvre ainsi les portes à de nouvelles applications. Depuis quelques années, de nombreux systèmes de réalité augmentée ont vu le jour. Cependant, dans leur grande majorité, ces systèmes sont destinés à des environnements intérieurs restreints et contrôlables qui limitent les problèmes souvent rencontrés en RA (variation de luminosité, gestion des occultations, alignement 3D, etc.). Les avancées enregistrées dans le domaine de la vision par ordinateur et dans l'informatique mobile, ont rendu possible la mise en œuvre d'applications de RA de plus en plus complexes, destinées à des environnements extérieurs, où les conditions de travail ne sont pas contrôlables (lumière du soleil, mobilité non restreinte, etc.). et où différents types de capteurs peuvent être utilisés. La réalité augmentée en milieu extérieur présente plusieurs problématiques scientifiques qui font toujours l'objet de recherches intenses, notamment sur : la localisation 3D multi-capteurs, la visualisation et l'interaction sur terminaux mobiles, l'exploitation des données géo-référencées, etc.

Cet article présente un état de l'art récent sur la réalité augmentée en environnement extérieur. Il est divisé en six sections : nous commencerons par mettre en avant les enjeux de la RA mobile. Les problématiques spécifiques à la RA en extérieur seront exposés

dans la deuxième section. Ensuite, nous présenterons les différentes techniques développées pour la RA mobile. Dans la quatrième section, nous mettrons en avant les différentes technologies utilisées. Un tour d'horizon sur les principaux projets menés dans cette discipline fera l'objet de la cinquième section. Enfin, nous terminerons par une conclusion.

## 2 ENJEUX DE LA RA EN EXTÉRIEUR

La mise en oeuvre d'un système de RA en extérieur présentent de véritables enjeux que ce soit sur le plan technologique, méthodologique ou industriel. En effet, la réalisation d'une plateforme de RA mobile permettra de :

- Explorer la synergie entre la réalité augmentée et l'information mobile.

- Mette au point une architecture (matérielle et logicielle) adaptée aux environnements extérieurs.

- Étudier et développer de nouvelles méthodes de localisation 3D qui prennent en compte les conditions réelles de travail en environnement extérieur (variations de luminosité, occultations, etc.).

- Faciliter à l'opérateur de terrain l'accès à des données techniques complexes durant ses interventions.

- Étudier une infrastructure de RA qui permet de visualiser les données géo-référencées.

- Mettre au point de nouvelles méthodes d'interaction et de visualisation sur des terminaux mobiles.

L'enjeu industriel des applications de RA en extérieur est très important, notamment dans les domaines du génie civil, de l'environnement et du tourisme. En effet, si les systèmes développées jusqu'à présent restent principalement dans les laboratoires de recherches, les avancées technologiques et le nombre de plus en plus élevé de projets dans ces domaines innocent la démocratisation de cette technologie et son déploiment industriel.

## 3 PROBLÉMATIQUES

La problématique scientifique liée à la RA en extérieur consiste principalement à développer de nouvelles techniques de : localisation, visualisation et interaction 3D sur des terminaux mobiles. La mobilité de l'opérateur dans un environnement non restreint et non préparé rend très difficile sa localisation. Les systèmes de RA en extérieur combinent généralement une localisation absolue avec une localisation relative pour assurer un positionnement continuel de l'opérateur. La localisation absolue consiste à déterminer la position dans l'environnement de travail grâce notamment à des balises de navigations ou un système GPS. La localisation relative utilise des capteurs de mouvement (accéléromètre, gyroscope) pour estimer le déplacement relative de l'opérateur par rapport à une position de référence. Des modèles 3D de l'environnement sont généralement utilisés pour initialiser la procédure de localisation. Le problème du positionnement précis en environnement naturel et le recalage sur les données existantes (milieu peu connu, sources d'information multiples, risques d'obstruction de la vue) est un

<footnote>(1) Laboratoire IBISC, CNRS FRE 2873. 40, rue du Pelvoux. 91020 Evry</footnote>

<footnote>(2) BRGM - Systèmes et Technologies de l'Information. BP 36009. 45060 Orléans Cedex 2</footnote>

<footnote>(3) Projet IPARLA (INRIA - LaBRI). 351, cours de la Libération. 33405 Talence Cedex</footnote>

<footnote>(4) ARCHIVIDEO. 40, rue des Veyettes. 35051 Rennes</footnote>
verrou scientifique et technique qui est loin d'être levé.

Par ailleurs, les applications de RA en extérieur ont besoin d'une représentation virtuelle 3D de l'environnement qui reproduit assez fidèlement l'environnement réel. En effet, les modèles 3D sont très utiles pour l'estimation de la pose à partir d'une mise en correspondance 2D/3D. La construction de modèles 3D simples et riches en information est un enjeu majeur pour la RA mobile.

Les informations dont dispose l'opérateur de terrain sont souvent conséquentes. Visualiser ces données, en temps réel, sur des terminaux mobiles offrant des capacités limitées de traitement et de stockage est un autre problème qui se pose à la RA mobile.

Enfin, les applications de RA doivent permettre la manipulation et l'interaction avec les données 3D que l'opérateur visualise. Cette tâche est réalisé au moyen d'interface. Dans les terminaux classiques (style PC), les outils d'interaction se basent sur les notions telles que les fenêtres, les icônes, les menus, etc. Les applications de RA en extérieur introduisent de nouvelles contraintes dues au nouveaux terminaux utilisés (HMD, PDA, téléphone portable, etc.). Ce qui impose le développement de nouvelles techniques d'interaction Homme/Machine.

# 4 TECHNIQUES DE LA RA MOBILE

## 4.1 Estimation de pose

Dans les applications de réalité augmentée la connaissance de la position et de l'orientation du point de vue de la caméra (ou pose de la caméra) est primoriale, car elle permet d'assurer la cohérence spatio-temporelle de la scène augmentée. En effet, l'estimation des paramètres de pose permet de modéliser une caméra virtuelle grâce à laquelle un rendu du monde virtuel est réalisé avec les mêmes caractéristiques de la caméra réelle. Ce qui permet d'aligner correctement les mondes réel et virtuel. Il existe deux grandes classes de méthodes d'estimation de pose : les méthodes basées marqueurs et les méthodes sans marqueurs.

Les méthodes basées marqueurs placent des cibles artificielles dans la scène réelle afin de faciliter le suivi visuel et l'estimation de pose. Ces marqueurs sont particulièrement simples à détecter et contiennent des codes qui permettent de les distinguer. Leurs positions dans le repère monde sont connues à priori et l'estimation de pose suit le schéma suivant : détection des marqueurs, mise en correspondance 2D/3D, et enfin le calcul de la pose de la caméra. Deux types de marqueurs sont généralement utilisés : les marqueurs de forme circulaire et les marqueurs de forme carrée. Les marqueurs circulaires sont invariants aux distorsions perspectives, et leur centre de gravité permet de fournir une position 2D stable. A titre d'exemple, nous citons les marqueurs Concentric Contrasring Circle (CCC) [20] (cercle noires sur fond blanc ou vice-vesra), et les anneaux concentriques colorés [51][8].

Les marqueurs carrées ont été introduits par [28]. Leur utilisation s'est généralisée, notamment après le succès qu'à connu la librairie ARToolKit [25]. Les marqueurs utilisés dans cette librairie ont des bords noirs sur un fond blanc. Le "pattern" interne contient un code permettant d'identifier le marqueur.

Le problème majeur des méthodes basées marqueurs et qu'il faut disposer continuellement dans la scène réelle de marqueurs artificiels. Ce qui n'est pas toujours réalisable. Les méthodes sans marqueurs ou "markerless" exploitent les caractéristiques naturelles existantes dans la scène réelle tels que les coins [30], les contours et les segments de droites [12, 55, 9], etc. Les données 2D extraites de l'image de la scène sont mises en correspondance avec les données 3D (du même type) extraites du modèle 3D de la scène (connu à priori). L'utilisation de modèles permet d'améliorer la robustesse et les performances des méthodes d'estimation de pose. Dans [30] par exemple, les auteurs proposent une méthode d'estimation de pose basée sur le suivi de points d'intérêts, elle utilise un modèle 3D partiel de la scène. Leur algorithme est

subdivisé en deux étapes : une étape d'initialisation automatique durant laquelle les points d'intérêts sont détectés dans des images de référence de l'objet à suivre, et une étape de suivi. La pose est estimée de manière robuste à partir des correspondances 2D/3D au moyen de l'algorithme RANSAC. Les méthodes basées contours [12] consistent à extraire les contours du modèle 3D et de les projeter dans le repère image selon la pose estimée à l'instant $t-1$. La pose courante est obtenue en minimisant la différence entre la position prédite des contours et leur position actuelle dans l'image. Par ailleurs, dans [9] les auteurs présentent une méthode robuste d'estimation de pose formulée par une approche d'asservissement visuel virtuel. C'est une méthode basée modèle qui utilise un suivi local de contours. La loi de commande en boucle fermée minimise l'erreur entre la position courante et la position souhaitée de la caméra. Les auteurs utilisent un M-estimateur pour gérer les données abbérantes. Cette méthode est robuste aux occultations partielles ainsi qu'aux changements d'illumination. Elle converge assez rapidement pour des petits déplacements. Simon et al. [50] ont développé une méthode de suivi de plan pour recouvrir la pose de la caméra. Ils utilisent l'algorithme RANSAC pour estimer, de manière robuste, la meilleure homographie qui relie les points appartenant au même plan dans les images successives de la séquence vidéo. La méthode se distingue par sa robustesse face aux occultations, sa rapidité, sa simplicité d'implémentation et aussi par sa précision. Toutefois, elle présente un risque de glissement (drifft) du à l'accumulation des erreurs d'estimation.

Le suivi de texture est aussi utilisé pour l'estimation de pose, il ne requière pas l'extraction de caractéristiques tels que des contours ou des points d'intérêts mais utilisent généralement la totalité de l'information existante dans la zone à suivre [31, 17, 24, 52]. Jurie et Dhome [24] proposent une méthode d'estimation de pose basée sur un suivi d'imagettes. Le principe consiste à calculer la différence entre l'image courante et l'image à suivre, rendue à partir de la pose prédite. Cette différence permet de corriger les paramètres de localisation 3D. La méthode proposée par Stricker et al. [52], dans le cadre du projet ARCHEOGUIDE, repose sur une mise en correspondance par corrélation entre l'image courante et les images de références de la scène réelle. L'image de référence ayant le meilleur score est retenue. la transformation 2D entre cette image et l'image courante est évaluée puis utilisée pour estimer la pose de la caméra.

Les méthodes basées contours ont l'avantage d'être efficaces et essentiellement robustes aux changements d'illumination, cependant elles sont inadaptées aux scènes très texturées. Par contre, les méthodes basées textures sont robustes aux occultations mais elle restent très sensibles aux changements d'illumination. Ces deux limitations ont fait immerger une nouvelle catégorie d'approches dites "hybrides". Ces méthodes combinent différentes primitives visuelles, tels que les contours et la texture, pour réaliser le suivi [45, 36]. L'approche développée par Vaccetti et al. [53], par exemple, combine des contours avec des points d'intérêts. La pose de la caméra est obtenue en minimisant simultanément l'erreur de re-projection des points d'intérêts et la distance entre les contours projetés et les contours image.

## 4.2 Génération d'environnement 3D

Comme cela a été évoqué précédemment, les différents systèmes de RA utilisent tous une représentation virtuelle de l'environnement. A l'inverse de la réalité virtuelle ou l'immersion permet l'utilisation d'un environnement non-réaliste, dans le cas de la RA, cet environnement doit être en adéquation avec l'environnement réel dans lequel l'utilisateur va évoluer. En effet ce modèle 3D de l'environnement va servir lors du processus de localisation et à résoudre le problème d'occultation. La génération de cet environnement s'appuie donc sur des données "réelles" (mesurées). Ces
données peuvent être sous différent format :

- Photographie aérienne : image acquise depuis le ciel (avion, hélicoptère...) ou l'espace (satellite).

- Modèle numérique de surface (MNS) : une représentation numérique de la topographie de l'environnement (formes et détails visibles sur le terrain)

- Modèle numérique de terrain (MNT) : une représentation de la topographie naturelle.

- Données vectorielles : comprennent des emprises de bâtiments (la trace au sol ou à une hauteur donnée du bâtiment) et des Éléments de faîtage (géométrie du toit des bâtiments)

- Photos obliques

- Nuages de points Laser

- Photos et vidéos terrestres

<figure><img src="image_3.png" /><figcaption>FIG. 1: Exemples de données utilisées pour la reconstruction : (a) Mnt (b) Données victorielles (emprises de bâtiments) (c) Données issues de scanner</figcaption></figure>

Les outils de reconstruction existants sur le marché se base sur des approches manuelles. Ce qui les rend inadéquat pour la reconstruction à grande échelle. Parmi ces logiciels, nous citons la série de logiciel de photogrammétrie de le société GTA Geoinformatik ainsi que le logiciel SketchUp de la société Google.

Pour la reconstruction automatique, Lafarge [29] (laboratoire MA-TIS) propose des méthodes utilisant des données aériennes (photo, MNS, MNT, etc.). Ces approches fournissent des résultats satisfaisants. Actuellement, ces méthodes ne sont pas encore en phase industrielle. D'autre méthodes utilisent des nuages de points fournis par le scanner 3D pour construire des maillage 3D. Ces techniques sont difficilement exploitables pour la reconstruction d'environnement extérieur vu la taille importante des modèles à mettre en œuvre, le bruit introduit lors de l'acquisition et l'inexistence d'une structuration.

D'autres techniques se basent sur des emprises de bâtiments. Le système CityEngine proposé par Müller [38] utilise une grammaire permettant une reconstruction paramétrable très détaillé d'environnements urbains de grande taille. Ce système permet également d'adapter le niveau de détail en fonction de la qualité choisie. Il est toutefois nécessaire de définir la grammaire correspondant au type de ville souhaitée. Mueller [39] améliore son CityEngine en y ajoutant un module d'analyse de photos de façades afin de générer automatiquement la grammaire adaptée pour chaque bâtiment.

La société Archivideo propose le système nommé FastBuilder pour la reconstruction d'environnement urbains de grande taille. Ce système se base sur des heuristiques pour combler les blancs sans les données. La reconstruction utilise une librairie de façades adaptées à la ville (en moyenne 500 façades) et une classification des bâtiments selon leur style pour adapter le modèle. Les règles de reconstruction peuvent être modifiées à l'échelle de la ville, du quartier voire du bâtiment. Ce système permet une reconstruction rapide et adaptable en fonction des besoins. Hoeim [21] propose d'utiliser une méthode basé image pour la reconstruction de modèle simple. La méthode consiste à segmenter l'image en classe (ciel, sol, vertical, etc.) ce qui permet de découper l'image en plans (comme les livre d'enfant). Suivant le même cheminement, Corne-lis [10] utilise la détection d'objets n'appartenant pas aux plans de

perspective. Il devient alors possible d'intégrer une représentation 3D dans le modèle et élargir la zone de validité d'une telle représentation (la liberté de mouvement est plus grande).

## 4.3 Visualisation 3D

Les techniques proposées en informatiques graphiques nécessitent des adaptations pour prendre en considérations les caractéristiques des terminaux mobiles (capacités limitées de traitement et de stockage).

Le rendu/visualisation 3D interactive à distance (en anglais remote rendering) consiste en un schéma client/serveur dans lequel le client sert à saisir les interactions utilisateurs et à afficher les images qui sont calculées, à distance, par un serveur dédié. Parmi les travaux qui ont exploiter ce concept, nous citons la bibliothèque Distributed IRIS GL de SGI (Integrated Raster Imaging System Graphics Library ancêtre de la bibliothèque OpenGL). Les commandes graphiques GL sont interceptées par la bibliothèque cliente, envoyées par le réseau au serveur et transmises au hardware du serveur pour y être exécutées. Le produit OpenGL Vizserver de SGI permet de créer une session de rendu à distance entre un ordinateur de bureau et des serveurs graphiques de type SGI Onyx. Différentes implémentationes de ces techniques ont été proposée plus récemment (cf. [44]) dans le cadre d'une utilisation sur des terminaux mobiles tels que des assistants personnels (PDAs). Ces techniques donnent de bons résultats mais nécessitent une excellente connectivité entre le serveur et le client, ce qui est souvent difficile à garantir dans un cadre de mobilité réel.

Les techniques de rendu adaptatif consistent en des algorithmes pouvant adapter en temps réel la quantité de données à afficher en fonction des ressources disponibles sur l'ordinateur client. L'avantage de ces techniques sur les techniques classiques est qu'elles peuvent fonctionner sur une classe de machines hétérogènes comme c'est particulièrement le cas des terminaux mobiles. Ainsi par exemple, Magellan [35] est une plate-forme de visualisation mise au point au sein de l'IRISA qui a pour but de faciliter le développement de nouvelles solutions de visualisation de scènes 3D interactives distribuées sur des machines hétérogènes. Elle offre un ensemble de classes systèmes encapsulant des appels systèmes (sockets, threads, etc.) afin d'assurer la portabilité. Un avantage extrêmement important est l'aspect cross-platform (Windows / Linux / SunOS) du logiciel. L'équipe Iparla a procédé au portage de la plate-forme Magellan sur les terminaux mobiles basés sur le système d'exploitation Windows Mobile (cas des PocketPC et Smartphone en particulier). La nouvelle version de la plate-forme, baptisée Elkano, à été l'objet d'une nouvelle phase de maintenance et développements qui a été menée et incluant : un module de rendu distribué, la prise en charge du langage de description de scènes X3D, la capacité pour le serveur de construire un arbre des scènes, etc.

## 4.4 Interaction 3D

L'interaction entre un utilisateur et une application se fait au travers d'interfaces. Dans une configuration classique de bureau, ces interfaces sont principalement basées sur le modèle WIMP (Windows, Icons, Menus, Pointing device.). Les contraintes des terminaux mobiles étant différentes de celles des PC de bureau, les méthodes d'interaction Homme / Machine ont dû évoluer. Par exemple, dans le cas de la saisie de texte, le T9 et le Triple Tap ont été développés pour palier à l'absence de clavier. Au niveau 3D, une mutation similaire des interfaces est nécessaire. En effet, les méthodes d'interaction qui ont été développées dans un contexte de bureau ne sont plus forcément adaptées au contexte de mobilité. Interagir avec des environnements 3D générés par ordinateur est un processus complexe. On distingue généralement deux grandes familles de tâches d'interaction : la manipulation d'entités (objets, parties d'objets) et la navigation dans la scène 3D.
1. Manipulation : tout déplacement d'un objet dans l'espace peut être décomposé suivant 6 transformations géométriques indépendantes, qui sont les translations le long des 3 axes x, y, z et les rotations autour de ces mêmes axes. Ainsi, si l'on souhaite permettre à l'utilisateur de placer librement un objet, il est nécessaire de lui permettre d'agir sur les 6 Degrés De Liberté (DDL).

2. Navigation : elle peut être séparée en deux composantes : la **composante motrice**, qui permet le déplacement effectif de la vue d'un point à un autre, et la **composante cognitive**, aussi appelée recherche d'itinéraire, qui correspond aux processus intellectuels mis en jeu pour se repérer, appréhender l'environnement 3D, ou trouver une trajectoire à suivre pour atteindre un point précis (par exemple : exploration, recherche, manœuvre, mouvement prédéfini)

Il existe plusieurs dispositifs pour l'interaction 3D sur terminaux mobiles, à savoir : les écrans tactiles, les touches, les caméras, et les positions et orientations. Pour les écrans tactiles, par exemple, les interactions se font surtout à base de geste, de dessin ou de pointage.

<figure><img src="image_4.png" /><figcaption>FIG. 2: Scriboli</figcaption></figure>

Dans le cas du contrôle de l'application, l'utilisation de menus est problématique à cause de la petite taille de l'écran, celui-ci masquant une grande partie de la vue. Ainsi, plusieurs interfaces se basent sur des gestes, comme Scriboli [19] (Figure 2). Dans un cadre de navigation, il est par exemple possible de désigner le point d'intérêt [34]. Cette technique est très largement utilisée dans les applications 3D sous le nom de "Go to". La vitesse de déplacement sera alors fonction de la distance entre l'observateur et le point d'arrivée. D'autres techniques, comme utiliser une "Sphere virtuelle" [5] ou l'ensemble de techniques de Ware, *Eye in Hand, Scene in Hand, Flying Vehicle* [54], qui sont maintenant des outils classiques, sont utilisables. Beaucoup de recherches sont également effectuées sur l'utilisation d'un seul bouton pour se déplacer (afin, par exemple, de ne pas nécessiter de menus). Parmi les techniques, citons l HoverCam [26] ou l'UniCam [57]. Ces techniques se basent sur la reconnaissance de gestes, et la prédiction de ce que souhaite faire l'utilisateur. Dans le cas de la manipulation d'objets, des techniques utilisées depuis longtemps sur PC sont applicables, comme le "Jack" [4] ou le "Skitter" [40], qui sont des contrôleurs affichés au premier plan. Il faut cependant noter que le contrôle de ces interfaces est plus délicate avec un stylet qu'avec une souris. L'avènement d'écrans tactiles à plusieurs points sur terminaux mobiles permet d'envisager l'utilisation de techniques telles celle d'Hancock et al. [18] ou de Zeleznik et al. [58]. Ces techniques permettent de manipuler des objets 3D en utilisant plusieurs points, pour définir le centre de rotation et l'angle, ou bien en "attrapant" l'objet à manipuler.

Dans le cas des interactions 3D, l'utilisation du clavier pose un problème dû au signal binaire qu'il fournit. Par exemple, dans le cas de la navigation, il est difficile de fixer la vitesse de déplacement lors de l'appui sur une touche. Néanmoins plusieurs stratégies on été développées. Par exemple, la sélection d'un point à l'aide de touches

<figure><img src="image_5.png" /><figcaption>FIG. 3: Les touches ; le dénominateur commun des téléphones portables.</figcaption></figure>

peut se faire en déplaçant un curseur, mais ce déplacement peut être long. Afin d'améliorer la phase de sélection, quelques études ont été menées. Pour sélectionner un point particulier à l'écran, Hachet et al. proposent le *Jump and Refine* [16], qui divise la tâche en deux phases : la sélection grossière dans une grille, qui se fait rapidement, puis la sélection précise à l'intérieur de cette zone. Le *ZoneZoom* [49] de Robbins et al. a une approche similaire, où l'on agrandit la zone de l'écran intéressante.

L'utilisation des caméras embarquées aux terminaux mobiles a beaucoup été utilisée dans des applications de Réalité Augmentée, comme la NaviCam de Rekimoto [47]. Ces approches sont basées sur la détection de marqueurs devant être déposés précédemment dans l'environnement réel. *Tangimap* [15] est une interface bi-manuelle qui a été développée pour interagir avec des scènes 3D. En déplaçant une cible devant la caméra d'un terminaux mobiles, l'utilisateur peut contrôler simultanément 3 DDL. Enfin, de nombreuses interfaces d'entrée sont basées sur les mouvements du terminal mobile tenu dans la main. Le *ScrollPad* [13] est un PDA appareillé d'une souris optique sur la face arrière et permettant la visualisation de grands documents en le déplaçant sur une table. La technique *Peephole* [56] est une interface comparable où l'utilisateur déplace dans l'espace le PDA relié à la mécanique d'une souris par un système de câbles et de poulies.

# 5 TECHNOLOGIES

## 5.1 Capteurs

Plusieurs capteurs sont utilisés pour la localisation 3D dans les applications de RA mobile, notamment :

### 5.1.1 Global Positioning System

Plus connu sous le sigle GPS, ce système, conçu par le département américain de la Défense, permet de déterminer une position globale. Il se base sur un positionnement par satellites. Le GPS utilise le système géodésique WGS84, auquel se réfèrent les coordonnées mesurées. A titre indicatif, le système est composé de 24 satellites placés en orbite terrestre (à une altitude de 20200 Km) et tournant autour de la terre en 24 heures. Équipé d'un récepteur GPS, la position, le temps et la vitesse de l'opérateur sont estimés à partir des différents signaux provenant des satellites. En effet, chaque satellite dispose d'une horloge atomique interne ainsi que des éphémerides permettant le calcul des coordonnées prédites. La précision de ces systèmes est de l'ordre de 10 mètres pour les GPS grand public, et peut atteindre le mètre pour les GPS professionnels. Par ailleurs, il existe une variété de GPS qui possède une précision de l'ordre du centimètre. Il s'agit des systèmes appelés DGPS pour Differential GPS. En plus des satellites, ce système s'appuie aussi sur des signaux émis à partir de stations terrestres dont les positions sont connues. Ces stations calculent séparément l'erreur de mesure pour chaque satellite et transmettent les données de correction. Les récepteurs DGPS fusionnent ces données avec leurs propres measures pour fournir une position globale de la cible.

### 5.1.2 Capteur Inertiel

Deux types de capteurs inertiels sont généralement utilisés : les accéléromètres et les gyroscopes. Les accéléromètres permettent de
<figure><img src="image_6.png" /><figcaption>FIG. 5: Exemples de casques HMD</figcaption></figure>

### 5.3.2 COTERIE

Anagramme de Columbia Object-oriented Testbed for Exploratory Research in Interactive Environments [32] (Computer Graphics and User Interfaces Lab, université de Columbia, 1996-1999), COTERIE est un outils de prototypage rapide destiné à des applications d'environnement virtuels distribués. Il a été conçu afin de supporter la création d'environnements virtuels partagés où plusieurs utilisateurs peuvent interagir simultanément avec une panoplie hétérogène de dispositifs d'affichage et de périphériques d'entrée. COTERIE offre des outils de développement pour des applications en supportant plusieurs technologies de capteurs.

### 5.3.3 STUDIERSTUBE

Mené au sein de l'Université de Vienne, ce projet, qui a débuté en 1997, représente l'une des premières architectures destinées à des applications de réalité augmentée. Son objectif est d'explorer l'utilisation des méthodes d'interaction 3D dans un environnement de travail où plusieurs tâches sont réalisées simultanément, et ce afin de trouver une métaphore d'interaction 3D aussi puissante que la métaphore classique du PC de bureau.

### 5.3.4 Tinmith

Développé au sein de l'Université d'Australie du Sud à partir de 1998, le logiciel Tinmith est une librairie d'objets hiérarchisés calqué sur le système de fichiers Unix. Il comporte un ensemble de classes qui permettent de gérer le flot de données issues des différents capteurs, les opérations de filtrage et le rendu. Les classes sont écrites en C++ et utilisent un système de Callbacks et de sérialisation de flots de données à l'aide de la technologie XML. Un graphe de flot de données permet de gérer les communications entre les différents objets.

### 5.3.5 ARCS

Pour Augmented Reality Component System, débuté en 2003 [11] (Laboratoire Informatique Biologie Intégrative et Systèmes Complexes, Université d'Evry), cette plate-forme permet de réaliser, en temps réel, un prototypage rapide pour des applications de réalité augmentée. De plus, ARCS facilite l'interfaçage de technologies hétérogènes, c'est est un système de programmation orienté composants (développés en C++) qui utilise le principe de siliconaux/slots.

## 6 PROJETS ET TRAVAUX

Depuis quelques années, nous assistons à la multiplication de projets de RA en extérieur. Ces derniers touchent des domaines d'applications aussi divers que le militaire, le génie civil, l'héritage culturel, etc. Dans cette section nous allons décrire quelques projets intéressants menés ces dernières années.

### 6.1 Applications militaires

Nombreux sont les conflits militaires qui se déployent en terrains urbains. Ces nouveaux champs de batailles sont complexes et encombrés : visibilité restreinte, manque de connaissance de l'environnement, manque de communications entre les différents troupes et la difficulté de différencier entre amis et ennemis.
Le projet **BARS** "Battelfield Augmented Reality System" [23] (Na-

<figure><img src="image_7.png" /><figcaption>FIG. 6: Le prototype BARS testé par un militaire [23]</figcaption></figure>

val Research Laboratory, Washington, 2000) a pour objectif de proposer aux militaires un système de navigation et de localisation qui leur permet de visualiser en plein champ de bataille des informations pertinentes tel que les plans d'intérieur d'un bâtiments ou bien la position des tireurs embusqués. A partir de la localisation fournie par un GPS couplé à une centrale inertielle, le soldat peut visualiser les données à travers un casque semi-transparent "see-through HMD" et interagir avec elles à l'aide d'une souris ou bien avec des commandes vocales.

### 6.2 Applications pour la navigation

Lancé en 1996 par le laboratoire "Computer Graphics and User Interfaces Lab - Columbia university", le projet **MARS** [22], anagramme de "Mobile Augmented Reality System", fut l'un des premiers projets sur la réalité augmentée en extérieur. Son objectif était d'explorer la synergie entre la réalité augmentée et l'informatique mobile. La plate forme développée fournissait des informations sur l'environnement où évoluait l'utilisateur, permettant ainsi de créer ce que les initiateurs du projet appelaient "**la machine de guide personnalisée**". Le système est constitué d'un sac à dos contenant l'unité de traitement (un ordinateur portable) et une antenne GPS. Un correcteur différentiel est associé au récepteur GPS afin d'obtenir une position plus précise de l'utilisateur. L'orientation du point de vue est déterminée grâce à un magnétomètre inertiel. L'agent de terrain est équipé d'une tablette PC et muni d'un stylet pour interagir avec le moteur de recherche.

<figure><img src="image_8.png" /><figcaption>FIG. 7: La plate-forme MARS et son interface de navigation [22]</figcaption></figure>

D'autres travaux se sont inspirés du projet **MARS**. Notamment, la plate-forme **Tinmith** [43] (Wearable Computer Lab, université d'australie, 1998) et la plate-forme collaborative du projet **Studiers-tube** [46] (Graz University of Technology, Université de Vienne, 2004).
<figure><img src="image_9.png" /><figcaption>FIG. 8: Prototype réalisé du projet Tinmith [43]</figcaption></figure>

Débuté en 2000, le projet "ARCHEOGUIDE : Augmented Reality-based Cultural Heritage On-site GUIDE" [14] vise à concevoir de nouvelles méthodes interactives pour l'accès aux informations sur l'héritage culturel. Ce système est composé essentiellement d'un ordinateur portable, d'un casque HMD, d'écouteurs, d'un microphone et d'une caméra. En fonction de la position du visiteur sur le site, ARCHEOGUIDE filtre les informations n'affichant que celles qui correspondent aux monuments perçus par l'utilisateur. De plus, l'interface développée permet de choisir entre plusieurs thèmes (en différentes langues) et supports multimédia. ARCHEOGUIDE offre surtout la possibilité de visualiser en 3D les parties endommagées des vestiges reconstruits en images de synthèse.

<figure><img src="image_10.png" /><figcaption>FIG. 9: Reconstruction 3D d'un temple grec fournie par le système ARCHEOGUIDE [14]</figcaption></figure>

## 6.3 Applications pour l'architecture et la construction

Mené au sein de l'université du Michigan (département d'ingénierie civil et environnemental), la plate-forme UM-AR-GPS-ROVER [3] permet de visualiser des modèles virtuels de construction dans un environnement urbain (dans des chantiers de construction par exemple). Le système se compose d'un récepteur GPS associé à un capteur d'orientation (une centrale inertielle), d'un casque de visualisation HMD, d'une caméra, et d'un ordinateur portable.

<figure><img src="image_11.png" /><figcaption>FIG. 10: Exemples d'augmentation pour la construction [3]</figcaption></figure>

## 6.4 Applications pour le divertissement et les jeux

ARQuake [42] représente l'un des premiers systèmes qui offre à des utilisateurs la possibilité de jouer à un jeu s'appuyant sur

la réalité augmentée en extérieur. Ce dernier est une adaptation du célèbre jeu Quake apparu en 1996. Le but du projet est de construire un jeu qui se déroule dans un environnement réel dans lequel le joueur peut se mouvoir librement. À partir de la position de sa tête et de l'orientation de son regard, les objets virtuels (des monstres par exemple) sont alignés sur son point vue à travers un casque de visualisation semi-transparent. La pose est obtenue en combinant les données du capteur inertiel avec le résultat du suivi visuel basé sur la librairie ARToolkit. Une base de données contenant les modèles 3D de tous les bâtiments est créé afin de permettre l'évolution des joueurs dans l'espace de jeu. Depuis, d'autres jeux intéractifs utilisant la RA ont vu le jour, tel que Game-City [7], Human Pacman [6].

<figure><img src="image_12.png" /><figcaption>FIG. 11: Le jeu ARQuake [42]</figcaption></figure>

## 6.5 Applications pour la visualisation de données

La plate-forme ARVino [27] utilise la RA afin de visualiser des données GIS de viticulture. Le système ARVino est disposé sur un trépied composé d'une table pivotante. Il est constitué d'un ordinateur portable, d'une caméra vidéo, d'un récepteur GPS et d'un détecteur magnétique d'orientation.

<figure><img src="image_13.png" /><figcaption>FIG. 12: La plate-forme ARVino [27]</figcaption></figure>

Parmi les derniers projets en date, le projet Vidente [37] a été lancé en Avril 2006 suite à une collaboration entre Institute of Computer Graphics and Vision (ICG) et GRINTEC GmbH. Le projet à pour but de développer une solution de réalité augmentée mobile pour la visualisation 3D des caractéristiques du sous-sol. Les utilisateurs seront équipés d'un composant mobile (une mini-tablette PC). Suivant la position et l'orientation de ce dernier, l'utilisateur visualisera en temps réel le réseau de câbles et de tuyaux enfouis sous terre sous forme de graphiques 3D. L'affichage sur l'écran de la tablette PC superpose la vision du monde réel avec les graphiques générés par ordinateur à partir des données GIS. L'objectif du projet est de fournir un outil supplémentaire aux solutions GIS mobiles existantes, et de contribuer ainsi à un traitement optimisé pour l'accès aux données.
<figure><img src="image_14.png" /><figcaption>FIG. 13: Projet Vidente [37]</figcaption></figure>

## 7 CONCLUSION

La réalité augmentée en extérieur présente de nombreux enjeux que ce soient sur le plan technologique (capteurs, terminaux mobiles, etc.), méthodologique (techniques de localisation 3D, génération d'environnement 3D, visualisation et interaction 3D) ou industriel. La mise en œuvre de tels systèmes nécessite la résolutions des problèmes scientifiques spatifiques à la RA mobile, à savoir la localisation, la visualisation et l'interaction 3D.

L'étude présentée dans cet article rentre dans le cadre du projet **RAXENV** (Réalité Augmentée en eXtérieur appliquée aux sciences de l'ENVironnement). L'eujeu de ce projet est de démontrer la faisabilité d'S'un système de réalité augmentée en extérieur dans le domaine des sciences et techniques de l'environnement, que ce soit en termes de technologie mais aussi d'adoption par les utilisateurs finaux. **RAXENV** est un projet exploratoire soutenue par l'ANR (Agence National de Recherche), dont les principaux objectifs sont :

- Développement d'un système de localisation de capteurs et de calage virtuel/réel, tolérant aux pertes de marqueurs et à l'ajout dynamique de marqueurs de position via un terminal mobile,

- Mise en oeuvre d'un système d'acquisition et de représentation de données géolocalisées distantes

- Élaboration de méthodes de représentation d'S'objets en subsurface (sondages, tuyaux, cavités,...) dans un environnement de réalité augmentée.

- Élaboration de méthodes d'S'interactions avec ces données (interrogation).

D'un point de vue scientifique, Le projet **RAXENV** se démarque des approches classiques en réalité augmentée, souvent utilisée dans des milieux industriels, par son utilisation en extérieur, dans des milieux mal connus, et par l'utilisation comme source de données de recalage d'outils largement utilisés dans le milieu professionnel, à savoir les Systèmes d'Information Géographiques (SIG). Il explore aussi les moyens d'interaction avec ses données en situation de mobilité, où l'usage des dispositifs de type clavier/souris est impossible ou tout au moins inadapté.

## RÉFÉRENCES

[1] T. Auer, S. Brantner, and A. Pinz. The integration of optical and magnetic tracking for multi-user augmented reality.

[2] R. Azuma, B. Hoff, H. N. Iii, and R. Sarfaty. A motion-stabilized outdoor augmented reality system. In *VR '99 : Proceedings of the IEEE Virtual Reality*, page 252, Washington, DC, USA, 1999. IEEE Computer Society.

[3] A. Behzadan and V. Kama. Visualization of construction graphics in outdoor augmented reality. In *Source Winter Simulation Conference, Proceedings of the 37th conference on Winter simulation*, page 1914–1920, Orlando, Florida, 2005. Winter Simulation Conference.

[4] E. Bier. Skitters and jacks : Interactive 3d positioning tools. In *Workshop on Interactive 3D Graphics*, pages 183–196. ACM, 1986.

[5] M. Chen, S. J. Mountford, and A. Sellen. A study in interactive 3-d rotation using 2-d control devices. In *SIGGRAPH '88 : Proceedings of the 15th annual conference on Computer graphics and interactive techniques*, pages 121–129, New York, NY, USA, 1988. ACM Press.

[6] A. Cheok, K. Goh, W. Liu, F. Farbiz, S. Fong, S. Teo, Y. Li, and X. Yang. Human PACMAN : a mobile, wide-area entertainment system based on physical, social, and ubiquitous computing. In *Source Personal and Ubiquitous Computing archive Volume 8,Issue 2*, London, UK, 2004. Springer.

[7] A. Cheok, F. Wan, X. Yang, W. Weihua, L. Huang, M. Billinghurst, and H. Kato. Game-city : a ubiquitous large area multi-interface mixed reality game space for wearable computers. In *Sixth International Symposium on Wearable Computers*, pages 156–157, 2002.

[8] Y. Cho, J. Lee, and U. Neumann. A multi-ring color fiducial system and an intensity-invariant detection method for scalable fiducial-tracking augmented reality. In *IWAR*, page 1998.

[9] A. Comport, F. Marchand, and F. Chaumette. A real-time tracker for markerless augmented reality. In *ACM/IEEE Int. Symp. on Mixed and Augmented Reality, ISMAR'03*, pages 36–45, Tokyo, Japan, October 2003.

[10] N. Cornelis, B. Leibe, K. Cornelis, and L. V. Gool. 3d city modeling using cognitive loops. In *3DPVT '06 : Proceedings of the Third International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT'06)*, pages 9–16, Washington, DC, USA, 2006. IEEE Computer Society.

[11] J. Didier, S. Otmane, and M. Mallem. A component model for augmented/mixed reality applications with reconfigurable data-flow. In *8th International Conference on Virtual Reality (VRIC 2006)*, pages 243–252, Laval (France), April 26-28 2006.

[12] T. Drummond and R. Cipolla. Real-time tracking of complex structures for visual servoing. In *Workshop on Vision Algorithms*, pages 69–84, 1999.

[13] D. Fallmana, A. Lund, and M. Wiberg. Scrollpad : Tangible scrolling with mobile devices. In *HICSS '04 : Proceedings of the Proceedings of the 37th Annual Hawaii International Conference on System Sciences (HICSS'04)* - Track 9, page 90286.3, Washington, DC, USA, 2004. IEEE Computer Society.

[14] T. Gleue and P. Daehne. Design and implementation of a mobile device for outdoor augmented reality in the archeoguide project. In *Virtual Reality, Archaeology, and Cultural Heritage International Symposium*, Glyfada, Nr Athens, Greece, 28-30 2001.

[15] M. Hachet, J. Pouderoux, and P. Guitton. A camera-based interface for interaction with mobile handheld computers. In *Proceedings of I3D'05 - ACM SIGGRAPH 2005 Symposium on Interactive 3D Graphics and Games*, pages 65–71. ACM Press, 2005.

[16] M. Hachet, J. Pouderoux, F. Tyndiuk, and P. Guitton. "jump and refine" for rapid pointing on mobile phones. In *CHI '07 : Proceedings of the SIGCHI conference on Human factors in computing systems*, pages 167–170, New York, NY, USA, 2007. ACM Press.

[17] G. Hager and P. Belhumeur. Efficient region tracking with parametric models of geometry and illumination. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, 20(10):1025–1039, 1998.

[18] M. Hancock, S. Carpendale, and A. Cockburn. Shallow depth 3d interaction : Design and evaluation of one-, two-, and three-touch techniques. In *Proceedings of ACM CHI'2007 Conference on Human Factors in Computing Systems*. San Jose, CA, 2007.

[19] K. Hinckley, P. Baudisch, G. Ramos, and F. Guimbretiere. Design and analysis of delimiters for selection-action pen gesture phrases inscriboli. In *CHI '05 : Proceedings of the SIGCHI conference on Human factors in computing systems*, pages 451–460, New York, NY, USA, 2005. ACM Press.

[20] W. Hoff, T. Lyon, and K. Nguyen. Computer vision-based registration techniques for augmented reality. volume 2904, pages 538–548. Proc. of Intelligent Robots and Computer Vision XV, In Intelligent Systems et Advanced Manufacturing, SPIE., Nov. 19-21 1996.

[21] D. Hoiem, A. Efros, and M. Hebert. Automatic photo pop-up. *ACM SIGGRAPH 2005 / ACM Transactions on Graphics*, 2005.

[22] T. Hollerer, S. Feiner, T. Terauchi, G. Rashid, and D. Hallaway. Exploring mars : Developing indoor and outdoor user interfaces to a mobile augmented reality system. *Computers and Graphics*, Elsevier Public
shers, 23(6):779-785, December 1999.

[23] S. Julier, Y. Baillot, M. Lanzagorta, D. Brown, and L. Rosenblum. Bars: Battlefield augmented reality system. In *NATO Symposium on Information Processing Techniques for Military Systems*, Istanbul, Turkey, 9-11 October 2000.

[24] F. Jurie and M. Dhome. Real time 3d template matching.

[25] H. Kato and M. Billinghurst. Marker tracking and hmd calibration for a video-based augmented reality conferencing system. In *IWAR '99: Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality*, page 85, Washington, DC, USA, October 1999. IEEE Computer Society.

[26] A. Khan, B. Komalo, J. Stam, G. Fitzmaurice, and G. Kurtenbach. Hovercam: interactive 3d navigation for proximal object inspection. In *13D '05: Proceedings of the 2005 symposium on Interactive 3D graphics and games*, pages 73-80, New York, NY, USA, 2005. ACM Press.

[27] G. King, W. Piekarski, and B. Thomas. Arvino - outdoor augmented reality visualisation of viticulture GIS data. In *Proceedings of the Fourth IEEE and ACM International Symposium on Mixed and Augmented Reality*, OCT 2005.

[28] D. Koller, G. Klinker, E. Rose, D. Breen, R. Whitaker, and M. Tucevski. Real-time vision-based camera tracking for augmented reality applications. In D. Thalmann, editor, *ACM Symposium on Virtual Reality Software and Technology*, New York, NY, 1997. ACM Press.

[29] F. Lafarge, X. Descombes, J. Zerubia, and M. Pierrot-Deseilligny. Modèle paramétrique pour la reconstruction automatique en 3d de zones urbaines denses à partir d'images satellitaires haute résolution. *Revue Française de Photogrammétrie et de Télédétection (SFPT)*, 180:4-12, 2005.

[30] V. Lepetit, L. Vaccetti, and P. F. D. Thalmann. Fully automated and stable registration for augmented reality applications. In *ISMAR '03: Proceedings of the The 2nd IEEE and ACM International Symposium on Mixed and Augmented Reality*, page 93, Washington, DC, USA, 2003. IEEE Computer Society.

[31] B. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision. In *IJCAI81*, pages 674-679, 1981.

[32] B. MacIntyre and S. Feiner. Language-level support for exploratory programming of distributed virtual environments. In *CM Symp. on User Interface Software and Technology*, pages 83-95, Seattle, WA, November 6-8 1996.

[33] B. MacIntyre, M. Gandy, S. Dow, and J. Bolter. Dart: A toolkit for rapid design exploration of augmented reality experiences. In *User Interface Software and Technology*, Sante Fe, New Mexico, 2004.

[34] J. Mackinlay, S. Card, and G. Robertson. Rapid controlled movement through a virtual 3d workspace. In *Proceedings of the 17th annual conference on Computer graphics and interactive techniques*, pages 171-176. ACM Press New York, NY, USA, 1990.

[35] J.-E. Marvie. Visualisation Interactive d'Environnements Virtuels Complexes à travers des Réseaux et sur des Machines à Performances Variables. PhD thesis, INSA, de Rennes, France, 2004.

[36] L. Masson, M. Dhome, and F. Jurie. Contour/texture approach for visual tracking. In *Scandinavian Conference on Image Analysis*, 2003.

[37] E. Mendez, D. Kalkofen, and D. Schmalstieg. Interactive context-driven visualisation tools for augmented reality. In *International Symposium of Mixed and Augmented Reality*, pages 209-216, Santa Barbara, California, USA, October 22-25.

[38] P. Müller, P. Wonka, S. Haegler, A. Ulmer, and L. V. Gool. Procedural modeling of buildings. 25(3):614-623, 2006.

[39] P. Müller, G. Zeng, P. Wonka, and L. V. Gool. Image-based procedural modeling of facades. 26(3), 2007.

[40] G. Nielson and D. O. Jr. Direct manipulation techniques for 3d objects using 2d locator devices. In *SI3D '86: Proceedings of the 1986 workshop on Interactive 3D graphics*, pages 175-182, New York, NY, USA, 1987. ACM Press.

[41] W. Piekarski, B. Avery, B. Thomas, and P. Malbezin. Hybrid indoor and outdoor tracking for mobile 3d mixed reality. ismar, 00:266, 2003.

[42] W. Piekarski and B. Thomas. Arquake: the outdoor augmented reality gaming system. *Communications of the ACM*, 45(1):36-38, 2002.

[43] W. Piekarski, B. Thomas, and B. H. Tinmith-evo5 - an architecture for

supporting mobile augmented reality environments. In *2nd Int'l Symposium on Augmented Reality*, pages 177-178, New York, October 2001.

[44] J. Pouderoux. Création semi-automatique de modèles numériques de terrain - Visualisation et interaction du terminaux mobiles communaux. PhD thesis, Université Bordeaux 1, France, 2007.

[45] M. Pressigout and E. Marchand. Real-time 3d model-based tracking: Combining edge and texture information. In *IEEE Int. Conf. on Robotics and Automation, ICRA'06*, pages 2726-2731, Orlando, Florida, May 2006.

[46] G. Reitmayr and D. Schmalstieg. Collaborative augmented reality for outdoor navigation and information browsing. Technical Report TR-188-2-2003-28, 2003.

[47] J. Rekimoto and K. Nagao. The world through the computer: Computer augmented interaction with real world environments. In *symposium User Interface Software and Technology*, 1995.

[48] M. Ribo, P. Lang, H. Ganster, M. Brandner, C. Stock, and A. Pinz. Hybrid tracking for outdoor augmented reality applications. *IEEE Comput. Graph. Appl.*, 22(6):54-63, 2002.

[49] D. Robbins, E. Cutrell, R. Sarin, and E. Horvitz. Zonezoom: map navigation for smartphones with recursive view segmentation. In *AVI '04: Proceedings of the working conference on Advanced visual interfaces*, pages 231-234, New York, NY, USA, 2004. ACM Press.

[50] G. Simon, A. Fitzgibbon, and A. Zisserman. Markerless tracking using planar structures in the scene. In *Proc. International Symposium on Augmented Reality*, pages 120-128, Octobre 2000.

[51] A. State, G. Hirota, D. Chen, W. Garrett, and M. Livingston. Superior augmented reality registration by integrating landmark tracking and magnetic tracking. *Computer Graphics*, 30(Annual Conference Series):429-438, 1996.

[52] D. Stricker and T. Kettenbach. Real-time and markerless vision-based tracking for outdoor augmented reality applications. isar, 00:189, 2001.

[53] L. Vaccetti, V. Lepetit, and P. Fua. Combining edge and texture information for real-time accurate 3d camera tracking. In *ISMAR '04: Proceedings of the Third IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR'04)*, pages 48-57, Washington, DC, USA, 2004. IEEE Computer Society.

[54] C. Ware and S. Osborne. Exploration and virtual camera control in virtual three dimensional environments. In *Proceedings of the 1990 symposium on Interactive 3D graphics*, pages 175-183. ACM Press New York, NY, USA, 1990.

[55] H. Wuest, F. Vial, and D. Stricker. Adaptive line tracking with multiple hypotheses for augmented reality. In *ISMAR '05: Proceedings of the Fourth IEEE and ACM International Symposium on Mixed and Augmented Reality*, pages 62-69, Washington, DC, USA, 2005. IEEE Computer Society.

[56] K. Yee. Peephole displays: pen interaction on spatially aware handheld computers. In *CHI '03: Proceedings of the SIGCHI conference on Human factors in computing systems*, pages 1-8, New York, NY, USA, 2003. ACM Press.

[57] R. Zeleznik and A. Forsberg. Unicam - 2d gestural camera controls for 3d environments. In *Proceedings of Symposium on Interactive 3D Graphics*, pages 169-173, 1999.

[58] R. Zeleznik, A. Forsberg, and P. Strauss. Two pointer input for 3d interaction. In *Proceedings of the 1997 symposium on Interactive 3D graphics*, 1997.