# Interaction et collaboration pour la gestion de crise en utilisant des objets tangibles, de la réalité augmentée et de la réalité virtuelle

Aurélien Marchal, Louis-Pierre Bergé, Philippe Limousin, Radhouene Azzabi

## ► To cite this version:

Aurélien Marchal, Louis-Pierre Bergé, Philippe Limousin, Radhouene Azzabi. Interaction et collaboration pour la gestion de crise en utilisant des objets tangibles, de la réalité augmentée et de la réalité virtuelle. IHM'25 - 36e Conférence Internationale Francophone sur l'Interaction Humain-Machine, Nov 2025, Toulouse, France. hal-05312203

HAL Id: hal-05312203

https://hal.science/hal-05312203v1

Submitted on 13 Oct 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
Interaction and collaboration for crisis management using tangible objects,
augmented reality and virtual reality

Interaction et collaboration pour la gestion de crise en utilisant des objets
tangibles, de la réalité augmentée et de la réalité virtuelle

Aurélien MARCHAL

CEA, CEA Tech Occitanie, F-31670 Labège, France, aurelien.marchal@cea.fr

LOUIS-PIERRE BERGÉ

CEA, CEA Tech Occitanie, F-31670 Labège, France, louis-pierre.berge@cea.fr

PHILIPPE LIMOUSIN

CEA, CEA Tech Occitanie, F-31670 Labège, France, philippe.limousin@cea.fr

RADHOUENE AZZABI

CEA, CEA Tech Occitanie, F-31670 Labège, France, radhouene.azzabi@cea.fr

As part of the ANR Interplay project, we have developed innovative interactions and visualizations to enhance collaboration in crisis management. This article presents a demonstration based on a realistic case study: the floods in Aude in October 2018. We illustrate the use of tangible objects for editing icons on a map, augmented reality to enrich the display around a touch surface, and virtual reality for visualizing the crisis terrain in 3D point clouds. The demonstration focuses on the prevention and preparation phases, where various stakeholders need to collaborate, share information, and anticipate the evolution of the crisis.

CCS CONCEPTS • Human-centered computing • Human computer interaction (HCI) • Interaction techniques

**Additional Keywords and Phrases:** Collaboration, Crisis Management, Augmented Reality, Virtual Reality, Tangible Object

Dans le cadre du projet ANR Interplay, nous avons développé des interactions et visualisations innovantes pour améliorer la collaboration lors de la gestion de crise. Cet article présente une démonstration basée sur un cas d'application réaliste : les inondations dans l'Aude en octobre 2018. Nous illustrons l'utilisation d'objets tangibles pour l'édition d'icônes sur une carte, de la réalité augmentée pour enrichir l'affichage autour d'une surface tactile, et de la réalité virtuelle pour visualiser le terrain de la crise en nuage de points 3D. La démonstration se concentre sur les étapes de prévention et de préparation, où plusieurs acteurs doivent collaborer, partager des informations et anticiper l'évolution de la crise.

Mots-clés additionnels : Collaboration, gestion de crise, réalité augmentée, réalité virtuelle, objet tangible

ACM Reference Format:

First Author's Name, Initials, and Last Name, Second Author's Name, Initials, and Last Name, and Third Author's Name, Initials, and Last Name. 2018. The Title of the Paper: ACM Conference Proceedings Manuscript Submission Template: This is the subtitle of the paper, this document both explains and embodies the submission format for authors using Word. In Woodstock '18: ACM Symposium on Neural Gaze Detection, June 03–05, 2018, Woodstock, NY. ACM, New York, NY, USA, 10 pages. NOTE: This block will be automatically generated when manuscripts are processed after acceptance.
# 1. INTRODUCTION

Dans le cadre du projet ANR Interplay, nous avons développé différentes interactions et visualisations pour la collaboration pour la gestion de crise. La gestion de crise vise à résoudre les problèmes (par exemple, réduire les effets et prévenir l'apparition de risques) afin de revenir à une situation stable. La gestion des crises peut être divisée en quatre étapes principales : la prévention, la préparation, la réponse à la crise et le rétablissement. Au cours de ces étapes, plusieurs parties prenantes doivent collaborer, partager des informations, comprendre la situation et anticiper son évolution afin de stabiliser la situation et de réduire le nombre d'effets possibles. En outre, la gestion des crises exige de prendre des décisions complexes dans des conditions de stress et sur la base d'informations incertaines, incomplètes et éventuellement incohérentes, en particulier au cours de l'étape de réponse à la crise.

L'objectif de cette démonstration est de montrer sur un cas d'application réaliste de gestion de crise, à savoir les inondations dans l'Aude en octobre 2018 [2,3], l'utilisation de techniques d'interaction et de collaboration pouvant faciliter le travail d'équipier de crise au sein d'une cellule de crise travaillant plus spécifiquement sur l'anticipation de la crise. Nous montrerons l'usage d'objets tangibles pour l'édition d'icônes sur une carte, de la réalité augmentée pour l'augmentation d'affichage autour d'une surface tactile, et de la réalisation virtuelle pour la visualisation du terrain de la crise en nuage de points 3D.

# 2. VISUALISATIONS ET INTERACTIONS

Le contexte de notre démonstration est une cellule de crise en charge de l'anticipation des inondations dans l'Aude en octobre 2018 (étapes prévention et préparation). Notre objectif est de proposer des solutions innovantes d'interaction et de collaboration pour faciliter le travail des équipiers de cette cellule de crise située au niveau d'une préfecture. Cette cellule contient une surface tactile horizontale de 1.96m par 1.16m posée sur pied réglable en hauteur, un écran tactile vertical de 55 pouces, plusieurs objets tangibles, et deux casques MetaQuest 3 permettant de l'interaction en réalité augmentée et/ou virtuelle.

## 2.1. Objets Tangibles

<figure><img src="image_2.png" /><figcaption>Figure 1 : Object tangible posé sur une table pour ajouter un hélicoptère sur une carte.</figcaption></figure>

Cette partie de la démonstration est une application concrète de notre libraire *react-tangible-object* [en cours de publication à IHM2025] permettant l'utilisation d'objets tangibles posés sur une surface tactile. Les objets tangibles sont des volumes en plastique de forme variable qui possèdent 3 picots sur une même face que l'on peut poser sur
une table tactile. Nous avons développé une solution pour reconnaître ces objets grâce aux écartements entre leurs picots qui sont uniques à chacun d'entre eux. Cette solution nous permet ensuite de coder des interactions différentes pour chaque objet tangible. Par exemple, pour notre cas d'application, les différents intervenants sont amenés à placer des moyens (ambulance, bus, hélicoptère...) sur la carte. Pour cela, il suffit de poser l'objet tangible qui correspond à l'ajout des moyens et de sélectionner le moyen souhaité en tournant l'objet tangible. Pour effacer des moyens, il suffit de prendre l'objet tangible « gomme » et de le poser au-dessus du moyen que l'on veut supprimer. On peut aussi avancer et remonter dans le déroulement de la crise en prenant l'objet tangible contrôlant la gestion du temps et en le faisant tourner.

## 2.2. Réalité augmentée

<figure><img src="image_3.png" /><figcaption>Figure 2: (Gauche) - Représentation 3D des bâtiments au-dessus de la carte. Les utilisateurs peuvent pointer la représentation 3D pour avoir des informations supplémentaires sur le bâtiment. (Milieu) - 2 fenêtres virtuelles placées sur deux meubles. (Droite) - Graphiques des hauteurs d'eau mesurées par les stations hydrauliques représentées sur la carte par des marqueurs rouges.</figcaption></figure>

Afin d'augmenter l'affichage de la carte, nous avons développé une application en réalité augmentée. Une représentation 3D minimaliste est affichée au-dessus des icônes des bâtiments, des victimes et des moyens sur la carte. En pointant sur la représentation 3D, l'utilisateur en réalité augmentée a accès à des informations supplémentaires sans avoir à interagir avec la carte. La réalité augmentée permet à l'utilisateur d'avoir toutes les informations disponibles à tout le monde sur la carte et, s'il le souhaite, avoir des informations complémentaires sans avoir à déranger tous les autres utilisateurs (cf. Figure 2 - Gauche).

Les utilisateurs en réalité augmentée peuvent aussi afficher autant d'écrans virtuels qu'ils le souhaitent autour d'eux. Ces écrans permettent d'afficher encore plus d'informations, mais aussi de réaliser des actions comme déployer des moyens ou prendre en charge une victime. Afin de positionner rapidement ces écrans dans la pièce, l'utilisateur peut sélectionner l'écran virtuel puis pointer un meuble dans la pièce pour que l'écran s'accroche au meuble. Cette interaction permet à l'utilisateur de réorganiser en quelques secondes son espace de travail virtuel en utilisant les meubles autour de lui comme repères pour changer les écrans de position (cf. Figure 2 - Milieu).

Une autre utilisation de la réalité augmentée est une application directe des travaux sur l'organisation spatiale de données autour d'une maquette [1]. Dans notre démonstration, nous affichons les hauteurs d'eau mesurées à chaque station hydraulique présente sur la carte. La position des graphiques de hauteur d'eau correspond à la position des stations hydrauliques sur la carte, ce qui permet à l'utilisateur de comprendre la correspondance. Cet
affichage permet de scanner rapidement une grande quantité de données spatialisées, et dans notre cas, de repérer rapidement si une des stations hydrauliques mesure des hauteurs d'eau anormales (cf. Figure 2 – Droite).

## 2.3. Nuage de points en réalité virtuelle et collaboration en réalité augmentée

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /><figcaption>Figure 3: (Gauche) - Nuage de points provenant des données LidarHD, affiché en réalité virtuelle. (Droite) - Affichage des manettes d'un autre utilisateur pointant sur la carte.</figcaption></figure>

Un des intérêts principaux des casques de réalité virtuelle ou augmentée est d'avoir une représentation en 3D du terrain lors de la gestion de la crise. Pour cela, nous avons utilisé les données Lidar HD de l'IGN<fnref n="1" /> qui sont des scans en nuages de points du territoire français. Cela nous permet d'avoir une représentation de l'élévation du terrain de la zone affichée sur la carte. Ces nuages de points peuvent être visualisés grâce à un casque de réalité virtuelle. Nous avons utilisé une technologie du CEA<fnref n="2" /> pour afficher une grande quantité de points de façon fluide. Les utilisateurs souhaitant visualiser l'élévation du terrain grâce aux nuages de points doivent donc obligatoirement être en réalité virtuelle (cf. Figure 3 – Gauche).

Afin de permettre aux utilisateurs en réalité virtuelle de collaborer avec d'autres personnes en réalité virtuelle ou augmentée, nous affichons la position et la rotation des manettes de chaque utilisateur relativement à l'endroit où ils pointent sur la carte. Par exemple, si un utilisateur en réalité augmentée pointe avec sa manette sur un bâtiment sur la carte, une manette pointant sur le même bâtiment sur le nuage de points apparaîtra pour les utilisateurs en réalité virtuelle et vice versa (cf. Figure 3 – Droite).

## REMERCIEMENT

Nous souhaitons remercier tous les membres du projet InterPlay pour leurs feedbacks sur nos développements et nos démonstrations.

Cette recherche a bénéficié d'un financement du gouvernement français géré par l'Agence Nationale de la Recherche (ANR) dans le cadre du Projet de recherche collaborative (PRC) subvention ANR-21-CE33-0022 (InterPlay).

<footnote n="1">¹ https://geoservices.ign.fr/lidarhd</footnote>

<footnote n="2">² https://www.stipple-software.com/fr</footnote>
REFERENCES

1. Mohamed Reda Benkhelifa, Emmanuel Dubois, Louis-Pierre Bergé, and Marcos Serrano. 2025. Augmented urban models: Investigating how data layout and link to the physical referent impact visual search in augmented reality. *International Journal of Human-Computer Studies* 203: 103556. https://doi.org/10.1016/j.ijhcs.2025.103556

2. Mélanie Secheppet, Philippe Bouillet, Aurélia Bony-Dandrieux, and Jérôme Tixier. 2021. Questionner l'activité d'observateur d'exercice de crise pour accompagner le développement d'un outil numérique d'aide à l'observation. In *Les Entretiens du Risque 2021 "Activités et crises : les métiers du risque face aux enjeux de la société - Quels apports et quelles questions ?"*. Retrieved July 16, 2021 from https://hal.science/hal-03435318

3. Sébastien Truptil, Philippe Limousin, Louis-Pierre Bergé, Radhouene Azzabi, and Hubert Dubois. 2020. Towards a Unified Approach of Interoperability to Facilitate the Transfer from Research to Industry: Application to Crisis Management. In *Interoperability for Enterprise Systems and Applications Workshops co-located with 10th International Conference on Interoperability for Enterprise Systems and Applications (I-ESA 2020)*. Retrieved from https://ceur-ws.org/Vol-2900/WS3Paper1.pdf