# Couplage et contrôle de points de vue en réalité mixte collaborative: la notation graphique (Point de Vue)*-PV*

Thomaz Fèvre, Adrien Chaffangeon Caillet, Cédric Fleury, Laurence Nigay

► To cite this version:

Thomaz Fèvre, Adrien Chaffangeon Caillet, Cédric Fleury, Laurence Nigay. Couplage et contrôle de points de vue en réalité mixte collaborative: la notation graphique (Point de Vue)*-PV*. IHM'25 - 36e Conférence Internationale Francophone sur l'Interaction Humain-Machine, AFIHM; Université de Toulouse; ENAC, Nov 2025, Toulouse, France. 10.1145/3765712.3765723. hal-05294806

HAL Id: hal-05294806

https://hal.science/hal-05294806v1

Submitted on 2 Oct 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Coupling and controlling viewpoints in collaborative mixed reality: the (Point of View)* - PV* graphical notation
## Couplage et contrôle de points de vue en réalité mixte collaborative : la notation graphique (Point de Vue)* - PV*

Thomaz Fèvre

thomaz.fevre@imt-atlantique.fr

IMT Atlantique, Lab-STICC, UMR CNRS 6285

Brest, France

Cédric Fleury

cedric.fleury@imt-atlantique.fr

IMT Atlantique, Lab-STICC, UMR CNRS 6285

Brest, France

Adrien Chaffangeon Caillet

adrien.chaffangeon@univ-grenoble-alpes.fr

Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG

Grenoble, France

Laurence Nigay

laurence.nigay@univ-grenoble-alpes.fr

Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG

Grenoble, France

## Abstract

Mixed Reality (MR) is increasingly being studied for synchronous remote collaboration in various fields, from industrial maintenance to education. It allows to combine virtual reality, augmented reality, and 2D interfaces to visualize and share real and virtual content. The notion of coupling of collaborative activities, central to studies of Computer-Supported Cooperative Work (CSCW) applications, takes various forms with MR due to its 3D and immersive characteristics, as well as the heterogeneity of interactive technologies. To cope with this diversity, we propose a graphical notation, PV*, that precisely describes the coupling relationships between multiple viewpoints on physical or virtual views, as well as their control by collaborators. We study the descriptive power of PV* by describing several collaborative situations from the literature and discuss its generative power by exploring several design possibilities described with PV*.

## Résumé

La Réalité Mixte (RM) est de plus en plus étudiée pour collaborer à distance de façon synchrone dans de nombreux domaines, de la maintenance industrielle à l'éducation. Elle permet de combiner des technologies de réalité virtuelle, de réalité augmentée, ainsi que des interfaces 2D, pour visualiser et partager du contenu réel et virtuel. La notion de couplage de l'activité, centrale aux études des collecticiels, prend des formes variées avec la RM du fait de ses caractéristiques 3D et immersives, ainsi que de l'hétérogénéité des technologies interactives. Face à cette diversité, nous proposons une notation graphique, PV*, décrivant précisément les relations de couplage entre les points de vue sur des vues physiques ou virtuelles, ainsi que leur contrôle par les personnes collaborant. Nous étudions le pouvoir descriptif de PV* en décrivant plusieurs situations collaboratives de la littérature et illustrons son pouvoir génératif en explorant plusieurs alternatives de conception décrites avec PV*.

## Keywords

Mixed Reality, Collaboration, Point of View, Coupling, Control.

## Mots clés

Réalité mixte, collaboration, point de vue, couplage, contrôle.

## Reference Format:

Thomaz Fèvre, Adrien Chaffangeon Caillet, Cédric Fleury, and Laurence Nigay. 2025. Coupling and controlling viewpoints in collaborative mixed reality: the (Point of View)* - PV* graphical notation. In IHM '25 : Articles Scientifiques de la 36e conférence Francophone sur l'Interaction Humain-Machine, Novembre 4-7, 2025, Toulouse, France., 16 pages. https://doi.org/10.1145/3765712.3765723

# 1 Introduction

Parmi les systèmes collaboratifs tel que décrits par la matrice espace-temps proposée par Johansen [21], nos travaux concernent les systèmes collaboratifs synchrones à distance en réalité mixte. Les domaines d'application sont nombreux : pour ne citer qu'un exemple, dans le domaine médical, en situation d'urgence où les conseils d'un expert sont requis, mais qu'aucun n'est disponible sur place, la téléassistance peut permettre de connecter l'expert à la salle d'opération et lui permettre de collaborer avec les chirurgiens qui sont présents dans la salle d'opération [15].

Fildalgo et al. [13] définissent la collaboration synchrone à distance comme étant une situation collaborative où les utilisateurs échangent des informations en temps réel, tout en étant localisés dans des espaces physiques différents. Dans ces espaces différents, les utilisateurs doivent partager des informations pour pouvoir collaborer. Lors de tâches physiques, par exemple, le partage d'information visuelle et auditive est fondamental [47]. Nous étudions ce partage en considérant le degré de couplage des points de vue sur les informations. Au sein des systèmes collaboratifs, le couplage, un concept étudié de longue date dans la communauté [41], traduit la dépendance des utilisateurs dans leurs activités pour réaliser une tâche. Le couplage peut être défini au niveau activité [33], traduisant la dépendance ou non du travail des utilisateurs. Par exemple, la conséquence des actions d'un utilisateur a un impact fort sur la charge de travail d'un autre utilisateur. Le couplage
a aussi été largement étudié au niveau de l'interface utilisateur [10]. Ainsi, le couplage est souvent associé à la notion de « What You See Is What I See » (WYSIWIS) [41] qu'il soit strict ou relâché selon le degré de couplage. Nous focalisons sur le couplage de points de vue dans le cas de systèmes collaboratifs de Réalité Mixte (RM).

Les avancées technologiques de RM, en particulier celles immer-
sives, offrent de nombreuses possibilités pour la collaboration à
distance et ont apporté un nouveau souffle aux travaux de recherche
sur la collaboration synchrone à distance [22, 47]. L'état de l'art des
systèmes collaboratifs en RM établi par Sereno et al. [40], souligne la
symétrie ou asymétrie de rôles des personnes collaborant, mais aussi
la diversité des dispositifs d'interaction qui peuvent être différents
d'une personne à l'autre, en d'autres termes l'asymétrie des tech-
nologies interactives. Cette diversité des dispositifs d'interaction
pour la collaboration (casques de RV-RA, PC, tablettes, téléphones,
caméras) et le caractère hétérogène des environnements de collabo-
ration, qui en découle, multiplient les points de vue sur les données
(physiques et/ou numériques) : le concept de point de vue devient
alors un concept central pour étudier l'espace visuel partagé. Nous
définisons un point de vue (PDV) comme étant un élément d'un
espace visuel : le PDV est un point avec une orientation dans un
espace 3D renvoyant une vue de cette espace. Ainsi, l'espace vi-
suel peut être statique avec un ou des PDV fixes ou dynamique
avec un ou des PDV ayant des positions variables [37]. Or les nota-
tions actuelles [7, 31] pour décrire les situations collaboratives ne
décrivent pas les relations entre les PDV.

Face à cette diversité de possibilités de couplage de PDV et
l'absence de notation pour appréhender cette diversité, nous pro-
posons (Point de Vue)* ou PV*, une notation graphique permettant
de décrire précisément le couplage de PDV, ainsi que le contrôle de
ses PDV par des personnes collaborant de façon synchrone en RM.
Cette notation a, non seulement, pour but de faciliter la définition
et la compréhension des formes de couplage dans les systèmes col-
laboratifs existants de RM, mais aussi de faciliter la comparaison
entre ces systèmes. De plus, la notation peut servir de base pour la
conception de systèmes collaboratifs de RM offrant de nouvelles
formes de couplage et contrôle de PDV. Ainsi, PV* est principale-
ment destiné aux chercheurs, mais peut également être utile aux
concepteurs de systèmes collaboratifs.

Les éléments de la notation graphique PV* incluent des représen-
tations graphiques 1) pour les différents PDV selon la nature de
la vue associée (2D, 3D, physique, virtuelle, immersive ou non), 2)
pour les acteurs qui contrôlent les PDV et 3) pour deux types de
relation, le couplage et le contrôle.

Dans cet article, nous commençons par souligner la diversité des
couplages de PDV dans les systèmes collaboratifs existants de RM
et introduisons les notations qui permettent de décrire des situa-
tions de collaboration. Nous présentons ensuite la notation PV*.
Nous étudions le pouvoir descriptif de PV* en décrivant des sys-
tèmes existants d'assistance à distance puis son pouvoir génératif
en présentant une plateforme qui permet d'explorer plusieurs alter-
natives basées sur les éléments constitutifs de PV*, ces alternatives
de conception correspondant à de nouvelles formes de couplage et
de contrôle de PDV en RM collaborative.

2 État de l'art

Cette revue de la littérature se concentre sur la collaboration à dis-
tance synchrone, et détaille, dans un premier temps, les techniques
de collaboration permettant le partage de PDV. Dans une seconde
partie, nous présentons des notations permettant de décrire des
situations de collaboration à distance.

2.1 Points de vue en collaboration

Généralement, dans les systèmes collaboratifs de RM, chaque utilisa-
teur a son propre point de vue sur l'environnement virtuel ou aug-
menté. Par exemple, dans le système proposé par Fleury et al. [14],
deux utilisateurs distants peuvent explorer indépendamment des
données scientifiques en réalité virtuelle. C'est aussi le cas lorsqu'un
utilisateur distant peut naviguer dans l'environnement réel de son
collaborateur grâce à une reconstruction 3D, comme dans le sys-
tème de Bai et al. [2]. De nombreux autres systèmes utilisent cette
approche où chacun est maître de son PDV, qui est donc indépen-
dant de celui de ses collaborateurs [20, 32, 38, 43, 45, 46, 49] (voir
Figure 1-D). C'est la configuration la plus basique où les utilisateurs
ne peuvent pas modifier directement le PDV de leurs collaborateurs.
Selon Tait et Billinghurst [44], cette indépendance des points de
vue peut se traduire par de meilleures performances en matière de
collaboration pour certaines tâches.

Cependant, il existe aussi de nombreuses situations collabora-
tives où les utilisateurs ont besoin de partager leurs points de vue
(PDV) sur l'environnement physique et/ou virtuel avec des col-
laborateurs distants. C'est particulièrement le cas dans les situ-
ations d'assistance ou d'entraînement à distance, comme celles
répertoriées par Fidalgo et al. [13]. Le partage de PDV permet aux
collaborateurs d'avoir des références communes et de faciliter ainsi
la communication, comme l'ont décrit Wang et al. [47]. Par ailleurs,

<figure><img src="image_2.png" /></figure>

Figure 1: 3 configurations de collaboration synchrone à dis-
tance en RM de l'état de l'art. (A) L'opérateur a toujours
un PDV indépendant dans les 3 configurations. Par contre,
l'expert peut avoir : (B) un PDV totalement dépendant de
celui de l'opérateur [39], (C) un PDV partiellement dépen-
dant de celui de l'opérateur (ici seulement en position) [27]
et (D) un PDV totalement indépendant [49].
dans ce contexte, il n'est pas rare d'avoir des situations collabo-
ratives asymétriques avec des collaborateurs évoluant dans des
environnements différents ou utilisant des dispositifs hétérogènes,
comme le montre l'état de l'art de Brehault et al. [5]. Ces systèmes
hétérogènes représentent un défi pour la communication entre les
collaborateurs, notamment lorsqu'il s'agit de leur permettre de
comprendre ce que voient les autres.

La RM a permis le développement de nouveaux systèmes, notamment pour partager un ou plusieurs PDV. Les scénarios d'assistance à distance mettent souvent en œuvre un opérateur, qui est l'utilisateur local devant la machine ou le contexte physique et un expert, qui est l'utilisateur distant assistant ou guidant cet opérateur. L'expert a souvent besoin d'un ou plusieurs PDV sur l'espace distant pour aider l'opérateur à accomplir ses tâches.

La configuration la plus commune consiste à transmettre le flux
vidéo de la vue de l'opérateur à l'expert. Elle a été étudiée dans une
variété de domaines d'application : médecine [15, 39, 48], mainten-
nance [4, 17, 18, 35, 50], industrie [11, 28, 51], co-conception [12],
éducation et entraînement [8, 42]. Dans ce cas de figure et sans
autre PDV, l'expert n'a aucun contrôle sur la vue (voir Figure 1-B).
L'opérateur contrôle sa propre vue et par la même occasion celle du
collaborateur distant. L'expert peut seulement modifier le contenu
de la vue en ajoutant des éléments virtuels. Néanmoins, il peut être
important, voir nécessaire que l'expert puisse contrôler son PDV
sur l'environnement de l'opérateur. Lanir et al. [23] ont comparé
la manipulation du PDV de l'expert par l'opérateur avec la manip-
ulation du PDV par l'expert lui-même. Ils ont montré que le PDV
devrait être contrôlé par celui ayant le plus de connaissance. Ils
n'ont cependant pas testé la manipulation du PDV de l'opérateur,
et ils n'ont pas utilisé des technologies immersives non plus.

Pour permettre à l'expert d'avoir plus de contrôle sur son PDV, une autre approche consiste à lui transmettre le flux vidéo d'une caméra 360° [25–27, 45]. Cela permet à l'expert non seulement de s'immerger dans l'environnement de l'opérateur en temps réel, mais aussi, de manipuler indépendamment la rotation de son PDV. Par contre, la translation du PDV est contrôlée par l'opérateur ou dépend de sa position dans l'environnement (voir Figure 1-C). Ces systèmes séparent le contrôle des paramètres du PDV selon la translation et la rotation. Cependant, ils n'ont testé qu'une configuration du contrôle dans laquelle l'expert à la main sur la rotation et l'opérateur sur la translation. De plus, Piumsomboon et al. [36] vont plus loin en divisant davantage les paramètres du PDV. Ils ont expérimenté trois conditions pour le contrôle du PDV : (i) 6-DoF (Degree of freedom), l'opérateur contrôle la rotation de la vue en plus, (ii) 4-DoF, il contrôle la rotation sur l'axe y (lacet), et (iii) 3-DoF, il ne contrôle que la translation. Enfin, Lee et al. [24] se sont intéressés à une situation collaborative avec 2 opérateurs et un expert et ils ont comparé trois configurations. Dans la première, l'expert a une vidéo 2D correspondant à la vue d'un opérateur, en ayant la possibilité de passer de l'un opérateur à l'autre. Dans la seconde, il a accès au flux vidéo d'une caméra 360° attachée sur la tête d'un opérateur, en ayant la possibilité de passer de l'un opérateur à l'autre. Dans la troisième, l'expert peut naviguer librement dans une reconstruction 3D de la scène, mais il peut aussi voir les deux vidéos 2D des vues des 2 opérateurs intégrées dans la scène. L'expérience menée dans ces travaux a montré que la reconstruction 3D augmentée avec les vidéos des opérateurs était plus efficace et préférée pour une

collaboration entre un expert et plusieurs opérateurs. Cependant,
l'expert ne peut pas contrôler les PDV des opérateurs.

Une autre façon de permettre à l'expert de contrôler son PDV est de lui permettre d'avoir accès à plusieurs PDV sur l'environnement distant de l'opérateur au travers de différentes vues. Oppermann et al. [34] ont introduit une seconde vue immersive pour l'expert. Il peut ainsi visualiser un jumeau numérique de l'environnement de l'opérateur en réalité virtuelle. Il maîtrise alors son propre PDV sur le contenu virtuel tout en gardant un œil sur la fenêtre affichant le PDV de l'opérateur. Par ailleurs, Fages et al. [12] ont comparé une vue vidéo augmentée à la première personne (caméra du casque RA de l'opérateur), une vue vidéo augmentée à la troisième personne (caméra fixe) et une vue purement virtuelle où l'expert pouvait naviguer librement. Ils ont montré que chacune des vues avait des avantages et des inconvénients en fonction de la tâche collaborative en cours. Ils ont donc proposé ARgus, un système qui combine ces trois vues et qui permet à l'expert distant de passer facilement de l'une à l'autre. Ils ont également démontré l'impact positif de ces changements de vue sur la collaboration. Enfin, Gasques et al. [16] présentent un système où l'expert a accès à une multitude de vues. Il a accès à 2 vues avec un PDV fixe non contrôlable (caméras fixes) et 3 vues dont le PDV est contrôlé par l'opérateur (caméras mobiles et caméra du casque RA de l'opérateur). L'expert n'a donc aucun contrôle sur ces vues. Cependant, il peut contrôler son PDV dans une reconstruction 3D immersive de l'environnement réel de l'opérateur. Dans ces trois cas, l'opérateur peut contrôler les PDV de l'expert, mais, généralement, l'expert ne peut pas contrôler ou guider le PDV de l'opérateur.

En synthèse, dans la plupart des cas, soit chaque collaborateur contrôle indépendamment son PDV, soit un opérateur contrôle son propre PDV, qui est ensuite retransmis à un expert distant. Il est aussi possible que cet expert ait des vues supplémentaires pour lui permettre d'avoir accès à plusieurs PDV et, éventuellement, contrôler librement un PDV sur un environnement virtuel qui est une réplique de celui de l'opérateur. Généralement, cette configuration des PDV est fixée tout au long de la collaboration, indépendamment de la dynamique de collaboration susceptible d'évoluer pendant la réalisation de la tâche. Cependant, ces systèmes n'exploitent pas tout le potentiel du couplage et du contrôle des PDV. Dans la suite de cet article, nous cherchons à explorer et décrire les différentes combinaisons qui permettraient à plusieurs collaborateurs de partager le contrôle partiel ou complet d'un ou plusieurs PDV.

## 2.2 Notations graphiques pour décrire la collaboration

A notre connaissance, il n'existe pas, dans la littérature, de notations décrivant les relations entre les points de vue des utilisateurs lors d'une collaboration à distance. En revanche, plusieurs notations ont déjà été proposées pour décrire des systèmes ou des situations collaboratives.

A partir d'une étude des systèmes de la littérature, Cools et al. [7] ont proposé un ensemble de patrons de conception (*design pattern*) permettant de caractériser les systèmes de RM qui impliquent plusieurs réalités et plusieurs utilisateurs. Une notation graphique est utilisée pour illustrer ces patrons de conception (voir Figure 2) : des cubes représentent chaque réalité, des
<figure><img src="image_3.png" /><figcaption>Figure 2: Diagramme décrivant un système de RM avec les patrons de conception multi-réalités proposés par Cools et al. [7]. Ce système permet la transition entre espaces de RM en utilisant un portail (droite) et un monde en miniature (gauche). Schéma issu de [7].</figcaption></figure>

pictogrammes (volume, surface, utilisateur ou objet) décrivent le contenu transféré entre réalités, des flèches indiquent la direction des relations entre réalités, et des liens permettent de préciser la façon d'afficher les contenus et leur origine. Un code couleur indique également s'il s'agit d'un environnement/contenu physique (cyan) ou d'un environnement/contenu virtuel (violet). Ce modèle permet de décrire facilement le contenu visible par un utilisateur, le support d'affichage de celui-ci et les relations avec les différentes réalités. Toutefois, la notation ne permet pas de définir les points de vue des utilisateurs, et les relations de couplage et de contrôle entre ces différents points de vue.

Domino [31] est une notation graphique permettant de décrire les activités collaboratives d'une équipe de personnes partiellement distribuées avec des personnes co-localisées et d'autres à distance. Elle permet de représenter, par une figure, la localisation des membres de l'équipe et leurs liens de collaboration à un moment donné (voir Figure 3). Deux styles de collaboration sont représentés : la collaboration "fortement couplée" (tightly coupled) lorsque des collaborateurs ne peuvent progresser qu'en interagissant ensemble (liens rouges), et la collaboration "faiblement couplée" (loosely coupled) lorsque des collaborateurs travaillent de manière indépendante avec une coordination implicite (liens bleus). Les figures peuvent également être répétées en mettant à jour les liens de collaboration et juxtaposées à la suite afin de capturer la dynamique de collaboration de l'équipe au cours du temps. Toutefois, cette notation se limite aux styles de collaboration des utilisateurs, mais ne permet pas de décrire plus précisément la façon dont ils partagent leurs points de vue. Même si on retrouve la notion de couplage, objet de nos travaux, cette notation ne permet pas de décrire finement le couplage des points de vue et leur contrôle par les utilisateurs.

<figure><img src="image_4.png" /><figcaption>Figure 3: Notation Domino [31] décrivant 4 situations collaboratives. Trait rouge : fortement couplé. Trait bleu : faiblement couplé. T: taille de l'équipe de personnes collaborant. L: nombre d'espaces. Schémas issus de [31].</figcaption></figure>

Pour résumer, deux notations graphiques existent dans la littérature. L'une permet de décrire le contenu visible par des utilisateurs en RM en explicitant les relations entre les objets/contenus des différents environnements physiques et virtuels. L'autre permet de décrire les styles et la dynamique de collaboration d'une équipe distribuée. En nous inspirant de ces deux notations, nous avons créé la notation PV\* pour décrire les différentes relations de couplage et contrôle entre les points de vue de plusieurs collaborateurs en RM.

## 3 Notation PV\*

La notation PV\* introduit trois types de composants : les points de vue (PDV), les acteurs associés, et les relations que ce soit entre les composants PDV et les acteurs ou entre les PDV eux-mêmes.

### 3.1 Point de vue et acteur associé

Nous définissons un point de vue (PDV) comme étant un point dans l'espace ayant une direction et un champ de vision sur une vue. Ce point et cette direction dans l'espace sont définis par un acteur qui est un utilisateur ou un objet physique comme une caméra. Avant d'introduire la notation pour représenter ces acteurs, nous introduisons les éléments de la notation pour décrire un point de vue selon sa vue associée. En effet, fortement lié au point de vue, une vue est définie comme l'affichage d'une réalité : le monde

<figure><img src="image_5.png" /><figcaption>Figure 4: Représentation des PDV. A) Support d'affichage des PDV. B) À gauche, un système de réalité mixte est représenté par deux PDV imbriqués, l'un sur le monde physique et l'autre sur le monde virtuel. À droite, point de vue 2D sur le monde virtuel de gauche (même couleur bleue). C) PDV 2D à droite lié à une vue du monde physique de gauche (même couleur rouge), lui-même perçu de façon immersive (cercle en gras de gauche). D) Deux PDV immersifs physiques sur des vues différentes (couleurs différentes). Chaque PDV immersif physique contient un PDV immersif virtuel sur une partie de la vue associée à l'autre PDV immersif physique.</figcaption></figure>
<figure><img src="image_6.png" /><figcaption>Figure 5: Représentation des acteurs et des PDV. A) Deux acteurs sont associés à un même environnement virtuel, chacun ayant un PDV distinct sur cet environnement virtuel. B) Collaboration à 3 acteurs, chacun ayant un PDV immersif, physique ou virtuel, sur des vues différentes. C) Un acteur non humain, une caméra, est représenté par un point et associé à un PDV immersif physique d'un acteur humain 1 ; le flux vidéo de cette caméra est par exemple représenté en 2D au sein de l'environnement immersif physique de l'acteur humain 2, dont l'environnement immersif physique est représenté en pointillé, car non impliqué dans la collaboration.</figcaption></figure>

physique ou un environnement virtuel. Chaque PDV est associé à une vue, mais une vue peut être associée à plusieurs PDV.

Selon la notation PV\*, chaque PDV est représenté par un symbole géométrique, un carré, ou un cercle complet ou partiel (◊). Un carré représente un PDV 2D, c'est-à-dire dont la vue associée est affichée sur un écran 2D (voir Figure 4-A). Un cercle représente un PDV immersif, c'est-à-dire dont la vue associée est une vue sur le monde physique ou une vue affichée grâce à un dispositif immersif de RM. Nous distinguons les PDV immersifs physiques des autres PDV par un contour en gras (voir Figure 4-A). Ils correspondent à un affichage du monde réel sans intermédiaire virtuel. Ainsi, un environnement immersif mixte, c'est-à-dire un environnement intermédiaire sur le continuum réel-virtuel [30], est représenté par deux PDV, donc deux cercles, imbriqués : un pour sa partie réelle physique et un pour sa partie virtuelle (voir Figure 4-B, partie de gauche). Cela nous permet d'inclure la relation de couplage entre le PDV physique et le PDV virtuel, afin de pouvoir décrire des modifications de ce couplage qui permettraient de désynchroniser le contenu virtuel du monde physique. Si le PDV immersif n'est pas pertinent pour la collaboration, comme dans le système de Gauglitz et al. [17], alors le cercle correspondant est dessiné en pointillés (voir Figure 4-C). Chaque PDV représenté par un rectangle (plan 2D) doit être contenu dans un PDV immersif représenté par un cercle complet ou partiel (voir Figure 4-B, partie droite). Enfin, tous les PDV associés à la même vue sont représentés avec la même couleur. Ainsi, dans la figure 4-D, correspondant au système de Sun et al. [43], les utilisateurs sont chacun dans leur espace physique avec un PDV supplémentaire immersif sur un élément virtuel représentant un élément physique de l'espace physique de l'autre.

Les acteurs représentent les utilisateurs associés aux différents PDV. Ces utilisateurs sont représentés par une icône d'humain à côté d'un PDV immersif (voir Figure 5-A). Inspiré de la notation Domino [31], lorsque *n* utilisateurs doivent être représentés, les PDV immersifs sont représentés par des segments circulaires de façon à ce que l'association de tous ces segments forme un cercle (voir Figure 5-A pour un exemple à 2 utilisateurs, et Figure 5-B pour un exemple à 3 utilisateurs). Un PDV peut aussi être associé à un objet physique, par exemple une caméra [23]. Dans ce cas, cet

objet physique est représenté par un point à côté du demi-cercle représentant le monde immersif dans lequel se situe cet objet (voir Figure 5-C).

## 3.2 Relation : contrôle et couplage

Nous distinguons deux types de relation : le contrôle et le couplage.

**Contrôle** - Une relation de type contrôle représente comment un acteur contrôle un PDV en termes de translation (T) et de rotation (R). Le contrôle est représenté par une flèche allant de l'acteur vers le PDV concerné (voir Figure 6-A). Par défaut, si rien n'est spécifié sur la flèche, l'acteur a un contrôle en translation et en rotation. Si l'acteur ne peut contrôler que l'un ou l'autre, celui-ci est spécifié au-dessus de la flèche en spécifiant T ou R, pour un contrôle en translation ou en rotation (voir Figure 6-B). Pour être plus précis, il est aussi possible de spécifier les degrés de liberté contrôlés en les spécifiant entre parenthèses (voir Figure 6-C). Les degrés de liberté en translation peuvent être décrits, soit en coordonnées cartésiennes (x, y, z), soit en coordonnées sphériques (φ, θ, ρ) (voir Figure 8). Enfin, un acteur humain peut contrôler un objet, comme une caméra, qui contrôle un PDV. Dans ce cas, la relation de contrôle est représentée par une flèche de l'utilisateur vers l'objet puis une flèche de l'objet vers le PDV (voir Figure 6-D).

**Couplage** - Une relation de type couplage représente la façon dont deux PDV sont couplés en termes de translation et de rotation. Le couplage est représenté par un trait entre deux PDV (voir Figure 7-A). De façon similaire au contrôle, il est possible de spécifier si le couplage est uniquement en translation ou en rotation (voir Figure 7-B) et les degrés de liberté si besoin (voir Figure 7-C).

Enfin, il est important de noter que PV\* ne décrit pas les dispositifs matériels utilisés pour visualiser ou interagir avec le contenu, comme un casque de RV ou une souris. En effet la notation est agnostique des dispositifs matériels pour focaliser sur le contrôle et couplage de points de vue. Quand le choix des dispositifs est connu, les contraintes inhérentes aux dispositifs sont alors décrites dans PV\* par les relations de contrôle et de couplage.
<figure><img src="image_7.png" /><figcaption>Figure 6: Contrôle de PDV. A) L'acteur humain 1 contrôle totalement ses PDV physique et virtuel. L'acteur humain 2 contrôle la translation du PDV virtuel. B) L'acteur humain 2 contrôle la translation en x et y du PDV virtuel. C) L'acteur humain 2 contrôle la translation et la rotation y (yaw) du PDV virtuel. D) L'acteur humain 1 contrôle un objet, comme une caméra, qui contrôle le PDV virtuel 2D de l'acteur humain 2.</figcaption></figure>

<figure><img src="image_8.png" /><figcaption>Figure 7: Couplage de PDV. A) Les PDV sont totalement couplés entre eux et contrôlés uniquement par l'acteur humain 1. B) Le PDV de l'acteur humain 2 est couplé en translation avec le PDV de l'acteur humain 1. C) Le PDV de l'acteur humain 2 est couplé en translation x et y avec le PDV de l'acteur humain 1.</figcaption></figure>

<figure><img src="image_9.png" /><figcaption>Figure 8: Coordonnées cartésiennes ou sphériques pour décrire précisément les degrés de liberté dans le contrôle en translation (source [1] - cc0).</figcaption></figure>

# 4 Validation de la notation PV\*

Pour une première validation de la notation PV\*, nous examinons son pouvoir descriptif [3], c'est-à-dire sa capacité à représenter les travaux existants, ainsi que son pouvoir génératif [3], c'est-à-dire son aptitude à faciliter la création de nouveaux couplages et contrôles de PDV — conformément à la démarche de validation adoptée dans [6, 9, 19].

## 4.1 Pouvoir descriptif

Nous avons choisi de décrire des situations de collaboration d'assistance à distance pour tester les capacités descriptives de notre notation PV\*. L'assistance à distance est une situation collaborative où un expert distant guide ou conseille un opérateur lors de la réalisation d'une tâche spécifique, comme illustré par l'état de l'art

de Fidalgo et al. [13]. De par les rôles asymétriques des collaborateurs et la tâche réalisable seulement par l'opérateur, l'assistance à distance est la situation collaborative la plus susceptible d'avoir des situations hétérogènes au niveau des PDV et donc des couplages et des contrôles de PDV à complexité plus élevée.

Dans l'état de l'art, nous avons distingué plusieurs configurations pour la collaboration à distance. En premier lieu, nous décrivons avec la notation PV\* les systèmes le plus communs, dans lesquels le PDV de l'opérateur est directement transmis à l'expert, qui visualise ce PDV au travers d'un écran 2D, comme dans le système OptoBridge [42] (voir Figure 9). Au-delà de ces systèmes asymétriques, nous décrivons en annexe plusieurs systèmes symétriques (voir systèmes 9 et 10 en annexe). En comparant les descriptions PV\*, nous soulignons que la notation permet de facilement distinguer les systèmes asymétriques et symétriques, simplement en regardant la symétrie du schéma. De plus, la notation permet de mettre en avant des variations plus subtiles entre les systèmes. Par exemple, il est possible de voir dans la Figure 9 que le système OptoBridge [42] se distingue des systèmes de téléassistance les plus classiques (voir systèmes 9, 11 et 12 en annexe). En effet, le contour du demi-cercle de l'expert est bleu au lieu d'être noir comme dans les autres systèmes. Cette couleur indique un lien entre le monde physique de l'expert et le PDV virtuel affiché dans la vue de l'opérateur (demi-cercle bleu inclus dans le demi-cercle rouge de l'opérateur). Cette relation correspond aux mains de l'expert qui sont captées dans son environnement physique et affichées en 3D dans la vue augmentée de l'opérateur. L'expert à un retour sur la position de ses mains, car il voit leurs copies virtuelles dans le PDV de l'opérateur (rectangle bleu inclus dans le rectangle rouge de l'expert).
<figure><img src="image_10.png" /><figcaption>Figure 9: Description du couplage de PDV du système OptoBridge [42] avec PV*. L'image de gauche est issue de [42]</figcaption></figure>

<figure><img src="image_11.png" /><figcaption>Figure 10: Description du couplage de PDV du système ShareSphere [27] avec PV*. L'image de gauche est issue de [27].</figcaption></figure>

Par la description des couplages et des contrôles des PDV, PV* permet de différencier facilement les types partage des PDV. Les collaborateurs peuvent se partager le contrôle sur un PDV, mais aussi son contenu (couplage de 2 PDV). La Figure 10 décrit les situations où une caméra 360° est posée sur la tête de l'opérateur. Elle transmet le flux vidéo à l'expert et lui permet de contrôler la rotation de son PDV (voir Figure 10). On observe avec PV* que la translation du PDV de l'expert est couplée avec celle de l'opérateur et donc contrôlée par celui-ci. On a donc ici un partage partiel des PDV contrairement à l'exemple précédent où les PDV étaient complètement synchronisés.

Nous montrons que PV* permet de décrire des situations collaboratives avec un système de PDV complexe comme Artemis [16] (voir figure 11). C'est un système complexe alliant des PDV indépendants, dépendants, non contrôlables ou contrôlables par autrui. Artemis est un système de télémentorat permettant à un expert distant d'aider un chirurgien débutant sur une opération. L'expert est dans un environnement virtuel et a accès à une multitude de PDV : un PDV couplé au PDV immersif de l'opérateur (rectangle rouge et orange), plusieurs PDV sur le corps du patient (rectangle rouge), une reconstitution du patient en temps réel (círcle rouge) ainsi qu'un PDV sur du contenu virtuel synchronisé avec l'opérateur (rectangle bleu). L'opérateur, quant à lui, a son PDV immersif en RM (demi-cercle rouge) avec un PDV virtuel sur de courtes vidéos (rectangle bleu). Le demi-cercle jaune correspond à un PDV virtuel sur l' avatar et les annotations de l'expert qui s'affiche en RM dans son environnement physique. L'opérateur peut également manipuler 2 PDV de l'expert grâce à 2 caméras. La description de ce système illustre le pouvoir des systèmes de la notation

PV* : la description de nombreux PDV et des relations complexes entre eux.

Enfin, pour la description de certains systèmes existants, diviser le partage du PDV en translation et rotation ne suffit pas. Dans l'exemple "On the Shoulder of the Giant" [36], l'expert voit une vidéo 360° dont la caméra est positionnée par l'opérateur dans la scène. Trois modes de contrôle de la vue de l'expert ont été testés :

* 3-DoF (voir Figure 12-A): l'opérateur contrôle la translation du PDV de l'expert et l'expert sa rotation.

* 4-DoF (voir Figure 12-B): l'opérateur contrôle la translation et la rotation sur l'axe y du PDV de l'expert. L'expert contrôle également la rotation lorsqu'il tourne la tête. Cette rotation est combinée à l'action de l'opérateur, mais l'action de l'opérateur sur l'axe y est appliquée en priorité.

* 6-DoF (voir Figure 12-C): l'opérateur contrôle l'ensemble des paramètres du PDV de l'expert. L'expert contrôle également la rotation lorsqu'il tourne la tête. Cette rotation est combinée à l'action de l'opérateur, mais l'action de l'opérateur est appliquée en priorité.

PV* permet alors de décrire précisément le contrôle d'un PDV, en indiquant comment sont couplés les différents degrés de liberté de la translation ou de la rotation.

La notation PV* permet de distinguer les situations collaboratives selon le type de partage de PDV, les symétries ou asymétries, mais également le nombre de collaborateurs et leur localisation (entre co-localisé et distant) (voir les exemples en annexe).
<figure><img src="image_12.png" /><figcaption>Figure 11: Description du couplage de PDV du système Artemis [16] avec PV*. L'image de gauche est issue de [16] - CC-BY-4.0.</figcaption></figure>

<figure><img src="image_13.png" /><figcaption>Figure 12: Description des expériences de Lee et al. [36] sur le contrôle du PDV de l'expert. A) 3-DoF. B) 4-DoF. C) 6-DoF. L'image en haut à gauche est issue de [36]</figcaption></figure>

## 4.2 Pouvoir génératif

Le potentiel de PV* pour générer de nouveaux systèmes collaboratifs réside dans ses capacités à définir précisément quel acteur (collaborateur) contrôle quel paramètre d'un PDV. PV* permet de décrire le contrôle de chaque degré de liberté en translation et en rotation d'un PDV. Dans un système d'assistance à distance avec deux collaborateurs, les paramètres des PDV peuvent être contrôlés de 4 manières : par l'opérateur, par l'expert, par les deux ou par personne dans le cas de PDV non immersif. Ainsi, pour chaque PDV d'un système, nous pouvons décrire finement grâce à PV* tous les contrôles possibles pour chaque paramètre pertinent à modifier.

Comme nous avons pu le voir dans l'état de l'art, aucun système ne permet à l'expert de contrôler un des PDV de l'opérateur. PV* permet d'explorer de nouvelles solutions où l'expert pourrait contrôler certains PDV de l'opérateur, comme son PDV virtuel par exemple. Pour tester ces nouvelles solutions, nous avons conçu une situation collaborative d'assistance à distance sur une tâche inspirée du sudoku mais sur un cylindre (voir Figure 13). Le rôle de l'expert est d'indiquer à l'opérateur des numéros à placer sur le cylindre physique. L'opérateur peut voir un cylindre physique sur lequel est superposé un cylindre virtuel avec des informations complémentaires grâce à un casque de réalité augmentée. L'expert distant possède un PDV virtuel sur le cylindre virtuel qu'il peut visualiser sur un simple un ordinateur de bureau. Le PDV virtuel de l'expert est donc fortement couplé avec le PDV virtuel de l'opérateur en translation et en rotation.

La notation PV* nous permet d'élaborer différentes façons de contrôler ce PDV virtuel. Ainsi, nous avons exploré trois modes de contrôle des paramètres du PDV virtuel :

* un paramètre du PDV peut être contrôlé par l'opérateur lors de ses déplacements physiques autour du cylindre (situation classique de téléassistance).

* un paramètre du PDV peut être contrôlé par l'expert distant en interagissant dans son interface. Cela peut permettre à l'expert de montrer à l'opérateur des informations spécifiques sur le cylindre virtuel, mais crée une désynchronisation entre le PDV physique et le PDV virtuel de l'opérateur.

* un paramètre du PDV peut être contrôlé à la fois par l'opérateur et par l'expert en combinant leurs actions (ajout des translations définies par les deux collaborateurs). Cela peut permettre à l'expert de placer le cylindre virtuel d'une façon spécifique, mais laisse la liberté à l'opérateur de l'explorer par ces déplacements physiques. Dans ce cas, le PDV physique et le PDV virtuel de l'opérateur sont également désynchronisés.

Le centre d'intérêt du système étant un objet central à la scène, nous exprimons la translation des PDV en coordonnées sphériques ayant pour origine le cylindre. Nous considérons que les PDV sont orientés vers l'objet d'intérêt, ainsi nous n'avons plus besoin de prendre en compte le contrôle sur la rotation des PDV.

Pour pouvoir tester les différentes solutions de contrôle décrites grâce à PV*, nous avons développé une interface (voir Figure 13-A) permettant d'implémenter toutes les combinaisons possibles pour le contrôle des paramètres de translation du PDV. L'interface est décomposée en 3 lignes correspondant à chacun des degrés de liberté de la translation dans les coordonnées sphériques. Pour chacune des lignes, l'expert sélectionne un mode de contrôle qui s'applique sur les PDV couplés de l'expert et de l'opérateur.

Nous avons testé l'ensemble des combinaisons permettant le contrôle de la translation du PDV. Cependant, certaines combinaisons n'ont présenté aucun intérêt pour la tâche. En effet, dans le cas
<figure><img src="image_14.png" /><figcaption>Figure 13: PDV des collaborateurs sur la tâche sudoku. L'interface de gauche définit le panneau de contrôles de la translation du PDV.</figcaption></figure>

<figure><img src="image_15.png" /><figcaption>Figure 14: Tableau des 3 contrôles possibles sur le PDV virtuel pour un des paramètres de la translation.</figcaption></figure>

du cylindre, la tâche ne nécessite pas d'observer le dessus et le dessous du cylindre. Ainsi, le contrôle de $\theta$ par l'expert n'est pas utile pour cette tâche. De plus, le contrôle de $\rho$ par l'expert permet le rapprochement ou l'éloignement du cylindre virtuel. Cependant, nous voulons que le cylindre virtuel se superpose avec le cylindre physique, ainsi le paramètre $\rho$ du PDV virtuel sera toujours couplé à celui du PDV physique de l'opérateur. En conséquence, nous avons réduit l'espace de conception et nous avons choisi de nous concentrer sur le contrôle du paramètre $\phi$ de la translation (voir Figure 14). Dans des travaux futurs, nous prévoyons de conduire une expérience contrôlée pour comparer ses différentes modes de contrôle du paramètre $\phi$ lors de la réalisation de la tâche collaborative.

# 5 Limitations et extensions possibles

Premièrement, il est important de noter que PV* ne décrit que les couplages entre PDV et comment ces PDV sont contrôlés par les utilisateurs dans le système. Elle ne décrit en aucun cas comment les utilisateurs partagent ou interagissent avec le contenu virtuel dans le système. Par ailleurs, la notation ne capture pas la dimension temporelle, et ne permet pas de définir des fonctions avancées de couplage ou de contrôle. Cependant, ces deux derniers aspects pourraient facilement faire l'objet d'extensions de la notation.

## 5.1 Dimension temporelle

PV* se focalise sur la représentation des couplages et des contrôles de PDV à un instant donné. Toutefois, ces couplages et contrôles peuvent évoluer dans le temps au cours de l'activité collaborative. Par exemple, ARgus [12] permet à un expert distant de changer de PDV sur la scène distante en fonction des tâches collaboratives à effectuer. La notation actuelle ne décrit pas cette dimension temporelle, mais il serait facile de l'étendre pour la prendre en compte. En effet, comme pour la notation Domino [31], il est possible de faire un schéma pour chaque situation à un instant donné, et de placer les différents schémas côte à côte pour montrer les évolutions au cours du temps. Il pourrait alors être intéressant de compléter la notation pour représenter comment la transition entre deux situations s'effectue et quels utilisateurs contrôlent cette transition.

## 5.2 Fonctions avancées de couplage et contrôle

Pour tous les cas d'applications que nous avons étudiés, le couplage et le contrôle des paramètres des PDV s'effectuent par une transformation simple: la fonction identité. Ainsi, deux paramètres couplés sont toujours égaux. Cependant, il est tout à fait possible d'envisager des situations où les relations de PDV ne suivent pas la fonction identité. Par exemple, lorsqu'un miroir virtuel est utilisé dans la scène comme dans les travaux de Martin-Gomez et al. [29], le PDV affiché dans le miroir est fortement lié à la position de l'observateur. Pour autant, la translation du PDV du miroir est inversement proportionnelle à celle de l'observateur par rapport au miroir. Dans d'autres situations, il peut être nécessaire d'introduire un décalage (offset) dans le couplage des PDV pour juxtaposer plusieurs représentations de différentes natures par exemple. Dans ces différents cas de figure, il serait intéressant d'enrichir la notation PV* en introduisant des fonctions avancées de couplage entre PDV ou pour le contrôle par les utilisateurs. Une approche pourrait être d'ajouter la formule mathématique de la fonction de couplage ou de contrôle dans le schéma, soit directement sur les flèches et les traits si la formule n'est pas trop longue, soit avec une référence indirecte si elle est trop longue.

Par ailleurs, il peut exister des situations dans lesquelles le contrôle d'un même paramètre d'un PDV est effectué par plusieurs utilisateurs simultanément. C'est, par exemple, le cas dans le système "On the Shoulder of the Giant" [36] lorsque l'expert peut contrôler la rotation de son PDV dans la vidéo 360° en tournant la tête et que l'opérateur peut contrôler la rotation du PDV de l'expert en tournant la caméra 360°. Dans ces situations, il faudrait pouvoir préciser dans la notation comment des actions concurrentes de contrôle du PDV sont combinées entre elles afin d'éviter les conflits et de permettre de donner la priorité à un utilisateur en particulier.
## 6 Conclusion

Dans cet article, nous avons présenté la notation graphique (Point de Vue)* ou PV* qui permet de décrire le couplage et le contrôle de Points de Vue (PDV) dans les systèmes collaboratifs de Réalité Mixte (RM). La notation PV* permet de décrire les différents types de PDV selon la nature des vues associées (physique, virtuelle, immersives ou non, 2D ou 3D), les acteurs qui contrôlent les PDV et deux types de relation que sont le couplage et le contrôle. Afin d'illustrer le pouvoir descriptif, nous avons décrit selon la notation PV* plusieurs systèmes collaboratifs de RM de complexité variable en termes de nombre de PDV et de relations. De plus, nous fournissons, en annexe, une plus longue liste de systèmes existants, décrits avec la notation PV*. Nous avons également souligné son pouvoir génératif en proposant de nouvelles formes de couplage et de contrôle, et en mettant en évidence les possibilités de contrôle fin des degrés de liberté en translation et en rotation des PDVs. La plateforme que nous avons développée permet d'explorer efficacement toutes ces alternatives de conception basées sur la notation PV*. Notre étape suivante est de mener des études expérimentales de ces nouvelles formes de couplage et de contrôle fins pour des différentes tâches afin de déterminer quelles alternatives de conception sont adaptées pour une tâche collaborative donnée, en d'autres termes afin d'étudier le pouvoir évaluatif de la notation PV*. Deux autres axes de travail sont, d'une part, d'identifier des classes de systèmes collaboratifs de RM à partir de leur description selon la notation PV* pour élaborer une taxonomie des systèmes existants et, d'autre part, d'explorer de façon systématique grâce à la notation PV* les différents cas de couplage et de contrôle. Enfin, pour une description plus complète d'un système, l'évolution des formes de couplage et de contrôle au cours du temps est une extension identifiée dans la section précédente. Elle ouvrira des travaux sur les transitions entre les formes de couplage et de contrôle, comme les questions de : Qui déclenche cette transition ? Quand la transition est-elle déclenchée ? Comment est-elle réalisée ?

## Remerciements

Ce travail a bénéficié d'aides de l'État Français gérées par l'Agence Nationale de la Recherche au titre du programme France 2030 portant la référence ANR-22-EXEN-0002 (PEPR eNSEMBLE / CATS) et du Programme d'Investissements d'Avenir portant la référence ANR-21-ESRE-0030 (CONTINUUM).

## References

[1] 2019 (consulté le 7 avril 2025). Spherical Coordinates. https://commons.wikimedia.org/w/index.php?curid=82391839.

[2] Huidong Bai, Prasanth Sasikumar, Jing Yang, and Mark Billinghurst. 2020. A User Study on Mixed Reality Remote Collaboration with Eye Gaze and Hand Gesture Sharing. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (Honolulu, HI, USA) (CHI '20). Association for Computing Machinery, New York, NY, USA, 1-13. https://doi.org/10.1145/3313831.3376550

[3] Michel Beaudouin-Lafon. 2004. Designing Interaction, Not Interfaces. In Proceedings of the Working Conference on Advanced Visual Interfaces (Gallipoli, Italy) (AVI '04). Association for Computing Machinery, New York, NY, USA, 15-22. https://doi.org/10.1145/989863.989865

[4] Sébastien Bottecchia, Jean-Marc Cieutat, and Jean-Pierre Jessel. [n. d.]. T.A.C: Augmented Reality System for Collaborative Tele-Assistance in the Field of Maintenance through Internet. In Proceedings of the 1st Augmented Human International Conference (New York, NY, USA, 2010-04-02) (AH '10). Association for Computing Machinery, 1-7. https://doi.org/10.1145/1785455.1785469

[5] Victor Bréhault, Emmanuel Dubois, Arnaud Prouzeau, and Marcos Serrano. [n. d.]. A Systematic Literature Review to Characterize Asymmetric Interaction in Collaborative Systems. https://hal.science/hal-04940558

[6] Adrien Chaffangeon Caillet, Alix Goguey, and Laurence Nigay. 2023. µglyph: a microgesture notation. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. 1-28.

[7] Robbe Cools, Jihae Han, Augusto Esteves, and Adalberto L. Simeone. [n. d.]. From Display to Interaction: Design Patterns for Cross-Reality Systems. ([n. d.]), 1-11. https://doi.org/10.1109/TVCG.2025.3549893

[8] Dragoş Datcu, Marina Cidota, Stephan Lukosch, David Martinez Oliveira, and Mikael Wolff. [n. d.]. Virtual Co-Location to Support Remote Assistance for Inflight Maintenance in Ground Training for Space Missions. In Proceedings of the 15th International Conference on Computer Systems and Technologies (New York, NY, USA, 2014-06-27) (CompSysTech '14). Association for Computing Machinery, 134-141. https://doi.org/10.1145/2659532.2659647

[9] William Delamare, Céline Coutrix, and Laurence Nigay. 2015. Designing Guiding Systems for Gesture-Based Interaction. In Proceedings of the 7th ACM SIGCHI Symposium on Engineering Interactive Computing Systems (Duisburg, Germany) (EICS '15). Association for Computing Machinery, New York, NY, USA, 44-53. https://doi.org/10.1145/2774225.2774847

[10] Prasun Dewan and Rajiv Choudhary. 1995. Coupling the user interfaces of a multiuser program. ACM Trans. Comput.-Hum. Interact. 2, 1 (March 1995), 1-39. https://doi.org/10.1145/200968.200969

[11] Veronika Domova, Elina Vartiainen, and Marcus Englund. [n. d.]. Designing a Remote Video Collaboration System for Industrial Settings. In Proceedings of the Ninth ACM International Conference on Interactive Tabletops and Surfaces (New York, NY, USA, 2014-11-16) (ITS '14). Association for Computing Machinery, 229-238. https://doi.org/10.1145/2669485.2669517

[12] Arthur Fages, Cédric Fleury, and Theophanis Tsandilas. [n. d.]. Understanding Multi-View Collaboration between Augmented Reality and Remote Desktop Users. 6 ([n. d.]), 549:1-549:27. Issue CSCW2. https://doi.org/10.1145/3555607

[13] Catarina G. Fidalgo, Yukang Yan, Hyunsung Cho, Maurício Sousa, David Lindbauer, and Joaquim Jorge. [n. d.]. A Survey on Remote Assistance and Training in Mixed Reality Environments. 29, 5 ([n. d.]), 2291-2303. https://doi.org/10.1109/TVCG.2023.3247081

[14] Cédric Fleury, Thierry Duval, Valérie Gouranton, and Anthony Steed. 2012. Evaluation of remote collaborative manipulation for scientific data analysis. In Proceedings of the 18th ACM Symposium on Virtual Reality Software and Technology (Toronto, Ontario, Canada) (VRST '12). Association for Computing Machinery, New York, NY, USA, 129-136. https://doi.org/10.1145/2407336.2407361

[15] Francisco M. García, Rubén Moraleda, Santiago Schez-Sobrino, Dorothy N. Mon-ekosso, David Vallejo, and Carlos Glez-Morcillo. [n. d.]. Health-5G: A Mixed Reality-Based System for Remote Medical Assistance in Emergency Situations. 11 ([n. d.]), 59016-59032. https://doi.org/10.1109/ACCESS.2023.3285420

[16] Danilo Gasques, Janet G. Johnson, Tommy Sharkey, Yuanyuan Feng, Ru Wang, Zhuoqun Robin Xu, Enrique Zavala, Yifei Zhang, Wanze Xie, Xinming Zhang, Konrad Davis, Michael Yip, and Nadir Weibel. [n. d.]. ARTEMIS: A Collaborative Mixed-Reality System for Immersive Surgical Telementoring. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (New York, NY, USA, 2021-05-07) (CHI '21). Association for Computing Machinery, 1-14. https://doi.org/10.1145/3411764.3445576

[17] Steffen Gauglitz, Benjamin Nuenberger, Matthew Turk, and Tobias Höllerer. [n. d.]. In Touch with the Remote World: Remote Collaboration with Augmented Reality Drawings and Virtual Navigation. In Proceedings of the 20th ACM Symposium on Virtual Reality Software and Technology (New York, NY, USA, 2014-11-11) (VRST '14). Association for Computing Machinery, 197-205. https://doi.org/10.1145/2671015.2671016

[18] Steffen Gauglitz, Benjamin Nuenberger, Matthew Turk, and Tobias Höllerer. [n. d.]. World-Stabilized Annotations and Virtual Scene Navigation for Remote Collaboration. In Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology (New York, NY, USA, 2014-10-05) (UIST '14). Association for Computing Machinery, 449-459. https://doi.org/10.1145/2642918.2647372

[19] Alix Goguey, Cameron Steer, Andrés Lucero, Laurence Nigay, Deepak Ranjan Sahoo, Céline Coutrix, Anne Roudaut, Sriram Subramanian, Yutaka Tokuda, Timothy Neate, Jennifer Pearson, Simon Robinson, and Matt Jones. 2019. PickCells: A Physically Reconfigurable Cell-Composed Touchscreen. Association for Computing Machinery, New York, NY, USA, 1-14. https://doi.org/10.1145/3290605.3300503

[20] Guosheng Hu, Yu'ao Wang, Mengyuan Mao, and Yi Zhao. 2022. Remote Care and Collaboration for Empty Nest Family: Smart Home, Digital Twin and Mixed Reality. In 2022 8th International Conference on Virtual Reality (ICVR). 126-134. https://doi.org/10.1109/ICVR55215.2022.9847779

[21] Robert Johansen. 1988. GroupWare: Computer Support for Business Teams. The Free Press, USA.

[22] Seungwon Kim, Mark Billinghurst, and Kangsoo Kim. [n. d.]. Multimodal Interfaces and Communication Cues for Remote Collaboration. 14, 4 ([n. d.]), 313-319. https://doi.org/10.1007/s12193-020-00346-8

[23] Joel Lanir, Ran Stone, Benjamin Cohen, and Pavel Gurevich. [n. d.]. Ownership and Control of Point of View in Remote Assistance. In Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems (New York, NY, USA, 2013-04-27) (CHI '13). Association for Computing Machinery, 2243-2252. https://doi.org/10.1145/2470654.2481309

[24] Geonsun Lee, HyeongYeop Kang, JongMin Lee, and JungHyun Han. [n. d.]. A User Study on View-sharing Techniques for One-to-Many Mixed Reality Collaborations. In *2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)* (2020-03). 343-352. https://doi.org/10.1109/VR46266.2020.00054

[25] Gun A. Lee, Theophilus Teo, Seungwon Kim, and Mark Billinghurst. [n. d.]. Mixed Reality Collaboration through Sharing a Live Panorama. In *SIGGRAPH Asia 2017 Mobile Graphics & Interactive Applications* (New York, NY, USA, 2017-11-27) (SA '17). Association for Computing Machinery, 1-4. https://doi.org/10.1145/3132787.3139203

[26] Gun A. Lee, Theophilus Teo, Seungwon Kim, and Mark Billinghurst. [n. d.]. Sharesphere: MR Collaboration through Shared Live Panorama. In *SIGGRAPH Asia 2017 Emerging Technologies* (New York, NY, USA, 2017-11-27) (SA '17). Association for Computing Machinery, 1-2. https://doi.org/10.1145/3132818.3132827

[27] Gun A. Lee, Theophilus Teo, Seungwon Kim, and Mark Billinghurst. [n. d.]. A User Study on MR Remote Collaboration Using Live 360 Video. In *2018 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)* (2018-10). 153-164. https://doi.org/10.1109/ISMAR.2018.00051

[28] Paula Zenni Lodetti, Agualdo B. Dos Santos, Leandro Takeshi Hattori, Edgar Gerevini Carvalho, and Marcos A. Izumida Martins. [n. d.]. Mobile Remote Assistance with Augmented Reality Applied in a Power Distribution Utility: A Qualitative Study. In *2022 Intermountain Engineering, Technology and Computing (IETC)* (2022-05). 1-6. https://doi.org/10.1109/IETC54973.2022.9796952

[29] Alejandro Martin-Gomez, Alexander Winkler, Kevin Yu, Daniel Roth, Ulrich Eck, and Nassir Navab. [n. d.]. Augmented Mirrors. In *2020 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)* (2020-11). 217-226. https://doi.org/10.1109/ISMAR50242.2020.00045

[30] Paul Milgram, Haruo Takemura, Akira Utsumi, and Fumio Kishino. [n. d.]. Augmented Reality: A Class of Displays on the Reality-Virtuality Continuum. In *Telemanipulator and Telepresence Technologies* (1995-12-21), Vol. 2351. SPIE, 282-292. https://doi.org/10.1117/12.197321

[31] Thomas Neumayr, Hans-Christian Jetter, Mirjam Augstein, Judith Friedl, and Thomas Luger. [n. d.]. Domino: A Descriptive Framework for Hybrid Collaboration and Coupling Styles in Partially Distributed Teams. 2 ([n. d.]), 128:1-128:24. Issue CSCW. https://doi.org/10.1145/3274397

[32] Mengu Sukan Ohan Oda, Carmine Elvezio. [n. d.]. Virtual Replicas for Remote Assistance in Virtual and Augmented Reality. In *Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology* (2015-11) (Uist '15). ACM. https://doi.org/10.1145/2807442.2807497

[33] Judith S. Olson and Stephanie Teasley. 1996. Groupware in the wild: lessons learned from a year of virtual collocation. In *Proceedings of the 1996 ACM Conference on Computer Supported Cooperative Work* (Boston, Massachusetts, USA) (CSCW '96). Association for Computing Machinery, New York, NY, USA, 419-427. https://doi.org/10.1145/240080.240353

[34] Leif Oppermann, Florian Buchholz, and Yücel Uzun. [n. d.]. Industrial Metaverse: Supporting Remote Maintenance with Avatars and Digital Twins in Collaborative XR Environments. In *Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems* (New York, NY, USA, 2023-04-19) (CHI EA '23). Association for Computing Machinery, 1-5. https://doi.org/10.1145/3544549.3585835

[35] Pompeo Piedmonte and Silvia Liberata Ulloa. [n. d.]. Applicability of the Mixed Reality to Maintenance and Training Processes of C4I Systems in Italian Air Force. In *2018 5th IEEE International Workshop on Metrology for AeroSpace (MetroAeroSpace)* (2018-06). 559-564. https://doi.org/10.1109/MetroAeroSpace.2018.8453612

[36] Thammathip Piumsomboon, Gun A. Lee, Andrew Irlitti, Barrett Ens, Bruce H. Thomas, and Mark Billinghurst. [n. d.]. On the Shoulder of the Giant: A Multi-Scale Mixed Reality Collaboration with 360 Video Sharing and Tangible Interaction. In *Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems* (New York, NY, USA, 2019-05-02) (CHI '19). Association for Computing Machinery, 1-17. https://doi.org/10.1145/3290605.3300458

[37] Abhishek Ranjan, Jeremy P. Birnholtz, and Ravin Balakrishnan. 2007. Dynamic shared visual spaces: experimenting with automatic camera control in a remote repair task. In *Proceedings of the SIGCHI Conference on Human Factors in Computing Systems* (San Jose, California, USA) (CHI '07). Association for Computing Machinery, New York, NY, USA, 1177-1186. https://doi.org/10.1145/1240624.1240802

[38] Manuel Rebol, Colton Hood, Claudia Ranniger, Adam Rutenberg, Neal Sikka, Erin Maria Horan, Christian Gütl, and Krzysztof Pietroszek. [n. d.]. Remote Assistance with Mixed Reality for Procedural Tasks. In *2021 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)* (2021-03). 653-654. https://doi.org/10.1109/VRW52623.2021.00209

[39] Ashirbad Samantaray, Taranjit Kaur, Seema Singhal, and Tapan Kumar Gandhi. [n. d.]. Remote Assistance in Cervical Cancer Screening Using Microsoft Hololens 2: An Augmented-Reality Based Approach. In *2023 International Conference on Recent Advances in Electrical, Electronics & Digital Healthcare Technologies (REEDCON)* (2023-05). 123-126. https://doi.org/10.1109/REEDCON57544.2023.10151244

[40] Mickael Sereno, Xiyao Wang, Lonni Besançon, Michael J. McGuffin, and Tobias Isenberg. [n. d.]. Collaborative Work in Augmented Reality: A Survey. 28, 6 ([n. d.]), 2530-2549. https://doi.org/10.1109/TVCG.2020.3032761

[41] M. Stefik, D. G. Bobrow, S. Lanning, D. Tatar, and G. Foster. 1986. WYSIWIS revised: early experiences with multi-user interfaces. In *Proceedings of the 1986 ACM Conference on Computer-Supported Cooperative Work* (Austin, Texas) (CSCW '86). Association for Computing Machinery, New York, NY, USA, 276-290. https://doi.org/10.1145/637069.637107

[42] Hongling Sun, Zhenliang Zhang, Yue Liu, and Henry B. L. Duh. [n. d.]. Opto-Bridge: Assisting Skill Acquisition in the Remote Experimental Collaboration. In *Proceedings of the 28th Australian Conference on Computer-Human Interaction* (New York, NY, USA, 2016-11-29) (OzCHI '16). Association for Computing Machinery, 195-199. https://doi.org/10.1145/3010915.3010975

[43] Lu Sun, Hussein Al Osman, and Jochen Lang. [n. d.]. An Augmented Reality Online Assistance Platform for Repair Tasks. 17, 2 ([n. d.]), 50:1-50:23. https://doi.org/10.1145/3429285

[44] Matthew Tait and Mark Billinghurst. 2015. The Effect of View Independence in a Collaborative AR System. *Comput. Supported Coop. Work* 24, 6 (dec 2015), 563-589. https://doi.org/10.1007/s10606-015-9231-8

[45] Theophilus Teo, Louise Lawrence, Gun A. Lee, Mark Billinghurst, and Matt Adcock. [n. d.]. Mixed Reality Remote Collaboration Combining 360 Video and 3D Reconstruction. In *Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems* (New York, NY, USA, 2019-05-02) (CHI '19). Association for Computing Machinery, 1-14. https://doi.org/10.1145/3290605.3300431

[46] Sebastian Utzig, Robert Kaps, Syed Muhammad Azeem, and Andreas Gerndt. [n. d.]. Augmented Reality for Remote Collaboration in Aircraft Maintenance Tasks. In *2019 IEEE Aerospace Conference* (2019-03). 1-10. https://doi.org/10.1109/AERO.2019.8742228

[47] Peng Wang, Xiaoliang Bai, Mark Billinghurst, Shusheng Zhang, Xiangyu Zhang, Shuxia Wang, Weiping He, Yuxiang Yan, and Hongyu Ji. [n. d.]. AR/MR Remote Collaboration on Physical Tasks: A Review. 72 ([n. d.]), 102071. https://doi.org/10.1016/j.rcm.2020.102071

[48] Eric L. Wisotzky, Jean-Claude Rosenthal, Peter Eisert, Anna Hilsmann, Falko Schmid, Michael Bauer, Armin Schneider, and Florian C. Uecker. [n. d.]. Interactive and Multimodal-based Augmented Reality for Remote Assistance Using a Digital Surgical Microscope. In *2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)* (2019-03). 1477-1484. https://doi.org/10.1109/VR.2019.8797682

[49] Jianing Yin, Weicheng Zheng, Yuntao Wang, Xin Tong, and Yukang Yan. 2025. A Comparison Study Understanding the Impact of Mixed Reality Collaboration on Sense of Co-Presence. In *2025 IEEE Conference Virtual Reality and 3D User Interfaces (VR)*. 580-590. https://doi.org/10.1109/VR59515.2025.00081

[50] N. Zenati, S. Benbelkacem, M. Belhocine, and A. Bellarbi. [n. d.]. A New AR Interaction for Collaborative E-maintenance System. 46, 9 ([n. d.]), 619-624. https://doi.org/10.3182/20130619-3-RU-3018.00476

[51] Nadia Zenati, Mahfoud Hamidia, Abdelkader Bellarbi, and Samir Benbelkacem. [n. d.]. E-Maintenance for Photovoltaic Power System in Algeria. In *2015 IEEE International Conference on Industrial Technology (ICIT)* (2015-03). 2594-2599. https://doi.org/10.1109/ICIT.2015.7125480
Annexe : description des systèmes collaboratifs de RM de la littérature avec la
notation PV*

1. A Comparison Study
Understanding the impact of
Mixed Reality Collaboration on
Sense of Co-Presence [49]

Dans cette étude sur la co-présence,
la tâche implémentée consiste à
trouver et à assembler des blocs.
L'expert est en réalité virtuel dans
une reconstitution 3D de
l'environnement de l'opérateur. Il a
pour rôle de guider cet opérateur à
trouver des blocs et à les assembler
en lui montrant des blocs virtuels
partagés entre les deux utilisateurs.

<figure><img src="image_16.png" /></figure>

Image issue de [49]

2. Industrial Metaverse:
Supporting remote maintenance
with avatars and digital twins in
collaborative XR environments
[34]

Dans ce système d'assistance pour
réparer une machine, l'expert est
immergé dans le jumeau numérique
de l'usine. Il a accès à un jumeau
numérique de la machine dont l'état
est synchronisé avec la machine
réelle. Son point de vue sur la
machine est synchronisé avec celui
de l'opérateur pour aider ce
dernier.

<figure><img src="image_17.png" /></figure>

3. Remote Care and Collaboration
for Empty Nest Family: Smart
Home, Digital Twin and Mixed
Reality [20]

Dans ce système d'assistance aux
tâches quotidiennes pour des
personnes âgées, l'expert est
immergé dans une représentation
virtuelle de l'environnement de
l'opérateur. L'opérateur et l'expert
se partagent différents types de
contenu virtuel comme la
température ou le fonctionnement
de certains appareils électriques. Un
retour vidéo est transmis à l'expert
pour faciliter le guidage.
L'opérateur a aussi accès à une
vidéo de l'expert pour
communiquer plus facilement.

<figure><img src="image_18.png" /></figure>
## 4. Mixed Reality Remote Collaboration Combining 360 Video and 3D Reconstruction [45]

Lorsque le système est en mode 3D, l'expert est immergé dans l'environnement virtuel généré par l'opérateur à l'aide d'un processus de photogrammétrie. En mode 360, l'expert est en VR avec 3 degrés de liberté, il perçoit une vidéo 360 en direct à la position de l'opérateur sur son environnement. Dans les deux modes, l'opérateur et l'expert utilisent des pointeurs virtuels pour pointer sur des objets.

<figure><img src="image_19.png" /></figure>

Image issue de [45]

## 5. A User Study on View-sharing Techniques for One-to-Many Mixed Reality Collaborations [24]

Dans ce système de résolution de puzzle, deux opérateurs sont localisés dans un même environnement physique et partagent leur vue avec l'expert selon 3 techniques différentes :

- Vidéo 2D : l'expert est en RV et perçoit sur un écran 2D le point de vue de l'un ou l'autre des opérateurs.

- Vidéo 360 : l'expert est en RV avec 3 degrés de liberté, il perçoit une vidéo 360 en direct à la position de l'un ou l'autre des opérateurs.

- Modèles 3D : l'expert est immergé dans une reconstitution virtuelle en RV de l'environnement des opérateurs. Il a également accès au point de vue de chaque opérateur grâce à un affichage 2D placé directement dans l'environnement virtuel devant chacun des avatars de ces derniers.

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>

<figure><img src="image_22.png" /></figure>

## 6. Health-5G: A Mixed Reality-Based System for Remote Medical Assistance in Emergency Situations [15]

Dans ce système d'assistance médicale d'urgence à distance, l'opérateur est en RA, il peut voir l'expert au travers d'une fenêtre virtuelle. Des éléments virtuels placés par l'expert le guident dans sa tâche. L'expert est quant à lui sur ordinateur avec le point de vue augmenté de l'opérateur (sans le retour vidéo sur lui-même).

<figure><img src="image_23.png" /></figure>

Images issues de [15] CC-BY-4.0
## 7. Virtual Replicas for Remote Assistance in Virtual and Augmented Reality [32]

Dans cette étude d'assistance à distance, l'opérateur est en RA. L'expert, quant à lui, peut être 1) en RV et partage avec l'opérateur une réplique virtuelle des objets manipulables par l'opérateur, ou 2) en RA et partage alors la vue augmentée de l'opérateur.

<figure><img src="image_24.png" /><figcaption>(a)</figcaption></figure>

<figure><img src="image_25.png" /></figure>

Image issue de [32] - CC-BY-4.0

<figure><img src="image_26.png" /></figure>

## 8. Understanding Multi-View Collaboration between Augmented Reality and Remote Desktop Users [12]

Cet article a proposé un système permettant à l'expert distant de changer son PDL en alternant entre 3 PDL sur l'environnement de l'opérateur. L'opérateur utilise un casque de RA et l'expert a accès aux différents PDV grâce un ordinateur standard. L'expert peut donc avoir accès à :

- une vue réelle augmentée à la première personne, où il voit la vidéo provenant du casque de l'opérateur augmentée avec le contenu virtuel visible par ce dernier.

- une vue réelle augmentée à la troisième personne, où il voit la vidéo provenant d'une caméra externe augmentée avec le contenu virtuel visible par l'opérateur.

- une vue purement virtuelle dans laquelle l'expert est libre de naviguer dans le contenu virtuel de l'opérateur en positionnant un PDL qui lui est propre.

Images issues de [12]

<figure><img src="image_27.png" /></figure>

## 9. In touch with the remote world: remote collaboration with augmented reality drawings and virtual navigation [17]

Dans ce système d'assistance à distance de maintenance de moteurs, l'opérateur est en RA sur une tablette. L'expert à distance perçoit la vidéo en direct de la tablette et peut ajouter du contenu virtuel.

<figure><img src="image_28.png" /></figure>

Image issue de [17]
## 10. An Augmented Reality Online Assistance Platform for Repair [43]

Dans ce système d'assistance à la réparation d'un téléphone portable, chacun des collaborateurs travaille sur un téléphone physique. Les actions de l'expert sont enregistrées avant d'être rejouées du côté de l'opérateur avec des composants virtuels. Chacune des manipulations de l'opérateur est ensuite retransmise à l'expert.

<figure><img src="image_29.png" /><figcaption>Vue de l'utilisateur à distance</figcaption></figure>

<figure><img src="image_30.png" /><figcaption>Vue de l'expert</figcaption></figure>

Images issues de [43]

<figure><img src="image_31.png" /></figure>

## 11. Applicability of the Mixed Reality to Maintenance and Training Processes of C4I Systems in Italian Air Force [35]

Dans ce système d'assistance à distance de maintenance pour des systèmes de navigation radio, l'opérateur est en RA avec un casque, et l'expert perçoit ce que voit l'opérateur sur un ordinateur standard. Il peut lui envoyer du contenu virtuel.

<figure><img src="image_32.png" /></figure>

Image issue de [35]

## 12. Virtual Co-location to Support Remote Assistance for Inflight Maintenance in Ground Training for Space Missions [8]

Dans ce système d'entraînement pour la maintenance d'appareils utilisés sur l'ISS (Station Spatial International), l'opérateur est en RA avec un casque, il suit les instructions virtuelles et orales de l'expert qui a accès à son PDV depuis un ordinateur.

<figure><img src="image_33.png" /><figcaption>Scénario de collaboration entre formateur et l'apprenti, le formateur utilisant un dispositif de réalité virtuelle (à gauche). Vue partagée pour le formateur (VR) et le stagiaire (AR) (à droite).</figcaption></figure>

Image issue de [8]

<figure><img src="image_34.png" /></figure>

## 13. Remote Assistance with Mixed Reality for Procedural Tasks [38]

Dans ce système d'assistance pour des tâches procédurales, l'opérateur est en RA avec un casque et perçoit les annotations virtuelles de l'expert. Une caméra filme l'objet d'intérêt et envoie une reconstitution 3D à l'expert distant. Ce dernier est aussi en RA et peut ajouter des notes sur la reconstitution 3D de l'objet.

<figure><img src="image_35.png" /></figure>

Images issues de [38]
14. A new AR Interaction for Collaborative E-maintenance System [50]

Dans ce système d'assistance à
distance de maintenance de
moteurs, l'opérateur est en RA sur
une tablette avec une interface fixe
et du contenu virtuel ajouté par
l'expert dans la scène. L'expert à
distance perçoit la vidéo en direct
de la tablette et peut ajouter du
contenu virtuel.

<figure><img src="image_36.png" /></figure>

Image issue de [50]