# Caractérisation en temps réel de la collaboration en environnement virtuel

Aurélien Léchappé, Cédric Fleury, Mathieu Chollet, Cédric Dumas

► To cite this version:

Aurélien Léchappé, Cédric Fleury, Mathieu Chollet, Cédric Dumas. Caractérisation en temps réel de la collaboration en environnement virtuel. Workshop Collaboration distante synchrone : des plateformes aux expérimentations (IHM'23), AFIHM; Université de Technologie de Troyes, Apr 2023, Troyes, France. hal-04494750

HAL Id: hal-04494750

https://hal.science/hal-04494750v1

Submitted on 7 Mar 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Caractérisation en temps réel de la collaboration en environnement virtuel

AURÉLIEN LÉCHAPPÉ, LS2N, Lab-STICC, IMT Atlantique, France

CÉDRIC FLEURY, Lab-STICC, IMT Atlantique, France

MATHIEU CHOLLET, School of Computing Science, University of Glasgow, Scotland; LS2N, IMT Atlantique, France

CÉDRIC DUMAS, LS2N, IMT Atlantique, France

La collaboration lors de la réalisation d'une tâche complexe nécessite une synchronisation et une communication efficace. Nous récoltons des métriques permettant un retour en temps réel sur l'état de la collaboration du groupe, dans le but de concevoir des systèmes d'aide à la collaboration qui permettent aux équipes d'être à jour sur la situation collaborative et d'éviter l'émergence de situation critique dû à une mauvaise qualité de la collaboration. Nous présentons un travail en cours qui à pour objectif de tester l'efficacité de métriques audio et du regard, en tant qu'indicateur de la qualité de la collaboration au sein d'un groupe. Malgré un manque de résultats préliminaire, nous présentons les traitements déjà effectués sur certaines métriques pour obtenir les indicateurs souhaités. Enfin, nous présentons les prochaines étapes de la recherche, qui nous permettrons de tester la validité de ces indicateurs.

**Keywords** : Collaboration, VR, indicateurs de la collaboration

## 1 INTRODUCTION

Dans certaines situations comme dans le domaine médical, une baisse de la qualité de la collaboration peut amener à des évènements indésirables, parfois graves. Une solution pour diminuer l'émergence de ce type d'événement consiste en un retour en temps réel sur la qualité de la collaboration au sein du groupe, afin de prédire ces incidents avant qu'ils n'arrivent, de détecter les incompréhensions ou les problèmes de coordination afin d'agir directement sur la situation. Notre objectif est de créer une plateforme expérimentale combinant les indicateurs de la qualité de la collaboration décrits dans la littérature, afin d'évaluer la collaboration au sein d'un groupe et d'agir en conséquence sur la situation. Pour simplifier notre collecte des données, nous utilisons une tâche collaborative en réalité virtuelle. Cela nous permet de collecter des données plus facilement qu'en situation réelle, tels que les données d'eye-tracking, mais surtout de contrôler la situation et les effets liés à l'environnement. Dans le cadre de ce projet, la première étape est de valider l'utilisation de métriques audio et du regard comme indicateurs du niveau de la collaboration.

## 2 INDICATEURS DE LA COLLABORATION

Les recherches portant sur la modélisation et la détection de la collaboration, en particulier en environnement virtuel, sont de plus en plus fréquentes cette dernière décennie. Certains auteurs ont récemment proposé une étude des liens entre des mesures multimodales et des concepts de la collaboration [4], ou encore une revue de la littérature portant sur la modélisation de la collaboration co-localisée [3].

Authors' addresses: Aurélien Léchappé, aurelien.lechappe@imt-atlantique.fr, LS2N, Lab-STICC, IMT Atlantique, Nantes, France; Cédric Fleury, Lab-STICC, IMT Atlantique, Brest, France; cedric.fleury@imt-atlantique.fr; Mathieu Chollet, School of Computing Science, University of Glasgow, Glasgow, Scotland; and LS2N, IMT Atlantique, Nantes, France, mathieu.chollet@glasgow.ac.uk; Cédric Dumas, LS2N, IMT Atlantique, Nantes, France, cedric.dumas@imt-atlantique.fr.
Praharaj et al. [3] font l'inventaire de différents indicateurs de la qualité de la collaboration. Basé principalement sur les dimensions de la collaboration de Meier et al. [2], les auteurs proposent des indices de haut niveau dérivés à partir d'indicateurs de bas niveau. Ces indices sont : synchronie, égalité, responsabilité individuelle, variabilité intra-individuelle, mise en commun des informations, compréhension mutuelle, interaction réciproque. Ils sont calculés à partir d'indicateurs de plus bas niveau comme le temps de parole total de chaque membre de l'équipe, les postures, gestes, regards, la position dans l'espace, la façon dont les individus répondent à une question posée ou défendent un point de vue ou encore la similarité entre les membres du groupe dans les changements de la hauteur et de l'amplitude de la parole. Les auteurs concluent en précisant que certains indicateurs serait plus pertinents que d'autres pour prédire la qualité de la collaboration. Ainsi, le temps de parole total de chaque membre de l'équipe permettrait de mesurer l'égalité de répartition de la participation au sein du groupe. D'après [3], une égalité élevée serait liée à une meilleure qualité de la collaboration. Le nombre d'interruptions ou de chevauchements de la parole serait proportionnel à la qualité de la collaboration. Un nombre de changements de locuteur fréquent associé à des chevauchements de la parole serait des indicateurs d'une bonne qualité de la collaboration. A contrario, d'autres indicateurs comme la distance entre les membres d'un groupe, où la synchronisation des postures des collaborateurs ne serait pas systématiquement révélateurs de la qualité de la collaboration. Enfin, les scénarios de collaboration auraient leur importance dans le choix des indicateurs de la collaboration et dans la façon dont elle est modélisée.

Schneider et al. [4] rapportent des mesures de la collaboration classées selon le cadre théorique de Dillenbourg et al. [1]. Tous comme Praharaj et al. [3], Schneider et al. [4] proposent des indicateurs verbaux comme la participation aux discussions, la cohérence verbale (similarité des discours, égalité de contribution), ou le temps de parole, comme étant des indicateurs pertinents de la qualité de la collaboration. Ces auteurs évoquent également que l'attention visuelle conjointe (JVA), soit une attention portée sur le même objet ou la même zone, par 2 ou plusieurs collaborateurs, est une mesure pouvant être utilisée pour prédire la qualité de la collaboration. Enfin, les auteurs évoquent les épisodes de synchronie physiologique comme indicateur d'un investissement accru des individus dans la tâche, et donc comme indicateur d'une bonne collaboration.

Lors d'une précédente étude réalisée avec la même tâche collaborative en réalité virtuelle, les auteurs ont identifié plusieurs profils de collaboration. Ces profils sont intéressants, car ils représentent différents états et niveaux de collaboration. Nous supposons donc qu'ils comportent des variations spécifiques sur les indicateurs de la collaboration que nous souhaitons étudier.

Sur la base des revues de la littérature présentées plus haut, nous avons sélectionné des indicateurs qui nous paraissent intéressants pour étudier et tester une détection du niveau de collaboration dans un groupe. L'objectif de ce travail est de valider la pertinence de ces indicateurs, pour attester d'un bon ou mauvais niveau de collaboration dans le cadre d'une tâche collaborative de résolution de puzzle. Cela nous permettra de faire un premier pas vers une détection des moments où la collaboration n'est pas optimale, et d'intervenir dans la situation. Pour le moment, les indicateurs que nous souhaitons valider sont la répartition du temps de parole, les tours de parole, les chevauchements de la parole, la présence d'attention visuelle conjointe, ou encore les regards mutuels.

## 3 MÉTHODE

D'après la littérature, plusieurs hypothèses sont émises :

- H1 Une bonne qualité de la collaboration devrait être associée avec une bonne répartition du temps de parole entre les membres de l'équipe.
- **H2** Une bonne qualité de la collaboration devrait être associé avec une égalité des tours de parole entre les membres de l'équipe.

- **H3** Les phases avec une bonne qualité de la collaboration devraient être associé avec une fréquence des tours de parole et des chevauchements de parole plus élevés que lorsque la collaboration est mauvaise.

- **H4** Une bonne qualité de la collaboration devrait être associée avec un nombre plus important d'attention visuelle conjointe que lorsque la collaboration est mauvaise.

- **H5** Une bonne qualité de la collaboration devrait être associée à un nombre plus important de regards mutuels que lorsque la collaboration est mauvaise.

**Participants** 30 participants répartis en 15 groupes ont participé à cette recherche. En raison de problème d'enregistrement audio pour 3 sessions, l'échantillon final contient 24 participants pour 12 groupes (20H, 4F, âge moyen = 21.66).

## Tâche

Après avoir réalisé un court tutoriel permettant de prendre en main les contrôle et de comprendre la tâche, les utilisateurs arrivent dans la salle principale dans laquelle ils doivent réaliser la tâche collaborative. La tâche utilisée dans cette étude est une tâche de résolution de puzzle en réalité virtuelle conçue avec Unity. Les participants doivent collaborer pour récupérer des pièces dispersées dans l'environnement, puis compléter un puzzle selon une figure de référence. Par défaut, toutes les pièces sont blanches et prennent la couleur du participant (bleu et vert) lorsqu'elles sont placées sur le puzzle. Pour la couleur cyan (mélange de bleu et de vert), les deux participants doivent sélectionner la même pièce. Par conséquent, ils ne peuvent pas réussir individuellement et doivent collaborer pour mener à bien la tâche. Dès qu'ils sont prêts, les joueurs appuient sur le bouton START, et les pièces apparaissent. Ils peuvent dès lors commencer la tâche. Une fois qu'ils considèrent avoir résolu le puzzle, les joueurs appuient sur un bouton de validation à droite de la figure, qui aura un feedback audio et visuel différent selon que la figure est correctement réalisée ou non.

## Données récoltées

Les mesures de la collaboration comprennent un questionnaire composé de certaines questions proposées par Schroeder et al. [6] ainsi qu'une évaluation globale de la collaboration du groupe faite par l'expérimentateur pendant chaque session.

Les interactions entre les participants et l'environnement (sélection, survol, regards des pièces) ainsi qu'entre les participants (sélection, survol, regard simultané, regard vers l'autre participant) ont été enregistrées. La position du participant dans l'environnement, le temps de réalisation du puzzle, la vidéo et l'audio ont également été enregistrés. Toutes ces données sont récoltées, synchronisées et enregistrées avec la plateforme psi. Cette plateforme permet la collecte de données multimodale. Elle permet également une visualisation en temps réel des données collectées et la possibilité de rejouer les sessions enregistrées à postériori. Dans notre cas, toutes les sessions ont été enregistrée et peuvent donc être rejoué de façon offline comme si la session était jouée en temps réel. Ceci nous permettra de tester nos algorithmes calculant différents indicateurs de la collaboration, pour simuler un calcul en temps réel pendant la situation collaborative.
## 4 FILTRAGE ET TRAITEMENT DES DONNÉES

Une première phase de filtrage des données à consister à retirer les données non comprises dans l'intervalle de temps début/fin tâche. Ensuite, des bruits de l'environnement ou sons parasites étaient captés comme étant des verbalisations. Ces bruits ont été nettoyés afin de ne comptabiliser que les réels actes de parole.

Après le filtrage des données, l'accent a été mis sur la conception d'algorithmes pour le calcul en temps réel d'indicateurs de la collaboration à partir des données récoltées. La répartition du temps de parole est calculée toute les 30 secondes pour données un état de la répartition de la parole au fur et à mesure de l'activité. Pour calculer les moments de JVA, nous respectons une fenêtre temporelle de 4 secondes entourant le regard sur un objet particulier par un utilisateur, et dans lequel un autre utilisateur a regardé ce même objet [5]. Les regards mutuels sont comptabilisés lorsque les utilisateurs se regardent.

Les prochaines étapes porteront sur le calcul des tours de parole et des chevauchements de la parole.

## 5 CONCLUSION

De nombreux aspects sont encore en cours de réalisation sur cette recherche. Premièrement, à partir des enregistrements des sessions, une évaluation de la qualité de la collaboration pour chacun des sessions sera réalisée par des pairs. Cette évaluation sera faite au moyen d'une grille critériée, et d'une évaluation continue de la collaboration. Elle permettra une analyse plus approfondie en étudiant si des variations des indicateurs calculés peuvent être corrélé à des profils ou phases spécifiques de collaboration. Ensuite, étant encore à l'étape de traitement des données pour calculer les différents indicateurs de la collaboration proposée, nous n'avons pas encore de résultats à présenter.

Toutefois, basé sur des recherches récentes portant sur la proposition d'indicateurs pour évaluer le niveau de collaboration [3, 4], cette recherche en cours propose une première approche pour calculer certains de ces indicateurs et avoir un retour en temps réel du niveau de collaboration supposé entre deux utilisateurs lors d'une activité.

## REFERENCES

[1] Pierre Dillenbourg. 1999. What do you mean by 'collaborative learning'? (1999).

[2] Anne Meier, Hans Spada, and Nikol Rummel. 2007. A rating scheme for assessing the quality of computer-supported collaboration processes. *International Journal of Computer-Supported Collaborative Learning* 2, 1 (March 2007), 63–86. https://doi.org/10.1007/s11412-006-9005-x

[3] Sambit Praharaj, Maren Scheffel, Hendrik Drachsler, and Marcus Specht. 2021. Literature Review on Co-Located Collaboration Modeling Using Multimodal Learning Analytics—Can We Go the Whole Nine Yards? *IEEE Transactions on Learning Technologies* 14, 3 (June 2021), 367–385. https://doi.org/10.1109/TLT.2021.3097766

[4] Bertrand Schneider, Gahyun Sung, Edwin Chng, and Stephanie Yang. 2021. How Can High-Frequency Sensors Capture Collaboration? A Review of the Empirical Links between Multimodal Metrics and Collaborative Constructs. *Sensors* 21, 24 (Jan. 2021), 8185. https://doi.org/10.3390/s21248185 Number: 24 Publisher: Multidisciplinary Digital Publishing Institute.

[5] Bertrand Schneider, Marcelo Worsley, and Roberto Martinez-Maldonado. 2021. Gesture and Gaze: Multimodal Data in Dyadic Interactions. In *International Handbook of Computer-Supported Collaborative Learning*, Ulrike Cress, Carolyn Rosé, Alyssa Friend Wise, and Jun Oshima (Eds.). Springer International Publishing, Cham, 625–641. https://doi.org/10.1007/978-3-030-65291-3_34

[6] Ralph Schroeder, Anthony Steed, Ann-Sofie Axelsson, Ilona Heldal, Åsa Abelin, Josef Wideström, Alexander Nilsson, and Mel Slater. 2001. Collaborating in networked immersive spaces: as good as being there together? *Computers & Graphics* 25, 5 (Oct. 2001), 781–788. https://doi.org/10.1016/S0097-8493(01)00120-0