Chapitre d'actes

2025

Published version

Open Access

This is the published version of the publication, made available in accordance with the publisher's policy.

# Observational Insights into Hybrid Transitions: Identification of Non-Verbal Signals for Maintaining Continuity in Distributed Collaborative Interactions

Borgognon, Nathalie Simone; Moccozet, Laurent; Molinari, Gaëlle

## How to cite

BORGOGNON, Nathalie Simone, MOCCOZET, Laurent, MOLINARI, Gaëlle. Observational Insights into Hybrid Transitions: Identification of Non-Verbal Signals for Maintaining Continuity in Distributed Collaborative Interactions. In: IHM "25: 36th Conference on l'Interaction Humain-Machine. Toulouse, France. [s.l.] : ACM, 2025. p. 1–18. doi: 10.1145/3765712.3765730

This publication URL: https://archive-ouverte.unige.ch/unige:189262

Publication DOI: 10.1145/3765712.3765730
# Observational Insights into Hybrid Transitions: Identification of Non-Verbal Signals for Maintaining Continuity in Distributed Collaborative Interactions

Nathalie S. Borgognon

RISIS, CUI

University of Geneva

Geneva, Switzerland

nathalie.borgognon@unige.ch

Laurent Moccozet

RISIS, CUI

University of Geneva

Geneva, Switzerland

laurent.moccozet@unige.ch

Gaëlle Molinari

TECFA

University of Geneva

Geneva, Switzerland

gaelle.molinari@unige.ch

## Abstract

The COVID-19 pandemic has increased flexibility in university teaching through video conferencing. However, disciplines such as service or object design require hybrid learning spaces integrating digital tools with physical object manipulation. Creativity Support Systems (CSS), which facilitate creative processes through technological means, and video conferencing facilitate remote collaboration but lack seamless integration into hybrid environments, insufficiently supporting exploration and prototyping. Video conferencing also restricts shared visual attention, embodied gestures, and co-presence, hindering interpretation of actions and intentions. To examine how these limitations affect hybrid transitions and collaboration continuity, this study employs video-based observational methods to analyze non-verbal interactions and transitions between digital and physical tools during prototyping. Five pre-selected video extracts were analyzed collaboratively by researchers and a student participant, identifying key hybrid collaboration challenges: coordinating viewpoints, maintaining commitment, managing interruptions, integrating physical-digital interactions, and ensuring effective documentation. These findings inform future applications to enhance continuity in distributed collaborative interactions.

## Résumé

La pandémie de COVID-19 a accru la flexibilité de l'enseignement universitaire via la vidéoconférence. Toutefois, des disciplines comme le design de services ou d'objets nécessitent des espaces hybrides combinant outils numériques et manipulation physique. Les systèmes d'aide à la créativité (CSS), qui facilitent les proces- sus créatifs par des outils technologiques, et la vidéoconférence facilitent la collaboration à distance, mais s'intègrent mal aux envi- ronnements hybrides, limitant l'exploration et le prototypage. Par ailleurs, la vidéoconférence restreint l'attention visuelle partagée, les gestes incarnés et la coprésence, nuisant à l'interprétation des ac- tions et intentions. Cette étude mobilise une méthode d'observation vidéo pour analyser les interactions non verbales et les transitions entre outils numériques et physiques durant le prototypage. Cinq extraits vidéo ont été co-analysés par des chercheurs et une étu- diante, identifiant les principaux défis de la collaboration hybride :

la coordination des perspectives, le maintien de l'engagement, la gestion des interruptions, l'intégration physique-numérique et la documentation. Ces résultats nourrissent des pistes pour améliorer la continuité des interactions collaboratives distribuées.

## CCS Concepts

* Human-centered computing → Empirical studies in collaborative and social computing: Human computer interaction (HCI); Collaborative interaction; • Information systems → Information systems applications; • Applied computing → Collaborative learning.

## Keywords

distributed collaboration, hybrid interaction, non-verbal signals, collaborative prototyping, interaction continuity, video-based observation, academic FabLab

## ACM Reference Format:

Nathalie S. Borgognon, Laurent Moccozet, and Gaëlle Molinari. 2025. Observational Insights into Hybrid Transitions: Identification of Non-Verbal Signals for Maintaining Continuity in Distributed Collaborative Interactions. In *The 36th Conference on l'Interaction Humain-Machine (IHM '25), November 03-07, 2025, Toulouse, France*. ACM, New York, NY, USA, 18 pages. https://doi.org/10.1145/3765712.3765730

## 1 Introduction

La collaboration transdisciplinaire dans les espaces académiques se heurte à des infrastructures pédagogiques peu adaptées, notamment lors des phases de prototypage tangible, où la proximité physique et la manipulation d'objets sont essentielles. Si la pandémie de COVID-19 a favorisé l'essor des outils numériques, ceux-ci demeurent insuffisants pour des disciplines comme le design, qui nécessitent des dispositifs hybrides combinant outils numériques et interactions matérielles. Dans ce contexte, les FabLabs universitaires — tiers-lieux propices à la co-construction, à la créativité et à l'interdisciplinarité [29] — constituent un cadre privilégié pour l'observation des pratiques en co-présence hybride.

Notre recherche s'inscrit dans une approche postdigitale fondée sur l'analyse de pratiques situées, en co-présence. Elle repose sur une observation multimodale de séances de prototypage collaboratif menées dans un FabLab académique, dans le cadre d'un sémi-naire interdisciplinaire dédié à l'innovation numérique. Ce contexte pédagogique implique des étudiants provenant de différentes disciplines, réunis pour résoudre collectivement des défis complexes via des approches de design. Comprendre ces tensions nous permet d'anticiper les continuités critiques à préserver pour concevoir

<figure><img src="image_1.png" /></figure>
des dispositifs hybrides ou asynchrones plus adaptés aux environ-
ements postdigitaux [20].

En lien avec cette posture, les espaces de co-création comme
les FabLabs, makerspaces ou hubs créatifs sont aujourd'hui des
environnements privilégiés pour observer les dynamiques hybrides
[28]. Cependant, leur accessibilité souvent exclusivement physique
limite l'inclusion des participants distants. Le concept d'espaces
d'apprentissage hyper-hybrides développé par Nørgård and Hilli
[32] constitue un cadre conceptuel pertinent pour concevoir des
environnements pédagogiques flexibles combinant efficacement
les dimensions physique-numérique, présentielle-distancielle et
synchrone-asynchrone.

Notre protocole repose sur une observation vidéographique qual-
itative et interprétative [18, 25], articulée en quatre phases : capta-
tion multimodale (vidéos fixes et embarquées), annotation inductive,
co-analyse avec des étudiant·e·s participant·e·s et des chercheur·e·s
co-analyseur·euse·s en IHM/CSCL, et codage prospectif assisté par
IA. Ce dispositif permet de mettre au jour les gestes, postures et
signaux implicites qui soutiennent la continuité des interactions hy-
brides — ou, à l'inverse, révèlent des tensions phygitales lorsque ces
signaux ne trouvent pas de relais adéquat en co-présence hybride.

Ces observations préliminaires nous amènent à formuler une
question de recherche précise sur les signaux non verbaux et leur
rôle dans la gestion des transitions hybrides. Notre question de
recherche est la suivante : L'analyse des signaux non verbaux en
situation de co-présence permet-elle d'identifier les tensions phy-
gitales – entendues comme des discontinuités interactionnelles
induites par des transitions physiques/numériques – pour orienter
la conception de dispositifs hybrides ou asynchrones permettant
d'en atténuer les effets ? Les concepts prospectifs issus de l'analyse
– qu'ils relèvent de la coordination visuelle, de la gestion des rôles
ou de l'usage des artefacts – fonctionnent comme des artefacts
intermédiaires permettant de penser et concevoir la coordination
dans les environnements hybrides. Ils visent à outiller la conception
de dispositifs favorisant une fluidité interactionnelle, une inclusion
active et une continuité collaborative.

Ces premières observations soulignent la complexité des tran-
sitions hybrides et la nécessité d'outils capables de soutenir effi-
cacement la continuité des interactions distribuées. Afin d'éclairer
ces enjeux, il est essentiel d'examiner les outils technologiques
qui structurent ces environnements, et en particulier les Creativ-
ity Support Systems (CSS). Ces systèmes, conçus pour faciliter les
processus créatifs en contexte collaboratif, occupent une place cen-
trale dans les dispositifs hybrides contemporains. Toutefois, leurs
limites en matière d'intégration fluide entre dimensions physique
et numérique appellent à une revue critique de la littérature. La
section suivante explore leurs apports et leurs contraintes en regard
des besoins spécifiques identifiés dans notre étude.

## 2 Background

Les Creativity Support Systems (CSS), aussi désignés comme Cre-
ativity Support Tools (CST) dans la littérature, regroupent des tech-
nologies visant à renforcer les processus créatifs. Ces systèmes, à
l'intersection de l'innovation et de la technologie, jouent un rôle
central dans les environnements collaboratifs contemporains. Leur
pertinence est confirmée par l'analyse de Frich et al. [12], qui iden-
tifiant plusieurs phases du processus créatif où ces outils apportent

une valeur ajoutée notable, comme l'idéation ou la collaboration
interdisciplinaire.

Définition et diversité des systèmes de soutien à
la créativité (CSS)

Malgré l'absence d'une définition universellement acceptée, les
CSS (ou CST) sont généralement décrits comme des systèmes
numériques dotés de fonctionnalités spécifiques pour encour-
ager la créativité. Par exemple, Frich et al. [12] définissent les
CSS comme "des outils qui fonctionnent sur un ou plusieurs sys-
tèmes numériques, intègrent des fonctionnalités centrées sur la
créativité et influencent positivement les utilisateurs à différents
niveaux d'expertise". En complément, Gabriel et al. [14] insistent
sur l'importance de concevoir des interfaces intuitives et modu-
laires, capables de soutenir un large éventail d'utilisateurs dans des
contextes variés.

Lacunes soulevées par les recherches antérieures

Bien que les CSS offrent un potentiel prometteur, plusieurs études ont mis en lumière des lacunes significatives. Par exemple, Gabriel et al. [14] soulignent que de nombreux outils manquent d'intuitivité, rendant leur adoption difficile pour les utilisateurs novices. Ye et al. [43], quant à eux, insistent sur l'importance des outils modulaires qui permettent une personnalisation en temps réel. Ces recherches montrent aussi que les CSS actuels n'offrent pas un soutien suffisant pour les activités de créativité dans des phases critiques telles que l'exploration ou le prototypage collaboratif, ni ne mobilisent des technologies permettant de créer des environnements hybrides dans ces phases, qui sont essentiels à la créativité [12, 14]. Ces limitations, combinées aux limitations des interfaces actuelles, freinent l'impact des CSS dans les environnements collaboratifs hybrides. L'analyse de Bonnardel and Zenasni [5] met également en avant la nécessité d'enrichir les interactions collaboratives pour stimuler efficacement la créativité.

Importance des interactions en face à face dans la
conception

Les interactions en face à face, riches en indices sociaux (comme
les expressions faciales et les gestes) et la co-présence dynamique
(interaction immédiate et réactive entre participants), surmontent
les limites des outils numériques. Rae et al. [36] expliquent que les
limitations des outils comme la visioconférence résident principale-
ment dans l'absence de co-présence physique, ce qui entrave les
gestes de référence ou les interactions spatiales. Par ailleurs, Pfeil
et al. [35] mettent en avant des problèmes de visualisation dans les
environnements collaboratifs, réduisant l'efficacité des échanges.
Ces perspectives soulignent l'importance des signaux non verbaux,
tels que les gestes et les expressions faciales, pour améliorer la co-
ordination et la fluidité des interactions collaboratives. L'analyse de
Hadley et al. [17] approfondit ces aspects en examinant comment
les signaux sociaux renforcent les processus collaboratifs.

Limites des outils numériques pour la
collaboration hybride

Les outils numériques, malgré leurs avantages, peinent à repro-
duire les dimensions sociales et sensorielles des interactions en
face à face. Hu et al. [19] et Jones et al. [22] identifient que les limitations des outils de visioconférence, comme le champ de vision restreint des caméras, rendent la compréhension commune des artefacts partagés difficile. De plus, Fussell et al. [13] et Rae et al. [36] soulignent que l'absence de co-présence physique entrave les interactions gestuelles, réduisant ainsi l'efficacité des échanges. Ces études, complétées par Pfeil et al. [35], mettent en lumière la tension persistante entre l'intégration fluide des médias physiques et virtuels. Enfin, Olson and Olson [33] et Scott R. Klemmer and Landay [38] montrent que l'absence d'une perspective visuelle commune peut provoquer des malentendus et réduire l'efficacité des interactions collaboratives, car les collaborateurs ne perçoivent pas toujours clairement les actions et intentions des autres.

Ces limitations mettent en lumière la nécessité pour les CSS d'intégrer des solutions inspirées des limites observées dans les outils traditionnels, comme la visioconférence, tout en proposant des fonctionnalités avancées pour mieux répondre aux besoins des utilisateurs dans des contextes hybrides. Les avancées possibles incluent des environnements immersifs, des interfaces tactiles et des outils modulaires capables de combler ces lacunes tout en enrichissant les interactions collaboratives. Ces constats justifient la nécessité d'une exploration plus fine des signaux non verbaux et des mécanismes qui conditionnent une intégration fluide entre espaces physiques et numériques. Afin de rendre compte de ces dynamiques interactionnelles situées, nous avons adopté une méthodologie qualitative ancrée dans le Design Science Research (DSR), articulée autour d'une observation vidéographique interprétative et collaborative.

## 3 Méthodologie

Cette recherche adopte une approche qualitative ancrée dans le Design Science Research (DSR), afin d'analyser les dynamiques interactionnelles dans un FabLab académique. Le DSR est ici mobilisé à double titre : premièrement comme cadre général ancré dans la pratique et orienté vers la conception de solutions concrètes [21], et deuxièmement comme cadre épistémologique, permettant de considérer les concepts émergents comme des artefacts scientifiques. [40].

Cette posture s'inscrit dans une logique abductive, où les observations de terrain servent de point de départ à la formulation de conjectures interprétatives, affinées par des allers-retours itératifs entre théorie et données. L'objectif n'est pas d'imposer un cadre explicatif a priori, mais d'accueillir l'émergence de significations situées dans un contexte postdigital hyper-hybride. Ces environnements, tels que les FabLabs académiques, permettent d'observer des enchevêtements dynamiques entre les dimensions physique/numérique et individuel/collectif, caractéristiques des « hyper-hybrid learning spaces » où s'articulent en simultané plusieurs dimensions hybrides [32]. Le corpus analysé porte sur la phase de prototypage collaboratif d'un projet interdisciplinaire visant à concevoir un assistant personnel robotisé ("Digital Twin") dédié au bien-être mental et physique. Ce prototype associe un futur robot tangible (doté d'un écran, de capteurs, d'interactions vocales et de fonctions d'analyse émotionnelle) à une application mobile connectée. Durant la phase préliminaire de prototypage, ces fonctionnalités ont été initialement explorées grâce à des artefacts

rudimentaires – maquettes en carton, post-it – servant à simuler les interactions attendues et à soutenir la co-conception dans une dynamique exploratoire et itérative. Cette phase, observée au sein du FabLab, offrait un terrain particulièrement propice à l'analyse des formes de couplage gestuel (interaction physique directe), artefactuel (usage d'objets intermédiaires) et interactionnel (coordination entre étudiant-e.s participant-e.s). Les modèles d'interaction émergents – tels que les schémas de coordination distribuée ou les transitions entre supports – sont considérés comme des artefacts intermédiaires au sens du DSR.

Cette approche s'ancre également dans les travaux récents en multimodal learning analytics (MMLA), qui soulignent la valeur de l'analyse conjointe des signaux comportementaux, interactionnels et émotionnels dans les environnements d'apprentissage collaboratif [23, 24]. En particulier, la combinaison de données vidéo avec des artefacts produits, des journaux réflexifs et des annotations permet de capter des dynamiques invisibles autrement – telles que la régulation émotionnelle, la coordination implicite ou l'engagement spatial partagé [8, 41]. Bien que notre étude n'ait pas mobilisé de capteurs physiologiques ou d'eye-tracking, elle partage avec ces approches l'ambition de rendre visible la richesse des interactions incarnées dans les espaces d'apprentissage hybrides.

La méthodologie s'articule en quatre phases distinctes : collecte de données, annotation vidéographique, co-analyse dialogique et codage assisté par IA. Chaque phase repose sur des outils spécifiques, mobilise des cadres théoriques dédiés, et produit des résultats intermédiaires ou conceptuels. Le tableau 1 synthétise ces différentes phases méthodologiques, mettant en évidence les outils employés, les cadres théoriques mobilisés ainsi que les résultats intermédiaires obtenus.

Cette structuration en quatre phases ne reflète pas une progression linéaire, mais une logique abductive, où l'analyse itérative des données nourrit l'émergence progressive d'artefacts conceptuels. Chaque phase s'enrichit des précédentes, tout en contribuant à affiner les interprétations au fil du processus. Nous détaillons ci-dessous chacune des quatre phases méthodologiques, en commençant par la phase initiale de collecte des données.

### Phase 1 : Collecte de données multimodale

Une phase exploratoire a d'abord permis d'identifier des espaces d'apprentissage hybrides en milieu académique en Suisse, en lien avec les exigences de notre recherche sur les interactions phygiétales [26]. Cette exploration a conduit à la sélection d'un FabLab académique, qualifié d'espace d'apprentissage hyperhybride [32], combinant fabrication tangible et outils numériques [29]. Cet environnement favorise la transdisciplinarité et la co-conception, tout en permettant d'observer des transitions fréquentes entre supports physiques et numériques.

Le terrain retenu pour cette étude est un séminaire interdisciplinaire dédié à l'innovation et à la conception collaborative. Alternant sessions théoriques et ateliers pratiques, ce séminaire propose chaque année un "wicked problem" à résoudre collectivement via une approche design thinking (problème complexe et mal défini, nécessitant une approche collaborative et itérative). Il constitue un contexte propice pour analyser les dynamiques collaboratives dans un environnement hybride, stimulant à la fois l'idéation, la matérialisation et les ajustements collectifs.
<table><caption>Table 1: Liens entre outils méthodologiques, cadres théoriques et résultats produits</caption><thead><tr><td>Phase</td><td>Dispositifs et outils</td><td>Cadres théoriques mobilisés</td><td>Résultats intermédiaires ou conceptuels</td></tr></thead><tbody><tr><td>1</td><td>Captations vidéo multi-angle (GoPro, fixes), journal d'auto-observation, artefacts produits</td><td>Vidéographie qualitative [18], multimodalité collaborative [8, 23]</td><td>Corpus multimodal, contextualisation des pratiques de co-design</td></tr><tr><td>2</td><td>Logiciel Advene [2], grille inductive, taxonomie gestuelle, framework Domino</td><td>Analyse multimodale, vidéographie interprétative [25], typologie de couplage interactionnel [31]</td><td>Typologie gestuelle située, cartographie interactionnelle (gestes-artefacts-espace)</td></tr><tr><td>3</td><td>Sessions de co-analyse dialogique, protocoles abductifs, extraits vidéo partagés</td><td>Herméneutique interactionnelle [11], sociologie visuelle</td><td>Concepts émergents croisés, validation intersubjective, tensions interactionnelles saillantes</td></tr><tr><td>4</td><td>Codage humain assisté par IA (ChatGPT, Copilot), synthèse dialoguée</td><td>Design Science Research [40], artefacts intermédiaires [9]</td><td>Concepts prospectifs (patrons d'interaction, modèles hybrides), pistes de formalisation</td></tr></tbody></table>

Les données ont été recueillies lors de trois sessions de prototypage collaboratif menées par un groupe de cinq étudiant·es de master, issu·es de deux disciplines complémentaires (informatique et services numériques), dont les profils sont présentés dans le tableau 2. Ces sessions ont été enregistrées en continu dans le FabLab à l'aide d'un dispositif multi-caméras et audio. Deux caméras fixes (vue plongeante et latérale) permettaient de documenter à la fois les postures, les gestes et les échanges verbaux du groupe, tandis que chaque étudiant·e participant·e portait une caméra GoPro individuelle fixée au niveau du regard. Ce dispositif multi-angle visait à saisir à la fois les interactions globales du groupe (postures, dynamique collective) et les micro-interactions individuelles avec les artefacts afin de documenter les manipulations précises d'artefacts tout en préservant la spontanéité des interactions.

Une posture d'observation non intrusive a été adoptée, et un protocole éthique a été validé en amont, incluant l'information et le consentement éclairé de l'ensemble des étudiant·e·s participant·e·s.

En parallèle, un journal d'auto-observation a été tenu par les étudiant·es entre les séances. Il visait à documenter les modalités de travail (lieux, temporalités, formes de collaboration), les activités réalisées (lecture, idéation, documentation, prototypage, etc.) et les artefacts mobilisés — qu'ils soient physiques (croquis, maquettes, objets tangibles) ou numériques (documents partagés, plateformes de co-design). Ces éléments, produits avant, pendant ou après les sessions filmées, ont été mobilisés dans l'analyse pour contextualiser certains gestes, explicit er des références implicites, ou éclairer les transitions entre différentes phases du processus de conception.

Après cette phase de collecte détaillée des données, celles-ci ont été annotées méthodiquement pour une analyse approfondie des interactions observées.

## Phase 2 : Annotation vidéographique avec grille inductive

L'étude vidéographique qualitative [18] et interprétative [25] a été utilisée pour examiner les interactions collaboratives observées, en

mettant l'accent sur les signaux non verbaux, la coordination des actions, et l'intégration des outils numériques et physiques dans le processus collectif.

L'observation vidéographique s'avère particulièrement pertinente pour analyser finement les interactions de groupe mobilisant à la fois des outils physiques et numériques, car elle capte avec précision les signaux non verbaux et leur impact sur la collaboration. En capturant des éléments tels que les gestes, les regards, et les postures des étudiant·e·s participant·e·s, cette méthode fournit des données crucales pour comprendre comment les individus interagissent à la fois avec les artefacts physiques et les interfaces numériques, et comment ces interactions influencent la collaboration globale [11]. L'analyse des signaux non verbaux peut également améliorer les outils de visioconférence en fournissant des informations sur les interactions des utilisateurs et la dynamique de communication, ce qui pourrait conduire à des interfaces plus intuitives et efficaces. L'un des principaux avantages de l'observation vidéographique est la possibilité de revisiter les enregistrements, ce qui permet une analyse fine et répétée des interactions image par image, garantissant ainsi une prise en compte complète de la communication non verbale qui accompagne l'utilisation des outils. Cela nous permet de mieux comprendre les dynamiques spatiales et temporelles de l'usage simultané de dispositifs numériques et physiques. Par exemple, nous avons observé comment les étudiant·e·s participant·e·s alternent rapidement entre un écran de smartphone et des post-it appliqués sur un prototype de robot pour matérialiser leurs idées, ou comment la distance physique entre eux influence les échanges gestuels et la coordination. De même, les variations dans le rythme de travail entre interactions en groupe, sous-groupe et individuel jouent un rôle clé dans l'ajustement des stratégies collaboratives. Ces éléments montrent comment les étudiant·e·s participant·e·s adaptent leurs comportements en fonction des contraintes et opportunités offertes par ces différents types d'outils [18, 27]. Cette compréhension est essentielle pour notre recherche car elle nous aide à identifier les mécanismes de coordination qui sous-tendent
<table><caption>Table 2: Profils des étudiant-e-s participant-e-s</caption><thead><tr><td>ID étudiant-e-s participant-e-s</td><td>Genre</td><td>Discipline principale</td><td>Niveau d'étude</td></tr></thead><tbody><tr><td>P1</td><td>Homme</td><td>Informatique</td><td>Master</td></tr><tr><td>P2</td><td>Femme</td><td>Systèmes et services numériques</td><td>Master</td></tr><tr><td>P3</td><td>Homme</td><td>Systèmes et services numériques</td><td>Master</td></tr><tr><td>P4</td><td>Homme</td><td>Informatique</td><td>Master</td></tr><tr><td>P5</td><td>Femme</td><td>Systèmes et services numériques</td><td>Master</td></tr></tbody></table>

la transition entre l'espace physique et l'espace numérique, ainsi que le rôle de la communication non verbale dans ces processus.

Les vidéos ont été annotées via le logiciel Advene, outil d'annotation vidéo permettant une segmentation fine des séquences selon les transitions clés identifiées. Une grille d'analyse inductive a été construite à partir de l'observation directe des données vidéo sans catégories prédéfinies, intégrant des catégories liées aux gestes, artefacts et postures.

La typologie gestuelle mobilisée s'appuie sur une construction inductive issue du corpus étudié, tout en étant informée par une con-solidation de plusieurs référentiels existants. Les catégories ont été élaborées pour refléter la diversité des gestes observés dans un Fa-bLab académique, en s'inspirant directement de travaux empiriques sur les interactions physiques-numériques dans des contextes de conception collaborative, d'interaction homme-machine et de pro-totypage tangible. Les gestes observés ont été catégorisés selon trois grandes fonctions :

* les gestes **déictiques attentionnels** (e.g. pointer un objet, grouper physiquement des éléments, exposer un écran), qui orientent l'attention partagée autour d'un artefact ou d'un espace ;

* les gestes **illustratifs** (e.g. modeler avec les mains, tracer une forme), qui servent à figurer ou projeter une propriété, une action ou une idée sur l'objet manipulé ;

* les gestes **manipulatoires instrumentaux** (e.g. saisir un objet, déplacer un outil), qui assurent la coordination physique sans viser une fonction d'exposition.

Ces catégories ne proviennent pas d'un modèle unique, mais résultent de la synthèse de plusieurs approches complémentaires issus de la littérature, notamment :

* Sauppé and Mutlu [37] pour la structuration des gestes robotiques déictiques en contexte interactif ;

* Angelini et al. [1] pour les gestes tangibles dans des interfaces partagées ;

* Cash and Maier [6] pour le rôle des gestes dans le prototypage avec les mains ;

* Vuletic et al. [42] pour la synthèse des gestes observés en environnements collaboratifs hybrides.

La typologie présentée dans la figure 1 constitue la base de l'annotation réalisée dans Advene, et permet d'identifier des configurations typiques d'interactions hybrides.

Chaque catégorie a été affinée itérativement en confrontant systématiquement les observations vidéo avec les référentiels théoriques pour ajuster les labels, les critères de segmentation et les exemples-types. La grille finale est donc une synthèse située, adaptée à l'environnement FabLab mais construite à partir d'un socle théorique pluraliste. Certaines séquences ont été qualifiées

de composites (e.g. un enchaînement « object-shaping » suivi d'un « phone-exposer »), en cohérence avec les logiques de couplage artefactuel décrites dans la littérature.

Cette phase d'analyse permet d'articuler les dimensions gestuelles, artefactuelles et spatiales de l'activité collaborative, en cohérence avec les cadres d'analyse récents mobilisés dans les environnements hybrides d'apprentissage. Les prototypes, bien que non suivis de manière longitudinale, sont considérés comme des artefacts médiateurs au cœur des dynamiques collectives, en écho aux principes du Trialogical Learning Framework [34].

En complément de cette typologie gestuelle, l'annotation vidéo s'est également appuyée sur le Framework Domino [31], centré sur les formes de couplage interactionnel dans les environnements hybrides. Le cadre distingue notamment :

* les phases de discussion partagée (DISC),

* de vue synchronisée (SV),

* d'interaction dissymétrique en co-présence (SIDC),

* et de développement parallèle (DP).

Ces catégories ont été utilisées pour caractériser les extraits vidéo représentatifs, en mettant en lumière les transitions entre modalités physiques et numériques, individuelles et collectives. Leur présence est signalée dans les résultats pour faciliter la lecture des dynamiques d'interaction observées. Une application analytique du cadre Domino est présentée dans la section Résultats, à travers une grille de codage et une description des extraits illustrant les différentes configurations interactionnelles.

Cette double catégorisation – gestuelle et interactionnelle – a été construite dans une perspective interprétative, sans visée de généralisation. Toutefois, elle constitue une base opératoire pour

<figure><img src="image_2.png" /><figcaption>Figure 1: Taxonomie des gestes observés en contexte collaboratif hybride (adaptée des référentiels existants)</figcaption></figure>
<table><thead><tr><th>Catégorie</th><th>Champ</th><th>Valeur / Description</th></tr></thead><tbody><tr><td rowspan="3">Horodatage</td><td>Début</td><td>01:14:14.714</td></tr><tr><td>Fin</td><td>01:14:19.700</td></tr><tr><td>Durée</td><td>00:00:04.986</td></tr><tr><td>Individuel–Collectif</td><td>Groupe principal / Sous-groupe I</td><td>11111 2.3 SV (vue partagée sur un même artefact numérique entre tous les étudiant·e·s participant·e·s)</td></tr><tr><td></td><td>Sous-groupe II</td><td>–</td></tr><tr><td>Physique–Numérique</td><td>Artefacts</td><td></td></tr><tr><td></td><td>Highlighting</td><td>SPhone-Exhibit (SPhone exposé par P5 aux P1–P4)</td></tr><tr><td></td><td>Body standing posture</td><td>11110 (P1–P4 debout, P5 assis)</td></tr><tr><td></td><td>Non-highlighting gestures</td><td>–</td></tr></tbody></table>

<figure><img src="image_3.png" /><figcaption>(1 smartphone actif – bleu plein ; 4 ordinateurs passifs – contour bleu ; 5 artefacts physiques passifs – contour rouge).</figcaption></figure>

<caption>Table 3: Extrait de grille d'analyse illustrant une interaction marquante (SPhone-Exposer) lors du prototypage collaboratif.</caption>

explorer des configurations typiques d'interaction dans les environnements FabLab, et générer des artefacts conceptuels mobilisables pour orienter de futures conceptions. Ces artefacts s'inscrivent dans la logique de la Design Science Research, où la production de modèles d'analyse peut être considérée comme un résultat scientifique à part entière [40].

Le tableau 3 présente un exemple d'annotation vidéographique détaillant les interactions hybrides caractéristiques observées durant les séances de prototypage. Ces annotations ont ensuite servi de base aux sessions de co-analyse dialogique, permettant d'affiner davantage les interprétations émergentes.

## Phase 3 : Co-analyse dialogique

Les extraits annotés lors de la phase précédente ont ensuite été soumis à une co-analyse dialogique afin de croiser différentes perspectives interprétatives. Une session de co-analyse a été organisée avec des chercheur·e·s co-analyseur·euse·s ainsi qu'une étudiante participante observée. Elle a permis de croiser les interprétations à partir d'extraits vidéos choisis. Le protocole suivait 7 étapes : (1) introduction contextuelle, (2) visionnage de l'extrait vidéo avec transcription, (3) analyse individuelle, (4) présentation des observations individuelles, (5) retour d'expérience de l'étudiante participante observée, (6) discussion collective, (7) synthèse finale.

Le tableau 4 présente la composition de l'échantillon mobilisé pour cette session de co-analyse.

Ce processus dialogique a enrichi l'interprétation en mobilisant une diversité de regards, s'appuyant notamment sur une posture interprétative qualitative telle que proposée par Filliettaz et al. [11], tout en renforçant la validité réflexive de l'analyse. Il s'inscrit dans une démarche herméneutique valorisant la co-construction de sens.

Le choix des extraits vidéo soumis à co-analyse a suivi une logique d'échantillonnage analytique, visant à représenter une variété de configurations interactionnelles (e.g. couplages différenciés, gestualités contrastées, artefacts mobilisés). Dans une perspective abductive propre aux méthodologies qualitatives interprétatives, ces extraits sont considérés comme exemplaire : ils sont retenus non pour leur fréquence mais pour leur valeur heuristique, leur richesse interprétative, ou leur capacité à révéler des tensions interactionnelles saillantes [25].

La grille détaillée des extraits, ainsi que la justification spécifique de leur sélection, sont présentées dans la section Résultats.

Au-delà de l'enrichissement interprétatif, cette co-analyse s'est appuyée sur trois modalités de validation qualitative : une triangulation inter-analyseur (comparaison des interprétations entre
<table><caption>Table 4: Échantillon des participant·e·s à l'atelier de co-analyse</caption><thead><tr><th>Participant·e·s</th><th>Genre</th><th>Statut académique</th><th>Domaine d'expertise</th></tr></thead><tbody><tr><td rowspan="5">6 personnes</td><td rowspan="4">4 femmes</td><td>Professeure assistante</td><td>Psychologie cognitive, apprentissage collaboratif assisté par ordinateur</td></tr><tr><td>Post-doctorante</td><td>Communautés de pratique, apprentissage médié par les technologies numériques</td></tr><tr><td>Doctorante</td><td>Co-conception de jeux épistémiques numériques</td></tr><tr><td>Étudiante en Master</td><td>Étudiante participante observée</td></tr><tr><td rowspan="2">2 hommes</td><td>Maître d'enseignement et de recherche</td><td>Apprentissage social et collaboratif, environnements d'apprentissage technologiques</td></tr><tr><td>Maître d'enseignement et de recherche</td><td>Recherche & développement de l'activité humaine ergonomie cognitive</td></tr></tbody></table>

plusieurs chercheurs pour assurer la validité analytique), un retour réflexif d'une étudiante participante, et une résonance inter-situationnelle des concepts (vérisation de la pertinence des concepts dans différentes situations observées). Ces pratiques renforcent la robustesse interprétative de l'analyse sans rechercher la généralisation statistique, conformément aux critères de validité situés en recherche qualitative.

Cette étude ne visait pas à analyser l'évolution temporelle des artefacts (comme le proposerait une lecture stricte du Trialogical Learning Framework), mais plutôt à examiner leur rôle médiateur dans les dynamiques interactionnelles. La posture adoptée reste fidèle à l'esprit du cadre trialogique, en ce qu'elle reconnaît les artefacts comme porteurs de continuité et de structuration collective, sans nécessairement documenter leur transformation à long terme.

Après cette phase approfondie de co-analyse dialogique, nous avons exploré le potentiel d'une analyse assistée par Intelligence Artificielle afin d'identifier de manière systématique les thèmes émergents.

## Phase 4 : Codage assisté par IA et formalisation des concepts prospectifs

Dans une phase exploratoire, nous avons croisé trois approches complémentaires de codage thématique : (1) un codage manuel réalisé sur des résumés dialogués générés par ChatGPT-4.0 ; (2) un codage automatique par ChatGPT-4.0 à partir des transcriptions complètes ; et (3) un codage automatique parallèle par Microsoft Copilot.

L'objectif était d'identifier les éléments interactionnels saillants évoqués par les chercheur·e·s co-analyseur·euse·s durant les séances de co-analyse, tout en comparant la structuration thématique entre humains et IA, et entre deux LLMs. Le codage manuel s'est appuyé sur une lecture interprétative des résumés, tandis que les codages automatisés ont été confrontés à partir des transcriptions intégrales. Ces outils d'IA ont été sélectionnés en raison de leur capacité à synthétiser et à catégoriser automatiquement des données qualitatives complexes, permettant ainsi de vérifier la convergence et la divergence avec le codage humain.

Contrairement au protocole normatif en six étapes proposé par Naeem et al. [30], notre démarche visait avant tout à explorer les potentialités interprétatives croisées dans une logique abductive. Elle s'inscrit néanmoins dans les recommandations méthodologiques du Bennett Institute for Public Policy [3], qui insistent sur l'encadrement critique, la transparence et la triangulation.

Cette analyse comparative tripartite a renforcé la réflexivité méthodologique sur les apports différenciés de chaque approche. Elle souligne notamment la complémentarité entre la sensibilité contextuelle du codage humain et la capacité des IA à proposer des regroupements thématiques rapides, bien que parfois plus génériques ou moins situés.

Cette analyse comparative tripartite a renforcé la réflexivité méthodologique sur les apports différenciés de chaque approche. Elle met en lumière la complémentarité entre la sensibilité contextuelle du codage humain — capable de capturer des nuances interactionnelles fines — et la capacité des IA génératives à produire rapidement des regroupements thématiques, parfois plus larges ou surdéterminés. Cette confrontation humain-IA révèle ainsi des convergences analytiques (autour des gestes d'ancrage, des interactions disymétriques, ou des espaces de synchronisation), tout en soulignant les écarts de granularité interprétative.

Les extraits dialogués analysés à partir de cette approche mixte ont servi de base à la génération de concepts prospectifs : des représentations interprétatives de situations futures hybrides, élaborées à partir d'éléments saillants observés dans les scènes étudiées. Ces artefacts intermédiaires — tels que des modèles de synchronisation phygitale ou des patrons gestuels récurrents — sont conçus pour stimuler la réflexion prospective plutôt que pour fournir des prescriptions normatives immédiates.

Bien que ces artefacts apportent des enseignements significatifs, ils ne constituent pas encore des principes de conception formels, car leur niveau de formalisation et de transférabilité reste limité à des configurations localisées. Cette démarche s'inspire notamment des travaux de [10] et de [9], qui insistent sur le rôle des artefacts intermédiaires dans les démarches exploratoires.
Ce processus s'inscrit dans une chaîne méthodologique explicite allant :

(1) des observations empiriques (captations vidéo),

(2) aux interprétations élaborées par co-analyse dialogique,

(3) puis à la formulation de concepts prospectifs comme artefacts intermédiaires,

(4) qui pourraient, à terme, nourrir la formalisation de principes de conception réutilisables.

En cohérence avec les cadres de la Design Science Research [7, 16, 40], ces artefacts doivent être compris comme résultats situés, émergents et interprétatifs, en amont d'un éventuel processus de stabilisation et d'abstraction. Leur formalisation en véritables principes de design suppose un travail ultérieur d'alignement, de validation inter-contextuelle et de documentation des conditions d'usage. D'ici là, ils constituent une base heuristique précieuse pour penser les dynamiques interactionnelles dans des environnements hybrides complexes.

Si ces artefacts intermédiaires ne constituent pas encore des principes de conception stabilisés, ils offrent néanmoins une base solide pour l'analyse des configurations interactionnelles observées. Les quatre phases méthodologiques précédemment décrites ont permis de constituer un corpus vidéographique structuré, à partir duquel cinq extraits représentatifs ont été sélectionnés. La section suivante présente les résultats issus de cette analyse, en détaillant les dynamiques gestuelles, artefactuelles et collaboratives caractéristiques du prototypage hybride.

# 4 Résultats

Suite à la méthodologie décrite précédemment, cette section présente les résultats détaillés issus de l'analyse vidéographique et des séances de co-analyse.

## Corpus analysé et justification du focus

L'analyse se concentre spécifiquement sur la phase de prototypage collaboratif (phase b., représentée dans la figure 2), identifiée comme particulièrement riche en interactions hybrides synchrones. Cette phase s'est déroulée en co-présence dans un FabLab académique avec cinq étudiant-es issus de deux parcours de Master complémentationaires (informatique et services numériques), réunissant des profils interdisciplinaires et équilibrés en genre. Les artefacts manipulés – post-its, maquettes, smartphones, laptops – combinés aux échanges synchrones, ont produit un ensemble riche de scènes hybrides, tant sur le plan individuel-collectif que physique-numérique.

<figure><img src="image_4.png" /><figcaption>**Figure 2:** Carte globale représentant les différentes phases du processus collaboratif observé</figcaption></figure>

Le corpus extrait se concentre sur une séquence située (voir Fig. 3), considérée comme représentative des dynamiques interactionnelles saillantes du terrain. La sélection des extraits repose sur une analyse croisée des modalités d'engagement (gestes déictiques, postures corporelles, artefacts manipulés), la diversité des configurations (alternance entre travail individuel, en sous-groupes et collectif), ainsi que la fréquence des transitions entre outils physiques et numériques. Ces critères ont permis d'identifier cinq extraits significatifs illustrant la variété des interactions phygitales synchrones (interactions en temps réel mêlant simultanément des outils physiques et numériques dans un même espace collaboratif) durant la phase de prototypage collaboratif.

<figure><img src="image_5.png" /><figcaption>**Figure 3:** Illustration des 5 extraits vidéo analysés issus des 60 minutes de la phase de prototypage collaboratif (phase b.)</figcaption></figure>

Chaque extrait est représenté dans la Figure 3 par une capture d'écran et une vue de dessus annotée correspondant au début de l'extrait. Les encadrés rouges identifient les artefacts physiques (post-it, prototype, plateau Lego, feuille de travail), tandis que les encadrés bleus signalent les artefacts numériques (smartphones, laptops). Les objets avec un remplissage coloré sont activement mobilisés au moment de la prise de vue, tandis que ceux avec un contour seul sont présents mais inactifs à cet instant précis.

Le tableau 5 synthétise le codage analytique des cinq extraits sélectionnés, indiquant les dimensions individuel-collectif, les artefacts utilisés, ainsi que les gestes déictiques significatifs observés.

L'analyse vidéo menée selon les dimensions d'hybridation physique-numérique et individuel-collectif a conduit à la sélection de cinq extraits représentatifs des dynamiques du prototypage collaboratif. La sélection des extraits a été effectuée avant les séances de co-analyse, afin d'assurer une diversité analytique tout en garantissant la traçabilité et la faisabilité de l'analyse apProfondie. Chaque extrait a été choisi pour illustrer au moins une des configurations identifiées par le cadre Domino (DISC, SV, SIDC, DP), tout en combinant une ou plusieurs formes d'hybridation entre artefacts physiques et numériques (smartphones, post-its, prototypes, laptops), gestes déictiques (marquants et non marquants), et postures corporelles (debout et assis).

La démarche de sélection visait à constituer un corpus resserré mais varié, couvrant l'ensemble des modalités observées, avec des segments courts (entre 1 et 1,5 minute) permettant une analyse collective lors des ateliers de co-analyse. Ces extraits, identifiés sur la Figure 3, sont synthétisés dans le tableau Table 5 et détaillés ci-dessous avec une description précise de leurs dynamiques interactionnelles principales :

* Extrait 1: [01:13:51.371 – 01:15:04.071 (1 min 12 s)] Tous les membres du groupe commencent la phase d'idéation par
<table><caption>Table 5: Codage des 5 extraits</caption><thead><tr><th>Catégorie</th><th>Extrait 1</th><th>Extrait 2</th><th>Extrait 3</th><th>Extrait 4</th><th>Extrait 5</th></tr></thead><tbody><tr><td><strong>Individuel-Collectif</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Groupe principal /<br>Sous-groupe I</td><td>11111 2.1 DISC<br>11111 2.3 SV</td><td>11111 2.3 SV</td><td>01011 2.1 DISC<br>01011 2.4 SIDC<br>11111 2.1 DISC</td><td>01011 2.1 DISC<br>11001 2.3 SV</td><td>00100 2.8 DP<br>00101 2.4 SIDC</td></tr><tr><td>Sous-groupe II</td><td>-</td><td>-</td><td>10100 2.3 SV</td><td>00110 DISC</td><td>11011 2.1 DISC<br>11010 2.1 DISC</td></tr><tr><td><strong>Physique-Numérique</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Artefacts</td><td>Objets produits<br>précédemment, pro-<br>totype, smartphones,<br>laptops</td><td>Objets produits<br>précédemment, pro-<br>totype, smartphones,<br>laptops</td><td>Objets produits<br>précédemment, post-<br>it, prototype, scotch,<br>smartphones</td><td>Objets produits<br>précédemment, pro-<br>totype, smartphones,<br>laptops</td><td>Objets produits<br>précédemment, pro-<br>totype, smartphones,<br>laptops</td></tr><tr><td>Gestes déictiques mar-<br>quants</td><td>SPhone-Expose,<br>PC-Point, Prototype-<br>Point</td><td>Prototype-<br>Model|Exhibit</td><td>Prototype-<br>Model|Exhibit,<br>SPhone-Exhibit,<br>Post-it-Expose</td><td>PC-Expose, Prototype-<br>Model|Touch</td><td>Prototype-<br>Touch|Move, SPhone-<br>Hold, SPhone-<br>Grasps|Exhibit</td></tr><tr><td>Posture debout/assis</td><td>11110</td><td>11110</td><td>11100 | 11110</td><td>01000 | 01010 | 01000</td><td>00000</td></tr><tr><td>Gestes déictiques non<br>marquants</td><td>-</td><td>-</td><td>Hands-Sign</td><td>-</td><td>-</td></tr></tbody></table>

une discussion active (Framework Domino: 2.1 DISC), en ayant sous les yeux l'ensemble des artefacts physiques et numériques créés lors des ateliers précédents du cours. La discussion porte sur un robot capable de détecter le stress, avec l'hypothèse d'intégrer une interface faciale, telle qu'un visage holographique, afin d'améliorer son interaction avec les humains. Certains étudiant·e·s participant·e·s partagent des exemples en affichant du contenu sur l'écran de leur smartphone ou en pointant un élément sur l'écran de leur ordinateur portable, qu'ils orientent ensuite vers les autres membres du groupe pour partager la même vue (Framework Domino: 2.3 SV).

* **Extrait 2:** [01:16:03.304 – 01:17:20.647 (1 min 17 s)] Tous les membres du groupe collaborent ensemble en partageant la même vue des éléments du prototype en cours de construction (Framework Domino: 2.3 SV). Cette vue commune est accompagnée de communication en complément au verbal à l'aide de gestes déictiques de mise en évidence qui soit expose, soit modèle les éléments du prototype (Object-Shaping|Exhibiting), ainsi que des gestes déictiques qui accompagnent les explications d'idées pour les prochaines étapes de modélisation du prototype actuel.

* **Extrait 3:** [01:26:7.738 – 01:28:01.204 (1 min 33 s)] Un sous-groupe de trois étudiants discute de l'utilisation des expressions faciales pour un robot, en sélectionnant différentes émotions telles que "heureux", "triste" ou "en colère". (Framework Domino: 2.1 DISC) L'une des étudiantes est debout pendant la discussion, tandis que les deux autres sont assis et dessinent des smileys sur des post-it physiques. (Framework Domino: 2.4 SIDC) Une étudiante participante recopie une expression faciale affichée sur son smartphone, puis transmet le post-it correspondant à un autre membre du groupe. Pendant ce temps, les deux autres étudiants travaillent sur le prototypage du robot lui-même (Framework Domino: 2.4 SV). L'un des post-it est ensuite montré à tout le groupe pour

validation, et une étudiante le colle sur l'une des faces du robot. Ils débattent ensemble de l'opportunité d'inclure certaines émotions, comme la colère, afin d'éviter d'éventuelles réactions indésirables du robot, tout en prenant en compte l'impact de ces expressions sur les interactions avec les humains (Framework Domino: 2.1 DISC).

* **Extrait 4:** [01:40:02.998 – 01:41:33.110 (1 min 30 s)] Un sous-groupe de trois étudiants discute de souvenirs d'enfance, notamment de jouets (Framework Domino: 2.1 DISC). L'un d'eux montre un exemple aux autres sur l'écran de son ordinateur portable (Framework Domino: 2.3 SV). Ils échangent ensuite sur leur prototype de robot, qui devrait être simple et facile à utiliser. Pendant ce temps, les deux autres étudiants continuent à travailler sur le prototype en le modélisant à l'aide de post-it. Ils échangent avec humour sur l'idée qu'un enfant pourrait facilement actionner le robot, soulignant le sentiment de contrôle et de réconfort qu'il pourrait offrir après une journée éprouvante. L'un des étudiant·e·s participant·e·s appuie sur un pseudo-bouton rouge pour illustrer l'action discutée (Framework Domino: 2.3 SV). Le groupe évoque également l'évolution technologique, se demandant comment ce robot pourrait s'intégrer dans un futur lointain tout en restant accessible et ludique (Framework Domino: 2.1 DISC).

* **Extrait 5:** [01:50:09.725 – 01:51:12.779 (1 min 03 s)] L'un·e des étudiant·e·s participant·e·s travaille en parallèle du reste du groupe sur la transition du prototype physique du robot vers sa numérisation à l'aide de photos 2D (Framework Domino: 2.8 DP), comme illustré dans la Figure 4. Pendant ce temps, les autres membres de l'équipe discutent des limitations techniques du prototype, notamment son incapacité à recevoir ou envoyer des requêtes HTTP, comme le ferait un serveur. Malgré ces contraintes, ils estiment que le prototype reste suffisamment fonctionnel pour répondre aux besoins actuels.
Un membre du groupe soulève également une fonctionnalité pouvant être améliorée (Framework Domino: 2.1 DISC). L'étudiant participant en charge de la numérisation cherche à obtenir des informations pratiques et échange brièvement avec une autre étudiante participante, qui quitte momentanément la discussion de groupe, au sujet du nom du groupe utilisé dans leur projet. Pour s'entraider, ils utilisent chacun leur smartphone afin de comparer les informations échangées exclusivement par voie orale (Framework Domino: 2.4 SIDC).

<figure><img src="image_6.png" /><figcaption>**Figure 4: Numérisation du prototype robotique réalisée durant l'une des sessions observées, illustrant concrètement la transition physique-numérique**</figcaption></figure>

Ces extraits détaillés ont ensuite été soumis aux sessions de co-analyse dialogique, permettant ainsi de confronter les observations à divers points de vue disciplinaires pour enrichir l'interprétation.

## 4.1 Sessions de co-analyse des extraits vidéo

Les sessions de co-analyse ont impliqué 5 chercheur·e·s co-analyseur·euse·s et une étudiante participante observée, permettant ainsi une validation intersubjective des catégories émergentes et une triangulation disciplinaire des résultats. Chaque chercheur·e a apporté un point de vue spécifique en fonction de sa spécialisation comme indiqué dans le Tableau 4.

L'analyse des données a révélé plusieurs dimensions clés structurant la collaboration hybride (coordination spatiale, transitions entre outils, rôle des gestes non verbaux, régulation collective). Ces catégories permettent d'organiser les observations en fonction des défis récurrents rencontrés et des stratégies mises en place par les étudiant·e·s participant·e·s pour y faire face. Elles s'inscrivent dans la continuité des résultats en mettant en évidence les aspects fondamentaux influençant l'efficacité des interactions hybrides. Les concepts identifiés ont été regroupés en grandes catégories thématiques afin de structurer l'analyse des résultats. Ces catégories mettent en lumière les défis récurrents et les stratégies mises en place par les étudiant·e·s participant·e·s. Les résultats suivants sont présentés sous forme de tableaux, illustrant chaque regroupement de concepts par des descriptions et retours des chercheur·e·s co-analyseur·euse·s.

**Convergence des Perspectives et Coordination:** Ces concepts concernent la manière dont les étudiant·e·s participant·e·s synchronisent leurs actions et partagent leur attention, facilitant ainsi une compréhension collective. Ils mettent en avant l'importance de la coordination et de la convergence des points de vue pour faciliter

la collaboration. L'efficacité de l'attention partagée et de la coordination visuelle est cruciale dans des environnements où la collaboration se déroule à distance ou en présence hybride. Cette dynamique s'incarne notamment dans des moments où les regards et gestes des participant·e·s se coordonnent autour d'artefacts numériques ou physiques, permettant une co-construction rapide d'idées. Ces concepts sont résumés dans le Tableau 6, et un exemple détaillé de ce type d'interaction est présenté dans la micro-analyse d'une portion de l'Extrait 1 (Annexe A.1).

**Inclusion, Engagement et Flexibilité des Rôles:** Ces concepts se focalisent sur l'implication émotionnelle, la gestion des rôles et l'inclusion des étudiant·e·s participant·e·s dans le processus collaboratif. La flexibilité et l'inclusion jouent un rôle central dans l'engagement des étudiant·e·s participant·e·s, en particulier lorsque des équipes distantes ou interdisciplinaires collaborent. L'adaptation des rôles et la gestion des émotions apparaissent comme des leviers clés pour maintenir la motivation et l'implication des équipes dans des contextes de travail complexes. Cette dynamique s'illustre notamment dans des échanges où les membres assument des rôles complémentaires (commenter, interpréter, proposer) et parviennent à une décision collective informelle mais partagée. Ces concepts sont résumés dans le Tableau 7, et un exemple détaillé de ce type d'interaction est présenté dans la micro-analyse d'une portion de l'Extrait 3 (Annexe A.2).

**Gestion des Interruptions et Perturbations:** Ces concepts abordent la gestion des interruptions techniques et communicationnelles, soulignant l'importance d'une gestion efficace pour maintenir la concentration et la continuité des activités collaboratives. Ils mettent également en avant la résilience face aux perturbations dans un environnement de travail en ligne ou hybride. Cette dynamique se manifeste par exemple lorsque des problèmes techniques ou des demandes d'information viennent interrompre un échange collectif, obligeant le groupe ou une partie de celui-ci à réorienter temporairement son attention. Ces concepts sont résumés dans le Tableau 8, et un exemple détaillé de ce type de situation est présenté dans la micro-analyse d'une portion de l'Extrait 5 (Annexe A.3).

**Interaction Physique et Numérique:** Les concepts portent sur l'utilisation d'outils et d'espaces pour interagir avec des objets physiques et numériques, ainsi que sur l'organisation des zones d'interaction. Ils examinent la relation entre le physique et le numérique dans les environnements de travail hybrides, soulignant l'importance de la flexibilité et de l'interaction à distance pour créer une expérience immersive et engageante pour tous les étudiant·e·s participant·e·s, peu importe leur localisation. Ce type d'interaction se manifeste notamment dans des moments où la manipulation tangible d'objets, la circulation entre zones périphériques et la centralité des gestes structurent l'activité collective. Ces concepts sont résumés dans le Tableau 9, et un exemple détaillé de cette dimension est présenté dans la micro-analyse d'une portion de l'Extrait 2 (Annexe A.4).

**Documentation et Suivi des Projets:** Ces concepts concernent la documentation des étapes créatives pour faciliter la réflexion et l'analyse. La documentation systématique des prototypes et des réflexions est essentielle pour suivre le développement des idées et permettre une analyse critique ultérieure. Tout autant que l'accès à cette documentation durant le processus collaboratif, surtout pour les projets de conception nécessitant un suivi à long terme. Cette
<table><caption>Table 6: Résumé des concepts de Convergence des Perspectives et Coordination</caption><thead><tr><th>Concept</th><th>Description</th><th>Feedback des chercheur·e·s co-analyseur·e·use·s</th></tr></thead><tbody><tr><td>Convergence des regards</td><td>Convergence des regards de plusieurs perspectives pour partager l'attention sur des objets physiques et numériques ou entre personnes, renforçant la compréhension mutuelle et l'émergence d'idées collectives.</td><td>Un·e chercheur·e co-analyseur·euse a souligné l'importance de la convergence des regards et du pointage pour diriger l'attention collective vers des éléments numériques et physiques, notant que les écrans sont utilisés à cet effet.<br>Un·e autre chercheur·e co-analyseur·euse a noté que même les personnes non verbalement actives peuvent être engagées par leur direction de regard et leur attention.</td></tr><tr><td>Complémentarité des champs visuels</td><td>Synchronisation des perspectives visuelles pour éviter les malentendus, en rendant accessibles plusieurs écrans et points de vue sur des artefacts physiques, améliorant la visibilité et la compréhension.</td><td>Un·e chercheur·e co-analyseur·euse a noté que la combinaison des écrans et des interactions physiques aide à prévenir les malentendus concernant ce qui est montré ou discuté, en évitant les confusions sur les objets pointés. Par exemple lorsque quelqu'un semble pointer quelque chose sur un écran alors qu'en réalité, ils pointent un autre objet dans la pièce.</td></tr><tr><td>Co-construction des idées autour des gestes et des signes corporels</td><td>Importance des gestes et signes corporels dans la conception, facilitant l'interprétation des interactions, et leur complémentarité avec les interactions à distance.</td><td>Un·e chercheur·e co-analyseur·euse a observé que les personnes dans le groupe utilisaient les téléphones et ordinateurs pour partager des informations en pointant les écrans.<br>Un·e autre chercheur·e co-analyseur·euse a remarqué une co-construction d'idées à l'aide des gestes et des signes.<br>Un·e chercheur·e co-analyseur·euse a également noté que les gestes larges des personnes en salle pourrait rendre les étudiant·e·s participant·e·s à distance exclus ou incertains de ce qu'ils devraient faire.</td></tr><tr><td>Synchronisation et attention partagée</td><td>Renforce la synchronisation des actions et l'attention partagée, garantissant une cohérence d'interaction et une répartition fluide des rôles.</td><td>Un·e chercheur·e co-analyseur·euse a souligné l'importance de la synchronisation pour un travail collaboratif efficace.<br>Un autre a noté que, dans l'analyse des interactions, deux personnes immobiles jouaient un rôle de leader, tandis que les autres circulaient pour rapporter des objets et attendaient une validation, nécessitant ainsi un type d'exemple de synchronisation au sein du groupe.</td></tr></tbody></table>

dynamique se manifeste notamment à travers des gestes spontanés de capture et de numérisation des prototypes, qui permettent de conserver des traces visuelles utiles pour la mémoire collective et l'analyse ultérieure. Ces concepts sont résumés dans le Tableau 10, et un exemple détaillé de ce type de pratique est présenté dans la micro-analyse d'une portion de l'Extrait 4 (Annexe A.5).

Ces résultats mettent en lumière des mécanismes interactionnels essentiels à la continuité collaborative en contexte hybride. Nous discutons à présent les implications théoriques et pratiques de ces observations pour la conception de dispositifs hybrides plus efficaces.

# 5 Discussion

## 5.1 Identification des limitations des outils actuels

Les outils de visioconférence, bien qu'essentiels pour la collaboration à distance, présentent des limitations notables lorsqu'il s'agit de reproduire les interactions riches des environnements en face-à-face. Ces limites concernent notamment le partage des vues, l'intégration entre médias physiques et numériques et l'absence de co-présence physique. Ces défis, mis en évidence par l'analyse des extraits vidéo, montrent que des éléments essentiels à la collaboration fluide, tels que la coordination gestuelle et l'engagement émotionnel, pourraient être difficilement reproduits à distance [33].
<table><caption>Table 7: Résumé des concepts d'Inclusion, Engagement et Flexibilité des Rôles</caption><thead><tr><th>Concept</th><th>Description</th><th>Feedback des chercheur-e-s co-analyseur-euse-s</th></tr></thead><tbody><tr><td>Inclusion par l'engagement émotionnel</td><td>Gestion des émotions dans le processus collaboratif pour éviter la déconnexion des étudiant-e-s participant-e-s et maintenir l'inclusion avec des besoins émotionnels adressés.</td><td>Un-e chercheur-e co-analyseur-euse a remarqué une transition d'une phase d'idéation enthousiaste à une phase plus concrète, entraînant une baisse d'enthousiasme et soulevant des préoccupations sur l'inclusion des personnes à distance. Il a souligné que même les éléments non pragmatiques sont cruciaux pour leur sentiment d'implication.<br>Un-e autre chercheur-e co-analyseur-euse a également noté une diminution de l'enthousiasme et l'impact des interactions sur les émotions des participants.<br>Enfin, un-e dernier-ère chercheur-e co-analyseur-euse a insisté sur l'importance d'assurer que les étudiant-e-s participant-e-s à distance se sentent inclus et aient les moyens de s'engager dans le processus créatif collectif.</td></tr><tr><td>Implication et Rôles Divergents</td><td>Flexibilité des rôles (observateur, contributeur actif, leader) pour permettre une implication variable selon le contexte et les besoins avec différents styles de participation (verbal, physique ou présence).</td><td>Des chercheur-e-s co-analyseur-euse-s ont observé des différences d'engagement, notant que la participation peut être subtile, même sans verbalisation.<br>Un-e autre chercheur-e co-analyseur-euse a souligné l'importance de la flexibilité des rôles, permettant d'être observateur ou acteur selon le contexte, bien que cela puisse être difficile à suivre pour certains.<br>Un-e dernier chercheur-e co-analyseur-euse a mentionné que chacun doit participer à son propre rythme et dans son propre rôle, ce qui est crucial pour maintenir l'engagement.</td></tr><tr><td>Idéation et prise de décision collective</td><td>Facilitation à la co-construction d'idées et la validation collective à l'aide de mécanismes d'inclusion dans la prise de décision, équilibrant les rôles des leaders et des membres du groupe.</td><td>Un-e chercheur-e co-analyseur-euse a observé que certains membres étaient en accord sur leurs choix, tandis que d'autres proposaient des idées moins bien accueillies. Il a également noté qu'une personne à distance pourrait se sentir désengagée sans possibilité d'être incluse dans le processus de validation.<br>Un-e autre chercheur-e co-analyseur-euse a souligné l'importance de la dynamique collective dans la prise de décision et la manière dont les choix sont présentés et discutés par le groupe.</td></tr></tbody></table>

Les observations empiriques confirment l'importance des signaux sociaux et de la synchronisation des perspectives pour une communication efficace [14, 17]. De plus, l'intégration d'interfaces modulaires et intuitives faciliterait leur adoption par un large éventail d'utilisateurs, en améliorant la fluidité des interactions collaboratives. Par exemple, la convergence des regards et l'usage de gestes déictiques facilitent la compréhension mutuelle dans un contexte de collaboration hybride. Ces éléments doivent être pris en compte dans la conception d'outils numériques pour garantir une continuité efficace entre environnements physiques et distants. Pfeil et al. [35] soulignent que la prise en charge des interactions sociales dans les outils de téléprésence est essentielle pour améliorer l'expérience utilisateur et compenser l'absence de co-présence physique. En particulier, la résolution des problèmes de visualisation et la mise en place de solutions pour combler cette lacune sont des défis majeurs. L'intégration de systèmes permettant une visualisation partagée et

une meilleure interaction gestuelle a été identifiée comme un levier d'amélioration dans plusieurs études [38].

## 5.2 Concepts prospectifs et perspectives pour les outils futurs

L'étude propose plusieurs concepts prospectifs pour améliorer la collaboration hybride, en tenant compte des limites des CSS dans des phases critiques comme l'exploration et le prototypage collaboratif. Ces aspects ont été soulignés dans plusieurs études sur la créativité et les environnements numériques. Parmi ceux-ci, l'intégration de visualisations partagées, la mise en avant des signaux sociaux et l'adaptation des interfaces pour une interaction plus intuitive sont identifiées comme des leviers essentiels [5, 39]. Les résultats démontrent que renforcer l'engagement émotionnel et la flexibilité des rôles peut améliorer la dynamique collaborative [17, 43].
<table><caption>Table 8: Résumé des concepts de Gestion des Interruptions et Perturbations</caption><thead><tr><th>Concept</th><th>Description</th><th>Feedback des chercheur-e-s co-analyseur-euse-s</th></tr></thead><tbody><tr><td>Gestion des interruptions techniques et des discontinuités temporelles</td><td>Compensation des perturbations techniques ou difficultés d'utilisation pour maintenir l'engagement.</td><td>Un-e chercheur-e co-analyseur-euse a souligné les défis de maintenir la connexion avec les étudiant-e-s participant-e-s distants et a suggéré de déterminer les éléments essentiels pour éviter leur déconnexion.<br><br>Un autre a discuté des difficultés d'utilisation des outils de communication et de leur impact sur le travail de groupe, en insistant également sur la nécessité de résoudre les problèmes de connexion.<br><br>Enfin, un-e chercheur-e co-analyseur-euse a évoqué l'importance de documenter le projet pour assurer sa continuité malgré les interruptions.</td></tr><tr><td>Gestion des interruptions en communication de groupe</td><td>Maintien du flux de travail et évitement des perturbations dans les discussions de groupe.</td><td>Un-e chercheur-e co-analyseur-euse a soulevé le fait que ça pouvait être perturbant de suivre via la vidéoconférence des interactions parallèles, rendant plus difficile l'intervention des étudiant-e-s participant-e-s distants.<br><br>Un autre a souligné que les interruptions pour obtenir des informations peuvent perturber le flux de travail, mettant en avant l'importance de gérer ces interruptions.<br><br>Enfin, un-e troisième chercheur-e co-analyseur-euse a noté des problèmes de coordination et de communication, notamment pour obtenir des informations rapidement et maintenir un flux de travail cohérent.</td></tr></tbody></table>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

L'utilisation de la co-construction à travers des gestes et des interactions directes est un élément fondamental qui doit être adapté aux environnements numériques.

Le design fiction offre un cadre permettant d'explorer ces pistes en concevant des scénarios prospectifs basés sur des observations empiriques [4]. Cette approche permettra d'expérimenter des solutions intégrant des interactions immersives et des outils phygitaux pour combler les écarts entre présence physique et numérique. En particulier, elle permettrait d'anticiper les défis liés à la synchronization des perspectives et à l'engagement émotionnel, en proposant des prototypes intégrant des signaux sociaux augmentés.

## 5.3 Limites et directions Futures

Cette étude se base sur un corpus restreint issu d'un seul groupe d'étudiant-es dans un FabLab académique, ce qui limite la généralisation des résultats. Si les extraits sélectionnés permettent de mettre en évidence des tensions phygitales typiques, leur validité devra être confirmée à travers des études menées dans des contextes multi-groupes ou professionnels.

Nous avions initialement prévu d'analyser les signaux émotionnels et physiologiques, mais cette dimension a été abandonnée en raison de problèmes techniques (capteurs instables, interface de saisie peu intuitive).

Ce défi n'est pas isolé : Gabriel et al. [14] a documenté les limites des systèmes hybrides de soutien à la créativité, Pfeil et al. [35] souligne les difficultés socio-techniques liées à la conception d'interfaces sensibles au contexte utilisateur, et Ge et al. [15] insistent sur l'importance d'un ancrage situé des émotions dans les dynamiques de conception collaborative.

Les observations confirment l'importance de dispositifs capables de mieux synchroniser les interactions gestuelles et visuelles en situation phygitale. La coordination entre artefacts physiques, gestes déictiques, et outils numériques requiert des mécanismes d'adaptation en temps réel, fondés sur des retours utilisateurs continus. Nos résultats soulignent le potentiel de solutions hybrides co-construites, intégrant à la fois des éléments de design participatif et des critères issus de l'analyse interactionnelle.

En synthèse, les discussions précédentes permettent de dégager des perspectives concrètes en matière de conception. Nous les résumons dans la conclusion ci-dessous.

## 6 Conclusion

Cette étude propose une analyse fine des interactions non verbales dans un contexte de collaboration hybride, en s'appuyant sur une observation vidéographique conduite dans un FabLab académique. Elle met en lumière la manière dont les transitions entre outils
<table><caption>Table 9: Résumé des concepts d'Interaction Physique et Numérique</caption><thead><tr><th>Concept</th><th>Description</th><th>Feedback des chercheur-e-s co-analyseur-euse-s</th></tr></thead><tbody><tr><td>Manipulation et contribution Tangible</td><td>Permettre aux étudiant-e-s participant-e-s distants/présents de manipuler des objets physiques.</td><td>Un-e chercheur-e co-analyseur-euse a noté que la participation à distance est restreinte par l'incapacité de manipuler physiquement les objets ou de contribuer de manière tangible. Il a également remis en question l'importance de maintenir un lien détaillé pour ces étudiant-e-s participant-e-s et son impact sur leur engagement.</td></tr><tr><td>Utilisation libre des outils physiques et numériques</td><td>Flexibilité d'utilisation des outils physiques ou numériques en fonction des besoins.</td><td>Un-e chercheur-e co-analyseur-euse a souligné que la participation active des personnes à distance est limitée, notamment parce qu'elles ne peuvent pas manipuler physiquement les objets ou contribuer de manière tangible. Il a questionné l'importance de maintenir un lien détaillé ou pas pour ces étudiant-e-s participant-e-s.<br>Un-e autre chercheur-e co-analyseur-euse a mentionné la continuité et discontinuité dans l'engagement sans accès direct aux significations produites par tous les membres du groupe.</td></tr><tr><td>Zone d'Interaction Proche, Périphérique et Adjacente</td><td>Organisation des zones d'interaction pour structurer la collaboration.</td><td>Deux chercheur-e-s co-analyseur-euse-s ont observé un échange de matériel dans un espace physique, notant que les étudiant-e-s participant-e-s allaient chercher des objets pour les partager avec le groupe de l'extérieur de la salle vers le centre de la table de travailler.<br>L'un-e chercheur-e co-analyseur-euse a exprimé le désir d'explorer l'environnement périphérique et de participer à la recherche d'objets, même à distance, soulignant le risque de désengagement sans interaction physique avec l'espace.<br>Un-e autre chercheur-e co-analyseur-euse a souligné l'importance de permettre aux utilisateurs de choisir ce qu'ils souhaitent voir ou faire, afin d'améliorer l'expérience et l'interaction dans un contexte créatif.</td></tr></tbody></table>

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>

<figure><img src="image_13.png" /><figcaption>Table 10: Résumé des concepts de Documentation et Suivi des Projets</figcaption></figure>

<table><thead><tr><th>Concept</th><th>Description</th><th>Feedback des chercheur-e-s co-analyseur-euse-s</th></tr></thead><tbody><tr><td>Documentation de l'évolution des prototypes et numérisation des traces</td><td>Importance de documenter les étapes du processus créatif pendant le processus collaboratif et à travers des archives numériques pour observer l'évolution des idées et faciliter la réflexion critique.</td><td>Un-e chercheur-e co-analyseur-euse a souligné l'importance de la capture photographique pour documenter l'évolution des prototypes afin de laisser des traces et numériser les produits provenant des étapes de création du projet.<br>Tandis qu'un-e autre a noté que l'absence d'informations numériques en temps réel pouvait nuire à la compréhension globale.<br>Un-e troisième chercheur-e co-analyseur-euse a évoqué les défis de la documentation et de la gestion des informations, en insistant sur la nécessité de capturer des détails importants sans perturber les sessions de travail.</td></tr><tr><td>Vue globale des artefacts physiques et numériques</td><td>Vision globale de tous les outils et artefacts disponible afin que ceux-ci soient à disposition quand le besoin se fait sentir.</td><td>Un-e chercheur-e co-analyseur-euse a noté que les membres utilisent plusieurs outils, à la fois physiques et digitaux, comme Miro et Figma, ce qui complique la perception du travail global.</td></tr></tbody></table>

<figure><img src="image_14.png" /></figure>

<figure><img src="image_15.png" /></figure>

<figure><img src="image_16.png" /></figure>

<figure><img src="image_17.png" /></figure>

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>
physiques et numériques influencent la continuité des échanges, la coordination gestuelle et la qualité de l'engagement collectif.

Les résultats montrent que la synchronisation visuelle, les gestes déictiques, et la flexibilité des rôles jouent un rôle clé dans la fluidité du travail collaboratif. À partir de ces observations, l'étude génère des concepts prospectifs – tels que la convergence des regards ou la gestion des interruptions hybrides – qui peuvent guider la conception d'outils plus adaptés aux environnements postdigtaux.

Enfin, cette contribution ouvre des pistes concrètes pour repenser les Creativity Support Systems (CSS) en intégrant les signaux sociaux et les dynamiques hybrides comme leviers fondamentaux de collaboration. Elle invite à concevoir des environnements technologiques plus sensibles aux besoins humains, dans une logique d'inclusion, de fluidité, et de co-présence distribuée.

## References

[1] Leonardo Angelini, Denis Lalanne, Elise Van den Hoven, Omar Abou Khaled, and Elena Mugellini. 2015. Move, Hold and Touch: A Framework for Tangible Gesture Interactive Systems. *Machines* 3, 3 (2015), 173–207. doi:10.3390/machines3003173

[2] Olivier Aubert, Yannick Prié, and Daniel Schmitt. 2012. Advene as a tailorable hypervideo authoring tool: a case study. In *Proceedings of the 2012 ACM Symposium on Document Engineering (Paris, France) (DocEng '12)*. Association for Computing Machinery, New York, NY, USA, 79–82. doi:10.1145/2361354.2361370

[3] Bennett Institute for Public Policy. 2024. *Using ChatGPT for Qualitative and Mixed Methods Research*. Working Paper. University of Cambridge. https://www.bennettinstitute.cam.ac.uk/wp-content/uploads/2024/05/Using-ChatGPT-for-analytics-WP.pdf

[4] Julian Bleecker, Nick Foster, Fabien Girardin, and Nicolas Nova. 2022. *The Manual of Design Fiction* (first ed.). Near Future Laboratory, Venice, California. 264 pages.

[5] Nathalie Bonnardel and Franck Zenasni. 2010. The Impact of Technology on Creativity in Design: An Enhancement? *Creativity and Innovation Management* 19, 2 (2010), 180–191. doi:10.1111/j.1467-8691.2010.00560.x arXiv:https://onlinelibrary.wiley.com/doi/pdf/10.1111/j.1467-8691.2010.00560.x

[6] Philip Cash and Anja Maier. 2016. Prototyping with your hands: the many roles of gesture in the communication of design concepts. *Journal of Engineering Design* 27, 1-3 (2016), 118–145. doi:10.1080/09544828.2015.1126702 arXiv:https://doi.org/10.1080/09544828.2015.1126702

[7] Leona Chandra Kruse. 2025. Design Principles Unveiled: Capturing Innovation Insights for Future Design Breakthroughs. *CERN IdeaSquare Journal of Experimental Innovation* 9, 1 (May 2025), 5–8. doi:10.23726/cij.2025.1582

[8] Edwin Chng, Mohamed Raouf Seyam, William Yao, and Bertrand Schneider. 2020. Using Motion Sensors to Understand Collaborative Interactions in Digital Fabrication Labs. In *Artificial Intelligence in Education, Ig Ibert Bittencourt, Mutlu Cukurova, Kasia Muldner, Rose Luckin, and Eva Millán (Eds.). Springer International Publishing, Cham, 118–128.

[9] Flavie Bonneviot Clement Colin, Antoine Martin and Eric Brangier. 2022. Unravelling future thinking: a valuable concept for prospective ergonomics. *Theoretical Issues in Ergonomics Science* 23, 3 (2022), 347–373. doi:10.1080/1463922X.2021.1943045 arXiv:https://doi.org/10.1080/1463922X.2021.1943045

[10] Françoise Decortis and Stéphane Safin. 2015. 10. Méthodologie de conception participative créative. In *L'ergonomie orientée enfants*. Presses Universitaires de France, Paris cedex 14, 249–276.

[11] Laurent Filliettaz, Stéphanie Garcia, and Marianne Zogmal. 2022. *Video-Based Interaction Analysis: A Research and Training Method to Understand Workplace Learning and Professional Development*. Springer International Publishing, Cham, 419–440. doi:10.1007/978-3-031-08518-5_19

[12] Jonas Frich, Lindsay MacDonald Meulen, Christian Remy, Michael Mose Biskjaer, and Peter Dalsgaard. 2019. Mapping the Landscape of Creativity Support Tools in HCI. In *Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems* (Glasgow, Scotland UK) (CHI '19). Association for Computing Machinery, New York, NY, USA, 1–18. doi:10.1145/3290605.3300619

[13] Susan R. Fussell, Leslie D. Setlock, and Robert E. Kraut. 2003. Effects of head-mounted and scene-oriented video systems on remote collaboration on physical tasks. In *Proceedings of the SIGCHI Conference on Human Factors in Computing Systems* (Ft. Lauderdale, Florida, USA) (CHI '03). Association for Computing Machinery, New York, NY, USA, 513–520. doi:10.1145/642611.642701

[14] A. Gabriel, D. Monticolo, M. Camargo, and M. Bourgault. 2016. Creativity support systems: A systematic mapping study. *Thinking Skills and Creativity* 21 (16), 109–122. doi:10.1016/j.tsc.2016.05.009

[15] Xiao Ge, Larry Leifer, and Linlin Shui. 2021. Situated emotion and its constructive role in collaborative design: A mixed-method study of experienced designers. *Design Studies* 75 (2021), 101020. doi:10.1016/j.destud.2021.101020

[16] Shirley Gregor, Leona Chandra Kruse, and Stefan Seidel. 2020. Research Perspectives: The Anatomy of a Design Principle. *Journal of the Association for Information Systems* 21, 6 (2020). doi:10.17705/ijais.00649

[17] Lauren V. Hadley, Graham Naylor, and Antonia F. de C. Hamilton. 2022. A review of theories and methods in the science of face-to-face social interaction. *Nature Reviews Psychology* 1, 1 (01 Jan 2022), 42–54. doi:10.1038/s44159-021-00008-w

[18] Christian Heath, Jon Hindmarsh, and Paul Luff. 2010. *Video in Qualitative Research: Analysing Social Interaction in Everyday Life*. Sage Publications LTD, 55 City Road, London. doi:10.4135/9781526435385

[19] Erzhen Hu, Jens Emil Sloth Grenbæk, Wen Ying, Ruofei Du, and Seongkook Heo. 2023. ThingShare: Ad-Hoc Digital Copies of Physical Objects for Sharing Things in Video Meetings. In *Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems* (Hamburg, Germany) (CHI '23). Association for Computing Machinery, New York, NY, USA, Article 365, 22 pages. doi:10.1145/3544548.3581148

[20] Petar Jandrić, Jeremy Knox, Tina Besley, Thomas Ryberg, Juha Suoranta, and Sarah Hayes. 2018. Postdigital science and education. 893–899 pages.

[21] Paul Johannesson and Erik Perjons. 2021. *An Introduction to Design Science* (2nd ed.). Springer International Publishing. doi:10.1007/978-3-030-78132-3

[22] Brennan Jones, Anna Witcraft, Scott Bateman, Carman Neustaedter, and Anthony Tang. 2015. Mechanics of Camera Work in Mobile Video Collaboration. In *Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems* (Seoul, Republic of Korea) (CHI '15). Association for Computing Machinery, New York, NY, USA, 957–966. doi:10.1145/2702123.2702345

[23] Sanna Järvelä, Muhterem Dindar, Marta Sobocinski, and Andy Nguyen. 2022. Chapter 16: Multimodal research for studying collaborative learning in higher education. In *Handbook of Digital Higher Education*. Edward Elgar Publishing, Cheltenham, UK, 199–210. doi:10.4337/9781800888494.00026

[24] Sanna Järvelä, Dragan Gašević, Tapio Seppänen, Mykola Pechenizkiy, and Paul A. Kirschner. 2020. Bridging learning sciences, machine learning and affective computing for understanding cognition and affect in collaborative learning. *British Journal of Educational Technology* 51, 6 (2020), 2391–2406. doi:10.1111/bjet.12917 arXiv:https://bera-journals.onlinelibrary.wiley.com/doi/pdf/10.1111/bjet.12917

[25] Hubert Knoblauch and René Tuma. 2020. Videography: An interpretative approach to video-recorded micro-social interaction. In *The SAGE Handbook of Visual Research Methods* (2 ed.), Luc Pauwels and Dawn Mannayn (Eds.). SAGE Publications, Inc., 129–142. doi:10.4135/9781526417015.n8

[26] Christian Kohls, Dennis Dubbert, and Guido Müller. 2022. *Patterns for a Hybrid Campus*. Springer International Publishing, Cham, 249–263. doi:10.1007/978-3-030-88520-5_14

[27] Saadi Lahlou. 2011. How can we capture the subject's perspective? An evidence-based approach for the social scientist. *Social Science Information* 50, 3-4 (2011), 607–655. doi:10.1177/0539018411411033 arXiv:https://doi.org/10.1177/0539018411411033

[28] Grzegorz Micek, Tüzin Baycan, and Bastian Lange. 2024. *A Taxonomy of New Working Spaces*. Springer Nature Switzerland, Cham, 21–33. doi:10.1007/978-3-031-50868-4_3

[29] Jean-Henry Morin and Laurent Mocczet. 2021. Build to think, build to learn: What can fabrication and creativity bring to rethink (higher) education? *ITM Web of Conferences* 38 (2021), 02004. doi:10.1051/itmconf/20213802004 Publisher: EDP Sciences.

[30] Muhammad Naeem, Tracy Smith, and Lorna Thomas. 2025. The-matic Analysis and Artificial Intelligence: A Step-by-Step Process for Using ChatGPT in Thematic Analysis. *International Journal of Qualitative Methods* 24 (2025), 16094069251333886. doi:10.1177/16094069251333886 arXiv:https://doi.org/10.1177/16094069251333886

[31] Thomas Neumayr, Hans-Christian Jetter, Mirjam Augstein, Judith Friedl, and Thomas Luger. 2018. Domino: A Descriptive Framework for Hybrid Collaboration and Coupling Styles in Partially Distributed Teams. *Proc. ACM Hum.-Comput. Interact.* 2, CSCW, Article 128 (nov 2018), 24 pages. doi:10.1145/3274397

[32] Rikke Toft Nørgård and Charlotta Hilli. 2022. *Hyper-Hybrid Learning Spaces in Higher Education*. Springer International Publishing, Cham, 25–41. doi:10.1007/978-3-030-88520-5_3

[33] Gary Olson and Judith Olson. 2003. Mitigating the effects of distance on collaborative intellectual work. *Economics of Innovation and New Technology* 12, 1 (2003), 27–42. doi:10.1080/10438590303117 arXiv:https://doi.org/10.1080/10438590303117

[34] Sami Paavola and Kai Hakkarainen. 2014. Trialogical Approach for Knowledge Creation. In *Knowledge Creation in Education, Seng Chee Tan, Hyo Jeong So, and Jennifer Yeo (Eds.). Springer, Singapore, 53–73. doi:10.1007/978-981-287-047-6_4

[35] Kevin P. Pfeil, Neeraj Chatlani, Joseph J. LaViola, and Pamela Wisniewski. 2021. Bridging the Socio-Technical Gaps in Body-worn Interpersonal Live-Streaming Telepresence through a Critical Review of the Literature. *Proc. ACM Hum.-Comput. Interact.* 5, CSCW1, Article 120 (apr 2021), 39 pages. doi:10.1145/3449194

[36] Irene Rae, Gina Venolia, John C. Tang, and David Molnar. 2015. A Framework for Understanding and Designing Telepresence. In *Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing* (Vancouver, BC, Canada) (CSCW '15). Association for Computing Machinery, New York, NY, USA, 1552–1566. doi:10.1145/2675133.2675141
[37] Allison Sauppé and Bilge Mutlu. 2014. Robot deictics: how gesture and context shape referential communication. In *Proceedings of the 2014 ACM/IEEE International Conference on Human-Robot Interaction* (Bielefeld, Germany) (HRI '14). Association for Computing Machinery, New York, NY, USA, 342–349. doi:10.1145/2559636.2559657

[38] Katherine M. Everitt Scott R. Klemmer and James A. Landay. 2008. Integrating Physical and Digital Interactions on Walls for Fluid Design Collaboration. *Human-Computer Interaction* 23, 2 (2008), 138–213. doi:10.1080/07370020802016399 arXiv:https://doi.org/10.1080/07370020802016399

[39] Karima Toumi, Fabien Girandola, and Nathalie Bonnardel. 2021. Technologies for Supporting Creativity in Design: A View of Physical and Virtual Environments with Regard to Cognitive and Social Processes. *Creativity. Theories - Research - Applications* 8, 1 (2021), 189–212. doi:10.2478/ctra-2021-0012

[40] Vijay Vaishnavi and William Kuechler. 2008. *Design Science Research Methods and Patterns: Innovating Information and Communication Technology*. Taylor & Francis. https://doi.org/10.1201/9781420059335

[41] Mariano Velamazán, Patricia Santos, and Davinia Hernández-Leo. 2022. *Socio-Emotional Regulation in Collaborative Hybrid Learning Spaces of Formal-Informal Learning*. Springer International Publishing, Cham, 95–111. doi:10.1007/978-3-030-88520-5_7

[42] Tijana Vuletic, Alex Duffy, Laura Hay, Chris McTeague, Gerard Campbell, and Madeleine Grealy. 2019. Systematic literature review of hand gestures used in human computer interaction interfaces. *International Journal of Human-Computer Studies* 129 (2019), 74–94. doi:10.1016/j.ijhcs.2019.03.011

[43] Xinhui Ye, Joep Frens, and Jun Hu. 2024. Design Tools for Supporting the Remote Collaborative Design Process: A Systematic Review. In *Proceedings of the Tenth International Symposium of Chinese CHI* (Guangzhou, China and Online, China) (Chinese CHI '22). Association for Computing Machinery, New York, NY, USA, 83–95. doi:10.1145/3565698.3565772

# A Micro-analyses détaillées des extraits vidéo

Les micro-analyses suivantes constituent un complément à la Section 4 (Résultats). Elles présentent un exemple représentatif pour chaque dimension thématique.

## A.1 Convergence des Perspectives et Coordination (Extrait 1)

### Micro-analyse détaillée

**Contexte** : Début de séance de prototypage dans le FabLab. Quatre étudiant·e·s participant·e·s sont debout, un·e est assis. Le groupe engage une discussion collective, chacun mobilisant des artefacts numériques (smartphones, laptops) pour illustrer ses idées de manière visuelle et partagée.

**Extrait vidéo complet** : 01:13:51-01:15:04 **Segment analysé** : 01:14:14-01:14:19

**Transcription partielle** :

* **P5** : "Have anyone of you see saw the robot that's upstairs in the lab, it's exactly doing the same thing."

* **P5** : "That are in the labs that... In the science lab. It's a, it's in a, in robotic lab of CUI. Yeah, it's like this." (montre son smartphone aux autres)

* **P2** : "Look, you can see this. It's a little ware e-robot, but it's so cute." (oriente son laptop vers les autres)

**NB** : verbatim reproduits tels quels à partir des sous-titres (offset appliqué).

**Analyse** : Cette séquence illustre précisément comment la convergence rapide et fluide des regards autour des artefacts numériques présentés favorise une compréhension mutuelle et

une coordination efficace. P5 attire l'attention collective en exposant un contenu visuel sur son smartphone, immédiatement suivi par une contribution de P2 qui oriente son laptop vers le groupe. Ces gestes déictiques synchrones dirigent les regards successivement vers les deux supports numériques. L'échange repose sur une alternance serrée entre action gestuelle et verbales, facilitant une co-construction rapide d'idées par visualisation partagée.

**Concepts observés** : Convergence des regards ; co-construction par gestes déictiques synchrones ; attention partagée ponctuelle autour d'artefacts numériques.

## A.2 Inclusion, Engagement et Flexibilité des Rôles (Extrait 3)

### Micro-analyse détaillée

**Contexte** : Phase de prototypage avancée. Les étudiant·e·s participant·e·s sont répartis en deux sous-groupes avec des rôles différenciés. Dans l'un, trois membres échangent sur l'apparence émotionnelle du robot. Chacun adopte un rôle distinct — illustration, évaluation, proposition — selon ses préférences ou compétences. Le second sous-groupe poursuit la fabrication du prototype physique.

**Extrait vidéo complet** : 01:53:10-01:54:40 **Segment analysé** : 01:53:21-01:53:57

**Transcription partielle** :

* **P4** : "Oh, that's a really good one without the mouth, just the eyes. That looks really good actually, just the eyes like that."

* **P5** : "Okay, here you go with that." (transmet le post-it à P4)

* **P1** : "You can just rotate it like that."

* **P5** : "Yeah, that's good. Yeah."

* **P4** : "What does that mean, if you don't know... What do you feel when you see that?" (en montrant le post-it aux autres)

* **P1** : "Like worried."

* **P3** : "Worried."

* **P4** : "You feel like worried, perfect. Nice. I mean, you just want to do it better..."

* **P5** : "No, no, no. I'm good. I'm happy."

**NB** : verbatim reproduits tels quels à partir des sous-titres (offset appliqué).

**Analyse** : L'échange montre une répartition fluide des rôles : P4 commente le dessin, P1 et P3 interprètent l'émotion transmise, P5 valide la version finale. Cette micro-dynamique illustre une flexibilité d'engagement, chacun contribuant selon ses ressources. L'accord sur une option émerge sans débat explicite, témoignant d'un processus de co-décision informel mais partagé.
**Concepts observés** : Implication et rôles divergents ; idéation et prise de décision collective par ajustement progressif.

## A.3 Gestion des Interruptions et Perturbation (Extrait 5)

### Micro-analyse détaillée

**Contexte** : Fin de séance de travail collaboratif. Les étudiant·e·s participant·e·s sont tous assis, concentrés sur la finalisation des détails techniques du prototype. Un sous-groupe est engagé dans une discussion sur les API et les possibilités d'implémentation, lorsqu'un étudiant participant travaillant seul tente de résoudre un problème technique.

**Extrait vidéo complet** : 01:50:09-01:51:12 **Segment analysé** : 01:50:57-01:51:10

### Transcription partielle :

* **P5** : "Yeah but what if we could..."

* **P3** : "Est-ce que tu peux me donner le numéro du groupe ?"

* **P5** : "Je t'ai envoyé."

* **P3** : "No no, I can't use the name that you send."

* **P5** : "Innovation Lab."

* **P3** : "OK."

**NB** : verbatim reproduits tels quels à partir des sous-titres (offset appliqué).

**Analyse** : L'échange révèle une double perturbation. D'abord, une interruption technique : P3 éprouve des difficultés à se connecter à un espace partagé et interrompt le fil de la discussion pour en obtenir les identifiants. Ensuite, cette requête intervient au moment même où P5 entame une proposition technique avec le groupe. Le flux de discussion collective est ainsi suspendu, contraint de bifurquer vers une gestion immédiate de problème numérique. L'interaction illustre bien une tension typique des environnements hybrides : maintenir le rythme collaboratif tout en absorbant les aléas techniques.

**Concepts observés** : Gestion des interruptions techniques ; gestion des interruptions en communication de groupe.

## A.4 Interaction Physique et Numérique (Extrait 2)

### Micro-analyse détaillée

**Contexte** : Lors d'une session de prototypage, les membres du groupe discutent du prototypage du robot. L'échange est très incarné : les étudiant·e·s participant·e·s manipulent des objets (papier, carton, post-it), se déplacent autour de la table, et sortent ponctuellement du champ pour aller chercher du matériel.

**Extrait vidéo complet** : 01:26:43-01:28:35 **Segment analysé** : 01:26:55-01:27:32

### Transcription partielle :

* **P1** : "Est-ce qu'on a des post-it ?" (sort du champ de la caméra pour aller chercher des post-it).

* **P5** : "Take the pink one. Pink one."

* **P1** : (revient partiellement dans le champ avec un rouleau de papier rose).

* **P1** : "No, we need the white paper so we can throw faces on it."

* **P1** : "Ahhhhhhh" (dépose le rouleau de papier rose et repart chercher du papier blanc plus loin).

* **P5** : "We need a carton, something that's stand also so it doesn't slop."

* **P1** : (sort complètement du champ de la caméra pour chercher du matériel ailleurs dans la salle).

* **P1** : "No, this one is too big."

**NB** : verbatim reproduits tels quels à partir des sous-titres (offset appliqué).

**Analyse** : Le segment révèle une dynamique de co-conception fortement ancrée dans l'espace matériel. Les étudiant·e·s participant·e·s alternent gestes (prise, coupe, test d'objets) et commentaires verbaux, et un membre sort brièvement du champ de la caméra pour aller chercher un support de papier plus stable. L'objet rapporté devient alors le support central de la suite du travail. Cette circulation entre zones périphériques et la centralité du geste révèlent une implication tangible dans la co-construction de l'idée.

**Concepts observés** : Manipulation et contribution tangible ; zone d'interaction périphérique ; utilisation libre des outils physiques et numériques.

## A.5 Documentation et Suivi des Projets (Extrait 4)

### Micro-analyse détaillée

**Contexte** : Durant une phase de prototypage, le groupe discute des caractéristiques fonctionnelles du robot. Plusieurs étudiant·e·s participant·e·s sont engagés dans une conversation autour de la simplicité fonctionnelle du prototype, comparé à d'autres objets (Amazon, alarmes). C'est dans ce moment collaboratif que P3 prend l'initiative de photographier l'état d'avancement du prototype.

**Extrait vidéo complet** : 01:40:02.998-01:41:33.110 **Segment analysé** : 01:40:50-01:40:57

### Transcription partielle :

* **P3** : (prend plusieurs photos du prototype avec son smartphone)

* **P5** : "My memories have some problem."

* **P4** : "My sister had those brats."
* P2 : (montre son écran de laptop à P5)

* P5 : "Can you find this on Amazon and it's really good (
  (montre l'écran du laptop de P2). I saw it on Amazon.
  It's smaller than this. It's this tiny and it's so cute. I saw
  a video of it."

* P1 : "Oh, that looks nice."

* P5 : "Yeah, that's the one that is like. But you know, it's very basic. It's just some basic stuff. It doesn't do anything very specific. It's like an alarm."

NB : verbatim reproduits tels quels à partir des sous-titres (offset
appliqué).

**Analyse:** Alors que le groupe discute des contraintes fonctionnelles du prototype, P3 réalise des captures photos de l'objet en cours de fabrication. Ce geste, bien que non verbalisé, s'inscrit comme une forme de documentation du prototype au temps t. Cette initiative suggère une conscience partagée de la valeur des traces visuelles pour des usages ultérieurs — analyse, présentation, mémoire collective. La séquence illustre comment la documentation devient une activité intégrée et fluide dans un espace de prototypage collaboratif.

**Concepts observés** : Documentation de l'évolution des prototypes et numérisation des traces.