# Vers un nouveau modèle pour une conception de technologie XR-adaptative éthique: un état de l'art

Romain Rouyer, David Bourguignon, Stéphanie Fleck

► To cite this version:

Romain Rouyer, David Bourguignon, Stéphanie Fleck. Vers un nouveau modèle pour une conception de technologie XR-adaptative éthique: un état de l'art. 35ème conférence internationale franco-phone sur l'interaction humain-machine (IHM'24), Mar 2024, Sorbonne Université (Paris), France., 10.1145/3650104.3652904. hal-04548889

HAL Id: hal-04548889

https://hal.science/hal-04548889

Submitted on 16 Apr 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Vers un nouveau modèle pour une conception de technologie XR adaptive éthique : un état de l'art

TeC IHM'24, Sorbonne Université

#UX #XR #Bien-être #Éthique #Framework

Auteurs•ices

Romain Rouyer,
David Bourguignon,
Stéphanie Fleck

Laboratoire

Université de Lorraine
UR7312 PERSEUS,
Metz, France

Contact romain.rouyer@univ-lorraine.fr

Contexte

<figure><img src="image_1.png" /></figure>

Périmètre technologique

Technologies de réalité étendue (XR)

* Continuum des technologies immersives, incluant réalité augmentée, environnements virtuels, interfaces spatialisées ;

* Ensemble des variantes et des extensions (i.e., dispositifs haptiques, kinesthésiques, appareils stimulant nos sens).

Technologies neuro-adaptatives

* Capteurs de mesure de l'état physiologique [5] d'une personne ;

* Analyse et classification des données en temps réel ;

* Ex : muscles faciaux, oculométrie, EDA, EMG, ECG, EEG.

<figure><img src="image_2.png" /></figure>

Cible

Chercheurs-designers intéressés et/ou concernés par les technologies de XR-adaptatives.

<figure><img src="image_3.png" /></figure>

Projet de recherche

Faire évoluer les pratiques de conception face à :

* la convergence entre technologies immersives et neuro-adaptatives (XR-adaptative) [4];

* une prise de conscience croissante des conséquences négatives que les technologies numériques peuvent avoir sur les personnes (éthique) et leur bien-être [61].

S'appuyer sur les théories éthiques fournit des cadres pour évaluer la manière dont les personnes (e.g., utilisateurs, designers, chercheurs) devraient agir dans des situations particulières

Questionner le positionnement techno-éthique que les designers devraient adopter au moment de leur travaux de conception.

Mobiliser les sciences du Design et les sciences de l'Éducation et de la Formation

Objectifs

Analyse de l'existant de la conception en XR-adaptives :

* Identifier les dimensions auxquelles il convient d'accorder une attention particulière.

* Délimiter les conséquences potentielles pour mieux assurer la protection des futurs utilisateurs.

<figure><img src="image_4.png" /></figure>

Alimenter le développement de moyens et de méthodes :

* évaluation ergonomique

* formation

<figure><img src="image_5.png" /></figure>

Préparer une nouvelle génération de chercheurs- designers à penser des technologies respectant les valeurs reliées à la conception centrée utilisateurs et au principe universel de protection des personnes

Méthode

<figure><img src="image_6.png" /></figure>

Termes utilisés

* HCI

* immersives technologies OR eXtended Reality OR Virtual Reality OR Augmented Reality

* persuasive design OR well-being OR ethic

État de l'art en cours visant à identifier les différentes dimensions et notions appréhendées par les designers, en matière d'éthique, pouvant être prises en compte dans leur travail de conception en XR-adaptative.

<figure><img src="image_7.png" /></figure>

Sélection (N=24)

<table><thead><tr><th>ID</th><th>Titre raccourcis</th><th>Auteur principal</th><th>Meta-type</th><th>Année</th><th>Physio</th></tr></thead><tbody><tr><td>1</td><td>BCI, Open-Source, and Democratizing AC</td><td>Bernal et al.</td><td>Essai</td><td>2021</td><td>✔</td></tr><tr><td>2</td><td>Memory Manipulations in XR</td><td>Bonnail et al.</td><td>Étude</td><td>2023</td><td>✔</td></tr><tr><td>3</td><td>When Filters Escape the Smartphone</td><td>Bonner et al.</td><td>Étude</td><td>2023</td><td>✔</td></tr><tr><td>4</td><td>The ethics of representation and action in VR</td><td>Brey</td><td>Essai</td><td>1999</td><td>✔</td></tr><tr><td>5</td><td>The ethical and privacy implications of MR</td><td>Bye et al.</td><td>Essai</td><td>2019</td><td>✔</td></tr><tr><td>6</td><td>Dream engineering</td><td>Carr et al.</td><td>État de l'art</td><td>2020</td><td>✔</td></tr><tr><td>7</td><td>PhysioCHI</td><td>Chiossi et al.</td><td>Étude</td><td>2023</td><td>✔</td></tr><tr><td>8</td><td>Dark Scenarios of a UAR</td><td>Eghtebas et al.</td><td>Étude</td><td>2023</td><td>✔</td></tr><tr><td>9</td><td>Ethics of VR 'In the Wild'</td><td>Green et al.</td><td>Étude</td><td>2019</td><td>✔</td></tr><tr><td>10</td><td>Abusive Implications of MR Research in HCI</td><td>Gugenheimer et al.</td><td>Étude</td><td>2020</td><td>✔</td></tr><tr><td>11</td><td>UX Challenges for Neurodiverse Users</td><td>Jones et al.</td><td>État de l'art</td><td>2023</td><td>✔</td></tr><tr><td>12</td><td>E3XR</td><td>lee et al.</td><td>Outil</td><td>2021</td><td>✔</td></tr><tr><td>13</td><td>Real Virtuality: A Code of Ethical Conduct.</td><td>Madary and Metzinger</td><td>Essai</td><td>2016</td><td>✔</td></tr><tr><td>14</td><td>Augmenting People, Places & Media</td><td>O'Hagan et al.</td><td>Essai</td><td>2023</td><td>✔</td></tr><tr><td>15</td><td>The Empathic Metaverse</td><td>Pai et al.</td><td>Étude</td><td>2023</td><td>✔</td></tr><tr><td>16</td><td>METUX</td><td>Peters et al.</td><td>Outil</td><td>2018</td><td>✔</td></tr><tr><td>17</td><td>Doing Good With VR</td><td>Rueda</td><td>Essai</td><td>2023</td><td>✔</td></tr><tr><td>18</td><td>VR and Empathy Enhancement</td><td>Rueda et Lara</td><td>Essai</td><td>2020</td><td>✔</td></tr><tr><td>19</td><td>Criteria for ethical review by RECs</td><td>Seedal et al.</td><td>Outil</td><td>2023</td><td>✔</td></tr><tr><td>20</td><td>The Ethics of Realism in VR and AR</td><td>Slater et al.</td><td>État de l'art</td><td>2020</td><td>✔</td></tr><tr><td>21</td><td>The Need for Empirical Results</td><td>Slater</td><td>Essai</td><td>2021</td><td>✔</td></tr><tr><td>22</td><td>Social Hazards and Public Policy Reco.</td><td>Spiegel et al.</td><td>Essai</td><td>2018</td><td>✔</td></tr><tr><td>23</td><td>VPPMs</td><td>Tseng et al.</td><td>Étude</td><td>2022</td><td>✔</td></tr><tr><td>24</td><td>Exploring Manipulative Designs in AR</td><td>Wang et al.</td><td>Étude</td><td>2023</td><td>✔</td></tr></tbody></table>

<figure><img src="image_8.png" /></figure>

Bases de données

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

Critères de sélection

* Travaux les plus récents (moins de 10 ans)

* Porteurs d'éléments concernant les designers

<figure><img src="image_11.png" /></figure>

Notes

Nos critères ont écarté des propositions très pertinentes comme l'approche judiciaire de Lighthart et al. [52].

Travaux en cours

Application de la méthode Design-Based Research (DBR) sur des activités de terrain auprès de designers-concepteurs en XR-adaptative.

État de l'art élargi

<figure><img src="image_12.png" /></figure>

Complétion d'une revue plus systématique de la littérature.

Étude terrain

<figure><img src="image_13.png" /></figure>

Recueil des pratiques de terrain, approche mixte (entretiens, questionnaires, ateliers).

Prototypage

<figure><img src="image_14.png" /></figure>

Co-conception d'un kit formatif, incluant un outil d'évaluation éthique et ergonomique.

Ressources associées

Article

État de l'art pour IHM'24, associé au poster, disponible en accès ouvert sur HAL et sur ACM. Format de PDF de 8 pages hors références.

<figure><img src="image_15.png" /></figure>

hal.science/hal-04487262/

Poster

Version numérique du poster en haute définition, accompagné des sources bibliographiques.

<figure><img src="image_16.png" /></figure>

rouffi.com/portfolio/ihm24/

Cahier de laboratoire

Pour rester informé des prochaines activités de recherche. Nous diffuserons des appels à contributions pour nos prochaines études.

<figure><img src="image_17.png" /></figure>

rouffi.com/phd

Crédits

Images générées avec un outil d'intelligence artificielle générative. Prompts utilisés :

* Projet de recherche : « a man who seems disorientated, carrying a virtual reality headset and an eeg sensor on his head, and multiple biosensor on his body, cartoon effect »

* SHS : « A philosopher calling a dilemma »

* STS : « An engineer measuring a biosensor and teaching how to program a body »

* UX : « an educational leader speculating on human modelization »
# Vers un nouveau modèle pour une conception de technologie XR adaptive éthique : un état de l'art

TeC IHM'24, Sorbonne Université

#UX #XR #Bien-être #Éthique #Framework

Auteurs•ices

Romain Rouyer,
David Bourguignon,
Stéphanie Fleck

Laboratoire

Université de Lorraine
UR7312 PERSEUS,
Metz, France

Contact romain.rouyer@univ-lorraine.fr

Contexte

<figure><img src="image_2.png" /></figure>

Périmètre technologique

Technologies de réalité étendue (XR)

* Continuum des technologies immersives, incluant réalité augmentée, environnements virtuels, interfaces spatialisées ;

* Ensemble des variantes et des extensions (i.e., dispositifs haptiques, kinesthésiques, appareils stimulant nos sens).

Technologies neuro-adaptatives

* Capteurs de mesure de l'état physiologique [5] d'une personne ;

* Analyse et classification des données en temps réel ;

* Ex : muscles faciaux, oculométrie, EDA, EMG, ECG, EEG.

<figure><img src="image_3.png" /></figure>

Cible

Chercheurs-designers intéressés et/ou concernés par les technologies de XR-adaptatives.

<figure><img src="image_4.png" /></figure>

Projet de recherche

Faire évoluer les pratiques de conception face à :

* la convergence entre technologies immersives et neuro-adaptatives (XR-adaptative) [4];

* une prise de conscience croissante des conséquences négatives que les technologies numériques peuvent avoir sur les personnes (éthique) et leur bien-être [61].

S'appuyer sur les théories éthiques fournit des cadres pour évaluer la manière dont les personnes (e.g., utilisateurs, designers, chercheurs) devraient agir dans des situations particulières

Questionner le positionnement techno-éthique que les designers devraient adopter au moment de leur travaux de conception.

Mobiliser les sciences du Design et les sciences de l'Éducation et de la Formation

Objectifs

Analyse de l'existant de la conception en XR-adaptives :

* Identifier les dimensions auxquelles il convient d'accorder une attention particulière.

* Délimiter les conséquences potentielles pour mieux assurer la protection des futurs utilisateurs.

<figure><img src="image_5.png" /></figure>

Alimenter le développement de moyens et de méthodes :

* évaluation ergonomique

* formation

<figure><img src="image_6.png" /></figure>

Préparer une nouvelle génération de chercheurs- designers à penser des technologies respectant les valeurs reliées à la conception centrée utilisateurs et au principe universel de protection des personnes

Méthode

<figure><img src="image_7.png" /></figure>

Termes utilisés

* HCI

* immersives technologies OR eXtended Reality OR Virtual Reality OR Augmented Reality

* persuasive design OR well-being OR ethic

État de l'art en cours visant à identifier les différentes dimensions et notions appréhendées par les designers, en matière d'éthique, pouvant être prises en compte dans leur travail de conception en XR-adaptative.

<figure><img src="image_8.png" /></figure>

Sélection (N=24)

<table><thead><tr><th>ID</th><th>Titre raccourcis</th><th>Auteur principal</th><th>Meta-type</th><th>Année</th><th>Physio</th></tr></thead><tbody><tr><td>1</td><td>BCI, Open-Source, and Democratizing AC</td><td>Bernal et al.</td><td>Essai</td><td>2021</td><td>✓</td></tr><tr><td>2</td><td>Memory Manipulations in XR</td><td>Bonnail et al.</td><td>Étude</td><td>2023</td><td>✓</td></tr><tr><td>3</td><td>When Filters Escape the Smartphone</td><td>Bonner et al.</td><td>Étude</td><td>2023</td><td>✓</td></tr><tr><td>4</td><td>The ethics of representation and action in VR</td><td>Brey</td><td>Essai</td><td>1999</td><td>✓</td></tr><tr><td>5</td><td>The ethical and privacy implications of MR</td><td>Bye et al.</td><td>Essai</td><td>2019</td><td>✓</td></tr><tr><td>6</td><td>Dream engineering</td><td>Carr et al.</td><td>État de l'art</td><td>2020</td><td>✓</td></tr><tr><td>7</td><td>PhysioCHI</td><td>Chiossi et al.</td><td>Étude</td><td>2023</td><td>✓</td></tr><tr><td>8</td><td>Dark Scenarios of a UAR</td><td>Eghtebas et al.</td><td>Étude</td><td>2023</td><td>✓</td></tr><tr><td>9</td><td>Ethics of VR 'In the Wild'</td><td>Green et al.</td><td>Étude</td><td>2019</td><td>✓</td></tr><tr><td>10</td><td>Abusive Implications of MR Research in HCI</td><td>Gugenheimer et al.</td><td>Étude</td><td>2020</td><td>✓</td></tr><tr><td>11</td><td>UX Challenges for Neurodiverse Users</td><td>Jones et al.</td><td>État de l'art</td><td>2023</td><td>✓</td></tr><tr><td>12</td><td>E3XR</td><td>lee et al.</td><td>Outil</td><td>2021</td><td>✓</td></tr><tr><td>13</td><td>Real Virtuality: A Code of Ethical Conduct.</td><td>Madary and Metzinger</td><td>Essai</td><td>2016</td><td>✓</td></tr><tr><td>14</td><td>Augmenting People, Places & Media</td><td>O'Hagan et al.</td><td>Essai</td><td>2023</td><td>✓</td></tr><tr><td>15</td><td>The Empathic Metaverse</td><td>Pai et al.</td><td>Étude</td><td>2023</td><td>✓</td></tr><tr><td>16</td><td>METUX</td><td>Peters et al.</td><td>Outil</td><td>2018</td><td>✓</td></tr><tr><td>17</td><td>Doing Good With VR</td><td>Rueda</td><td>Essai</td><td>2023</td><td>✓</td></tr><tr><td>18</td><td>VR and Empathy Enhancement</td><td>Rueda et Lara</td><td>Essai</td><td>2020</td><td>✓</td></tr><tr><td>19</td><td>Criteria for ethical review by RECs</td><td>Seedal et al.</td><td>Outil</td><td>2023</td><td>✓</td></tr><tr><td>20</td><td>The Ethics of Realism in VR and AR</td><td>Slater et al.</td><td>État de l'art</td><td>2020</td><td>✓</td></tr><tr><td>21</td><td>The Need for Empirical Results</td><td>Slater</td><td>Essai</td><td>2021</td><td>✓</td></tr><tr><td>22</td><td>Social Hazards and Public Policy Reco.</td><td>Spiegel et al.</td><td>Essai</td><td>2018</td><td>✓</td></tr><tr><td>23</td><td>VPPMs</td><td>Tseng et al.</td><td>Étude</td><td>2022</td><td>✓</td></tr><tr><td>24</td><td>Exploring Manipulative Designs in AR</td><td>Wang et al.</td><td>Étude</td><td>2023</td><td>✓</td></tr></tbody></table>

<figure><img src="image_9.png" /></figure>

Bases de données

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

Critères de sélection

* Travaux les plus récents (moins de 10 ans)

* Porteurs d'éléments concernant les designers

<figure><img src="image_12.png" /></figure>

Notes

Nos critères ont écarté des propositions très pertinentes comme l'approche judiciaire de Lighthart et al. [52].

Travaux en cours

Application de la méthode Design-Based Research (DBR) sur des activités de terrain auprès de designers-concepteurs en XR-adaptative.

État de l'art élargi

<figure><img src="image_13.png" /></figure>

Complétion d'une revue plus systématique de la littérature.

Étude terrain

<figure><img src="image_14.png" /></figure>

Recueil des pratiques de terrain, approche mixte (entretiens, questionnaires, ateliers).

Prototypage

<figure><img src="image_15.png" /></figure>

Co-conception d'un kit formatif, incluant un outil d'évaluation éthique et ergonomique.

Ressources associées

Article

État de l'art pour IHM'24, associé au poster, disponible en accès ouvert sur HAL et sur ACM. Format de PDF de 8 pages hors références.

<figure><img src="image_16.png" /></figure>

hal.science/hal-04487262/

Poster

Version numérique du poster en haute définition, accompagné des sources bibliographiques.

<figure><img src="image_17.png" /></figure>

rouffi.com/portfolio/ihm24/

Cahier de laboratoire

Pour rester informé des prochaines activités de recherche. Nous diffuserons des appels à contributions pour nos prochaines études.

<figure><img src="image_18.png" /></figure>

rouffi.com/phd

Crédits

Images générées avec un outil d'intelligence artificielle générative. Prompts utilisés :

* Projet de recherche : « a man who seems disorientated, carrying a virtual reality headset and an eeg sensor on his head, and multiple biosensor on his body, cartoon effect »

* SHS : « A philosopher calling a dilemma »

* STS : « An engineer measuring a biosensor and teaching how to program a body »

* UX : « an educational leader speculating on human modelization »