[image] [image] Ressource protégée - Université de Lorraine
Accéder directement au contenu
*[image] [image]*

• [Documentation](#)

• FR
Français (FR)

• Anglais (EN)
Se connecter

• [Portail HAL UL](#)

• Recherche
Loading...

## Recherche avancée

Information de documents
Titres

○ [Titres](#)

○ [Sous-titre](#)

○ [Titre de l'ouvrage](#)

○ [Titre du volume (Série)](#)

○ Champ de recherche par défaut (multicritères) + texte
intégral des PDF

○ [Résumé](#)

○ Texte intégral indexé des documents PDF

○ [Mots-clés](#)

○ Type de document

○ Sous-type de document

○ Tous les identifiants du document

○ Identifiant HAL du dépôt

○ Langue du document (texte)

○ Pays (Texte)

○ Ville

○ À paraître (true ou false)

Ajouter

Auteur
<figure><img src="image_1.png" /></figure>

INSTITUT DES SCIENCES DU DIGITAL - NANCY

MASTER 2 SCIENCES COGNITIVES, 2022 - 2023

# Interaction sociale Humain-Robot : prédiction de gestes et analyse de l'activité cérébrale

Étudiante :
Sarah HAMDI CHERIF

Encadrants :

M. Laurent BOUGRAIN
M. Hendry FERREIRA CHAME

Examineurs :

Mme. Viviane VAILLARD
M. Manuel REBUSCHI

Rapport de stage
## Auteur (multicritères)

○ Auteur (multicritères)

○ Auteur : Nom complet

○ Auteur : Nom de famille

○ Auteur : Prénom

○ Auteur : Complément de nom, deuxième prénom

○ Auteur : Organisme payeur

○ Auteur : IdHal (chaîne de caractères)

○ Auteur : Fonction

○ Auteur : personID (entier)

○ Auteur : Identifiant de l'organisme payeur

○ Auteur : Identifiant de la structure

○ Directeur de thèse

○ Éditeur

○ Éditeur scientifique

○ Éditeur de la série

## Ajouter

### Structure

### Structure (multicritères)

○ Structure (multicritères)

○ Structure : Acronyme

○ Structure : Nom

○ Structure : Code

○ Structure : Pays

○ Structure : Type

○ Structure : État dans le référentiel

○ Structure : Identifiant HAL de la structure

○ Structure/équipe de recherche : Pays

○ Structure/regroupement d'équipes : Pays

○ Structure/laboratoire : Pays

○ Structure/regroupement de laboratoires : Pays

○ Structure/institution : Pays

○ Structure/regroupement d'institutions : Pays

## Ajouter

## Autres
<figure><img src="image_2.png" /></figure>
Champ de recherche par défaut (multicritères)

○ <u>Champ de recherche par défaut (multicritères)</u>

○

○ <u>Revues (multicritères)</u>

○ <u>Revue : Éditeur</u>

○ <u>Revue : Titre abrégé</u>

○ <u>Revue : Titre</u>

○ <u>Revue : Identifiant interne</u>

○ <u>Revue : Date de début de publication</u>

○ <u>Revue : ISSN électronique</u>

○ <u>Revue : ISSN</u>

○ <u>Revue : Éditeur</u>

○ <u>Revue : Couleur dans SHERPA/RoMEO</u>

○ <u>Revue : État dans le référentiel</u>

○

○ <u>Colloque (multicritères)</u>

○ <u>Colloque : Titre</u>

○ <u>Colloque : Organisateur</u>

○ <u>Colloque : date de début (Année)</u>

○ <u>Colloque : date de fin (Année)</u>

○ <u>Conférence invitée (oui/non)</u>

○

○ <u>Projets ANR (multicritères)</u>

○ <u>Projet ANR : Acronyme</u>

○ <u>Projet ANR : Acronyme du programme</u>

○ <u>Projet ANR : Code décision (référence)</u>

○ <u>Projet ANR : Nom</u>

○ <u>Projet ANR : Identifiant interne</u>

○ <u>Projet ANR : État dans le référentiel</u>

○

○ <u>Projets européens (multicritères)</u>

○ <u>Projet européen : Acronyme</u>

○ <u>Projet européen : Identifiant de l'appel à projet</u>

○ <u>Projet européen : Référence</u>

○ <u>Projet européen : Nom</u>

○ <u>Projet européen : Date de fin</u>

○ <u>Projet européen : Financement</u>

○ <u>Projet européen : Date de début</u>

○ <u>Projet européen : État dans le référentiel</u>
Remerciements

Je tiens à exprimer ma gratitude envers toutes les personnes qui ont contribué au bon déroulement de mon stage.

Je souhaiterais commencer par remercier mes encadrants, M. Laurent BOUGRAIN et M. Hendry FERREIRA CHAME, pour leurs précieux conseils et recommandations qui ont enrichi mon parcours.

Un merci également à Yanis DJERMOUNI, Valérie MARISSENS CUEVA et Gabriella HER-RERA ALTAMIRA. Pour finir, je suis reconnaissante envers tous les membres de l'équipe Neuro-rhythms pour avoir fait de ce stage une expérience aussi instructive qu'agréable.
○ Projet européen : Identifiant interne

○

○ Date de production : année

○ Date de mise en ligne : année

○ Date de publication : année

○ Date d'écriture : année

○ Date de modification du dépôt : année

○ Date de dépôt : année

○ Date de publication électronique : année

○

○ Collection HAL (multicritères)

○ Collection HAL : catégorie

○ Collection HAL : Code

○ Collection HAL : Nom

○ Collection HAL : Identifiant interne

○

○ Identifiant interne du contributeur/déposant

○ Nom complet du contributeur/déposant

○

○ Domaines

○ Domaine primaire

○ Domaine racine

○ Sous-domaine niveau 1

○ Sous-domaine niveau 2

○ Sous-domaine niveau 3

○

○ Statut du document

○ Version du document

○ Type de dépôt

○ Type de document

○ ISBN

○ Numéro - référence

○ Identifiant DOI

○

○ Classification

○ Audience

○ Vulgarisation

○ Comité de lecture - texte (oui ou non)

○ Actes de colloque

○ Référence interne
Table des matières

<table><tr><td>I Résumé du stage</td><td>1</td></tr><tr><td>II Environnement de Travail</td><td>2</td></tr><tr><td>II.1 Durée du Stage</td><td>2</td></tr><tr><td>II.2 Institut des Sciences du Digital, Management et Cognition (IDMC)</td><td>2</td></tr><tr><td>II.3 Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA)</td><td>2</td></tr><tr><td>II.4 Equipe Neurorhythms</td><td>3</td></tr><tr><td>III Présentation du stage</td><td>4</td></tr><tr><td>III.1 Problématique</td><td>4</td></tr><tr><td>III.2 Hypothèses de l'étude</td><td>5</td></tr><tr><td>III.3 Contexte du stage</td><td>5</td></tr><tr><td>IV Etat de l'Art</td><td>6</td></tr><tr><td>IV.1 Introduction</td><td>6</td></tr><tr><td>IV.2 Les émotions</td><td>7</td></tr><tr><td>IV.2.1 Théories des émotions</td><td>7</td></tr><tr><td>IV.2.2 Modèles d'évaluation des émotions</td><td>9</td></tr><tr><td>IV.3 Attention et engagement</td><td>12</td></tr><tr><td>IV.4 Potentiels évoqués liés à l'Érreur (ErrP)</td><td>12</td></tr><tr><td>IV.5 Imagination Motrice Kinesthésique</td><td>13</td></tr><tr><td>IV.6 Rythme Cardiaque</td><td>14</td></tr><tr><td>V Outils et méthodes</td><td>15</td></tr><tr><td>V.1 Pepper</td><td>15</td></tr><tr><td>V.1.1 Contraintes</td><td>17</td></tr><tr><td>V.1.2 Logiciels</td><td>18</td></tr><tr><td>V.2 Electroencéphalographe (BioSemi ActiveTwo)</td><td>20</td></tr><tr><td>V.2.1 Placement des électrodes</td><td>21</td></tr><tr><td>V.3 Gants de données</td><td>23</td></tr><tr><td>V.3.1 Logiciels</td><td>23</td></tr><tr><td>V.4 Mi Smart Band 5</td><td>24</td></tr><tr><td>V.5 LabStreamingLayer</td><td>25</td></tr><tr><td>VI Protocole Expérimental</td><td>26</td></tr><tr><td>VI.1 Rédaction du protocole</td><td>26</td></tr><tr><td>VI.2 Description de l'expérimentation</td><td>26</td></tr><tr><td>VI.2.1 Objectif</td><td>26</td></tr><tr><td>VI.2.2 Hypothèses</td><td>27</td></tr><tr><td>VI.2.3 Conditions de l'expérimentation</td><td>27</td></tr><tr><td>VI.3 Participants</td><td>28</td></tr><tr><td>VI.4 Phases de l'expérimentation</td><td>28</td></tr><tr><td>VI.4.1 Accueil et Equipement du participant</td><td>28</td></tr><tr><td>VI.4.2 Phase de la calibration IMK</td><td>28</td></tr><tr><td>VI.4.3 Phase de l'interaction pierre-feuille-ciseaux</td><td>29</td></tr></table>
* Financement

* Collaborations

Ajouter

Lancer la recherche
Recherche experte (SolR)

Recherche experte (SolR)

Lancer la recherche

Vers la recherche avancée

* Déposer

[image] [image]

* Accueil

* Consulter

* par type de publication

* les thèses de doctorat

* les thèses et mémoires en santé

* toutes les publications

* Collections UL

* Toutes les collections

* Agronomie, Agroalimentaire, Forêt (A2F)

* Automatique, Mathématiques, Informatique et leurs Interactions (AM2I)

* Biologie, Médecine, Santé (BMS)

* Connaissance, Langage, Communication, Sociétés (CLCS)

* Chimie et Physique Moléculaires (CPM)

* Energie, Mécanique, Procédés, Produits (EMPP)

* Lettres, Langues, Espaces, Cultures et Temps (LLECT)

* Matière, Matériaux, Métallurgie, Mécanique (M4)

* Observatoire Terre et Environnement de Lorraine (OTELo)

* Sciences Juridiques, Politiques, Economiques et de
VII Analyse des Données 31

VII.1 Questionnaire 31

VII.1.1 Pré-questionnaire 31

VII.1.2 Questionnaire post-interaction 31

VII.2 Prédiction des mouvements 32

VII.2.1 Méthodes utilisées 32

VII.2.2 Scénarios OpenViBE 33

VII.3 Analyse des états émotionnels/cognitifs 34

VII.3.1 Données EEG : 34

VII.3.2 Rythme cardiaque 35

VII Conclusion 36

Annexe 36

Pré-questionnaire 37

Questionnaire post-interaction 38

Scénario de Prétraitement CSP 40

Scénario de Classification 41

Scénario de traitement en ligne 42

Bibliographie 43
Gestion (SJPEG)

○ Lorraine Université d'Excellence (LUE)

○ LUE IMPACT

○ Thèses de doctorat

• ExtrHAL

• Aide

○ pour signer vos publications

■ Convention de référencement des productions scientifiques du site lorrain

■ Consignes de signatures par unité

○ pour déposer dans HAL

■ en 5 minutes

■ Créer votre idHAL

■ Tutoriels vidéos

■ Fiches pratiques par type de document (en construction)

○ sur les aspects juridiques

■ Guide de la non-cession des droits sur les publications

■ Loi pour une République numérique : Guide d'application de l'article 30

■ Dépôt de chapitres d'ouvrage : politique des éditeurs

○ pour extraire des données issues de HAL

■ Extraction d'une bibliographie pour le HCERES avec ExtrHAL

■ Créer sa page web

○ outils complémentaires

■ Dissemin - identifier les publications que je peux déposer

■ iLovePDF - améliorer l'ergonomie de mes
Table des figures

<table><tr><td>1</td><td>Théories des émotions</td><td>8</td></tr><tr><td>2</td><td>La roue des émotions de Plutchik [35]</td><td>9</td></tr><tr><td>3</td><td>Modèle des émotions bi-dimensionnel (valence-arousal) [52]</td><td>10</td></tr><tr><td>4</td><td>Modèle des émotions tri-dimensionnel (valence-arousal-dominance) [45]</td><td>10</td></tr><tr><td>5</td><td>Robot Pepper</td><td>15</td></tr><tr><td>6</td><td>Comparaison des langages de programmations disponibles pour Pepper</td><td>16</td></tr><tr><td>7</td><td>Gestes exécutées par Pepper</td><td>18</td></tr><tr><td>8</td><td>Interface de Chorégraphe</td><td>19</td></tr><tr><td>9</td><td>EEG Biosemi ActiveTwo</td><td>20</td></tr><tr><td>10</td><td>Méthode de placement d'électrodes 10-10</td><td>21</td></tr><tr><td>11</td><td>Cortex moteur</td><td>22</td></tr><tr><td>12</td><td>Manus Prime X</td><td>23</td></tr><tr><td>13</td><td>Interface Manus Core/Dashboard</td><td>24</td></tr><tr><td>14</td><td>Mi Smart Band 5</td><td>25</td></tr><tr><td>15</td><td>Equipement et positionnement du participant</td><td>29</td></tr></table>

Liste des tableaux

<table><tr><td>1</td><td>Modules de programmation Pepper</td><td>17</td></tr><tr><td>2</td><td>Corrélations entre émotions/états cognitifs, zones corticales et ondes cérébrales</td><td>22</td></tr></table>
postprints

■ Documentation complète

• Données de recherche

X

X

X

Loading...

X

Le document que vous demandez est en access restreint
jusqu'au 2025-09-30 !

Revenir a la notice

Retourner à l'accueil

[image]

[image]

[image]

[image]

[image]

Contact

•

Ressources

• Documentation

• FAQ

• API

• OAI-PMH

• AuréHAL

Informations

• À propos

• Données personnelles

• Mentions légales

• Accessibilité
# I Résumé du stage

Ce rapport de stage présente une étude réalisée au sein de l'équipe de recherche NeuroRhythms, axée sur l'exploration des dimensions cognitives et affectives de l'interaction humain-robot (IHR). L'objectif principal était de concevoir une expérience dans laquelle les participants interagissent avec le robot humanoïde Pepper dans un jeu de pierre-feuille-ciseaux, tout en étant équipés d'un électroencéphalogramme (EEG), d'un bracelet connecté et d'un gant de données. L'étude vise à analyser les réactions des participants à travers les signaux EEG, les mesures du rythme cardiaque et un questionnaire. Un deuxième objectif est la prédiction des mouvements basés sur l'imagination motrice en utilisant la technique d'imagerie motrice kinesthétique (IMK).

La partie expérimentation n'ayant pas encore débuté, ce rapport ne présente pas de résultats.

Les données physiologiques collectées seront complétées par les retours subjectifs des participants obtenus grâce à des questionnaires avant et après l'interaction. Elles seront ensuite analysées afin de discriminer différents états émotionnels et cognitifs, en addition à la recherche des potentiels évoqués liés à l'erreur (ErrP).

*Mots-clés : Interaction Humain-Robot, EEG, sciences cognitives, imagerie motrice kinesthétique, robotique sociale, reconnaissance des émotions, robot Pepper.*
* [Conformité RGAA](#)

## Questions juridiques

* [Je publie, quels sont mes droits ?](#)

* [Loi pour une République numérique](#)

* [Stratégie de non-cession des droits](#)

* [SHERPA/RoMEO](#)

## Portails

* [Portails institutionnels](#)

* [HAL](#)

* [HAL SHS](#)

* [HAL Thèses](#)

* [MédiHAL](#)

## CCSD

* [CCSD](#)

* [Episciences](#)

* [Sciencesconf](#)
## II Environnement de Travail

Le présent chapitre vise à présenter l'environnement au sein duquel s'est déroulé mon stage de recherche de master 2 en sciences cognitives.

Le démarrage de mon stage s'est avéré plus complexe que prévu, en raison des formalités administratives liés à l'obtention de l'accord du fonctionnaire sécurité défense (FSD). Initialement prévu au Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), le stage, qui devait débuter le 3 avril, a été décalé au 11 avril dû au délai de réponse du FSD.

Afin de surmonter cette problématique, mes superviseurs, également enseignants à l'Institut des Sciences du Digital, Management et Cognition (IDMC), ont proposé que je débute mon stage au sein de l'IDMC en accord avec son directeur en attendant la réponse du FSD. Cette solution temporaire a permis de maintenir le déroulement de mon stage sans perturbation majeure.

### II.1 Durée du Stage

Mon stage a démarré officiellement le 11 avril 2023 et se poursuivra jusqu'au 15 septembre 2023.

### II.2 Institut des Sciences du Digital, Management et Cognition (IDMC)

L'IDMC est issu de la restructuration de l'UFR Mathématiques et Informatique, fondée dans les années 1970. En 2018, elle est devenue l'Institut des sciences du Digital, Management et Cognition, mettant l'accent sur la formation d'experts en sciences numériques, sciences cognitives et traitement automatique des langues.

J'ai commencé mon stage à l'IDMC, où on m'a donné accès à un bureau dans la salle des enseignants ainsi qu'à un robot Pepper, qui bien que d'une version différente que celui au Loria, m'a permis de me familiariser avec son utilisation.

Cette phase de mon stage s'est déroulée jusqu'au 22 juin, date à laquelle j'ai finalement reçu l'accord du FSD pour travailler au centre Inria Nancy - Gand Est qui héberge le LORIA.

### II.3 Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA)

Le Loria, ou Laboratoire lorrain de Recherche en Informatique et ses Applications, est une Unité Mixte de Recherche en collaboration avec des entités telles que le CNRS, l'Université de Lorraine et Inria.

Établi depuis 1997, le Loria se dédie à la recherche fondamentale et appliquée en sciences informatiques. Il est un membre actif de la Fédération Charles Hermite, qui réunit les principaux laboratoires de recherche en mathématiques et en STIC (sciences et technologies de l'information et de la communication) de la région lorraine. De plus, il contribue significativement au pôle scientifique AM2I de l'Université de Lorraine, couvrant les domaines d'Automatique, Mathématiques et Informatique ainsi que leurs interactions.
Les travaux scientifiques du Loria sont conduits au sein de 29 équipes, organisées en 5 dépar-
tements, dont 15 en collaboration avec Inria. Ces équipes rassemblent une communauté de plus de
400 personnes, faisant du Loria l'un des plus grands laboratoires de recherche en informatique dans
la région de Lorraine.

II.4 Equipe Neurorhythms

L'équipe Neurorhythms se consacre à la modélisation computationnelle et à l'analyse expérimen-
tale des rythmes neuronaux normaux et pathologiques. Son travail est appliqué dans les domaines
du médical et de la robotique sociale.

C'est au sein de cette équipe que j'ai réalisé mon stage. Je travaillais principalement dans la salle d'expérimentation où se trouve le robot humanoïde Pepper et le reste du matériel d'acquisition physiologique et comportemental. On m'a également fourni un ordinateur sous Windows ainsi que les travaux des stagiaires précédents en relation directe avec l'étude.

J'avais accès au Loria en tant que visiteur quelques jours par semaine, notamment pour observer les avancées des autres stagiaires. A partir du 22 Juin, j'ai reçu l'accord du FSD ainsi que ma carte de stagiaire, et ce, jusqu'au 15 septembre.
# III Présentation du stage

Le présent chapitre met en avant la mise en contexte du stage de recherche, en explorant les éléments fondamentaux qui ont façonné la problématique et les objectifs de l'étude. Il explicite également les hypothèses formulées ainsi que les travaux antérieurs qui ont servis de base à cette étude.

## III.1 Problématique

L'équipe NeuroRhythms explore divers axes de recherche, dont la robotique sociale et l'impact de l'interaction humain-robot (IHR) sur les dimensions cognitives, affectives et motivationnelles. Dans ce contexte, ce stage vise à concevoir une expérience où les participants, équipés d'un encéphalogramme, un bracelet connecté et un gant de données, interagissent avec le robot Pepper autour du jeu pierre-feuille-ciseaux. Les réactions des participants seront analysées à l'aide de l'étude des signaux EEG, du rythme cardiaque ainsi que des réponses à un questionnaire.

Un autre axe concerne la prédiction de mouvements via imagination motrice kinesthésique (IMK). C'est-à-dire de demander aux participants d'imaginer les sensations associées aux gestes qu'ils vont réaliser (dans ce cas-ci, pierre, feuille ou ciseaux).

L'objectif est de détecter ces intentions de mouvement dans les signaux EEG et de vérifier la possibilité de discrimination entre ces différents gestes. Si c'est possible, il serait intéressant d'utiliser cette prédiction pour formuler le prochain geste du robot et enrichir l'interaction humain-robot en provoquant certaines réactions.

La robotique sociale (RS) cherche à étudier et à améliorer les interactions entre humain et robot. Elle peut être appliquée dans divers domaines comme la santé, l'assistance, l'éducation. Notre problématique se focalise sur l'analyse des états émotionnels et cognitifs lors d'une interaction humain-robot autour du jeu pierre-feuille-ciseaux.

Le robot humanoïde Pepper a été choisi pour servir d'adversaire pour ce jeu. Équipé, entre autre, de deux bras avec des mains aux doigts mobiles mais solidiaires et d'une tablette au niveau du torse, Pepper peut, avec quelques modifications, reproduire les gestes du jeu de pierre-feuille-ciseaux, et fournir une rétroaction à l'humain via divers modes d'actionnement (visuel via la tablette, gestuel et auditif). Ce jeu gestuel intègre une phase immobile de cognition lors du choix et de la planification du mouvement, idéale pour capter la préparation des mouvements via l'EEG.

Pepper offre également la possibilité de programmer divers comportements. L'un des objectifs est de voir si les réactions des participants varient selon le comportement du robot, et si les participants perçoivent une intention de la part du robot, dans le cas par exemple d'une erreur ou d'une tentative de triche.
### III.2 Hypothèses de l'étude

Les hypothèses soulevées par la problématique peuvent être résumées comme suit :

- Les imaginations motrices des trois gestes peuvent être discriminées à partir des signaux EEG;

- La connaissance du geste planifié par le joueur et des données statistiques permet de biaiser le choix du geste du robot pour induire une émotion [40] :

- Négative-Passive (tristesse/faible engagement) si le système artificiel est très fort ou s'il est prévisible

- Positive-Active (joie/excitation) si le système artificiel est mauvais mais non prévisible

- Positive-Passive (calme/concentré/fort engagement) si système artificiel joue aléatoirement

- Negative-Active (colère) si le système artificiel triche [44].

- Ces émotions peuvent être observées dans l'EEG.

### III.3 Contexte du stage

Avant ce stage, deux groupes d'étudiants en M1 informatique ont effectués des projets d'introduction à la recherche.

Le premier groupe avait pour but de programmer le robot afin qu'il effectue les gestes lors du jeu, donc les trois gestes plus les mouvements de préparation du début et d'explorer les autres modes d'interactions (affichage sur la tablette et contrôle de la voix parmi d'autres fonctionnalités).

Le deuxième groupe avait pour but d'analyser les données venant des gants de données et de mettre au point un classifieur pour identifier les gestes effectués par les participants. J'ai notamment participé avec le deuxième groupe à l'élaboration du protocole pour leur expérimentation.

Les deux groupes ont également travaillé ensemble pour faire communiquer les différentes parties via le protocole Lab Streaming Layer (LSL).

En plus de ces deux groupes, un étudiant en L3 informatique a également développé les prémisses d'un module probabiliste basé sur les chaînes de Markov pour prédire les gestes des participants et enrichir les possibilités d'interaction.

Ces travaux ont fourni une base pour mon stage et m'ont permis de me concentrer sur l'aspect social et cognitif de l'interaction. Certaines modifications ont été effectuées, notamment aux travaux des groupes de M1 pour améliorer la fluidité des mouvements de Pepper ainsi que la communication entre les différents modules.

Mon rôle incluait donc la programmation de Pepper pour diverses interactions, la sélection des états émotionnels et cognitifs à étudier, l'exploration d'outils d'analyse, la réalisation d'expérimentations et l'analyse des données collectées.
# IV Etat de l'Art

## IV.1 Introduction

Dans l'optique d'améliorer la fluidité de l'interaction humain-robot, il est nécessaire de comprendre le ressenti des personnes vis-à-vis des robots. A l'heure actuelle, la robotique sociale [5] est un domaine en pleine expansion, et les robots ont à présent des apparences humanoïdes qui les rendent plus acceptables. Ils peuvent également être programmés pour présenter un éventail d'émo-tions et de réactions perçues comme humaines, allant de la joie à la tristesse, en passant par la colère. Ils sont aussi capables de manifester des nuances plus subtiles et complexes, comme l'incompréhension, la malice ou la fierté [27]. Toutefois, afin de vérifier si ces comportements sont perçus comme authentiques et intentionnels, plutôt que comme des dysfonctionnements, il est important d'évaluer et d'analyser les réactions des personnes qui interagissent avec ces robots.

Dans cette étude, c'est le jeu de pierre-feuille-ciseaux qui représente la plateforme d'interaction. Ce jeu simple, ne demandant pas une grande concentration sans être réduit à un simple choix aléatoire représente une interface d'interaction humain-robot intéressante [9, 37]. Il offre donc une opportunité de susciter des réactions diversifiées chez les participants. Notamment, en manipulant les réactions du robot de manière inattendue, par exemple en le faisant tricher ou en affichant une attitude hautaine de perdant [12], il serait possible d'obtenir des réponses émotionnelles intéressantes chez les joueurs.

Afin de diversifier la possibilité d'interaction durant ce jeu, nous souhaitons également explorer la possibilité de prédire les gestes des participants quelques secondes avant leur exécution. Cette approche vise à conférer un avantage soit au robot, soit au participant, afin de déterminer si les individus sont enclins à percevoir le robot comme un joueur très doué ou vraiment mauvais, et si cela pourrait créer des réactions comme de la frustration et de l'engagement, ou au contraire de l'ennui et une perte d'attention face à un jeu perdu ou gagné trop facilement.

L'évaluation des réactions des participants peut être basée sur plusieurs critères. Outre l'évaluation des émotions exprimées pendant l'interaction, d'autres paramètres comme l'attention portée au robot et au jeu peuvent être pris en compte. Si l'interaction est de bonne qualité, on pourrait s'attendre à une attention soutenue voir de l'engagement et une plus grande implication. Pour pouvoir évaluer ces états cognitifs et/ou émotionnels, il est possible de se renseigner directement auprès de la personne à la fin du jeu, cependant, afin d'obtenir une évaluation plus objective, il est préférable de considérer l'exploitation des signaux physiologiques. De nombreuses études [45, 2] utilisent l'activité électrique cérébrale ou musculaire, le rythme cardiaque, la dilatation des pupilles ou encore la conductance électrique de la peau. Toutes ces mesures sont susceptibles d'indiquer des changements dans l'état mental d'une personne. Les dispositifs modernes, tels que les électroencéphalographes (EEG), les électrocardiographes (ECG) ou les électromyographes (EMG), sont désormais relativement discrets et portables pour être utilisées dans une expérimentation comme la nôtre sans idéalement gêner le participant.

Enfin, pour évaluer la perception des comportements du robot, et déterminer s'ils sont acceptés ou perçus comme des anomalies, l'analyse des Potentiels Évoqués liés à l'Erreur (ErrP) apparaît pertinent. Les ErrP sont des réponses électrophysiologiques, repérables sur l'EEG [21], qui apparaissent lors de l'observation d'erreurs durant des tâches cognitives ou comportementales, notamment lors d'une divergence entre une action anticipée ou attendue et le résultat réel de cette action.
## IV.2 Les émotions

### IV.2.1 Théories des émotions

Les théories sur les émotions sont nombreuses, cependant deux ressortent particulièrement, la théorie périphérique de James-Lange [28] et la théorie centraliste de Cannon-Bard.[11]

En 1920, le psychologue William James et le physiologiste Carl Lange ont proposé l'idée que les réactions physiologiques du corps n'étaient pas la conséquence des émotions ressenties, et qu'ils en étaient plutôt la cause. En d'autres termes, suite à un stimulus extérieur, le corps réagit, par exemple avec des tremblements et c'est cette réaction qui résulte en une émotion telle que la peur. D'un autre côté, nous avons la théorie centraliste de Cannon-Bard. Proposée en 1927, cette théorie s'oppose à celle de James-Lange et propose que les réactions physiologiques et émotionnels sont deux mécanismes indépendants qui se produisent en parallèle. La théorie de Cannon-Bard réfute donc l'existence d'une relation causale entre les deux réponses.

Ces deux théories ont eu un rôle important dans la compréhension des mécanismes sous-jacents des émotions et ont alimentés les débats sur la nature et l'origine des émotions pendant de nombreuses années. Des débats qui ont donné naissances à d'autres théories, comme la théorie cognitivesomatique des émotions [42]. En 1962, les psychologues Schachter et Singer ont proposé que les émotions résultaient de deux facteurs (cognitive et somatique), raison pour laquelle cette théorie est également connue sous le nom de la théorie de l'émotion à deux facteurs.

Selon cette théorie, la première réponse à un stimilus est une réaction physiologique générale dans le corps, comme l'avançait la théorie James-Lange, cependant, ils ont également rajouté l'importance de l'évaluation cognitive de la situation. Selon l'expérience et la compréhension de la personne, la réaction émotionnelle face à la situation peut varier. Ce qu'une personne évalue comme dangereux n'effrayera pas forcément une autre. Cette théorie a donc offert une vision plus nuancée des émotions tout en gardant l'idée d'une réaction physiologique indifférenciée.

En 1970, le psychologue Paul Ekman étudiait la relation entre les expressions faciales et les émotions [15]. Sur la base de ses recherches, il a proposé que certaines émotions sont universelles et innées, ce qui signifie qu'elles sont non seulement présentes dans toutes les cultures humaines, mais qu'elles sont également exprimées de la même manière, indépendamment du contexte social ou culturel. Plus spécifiquement, il identifie six émotions « de base » que sont : la joie, la tristesse, la peur, la colère, le dégout et la surprise. Il rajoutera plus tard le mépris à cette liste.

Cette théorie aboutira à la création d'un système permettant de décrire et de mesurer les mouvements musculaires du visage associés aux différentes émotions, le Facial Action Coding System (FACS) [16]. Une autre des contributions les plus marquante d'Ekman est sa théorie de la détection des mensonges. Plus exactement, qu'il serait possible de déterminer ce qu'une personne ressent réellement sur la base de micro-expressions qu'elle serait incapable de dissimuler (car innés) volontairement.

Enfin, pour conclure sur une théorie plus moderne, la théorie de l'émotion construite propose une perspective différente sur la nature des émotions [7]. En 2017, Lisa Feldman Barrett, neuroscientifique
et psychologue, a publié un livre dans lequel elle propose une nouvelle définition des émotions et re-
met en cause les théories précédentes qui s’appuyaient sur une expression universelle et indifférenciée.

Selon la théorie de l'émotion construite, les émotions sont des états mentaux formés par l'inter-
prétation et la catégorisation de sensations corporelles et d'expériences intérieures. Selon Feldman
Barrett, le cerveau construit des prédictions basées sur nos expériences passées et les informations
contextuelles disponibles. Ces mêmes prédictions seront utilisées pour générer des modèles d'émotion
qui sont ensuite associées à des sensations corporelles. Ainsi les réponses comportementales et les
émotions ressenties par une personne sont influencées par la culture, le langage et les expériences
individuelles. Cette théorie propose une vision plus complexe et plus centrée sur l'interprétation
cognitive du processus émotionnel.

La figure (Fig. 1) représente les différences majeures entre les principales théories de l'émotion.

<figure><img src="image_3.png" /><figcaption>FIGURE 1 – Théories des émotions</figcaption></figure>
IV.2.2 Modèles d’évaluation des émotions

Même si les définitions du processus émotionnel sont nombreuses et différentes, il reste certain que les émotions sont des états mentaux caractérisés par un processus cognitif, une réaction physiologique et une réaction comportementale.

Afin de pouvoir analyser les émotions, il faut pouvoir les mesurer. Pour ce faire, plusieurs modèles ont été proposés. Deux modèles en particuliers sont très utilisés.

Le premier modèle reprend la théorie de Paul Ekman et considère que toutes les émotions sont le fruit de l'évolution de certaines émotions basiques comme : la joie, la tristesse, la colère, le dégout, la peur et la surprise. On appelle ce modèle, le modèle discret. Un autre modèle [35], la roue de Plutchik (figure 2), inspiré par celui d'Ekman, considère que l'on peut obtenir des émotions plus complexes à partir d'un mélange des émotions de bases.

<figure><img src="image_4.png" /><figcaption>FIGURE 2 – La roue des émotions de Plutchik [35]</figcaption></figure>

Cette première option a été considérée comme « rigide » par de nombreux scientifiques. Ce qui a donné lieu au deuxième modèle, qui est appelé continu ou dimensionnel. Il considère que toute émotion peut être représentée sur un plan bidimensionnel constitué d'une valeur de valence et d'activation [39].

La valence représente la dimension positive-négative de l'expérience émotionnelle. Les émotions perçues comme agréables ont une valence positive, et celles perçues comme désagréables sont associées à une valence négative. L'activation, ou *arousal*, mesure l'intensité ou l'énergie émotionnelle d'une expérience. Plus une émotion est intense et stimulante, par exemple la colère, plus elle aura un haut niveau d'activation.
La figure 3 représente la distribution des émotions de base sur l'espace bidimensionnel valence/arousal.

<figure><img src="image_5.png" /><figcaption>FIGURE 3 – Modèle des émotions bi-dimensionnel (valence-arousal) [52]</figcaption></figure>

Ce modèle, proposé par Russel, est le plus utilisé. Un autre modèle, par Albert Mehrabian [33], considère une troisième dimension qui est celle de la dominance et donc du contrôle ressenti sur l'émotion (figure 4).

<figure><img src="image_6.png" /><figcaption>FIGURE 4 – Modèle des émotions tri-dimensionnel (valence-arousal-dominance) [45]</figcaption></figure>
Le modèle continu permet une meilleure discrimination des émotions les plus subtiles. C'est pour cette raison que nous l'avons choisi pour notre étude. En effet ce modèle permet d'intégrer les notions d'évolution temporelle des émotions mais aussi de variabilité interindividuelle et permet une étude plus précise de l'état émotionnel des différents participants. Cependant, une des limitations de ce modèle est la difficulté à définir des frontières précises entre les émotions.

L'utilisation de l'électroencéphalographie (EEG) pour identifier et classifier les émotions est un domaine de recherche en pleine expansion. En effet, plusieurs études ont mis en évidence que certaines caractéristiques de l'EEG, telles que variations de puissances dans les bandes de fréquences (alpha, bêta, thêta, delta), les oscillations frontales et les potentiels évoqués, varient en fonction des états émotionnels. Par exemple, les émotions positives sont associées à une hausse des ondes alpha dans le cortex frontal gauche et des ondes bêta dans le cortex pariétal.

Plusieurs modèles de classification basés sur l'EEG ont été développés pour identifier des émotions spécifiques. Les méthodes de classification incluent des techniques telles que les machines à vecteurs de support (SVM), les réseaux neuronaux, les méthodes basées sur les caractéristiques spectrales, et plus récemment, l'apprentissage profond.

Parmi les études notables, celle de Galvão, Alarcão et Fonseca [20], qui ont proposé un modèle afin de prédire les valeurs de valence et d'activation après avoir étudiés et sélectionnés les caractéristiques les plus pertinentes et avoir testé plusieurs modèles de machine learning. Une autre étude [10], s'est focalisée sur les effets que pouvaient avoir différents types de stimulation (audio, visuelle, audio-visuelle). Cependant, des défis importants sont également associés à l'analyse des émotions par le biais de l'EEG. Un article récent [24] récapitule les difficultés rencontrées lors de l'utilisation de cette méthode. Parmi ces défis, on retrouve la nécessité de choisir le modèle d'émotion approprié ainsi que la méthode la plus adéquate pour susciter des réactions émotionnelles.

La plupart des études adoptent une approche passive, utilisant des images et des vidéos comme stimuli. Cette méthode présente l'avantage d'être normalisée et étudiée en profondeur, d'autant plus qu'il existe des bases de données spécifiquement conçues à cet effet, telles que la DEAP [26]. En revanche, l'approche active vise à susciter des réactions émotionnelles en demandant aux participants d'accomplir une tâche spécifique. Par exemple, une présentation en public pour induire de l'anxiété, ou comme dans notre étude, en réagissant aux actions d'une tierce personne (ou d'un robot) visant à provoquer amusement ou agacement. Cette méthode offre la possibilité d'obtenir des réactions plus spontanées que celles obtenues lors du visionnage passif d'un film.

Toutefois, l'approche active présente des inconvénients, notamment une plus grande variabilité des réponses individuelles et une augmentation du bruit dans les données EEG. Cette situation découle du fait que les participants ont davantage de liberté de mouvement, ce qui multiplie les artefacts potentiels dans les enregistrements EEG.

En somme, le domaine de la compréhension et de la mesure des émotions continue d'évoluer grâce aux contributions des différentes théories et aux avancées technologiques telles que l'EEG. Les approches modernes prennent en compte la complexité des émotions en les envisageant comme des processus cognitifs et corporels complexes, et l'utilisation de l'EEG offre des opportunités passionnantes pour une analyse plus approfondie de ces phénomènes subjectifs et dynamiques.
## IV.3 Attention et engagement

L'attention est définie comme la capacité à se concentrer consciemment sur une tâche, des stimuli sensoriels ou une source d'informations particulière. C'est un processus cognitif qui permet de se focaliser sur des éléments spécifiques de l'environnement, ou d'une tâche, tout en ignorant tous les autres éléments non pertinents [29]. Dans le contexte de l'interaction humain-robot, mesurer l'attention implique l'observation de l'activité cérébrale (EEG), des mouvements oculaires ou autre signaux physiologiques et comportementaux. Une attention élevée portée vers le robot peut signifier une interaction réussie et suffisamment intéressante pour ne pas ennuyer le participant.

Il est possible de mesurer l'attention en analysant les bandes de fréquences des ondes cérébrales. Selon des travaux récents [17] c'est principalement les ondes alpha, bêta, gamma et thêta qui sont exploitées. Et plus précisément au sein du cortex frontal et du cortex pariétal, voire de l'occipital si l'on cherche à mesurer l'attention visuelle. Il est également possible de vérifier si une personne est attentive en incluant des stimulis inattendus ou rares durant l'interaction [47]. Ce qui devrait donner lieu à des potentiels évoqués spécifiques, tel que le P300 ou encore des potentiels évoqués visuels dans le cas de stimulis visuels.

L'engagement est une notion qui est étroitement liée à l'attention. C'est un état cognitif durant lequel une personne est pleinement investie et réfléchit de façon stratégique tout au long d'un processus d'apprentissage ou bien de la résolution d'une tâche spécifique. L'engagement peut être influencé par des facteurs tels que la pertinence, la nouveauté ou l'interaction sociale [31].

Dans le contexte de l'interaction humain-robot, il peut être mesuré en évaluant les réponses émotionnelles et les réactions comportementales qui reflètent l'investissement de la personne dans l'interaction avec le robot.

En 2015, Anzalone et al [6] ont proposé un ensemble de métriques pour évaluer l'engagement dans une interaction humain-robot durant différents scénarios. En utilisant un système de tracking et un capteur RGB-D, ils purent analyser la présence, la position et l'activité des personnes interagissant avec le robot. Des informations telles que la position de la tête et le suivi du regard ainsi que d'autres signaux non-verbaux ont été utilisés afin d'évaluer l'interaction. Pope, Bogart et Bartolome [36] ont été les premiers à utiliser un index d'engagement à la tâche (Task Engagement Index), un indice qui mesure la relation entre les ondes bêta, alpha et thêta dans les cortex frontal, pariétal et occipital [34].

## IV.4 Potentiels évoqués liés à l'Érreur (ErrP)

Les Potentiels Liés aux Erreurs (ErrP) sont des potentiels évoqués spécifiques produits par le système nerveux en réponse à la détection d'erreurs durant une tâche précise ou de divergences entre les résultats attendus et observés. Ils sont observables sur l'électroencéphalogramme, repérables principalement au niveau du cortex cingulaire antérieur sous la forme de déviations du signal EEG. [18]

Il existe plusieurs types d'ErrP. Le plus couramment étudié est l'Error-Related Negativity, ou Ne. C'est un potentiel négatif se produisant entre 50 à 100 ms après l'observation de l'erreur. Le potentiel Ne est souvent suivi par un autre potentiel d'erreur, l'Error-related positivity (Pe). Elle se manifeste sous forme de pic positif, et apparaît généralement entre 200 et 400 milisecondes après l'erreur. Le potentiel d'erreur postif représente la prise de conscience de l'individu lorsqu'il commet
une erreur [18, 21]

En 1999, Ford [19] a découvert que chez des patients souffrant de troubles psychiatriques, le potentiel d'erreur négative peut se produire pour des réponses correctes. Il appela cette erreur Correct-Related Negativity (CRN). Plus tard, en 2022, Vidal [50] remettra en cause l'existence de cette erreur, en remarquant l'existence de la CRN chez des sujets sains. Ce qui pourrait indiquer que les ErrP soient plus liées à de l'incompréhension qu'à une réelle détection d'erreur.

L'amplitude et la latence de ces erreurs peuvent dépendre de la nature de la tâche (stimulus), du contexte et de la personne. Wirth et al [51] ont démontré qu'il existe une hausse de la fréquence et de l'amplitude des Pe chez les personnes âgées.

Dans le contexte de l'interaction humain-robot, les ErrP ont été utilisés pour évaluer l'efficacité des réactions et des comportements du robot, ainsi que pour mesurer l'attention et l'engagement des participants. Des études [14, 4, 41] ont exploré comment les participants réagissent aux erreurs du robot et comment ces réactions peuvent influencer leur expérience émotionnelle et cognitive. Des travaux antérieurs en IHR ont d'ailleurs montré que les erreurs commises occasionnellement par un robot humanoïde peuvent en fait accroître sa ressemblance avec l'humain et sa sympathie [41].

De plus, Spüler et Niethammer [46], ont repris les différentes catégories d'erreurs détectées jusqu'à présent lors d'une interaction humain-machine comme suit :

- lorsque la personne reconnaît elle-même son erreur ;

- Feedback ErrP, lorsque la personne est informée qu'elle a commis une erreur sans qu'elle en ait été consciente auparavant ;

- Observation Error, lorsque la personne observe une erreur commise par une machine ;

- Execution Error, lorsqu'une machine n'exécute pas les instructions données par la personne ;

- Enfin, l'Outcome Error, lorsque la personne échoue dans l'exécution d'une tâche.

Il serait donc intéressant pour une interaction humain-robot d'avoir accès à ces informations sur le type d'erreur commis et reconnus par l'individu [51].

## IV.5 Imagination Motrice Kinesthésique

L'imagination motrice kinesthésique (IMK) constitue un processus cognitif par lequel un individu évoque un mouvement en se focalisant sur les sensations kinesthésiques et proprioceptives associées à ce mouvement spécifique. Ces sensations englobent des éléments tels que la perception de la position, de la pression, de la chaleur, de la rugosité et de la contraction musculaire [22]. Ce processus provoque des fluctuations dans l'activité électrique cérébrale, principalement ciblées vers le cortex moteur, et qui sont repérables sur l'EEG.

L'exploitation de l'IMK pour anticiper et prédire des gestes a suscité un intérêt croissant. Cette approche s'appuie sur le fait que l'imagination d'un mouvement active les mêmes régions cérébrales que celles impliquées lors de l'exécution effective de ce mouvement. Elle est notamment utilisée
comme méthode de réhabilitation pour les patients souffrant de lésions cérébrales [38, 30].

De nombreuses études ont été réalisés afin de détecter l'intention de mouvement en utilisant les signaux EEG [13, 3]. De meilleurs résultats étaient obtenus en utilisant l'EEG invasif qu'en restant en surface [1]. Cependant, l'imagination motrice kinesthésique ne semble pas avoir été utilisée comme méthode de prédiction de mouvement jusqu'à présent.

Il convient également de souligner que la distinction précise entre les diverses manifestations de l'IMK en relation avec les mouvements de la main demeure un défi, notamment en raison du manque de différences évidentes entre ces gestes dans les signaux EEG de surface. Cependant, cette prédiction permettrait d'anticiper le geste d'un joueur avant son exécution et de donner plus de possibilités à l'interaction humain-robot afin de susciter divers états émotionnels.

## IV.6 Rythme Cardiaque

Le rythme cardiaque est une mesure de l'activité cardiaque qui représente le nombre de battements du cœur par minute (bpm). Il reflète la régularité et la fréquence à laquelle le cœur se contracte et se relâche pour pomper le sang à travers le système circulatoire. Le rythme cardiaque peut varier en fonction de différents facteurs, tels que l'activité physique, les émotions, le stress et d'autres influences physiologiques. Enregistrer et analyser les variations du rythme cardiaque pourrait fournir des informations précieuses sur la réponse émotionnelle, l'engagement et l'attention d'une personne dans diverses situations, y compris les interactions humain-robot.

Il existe plusieurs méthodes pour obtenir le rythme cardiaque, premièrement en utilisant un électrocardiogramme. Cependant cette méthode est assez invasive puisque pour avoir une bonne précision, il faudrait placer plusieurs électrodes sur le torse des participants. Il est donc plus pertinent d'utiliser la photopléthysmographie (PPG). La PPG est une méthode non invasive basée sur le principe que les changements de volume sanguin dans les vaisseaux sanguins sous la peau modifient la quantité de lumière réfléchie ou absorbée par les tissus. Les bracelets connectés font partie des appareils utilisant cette technologie.

De nombreuses études mesurant la variabilité du rythme cardiaque (heart rate variability ou HRV) afin d'analyser les émotions existent, mettant en avant la relation entre les fluctuations du rythme cardiaque et le système nerveux autonomes qui est responsable des réactions et fonctions involontaires du corps [49]. En effet, si l'on utilise le modèle dimensionnel des émotions, la variation du rythme cardiaque peut être une bonne mesure d'activation (arousal) ou de suivre l'évolution de l'attention et de l'engagement du participant au cours de l'interaction.

À titre d'exemple, Guo et al. [23] ont proposé une méthode pour distinguer la valence de l'état émotionnel, ainsi que cinq états spécifiques (tristesse, colère, peur, bonheur et détente). De même, Valderas et al. [48] ont identifié des différences significatives dans les indices de la variabilité cardiaque entre les états de détente, de joie et de peur.

Cependant, différencier spécifiquement les émotions ou les états cognitifs uniquement à partir du rythme cardiaque peut être complexe et souvent insuffisant. Le rythme cardiaque peut fournir des indications générales sur l'état physiologique d'une personne, mais il ne permet pas d'identifier des émotions ou des états cognitifs précis. Raison pour laquelle il est préférable de l'utiliser en conjonction avec d'autres mesures, comme l'EEG, pour obtenir une image plus complète [25, 43].
# V Outils et méthodes

Ce chapitre présente les méthodes et les outils utilisés pour conduire l'étude. L'ensemble de ces dispositifs a été sélectionnés pour permettre une collecte précise et pertinente des données ainsi qu'une analyse approfondie des interactions.

## V.1 Pepper

Le robot Pepper, conçu par SoftBank Robotics, est un choix pertinent pour la conduite d'une étude sur l'interaction humain-robot axée sur les émotions et les états cognitifs. Sa conception humainoïde et son expression émotionnelle détaillée facilitent une interaction naturelle avec les participants. Il possède de grands yeux expressifs et une tablette sur la poitrine, ce qui lui permet d'afficher une variété de signaux visuels (figure 5).

Il est également doté d'un ensemble complet de capteurs infrarouges et tactiles, de sonars, d'une caméra 3D haute précision, de microphones sensibles et d'un haut-parleur. Cette panoplie de capteurs lui confère la capacité de percevoir son environnement de s'engager dans des interactions fluides avec les individus. De plus, Pepper a 20 degrés de liberté. Ces points de mobilité sont stratégiquement répartis aux épaules, aux coudes, aux poignets, aux hanches, aux genoux et aux chevilles.

<figure><img src="image_7.png" /><figcaption>FIGURE 5 – Robot Pepper <fnref n="1" /></figcaption></figure>

Grâce à ses capteurs, Pepper peut détecter la présence et les mouvements des individus, et les suivre du regard. Cela lui donne une présence plus tangible et facilite la prise de contact avec les participants.

<footnote n="1">1. https://www.aldebaran.com/fr/pepper</footnote>
Un avantage non négligeable et que le SDK de Pepper est mis à disposition et permet une personnalisation de sa programmation, offrant ainsi des possibilités d'interaction variées. Nous expliquerons en détail comment les modules de programmation de Pepper ont été utilisés pour créer des interactions spécifiques et fluides pour notre étude.

Plusieurs langages de programmation sont disponibles. la figure 6 représente une comparaison effectué par Aldebaran :

<table><caption>FIGURE 6 – Comparaison des langages de programmations disponibles pour Pepper 2</caption><thead><tr><th rowspan="2">Programming Languages</th><th colspan="2">Bindings running on</th><th colspan="2">Choregraphe support</th></tr><tr><th>Computer</th><th>Robot</th><th>Build Apps</th><th>Edit code</th></tr></thead><tbody><tr><td>Python</td><td>✓</td><td>✓</td><td>✓</td><td>✓</td></tr><tr><td>C++</td><td>✓</td><td>✓</td><td>⊗</td><td>⊗</td></tr><tr><td>Java</td><td>✓</td><td>⊗</td><td>⊗</td><td>⊗</td></tr><tr><td>JavaScript</td><td>✓</td><td>✓</td><td>✓</td><td>⊗</td></tr><tr><td>ROS</td><td>✓</td><td>⊗</td><td>⊗</td><td>⊗</td></tr></tbody></table>

Le groupe de stagiaire s'occupant de la programmation des gestes de Pepper a choisi Python pour leur projet. L'avantage de python est sa compatibilité avec Chorégraphe, un logiciel permettant de programmer Pepper de façon visuelle. Un avantage qui sera utilisé dans le cadre de mon stage. De plus, python est un langage compacte et simple à utiliser.

La plupart des fonctionnalités de Pepper sont réunis sous la forme de modules qui peuvent être appelés, ci-dessous un tableau 1 résumant les modules qui ont été utilisés pour programmer l'interaction :

<footnote n="2">2. http://doc.aldebaran.com/2-5/dev/programming_index.html</footnote>
<table><caption>TABLE 1 – Modules de programmation Pepper</caption><thead><tr><td>Module</td><td>Définition</td><td>Application</td></tr></thead><tbody><tr><td>AlAutonomousLife</td><td>Gère les différents comportements autonomes du robot, tel que le suivi du regard, paroles spontanées...</td><td>Le mode autonome de Pepper est désactivé durant l'interaction. Seul le tracking est activé afin d'établir un contact visuel avec le participant.</td></tr><tr><td>AlAnimationPlayer</td><td>Contient un nombre d'animations et de mouvements préenregistrés.</td><td>Ce module a été utilisé afin de rajouter de la gestuelle aux paroles de Pepper afin d'avoir une interaction plus vivante.</td></tr><tr><td>AlTextToSpeech</td><td>Permet au robot Pepper de convertir du texte en discours audio</td><td>Le second intérêt de ce module est qu'il nous a permis de moduler la voix de Pepper et de rajouter des intonations.</td></tr><tr><td>AlSpeechRecognition</td><td>Gère la reconnaissance vocale, permettant au robot Pepper d'interagir avec les commandes vocales.</td><td>Grâce à ce module, Pepper peut notamment poser des questions et réagir selon la réponse du participant (exemple : si les participants veulent rajouter un tour ou non.)</td></tr><tr><td>AlMotion</td><td>Contrôle les mouvements et les actions physiques du robot Pepper, tels que la marche et les gestes.</td><td>Ce module, couplée au logiciel Cho-régraphe, a permis de créer une gestuelle fluide pour le jeu de pierre-feuille-ciseaux.</td></tr><tr><td>AlRobotPosture</td><td>Gère les postures et les positions du robot Pepper. Pepper a un certain nombre de postures pré-enregistrées</td><td>Il nous a permis notamment de remettre Pepper à une position initiale à plusieurs niveau de l'interaction.</td></tr><tr><td>AlTabletService</td><td>Gère l'interaction avec la tablette intégrée du robot Pepper, permettant d'afficher du contenu visuel et interactif.</td><td>Ce module nous a permis de rajouter un stimuli visuel, afin d'afficher les gestes que Pepper a fait et éviter toute confusion (ou au contraire, en créer)</td></tr></tbody></table>

Il existe de nombreux autres modules cités dans l'API du site de documentation d'Aldebaran, certains seraient intéressant à exploiter dans le cadre de cette interaction et pourraient être rajoutés. Notamment, AlMood, qui permettrait d'avoir une première impression sur l'état émotionnel du participant.

### V.1.1 Contraintes

- Durant ce stage, j'ai pu travailler avec deux robots Pepper, un présent à l'IDMC et celui du Loria.

Cependant, la différence des versions fait que je devais plutôt m'adapter à celui du laboratoire qui est moins récent. La version de son SDK NAOqi est 2.5, ainsi, tous les logiciels devaient y être adaptés, notamment la programmation du robot devait être faite en python 2.5, ce qui pouvait être parfois contraignant.
— Un souci soulevé dès le début du projet est la limitation physique de Pepper au niveau des articulations de sa main. En effet, il est seulement capable de fermer entièrement le poing, nous n'avons pas un contrôle individuel sur chaque doigt. Il était donc impossible de reproduire le geste ciseaux, raison pour laquelle ce geste a été remplacé par une paume de main ouverte, mais maintenue à 90° pour éviter la confusion avec feuille. La figure 7 représente la façon dont Pepper fait chaque geste :

<figure><img src="image_8.png" /><figcaption>FIGURE 7 – Gestes exécutées par Pepper</figcaption></figure>

— Une autre contrainte, minime mais notable, est l'utilisation de la langue française pour les interactions vocales de Pepper. Bien qu'elle soit disponible, elle n'est pas réellement optimisée. Pepper ne prononce pas les accents et les « égalité » sont prononcés « égalite ». Cependant, si nous écrivons « égaliter », le mot est prononcé correctement, il est donc tout de même possible de l'utiliser.

De plus, certains paramètres pour la modulation de l'intonation ne sont disponibles qu'en anglais, ce qui limitait le contrôle que nous avions sur la voix.

### V.1.2 Logiciels :

*Visual Studio Code 1.81* : Ce choix a été fait par les étudiants qui ont commencé la programmation des gestes de Pepper sur python. VSC est un programme qui permet de gérer de manière organisée les différents scripts. Il est aussi possible d'y installer plusieurs interpréteurs python, ce qui permet d'utiliser python 2.5 sans causer de conflit avec les autres versions.

*Chorégraphe 2.5* : Chorégraphe est un logiciel développé par SoftBank Robotics spécifiquement conçu pour la programmation et la gestion des comportements du robot humanoïde Pepper. Il agit comme une interface de développement graphique qui permet aux utilisateurs de créer, personnaliser et contrôler les interactions, les mouvements et les expressions du robot Pepper sans passer par la programmation.
Dans le cas où le robot n'est pas disponible, Chorégraphe met à disposition un robot virtuel (figure 8) afin de pouvoir tester des scénarios.

<figure><img src="image_9.png" /><figcaption>FIGURE 8 – Interface de Chorégraphe</figcaption></figure>

Bien que le code ait principalement été réalisé sur Python 2.5, chorégraphe a été très utile à la fois pour mieux comprendre tout ce que pouvait réaliser Pepper mais également pour améliorer la fluidité et la vitesse des mouvements grâce au mode animation.

Le mode animation est une fonctionnalité qui permet de créer des séquences d'actions l'une après l'autre (telle une chorégraphie) ainsi que de synchroniser plusieurs actions. En mode animation, la rigidité des moteurs de Pepper est désactivée, celui-ci devient telle une marionnette. Il est alors possible de manipuler les articulations du robot Pepper, ajuster les trajectoires de mouvement et définir des positions spécifiques pour les bras, les jambes, la tête et d'autres parties du corps. Il est aussi possible de contrôler le timing et les délais entre chaque séquence afin de créer le mouvement le plus naturel possible.

De plus, chorégraphe permet d'avoir la séquence sous forme de code python, ce qui a facilité son intégration au sein de notre programme.
## V.2 Electroencéphalographe (BioSemi ActiveTwo)

L'électroencéphalographe utilisé dans cette expérimentation est le système d'acquisition BioSemi ActiveTwo EEG 64 électrodes (voir figure 9).

<figure><img src="image_10.png" /><figcaption>FIGURE 9 – EEG Biosemi ActiveTwo<fnref n="3" /></figcaption></figure>

Les électrodes, positionnées de manière méthodique sur la surface du cuir chevelu, facilitent la détection et la collecte des signaux électriques émanant des neurones. Du gel est utilisé afin de réduire l'impédance et améliorer la qualité des signaux. Ces signaux, à peine perceptibles, sont ensuite amplifiés, numérisés et analysés pour fournir des informations précises sur l'activité électrique des zones du cortex étudiée. Le but dans cette expérimentation est d'étudier les corrélations entre les processus cognitifs, émotionnels et comportementaux et les schémas d'activité électrique cérébrale lors de l'interaction avec Pepper.

### OpenViBE :

OpenViBE est un logiciel open source dédié au traitement et à l'analyse des signaux cérébraux en temps réel, tels que l'électroencéphalographie (EEG). Il est principalement utilisé dans le domaine des neurosciences et des interfaces cerveau-ordinateur et est un logiciel fréquemment utilisé par l'équipe NeuroRhythms.

OpenViBE propose des fonctionnalités pour l'acquisition, le traitement et la visualisation des signaux cérébraux en temps réel. Il offre également des outils pour la conception de scénarios d'expérimentation, la classification des états mentaux, la détection des événements cérébraux et la mise en œuvre d'interactions cerveau-ordinateur.

Nous avons notamment utilisé le module *OpenViBE Acquisition* afin de récolter les données EEG via l'amplificateur BioSemi ActiveTwo, et *OpenViBE Designer* afin de créer des scénarios pour le traitement des données durant les différentes phases de l'acquisition.

Il est important de noter que le casque BioSemi a son propre logiciel de visualisation, ActiView, cependant pour des raisons de synchronisations de données, nous avons préféré utiliser OpenViBE.

<footnote n="3">3. https://www.biosemi.com/headcap.htm</footnote>
En effet, OpenviBE peut exporter des données vers une couche de partage de données LSL, qui est
le protocole choisi pour ce projet.

V.2.1 Placement des électrodes

Le système d'acquisition EEG Biosemi ActiveTwo sera utilisé pour enregistrer l'activité cérébrale dans le cadre de la prédiction du geste par imagination motrice kinesthésique, ainsi que pour l'analyse des réactions émotionnelles et des états cognitifs. Nous avons opté pour le système à 64 électrodes afin de couvrir de manière exhaustive les zones du cortex cérébral concernées. Pour ce faire, nous avons choisi d'adopter la méthode internationale de placement d'électrodes 10-10(10).

<figure><img src="image_11.png" /><figcaption>FIGURE 10 – Méthode de placement d’électrodes 10-10⁴</figcaption></figure>

La méthode 10-10 est une norme qui permet de positionner les électrodes sur le cuir chevelu en utilisant des distances relatives de 10% entre des points anatomiques clés, tels que l'inion et le nasion. Les électrodes sont placées selon des coordonnées standardisées. Chaque électrode dans le système 10-10 est désignée par une lettre suivie d'un nombre. La lettre indique la région du cerveau sous-jacente (par exemple, F pour frontal, C pour central, P pour pariétal, T pour temporal, O pour occipital).

Cette méthode permet d'assurer une couverture homogène du cortex cérébral et permettre des comparaisons cohérentes entre différentes études.

*Imagination Motrice Kinesthésique* : lorsqu'une personne réalise une imagination motrice, il est possible de repérer une activité cérébrale dans les zones du cortex pré-moteur et moteur (figure 11). En particulier dans le cas de l'IMk, qui partage des caractéristiques physiologiques plus proches de l'exécution des mouvements [22].

<footnote n="4">4. https://commons.wikimedia.org/wiki/File:EEG_10-10_system_with_additional_information.svg</footnote>
Le placement des électrodes se fait donc sur le cortex moteur et pariétal[38].

<figure><img src="image_12.png" /><figcaption>FIGURE 11 – Cortex moteur<fnref n="5" /></figcaption></figure>

*Emotions et états cognitifs* : Ce tableau résume les zones du cortex impliqués afin de pouvoir analyser les émotions et les états cognitifs :

<table><thead><tr><th>Auteurs</th><th>Emotion/Etat Cognitif</th><th>Zones du cortex</th><th>Ondes Cérébrales</th></tr></thead><tbody><tr><td rowspan="2">Galvão et al [20]</td><td>Valence</td><td>frontal et pariétal</td><td>Alpha, bêta et gamma</td></tr><tr><td>Eveil(arousal)</td><td>Frontal et temporal</td><td>Alpha et gamma</td></tr><tr><td rowspan="2">Bos et al [10]</td><td>Valence</td><td>frontal et pariétal</td><td>Alpha et bêta</td></tr><tr><td>Eveil(arousal)</td><td>Frontal et pariétal</td><td>Alpha et bêta</td></tr><tr><td rowspan="3">McMahan et al [32]</td><td>Valence</td><td>Frontal</td><td>Alpha et bêta</td></tr><tr><td>Eveil(arousal)</td><td>Frontal</td><td>Alpha et bêta</td></tr><tr><td>Engagement</td><td>Frontal, temporal et occipital</td><td>alpha, bêta et thêta</td></tr><tr><td>Nuamah et al [34]</td><td>Engagement</td><td>Frontal, pariétal et occipital</td><td>Alpha, bêta et thêta</td></tr><tr><td>Biercewicz et al [8]</td><td>Engagement</td><td>Frontal et pariétal</td><td>Alpha et thêta</td></tr><tr><td>Esqueda-Elizondo et al [17]</td><td>Attention</td><td>Frontal et pariétal</td><td>Alpha, bêta et thêta</td></tr><tr><td>Wirth et al [51]</td><td>ErrP</td><td>Frontal et pariétal</td><td>Thêta et delta</td></tr><tr><td>Spüler et al [46]</td><td>ErrP</td><td>Frontal, pariétal et occipital</td><td>Thêta et delta</td></tr></tbody></table>

TABLE 2 – Corrélation entre émotions/états cognitifs, zones corticales et ondes cérébrales

A partir de cet état de l'art, on peut concevoir qu'il est préférable d'utiliser un système à 64

<footnote n="5">5. https://lecerveau.mcgill.ca/flash/d/d_06/d_06_cr/d_06_cr_mou/d_06_cr_mou.html</footnote>
électrodes pour pouvoir couvrir un maximum de surface. Il sera possible lors de l'analyse de se focaliser sur certaines zones en choisissant les électrodes concernées.

## V.3 Gants de données

Nous avons également utilisé une paire de gants de données Manus Prime X (figure 12) afin de pouvoir reconnaitre les gestes effectués par les participants.

<figure><img src="image_13.png" /><figcaption>FIGURE 12 – Manus Prime X 6</figcaption></figure>

Ces gants contiennent 5 capteurs de flexion ainsi que 6 IMUs. Avec une latence de 5 ms et une fréquence d'échantillonnage de 90 Hz. Elles fournissent des informations sur les angles de flexions de chaque articulation ainsi que sur les angles d'écartement entre chaque doigt.

Cette partie a été programmée en C++ sur Visual Studio 2022 par un groupe de stagiaire en M1 Informatique. Ils ont choisi d'utiliser uniquement les données de flexion afin de programmer un classificateur permettant de faire la différence entre chaque geste. Cette information est ensuite transmise à Pepper via un protocole LSL.

### V.3.1 Logiciels

Afin de communiquer avec les gants, nous avons installés des logiciels fournis par Manus Meta. Notamment Manus Core et Manus Dashboard (figure 13).

*Manus Core*
permet de connecter les gants et l'ordinateur, une fois que le dongle est connecté. Il permet également de calibrer les gants et de créer des profils d'utilisateurs.

*Manus Dashboard* permet plutôt d'avoir une représentation visuelle en temps réelle des données récoltées par les gants.

*Visual Studio 2022* : est le logiciel qui a été choisi par le deuxième groupe de stagiaires pour exploiter Le C++ Software Development Kit (SDK) fournis par Manus Meta. Ce qui leur a permis

<footnote n="6">6. https://www.manus-meta.com/products/prime-x</footnote>
<figure><img src="image_14.png" /><figcaption>FIGURE 13 – Interface Manus Core/Dashboard</figcaption></figure>

de procéder à l'analyse des données récupérées par les gants.

Ils ont ensuite modifié l'un des programmes déjà existants pour y insérer un classifieur qui permettrait de discriminer entre les trois gestes (en donnant des intervalles d'angles de flexions) et ont utilisé la librairie LibLSL pour transmettre ces données dans une couche LSL.

## V.4 Mi Smart Band 5

Nous avons aussi souhaité nous intéresser au rythme cardiaque et la relation entre sa variation et les différentes émotions que peuvent ressentir les participant lors d'une interaction humain-robot. Nous avons décidé d'utiliser un bracelet connecté Mi Smart Band 5 (figure 14). C'est un appareil léger et confortable, qui permet de récolter des données sans gêner le participant.

Développé par Xiaomi, Il permet de suivre et surveiller divers aspects de la santé et de l'activité physique. Le Mi Smart Band 5 offre des fonctionnalités telles que le suivi de l'activité physique (pas, distance, calories), la fréquence cardiaque en continu et le suivi du sommeil. En ce qui concerne le rythme cardiaque, la précision temporelle est le standard bpm, nombre de battements par minute. Il aurait été préférable d'avoir un appareil avec une meilleure précision, cependant, étant une décision de dernière minute, nous avons préféré utiliser le bracelet pour un début.

*Zepp Life* : est une application Android permettant d'accéder aux données contenus par le bracelet.

Les données sont récoltées sous la forme d'un fichier .csv contenant la date, l'heure et le rythme cardiaque.
<figure><img src="image_15.png" /><figcaption>FIGURE 14 – Mi Smart Band 5 (7)</figcaption></figure>

## V.5 LabStreamingLayer

LabStreamingLayer (LSL) est un protocole open source qui facilite l'acquisition, la synchronisation et le partage de données en temps réel provenant de divers dispositifs et capteurs.

Il a été spécialement conçu pour la capture de données biomédicales et neurophysiologiques, y compris les signaux EEG. LSL permet de diffuser et d'acquérir ces données dans un environnement distribué, ce qui en fait un outil très intéressant pour la recherche en neurosciences et en BCI.

Nous l'avons utilisé afin de pouvoir intégrer et synchroniser diverses sources de données, notamment l'EEG, les gestes des participants et les actions du robot Pepper, afin de créer un flux de données cohérent pour une analyse approfondie.

Pour ce faire, nous avons utilisé les librairies LSL en C++ et en Python :

- *LibLSL (Gants)* : Cette librairie permet aux développeurs d'intégrer les fonctionnalités de LSL dans des applications codées en langage C. Elle a notamment été utilisée pour créer un stream contenant un tableau de données contenant les angles de flexion de chaque doigts. Ce stream est ensuite récolté par le code python mais également OpenViBE Acquisition.

- *PyLSL (Pepper)* : La librairie Python LSL offre des outils similaires pour interagir avec le framework LSL, mais dans l'environnement de programmation Python. Cela nous a permis de récolter les données envoyées par les gants afin de communiquer le choix du participant au robot.

Il nous a également permis d'envoyer des triggers (marqueurs temporels) liés aux actions du robot sur un stream de données qui est plus tard récolté par OpenViBE Acquisition et synchronisé aux données EEG et celles du gant. Facilitant ainsi l'analyse.

<footnote n="7">7. https://www.mi.com/fr/product/mi-smart-band-5/</footnote>
# VI Protocole Expérimental

## VI.1 Rédaction du protocole

Afin de pouvoir procéder à l'expérimentation, nous avons tout d'abord rédigé un protocole expérimental où toutes les étapes sont détaillées. Le but étant d'avoir une meilleure compréhension de ce que nous souhaitons accomplir, mais également d'obtenir l'accord du Comité opérationnel d'évaluation des risques légaux et éthiques (Coerle).

En effet, puisque cette expérimentation requiert la participation de sujets ainsi que la récolte de certaines informations considérées personnelles et confidentielles, le protocole devait d'abord être validé par le Coerle avant que nous puissions commencer.

Cette étape est chronophage mais très éducative. La demande est officiellement faite par le chargé du projet. La rédaction du protocole ainsi que du formulaire de consentement éclairé m'a été facilité par l'accès à des documents similaires ainsi que par la révision de mes superviseurs. J'ai également réalisé une formation des « bonnes pratiques cliniques » mise en ligne par l'université d'Oxford et qui m'a notamment aidé à comprendre de nombreuses notions en éthique des données et en expérimentation clinique. Bien que cette expérimentation n'ait pas un but médical, les signaux EEG sont considérés comme des données médicale, ce qui rend l'expérimentation plus sensible.

Nous avons également participé à une réunion avec le comité d'éthique d'Inria afin de discuter de l'expérimentation et des notions importantes telles que le degré de sensibilité des données récoltées, la protection et le stockage des données ainsi que la privatisation de l'identité des participants par pseudo-anonymisation.

La demande a été officiellement envoyée le 21 Juin, jusqu'à ce jour, nous n'avons pas eu de réponse définitive.

## VI.2 Description de l'expérimentation

### VI.2.1 Objectif

Le but de cette étude est d'analyser l'activité cérébrale des individus lors d'interactions avec le robot Pepper, afin de mieux comprendre leurs ressentis et réactions face à certains comportements du robot.

À plus long terme, cette étude vise à améliorer l'interaction humain-robot.

Un autre objectif est d'évaluer la possibilité de prédiction des mouvements de la main à partir de l'imagerie motrice kinesthésique.
## VI.2.2 Hypothèses

Bien que les hypothèses ont déjà été cités préalablement, elles ont cependant évolués au cours du stage. :

- la possibilité de prédire les gestes par Imagination Motrice Kinesthésique

- la possibilité de prédire les gestes en utilisant les données du gants

- la possibilité de provoquer différentes réaction émotionnelles (classifiables sur le modèle bidimensionnel de valence/arousal) et autres états cognitifs en variant le comportement du robot.

- la possibilité d'utiliser la variation du rythme cardiaque pour faciliter l'analyse des états émotionnels/cognitifs lors de l'expérimentation

- la possibilité de provoquer des potentiels évoqués liés à l'erreur (ErrP) en faisant commettre des erreurs au robot.

## VI.2.3 Conditions de l'expérimentation

Afin d'étudier l'impact du comportement de Pepper sur les participants, nous avons déterminés trois types de profils qu'il pourrait adopter, selon les hypothèses énoncées plus haut.

De plus, afin d'étudier les erreurs potentielles/surprise/attribution d'intention au robot, nous avons également rajouté une condition où Pepper commet une erreur, soit en annonçant le mauvais geste, ou bien en changeant le geste après avoir pris connaissance de celui de son adversaire. L'idée ici serait de voir si une tentative de triche de Pepper serait considérée comme telle par les participants, comme un dysfonctionnement, une erreur ou bien une tentative de triche de la part du robot.

- Comportement Positif : dans cette condition, Pepper se comporte de façon enthousiaste et en bon joueur. Sa voix est donc plus rapide et joyeuse, et ses paroles sont encourageantes pour le joueur.

**Érreur** : Pour ce comportement, la condition d'erreur n'est pas considéré comme l'intention du robot. Celui-ci s'excuse, confus et corrige le score.

- Comportement Neutre : afin d'avoir une condition témoin, nous avons pensé à une condition où Pepper se comporte de façon simple et sans montrer d'émotions particulière. Son timbre de voix est plus lent que celui standard, ses gestes sont restreints.

**Érreur** : Pour ce comportement, la condition d'erreur n'est pas considéré comme l'intention du robot. Celui-ci s'excuse, confus et corrige le score.

- Comportement Négatif : cette condition permet d'étudier les réactions des participants face à un comportement hautain, tricheur et mauvais perdant de Pepper. Avare en paroles, sauf pour faire une remarque antipathique, il a également un timbre plus lent sauf lorsqu'il gagne, sa joie est exprimée très clairement.
Erfolg : Ici, la condition d'erreur est un acte de triche. Le robot change de geste après avoir perdu. Pepper ne s'excuse pas et ne reconnait pas s'être trompé.

## VI.3 Participants

Puisque nous avons trois conditions différentes pour l'expérimentation, nous souhaiterions recruter entre 15 et 30 personnes adultes sans troubles neurologiques.

*Critère d'inclusion :* 18 ans et plus.

*Critère d'Exclusion* : Les personnes souffrant de dépression, d'épilepsie, d'accident vasculaire cérébral, de diabète, de fatigue chronique ou de toute autre maladie neurologique.

## VI.4 Phases de l'expérimentation

### VI.4.1 Accueil et Equipement du participant

Estimée à 20 minutes, cette étape comprend l'explication de l'expérimentation et le recueil du consentement éclairé du participant et est donc essentielle.

Avant le début de la session, les participants recevront une copie du formulaire de consentement ainsi qu'une fiche d'informations détaillant l'expérience, au moins 24 heures à l'avance. Ensuite, des informations verbales seront fournies au participant sur le déroulement de la session, en lui montrant la manière dont le robot Pepper interagit (gestes effectués, informations affichées sur la tablette, exemple de phrases prononcées).

Une fois que le participant donne son accord, nous pouvons procéder à son équipement.

Lors de la phase de préparation, le participant sera assis. Nous équiperons le participant avec un électroencéphalographe, en appliquant du gel sur chaque électrode afin d'améliorer la qualité du signal capté. Pendant cette étape, le participant sera invité à répondre à un questionnaire incluant des informations telles que son âge, son sexe, sa main dominante, ainsi que ses ressentis et préjugés concernant les robots.

Ensuite, nous aideront le participant à enfiler un gant de données adapté à sa main dominante, tel que préalablement désignée par le participant, ainsi que le bracelet connecté afin de récolter son rythme cardiaque.

### VI.4.2 Phase de la calibration IMK

Durant cette phase, estimée à 20 minutes, les signaux EEG et les données du gant seront enregistrés pour étudier la possibilité de discriminer les trois gestes par le biais de l'imagerie motrice kinesthétique et de la préparation du geste, en entrainant un classifieur automatique.

Nous demanderons au participant de se positionner face au robot (Figure 15), à une distance indiquée sur le sol. Ensuite, nous commencerons par une phase d'entrainement où Pepper annoncera
le geste à réaliser (voix et tablette) et le fera ensuite en même temps que le participant. L'idée étant
à la fois d'habituer le participant au rythme du robot, à sa gestuelle mais nous lui demanderons
également de se concentrer sur les sensations ressenties lors de l'exécution des gestes afin qu'il puisse
se les remémorer durant la prochaine étape.

Une fois l'entrainement accomplie, nous commencerons l'entrainement de l'imagination motrice kinesthésique. Pepper annoncera le geste et ensuite indiquera les moments clés de l'IMK via la tablette.

<figure><img src="image_16.png" /><figcaption>FIGURE 15 – Equipement et positionnement du participant</figcaption></figure>

Le geste apparaitra en noir lors de la première annonce, il passera ensuite au vert, indiquant le début de l'IMK, après 4 secondes, il passera au rouge, indiquant la fin de l'imagination et le début de l'exécution du geste. Durant cette étape, les gestes qui se succèdent sont les même, donc trois fois « pierre » de suite par exemple afin que la personne puisse s'habituer.

L'étape finale de cette phase est presque identique à la deuxième. Cependant, les gestes ici sont mélangés. En effet, le participant sera invité à effectuer pierre, feuille et ciseaux 5 fois chacun dans un ordre aléatoire.

VI.4.3 Phase de l'interaction pierre-feuille-ciseaux

Cette dernière phase est estimée à 30 minutes. Les données de l'électroencéphalographe, du bra-
celet connecté et des gants seront enregistrées à la fois pour prédire les mouvements, mais également
pour analyser les réactions et émotions des participants plus tard.
Après une pause de 5 minutes, le participant sera invité à jouer à pierre-feuille-ciseaux avec Pepper.

Le début de la partie sera annoncé verbalement par Pepper. Il initiera un compte à rebours synchronisé avec ses mouvements de bras pour préparer le geste puis effectuera le geste choisit, tout en l'affichant sur sa tablette.

Les comportements du robot Pepper seront conçus de manière à inclure des interactions sociales telles que des salutations, des réactions liées au déroulement du jeu, ainsi que des mouvements impliquant des gestes spécifiques pour exprimer des émotions.

De plus, chaque participant jouera avec une seule condition de Pepper (Positive – Neutre – Négative)

Les réactions du participant au comportement du robot seront enregistrées via l'électroencéphalographe et seront analysés ultérieurement. Le participant devra effectuer trente gestes face au robot. À la fin de chaque tour, le résultat sera annoncé par Pepper.

Une fois le jeu terminé, le participant sera invité à répondre à un questionnaire.

Enfin, le participant sera remercié pour sa participation.
# VII Analyse des Données

Nous allons à présent décrire les méthodes utilisées pour analyser les données qui seront récoltées lors des l'expérimentation.

## VII.1 Questionnaire

Bien que l'intérêt de ce projet soit d'obtenir des mesures objectives des états cognitifs et émotionnels des participants lors d'une interaction humain-robot, nous ne pouvons pas négliger complètement le potentiel apporté par les mesures subjectives.

Nous avons donc réalisé un questionnaire dans le but d'avoir une référence sur l'état des participants avant l'interaction et leurs impressions après l'interaction.

Le questionnaire a été réalisé avec le logiciel LimeSurvey.

Ce logiciel open-source permet aux utilisateurs de concevoir des questionnaires personnalisés, de les distribuer via divers canaux numériques, et de collecter et analyser les réponses des participants. L'intérêt étant qu'il soit disponible via l'intranet d'Inria, ce qui permet de réaliser un questionnaire numérique tout en s'assurant que les informations soient stockées sur des serveurs sécurisés.

### VII.1.1 Pré-questionnaire

Avant de débuter l'expérimentation, nous allons demander aux participants de répondre à un pré-questionnaire (annexe VIII) afin de recueillir des informations essentielles pour contextualiser les données collectées.

Ce pré-questionnaire vise à obtenir un aperçu des caractéristiques individuelles et des expériences préalables des participants en lien avec l'interaction humain-robot. Les réponses fournies à ces questions seront utilisées pour mieux comprendre les influences potentielles sur les réactions émotionnelles et cognitives observées pendant l'expérimentation.

Le pré-questionnaire comporte des questions concernant l'âge, le sexe, la familiarité avec la technologie, les expériences passées avec les robots, la pratique de la méditation et des activités physiques, ainsi que l'utilisation de médicaments pouvant affecter l'état cognitif ou émotionnel.

Ces données seront traitées conjointement avec les données récoltées par l'EEG et le bracelet connecté pour permettre une analyse plus approfondie des réactions des participants dans un contexte plus large, tout en tenant compte de leur profil individuel.

### VII.1.2 Questionnaire post-interaction

Après chaque session d'interaction avec le robot Pepper lors du jeu de pierre-feuille-ciseaux, les participants seront invités à remplir un questionnaire (Annexe VIII) d'expérience utilisateur.
Ce questionnaire vise à recueillir leurs impressions et leurs réactions immédiates suite à l'interaction avec le robot.

Les questions abordent divers aspects de l'expérience, allant de la détection de comportements inattendus (conditions d'erreur) à l'évaluation de la cohérence et la fluidité des mouvements du robot. On cherche également à évaluer leur perception globale de l'expérience et du comportement de Pepper. Les participants auront également l'opportunité de fournir des commentaires supplémentaires ou des observations spécifiques sur l'interaction.

Les réponses fournies à ce questionnaire permettront d'obtenir une estimation subjective de la réaction des participants face à l'interaction avec Pepper. Ces données pourront être comparées avec celles obtenues par l'EEG et le bracelet connecté et vérifier la cohérence entre les deux mesures (physiologiques et subjectives) tout en enrichissant notre compréhension des dimensions émotionnelles, cognitives et comportementales en jeu dans cette interaction humain-robot.

## VII.2 Prédiction des mouvements

Durant la phase de calibration de l'imagination motrice kinesthésique, les participants sont équipés de l'EEG et des gants de données. Les données récoltées servent à évaluer la possibilité de prédiction des mouvements des participants pendant la phase de préparation.

Cette étape repose sur l'imagination motrice kinesthésique, qui sollicite la représentation mentale des sensations liées aux mouvements en phase de planification, potentiellement observables par électroencéphalographie (EEG). De plus, nous avons les données récoltées par les gants, en émettant l'hypothèse que quelques secondes avant la réalisation du geste, les participants commencent à préparer leur mouvement comme desserrer leurs doigts, pour réaliser feuille ou ciseaux, ou au contraire les resserrent pour faire pierre.

La récupération des données se fait via le serveur d'acquisition d'OpenViBE. Deux serveurs sont à lancer, un pour acquérir les données EEG via le pilote fourni dans OpenViBE pour l'amplificateur BioSemi et un second qui récoltera les données du gant ainsi que les marqueurs temporels sur la couche LSL. Les données des serveurs sont ensuite traitées dans OpenViBE Designer via des scénarions spécifiques décrits ci-dessous.

### VII.2.1 Méthodes utilisées

*Common Spatial Pattern (CSP)* : La technique des Common Spatial Patterns (CSP) est très utilisée pour traiter des signaux en électroencéphalographie (EEG). Elle vise à extraire des caractéristiques pertinentes des signaux cérébraux. Elle parvient à cela en trouvant des combinaisons linéaires des canaux EEG qui maximisent la variance des signaux pour certaines classes d'événements et minimisent la variance pour d'autres. L'algorithme des CSP est notamment utilisé pour faciliter la classification de signaux EEG, en identifiant des activités fréquentielles cérébrales spécifiques liées à des tâches ou états cognitifs. Il en résulte des filtres spatiaux appliqués aux signaux EEG pour optimiser la séparation des classes. Pour cette étude, les 6 filtres spatiaux les plus extrêmisant seront concernés.
*Analyse Discriminante Linéaire (LDA)* : L'Analyse Discriminante Linéaire (LDA) est une technique d'apprentissage supervisée utilisée pour la classification. Son objectif principal est de projeter les données d'entrée dans un nouvel espace de manière à maximiser la séparation entre différentes classes tout en minimisant la variance à l'intérieur de chaque classe.

Ainsi, l'Analyse Discriminante Linéaire est une méthode de transformation de données qui vise à optimiser la séparation entre différentes classes dans un espace de caractéristiques, ce qui est le but recherché dans cette partie de l'expérimentation.

Elle est robuste au bruit ce qui est particulièrement intéressant pour des données EEG lequelles sont très instables.

## VII.2.2 Scénarios OpenViBE

*Scénario de Prétraitement (Annexe p.40)* : Dans ce scénario, nous commençons par récupérer les données des serveurs d'acquisition. Le flux des marqueurs temporels est associé à celui de l'EEG et des données du gant afin d'avoir une idée précise du moment où le participant commence l'imagina-tion ou bien réalise les gestes.

Ensuite, nous créons deux chaines de pré-traitement, une pour l'EEG et une autre pour les gants.

En se basant sur un segment de 0.5-3.5 s à partir du début de l'imagination, sachant que celle-ci dure 4 s, on réalise un Common Spatial Pattern pour chaque geste afin d'extraire des caractéristiques discriminantes des trois classes, pierre, feuille et ciseaux.

*Scénario de Classification (Annexe p.41)* : En réutilisant le filtre CSP entrainé dans le premier scénario, on extrait les caractéristiques de chaque classe. Elles sont ensuite utilisées pour entrainer un classifieur LDA qui produira les prédictions des gestes sous forme de stimulations.

Une fois la phase de calibration des CSP et du classifieur LDA finie, ils sont prêts à être utilisés durant la phase d'expérimentation.

*Scénario de traitement en ligne (Annexe p.42)* De manière similaire à la calibration, deux chaines de traitements sont créées, une pour l'EEG et une autre pour les données des gants incluant un pré-traitement via le filtre CSP déjà entraîné, puis la classification LDA afin d'obtenir les prédictions. Ces dernières sont exportées via un flux LSL qui est récupéré par le code python et utilisé pour indiquer au robot le geste à faire.

En parallèle, les données de l'EEG et des gants pour cette phase de l'expérimentation sont enregistrées dans des fichiers au format openvibe (.ov) afin d'être réutilisés ultérieurement pour l'analyse des réactions du participant.
## VII.3 Analyse des états émotionnels/cognitifs

### VII.3.1 Données EEG :

Comme expliqué dans le chapitre IV, nous avons opté pour l'utilisation du modèle bi-dimensionnel valence/arousal afin d'analyser les états émotionnels.

Une fois l'expérimentation terminée et les données enregistrées grâce au scénario de traitement en ligne des IMK dans OpenViBE présenté précédemment, nous passerons à une analyse a posteriori des signaux EEG. Cette analyse sera effectuée à l'aide d'un programme en Python 3, en utilisant principalement la bibliothèque MNE d'analyse de signaux EEG en python 8.

Le tableau 2 page 22 indiquait les zones du cortex concernés par chacun des états émotionnels et cognitifs d'intérêt, ainsi que les ondes cérébrales à analyser.

Pour rappel, les ondes cérébrales sont catégorisées en fonction de leur bande de fréquences. Ainsi les ondes delta sont les plus basses (de 0.5 Hz à 4 Hz), suivies par les ondes thêta (4-8 Hz), les ondes alpha (8-13 Hz), les ondes bêta (14-30 Hz) et pour finir les ondes gammas qui sont supérieures à 30 Hz.

Nous limiterons l'analyse (pour chaque état d'intérêt) aux électrodes liées aux lobes concernés. De plus, puisque nous savons quelles ondes récelent les informations que nous cherchons pour chaque émotion/état cognitif, nous pouvons appliquer des filtres passe-bande pour limiter les données aux ondes pertinentes et augmenter le rapport signal sur bruit.

Selon les évènements d'intérêts, des segments courts et spécifiques seront extraits, notamment après les réactions de Pepper post-victoire ou post-défaite pour les mesures de valence/arousal. Dans le cas des ErrP, ce sera surtout après l'évenement "Erorur/Triche" de la part de Pepper.

Pour l'analyse des états émotionnels et cognitifs, nous utiliserons les formules suivantes :

Valence (Asymmètrie Frontale) [32, 20, 4] :

$$ \frac{\alpha F4}{\beta F4} - \frac{\alpha F3}{\beta F3} \qquad (1) $$

Arousal [32] :

$$ \frac{\beta F3 + \beta F4}{\alpha F3 + \alpha F4} \qquad (2) $$

Attention [17] :

$$ \frac{\theta}{\beta}; \frac{\theta}{\alpha}; \frac{\theta}{\alpha + \beta} \qquad (3) $$

Engagement [8] :

$$ \frac{\theta}{\alpha}; \frac{\beta}{\alpha + \theta}; \theta; \qquad (4) $$

<footnote n="8">8. https://mne.tools</footnote>
Il nous sera ensuite possible de réaliser un graphique qui permettra d'observer l'évolution temporelle des indices calculées au cours de l'expérience et selon les évènements étudiés.

Pour déterminer la présence d'ErrPs, le traitement sera proche de celui présenté pour détecter les IMK de chaque geste.

## VII.3.2 Rythme cardiaque

Les données du bracelet connecté seront récupérés une fois l'expérimentation terminée, sous la forme d'un fichier csv contenant la date, le temps et la valeur du rythme cardiaque.

Ces données seront comparées avec les résultat de l'analyse de l'EEG et des évènements temporels liés au comportement du robot, afin de vérifier s'il y a une variation observable du rythme cardiaque accompagnant une variation des mesures de valence/arousal ou des ErrPs.
# VIII Conclusion

En résumé, ce rapport met en évidence les progrès réalisés durant les quatre premiers mois du stage dans le cadre d'une étude sur l'interaction humain-robot avec le robot Pepper, en utilisant le jeu pierre-feuille-ciseaux comme contexte d'expérimentation.

La phase initiale du projet a consisté à mettre en place un protocole expérimental détaillé pour programmer le robot Pepper avec des comportements spécifiques visant à susciter des réactions émotionnelles et cognitives chez les participants. Les comportements ont été sélectionnés pour induire diverses réponses, allant de la surprise à la frustration, afin de fournir une variété de scénarios pour l'analyse.

L'ajout de l'Imagerie Motrice Kinesthésique au protocole expérimental a permis d'introduire une dimension nouvelle à l'étude. La capacité à prédire les gestes des participants avant leur exécution offre une perspective intéressante pour analyser leurs intentions motrices. Il est important de noter que l'approbation en cours du comité d'éthique d'Inria est une condition préalable pour poursuivre cette phase. Cependant, cette approche présente un potentiel prometteur pour approfondir notre compréhension des réactions émotionnelles et cognitives dans les interactions humain-robot.

Le mois à venir offre une opportunité pour consolider le travail accompli jusqu'à présent et pour commencer les expérimentations. L'analyse des données recueillies lors des interactions, ainsi que les prédictions basées sur l'IMK, devraient permettre d'obtenir des informations sur les réponses émotionnelles et cognitives des participants.

Cependant, il est important d'envisager certains défis potentiels. La diversité des participants peut entraîner des niveaux variables de distraction, et les signaux captés, comme l'EEG et le rythme cardiaque, peuvent être influencés par des facteurs externes, ce qui pourrait affecter la causalité des données. Comme le participant est libre de ses mouvements, les données risquent d'être très affectées par le bruit, il faudra adapter le traitement des signaux en conséquence. Il se pourrait également que la prédiction par imagination motrice ne donne pas des résultats très probants.

En termes de perspectives, il serait intéressant d'explorer la possibilité d'utiliser les réactions des participants comme retour d'information pour le robot, afin d'améliorer l'interaction. Ces retours pourraient guider le robot vers des comportements mieux adaptés aux attentes des participants, et ainsi améliorer l'immersion dans l'interaction.

En conclusion, ce rapport établit les bases nécessaires pour étudier les interactions humain-robot dans le contexte du jeu pierre-feuille-ciseaux. Les avancées dans les comportements robotiques et l'intégration de l'IMK ouvrent des perspectives intéressantes pour comprendre les réactions émotionnelles et cognitives des participants.
# Annexe

## Pré-questionnaire

### Interaction Humain-Robot (Pierre, Feuille, Ciseaux)

Bonjour et merci de participer à notre étude !

N'hésitez pas à posez des questions si vous avez besoin d'éclaircissements.

Il y a 17 questions dans ce questionnaire.

<figure><img src="image_17.png" /></figure>

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>

<figure><img src="image_22.png" /></figure>
Questionnaire post-interaction

<figure><img src="image_23.png" /><figcaption>Questionnaire post-interaction</figcaption></figure>
Dans quelle mesure avez-vous trouvé l'interaction avec Pepper globalement positive ou négative ? (5 correspondant à très plaisante et 1 à très déplaisante)

1

2

3

4

5

Dans quelle mesure avez-vous trouvé les mouvements de Pepper cohérents et naturels ?

1

2

3

4

5

Avez-vous un commentaire supplémentaire sur l'expérimentation ?

Envoyer
<figure><img src="image_24.png" /><figcaption>## Scénario de Prétraitement CSP</figcaption></figure>
<figure><img src="image_25.png" /><figcaption>Scénario de Classification</figcaption></figure>
<figure><img src="image_26.png" /><figcaption>Scénario de traitement en ligne</figcaption></figure>
Références

[1] Pouya AHMADIAN, Stefano CAGNONI et Luca ASCARI. « How capable is non-invasive EEG data of predicting the next movement? A mini review ». In : *Frontiers in Human Neuroscience* 7 (2013). ISSN : 1662-5161. DOI : 10.3389/fnhum.2013.00124. URL : https://www.frontiersin.org/articles/10.3389/fnhum.2013.00124.

[2] Soraia M. ALARCÃO et Manuel J. FONSECA. « Emotions Recognition Using EEG Signals : A Survey ». In : *IEEE Transactions on Affective Computing* 10.3 (juill. 2019). Conference Name : IEEE Transactions on Affective Computing, p. 374-393. ISSN : 1949-3045. DOI : 10.1109/TAFFC.2017.2714671.

[3] Rami ALAZRAI et al. « A Deep Learning Framework for Decoding Motor Imagery Tasks of the Same Hand Using EEG Signals ». en. In : *IEEE Access* 7 (2019), p. 109612-109627. ISSN : 2169-3536. DOI : 10.1109/ACCESS.2019.2934018. URL : https://ieeexplore.ieee.org/document/8792041/ (visité le 19/08/2023).

[4] Maryam ALIMARDANI et Kazuo HIRAKI. « Passive Brain-Computer Interfaces for Enhanced Human-Robot Interaction ». In : *Frontiers in Robotics and AI* 7 (2020). ISSN : 2296-9144. DOI : 10.3389/frobt.2020.00125. URL : https://www.frontiersin.org/articles/10.3389/frobt.2020.00125.

[5] Clinton J. ANDREWS. « Preparing to Design Robots for Social Contexts ». In : *IEEE Technology and Society Magazine* 41.1 (2022), p. 15-17. DOI : 10.1109/MTS.2022.3147530.

[6] Salvatore M ANZALONE et al. « Evaluating the engagement with social robots ». In : *International Journal of Social Robotics* 7 (2015), p. 465-478.

[7] Lisa Feldman BARRETT. « The theory of constructed emotion ». en. In : *Social Cognitive and Affective Neuroscience* (oct. 2016), nsw154. ISSN : 1749-5016, 1749-5024. DOI : 10.1093/scan/nsw154. URL : https://academic.oup.com/scan/article-lookup/doi/10.1093/scan/nsw154 (visité le 19/08/2023).

[8] Konrad BIERCEWICZ, Mariusz BORAWSKI et Jarosław DUDA. « Method for Selecting an Engagement Index for a Specific Type of Game Using Cognitive Neuroscience ». en. In : *International Journal of Computer Games Technology* 2020 (août 2020). Publisher : Hindawi, e2450651. ISSN : 1687-7047. DOI : 10.1155/2020/2450651. URL : https://www.hindawi.com/journals/ijcgt/2020/2450651/ (visité le 15/06/2023).

[9] Tina BOBBE et al. « Reflections on “Rock, Paper, Scissors”: Communicating Science to the Public through a Demonstrator ». en. In : *2022 17th ACM/IEEE International Conference on Human-Robot Interaction (HRI)*. Sapporo, Japan : IEEE, mars 2022, p. 1208-1209. ISBN : 978-1-66540-731-1. DOI : 10.1109/HRI53351.2022.9889613. URL : https://ieeexplore.ieee.org/document/9889613/ (visité le 19/08/2023).

[10] Danny Oude BOS. « EEG-based Emotion Recognition ». en. In : ().

[11] Walter B. CANNON. « The James-Lange Theory of Emotions : A Critical Examination and an Alternative Theory ». In : *The American Journal of Psychology* 39.1/4 (1927), p. 106-124. ISSN : 00029556. URL : http://www.jstor.org/stable/1415404.

[12] Álvaro CASTRO-GONZÁLEZ et al. « The Effects of an Impolite vs. a Polite Robot Playing Rock-Paper-Scissors ». en. In : *Social Robotics*. Sous la dir. d'Arvin AGAH et al. T. 9979. Series Title : Lecture Notes in Computer Science. Cham : Springer International Publishing, 2016, p. 306-316. ISBN : 978-3-319-47436-6 978-3-319-47437-3. DOI : 10.1007/978-3-319-47437-3_30. URL : http://link.springer.com/10.1007/978-3-319-47437-3_30 (visité le 16/06/2023).
[13] Reza DARMAKUSUMA et al. « Analysis of Arm Movement Prediction by Using the Electroencephalography Signal ». en. In : *Makara Journal of Technology* 20.1 (avr. 2016), p. 38. ISSN : 2356-4539, 2355-2786. DOI : 10.7454/mst.v20i1.3054. URL : https://scholarhub.ui.ac.id/mjt/vol20/iss1/7/ (visité le 19/08/2023).

[14] Stefan K. EHRLICH et Gordon CHENG. « A Feasibility Study for Validating Robot Actions Using EEG-Based Error-Related Potentials ». en. In : *International Journal of Social Robotics* 11.2 (avr. 2019), p. 271-283. ISSN : 1875-4791, 1875-4805. DOI : 10.1007/s12369-018-0501-8. URL : http://link.springer.com/10.1007/s12369-018-0501-8 (visité le 05/06/2023).

[15] Paul EKMAN. « Cross-cultural studies of facial expression. » In : *Darwin and facial expression : A century of research in review* (1973), p. 169-222.

[16] Friesen W. V. EKMAN P. « Facial Action Coding System (FACS) ». en. In : *Environmental Psychology Nonverbal Behavior* (1978).

[17] José Jaime ESQUEDA-ELIZONDO et al. « Attention Measurement of an Autism Spectrum Disorder User Using EEG Signals : A Case Study ». en. In : *Mathematical and Computational Applications* 27.2 (mars 2022), p. 21. ISSN : 2297-8747. DOI : 10.3390/mca27020021. URL : https://www.mdpi.com/2297-8747/27/2/21 (visité le 12/06/2023).

[18] Michael FALKENSTEIN et al. « Effects of crossmodal divided attention on late ERP components. II. Error processing in choice reaction tasks ». In : *Electroencephalography and clinical neurophysiology* 78.6 (1991), p. 447-455.

[19] Judith M. FORD. « Schizophrenia : The broken P300 and beyond ». en. In : *Psychophysiology* 36.6 (1999). _eprint_ : https://onlinelibrary.wiley.com/doi/pdf/10.1111/1469-8986.3660667, p. 667-682. ISSN : 1469-8986. DOI : 10.1111/1469-8986.3660667. URL : https://onlinelibrary.wiley.com/doi/abs/10.1111/1469-8986.3660667 (visité le 23/06/2023).

[20] Filipe GALVÃO, Soraia M. ALARCÃO et Manuel J. FONSECA. « Predicting Exact Valence and Arousal Values from EEG ». en. In : *Sensors* 21.10 (mai 2021), p. 3414. ISSN : 1424-8220. DOI : 10.3390/s21103414. URL : https://www.mdpi.com/1424-8220/21/10/3414 (visité le 05/06/2023).

[21] William J. GEHRING et al. « A Neural System for Error Detection and Compensation ». en. In : *Psychological Science* 4.6 (nov. 1993). Publisher : SAGE Publications Inc, p. 385-390. ISSN : 0956-7976. DOI : 10.1111/j.1467-9280.1993.tb00586.x. URL : https://doi.org/10.1111/j.1467-9280.1993.tb00586.x (visité le 23/06/2023).

[22] Aymeric GUILLOT et al. « Brain activity during visual versus kinesthetic imagery : An fMRI study ». en. In : *Human Brain Mapping* 30.7 (juill. 2009), p. 2157-2172. ISSN : 10659471, 10970193. DOI : 10.1002/hbm.20658. URL : https://onlinelibrary.wiley.com/doi/10.1002/hbm.20658 (visité le 16/06/2023).

[23] Han-Wen GUO et al. « Heart Rate Variability Signal Features for Emotion Recognition by Using Principal Component Analysis and Support Vectors Machine ». In : *2016 IEEE 16th International Conference on Bioinformatics and Bioengineering (BIBE)*. 2016, p. 274-277. DOI : 10.1109/BIBE.2016.40.

[24] Xin HU et al. « Ten challenges for EEG-based affective computing ». en. In : *Brain Science Advances* 5.1 (mars 2019), p. 1-20. ISSN : 2096-5958, 2096-5958. DOI : 10.1177/2096595819896200. URL : http://journals.sagepub.com/doi/10.1177/2096595819896200 (visité le 09/06/2023).
[25] Yuhei IKEDA, Ryota HORIE et Midori SUGAYA. « Estimating Emotion with Biological Information for Robot Interaction ». en. In : *Procedia Computer Science* 112 (2017), p. 1589-1600.
ISSN : 18770509. DOI : 10.1016/j.procs.2017.08.198. URL : https://linkinghub.elsevier.com/retrieve/pii/S1877050917315934 (visité le 19/08/2023).

[26] Sander KOELSTRA et al. « DEAP : A Database for Emotion Analysis ; Using Physiological Signals ». In : *IEEE Transactions on Affective Computing* 3.1 (2012), p. 18-31. DOI : 10.1109/T-AFFC.2011.15.

[27] Laura KUNOLD et Linda ONNASCH. « A Framework to Study and Design Communication with Social Robots ». en. In : *Robotics* 11.6 (nov. 2022), p. 129. ISSN : 2218-6581. DOI : 10.3390/robotics11060129. URL : https://www.mdpi.com/2218-6581/11/6/129 (visité le 19/08/2023).

[28] Carl Georg LANGE et William JAMES, éd. *The emotions, Vol. 1*. The emotions, Vol. 1. Pages : 135. Baltimore, MD, US : Williams & Wilkins Co, 1922. DOI : 10.1037/10735-000.

[29] Elizabeth LEVIN et Jennifer BERNIER. « Attention Span ». In : *Encyclopedia of Child Behavior and Development*. Sous la dir. de Sam GOLDSTEIN et Jack A. NAGLIERI. Springer US, 2011. ISBN : 978-0-387-79061-9. DOI : 10.1007/978-0-387-79061-9_226. URL : https://doi.org/10.1007/978-0-387-79061-9_226.

[30] Martin LOTZE et Leonardo G COHEN. « Volition and imagery in neurorehabilitation ». In : *Cognitive and behavioral neurology* 19.3 (2006), p. 135-140.

[31] Gerald MATTHEWS et al. « Fundamental dimensions of subjective state in performance settings : task engagement, distress, and worry. » In : *Emotion* 2.4 (2002), p. 315.

[32] Timothy MCMAHAN, Ian PARBERRY et Thomas D. PARSONS. « Evaluating Player Task Engagement and Arousal Using Electroencephalography ». en. In : *Procedia Manufacturing* 3 (2015), p. 2303-2310. ISSN : 23519789. DOI : 10.1016/j.promfg.2015.07.376. URL : https://linkinghub.elsevier.com/retrieve/pii/S2351978915003777 (visité le 19/08/2023).

[33] Albert MEHRABIAN. « Comparison of the PAD and PANAS as models for describing emotions and for differentiating anxiety from depression ». en. In : *Journal of Psychopathology and Behavioral Assessment* 19.4 (déc. 1997), p. 331-357. ISSN : 0882-2689, 1573-3505. DOI : 10.1007/BF02229025. URL : http://link.springer.com/10.1007/BF02229025 (visité le 19/08/2023).

[34] J. K. NUAMAH et Younho SEONG. « Support vector machine (SVM) classification of cognitive tasks based on electroencephalography (EEG) engagement index ». en. In : *Brain-Computer Interfaces* 5.1 (jan. 2018), p. 1-12. ISSN : 2326-263X, 2326-2621. DOI : 10.1080/2326263X.2017.1338012. URL : https://www.tandfonline.com/doi/full/10.1080/2326263X.2017.1338012 (visité le 05/06/2023).

[35] Robert PLUTCHIK. « The Nature of Emotions : Human emotions have deep evolutionary roots, a fact that may explain their complexity and provide tools for clinical practice ». en. In : *American Scientist* (2001).

[36] Bartolome DS POPE AT Bogart EH. « Biocybernetic system evaluates indices of operator engagement in automated task ». In : *Biol Psychol* 40.(1-2) (1995), p. 187-195.

[37] Gabriele POZZATO, Stefano MICHIELETTO et Emanuele MENEGATTI. « Towards smart robots : rock-paper-scissors gaming versus human players ». en. In :().
[38] Sébastien RIMBERT et al. « Grasp’it : une interface cerveau-ordinateur pour l’amélioration de l’apprentissage d’une tâche d’imagination motrice kinesthésique Grasp’it : a brain-computer interface for improving the kinesthetic motor imagery learning ». en. In : 2017.

[39] James A RUSSELL. « Affective Space is Bipolar ». en. In : (1979).

[40] James A. RUSSELL. « A circumplex model of affect. » en. In : *Journal of Personality and Social Psychology* 39.6 (déc. 1980), p. 1161-1178. ISSN : 1939-1315, 0022-3514. DOI : 10.1037/h0077714. URL : http://doi.apa.org/getdoi.cfm?doi=10.1037/h0077714 (visité le 17/08/2023).

[41] Maha SALEM et al. « Would You Trust a (Faulty) Robot? : Effects of Error, Task Type and Personality on Human-Robot Cooperation and Trust ». en. In : *Proceedings of the Tenth Annual ACM/IEEE International Conference on Human-Robot Interaction*. Portland Oregon USA : ACM, mars 2015, p. 141-148. ISBN : 978-1-4503-2883-8. DOI : 10.1145/2696454.2696497. URL : https://dl.acm.org/doi/10.1145/2696454.2696497 (visité le 09/06/2023).

[42] Stanley SCHACHTER, A FD et Jerome E SINGER. « COGNITIVE, SOCIAL, AND PHYSIO-LOGICAL DETERMINANTS OF EMOTIONAL STATE ». en. In : (1962).

[43] Francesco SEMERARO et al. « Physiological Wireless Sensor Network for the Detection of Human Moods to Enhance Human-Robot Interaction ». en. In : *Ambient Assisted Living*. Sous la dir. d’Alessandro LEONE et al. T. 544. Series Title : Lecture Notes in Electrical Engineering. Cham : Springer International Publishing, 2019, p. 361-376. ISBN : 978-3-030-05920-0 978-3-030-05921-7. DOI : 10.1007/978-3-030-05921-7_30. URL : http://link.springer.com/10.1007/978-3-030-05921-7_30 (visité le 19/08/2023).

[44] Elaine SHORT et al. « No fair!! an interaction with a cheating robot ». In : *2010 5th ACM/IEEE International Conference on Human-Robot Interaction (HRI)*. IEEE. 2010, p. 219-226.

[45] Lin SHU et al. « A Review of Emotion Recognition Using Physiological Signals ». en. In : *Sensors* 18.7 (juin 2018), p. 2074. ISSN : 1424-8220. DOI : 10.3390/s18072074. URL : http://www.mdpi.com/1424-8220/18/7/2074 (visité le 19/08/2023).

[46] Martin SPÜLER et Christian NIETHAMMER. « Error-related potentials during continuous feedback : using EEG to detect errors of different type and severity ». en. In : *Frontiers in Human Neuroscience* 9 (mars 2015). ISSN : 1662-5161. DOI : 10.3389/fnhum.2015.00155. URL : http://www.frontiersin.org/Human_Neuroscience/10.3389/fnhum.2015.00155/abstract (visité le 09/06/2023).

[47] Kenneth C SQUIRES et al. « The effect of stimulus sequence on the waveform of the cortical event-related potential ». In : *Science* 193.4258 (1976), p. 1142-1146.

[48] María Teresa VALDERAS et al. « Human emotion recognition using heart rate variability analysis with spectral bands based on respiration ». In : *2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)*. 2015, p. 6134-6137. DOI : 10.1109/EMBC.2015.7319792.

[49] Gaetano VALENZA et al. « Revealing real-time emotional responses : a personalized assessment based on heartbeat dynamics ». In : *Scientific reports* 4.1 (2014), p. 4998.

[50] Franck VIDAL, Boris BURLE et Thierry HASBROUCQ. « On the Comparison Between the Nc/CRN and the Ne/ERN ». In : *Frontiers in Human Neuroscience* 15 (2022). ISSN : 1662-5161. URL : https://www.frontiersin.org/articles/10.3389/fnhum.2021.788167 (visité le 07/06/2023).
[51] C WIRTH et al. « Towards error categorisation in BCI ». en. In : *Journal of Neural Engineering*
17.1 (fév. 2020). ISSN : 1741-2560, 1741-2552. DOI : 10.1088/1741-2552/ab53fe. URL : https :
//iopscience.iop.org/article/10.1088/1741-2552/ab53fe (visité le 09/06/2023).

[52] Liang-Chih YU et al. « Building Chinese Affective Resources in Valence-Arousal Dimensions ». In : juin 2016. DOI : 10.18653/v1/N16-1066.