DOI: 10.82270/convers/v2
title: convers
title: convers

description: Nous présentons un nouveau
paradigme pour les neurosciences sociales qui compare une interaction sociale
humaine (interaction humain-humain, HHI) à une interaction avec un robot
conversationnel (interaction humain-robot, HRI) pendant l'imagerie par résonance
magnétique fonctionnelle (IRMf). Nous avons enregistré des blocs d'une minute
de discussion bidirectionnelle en direct entre un participant dans un scanner
et un autre humain (confédéré) ou un robot qui se trouvait à l'extérieur du
scanner. Une page de présentation fournit le sujet de la discussion tout en
cachant aux participants les objectifs réels de l'expérience.  Pour ce faire, nous avons recueilli des
données multimodales incluant le comportement (discours du participant et de
l'agent humain ou robot, capture vidéo de l'agent humain et robot, et le
mouvement du regard du participant scanné) et la physiologie (signal BOLD,
respiration et flux sanguin périphérique) pour former un corpus. Les données
vocales transcrites (fichiers .textGrid) peuvent être trouvées ici (l'ensemble
de données sera mis à jour au fur et à mesure de la transcription).

La configuration audio de l'IRMf
a permis une discussion en direct entre le participant scanné et l'agent
(humain ou robot) à l'extérieur du scanner, malgré le bruit du scanner IRM.
Ceci a été réalisé grâce à un microphone actif compatible MR à réduction de
bruit (FORMI-III+ de l'optoacoustique monté sur la bobine de tête) et à des
écouteurs à inserts de Sensimetrics. 

Les enregistrements de l'IRM
consistaient en quatre sessions de six blocs de conversation d'une minute
chacun, montrant des fruits et des légumes anthropomorphisés en
"super-héros" ou images " décomposées". Nous avons
enregistré 3 minutes de conversation par AGENT INTERACTEUR (humain ou robot) et
session, pour un total de 24 minutes de conversation par participant. 
description: We present a novel paradigm for social neuroscience comparing a human social interaction (human-human interaction, HHI) to an interaction with a conversational robot (human-robot interaction, HRI) during functional magnetic resonance imaging (fMRI). We recorded 1-minute blocks of live bidirectional discussion between a participant in scanner and another human (confederate) or a robot agent outside the scanner. A cover story provides the topic of the discussion while hiding to participants the true objectives of the experiment.  To this end, we collected multimodal data including behaviour (speech from the participant and human or robot agent, video capture of the human and robot agent, and the gaze movement of the scanned participant) and physiology (BOLD signal, respiration and peripheral blood flow pulse) to form a corpus. Transcribed speech data (.textGrid files) can be found here (the dataset will be updatet as transcription is ongoing)The audio set-up for fMRI allowed live discussion between the scanned participant and the agent (human or robot) outside of the scanner, despite MRI  scanner noise. This was achieved with an active noise-cancelling MR compatible microphone (FORMI-III+ from optoacoustics mounted on the head coil) and insert-earphones from Sensimetrics. The MRI recordings consisted of four sessions of each six 1-minute blocks of conversation each, showing anthropomorphized fruits and vegetables as “super-heroes” or “rotten” images. We recorded 3 minutes of conversation per interacting agent (human or robot) and session, for a total of 24 minutes of conversation per participant.