DOI: 10.82270/brainkt/v0.1
title: BrainKT

description: BrainKT est un corpus multimodal (audio, video et données neurophysiologiques) d'interactions conversationnelles dyadiques en français.Ce corpus a été constitué dans le but d'étudier les transferts d'information dans la conversation naturelle.Les tâches : Jeu video collaboratif (15min) : désamorçage d'une bombe sur le jeu Keep Talking and Nobody ExplodesConversation naturelle (15min) : résolution d'un dilemme moral puis discussion libreLes participants :56 participants soit 28 dyades     Chaque interaction dure en moyenne 30 min Les deux participants d'une même dyade ne se connaissaient pas avant l'enregistrementLes participants sont francophones natifs ; devaient posséder une vision normale ou corrigée et une vision normale des couleursTous les participants ont signé un consentement éclairéAucun ne connaissait les raisons de l’enregistrement. Cela leur a été expliqué après l'enregistrement. Protocole d’enregistrement :  Enregistrement audio et vidéo en chambre anéchoïque du Centre d'Expérimentation sur la Parole (LPL - Aix- en Provence, France) Les deux participants sont assis en face à face à une distance d'environ 1.4m, séparés par une table sur laquelle est posé du matériel utilisé pendant l'expérienceIls sont équipés d’un micro-casque Deux caméras filment les participants : chaque caméra est positionnée derrière chaque participant pour que les deux soient filmés de faceL'activité cérébrale des participants est enregistrée (BioSemi), ainsi que leur activité physiologique (Empatica E4)Organisation du corpus : Les données alignées des différentes modalités sont mises à disposition :Les vidéos (montées) de l'expérience (MP4)Les enregistrements audio (WAV)Les données d'activité cérébrale alignées (FIF, format utilisé par MNE-Python) et préprocessées par tâche (EDF)Les données d'activité physiologique (JSON)Les transcriptions (transcription automatique réalisée par wav2vec2) (Elan)Des métadonnées (CSV) : marqueurs temporels recueillis dans l'expérience, réponses des participants aux questionnaires comportementauxRemarques : Les données de ce corpus sont actuellement en cours de traitement et d'analyse ; des données additionnelles (annotations...) pourront être mise à disposition plus tard. Le corpus contenant des données identifiantes (audio, vidéo), nous en restreignons pour l'instant l'accès. Les membres de la communauté scientifique souhaitant accéder au corpus peuvent nous contacter pour demander le déblocage des données. L'adhésion à un contrat d'utilisation vous sera demandé ; nous nous réservons le droit de refuser / limiter vos accès à certains types de données selon vos motivations.Les transcriptions corrigées et anonymisées des conversations seront mises à disposition de la communauté dans un futur proche. 
description: BrainKT is a multimodal corpus (audio, video, neurophysiological activity) containing the recordings of dyadic natural interactions in french. The corpus was created with the goal of studying information transfers in natural conversation.Tasks: Collaborative video game (15min): one round of Keep Talking and Nobody ExplodesNatural conversation (15min): moral dilemma and free conversationLes participants :56 participants (28 dyads)Duration: ~30min for each dyadParticipants were not acquainted with one another before the experimentParticipants are french natives; they should not have impaired vision or colorblindnessAll participants signed a consent formParticipants were only told of the research objectives once the experiment was overExperimental procedure:  Audio and video recording were done in the Centre d'Expérimentation sur la Parole (LPL - Aix- en Provence, France) Participants are seated face-to-face and about 1.4m away from one another, separated by a tableParticipants are equipped with a headset for audio recording; Cameras filming the participants were positionned above the other participant's shoulderBrain activity as well as physiological activity were recorded for both participants (BioSemi, Empatica E4)Once the experiment was over, participants filled Corpus organisation: Aligned data (not raw) for each modality are available:Edited experiment videos (MP4)Audio recordings (WAV)Brain activity recordings (FIF, MNE-Python format)Physiological activity (JSON)Automatic transcriptions (wav2vec2) (Elan)Metadata (CSV): timed markers of experimental triggers, participants questionnaire answersNotes: Data for this corpus is currently still being treated and analysed, additional data (annotations, processed EEG) might be made available at a later date. Considering the corpora includes identifying data (audio, video), we are currently restreining access. Members of the scientific community wishing to unlock access to the data can contact us. We will be asking of you to adhere to a user agreement form and reserve the right to grant or deny your request depending on your motivations for requesting the data.The access to corrected and anonymised transcripts will be unlocked short-term.