# Interactions multimodales par écran : une remise en contexte du colloque IMPEC 2020 sur les sensorialités

## Multimodal screen-based interactions: A re-contextualisation of the IMPEC 2020 conference on sensorialities

Isabel Colón de Carvajal

Laboratoire ICAR, École normale supérieure de Lyon, France

### 1 Le groupe IMPEC, un bref historique

Le groupe de recherche IMPEC (pour Interactions Multimodales Par ECran) mène des recherches sur les interactions par écrans. Il a émergé en 2013-2014, au laboratoire ICAR (UMR 5191, CNRS, ENS de Lyon, Université Lyon 2), sous l'impulsion de Christine Develotte, professeure à l'ENS de Lyon, à l'occasion de la première édition du colloque international IMPEC qui réunissait des membres de l'unité en s'intéressant aux interactions multimodales par écran, quelles que soient leur nature.

En partant d'ancrages disciplinaires différents, principalement des sciences du langage, des sciences cognitives et des sciences de l'information et de la communication, le groupe IMPEC étudie ainsi des situations d'interactions variées : i) soit à partir de paradigmes analytiques traditionnels (analyse du discours, analyse conversationnelle, linguistique interactionnelle) en les « mettant à l'épreuve » dans ces « situations écraniques » particulières ; ii) soit à partir d'une démarche de phénoménologie concrète, en étudiant le vécu qui accompagne ces situations chez les sujets qui les vivent.

Quelles que soient les analyses déployées, les membres du groupe IMPEC s'appuient toujours sur les productions langagières au sens très large des personnes qui vivent des « expériences écraniques ». Ainsi, ils fondent leurs résultats sur ce qui se vit : i) les « usages » (Jouët, 1993) étudiés à partir des comportements observables (captures d'écran dynamiques, enregistrements vidéo, etc.), et ii) les verbalisations ou d'autres types d'actions des utilisateurs (pendant ou après la séquence étudiée).

Plus largement, les membres du groupe IMPEC considèrent divers types de situations qui peuvent être individuelles (téléphone, jeux vidéo, etc.) ou collectives (en co-présence avec des écrans ou à distance : conférence, webinaire, jeux en réseaux, visites muséales). Ces situations peuvent se situer en milieu professionnel, avec des écrans « classiques » ou spécifiques (écrans de contrôle), ou en milieu privé. Elles peuvent concerner un public *lambda* ou particulier (enfants, jeunes adultes, personnes âgées). Elles sont le plus souvent multimodales au sens large : différents canaux de perception et d'interaction, multimodalité de la communication entre les personnes (verbal, paraverbal et non verbal) et multimodalité des contenus et informations (texte, audio, image fixe et mobile) présents sur les écrans.

Le groupe IMPEC organise ainsi depuis 2014 un colloque international bisannuel, qui permet de réunir différents chercheurs d'horizons disciplinaires différentes, depuis les sciences du langage jusqu'à la philosophie, en passant par la sociologie, la psychologie, les sciences de l'information et de la communication, la géographie, l'informatique ou encore les sciences politiques. **Lors de sa première édition en 2014**, nous avons choisi d'ouvrir la thématique des *Interactions Multimodales Par ECran* au sens large afin de faire connaitre cet événement d'une part et de pallier le déficit d'occasions de débats scientifiques centrés sur les pratiques socio-relationnelles de la vie quotidienne d'autre part. Il prenait date du fait que de nouvelles approches apparaissaient, davantage centrées sur l'écran que sur la technologie au sens large (Lancien, 2011). De façon récente, le paysage des communications numériques s'était en effet transformé et diversifié : c'est au travers de multiples écrans aux formats variés (téléphone mobile, tablette numérique, ordinateur, téléviseur) que s'effectuaient des interactions de plus en plus multimodales. L'écran pouvait aussi être un focus du regard du locuteur (en particulier dans des situations de travail en régie ou de vidéo-surveillance) donnant ainsi lieu à des interactions complexes par et sur l'écran. **L'édition 2016** a été quant à elle structurée autour de la thématique centrale de la présence. Nos réflexions se sont focalisées sur la présence comme concept(s) et comme pratique(s) par, via et avec les écrans. C'est à partir de cet angle d'attaque qu'ont été appréhendées les questions relatives aux communications avec les écrans concernant les modes de présences : à soi, aux autres, au monde (Weissberg, 1999), co-présence, présentification (ou instanciation) de la présence (Merzeau, 2010) – par exemple avec les avatars – construction de la présence, surprésence ou hyperprésence des écrans, interactions hyperpersonnelles (Walther, 1996), etc. Enfin, **pour l'édition 2018**, le colloque IMPEC s'est centré sur les *relations entre corps et écrans*. Les innovations constantes dans le domaine du numérique ont amené en effet à configurer les relations corps et écrans de façon nouvelle qu'il s'agisse de situations de jeux, de travail, de communication.

En parallèle des colloques bisannuels, le groupe IMPEC anime un séminaire mensuel, initialement créé et dirigé par Christine Develotte depuis 2013. Il s'agit d'un séminaire aujourd'hui hybride, inter-laboratoire et multi-sites. Dans la même cohérence scientifique que le colloque international, le séminaire IMPEC accueille des chercheurs de différentes disciplines. Le séminaire IMPEC se présente comme un lieu de débats épistémologiques et méthodologiques. Partie
prenante des positions revendiquées par le récent champ des « Humanités numériques » (Mounier, dir., 2012), il cherche à promouvoir de nouvelles approches prenant davantage en compte les spécificités des interactions multimodales par écran. Ces nouveaux outils conceptuels et méthodologiques peuvent être issus de transferts de diverses disciplines ou bien être générés par le biais de relectures d'auteurs classiquement convoqués dans l'analyse des interactions.

Depuis 2021, le séminaire IMPEC dans sa nouvelle formule est porté par les Laboratoires ICAR de Lyon (Christine Develotte, Joséphine Rémon, Jean-François Grassin), ELICO de Lyon (Mabrouka El Hachani), LEST de Aix-Marseille (Caroline Vincent), LPL de Aix-Marseille (Christelle Combe), le groupe COACT de Oulu, Finlande (Samira Ibnelkaïd). L'ensemble des éditions des différents colloques bisannuels ainsi que des séminaires mensuels est accessible sur le site internet du groupe IMPEC : https://impec.sciencesconf.org/

## 2 Les sensorialités au cœur de la thématique d'IMPEC 2020

Dans la lignée du colloque 2018 qui avait examiné les relations entre corps et écrans, le colloque IMPEC 2020 qui a eu lieu du 1 au 3 juillet 2020, à l'École normale supérieure de Lyon, a porté sur le thème des sensorialités. En effet, la question du sensible, en tant que ce qui peut être perçu par les sens, en relation avec les écrans, est au cœur de l'étude des expériences écraniques que le groupe IMPEC se donne comme premier objet d'investigation, qu'il s'agisse de situations de jeux, de travail, ou de tout autre situation de communication. Ces nouvelles relations ont été étudiées à partir des sous-thèmes suivants :

* Quel rôle jouent les cinq sens dans les interactions par/avec/dans les écrans ?

Classiquement, du point de vue de la physiologie occidentale, il est admis que les êtres humains possèdent cinq sens correspondant aux récepteurs de la perception. Il existe aussi de nombreux autres travaux qui montrent que la sensorialité peut se donner sous une forme plus globale dans laquelle la distinction entre les sens n'est pas une évidence.

Dans les interactions par écran, quels sont les sens sollicités de façon préférentielle ? Comment les perceptions sensorielles "minoritaires" (olfaction, goût) sont-elles remplacées ou compensées ? Quel est le statut particulier du toucher - puisque de nombreuses interfaces permettent d'agir sur l'application en touchant l'écran ? Dans ce contexte, existe-t-il des situations inédites de multisensorialités, de trans-sensorialités ? Si oui, comment se manifestent celles-ci ? En quoi les interactions par écran permettent-elles de repenser la perception et les frontières, la combinaison, ou les relations entre les sens ?

* Vers des sensorialités écraniques ?

Les écrans (tablettes, smartphones, ordinateurs, etc.) s'appuient majoritairement sur la vue et l'audition – les deux sens que la culture occidentale a traditionnellement privilégiés – en laissant de côté l'olfaction et le goût. Quant au toucher, pourvu du statut particulier d'être le seul sens entrainant une réciprocité immédiate (toucher implique être touché.e), il a (re)trouvé une place centrale, grâce à son lien avec l'œil, dans les interactions par écran, qui toutefois semblent mettre à l'épreuve son statut de réciprocité immédiate. Quelle est la portée de ces modifications sur les interactions et les échanges écraniques, et plus généralement sur notre expérience sensorielle ? S'agit-il d'une transformation remarquable dans la traditionnelle hiérarchisation occidentale des sens ? Peut-on y observer une nouvelle forme de « désincarnation » ? Ou au contraire atteste-t-on de nouvelles formes d'inclusion de nos sens proximaux (sens impliquant une cible proche du récepteur sensoriel, comme le toucher, l'olfaction et le goût) par rapport aux sens distaux (comme la vue et l'audition) ? Si oui, dans quels contextes ?

Plus largement, dans les interactions par écran, peut-on identifier des formes préférentielles de sensorialité proposées aux sujets ? Les interactions à distance (comme la télé-présence) sont-elles le lieu de sensorialités augmentées ? dégradées ? sur-stimulantes (trop d'informations) ? Quels sont les impacts sur les ressentis des sujets ? L'internalisation récente des écrans (à comprendre comme la croissante utilisation de certains organes de notre corps comme des écrans connectés à des dispositifs numériques) offre-t-elle de nouvelles possibilités d'interaction qui reconfigurent les sensorialités du fait de leur médiation ?

* Comment les "sensorialités écraniques" sont-elles mobilisées et investies dans des interactions aux enjeux spécifiques ?

Le thème des sensorialités dans les interactions par écran constitue un accès privilégié pour interroger l'accès au numérique des personnes engagées dans les interactions.

En particulier, en quoi les interactions par écran peuvent-elles être une occasion de questionner le handicap, notamment sensoriel ? Quel est le rôle joué par exemple par la suppléance perceptive ? Quelle éducation sensorielle peut-on envisager dans ce contexte ?

Le thème des sensorialités peut également poser des questions spécifiques selon les générations. Comment intégrer la dimension générationnelle et transgénérationnelle à ces réflexions et travaux ?

Par ailleurs, dans des situations interculturelles, en quoi l'étude des sensorialités écraniques peut-elle permettre de questionner les normes et les codes sociaux ? Par exemple, dans quelle mesure les habitudes de regards dans le champ ou hors champ de la webcaméra, ou l'utilisation d'émoticônes sont-elles (ou non) différentes selon les cultures ? Ces pratiques sont-elles modifiées ou renforcées selon les contextes écraniques ?
## Quelles méthodologies mobiliser pour l'étude des relations entre sensorialités et écrans ?

Les méthodologies mises en œuvre pour l'étude des relations entre sensorialités et écrans nécessitent d'être questionnées. Par exemple, quel dispositif utiliser pour attester et capter la dimension sensorielle dans les interactions par écran ? Comment rendre compte de cette dimension dans le traitement des données et à partir de quels indices ? Et ensuite dans les analyses, comment la restituer ?

Les soumissions à IMPEC 2020 ont ainsi offert une réflexion ou un retour d'expérience sur le métissage de cadres méthodologiques et des propositions innovantes de méthodologies.

# 3 Présentation des 9 articles retenus pour les actes d'IMPEC 2020

C'est à partir de ces sous-thèmes autour des sensorialités que nous avons ainsi réuni 9 articles issus du colloque IMPEC 2020. Ces 9 papiers ont été relus et évalués en double aveugle par des experts du domaine, membres du comité scientifique d'IMPEC 2020. Nous allons présenter brièvement ces 9 contributions, que nous avons organisé en 3 parties : 1) écrans tactiles – contact – toucher ; 2) avatars – réalité virtuelle – contexte pédagogique ; et 3) visualité écranique – média social – ressources textuelles et visuelles.

## 3.1 Partie 1 : écrans tactiles – contact – toucher

Dans une première partie, nous réunissons trois articles qui abordent le lien entre sensorialité et écran à travers les notions de gestualité, de contact et de toucher de l'interface sur des écrans tactiles dans différents contextes.

Tout d'abord, **E. Acerra** questionne des œuvres littéraires numériques contemporaines qui programment l'intervention de « l'interlecteur » sur l'écran comme une « condition d'actualisation du texte et du sens ». Elle analyse les manipulations de l'écran, notamment les gestes et les actions des « interlecteurs » en tant que « manifestation d'un parcours interprétatif ». Pour mener à bien son étude, elle a recueilli des données auprès d'un groupe d'enfants d'école primaire qu'elle a confronté à un échantillon d'œuvres littéraires numériques conçues pour écran tactile.

Ensuite, **I. Garmon** s'intéresse quant à elle à la micro-action du « coup de doigt sur l'écran », c'est-à-dire comme elle le définit « au moment où l'usager manipule du bout du doigt l'interface ». Elle observe ainsi les « manières dont ce doit est digitalisé, traité par l'écran ». Elle interroge « le tactile à la fois comme processus technique, informatique ; humain, sémiotique et anthropologique ». Pour cela, elle rend compte dans une premier temps d'une expérience réalisée avec l'écran d'un smartphone qui réagit au contact d'un bout de viande, puis elle questionne les discours sur la notion de prothèse qui font encore débat aujourd'hui.

Enfin, **G. Giroud** cherche, dans une perspective phénoménologique, à « montrer l'importance de l'interface dans la compréhension du toucher ». Il décrit pour cela l'interface en y associant les notions de « sousface » (en tant que « couche matérielle de l'ordinateur » et de « surface » (en tant que support « touchable »)). Il met alors en regard le terme de « toucher » par rapport à celui de « contact » afin de préserver une « idée de médiation » dans cette interaction homme/machine.

## 3.2 Partie 2 : avatars – réalité virtuelle – contexte pédagogique

Dans une deuxième partie, nous retrouvons trois articles qui traitent la notion de sensorialité dans les pratiques écraniques d'une part par l'étude du rôle des avatars en contexte de réalité virtuelle ; d'autre part par l'analyse des apprentissages multisensoriels en milieu scolaire.

M. Giroux, J. Barra, C. Graff et M. Guerraz décrivent l'impact de l'avatar dans la kinesthésie. Les auteurs ont en effet utilisé un « paradigme dans lequel le bras gauche du participant était déplacé passivement, en corrélation avec le mouvement des deux bras de l' avatar ». Ils cherchent ainsi à montrer que « les informations visuelles de mouvement provenant de l' avatar peuvent grandement différer des informations naturelles liées au corps propre et néanmoins contribuer à la kinesthésie ».

Ensuite, C. Corvasce, M. Gadille et J. Rémon présentent une analyse d'interactions entre avatars dans une monde virtuel pédagogique en 3D. Deux groupes d'élèves interagissent via des avatars dans un collège virtuel basé sur *Open Simulator* qui est une plateforme utilisée pour le jeu collaboratif en ligne, à partir de scénarios créés par les enseignants. Les auteures conduisent à la fois une étude quantitative et qualitative des données recueillies. Elles cherchent notamment à comprendre comment la sensorialité agit comme vecteur de la construction de sens et de l'apprentissage immersifs dans l'école secondaire virtuelle.

Enfin, A. Fadeev et A. Milyakina croisent à la fois une discussion théorique et une étude de cas pratique à partir de la plateforme d'apprentissage numérique *Education on Screen*. Cette plateforme a pour objectif « de faciliter un dialogue significatif avec l'héritage culturel au moyen de l'apprentissage multimodal et multisensoriel ». Elle comprend trois espaces proposant des textes littéraires estoniens populaires et leurs adaptations cinématographiques. Les auteurs questionnent ainsi « les affordances de l'apprentissage multisensoriel à travers le cadre de la sémiotique de la culture et de la recherche contemporaine en matière d'éducation ».
## 3.3 Partie 3 : visualité écranique – média social – ressources textuelles et visuelles

Dans une troisième et dernière partie, nous proposons trois articles qui approfondissent la question de la sensorialité dans le contexte des médias sociaux et des applications mobiles de rencontre. Ils soulignent tous les trois le rôle essentiel des ressources textuelles et visuelles dans ces interfaces.

N. Guichon mène tout d'abord une étude sur les formes de présentation des étudiants étrangers gays sur l'application de rencontre Grindr et sur leur construction d'une « identité intermédiaire entre leur pays d'origine et leur pays d'accueil ». Pour cela, l'auteur s'appuie à la fois sur des données issues de l'interface de Grindr et sur des entretiens semi-guidés menés auprès d'étudiants internationaux. Il examine notamment les ressources visuelles et textuelles mobilisées par les étudiants pour « mettre au jour quelques-unes des stratégies d'exposition discursive des étudiants et les tensions identitaires que cela peut générer ».

Ensuite, G. Guéraud-Pinet s'intéresse aux vidéos informatives partagées sur les médias sociaux comme par exemple Brut., Konbini, etc. Elle étudie particulièrement la construction « audio-scripto-visuelle » des contenus publiés sur ces médias en ligne, puisque des sous-titrages ou des légendes sont systématiquement associés aux vidéos, permettant ainsi une lecture et une écoute silencieuse. L'auteure cherche ainsi à montrer que « le recours au texte dans ces vidéos provient d'un héritage médiatique ancien » et que « le son semble de plus en plus dispensable à la compréhension des contenus ».

Enfin, N. Pimonova étudie le clip musical en tant qu'objet marginalisé dans les recherches en sciences humaines et sociales. Elle utilise pour cela différents outils dont la plateforme YouTube. En adoptant l'approche de l'analyse du discours, l'auteure montre alors comment la vue et l'audition contribuent aux interactions par écran et « comment la perception audiovisuelle de la musique est formée ». Sa recherche porte ainsi sur l'analyse de clips musicaux et des ressources mobilisées « pour interagir avec le public » comme l'usage des émoticônes, des signes et couleurs, du langage corporel, des emprunts et nouvelles unités lexicales dans le texte des chansons.

## Références

- Jouët Josiane. (1993). Usages et pratiques des nouveaux outils de communication. In L. Sfez (dir.), *Encyclopédie de la communication*, Paris : PUF, p. 371-376.

- Lancien Thierry. (2011). Multiplications des écrans, images et postures spectatorielles. In P. Beylot, M. Le Corff, M. Marie (dir), *Les images en question. Cinéma, télévision, nouvelles images : les voies de la recherche*. Bordeaux : PUB.

- Merzeau Louise. (2010). La présence plutôt que l'identité. *Documentaliste - Sciences de l'Information*, ADBS, n°47 (1), p. 32-33.

- Mounier Pierre (dir.) (2012). *Read/Write Book 2 : Une introduction aux humanités numériques*. Marseille : OpenEdition Press. En ligne : http://books.openedition.org/oep/226

- Walther, Joseph B. (1996). Computer-mediated communication impersonal, interpersonal, and hyperpersonal interaction. *Communication research*, n° 23 (1), p. 3-43.

- Weissberg Jean-Louis. (1999). *Présence à distance. Déplacement virtuel et réseaux numériques*. Paris : L'Harmattan.