# Analyse intersémiotique du discours interactif : une démarche méthodologique complexe

## Intersemiotic analysis of interactive speech: a complex methodological approach

Abir Loued¹,ª

¹Enseignant-chercheur, Université de La Manouba, Ecole Supérieure des Sciences et Technologies du Design (ESSTeD), Avenue de l'indépendance, 2011-Den Den, Manouba, Tunisie

**Résumé.** Cet article livre une réflexion sur le processus intersémiotique de l'interface Web de l'œuvre interactive en nous intéressant au potentiel d'expression qui s'ouvre à travers la jonction entre signes verbaux, visuels, sonores et gestuels. Cette intersémiotisation des médias permet d'acquérir un surplus de sens que nous pouvons qualifier de métaphorique et de nouvelles expériences de lecture sur le Web. La méthodologie retenue procède par une double approche : analytique et expérimentale dans la perspective d'appréhender la complexité du design de l'interface web et la compréhension de son interprétation par le *lect-acteur*.

**Abstract.** This article offers a reflection on the intersemiotic process of the Web interface of the interactive artwork by looking at the potential of the expression that appears across the junction between verbal, visual, sound and gestural signs. This intersémiotisation of the média will enable to have an excédent of sens that we can qualify of metaphorical and a new experiences of reading on the Web. The methodology proceeds by dual approach: analytical and experimental in the perspective to apprehend the complexity of design of the web interface and to understanding his interpretation by the *lect-acteur*.

Avec le numérique et grâce au développement des Tic, les supports de lecture et de diffusion de l'information se développent et se multiplient : du codex et du livre imprimé, à l'ordinateur en réseau, aux tablettes, aux Smartphones et autres liseuses numériques. Les modèles économiques d'édition ont alors foisonné à l'heure des expériences interconnectées (Denoual, 2013 [1]) et nous voyons s'ouvrir de nouveaux espaces de création et de diffusion sur le web permettant « des pratiques communicationnelles et artistiques nouvelles, caractérisées précisément par leur nature informatique et par la connexion au réseau » (Di Crosta, 2009 [2]). En effet, de nouvelles formes d'écriture et de pratiques visuelles d'arts et de design voient de plus en plus le jour sur le Net.

Ces nouvelles pratiques émergent, au rythme des inventions logicielles, de la technologie hypertexte, du multimédia interactif, de l'écriture générative et du design interactif. Des créations en ligne fleurissent, qualifiées d'œuvres « numériques », « électroniques » ou encore de «cyberlittérature» (Vuillemin, 1995 [3]). Des œuvresᵇ, dont le mode d'écriture « émerge de l'alliance de l'audiovisuel, de l'informatique et des télécommunications, conjugue au rythme des inventions logicielles l'image, le son et le texte, en promettant des parcours inédits, des rencontres insoupçonnées et une interactivité des plus conviviales » (Château et Darras, 1999 [4]).

En effet, et comme le fait remarquer Bouchardon, l'œuvre interactive permet une cohabitation et une articulation « des ressources médias qui jusque là vivaient une vie séparée et indépendante sur des supports spécialisés : la vidéo sur les cassettes, les photos sur un support argentique, les textes

<footnote>ª Auteur de correspondance : aa.loued@gmail.com</footnote>

<footnote>ᵇ Il s'agit de la poésie numérique, des hyperfictions littéraires, des récits vidéo – ludiques, des ateliers d'écriture en ligne, du cinéma interactif, des web documentaires et notamment des récits interactifs.</footnote>
sur le papier, etc.» (Bouchardon, 2009 [5]). Or cette cohabitation des médias sur le web installe l'utilisateur, selon les mots de Bréandon et Renucci, dans un espace « manipulable », « polymorphe » et « polysémique » (Breandon et Renucci, 2011[6]).

En admettant que l'interface web repose sur un design *polysémique*, mouvant et doté de comportement qui permet l'intervention effective du « *lect-acteur* » (Barboza & Weissberg, 2006 [7]), comment se révèle le processus analytique et interprétatif de l'œuvre interactive sur le web ? Comment et de quelle manière l'agencement des médias est-il exploité à l'interface web de l'œuvre interactive ? Et comment cette corrélation de plusieurs médias sur le web font-ils signe et sens ?

Ces questions s'avèrent plus complexes en interrogeant, en même temps, le geste de manipulation de l'interface web et sa perception de la part de *lect-acteur*: son intervention effective renforce-t-elle la construction du sens sur le web? Existe-t-il des systèmes et des mécanismes interprétatifs lorsque le *lect-acteur* manipule l'interface web ?

Avec la perspective de pouvoir – à terme – réfléchir sur ces questions problématiques, nous interrogeons, dans le présent article, le processus intersémiotique de l'interfaces web de l'œuvre interactive et notamment celle du récit littéraire interactif.<fnref n="6" />

Contrairement, par exemple, au jeu vidéo qui se définit comme un genre spécifique à la narration vidéo-ludique – dont l’objectif est l’identification de joueur à un univers de jeux (Calcagno-Tristant, 2009 [8]) – le récit littéraire interactif propose au *lect-acteur* de différentes expériences de lecture qui se basent sur les aspects dynamiques et graphiques du texte numérique. Ce qui rend *le récit littéraire interactif* un objet de recherche complexe à étudier.

Plus qu'une création numérique associant différents médias, le récit littéraire interactif sur le web se présente, particulièrement, comme une œuvre fondée sur *l'intersémiotisation des médias* permettant d'acquérir un surplus de sens que nous pouvons qualifier de métaphorique et de nouvelles expériences de lecture sur le Web.

Afin de s'adapter à cette problématique complexe, la méthodologie retenue procède par une première approche analytique qui permet l'étude d'un corpus de récits littéraires interactifs en nous intéressant au potentiel d'expression qui s'ouvre à travers la jonction entre signes verbaux, visuels, sonores et gestuels à son interface graphique. Nous essayerons de montrer comment un sens métaphorique qui crée entre le contenu de l'interface web et son contenant (sa forme, sa couleur, son animation, etc.) lors de l'intervention effective du *lect-acteur*.

Pour objectiver cette étude analytique, nous engagerons une deuxième approche expérimentale qui se base sur une expérimentation d'oculométrie<fnref n="6" />. Celle-ci nous permettra d'étudier les fonctionnalités du système *Eye-Tracking* (« suivi du regard »), en analysant les différents parcours de la lecture de récit littéraire interactif et de mesurer le degré de participation du *lect-acteur* dans la construction du sens métaphorique sur l'interface web. Nous choisissons d'analyser, dans cet article, deux exemples de récits littéraires interactifs: « *Days in a day* » (Calvez, 2000 [9]) et « *Déprise* » (Bouchardon & Volckaert, 2010 [10]), lesquels récits exploitent simultanément les caractéristiques dynamiques et graphiques du texte numérique.

# 1 La métaphore intersémiotique appliquée à l'œuvre « Days in a Day »

Dans l'œuvre interactive « *Days in a day*» (op. cit. [9]), Calvez nous propose un récit interactif associant narration et technologie afin de mettre en œuvre de nouvelles écritures narratives, expérimentales et hybrides sur le web. Cette œuvre se compose de seize chapitres qui invitent à

<footnote n="6">⁶ Nous entendons par « récit littéraire interactif » une œuvre accessible sur le web qui suppose la présence d'une succession d'événements constituant une narration et la présence d'une forme de programmation informatique avec des interventions effectives du « *lect-acteur* ».</footnote>

<footnote>Nous avons commencé à réaliser cette expérimentation dans le cadre d'un stage d'étude effectué (en juin-juillet 2014) au sein du laboratoire de recherche I3M (Information, Milieux, Médias, Médiations) et l'UFR Ingémédia à l'Université du Sud Toulon. Il s'agit, en fait, d'une étude quantitative, basée sur la technique d'« *EyeTracking* », qui permet d'enregistrer et de mesurer les mouvements oculaires du parcours du regard de l'utilisateur de l'interface web.</footnote>
découvrir la journée de *Mr Brown* dans l'univers solitaire et schizophrénique de la grande ville *X-City*. Chaque chapitre représente une interface qui nécessite une exploration de la part de *lect-acteur*. Ajoutant un aspect ludique et participatif à l'œuvre, ces chapitres sont identifiés par des heures de la journée qui indiquent la trajectoire de navigation sur la carte de la ville fictive *X City* (voir la **Figure 1**).

<figure><img src="image_1.png" /><figcaption>**Figure 1.** Capture d'écran : l'interface graphique de l'œuvre interactive « Days in a Day ».</figcaption></figure>

En accédant au chapitre « *fourmis* » accordé à « 1.55 pm », l'interface graphique dénote l'association de six fourmis dans une fourmilière comme l'illustre la **Figure 2**. Si le *lect-acteur* choisit, par exemple, de survoler l'image de la fourmi située à droite, apparaissent, alors, trois éléments textuels sur la surface graphique; « *Mr Brown* », « + 9,490 Days » et « *Male BETR* » accompagnés d'un Pib sonore.

En choisissant de survoler d'autres images, des fragments textuels apparaissent, désignant, successivement, les noms des habitants d' *X-City*, leur sexe et le nombre de jours qu'ils ont vécus dans cette cité. Il faut, pourtant se demander comment la corrélation de différents médias (texte, image et son) dans cette œuvre, peut déjà constituer une métaphore ?

En nous référant à Fontanier, nous définissons la métaphore comme un « *trope par ressemblance* », qui se définit aussi comme « *comparaison elliptique* » (Fontanier, 1977 [11]). Dés lors, l'actualisation des éléments textuels et sonores dans l'image met en œuvre, au survol de la souris, des comparaisons qui permettent d'associer les habitants du *X-City* aux fourmis stéréotypées dans leur fourmilière. Les comparants sont, donc, les fourmis et les comparés sont ; « *Mr Brown* » et les habitants de *X-City*. Ces comparaisons sont en fait, des métaphores puisqu'il n'y a pas de termes comparatifs explicites.

Dans ce chapitre, le texte, le son et l'image entrent relativement dans des relations signifiantes qui donnent un surplus de sens au contenu du récit. Face à la complexité du monde moderne dans lequel nous vivons et à une réalité qui invite à une réévaluation des valeurs et des concepts stéréotypés, figés et standardisés, le tableau « *fourmis* » semble refléter le sentiment de refus et de rébellion de *Mr Brown* envers une société mécanisée semblable à celle des fourmis où toute initiative, toute vie individuelle sont bannies. C'est peut être le point de vue de *Mr Brown* sur sa vie schizophrénique que le *lect-acteur* est invité à partager dans ce récit.

En effet, l'image, le texte et le son se trouvent synchronisés, dans le tableau « *fourmis* », de façon prescriptive par l'intervention du *lect-acteur*. La synchronisation de ces trois formes permet, donc, d'acquérir un surplus de sens que nous pouvons qualifier de métaphorique. Nous avançons, par conséquent, le terme « *métaphore intersémiotique* » lorsqu'il s'agit de décrire le phénomène de sens où l'actualisation de plusieurs formes sémiotiques influe de façon significative sur le contenu de l'œuvre interactive.
<figure><img src="image_2.png" /><figcaption>**Figure 2.** Capture d'écran : l'actualisation de la métaphore intersémiotique au survol de la souris dans le tableau « Fourmis ».</figcaption></figure>

## 2 La métaphore intersémiotique appliquée à l'œuvre « Déprise »

Dans la deuxième scène de l'œuvre interactive « Déprise » (Bouchardon & Volckaert, 2010 [10]), le personnage principal du récit se trouve en pleine déprise devant une femme « qui paraissait si parfaite » (ibid. [10]) en face de lui. Un fragment textuel s'affiche et annonce que le personnage principal doit, certainement, poser des questions pour pouvoir connaître la jeune femme. Effectivement, en manipulant la souris, des fragments textuels, sous forme de questions, surgissent sur l'écran : « Où allez-vous ? » « Qui êtes-vous ? », « D'où venez-vous ? », « Que dites-vous ? », etc. (ibid. [10])

Comme le montre la **Figure 3**, lors d'une manipulation de la souris, la mise en forme des fragments textuels change, les mots se répètent et se superposent afin de mettre à jour le portrait de la jeune femme (voir la **Figure 4**). En effet, la dimension graphique et sémantique entre dans des relations signifiantes qui donnent un nouveau sens supplémentaire au texte au service du récit. C'est une « métaphore intersémiotique » mise en œuvre dans la deuxième scène de l'œuvre « Déprise », dans le sens où la richesse du texte en matière graphique et la commutation des lettres et des mots à chaque manipulation de la souris, permettent de renforcer le sens du texte et le dotent d'un sens supplémentaire.

<figure><img src="image_3.png" /><figcaption>**Figure 3.** Capture d'écran et recadrage d'image, « Déprise » : la commutation des lettres et des mots.</figcaption></figure>
<figure><img src="image_4.png" /><figcaption>**Figure 4.** Capture d'écran : la construction du portrait de la jeune femme au survol de la souris, « Déprise » (étape 2).</figcaption></figure>

L'étude analytique de ces deux œuvres nous a permis de démontrer que la métaphore appliquée aux récits littéraires interactifs dépasse sa signification linguistique classique et recouvre des caractéristiques intersémiotiques du texte numérique. En effet, la synchronisation du texte avec le son et l'image dans l'œuvre « Days in a day » et la corrélation entre l'image et les fragments textuels dans la deuxième scène de l'œuvre « Déprise » permettent d'acquérir, au survol de la souris, un surplus de sens qui influe de façon significative sur le contenu du récit. Nous soulignons, en ce sens, que la métaphore intersémiotique ne peut pas se concrétiser que suite à l'intervention effective du lecteur.

Nous interrogeons, par conséquent, le geste de manipulation de l'interface web et sa perception de la part de *lect-acteur* : Comment celui-ci interagit-il avec les éléments de contenu de l'interface web afin de recevoir le message conçu par l'auteur ? Comment construit-il son parcours de lecture ? Et à quel point son intervention effective renforce t-elle la construction du sens sur le web ?

Afin de trouver quelques éléments de réponses à ces questions problématiques, nous essayons de rallier nos études analytiques à une étude expérimentale en nous initiant aux techniques d'enregistrement oculométrique.

## 3 Approche expérimentale

Le travail expérimental consiste à commencer par une étude quantitative, basée sur la technique de l'« *Eye Tracking* ». Comme le montre la **Figure 5**, le dispositif oculométrique comprend le logiciel *Facelab* couplé au logiciel *GazeTracker* et deux caméras infra-rouges qui permettent d'enregistrer et de mesurer les parcours du regard de *lect-acteur* à l'interface web.

Nous choisissons un groupe expérimental d'un panel de quinze étudiants<sup>e</sup> issus d'une même classe d'âge, ayant la même formation universitaire avec un profil socioculturel semblable. En préparant le protocole expérimental, nous cherchons à comprendre, grâce à l'oculométrie, la manière dont chaque participant construit son chemin de la lecture en manipulant librement l'interface web du récit littéraire interactif « *Days in a day* » (Calvez, 2000 [9]).

<footnote><sup>e</sup> Il s'agit d'étudiants qui poursuivent leurs études en « info-com », à l'UFR Ingémédia-Université de Toulon.</footnote>
<figure><img src="image_5.png" /><figcaption>**Figure 5.** Le dispositif oculométrique acquis par le laboratoire I3M/ UFR Ingémédia, Université de Toulon.</figcaption></figure>

Comme le montre la **Figure 6**, l'interface du logiciel *FaceLab 5* révèle quatre univers qui permettent l'enregistrement de différents types de données tel que : le parcours du regard – qui permet de mesurer les variations oculaires des parcours de la lecture sur l'écran – et les points de fixation qui indiquent les zones de focalisation visuelle et le temps de fixation du regard de chaque participant. Les différents mouvements oculaires sont, en effet, numérisés et représentés graphiquement sur un *scanpath* (carte du regard) sous *GazeTracker* (voir la **Figure 7**). Les données oculaires sont, en fait, des indicateurs pertinents permettant de désigner la manière dont chaque participant construit le chemin de sa lecture.

Les premiers résultats nous ont permis d'observer que l'expérience de lecture se définit par un parcours, une vitesse et un sens de déplacement oculaire différent pour chaque participant. Les tests expérimentaux montrent que la plupart des participants commencent par balayer du regard l'ensemble de l'interface web avant d'interagir avec l'ensemble de contenu du récit. Le nombre de fixations de regard (entre 25 et 57 par interface) indique, en effet, les degrés de l'intervention de chaque participant sur les éléments de contenu de l'interface web.

Afin d'appuyer ces observations, une auto-confrontation et un questionnaire réalisés avec chaque participant nous ont permis d'explicitier les démarches adoptées pour son expérience de lecture, ainsi que sa participation dans la construction du sens métaphorique à l'interface web du récit littéraire interactif.

<figure><img src="image_6.png" /><figcaption>**Figure 6.** Capture d'écran: les quatre univers de *FaceLab*.</figcaption></figure>
<figure><img src="image_7.png" /><figcaption>**Figure 7.** Captures d'écran : cartes du regard (*Scanpath*) sous *GazTracker* de l'interface web de l'œuvre « *Days in a day* ».</figcaption></figure>

## 4 Pour conclure

Nous pouvons souligner que la création interactive sur le web est un champs en perpétuel mouvance qui nous permet de dépasser l'idée de la littérature considérée uniquement comme l'usage esthétique du langage écrit, elle invite, plutôt, à nous interroger sur une nouvelle rhétorique étroitement, liée à l'esthétique de l'interface Web et à l'intervention effective du *lect-acteur*.

L'approche analytique et expérimentale nous a permis, en effet, d'étudier le processus intersémiotique de l'œuvre interactive sur le Web et d'appréhender la complexité de l'écriture interactive sur le web. L'œuvre interactive ne se contente pas, uniquement, de proposer aux internautes un dispositif interactif à explorer, mais aussi de nouvelles expériences de lecture sur le Web. Ces réflexions sont des pistes de recherche ouvertes qui peuvent aboutir à une *grammaire* spécifique au discours interactif sur le Web.

## 5 Bibliographie

1. F. Denoual, *Contours de la narration 2.0-vers une conversion du design comme architecture de projet* (2013).

2. M. Di Crosta, *Entre cinéma et jeux vidéo : l'interface-film*, 9 (2009).

3. A. Vuillemin, *Informatique et poésie*, EPI, 77, 175-180 (1995).

4. D. Château, B. Darras, *Art et multimédia. L'œuvre d'art et sa reproduction à l'ère des médias interactifs*, 5 (1999).

5. S. Bouchardon, *Littérature numérique : le récit interactif*, 174 (2009).

6. Ch. Breandon, F. Renucci, *La construction d'un sens dans la polysémie du design web*, MEI, 34, 91 (2012).

7. P. Barboza, J-L. Weissberg, *L'image actée*, 16-17 (2006).

8. F. Calcagno-Tristant, *Le jeu multimédia un parcours sensible* (2009).
9. P. Calvez, *Days in a day* (2000). *In Situ*, disponible sur : http://www.daysinaday.com/ (accès vérifié : dernière consultation le 15-10-2015)

10. S. Bouchardon, V. Volckaert, *Déprise* (2010). *In Situ*, disponible sur : http://deprise.fr (accès vérifié : dernière consultation le 15-10-2015)

11. P. Fontanier, *Les figures du discours* (1977).