# Répéter, redire, reformuler : analyse plurisémiotique de conférences TEDx

Aurélie SINTE

Université de Namur, Rue de Bruxelles 61, 5000 Namur, Belgique

aurelie.sinte@unamur.be

**Résumé.** Cette proposition s'inscrit dans un large projet d'analyse des reformulations multimodales (RM) dans la construction du discours : décrire les relations qu'entretiennent trois canaux sémiotiques multimodaux (la parole (S1), la gestualité co-verbale (S2) et les supports de présentation (S3)) dans des discours scientifiques. L'objectif est de décrire comment les reformulations multimodales participent au caractère performant du discours, à la construction de sa cohérence. Les RM sont étudiées du point de vue interne à chaque système sémiotique (S1, S2, S3) et du point de vue du croisement d'un système à l'autre (rapport S1/S2, S1/S3, S2/S3 et S1/S2/S3). L'analyse en cours s'opère comme suit : repérage des passages où se trouvent des RM et les canaux mobilisés, annotation des données, analyse quantitative et qualitative des RM et des croisements, identification des paradigmes d'utilisation (des prestations sans RM à celles qui exploitent abondamment les croisements sur les 3 niveaux). Contrairement à ce qui a été avancé par d'autres, mon hypothèse est qu'il ne s'agit pas de deux (voire trois) discours distincts et simultanés. Je considère que la linéarité (de S1 d'une part, de S3 d'autre part) et la simultanéité des trois sources d'information (S1, S2 et S3) s'entrecroisent dans la construction d'un discours unique mais plurisémiotique.

**Abstract.** Reformulations in multimodal discourses: the case of TEDx talks. This paper falls within in a larger research framework dedicated to multimodal reformulations (MR) in academic discourses. It is intended to describe the relationships between three semiotic channels: speech (S1 as “first Semiotic System”), co-speech gesture (S2) and visual supports (S3) as *Power Point* and *Prezi*. The aim is to investigate how MR are used in the discourse construction and in its cohesion. MR are examined within an internal perspective, that is, each channel (S1-S2-S3) for itself and within a cross-channel perspective from one channel to another (links S1/S2, S1/S3, S2/S3 and S1/S2/S3). The analysis process occurs in several stages: 1) tracking of the MR discourse parts and of the channels concerned, 2) annotating the data, 3) analyzing (qualitatively and quantitatively) the MR and of their crossing points and 4) identifying some paradigms of MR uses (a continuum between discourses without any MR and discourses with a wide range of MR at the three levels). Unlike a common belief in the field, I assume that the three channels are not two (or three) different simultaneous discourses. Rather, the linearity (of S1 on the one hand and of S3 on the other) and the simultaneity of the three channels (S1-S2-S3) overlap in order to construct one unique but plurisemiotic discourse.
# 1 Préambule

## 1.1 Contexte de la recherche

Cet article s'inscrit dans le cadre d'un projet de recherche qui a débuté en septembre 2017 et qui prend pour objet les discours scientifiques de type académique mobilisant plusieurs canaux sémiotiques.

L'enjeu du projet de recherche global est de mettre au jour et de décrire en détails les paramètres qui participent à la réalisation d'un discours plus ou moins performant. « Discours performant » étant entendu ici comme le pôle extrême d'un continuum en fonction duquel un discours est évalué. Cette évaluation prend en compte plusieurs critères: captation et maintien de l'attention de l'assemblée, la qualité de la langue orale, la posture générale d'énonciation et la solidité et clarté de la construction du propos.

## 1.2 Présentation générale de la recherche

L'angle d'approche choisi pour mener cette recherche concerne le rôle joué par le processus de reformulation au sein du discours scientifique. La reformulation participe à la construction de la cohérence du discours et à sa progression. Elle est abordée sous l'angle linguistique d'une complémentarité sémiotique entre parole, gestualité et support multimédia. Les questions que soulève une telle approche sont les suivantes : Quels sont les différents schémas de construction d'un discours performant (comment progresse le discours en termes de reprise d'informations déjà exposées et d'apport d'informations nouvelles) ? Ces schémas sont-ils identiques selon la durée de la prestation (quels sont les éléments qui différencient une conférence de 20 minutes d'une conférence plénière d'1 heure) ? Quels sont les moyens dont dispose un orateur pour susciter l'attention du public et la conserver ? Quels rôles jouent les reformulations dans le maintien et/ou la perte de l'attention ? Quels sont les différents types de reformulations et comment s'ordonnent-elles sur plusieurs systèmes de signes (la parole, le corps, le support) ?

Pour répondre à ces questions, j'ai opté pour une approche linguistique plurisémiotique qui prend en compte 1) la parole elle-même, 2) la gestualité manuelle et non manuelle et 3) les supports utilisés (présentation de diaporama de type Power Point, projection, etc.). L'objectif est d'analyser comment ces trois canaux sémiotiques interagissent, et notamment comment ils tissent des liens en produisant différents types de reformulations d'un canal à l'autre.

1) En ce qui concerne la parole, je cible prioritairement les éléments formels (le débit, le rythme, les pauses, la projection de la voix, les hésitations, etc.) et qualitatifs (richesse lexicale, longueur de phrases, etc.) et la façon dont ces éléments se combinent dans les cas de reformulation verbale. Quels sont les types de reformulation, leur fréquence, leur position dans l'enchaînement discursif ? 2) Sur le plan de la gestualité, j'étudie la posture générale de l'orateur, ses gestes et le comportement de son regard. Comment le conférencier occupe-t-il l'espace dont il dispose ? Comment son corps est-il orienté (vers l'assistance ou non) ? Où dirige-t-il son regard ? Son regard est-il adressé ou fuyant ? En quoi et comment ses mouvements accompagnent-ils et reformulent-ils le discours verbal ? 3) Les types de supports actuellement à la disposition des personnes qui sont amenées à faire des présentations en public sont variés mais le plus fréquent est le support de type Power Point ou Prezi¹. Ce n'est pas la description de ce qui caractérise un « bon » Power Point ou un « bon » Prezi qui retient mon intérêt, mais plutôt le rapport que l'orateur entretient avec son support et le type de complémentarité qu'il tisse entre lui et son discours. L'orateur est-il dépendant de son support ? Est-ce seulement un aide-mémoire pour lui ou un canevas essentiel pour l'assistance ? Quel rapport physique l'orateur a-t-il avec le support ? Le pointe-t-il sans cesse, l'ignore-t-il, y fait-il référence de temps à autre ?
Le support entretient-il un rapport de reformulation avec le discours verbal (ou inversement) et comment ? A quel point le contenu du discours et celui du support se superposent-ils ou se complètent-ils ?

Après les avoir étudiés chacun isolément, l'objectif est de montrer comment ces trois pôles interagissent au bénéfice (ou au détriment) de la performance orale. Quels sont les combinaisons les plus probantes ? Certains critères sont-ils prédominants ? Lesquels et pourquoi ? Comment chacun de ces canaux joue-t-il un rôle de reformulation à l'égard des deux autres et à quel degré, dans chacun des styles identifiés ? Comment la reformulation impliquant trois canaux sémiotiques influe-t-elle sur le caractère performant d'un discours oral ?

## 2 Analyses discursives multimodales

La prise en considération de facteurs non-verbaux dans les analyses discursives est assez récente, même si la littérature sur le sujet ne cesse d'augmenter de façon exponentielle (Bertrand 1999, Kita 2000, Tellier 2005, Kendon 2005, Ferre 2007, Behague 2007, de Saint Georges 2008, Rabatel 2010, Constantin de Chanay et Turbide 2011 Lapaire 2013, Tellier 2016). L'analyse du rôle des facteurs multimodaux dans le discours acquiert au fil des ans ses lettres de noblesse et les linguistes reconnaissent et étudient à présent les fonctions remplies par les gestes, le regard, les mimiques, et les postures liées aux activités de parole. Il existe de plus en plus de travaux traitant les processus iconiques et métaphoriques par lesquels les gestes servent d'outils pour construire les référents du discours dans l'espace, ou des signes kinésiques donnant une réalité spatiale à des concepts verbaux abstraits (Calbris 1989, Mc Neill 1992) et les ressources corporelles sont à présent admises en tant qu'éléments qui permettent au locuteur de cadrer son activité discursive.

Lorsque les analyses du discours s'opèrent sur des éléments multimodaux, il s'agit principalement de l'étude des « conduites posturo-mimo-gestuelles et des éléments paralinguistiques (phonético-prosodiques) (Griggs et Blanc 2011). Les chercheurs ont alors recours à différentes typologies des gestes s'inspirant notamment de celle de Mc Neill (1992) et de celle de Colletta (2004). Ces classifications présentent d'une part les gestes coverbaux comme « l'ensemble des gestes, mimiques et actions non verbales qui accompagnent les productions langagières » et d'autre part les gestes autonomes comme étant « produits indépendamment d'un énoncé linguistique (Colletta 2004). Griggs et Blanc utilisent également la classification de Mc Neill (1992) reprise par Tellier (2008) pour identifier quatre types de gestes co-verbaux : les gestes iconiques (qui entretiennent une relation très étroite avec le contenu sémantique du référent lorsque celui-ci est concret), les gestes métaphoriques (qui permettent de symboliser un référent abstrait ou de représenter une métaphore du concept), les gestes déictiques (qui consistent à désigner le référent présent où à pointer dans sa direction) et les gestes pédagogiques (utilisés par les enseignants dans un but pédagogique). Au-delà de la classification de ce qu'ils appellent la « nature » de ces éléments coverbaux, Griggs et Blanc (2011) s'attardent sur la « fonction » de ceux-ci. Ils en identifient deux que sont la fonction interactive et la fonction discursive, toutes deux également employées par Bavelas et al. (1992) et Colletta (2004). La fonction discursive est attribuée à tout geste orienté vers le texte ou le support et qui sert à étayer le propos, et la fonction interactive à tout geste orienté vers l'interlocuteur et qui contribue ainsi à la gestion de l'interaction.

En ce qui concerne le troisième canal sémiotique considéré dans cette recherche, à savoir l'utilisation des supports de présentation de type Power Point ou Prezi, la littérature existante se présente essentiellement sous la forme de guides des bonnes pratiques (Cislaru et al. 2009) ou de manuels de communication au sens large (Reynolds 2008). Que ce soit pour détailler l'utilisation adéquate qu'il convient de faire d'un diaporama (Anciaux 1992) ou pour critiquer le fait même de les utiliser (Frommer 2010), les supports visuels de ce
type ne sont jusqu'ici jamais étudiés par le biais du l'interaction qu'ils impliquent, sur le plan sémiotique, avec le discours et les gestes qui l'accompagnent.

C'est précisément ce croisement de trois systèmes sémiotiques (parole, gestualité, support) qui conduit cette recherche à s'attarder sur la reformulation interne à chaque système d'une part (la parole reformule la parole, le geste reformule le geste, le support reformule le support) et d'un système à l'autre (la gestualité reformule la parole également reformulée par le support) d'autre part.

La reformulation en tant qu'acte pragmatique a été largement étudiée par les linguistes depuis les années 1980. En 2016, avec Meurant, nous avons fait un relevé détaillé de la littérature à ce sujet (Meurant et Sinte 2016). Je prends pour ce projet la définition adoptée pour l'étude de la reformulation en langue des signes de Belgique francophone, à savoir celle inspirée des travaux de Martinot et al. (2008), Steuckardt (2009) et Rabatel (2010) selon lesquels la reformulation renvoie à « tout processus de reprise d'un énoncé antérieur qui maintient, dans l'énoncé reformulé, une partie invariante à laquelle s'articule le reste de l'énoncé, partie variante par rapport à l'énoncé source » (Martinot et al. 2008 : 221). Cette dernière définition ne prenant en compte que les reformulations opérées au seul niveau de la parole, elle est réinvestie dans cette recherche pour les deux autres niveaux sémiotiques que sont la gestualité et les supports visuels (Rabatel 2010). Mais je fais l'hypothèse que cette acception large de la reformulation en tant qu'elle est « la mise en équivalence d'un X et d'un Y, sans considérer l'identité sémantique de X et de Y hors de la mise en relation que produit le locuteur, et sans considérer la présence d'un connecteur spécifique comme un critère définitoire » (Meurant et Sinte 2016) est adéquate à rendre compte des reformulations inter systèmes sémiotiques. Ce principe d'annotation au moyen de X et Y pour les éléments reformulés et reformulants est utilisé dans cette recherche.

La question de la reformulation en contexte plurisémiotique a été abordée par Griggs et Blanc (2010). Les auteurs prennent en considération à la fois le discours, les gestes et les supports pédagogiques mais leur cadre d'étude concerne les classes de langue étrangère. Ils observent que la présence des supports doit être prise en considération dans la mesure où leur rôle est intimement lié à celui de la gestualité. Ce qu'ils mettent en évidence, c'est la fonction de marquage qu'opèrent les éléments non verbaux et les supports dans l'introduction d'une reformulation strictement verbale. Cette étude entend aller un pas plus loin et vise à décrire comment la gestualité et les supports sont eux-mêmes le lieu de reformulations et pas seulement les indices des reformulations réalisées au niveau de la parole.

En 2008 et 2010, Bouchard et Parpette étudient la reformulation dans la communication scientifique avec support écrit. Ils mettent au jour le rapport étroit qui existe entre l'oral et le visuel (sans prendre en compte la dimension gestuelle) lors de présentations dans des colloques, entre le linguistique (discours oral) et l'iconique (le support visuel). Ils analysent ce type d'intervention comme la réalisation de deux discours donnés simultanément ce qui les amènent à poser la question de savoir lequel des deux discours reformule l'autre. En raison du caractère figé du support visuel et du fait que le discours oral peut à tout moment être adapté, ils considèrent que le support est toujours le discours reformulé et la parole, le discours reformulant. Sur ce point précis, je me démarque de leur analyse. J'émets l'hypothèse qu'il ne s'agit pas de deux discours simultanés (oral et visuel) mais d'un seul discours construit par l'interaction de trois niveaux sémiotiques (parole, gestualité, support).
# 3 Reformulation multimodale dans la construction du discours

Cette recherche consiste donc en l'analyse et la description des relations qu'entretiennent trois canaux sémiotiques multimodaux (la parole, la gestualité manuelle et non manuelle co-verbale et les supports de présentation) dans des discours oraux de type scientifique et académique. L'entrée dans l'analyse se fait par le biais de l'étude des différents types de rapports de reformulation entre les trois systèmes concernés. L'objectif étant de savoir si et comment le jeu des reformulations multimodales participe au caractère performant du discours, à la construction de sa cohérence.

Les reformulations sont étudiées à la fois du point de vue interne à chaque système sémiotique (parole, gestualité, support) et du point de vue du croisement de ces reformulations d'un système à l'autre (le rapport parole/gestualité, parole/support, gestualité/support et parole/gestualité/support).

## 3.1 Données

Puisqu'il s'agit d'une analyse multimodale, les données qui constituent ce premier corpus d'étude seront nécessairement des données vidéo représentant à la fois l'orateur et son support visuel. Deux cas de figure sont possibles : soit le cadrage permet de visualiser à la fois l'orateur et le support (fig.1) soit les deux types de cadrage sont présentés en alternance, tantôt l'orateur, tantôt le support (fig.2).

<figure><img src="image_1.png" /><figcaption>Fig.1. Cadrage simultané.</figcaption></figure>

<figure><img src="image_2.png" /><figcaption>Fig. 2. Cadrage alternatif.</figcaption></figure>

Le type de discours visé par cette recherche est le discours scientifique et académique. Il s'agit donc de contextes formels où les orateurs ont peu ou prou préparé leur intervention. Les vidéos étudiées ici incluent des séquences de type TEDx, (les conférences TED - Technology, Entertainment and Design - sont une série internationale de conférences
organisées par la fondation The Sapling foundation créée « pour diffuser des idées qui valent la peine d'être diffusées »²), de type Mooc (les cours MOOC, Massive open online course, sont des modules de formation rendus accessibles en ligne³) et des conférences en ligne. Ces vidéos présentent deux types de prestations, des prestations enregistrées « sur le vif » (conférences et TEDx) et des prestations qui font l'objet d'une captation et d'un montage en studio (ce qui permet de recommencer les passages autant de fois qu'il est jugé nécessaire par l'orateur). Ce caractère direct ou différé (et donc du moins au plus préparé et ayant fait l'objet d'un travail de post-édition.) sera pris en compte au moment de l'analyse des reformulations multimodales et de leur impact sur la construction du discours. Cela entraînera un traitement contrastif de ces types de données.

L'objectif est de constituer, à terme, un corpus d'étude étendu d'environ 10 heures de données multimodales.

## 3.2 Analyses

Au niveau verbal, que j'appellerai désormais S1 (système sémiotique de premier niveau), les reformulations sont considérées d'après la définition de Martinot et al. (2008) que nous avons reprise dans Meurant et Sinte (2016). Dans le cadre de l'analyse de la reformulation en LSFB dans trois types de discours (narration, conversation, explication), les reformulations ont été analysées en fonction de trois critères : les ressources linguistiques utilisées, l'effet sémantique de ces reformulations et les marqueurs qui éventuellement les introduisent. L'analyse des ressources linguistiques utilisées pour la reformulation en LSFB indiquait quel type de signe ou de structure linguistique propre à la langue des signes était employée pour la reformulation (classificateur, transfert personnel, etc.). Cette étape de la description doit être adaptée ici et visera à décrire la nature linguistique du contenu reformulant : apposition, structure enchâssée, énoncé(s) autonomes, etc. (cette liste non exhaustive sera enrichie et stabilisée au fil de l'analyse des données). Je conserverai les deux derniers points tels quels, à savoir la qualification de l'effet sémantique et l'identification des marqueurs introductifs lorsqu'il y en a. Mais la particularité ici sera de rechercher ces effets et ces marqueurs non seulement au niveau de la parole (S1) mais aussi sur les deux autres niveaux sémiotiques (gestualité et support). Les effets sémantiques qye nous avons répertoriés en 2016 sur la base de l'échantillon analysé sont : la synonymie (équivalence sémantique entre l'élément reformulé (désormais X) et l'élément reformulant (désormais Y), l'hyponymie (Y particulier, X général), la décomposition (Y décompose X), la spécification (Y précise, spécifie X), la correction (Y reprend, corrige X), l'explication (Y explique X) et la récapitulation (Y récapitule X).

En ce qui concerne les types de marqueurs de reformulation, il faut tenir compte des trois niveaux sémiotiques concernés, ce qui implique d'étendre l'analyse de ces marqueurs : 1) y a-t-il un ou plusieurs marqueur(s) introductif(s), 2) de quel(s) niveau(x) sémiotique(s) relève(nt)-il(s) et 3) de quels types est(sont)-il(s) ? Ce troisième point implique la constitution d'une typologie à ce jour encore inédite.

Au niveau gestuel, désormais S2 (système sémiotique de deuxième niveau), la classification des gestes co-verbaux suivie est celle inspirée de Mc Neill (1992) et Colletta (2004) et reprise par Tellier (2008) ainsi que par Griggs et Blanc (2011) : geste iconique (lié au contenu sémantique d'un référent concret), geste métaphorique (qui symbolise un référent abstrait), geste déictique (qui désigne un référent) et geste pédagogique (utilisé dans un but pédagogique). Seuls les gestes présentant un caractère reformulé ou reformulant sont qualifiés. L'intention n'est pas de faire un relevé systématique de tous les gestes impliqués dans le discours mais seulement de ceux qui jouent un rôle de reformulation soit par rapport à S1, soit par rapport à eux-mêmes (S2), soit par rapport au support (S3).
Au niveau des supports visuels, désormais S3 (système sémiotique de troisième niveau), les logiciels comme Power Point et Prezi sont susceptibles de recevoir différents types d'éléments signifiants à savoir du texte, des schémas, des images, des vidéos et des bandes sonores. J'identifie les reformulations en jeu entre ces différents éléments, ainsi que celles que S3 tisse avec S1 et S2, respectivement et conjointement.

## 3.3 Méthodologie

Sur le plan méthodologique, je conserverai le principe de l'annotation des reformulations utilisées pour la langue des signes de Belgique francophone (2016) consistant à noter X tout élément reformulé et Y tout élément reformulant. Ce système de notation présente l'avantage de pouvoir s'adapter aux différents canaux sémiotiques. Toutefois, puisque ces canaux sont au nombre de trois et que les reformulations sont donc susceptibles de les concerner tous les trois à la fois, j'ajouterai Z pour tout élément reformulant concernant un deuxième niveau sémiotique (voir fig.3). Chacun de ces X, Y et Z pourra donc être distribué alternativement sur chacun des canaux (S1, S2 ou S3) voir au sein d'un seul et même canal dans le cas où la reformulation ne concernerait qu'un seul niveau (par exemple une reformulation uniquement au niveau S1). Cet étiquetage des X, Y, Z nécessitera de soulever la question de l'identification de ce qui est l'élément reformulé et de ce qui est reformulant. La simultanéité des canaux (notamment S1 et S3), ne permet pas toujours d'identifier ce qui, dans le discours global, émerge en premier : la parole ou le support. Là où Bouchard et Parpette (2008) considèrent que le support, de par son caractère figé et impossible à modifier est l'élément reformulé tandis que l'oral, parce qu'il peut être adapté en permanence est l'élément reformulant, j'aborde la question autrement. Mon approche tend à considérer qu'il s'agit non pas de deux discours (linguistique et iconique, dans les termes de Bouchard et Parpette) simultanés mais d'un seul discours construit par l'interaction de plusieurs niveaux sémiotiques. Cependant, méthodologiquement, il est nécessaire d'identifier X (reformulés) et YZ (reformulants) même dans les cas de parfaite synchronisation entre les niveaux sémiotiques. Dans ces cas de simultanéité, je fais le choix de considérer la parole en tant que premier niveau sémiotique par défaut et donc comme celui contenant l'élément reformulé X.

Ces éléments X et ces éléments Y et Z sont numérotés et annotés dans le programme ELAN⁴ qui permet 1) l'alignement temporel des vidéos et des annotations qui les concernent et 2) des recherches automatisées à l'intérieur de l'ensemble des fichiers annotés.

<figure><img src="image_3.png" /><figcaption>**Fig. 3.** Captures d'écran de la façon dont les données sont visualisées dans ELAN</figcaption></figure>

Au sein de données étudiées, la première étape consiste en un repérage des passages du discours où se trouvent des reformulations et les canaux sollicités pour chacune d'elles.
Pour procéder à ce relevé et l'annotation des données, un premier gabarit⁵ a été conçu dans ELAN afin de rendre compte de ce qui se passe sur chacun des trois canaux sémiotiques et de leurs interactions.

Le gabarit composé pour cette recherche comprend (fig.3):

- une ligne de transcription de S1

- trois lignes d'annotation pour indiquer les éléments reformulés X et reformulants Y et Z détectés dans chaque système : Parole (S1), Gestualité (S2) et Support (S3)

- trois lignes d'annotations pour décrire chaque élément X, Y et Z annoté (le type de ressources linguistiques pour S1, le type de geste pour S2, le type de support pour S3 (texte, schéma, image, vidéo, son))

- une ligne décrivant l'interaction (S1-S2-S3)

- une ligne pour qualifier le rôle sémantique de la reformulation

- une ligne pour identifier les marqueurs introductifs lorsqu'il y en a

- une ligne pour tout commentaire éventuel

Ce gabarit peut à tout moment être revu et adapté aux besoins de la recherche si nécessaire. Dans l'exemple figuré ci-dessus (fig. 3), la reformulation d'un propos implique les trois niveaux sémiotiques. L'élément reformulé X (comme mentionné plus haut, lors de la simultanéité de deux niveaux, c'est le premier niveau sémiotique S1 qui est identifié, par défaut, comme contenant l'élément reformulé) est de niveau S1, il est reformulé par le segment Y en S2 par un geste déictique et reformulé par Z en S3 via un schéma. C'est donc une interaction S1-S2-S3. Le rôle sémantique a été identifié comme illustratif (IL) et cette reformulation ne présente pas de marqueur introductif.

Pour les trois lignes de description, pour la ligne d'interaction et pour la ligne de rôle sémantique, un « vocabulaire contrôlé » (CV, controlled vocabulary) a été créé. Il s'agit d'une personnalisation sous la forme d'une liste exhaustive les différentes entrées possibles pour chaque ligne d'annotation. Ainsi, par exemple, pour la ligne de description de l'interaction des trois canaux (S1-S2-S3), les entrées suivantes ont été pré-encodées dans un vocabulaire contrôlé : 11 (reformulation interne à S1), 12 (reformulation mobilisant S1 et S2), 13 (S1 et S3), 23 (S2 et S3), 123 (reformulation impliquant les 3 canaux) (fig. 4). Cela permet d'accélérer le processus d'annotation et de stabiliser les annotations de façon à éviter toute perte d'information (en cas de coquilles suite à un encodage manuel) lors de l'étape de recherche automatique dans les différents fichiers. Tout comme le gabarit, les différents vocabulaires contrôlés peuvent être adaptés à tout moment de la recherche.

<figure><img src="image_4.png" /><figcaption>Fig. 4. Édition du vocabulaire contrôlé (CV)</figcaption></figure>
Il s'agit de procéder ensuite à une analyse quantitative et qualitative de ces reformulations et de leurs croisements afin d'identifier des paradigmes d'utilisation des reformulations (des prestations sans reformulations aux prestations qui exploitent abondamment les croisements de reformulations sur les trois niveaux S1-S2-S3).

Au vu de la nature des discours étudiés, à savoir les présentations scientifiques de type formel, il ne serait pas surprenant de rencontrer un grand nombre de reformulations S1-S3 puisque le rôle des supports visuels tels que Power Point ou Prezi consiste précisément à soutenir le premier niveau sémiotique qu'est la parole. Cette hypothèse, donnée ici à titre d'exemple, devra être vérifiée ou infirmée au regard des analyses détaillées. Cette vérification constitue l'un des éléments de l'étape d'analyse quantitative et qualitative de l'ensemble des données qui vise à montrer le rôle joué par les reformulations multimodales dans la construction de la cohérence du discours et à son caractère performant.

Contrairement à Bouchard et Parpette (2008, 2010), je fais l'hypothèse qu'il ne s'agit pas de deux (voire trois) discours distincts et simultanés. Je considère que la linéarité (de la parole d'une part, de la projection du diaporama d'autre part) et la simultanéité des trois sources d'information (parole, gestualité et support) s'entrecroisent sans cesse dans la construction d'un discours unique mais plurisémiotique. Cette approche répond en cela à la question de l'identification des éléments reformulés et reformulants. Il ne s'agit que d'une nécessité méthodologique au moment de l'annotation des X et des Y Z. Le fait de considérer les trois niveaux sémiotiques comme une seule interaction au service de la construction d'un même discours, entraîne qu'il n'est plus besoin de chercher à distinguer ce qui est premier (reformulé) de ce qui est second (reformulant) puisque en réalité, chaque système sémiotique reformule l'autre et réciproquement, sans prévalence de l'un sur l'autre.

# 4 Reformulations multimodales dans les conférences TEDx

## 4.1. Une étude exploratoire

Je présente ici une étude exploratoire des types de reformulations multimodales (RM) dans un échantillon de conférences TEDx enregistrées en 2016 à l'Université de Namur. Le corpus échantillon se compose de trois conférences (et donc de trois locuteurs différents respectivement identifiés par L001, L002 et L003) d'approximativement quinze minutes chacune.

L'annotation des vidéos et l'analyse sont toujours en cours⁶ et s'opèrent selon la méthodologie présentée ci-dessus.

Les questions traitées lors de l'étude de l'échantillon sont les suivantes : A quel point le phénomène de reformulation est-il présent dans les conférences de type TEDx ? Quels sont les canaux concernés par ces reformulations (parole (S1) – geste (S2) – support visuel (S3)) ? Le sont-ils tous de manière équivalente ? Comment se croisent les reformulations sur les trois systèmes sémiotiques ? Quels sont les principaux effets de ces reformulations sur la construction et la cohérence du discours ? Les réponses à ces questions seront apportées par le croisement d'analyses qualitatives et quantitatives.

## 4.2. Quelques occurrences sous l'angle qualitatif

A ce stade du traitement des données, des reformulations impliquant les trois canaux sémiotiques ont pu être relevées. Certaines s'opère au sein d'un seul canal de manière isolée. Jusqu'ici, seul le premier canal sémiotique S1 (la parole) présente ce type de reformulations. En voici trois exemples dans les figures 5, 6 et 7. À des fins de lisibilité, les
informations annotées dans ELAN ont été transposées sous forme de tableau ne contenant que les entrées nécessaires à l'explication de l'exemple concerné.

<table><caption>Fig. 5. Exemple 1 (reformulation de type 11. TEDX2016_L001. XY1.00:00:24-00:00:31.)</caption><thead><tr><th>S1 transcription</th><th colspan="3">Une des choses qui stresse (...) c'est la question du stress, la question de l'anxiété</th></tr></thead><tbody><tr><td>S1 XY</td><td></td><td>X1</td><td>Y1</td></tr><tr><td>Interaction</td><td></td><td>11</td><td>11</td></tr><tr><td>S1 description</td><td></td><td></td><td>lexique</td></tr><tr><td>Rôle sémantique</td><td></td><td></td><td>SY (synonyme)</td></tr></tbody></table>

Dans cet extrait, le locuteur L001 présente l'objet de son travail. Il évoque le stress ressenti par les personnes qui se présentent devant un jury pour une évaluation de type entretien d'embauche ou examen. Le rapport que ces individus entretiennent avec le stress est la préoccupation principale du conférencier. Il n'est donc pas étonnant qu'il prenne le temps d'insister sur ce point en le reformulant ici au moyen d'un élément lexical synonyme (anxiété) de l'élément reformulé (stress). Cette insistance sur le caractère stressant des situations d'entretien avec jury est également marquée dans l'exemple 4 (Fig.8) développé ci-dessous.

<table><caption>Fig. 6. Exemple 2 (reformulation de type 11. TEDX2016_L003. XY1&XY2.00:01:04-00:01:11.)</caption><thead><tr><th>S1 transcription</th><th>Cette cellule (...) s'est multipliée, elle s'est diversifiée, elle s'est spécialisée.</th></tr></thead><tbody><tr><td>S1 XY</td><td>X1 Y1 X2 Y2</td></tr><tr><td>Interaction</td><td>11</td></tr><tr><td>S1 description</td><td>lexique lexique</td></tr><tr><td>Rôle sémantique</td><td>SP (spécification) SP (spécification)</td></tr></tbody></table>

L'exemple 2 illustre également la reformulation interne à S1 (interaction de type 11). Cette occurrence présente la particularité d'enchâsser deux reformulations. Le phénomène n'est pas isolé. L'exemple 3 (Fig. 7) présente le même type de construction. Le rôle sémantique de telles reformulations n'est pas absolument transparent. Dans le cas de l'exemple 2, le locuteur (L003) évoque la façon dont les premières cellules ont évolué au fil des millénaires. Les termes « multipliée », « diversifiée » et « spécialisée » ne sont pas synonymes les uns des autres. Il semble qu'il s'agit ici d'une volonté de préciser comment cette cellule s'est développée. C'est ce qui a été annoté dans le vocabulaire contrôlé sous l'entrée SP (spécification). Dans le cas de l'exemple 3, par contre, le rôle sémantique de la double reformulation semble plus net. « Déclic », « détonateur » et « déclencheur » sont dans ce contexte, employé de façon synonymique.

La façon dont l'enchâssement est annoté relève d'un choix méthodologique. J'ai choisi de considérer que l'élément reformulant Y1 était aussi l'élément reformulé X2. Il aurait été tout aussi pertinent de traiter X1 également comme un X2. Mais la structure d'imbrication des reformulations apparaît plus clairement en faisant porter le double rôle (Y1 et X2) à l'élément central.
<table><caption>Fig. 7. Exemple 3 (reformulation de type 11. TEDX2016_L002. XY3&XY4.00:03:10-00:03:13.)</caption><thead><tr><th>S1 transcription</th><th>Ca été pour moi</th><th>un déclic</th><th>un détonateur</th><th>un déclencheur.</th></tr></thead><tbody><tr><td>S1 XY</td><td></td><td>X3</td><td>Y3 X4</td><td>Y4</td></tr><tr><td>Interaction</td><td></td><td></td><td>11</td><td>11</td></tr><tr><td>S1 description</td><td></td><td></td><td>lexique</td><td>lexique</td></tr><tr><td>Rôle sémantique</td><td></td><td></td><td>SY (synonyme)</td><td>SY (synonyme)</td></tr></tbody></table>

Dans les exemples 4 et 5 (Fig. 8 et Fig.9) les reformulations impliquent deux canaux sémiotiques distincts. Dans le premier cas, l'interaction concerne S1 et S2. Comme évoqué dans l'exemple 1, le conférencier insiste sur le fait qu'il est stressant de se retrouver devant un jury. Il utilise un geste iconique (les deux mains devant le visage pour figurer la grosseur des yeux) pour reformuler l'expression « avec de gros yeux ». L'effet de monstration de cette occurrence combiné à la redondance des termes « stress » et « anxiété » dans la reformulation de l'exemple 1 dénote la mise en évidence d'un thème important dans le propos du locuteur, à savoir le stress ressenti dans les situations évoquées. En seulement dix secondes (de 00:00:24 à 00:00:34), le locuteur a recours à deux types de reformulation (11 et 12) introduisant dans son discours un effet de focalisation sur le thème central de sa conférence.

<table><caption>Fig. 8. Exemple 4 (reformulation de type 12. TEDX2016_L001. XY3.00:00:30-00:00:34.)</caption><tr><td>S1 transcription</td><td>Alors ils vont passer devant un jury qui va les juger [avec des gros yeux].</td></tr><tr><td>S1 XY</td><td>X3</td></tr><tr><td>S2 XY</td><td>Y3</td></tr><tr><td>Interaction</td><td>12</td></tr><tr><td>S1 description</td><td>lexique</td></tr><tr><td>S2 description</td><td>iconique</td></tr><tr><td>Rôle sémantique</td><td>IC (montrer)</td></tr></table>

La figure 9 présente un exemple de reformulation de type 13 où la parole est reformulée sur le support sous forme de schéma qualifié de lexical dans la mesure où il n'est pas strictement visuel puisqu'il contient des mots. La visée d'une telle reformulation est l'illustration des propos. Il s'agit ici d'un cas que l'on peut considérer comme prototypique de la fonction des supports de présentation.
<table><caption>Fig. 9. Exemple 5 (reformulation de type 13. TEDX2016_L003. XY3.00:02:20-00:02:42.)</caption><tr><td>S1 transcription</td><td>Elle a la particularité [d'être structurée en facultés]. (...)</td></tr><tr><td>S1 XY</td><td>X3</td></tr><tr><td>S3 XY</td><td>Y3</td></tr><tr><td>Interaction</td><td>13</td></tr><tr><td>S1 description</td><td>période</td></tr><tr><td>S3 description</td><td>schéma lexical<br/>Faculty of Sciences Medical School Faculty of Engineering Psychology Faculty<br/>University<br/>Faculty of Economics Faculty of Architecture Political Sciences Faculty Law School</td></tr><tr><td>Rôle sémantique</td><td>IL(illustrer)</td></tr></table>

Les discours des locuteurs L002 et L003 contiennent deux cas de reformulations sur les trois niveaux sémiotiques (interaction type 123). Dans le premier cas, la conférencière présente une des enfants dont il sera question tout au long de son discours. Cette présentation mobilise S1 en mentionnant verbalement le prénom de l'enfant. Elle mobilise également S3 et S2 par le biais d'une photo de l'enfant projetée sur l'écran et par un geste déictique qui pointe vers l'écran au moment où la locutrice cite le prénom. C'est à nouveau un effet d'insistance (comme dans le cas de L001 dans les exemples 1 et 4), de mise en évidence d'un des thèmes principaux du discours.
<table><caption>Fig. 10. Exemple 6 (reformulation de type 123. TEDX2016_L002. XYZ1.00:00:36-00:00:41.)</caption><tr><td>S1 transcription</td><td>[Aïfa] est née avec une très grave maladie cardiaque.</td></tr><tr><td>S1 XY</td><td>X1</td></tr><tr><td>S2 XY</td><td>Y1</td></tr><tr><td>S3 XY</td><td>Z1</td></tr><tr><td>Interaction</td><td>123</td></tr><tr><td>S1 description</td><td>lexique (nom propre)</td></tr><tr><td>S2 description</td><td>déictique</td></tr><tr><td>S3 description</td><td>photo</td></tr><tr><td>Rôle sémantique</td><td>IL (illustrer)</td></tr></table>

Dans le second cas, le locuteur explique (S1) que certains étudiants des universités se destinent à la recherche scientifique. Il illustre cette franche de la population par un dessin figurant des êtres humains (S3) qu'il met en évidence au moyen d'un pointeur laser (S2). Contrairement au cas précédent, il n'est pas question ici d'un élément central du discours. La reformulation de type 123 permet simplement dans ce cas de soutenir le déroulement du propos et d'en garantir la clarté.
<table><caption>Fig. 11. Exemple 7 (reformulation de type 123. TEDX2016_L003. XYZ4.00:02:39-00:02:48.)</caption><tr><td>S1 transcription</td><td>[Certaines de ces personnes] vont décider de faire de la recherche scientifiques.</td></tr><tr><td>S1 XY</td><td>X4</td></tr><tr><td>S2 XY</td><td>Y4</td></tr><tr><td>S3 XY</td><td>Z4</td></tr><tr><td>Interaction</td><td>123</td></tr><tr><td>S1 description</td><td>lexique</td></tr><tr><td>S2 description</td><td>déictique (via pointeur)<br><img src="description1.png" alt="A speaker with a suit and a pointy hat, facing left."></td></tr><tr><td>S3 description</td><td>dessin<br><img src="description2.png" alt="A drawing of a person, with a hat and a suit."></td></tr><tr><td>Rôle sémantique</td><td>IL (illustrer)</td></tr></table>

## 4.3. Perspectives quantitatives

Une fois l'étape d'annotation de l'intégralité de l'échantillon terminée, les analyses qualitatives pourront être croisées à une étude quantitative visant à déterminer notamment les types de reformulation les plus fréquents, les effets sémantiques le plus souvent rencontrés et la façon dont ces reformulations multimodales participent à la construction du discours. Ces résultats feront l'objet de la présentation au CMLF 2018 en juillet prochain.
Références bibliographiques

Anciaux, J-P. (1992). La présentation orale et ses supports visuels: les règles d'or de la communication. Paris : Éditions d'organisation.

Austin, J.L.(1970). Quand dire c'est faire. Paris : Seuil.

Badir, S. et Dondero, M. (2017). L'image peut-elle nier? Coll. Clinamen. Liège : Presses Universitaires de Liège.

Barrier, G. (1997). « L'analyse du geste et de ses médiations : aspects communicationnels ». In Nouveaux actes sémiotiques. N°52-54, 3-73.

Bavelas, J., Chovil, N., Lawrie, D. and Wade, A. (1992). "Interactive gestures ». In Discourse Processes, N°15, 469-489.

Béhague, D. (2007). Analyse multimodale de l'émotion dans un discours convaincant. Thèse de doctorat.

Bertrand, R. (1999). De l'Hétérogénéité de la Parole : analyse énonciative de phénomènes prosodiques et kinésiques dans l'interaction interindividuelle. Thèse de doctorat.

Blanche-Benveniste, C. et Jeanjean, C. (1986). Le français parlé. Transcription et édition. Paris : INALF.

Blanche-Benveniste, C. (2007). « Corpus de langue parlée et description grammaticale de la langue ». In Langage et Société. N°121-122. 129-141.

Blanche-Benveniste, C. (2010). Approches de la langue parlée en français. Paris : Ophrys.

Bouchard, R. et Parpette, C. (2008). « Reformulation et co-formulation dans la communication scientifique avec support écrit ». In Pragmatique de la reformulation. Types de discours, interactions didactiques, Schuwer, M. et al (eds), Rennes : Presses Universitaires de Rennes..55-72.

Bouchard, R. et Parpette, C. (2010). « Reformulations, coformulation et dispositif de coformulation : l'exemple du cours magistral scientifique ». In Les reformulations pluri-sémiotiques en contexte de formation, Presses Universitaires de Franche-Comté, 97-116.

Boutet, J. et Maingueneau, D. (2004). « Sociolinguistique et analyse de discours : façons de dire, façons de faire ». In Langage et société. N°114. 15-47.

Brossard, A. (1996). « Discours oraux-discours écrits : quelle relations au visuel ». In Tranel, N°25, 69-80.

Calbris, G. et Porcher L. (1989). Geste et communication. Paris : CREDIF-Hatier.

Calbris, G. (1990). The Semiotics of French Gestures. Indiana University Press.

Calbris G. (2001). « Principes méthodologiques pour une analyse du geste accompagnant la parole ». In Mots. N°67. 129-148.

Charles, R. et Williame, C. (2009). La communication orale. Coll. Repères pratiques. Nathan.

Cislaru, G. (2009) L'écrit universitaire en pratique : applications et exercices autocorrectifs, rédaction d'un mémoire, présentation PowerPoint / Georgeta Cislaru, Chantal Claudel, Monica Vlad, de Boeck

Colletta, J.-M. (2004). Le développement de la parole chez l'enfant âgé de 6 à 11 ans. Corps, langage et cognition. Sprimont : P. Mardaga.

Colletta, J.-M., Millet, A. et Pellenq, C. (2010). « Introduction ». In Lidil. N°42 http://lidil.revues.org/3060
Constantin de Chanay, H. et Turbide, O. (2011). Point de vue analyse discours politique : Les discours politiques. Approches interactionnistes et multimodales

Culioli, A. (1983). « Pourquoi le français parlé est-il si peu étudié? », In Recherches sur le Français Parlé, N°5, 291-300.

Damourette, J. et Pichon, E. (1911-1939), Essai de grammaire de la langue française, Paris, D'Artey.

Delcambre, I. (2011). « Comment penser les relations oral/écrit dans un cadre scolaire ? ». In Recherches. Oral, Ecrit. N°54, 7-15.

D'Huy, P. (2007). « PowerPoint, la rhétorique universelle », In Médium 2/11.12-25.

Docquet-Lacoste, C. et Richard E. (2010). « Postures énonciatives et marqueurs de reformulation en situation de conférence avec diaporama. Alors, effectivement, donc ». In Les reformulations pluri-sémiotiques en contexte de formation. Presses Universitaires de Franche-Comté, 47-71.

Ferre, G. (2007). Relations entre discours, intonation et gestualité en anglais britannique. Thèse de doctorat. Université de Paris III.

Fouché, P. (1939). Traité de prononciation française, Klincksieck.

Feommer, F. (2010). La Pensée Powerpoint. Enquête sur ce logiciel qui rend stupide. Paris : La Découverte.

Gadet, F. (1996). Une distinction bien fragile : orale/écrit. In Discours oraux –discours écrits : quelles relations. Tranel, N°25, 13-27.

Grammont, M. (1954). Traité pratique de prononciation française, Delagrave.

Grice H. P. (1979). « Logique et conversation ». In Communications, N° 30. 57-72.

Griggs et Blanc, N. et Griggs, (2010). « Reformulation et apprentissages dans le contexte plurisémiotique d'une classe de langue étrangère ». In i. Presses universitaires de Franche-Comté. 169-190.

Hassan, R. (2011). « Maitrise de la langue : quelques réflexions». In Recherches. Oral, Ecrit. N°54, 97-105.

Kita, S. (2000). "How representational gestures help speaking". In Language and Gesture. 162-185.

Kendon, A. (2005). Gesture : Visible Action as Utterance. Cambridge : Cambridge University Press.

Lapaire, J.-R. (2013). « Gestualité cogrammaticale : de l'action corporelle spontanée aux postures de travail métagestuel guidé. Maybe et le balancement épistémique en anglais ». In Langages. N° 192. 57-72.

Lefrancq, S. et Maton, E. (2009). « Attention aux présentations qui tuent ! ». In L'Expansion Management Review. N° 132. 48-59.

Maingueneau, D. (2011). « Linguistique, littérature, discours littéraire ». In Le français aujourd'hui N°175. 75-82.

Maingueneau, D. (2010). « Analyse du discours et champ disciplinaire », Questions de communication, 18, 185-196.

Missire, R. (2014). Approches sémantiques de l'oral. Coll. Sciences du langage Carrefour et Points de vue linguistique. Academia.

McNeill, D. (1992). Hand and Mind. What Gestures Reveal about Thought. Chicago Press University.

Martinot, C., Gerolimich, S., Paprocka-Piotrowka, U. et Sowa, M. (2008), « Reformuler pour acquérir sa langue maternelle? Investigation auprès d'enfants français, italiens et polonais de 6, 8 et 10 ans ». In.), Pragmatique de la reformulation, Types de discours-Interactions didactiques. Rennes: Presses Universitaires de Rennes. 221-239.
Meurant, L. et Sinte, A. (2016). « La reformulation en Langue des signes de Belgique francophone (LSFB). Narration, explication, conversation ». In *L'Information grammaticale*. N°149. 32-44.

Nyrop, K. (1923). *Manuel de phonétique du français parlé, Picard*.

Rabatel, A. 2010, *Les reformulations pluri-sémiotiques en contexte de formation. Presses universitaires de Franche-Comté*.

Reynolds, G. (2008). *Présentation zen : pour des présentations plus simples, claires et percutantes*. Paris: Pearson education.

Rigault, A. (1971). *La grammaire du français parlé. Hachette*.

Steuckardt, A. (2009), « Décrire la reformulation: le paramètre rhétorique », Cahiers de praxematique, 52, p.159-172

Tellier, M. (2008). *Dire avec des gestes. Le Français dans le monde. Recherches et applications, Paris: Français dans le monde, 2008*, pp.40-50.

Tellier, M. (2016). *Prendre son cours à bras le corps De l'articulation des modalités kinésiques avec la parole. Recherches en didactique des langues et des cultures. Les cahiers de l'Acedle 13-1*, Interactions langagières et didactique des langues.

<footnote n="1">¹ https://prezi.com</footnote>

<footnote n="2">² https://www.ted.com/about/programs-initiatives/tedx-program</footnote>

<footnote n="3">³ A titre d'exemple, voir https://mooc-francophone.com/</footnote>

<footnote n="4">⁴ Max Planck Institute for Psycholinguistics, The Language Archive, Nijmegen, The Netherlands; http://tla.mpi.nl/tools/tla-tools/elan/</footnote>

<footnote n="5">⁵ Un gabarit (« template » dans ELAN) est un canevas personnalisé des différentes lignes d'annotation utilisé dans le traitement des données.</footnote>

<footnote n="6">⁶ Au 31 mars 2018 (date de la remise de cette version de l'article), l'échantillon n'a pas encore été traité intégralement mais il le sera pour le CMLF 2018 lors duquel les résultats seront présentés en détails tant du point de vue qualitatif (exemples annotés) que quantitatif (analyses statistiques). Une version complète et mise à jour de l'article sera disponible sur Academia.edu à la suite du Congrès.</footnote>