Peut-on marquer un focus contrastif par le geste manuel en suppléance vocale ? (2024)

Abstract: Un paradigme expérimental élicitant la focalisation sur une syllabe a été élaboré dans une tâche de conversion chuchotement-parole avec contrôle manuel de l’intonation. Deux interfaces de contrôle intonatif ont été testées : contrôle isométrique par pression du doigt et isotonique par rotation du poignet. La réalisation de la focalisation par le geste a été observée, démontrant un transfert du contrôle naturel vers manuel de l’intonation. Les résultats sont également discutés en fonction de la position de la syllabe dans l’énoncé, et en fonction de l’interface de contrôle gestuel employée.

## introduction notre étude porte sur le contrôle de l'intonation dans le cadre d'une dégradation ou d'une absence des capacités phonatoires chez des patients laryngectomisés. les solutions médicales actuelles pour remplacer la source vocale défectueuse ou absente consistent à injecter une source sonore artificielle dans le conduit vocal, souvent à l'aide d'un électrolarynx @xcite @xcite . ce vibrateur génère une source vocale de substitution sur laquelle l'utilisateur peut articuler la parole normalement. il est également possible d'utiliser un microphone pour capter la parole non vocalisée (par exemple un chuchotement), et d'y réintroduire une phonation en temps-réel par synthèse vocale à partir d'un modèle de source glottique filtré par la réponse du conduit vocal mesurée @xcite . la voix reconstruite est ensuite diffusée en temps-réel sur un haut-parleur. la principale limite à la fois des électrolarynx et des systèmes de synthèse est le peu d'information disponible pour reconstruire l'intonation. par défaut, ces systèmes génèrent une intonation relativement constante, privant ainsi l'expression parlée d'une partie de l'information prosodique nécessaire à la fois à la structuration du discours @xcite et à l'expression d'attitudes et d'émotions @xcite . la synthèse vocale performative consiste à proposer à l'utilisateur un contrôle temps-réel de certains paramètres de la voix à générer, à l'image d'un instrument de musique numérique. en particulier, un axe d'étude a exploré l'utilisation de la chironomie, c'est-à-dire la gestuelle de la main, pour le contrôle de l'intonation dans la synthèse vocale @xcite . ainsi, un tel paradigme permet d'aller chercher l'information d'intonation auprès d'un geste non-vocal (la main), en faisant l'hypothèse forte que l'utilisateur est capable de transférer une production de l'intonation implicite lorsque produite par la vibration des plis vocaux vers une production explicite par le geste de la main. cette hypothèse a été validée dans des tâches d'imitation, où des utilisateurs ont reproduit le contour intonatif de phrases données en contrôlant la fréquence fondamentale de synthétiseurs vocaux par la position d'un stylet sur une tablette graphique, à la fois sur des tâches de parole @xcite . le transfert inverse, du contrôle manuel de l'intonation vers le contrôle naturel, a aussi été observé et s'est montré efficace dans l'apprentissage de l'intonation du français @xcite en tant que langues étrangères, toujours en tâches d'imitation. dans la lignée de ces recherches, nous avons introduit la synthèse performative dans une solution de suppléance vocale basée sur la conversion chuchotement-parole en temps-réel. l'utilisateur doit alors à la fois articuler le message avec son conduit vocal et contrôler l'intonation de manière synchrone à l'aide du geste manuel @xcite . néanmoins, le paradigme de suppléance vocale diffère des études précédentes selon trois aspects. d'abord, si l'hypothèse de transfert du contrôle intonatif entre plis vocaux et geste de la main a été démontré sur des tâches d'imitations, ces dernières sont peu fréquentes en situation de communication orale. la question du transfert du contrôle intonatif sur des tâches que nous appellerons tâches de production, i.e. où l'utilisateur doit produire des contours intonatifs avec un but communicationnel mais sans références immédiates, reste donc ouverte. par ailleurs, les synthétiseurs performatifs développés pour les études en tâche d'imitation demandent un contrôle de l'intonation uniquement, le contenu phonétique étant pré-défini @xcite . en suppléance vocale, le contrôle simultané de l'articulation et de l'intonation doit être pris en compte. enfin, ces mêmes instruments de synthèse proposent un contrôle de l'intonation par la position d'un objet (stylet ou doigt) sur une surface. si cela introduit une modalité visuelle dans la représentation de l'intonation qui a été démontrée comme prépondérante dans le contrôle @xcite , celle-ci n'est pas souhaitable dans des situations de communication orale, pour des raisons ergonomiques. dans cet article, nous cherchons donc à évaluer la capacité de locuteurs à externaliser le contrôle de l'intonation pour la réalisation de fonctions prosodiques dans un contexte communicationnel de suppléance vocale, c'est-à-dire dans des tâches de production, en synchronie avec l'articulation, et en utilisant des interfaces gestuelles ne sollicitant pas la modalité visuelle. nous nous intéressons ici à la focalisation contrastive, qui se caractérise par la mise en évidence d'un ou plusieurs mots d'un énoncé, jugés comme les plus informatifs. un focus contrastif est marqué par une augmentation notable de l'intensité et de la fréquence fondamentale f o sur le ou les mots d'intérêt @xcite , pouvant s'accompagner d'un allongement temporel de la syllabe portant le focus @xcite . la combinaison de ces paramètres contribue à la perception auditive du focus et permet une évaluation objective en termes de variations de durée syllabique et de fréquence fondamentale. des variations fines de ces paramètres s'opèrent au niveau contrôle de la f o geste manuel voix reconstruite intonation contour ou @xmath0; 6] 𝖲𝖳 + < f @xmath1; p max ] [+45 ∘ ; -45 ∘ ] syllabique de manière complémentaire, lorsqu'il s'agit de marquer le focus sur l'ensemble du mot @xcite . en effet, les variations d'intensité et de f o sont plutôt localisées sur la première syllabe ou au milieu du mot, tandis que les variations de durée arrivent à la fin du mot. il s'agit de voir si les locuteurs reproduisent des dépendances à la position de la syllabe en suppléance vocale. nous posons une première hypothèse selon laquelle les locuteurs pourront combiner un contrôle implicite du focus sur le plan articulatoire, en allongeant la durée de la syllabe à mettre en relief, avec un contrôle explicite sur le plan gestuel, en élevant le contour intonatif sur la syllabe d'intérêt, par le biais de l'interface manuelle. notre seconde hypothèse porte sur un transfert de l'effet de la position de la syllabe sur la f o ainsi que sur la durée des syllabes. le protocole expérimental pour l'élicitation d'un focus contrastif et l'évaluation de sa réalisation par le geste manuel est décrit en section 2. les résultats sont discutés en section 3. ## conclusion au regard des résultats présentés, nous pouvons conclure au succès du transfert de la production du focus à travers la variation de f o c et de la durée sur la syllabe cible. en effet, lors des tâches de production impliquant un contrôle manuel de l'intonation, tous les locuteurs ont clairement explicité le focus en augmentant les valeurs de f o c à l'endroit attendu. ceci indique que les locuteurs ont non seulement perçu l'importance de f o c dans la réalisation du focus, mais aussi qu'ils ont su utiliser les interfaces pour mettre en relief la syllabe cible. ce comportement a été observé chez tous nos locuteurs. par ailleurs, une augmentation significative de la durée des syllabes post cible a également été constatée, à l'instar des données en parole naturelle attestées dans la littérature. contrairement aux observations faites en voix, lors des tâches de production impliquant un contrôle gestuel, nous ne remarquons aucune variation significative de f o en dehors de la focalisation. hormis lors de la réalisation du focus, la voix de synthèse est relativement monotone. nous ne relevons que peu ou pas de variation de f o , y compris à la fin des énoncés, où l'on pourrait s'attendre à une intonation descendante. si les locuteurs ont montré une aptitude à reproduire précisément les contours intonatifs en tâche d'imitation @xcite , dans notre tâche de production, les participants semblent s'être concentrés exclusivement sur la tâche de focalisation, au détriment des autres fonctions de la prosodie. la méthode employée se révèle néanmoins encourageante. en effet, cette étude met en évidence la capacité des participants à 1) comprendre qu'il fallait produire un focus ; 2) intégrer que le focus s'exprime en partie par une augmentation de f o ; 3) planifier et mettre en oeuvre ce contrôle par le biais des interfaces. cependant, il apparaît que l'utilisation des interfaces ait été limitée à une seule fonction prosodique. ceci suggère qu'un apprentissage complet de toutes les fonctions de la communication pourrait nécessiter un entraînement prolongé. au-delà de l'étude d'autres fonctions prosodiques, il conviendrait d'examiner le phénomène de ralentissement de la production des syllabes, observé en conditions pression et rotation, possiblement attribuable à la charge cognitive engendrée par la coordination entre l'articulation et le geste manuel, et/ou au chuchotement. cette question suscite un certain intérêt dans le cadre de travaux futurs.