# Concevoir une fonte pour la transcription des mouth actions en langue des signes : le système typographique Typannot

Adrien Contesse, Morgane Rébulard, Chloé Thomas, Claudia S. Bianchini, Claire Danet, Léa Chevrefils, Patrick Doan

► To cite this version:

Adrien Contesse, Morgane Rébulard, Chloé Thomas, Claudia S. Bianchini, Claire Danet, et al. Concevoir une fonte pour la transcription des mouth actions en langue des signes : le système typographique Typannot. Grapholinguistics and its applications, 2024, Grapholinguistics in the 21st Century, /g afematik/, June 8–10, 2022 Proceedings Part II, 10, pp.781-816. 10.36824/2022-gracont. hal-04719055

HAL Id: hal-04719055

https://hal.science/hal-04719055v1

Submitted on 2 Oct 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
Concevoir une fonte pour la transcription
des *mouth actions* en langue des signes :
le système typographique Typannot

Adrien Contesse, Morgane Rébulard, Chloé Thomas,
Claudia S. Bianchini, Claire Danet, Léa Chevrefils, Patrick Doan

*Résumé*. Le projet Typannot a pour objectif l'élaboration d'un système typographique complet pour l'intégralité des paramètres des langues des signes. Si les configurations manuelles ont été très largement étudiées par la communauté linguistique, on ne peut pas en dire autant des *mouth actions* : aujourd'hui les recherches sur ces dernières restent rares en comparaison des travaux effectués sur les autres paramètres. Pourtant le bas du visage, et plus spécifiquement la bouche, transmettent des informations linguistiques majeures. Dans cet article, est introduit notre travail d'élaboration du système typographique pour la transcription des *mouth actions*. Après avoir présenté le contexte, seront énoncés les objectifs, notre approche et nos méthodologies pour mettre en place la structure du système. Sera présenté ensuite nos processus d'expérimentation et de design typographique avant d'évoquer les usages présents et futurs de la fonte.

*Designing a font for the transcription mouth actions in sign language: the Typannot typographic system*

*Abstract.* The Typannot project aims at creating a complete typographic system to transcribe all sign language parameters. If handshapes have been widely studied by the linguistic community, the same is not true for mouth action. Research on mouth actions is still scarce in comparison with other parameters, yet the mouth carries extensive meaningful linguistic information. In this article, we will introduce our work to set up a comprehensive typographic system for

Adrien Contesse¹ P 0000-0002-8562-1249,

Morgane Rébulard¹ ID 0000-0002-8469-9693,

Chloé Thomas² P 0000-0002-8562-1249,

Claudia S. Bianchini³ ID 0000-0002-4783-1202,

Claire Danet¹ ID 0000-0001-5362-8924,

Léa Chevrefils² ID 0000-0001-9123-1223,

Patrick Doan¹ ID 0000-0002-2012-1630

¹ÉSAD, Laboratoire De-sign-e - 40, rue des Teinturiers 80080, France E-mail : {adrien.contesse,morgane.rebulard,claire.danet,pdoan.atelier}@gmail.com

²Université Rouen Normandie, Laboratoire DYLIS, 17, rue Lavoisier (Bât n° 7C, 1er étage), 76821 Mont-Saint-Aignan Cedex, France E-mail : {thomaschloe2103, leachevrefils}@gmail.com

³Université de Poitiers, Laboratoire UR15076-FoReLLIS – MSHS Bâtiment A5, 5 rue Théodore Lefebvre, TSA 21103, 86073 Poitiers Cedex 9, France, E-mail : claudia.savina.bianchini@univ-poitiers.fr

Y. Haralambous (Ed.), *Grapholinguistics in the 21st Century 2022. Proceedings*

Grapholinguistics and Its Applications (ISSN: 2681-8566, e-ISSN: 2534-5192), Vol. 10.

Fluxus Editions, Brest, 2024, pp. 763–799. https://doi.org/10.36824/2022-graf-cont

ISBN: 978-2-487055-06-3, e-ISBN: 978-2-487055-07-0
mouth actions. After setting the context, we will present our goals, approach and methodology to structure the typographic system as well as explain our processes to design the typeface.

# 1. Introduction

Les langues des signes (LS), plus d'une centaine dans le monde, constituent une partie centrale de l'identité culturelle des personnes (majoritairement sourdes) qui les pratiquent. Traditionnellement elles sont décrites comme des langues visuo-gestuelles, qui permettent de communiquer à travers le mouvement des mains, et c'est sur ces dernières que se concentrent la plus grande partie des études linguistiques. Mais les LS ne se limitent pas aux mains, toute la partie supérieure du corps - les avant-bras, les bras, les épaules, le buste et les différents articulateurs présents sur le visage - est engagée dans la production du sens. Les LS sont aussi des langues considérées exclusivement orales : elles semblent en effet résister aux représentations graphiques symboliques, c'est-à-dire à l'écriture. Que cela soit pour un usage courant (écrire) ou pour faire de la recherche (transcrire), le développement d'une écriture des LS se heurte systématiquement à la difficulté de représenter le mouvement des différentes parties du corps. Mettant de côté l'étude des mains, cet article va se focaliser sur le contexte et les enjeux associés au développement du système de transcription Typannot Mouth Action, qui permet de décrire les gestes buccaux (section 2.1). L'article commence par un bref état de l'art qui permet de se situer au sein des systèmes de représentation des *mouth actions* existants et de leur histoire (section 2.2). Le cadre théorique (section 3.1) et le modèle graphématique (section 3.2) mobilisés dans le système de transcription Typannot sont ensuite exposés. Vient une description des étapes de conception qui sont nécessaires pour créer un système qui soit à la fois fidèle à notre approche et facilement utilisable (section 4). Cette question de l'approvision est réfléchie depuis la perspective du design et de l'ingénierie typographique, de la conception d'interfaces de saisie (section 5) et des besoins des linguistes. Enfin, un cas d'usage concret permet de présenter les perspectives de recherche ouvertes par Typannot Mouth Action (section 6). L'ensemble de ces réflexions ont pour enjeux de proposer un nouvel outil de représentation des LS, complémentaire aux solutions existantes, permettant de prendre en compte les structures corporelles qui régissent les productions gestuelles signifiantes.

# 2. Les *mouth actions* dans la littérature

Les recherches concernant les paramètres non manuels en LS se sont principalement concentrées sur les gestes de bouche. Dans la littérature
sur les LS, on distingue deux types de *mouth actions* : les *mouthings* et les *mouth gestures*.

## 2.1. Mouth gestures et mouthings

Les mouthings ont tendance à reproduire la partie phonétique la plus pertinente des mots de la LV environnante. Il s'agit le plus souvent d'un nom ou d'un adjectif (FONTANA et FABRETTI, 2000). Leur présence serait le résultat d'une éducation orale et/ou d'une situation de contact avec la communauté entendante. En effet, la LV parlée fait partie de l'économie communicative de la communauté sourde signante qui est en contact permanent avec la LV. En outre, les mouthings peuvent avoir une valeur sémiotique car ils indexent le mot ou l'expression qu'ils accompagnent comme signifiant, non pas pour son propre contenu sémantique, mais pour son contenu pragmatique de discours. Les différents mouvements de la bouche sont utilisés conjointement avec la LS, tout comme les gestes co-verbaux le sont avec la parole.

Au contraire, les mouth gestures en LS ne sont pas liés ou influencés par la LV environnante. Au sein des mouth gestures, les différents mouvements de bouche peuvent soit changer, soit rester constant pendant l'articulation du signe. Différents chercheurs (CRASBORN et al., 2008; WOLL, 2001) s'accordent sur le fait que les mouth gestures impliquent diverses configurations de la mâchoire, des lèvres, des joues et de la langue et impliquent des mouvements d'air. Les gestes de bouche reflètent également le rythme du mouvement du signe. Ils jouent différents rôles allant de la fonction lexicale à celle morphémique (adjectivale ou adverbiale). Un exemple du rôle lexical est donné par la paire minmale [ADORER] et [CONFIANCE] en LS Française (LSF) (Figure 1).

Ces deux signes sont des homonymes manuels et sont notamment désambiguïsés (hors contexte) par le geste de la bouche : dans le signe [ADORER] (Figure 1a) la bouche est ouverte et les sourcils sont levés; alors que dans le signe [CONFIANCE] (Figure 1b) le visage est relativement neutre. En reproduisant des mouvements rythmiques, les mouth gestures semblent également fournir des informations onomatopéiques supplémentaires. Ces dernières semblent être liées aux signes comme les gestes le sont à la parole : les mains sont la tête de la bouche (BOYES-BRAEM et SUTTON-SPENCE, 2001). L'application de cette métaphore se retrouve, par exemple, dans la vibration des lèvres, lors de la production du signe [ABEILLE]; ou lors du gonflement de joues accompagné d'une expiration de l'air, exprimant à lui-seul d'exprimer l'ennui.

Différentes études montrent l'importance des mouth gestures en LS, mais pour parvenir à étudier efficacement leurs différentes fonctions, il est indispensable de disposer d'un système de transcription adapté.
<figure><img src="image_2.png" /><figcaption>FIG. 1. Exemple de paire minimale en LSF – corpus EVLS-MOCAP (THOMAS, 2019)</figcaption></figure>

## 2.2. Notations des *mouth actions*

Depuis plus de 5000 ans, l'Homme a développé des systèmes graphiques voués à représenter le langage humain : les écritures. Au cours des siècles, des facteurs linguistiques, historiques, culturels et politiques ont menés à la naissance de nombreuses typologies d'écritures (DANIELS, 1990) – qui partagent le fait d'être des représentations graphiques d'une langue à travers un ensemble de symboles conventionnels (caractères) inscrits sur un support en suivant des règles, elles aussi, conventionnelles.

Née pour garder la trace des échanges commerciaux et/ou des rites religieux (GADOTTI, 2012), l'écriture est aujourd'hui partie intégrante de la vie quotidienne d'une grande partie de la population mondiale<fnref n="1" />. Pour les locuteurs des langues où le développement d'une écriture n'a pas été imposée par les récentes politiques d'alphabétisation globale<fnref n="2" />, celle-ci n'est pas uniquement une manière de transmettre des informations, elle est une partie intégrante du bagage culturel des locuteurs.

Si les écritures « historiques », dans leurs grandes diversités typologiques, sont le fruit de l'histoire et de la culture d'un peuple, il est aussi

<footnote n="1">1. Selon les données fournies par la Banque Mondiale (https://donnees.banquemondiale.org), en 2020, 87% de la population mondiale est alphabétisée, ce taux atteint presque 100% dans les pays de l'Union Européenne.</footnote>

<footnote n="2">2. Ces politiques se limitent souvent à proposer l'apprentissage d'une langue (souvent européenne) écrite en créant des situations de diglossie entre la langue parlée et écrite. Toutefois, elle mènent parfois à l'adaptation d'un système d'écriture existant (souvent alphabétique) pour coder la langue locale.</footnote>
vrai que toute LV peut être décrite de manière phonographique, c'est à
dire en associant à chaque phonème un caractère. Le recours à l'écriture
phonographique permet aux linguistes de transcrire les textes, c'est-à-
dire de représenter graphiquement (plus ou moins) fidèlement la forme
signifiante des mots ou une phrase ayant été prononcés oralement.

Une typologie de langue résiste à la possibilité d'être écrite phono-
graphiquement, les LS : langues visuo-gestuelles, elles ne peuvent être
décrites par des caractères représentant des sons; langues multilinéaires
(puisque plusieurs articulateurs concourent simultanément à la création
du sens), elles ne peuvent être écrites à travers des systèmes graphiques
conçus pour représenter la linéarité des LV. Les LS sont donc non seule-
ment des langues purement de face-à-face, mais aussi des langues, du
moins pour l'instant, non scriptibles (BIANCHINI, 2021).

La non-scriptibilité des LS impacte tant la capacité des locuteurs de
LS à écrire leur langue au quotidien (pour établir une liste de course,
prendre des notes en cours ou écrire un livre en LS) que celle des cher-
cheurs d'analyser les formes signifiantes des LS. Depuis plus d'un demi-
siècle, de nombreuses solutions ont été mises en œuvre pour pallier
ce manque. Certaines – comme SignWriting (SUTTON, 1995) – visent
à créer pour les LS une écriture courante et quotidienne, d'autres –
comme HamNoSys (PRILLWITZ et al., 1989) – avaient comme objectif
la création d'un système de transcription permettant aux linguistes de
représenter les formes signifiantes des LS.

Le premier système de transcription développé dans le but de per-
mettre l'analyse linguistique des LS (notamment la LS américaine –
ASL) est la Notation de STOKOE (1960) et STOKOE, CASTERLINE et
CRONEBERG (1965). À partir de 1960, Stokoe dégage un ensemble de
chérèmes qu'ils regroupent en paramètres formationnels (emplacement,
configuration, mouvement et orientation). À la différence des phonèmes
dont la segmentation dans le discours est séquentielle, les chérèmes se
combinent spatialement et simultanément dans le signe. Dans sa version
originale (1960), la Notation de Stokoe compte 55 symboles et, ni dans
sa version originelle ni par la suite, ce système ne permet la description
des paramètres non manuels.

D'autres systèmes ont émergé par la suite, tirant inspiration de cette
Notation de Stokoe : HamNoSys (PRILLWITZ et al., 1989), la Notation
d'HOHENBERGER et HAPP (2001), le système de transcription d'Ajello,
Mazzoni et Nicolai (AJELLO, MAZZONI et NICOLAI, 2001). Permettant de
décrire les composantes non manuelles des signes, ils nécessitent d'une
présentation plus détaillée.

Le système de transcription HamNoSys (PRILLWITZ et al., 1989) est
une évolution de la Notation de Stokoe. Malgré la grande finesse descrip-
tive de HamNoSys, Prillwitz et collaborateur ont porté peu d'attention
à la représentation des paramètres non manuels
Les composants non manuels ne sont pas suffisamment développés pour HamNoSys. Jusqu'à présent, les mouvements d'autres parties articulées que les mains doivent être décrits avec l'inventaire des mouvements connus de HamNoSys. La description détaillée nécessaire ne peut pas être faite actuellement. (HANKE, 2004)

La Table 1 représente les différents éléments pour annoter les *mouth actions*, nous relevons 6 articulateurs de la face (menton, bouche, langue, joue, lèvres et dents) et 10 valeurs.

<table><caption>TAB. 1. Notation des *mouth actions* dans le système de notation HamNoSys</caption><thead><tr><th>Articulateur</th><th>Représentation</th><th>Articulateur</th><th>Représentation</th></tr></thead><tbody><tr><td>MENTON</td><td>U</td><td>JOUE</td><td>}</td></tr><tr><td>SOUS LE MENTON</td><td>U</td><td>LEVE SUPÉRIEURE</td><td>▲</td></tr><tr><td>BOUche</td><td>▲</td><td>LEVE INFÉRIEURE</td><td>▼</td></tr><tr><td>Langue</td><td>▲</td><td>DEMENTS SUPÉRIEURES</td><td>▲</td></tr><tr><td>DERNIER</td><td>▲</td><td>DEMENTS INFÉRIEURES</td><td>▼</td></tr></tbody></table>

La Notation d'HOHENBERGER et HAPP (2001) a été développée spécifiquement pour décrire les *mouth actions* en LS allemande (DGS). Ce système apparaît possède une granularité assez fine. En effet, il comporte 6 articulateurs de la face (sourcils, yeux, bouche, lèvres, joues et nez) et propose 11 valeurs pour les décrire. La Table 2 regroupe les articulateurs avec les positions correspondantes. Ce système propose en surcroît des caractères pour annoter le pluriel, les termes qui sont exprimés avec un seul signe et les changements de rôle.

Pour finir, la transcription d'AJELLO, MAZZONI et NICOLAI (2001) a été élaborée dans le cadre d'une recherche sur les mouthings en LS italienne (LIS). Ce système possède un grand nombre d'éléments permettant d'annoter un ensemble de position de la bouche. Effectivement, il se compose de 27 valeurs réparties sur 4 articulateurs de la face (la mâchoire, les lèvres, les joues et la langue). Contrairement aux autres notations présentées jusqu'ici, ce système ne propose pas de représentation graphique. La Table 3 regroupe l'ensemble des articulateurs avec les valeurs correspondantes.

Les systèmes présentés ci-dessus décrivent, en utilisant une granularité et une terminologie distincte, des postures de la bouche telles qu'elles sont perçues par le récepteur du signe. Bien qu'ils figurent par-
<table><caption>TAB. 2. Notation des *mouth actions* dans la Notation d'Hohenberger et Happ (2021)</caption><tr><td>44</td><td>Manger du glutin</td></tr><tr><td>-</td><td>Tratation : genner de seler les termes qui sont encombrés avec un ou il signe</td></tr><tr><td>3</td><td>5. Soundis basés</td></tr><tr><td>3</td><td>5. Soundis foncés</td></tr><tr><td>00</td><td>Vaisa grands ouvais</td></tr><tr><td>←</td><td>Bouche en forme de bar</td></tr><tr><td>Y</td><td>Reconnaissance des genies de la bouche : les basiques ligamentés aranéés, bouche formée de manière triste</td></tr><tr><td>Θ</td><td>Lèves foudres en <i>Q</i> ou dégagant de Fair comme si elles souhaitent doucement</td></tr><tr><td>~</td><td>Chagissant de rire : la signalaita grand le point de vue de l'agard dans l'histoire</td></tr><tr><td>U</td><td>Bouche incliné vers la bar</td></tr><tr><td>00</td><td>Joues genilées</td></tr><tr><td>~</td><td>Maz jancé</td></tr><tr><td>~</td><td>Lèves ligamenté plissées</td></tr><tr><td>0</td><td>Bouche en forme de bar avec les joues ligamenté genilées</td></tr></table>

mis les systèmes les plus complets pour représenter les *mouth actions*, ils n'arrivent pas à associer une description articulaire fine à une représentation graphique efficace. Depuis 2012, Typannot, un nouveau système de transcription typographique des LS propose une description alternative basée sur une description articulaire et intrinsèque des signes. Son objectifs est de représenter l'intégralité du corps du signeur, donc aussi ses mouth gestures.

## 3. Système de transcription Typannot

### 3.1. Approche Typannot (modèle linguistique)

L'étude linguistique des LS repose en partie sur la description des phénomènes gestuels à un niveau sous-lexical. Initiée par les travaux de STOKOE (1960), une approche descriptive a progressivement vu le jour en identifiant des paramètres essentiels pour représenter ces phénomènes : la forme de la main, sa position et son orientation dans l'es-
<table><caption>TAB. 3. Notation des mouthings dans le système de transcription d'Ajello et al. (2001)</caption><thead><tr><th>1<br>Ouverture de<br>la mâchoire</th><th>2<br>Position<br>des lèvre</th><th>3<br>Position<br>des joues</th><th>4<br>Position<br>de la langue</th><th>5<br>Utilisation<br>de l'air</th><th>6<br>Direction<br>du mouvement</th></tr></thead><tbody><tr><td>a) fermée</td><td>a) neutre</td><td>a) deux gonflées</td><td>a) protrusion de<br>la pointe de<br>la langue</td><td>a) bouffée</td><td>a) ouverture</td></tr><tr><td>b) semi-fermée</td><td>b) courbées vers<br>le haut</td><td>b) une gonflée</td><td>b) contact avec la<br>zone alvéolaire<br>supérieure</td><td>b) flux</td><td>b) fermeture</td></tr><tr><td>c) semi-ouverte</td><td>c) courbées vers<br>le bas</td><td>c) deux aspirées</td><td>c) inhalation</td><td>d) vibration</td><td></td></tr><tr><td>d) ouverte</td><td>d) étirées</td><td></td><td>d) vibration</td><td></td><td></td></tr><tr><td></td><td>e) contractées</td><td></td><td>c) contact avec la<br>zone alvéolaire<br>inférieure</td><td></td><td></td></tr><tr><td></td><td>f) avancées</td><td></td><td>d) contact avec<br>l'arc dentaire<br>supérieur</td><td></td><td></td></tr><tr><td></td><td>g) aspirées</td><td></td><td>e) contact avec<br>la partie interne<br>de la lèvre<br>inférieure</td><td></td><td></td></tr><tr><td></td><td>h) lèvre inférieur<br>étirée</td><td></td><td>f) contact avec la<br>lèvre supérieure</td><td></td><td></td></tr><tr><td></td><td>i) lèvre inférieure<br>s'appuyant sur<br>l'arc dentaire<br>supérieure</td><td></td><td></td><td></td><td></td></tr><tr><td></td><td>j) étirées vers<br>le haut</td><td></td><td></td><td></td><td></td></tr><tr><td></td><td>k) étirées vers<br>le bas</td><td></td><td></td><td></td><td></td></tr><tr><td></td><td>l) contractées vers<br>le haut</td><td></td><td></td><td></td><td></td></tr><tr><td></td><td>m) contractées vers<br>le bas</td><td></td><td></td><td></td><td></td></tr><tr><td></td><td>n) avancées et<br>contractées</td><td></td><td></td><td></td><td></td></tr></tbody></table>

pace, son mouvement, et – bien plus tard – l'expression du visage. On va retrouver ce découpage dans les différents types de systèmes de représentation existants (section 2), qu'ils servent à écrire les LS comme SignWriting ou à les transcrire comme HamNoSys.

### 3.1.1. Une tradition visuo-spatiale

Cette approche descriptive paramétrique a pour particularité d'être dominée par une conception visuo-spatiale des signes. En effet, les descriptions rendent compte des phénomènes gestuels depuis un point de vue externe, c'est-à-dire que l'on va décrire ce que l'on voit du geste – les effets que celui-ci produit dans l'espace – depuis la perspective d'un observateur. La configuration de la main est ainsi représentée par des figures (une moufle, un doigt crochet, un bec de canard) qui relèvent d'organisations spécifiques des doigts et du pouce (Figure 2). Sa position et son orientation sont déterminées par un référentiel spatial (dévant soi, vers l'avant, etc.). Le mouvement est représenté par des indices
sur la façon dont la main se déplace dans l'espace, la plupart du temps des flèches montrant une trajectoire. L'expression du visage, elle, repose sur un ensemble limité de traits distinctifs (voir les systèmes présentés en section 2.2). Ce mode de représentation est très économe et efficace car il donne à voir des formes constituées et explicites, une sorte d'empreinte de l'activité du signeur qui permettrait d'identifier des unités signifiantes dans la langue. Par exemple, dans la représentation du signe [MAISON], la forme de la main, sa position, son orientation et sa trajectoire rendent clairement compte d'une motivation iconique : l'image schématique d'une maison (dans la tradition architecturale occidentale). Cet ancrage des signes dans la réalité du locuteur, sa façon d'éprouver le monde, est une caractéristique de la manière dont les LS fonctionnent et que les chercheurs nomment iconicité. On peut donc comprendre que la tradition représentationnelle des chercheurs en LS traduit l'importance des critères visuo-spatiaux dans la construction de la langue<fnref n="3" />.

<figure><img src="image_3.png" /><figcaption>FIG. 2. Transcription du signe [MAISON] utilisant SignWriting (centre) et HamNoSys (gauche). Code couleur : vert = configuration de la main, violet = indications sur son orientation dans l'espace, rouge = trajectoire de la main, bleu = contacts entre les mains, noir = symétries du mouvement</figcaption></figure>

Il est incontestable que cette approche visuo-spatiale soit d'une grande utilité dans la description des LS, mais force est de constater qu'elle ne permet pas de s'interroger sur une dimension implicite de ces formes, celle de l'organisation corporelle qui les sous-tend (DANET, THOMAS et al., 2022). En effet, la forme de la main, sa position et son orientation, ou même sa trajectoire dans l'espace sont les produits d'une

<footnote n="3">3. Rapport qui va être très différent dans d'autres formes de productions gestuelles comme la danse et qui donnent lieu à d'autres approches descriptives.</footnote>
organisation corporelle particulière qui n'est pas systématiquement<fnref n="4" /> ex-
plicitée actuellement. Les modèles de description actuels ne permettent
pas de renseigner comment le corps produit ces formes et par consé-
quent il n'est pas possible de s'interroger sur le rôle du corps dans la
structuration de la langue. Caractériser les LS au travers d'un modèle
proprement corporel permettrait aux chercheurs d'articuler deux ni-
veaux de structuration qui sont intrinsèquement liés :

- un niveau corporel décrivant la façon dont les possibilités articula-
toires du corps sont dynamiquement organisées;

- un niveau linguistique<fnref n="5" /> décrivant comment ces organisations corpo-
relles peuvent à chaque instant former des structures signifiantes.

3.1.2. *Un modèle kinésiologique*

Ce modèle corporel doit donc permettre de représenter et d'étudier
scientifiquement le mouvement du corps humain. Cela correspond à un
domaine d'étude existant qui s'appelle la kinésiologie (BOUTET, 2018).
Cette dernière cherche à décrire et à comprendre les principes et les
mécanismes du mouvement à un niveau anatomique et biomécanique,
entre autres. Cette démarche nous permet de modéliser le corps en tant
que système articulatoire complexe et ainsi de décrire des processus ges-
tuels à un niveau sous paramétrique. Dans le cadre de ce projet, nous
avons choisi de modéliser l'activité corporelle à partir de deux compo-
sante, une composante *articulatoire* et une composante *actionnelle*.

Dans la composante articulatoire nous décrivons les différents seg-
ments corporels impliqués dans la production des gestes et caractéri-
sons pour chacun d'eux des degrés de liberté (DdL). Elle permet donc
de représenter l'état du système articulatoire en prenant en compte les
liaisons et les contraintes entre les segments (CHEVREFILS, 2022). Dans
le cadre de l'étude des LS, cette composante regroupe 3 grandes struc-
tures articulatoires (GSA) : la main, les membres supérieurs, le visage.
Chacun d'eux possède des segments distincts qui peuvent être aménagés
selon différents DdL. Par exemple, pour les membres supérieurs nous
avons 3 segments : le bras, l'avant-bras et la main qui offrent en tout 7
DdL. Avec ces quelques variables élémentaires, nous pouvons décrire un
très grand nombre de configuration articulatoire locale et globale. L'ap-
proche kinésiologique permet ainsi de développer des analyses qui ne
sont plus uniquement centrées sur la main (CHEVREFILS et al., 2021).
Nous voyons que la position et l'orientation de la main dans l'espace dé-
coule d'aménagements spécifiques des DdL des membres supérieurs.

<footnote n="4">4. HamNoSys propose une représentation articulatoire corporelle de la main uniquement.</footnote>

<footnote n="5">5. Ce niveau d'analyse serait par exemple utile dans les recherches portant sur la prosodie ou la sémiogénèse.</footnote>
Aux côtés de cette composante articulatoire, nous sommes en train de définir une composante actionnelle qui doit rendre compte de la façon donc ces structures articulatoires peuvent se transformer. L'idée est de pouvoir caractériser les différents modes de mobilisation des parties et de leur DdL dans le temps. Ainsi, cette dernière composante nous permettra d'aborder le geste comme une «phase» ou un ensemble de «phases» regroupant des configurations articulatoires et des actions dans le temps.

Cet article se focalisera sur la conception de Typannot Mouth Action, un système de transcription qui porte sur une des 3 GSA que nous venons de présenter.

## 3.2. Modèle grapholinguistique

L'objectif de Typannot est de proposer un outil de transcription qui mette en œuvre les principes de ce modèle articulatoire corporel. Concrètement, il s'agit de développer un système typographique ainsi que les interfaces de saisie permettant son utilisation par les chercheurs. Un des enjeux a donc été de concevoir les conditions de l'appropriation d'un modèle qui repose sur une perspective interne du geste et qui est donc à première vue opaque.

Comme décrit plus haut, le système typographique, en cours de développement, sera composé de 4 polices de caractères, 3 pour les GSA et une pour décrire les caractéristiques actionnelles. Elles transposeront sous la forme de symboles graphiques le système graphématique permettant de représenter chacunes de ces composantes. Pour décrire Mouth Action, nous utilisons un modèle graphématique qui est commun aux autres GSA (DOAN et al., 2019) et qui articule 3 niveaux d'information (Table 4) :

- la partie ou segment (bouche, sourcil, etc.);

- le DdL (converge/diverge, up/down, etc.);

- la valeur du DdL (++, +, 0, etc.).

Ce registre de quelques symboles permet de systématiquement corder et décoder une très grande variété de gestes sous la forme de séquences obéissant à une syntaxe précise. Au travers de cette forme de transcription de type phonétique articulatoire, les chercheurs peuvent opérer des analyses à un niveau articulatoire du signe et partager leurs corpus sans être limité par les barrières d'un codage utilisant leur LV respective. Dans un souci d'appropriation et d'utilisation plus large, nous avons voulu introduire une autre forme de représentation qui puisse faire l'inverse de la décomposition en unité minimale. En effet, chaque transcription utilisant une suite logique de symboles génériques renvoie à une organisation particulière du corps, qui vue de l'extérieur va
<table><caption>TAB. 4. Répertoire des glyphs génériques Mouth Action</caption><thead><tr><th>PARAMETER</th><th>PARTS</th><th>VARIABLES</th><th>VALUES</th></tr></thead><tbody><tr><td rowspan="7"></td><td rowspan="7"></td><td>Selection</td><td>Vermillion<br>Corners<br>Left Sel<br>Right Sel<br>Upper Sel<br>Lower Sel<br>Both Sel</td></tr><tr><td>Vergence</td><td>Converge<br>Diverge<br>Horizontal<br>Vertical<br>+1<br>Plus One<br>+2<br>Plus Two</td></tr><tr><td>Position</td><td>Up<br>Down<br>Left<br>Right<br>Fore<br>Back<br>+1<br>Plus One<br>+2<br>Plus Two</td></tr><tr><td>Contact</td><td>Contact<br>Vermillion<br>Corners<br>Dental Arc<br>Alveolus<br>Cheeks<br>()</td></tr><tr><td>Shape</td><td>Flat<br>Round<br>Tip<br>Blade</td></tr><tr><td>Channel</td><td>Inward<br>Outward</td></tr><tr><td>Stream</td><td>Obstructed<br>Restricted</td></tr><tr><td></td><td></td><td></td><td></td></tr></tbody></table>

être perçue comme une figure. Nous avons donc développé un second registre glyphique que nous avons nommé composed qui fait la synthèse visuelle des transcriptions et permet d'afficher une représentation simplifiée de la figure produite (Figures 3 et 4).

## 4. Étape de conception Typannot Mouth Action

La complexité de la structure musculaire et morphologique du visage et notre capacité à identifier et à interpréter les plus infimes mouvements et changements d'expression font de la transcription du visage – *via* un système typographique – un réel défi. À l'opposé de la flexibilité du visage humain, une typographie est par nature structurée et rationalisée. Les caractères qui la composent doivent être séquencés selon une logique précise et leurs formes typographiques doivent être parfaitement intelligibles. Comment, donc, réunir le visage et la lettre dans une typographie qui respecte les principes généraux du système Typannot? Les éléments de réponse à cette question peuvent difficiles
<figure><img src="image_4.png" /><figcaption>FIG. 3. Exemple de transcription d'une *mouth action*, présenté dans la forme gé- nérique et la forme composed de la fonte Mouth Action</figcaption></figure>

<figure><img src="image_5.png" /><figcaption>FIG. 4. Série de glyphs composed de la fonte Mouth Action</figcaption></figure>

lement être trouvés dans une réflexion purement théorique. En effet, le cheminement nécessaire à la résolution de cette problématique in- voque conjointement réflexions, méthodologie et expérimentation for- melle. Au travers des paragraphes suivants, seront exposées les étapes clés et les prises de positions qui ont permis la structuration et le design du système typographique Mouth Action de Typannot.

## 4.1. Formule graphématique

La première nécessité pour concevoir un système typographique des *mouth actions* est d'avoir une formule graphématique efficiente. Cette for- mule est la fondation, sans laquelle le système typographique ne serait
qu'une liste plus ou moins arbitraire de glyphs représentant des expressions faciales. Elle se doit d'être adroitement réfléchie, car elle constitue la structure descriptive sur laquelle vont s'appuyer les caractères typographiques. Sans une formule efficace, structurée et compréhensible, il est impossible de concevoir un système typographique intelligible. Une formule graphématique qualitative pour les *mouth actions* doit répondre à 3 exigences principales. La première est évidente, les composantes de cette formule doivent permettre la codification de toutes les *mouth actions* existantes. La deuxième, est qu'elle doit pouvoir réaliser cette tâche en étant le plus économique possible et en invoquant un nombre limité d'éléments pour maintenir un niveau de complexité bas. La dernière existence est qu'elle doit être organisée de manière logique pour permettre un apprentissage facile et une utilisation efficace.

Lors de la constitution de l'état de l'art sur les *mouth actions*, la classification des composantes morphologiques des *mouth actions* proposée par SUTTON-SPENCE et DAY (2001) a été retenue. Ces deux chercheuses proposent deux organigrammes, l'un partant de « mâchoire fermée » et l'autre de « mâchoire ouverte » qui se développent en un embranchement des possibles composantes morphologiques de la bouche. Cette approche méthodologique est particulièrement intéressante, car elle permet une représentation visuelle organisée des composantes du visage. Ces organigrammes, ayant été réalisés en vue de l'analyse d'un corpus précis en LS britannique (BSL), ne peuvent pas être exhaustifs, mais ils permettent d'imaginer la création d'une cartographie graphématique des *mouth actions* (Figure 5).

<figure><img src="image_6.png" /><figcaption>FIG. 5. Organigramme « mâchoire fermée » Sutton-Spence et Day (2001)</figcaption></figure>
En s'inspirant de cette démarche, nous avons étendu la portée du tra-
vail réalisé en créant un organigramme plus exhaustif et plus universel.

Les analyses existantes sur les *mouth actions* étant très limitées en nombre, nous avons pris le parti de créer une formule graphématique qui peut transcrire « toutes » les positions morphologiques faciales. Cela revient à créer une formule basée sur la physiologie du visage humain et non sur une compilation d'occurances de visages présentes dans les corpus existant. C'est un objectif ambitieux, mais qui permet de créer une formule universelle adaptable à tous les contextes langagiers.

Baser la formule graphématique sur les capacités morphologiques du
visage résout le problème lié au manque de corpus, mais apporte une
nouvelle question à laquelle répondre : comment déterminer la granu-
larité de la description morphologique si l'on ne peut pas se baser sur
un corpus complet, et de ce fait, tester la juste identification d'une liste
déterminée de *mouth actions* à transcrire ? Deux contraintes, l'une percep-
tive, l'autre fonctionnelle, nous permettent de trouver un juste équilibre
entre une granularité trop grossière, qui ne permet pas la transcription
de certaines composantes morphologiques, et une granularité trop fine,
qui engendre une formule trop lourde dans son utilisation. C'est donc les
notions de saillance visuelle des *mouth actions* à représenter et de contexte
d'utilisation de la formule graphématique qui nous permettent de déter-
miner où placer le curseur de la granularité.

Trouver ce juste équilibre nécessite de nombreuses phases de concep-
tion et de test. Les premières versions créées avaient un niveau de gra-
nularité très fin, avec pour volonté de retranscrire un large panel de
nuances. La segmentation d'une variable comme l'ouverture était alors
réalisée en 5 incrémentations (fermée, semi-fermée, semi-ouverte, ou-
verte, complètement ouverte). Les organigrammes résultant d'une telle
segmentation étaient alors extrêmement complexes et le nombre de ré-
sultats possibles exponentiel. Une telle formule ne répondait pas conve-
nablement aux besoins liés à son utilisation. Après des tests de trans-
cription, il s'est avéré qu'un tel degré de granularité était peu utile, car
l'annotateur n'était pas en capacité de discerner avec autant de précision
les composantes du visage en action dans un extrait de discours.

Une nouvelle version de la formule (Figure 6), plus économique dans
la description, propose une segmentation moins fine, en 3 incrémenta-
tions pour notre variable de l'ouverture (fermée, semi-ouverte, ouverte).
Elle permet une simplification substantielle et, après avoir réalisé des
tests d'annotation de corpus, semble être plus en adéquation avec les ca-
pacités perceptives d'un annotateur lors de la transcription d'un corpus
vidéo.

Pour valider cette formule, plus efficiente dans son organisation et
répondant aux besoins de l'annotateur, un test regroupant 5 bêta tes-
teurs fut organisé sur 4 jours (en 2017). Les résultats, très positifs en
ce qui concerne la capacité de description de la formule, ont toutefois
<figure><img src="image_7.png" /><figcaption>FIG. 6. Travail de complétion d'un organigramme « mâchoire fermée » pour Mouth Action</figcaption></figure>

été contrebalancés d'une certaine difficulté d'apprentissage et d'utilisation liée au grand nombre de valeurs à connaître. En effet, cette formule comportait une centaine de valeurs possibles avec pour chacune un vocabulaire propre (ex : stretched, pressed, bent, puffed, sucked in, etc.). Par exemple, pour décrire un mouvement de rétractation, les lèvres sont « retroussées » alors que la mâchoire est « rentrée »; pour décrire en rapprochement forcé entre deux sous-parties, les lèvres sont pressées alors que la mâchoire est serrée.

Pour répondre à cette difficulté de prise en main, une simplification de la formule était requise. Pour ce faire, la syntaxe a été entièrement requestonnée pour être plus objective et moins descriptive dans son vocabulaire. Dans cette recherche, il est apparu que toutes les valeurs utilisées dans la formule comportent intrinsèquement que des informations tridimensionnelles. En effet, une *mouth action* complexe peut être décrite dans son intégralité, en appliquant des coordonnées X,Y,Z aux différentes parties du visage (Figure 7). Par exemple, les lèvres retroussées et une mâchoire rentrée impliquent toutes deux un mouvement sur l'axe de la profondeur (Z-1); des lèvres pressées et une mâchoire serrée impliquent toutes deux une convergence sur l'axe des X (X+1;X-1). Cette description axiale des parties du visage permet une économie de vocabulaire significative et simplifie les possibilités de l'annotateur lorsqu'il doit déterminer quelle valeur attribuer aux différentes parties du visage.
<figure><img src="image_8.png" /><figcaption>FIG. 7. Grille tridimensionnelle à la base de la formule graphématique Typannot Mouth Action</figcaption></figure>

Dans cette formule (Figure 8), la bouche est décomposée en 5 parties (la mâchoire, les commissures des lèvres, le vermillon des lèvres, la langue, l'utilisation de l'air) qui ont chacune un set de position possible – ou de direction possible dans le cas de l'utilisation de l'air – sur les axes X,Y,Z. Cette économie structurelle rend la formule plus simple et plus concise : plus efficiente dans son fonctionnement, elle conserve toutes ses capacités descriptives.

<figure><img src="image_9.png" /><figcaption>FIG. 8. Syntaxe de la formule graphématique Mouth Action</figcaption></figure>

Une série de tests, conduits en 2020 sur 6 participants, a permis de valider les bénéfices de la nouvelle formule graphématique, mais aussi de mettre en évidence une impression d'abstraction lors de son utilisation. En effet, le cerveau humain n'est pas habitué à percevoir ou interpréter le visage humain sur un plan uniquement spatial. Afin de faire le lien entre cette formule tridimensionnelle efficiente, et le vocabulaire plus couramment utilisé pour décrire les *mouth actions*, il a été important de réaliser un tableau de correspondance, qui lie les combinaisons de positionnement X,Y,Z à un vocabulaire morphologique descriptif. Par exemple, des lèvres en position Z+1, équivalent à des lèvres en protru-
sion; des commissures en divergence (Y+1,Y-1) équivalent à des lèvres étirées, etc.

## 4.2. Recherche typographique

### 4.2.1. Intentions typographiques

En termes typographiques, l'intention première a été de créer un système typographique modulaire qui trouve l'équilibre entre ressemblance morphologique et symbolisme. La modularité permet d'utiliser au besoin les différentes composantes de la bouche, avec pour chacune un set de variantes, pour composer une *mouth action*.

Pour ce qui est de la ressemblance morphologique, elle permet une identification des glyphs intuitive, car basée sur nos capacités naturelles de reconnaissances des expressions faciales. A l'inverse, le symbolisme permet de créer des marqueurs forts et facilement identifiables, utiles là où l'aspect morphologique ne permet pas une différenciation des glyphs suffisante pour une utilisation typographique.

Le but d'un tel système, outre de faciliter la prise en main, est d'avoir une fluidité visuelle entre formule graphématique et forme glyphique. Cela induit qu'un utilisateur a la possibilité de comprendre et d'intégrer la traduction formelle – typographique – des valeurs de la formule graphématique. Dans le cas de l'utilisation d'un symbole, cela est particulièrement direct puisque chaque symbole code directement une valeur graphématique. Dans le cas d'une ressemblance morphologique, cela n'est pas aussi direct, car une valeur graphématique doit être traduite en ce qu'on pourrait appeler une expression typographique, une forme non absolue, mais s'appliquant et interagissant avec les autres valeurs graphémiques d'un module.

Dans cette réflexion, on peut noter que d'un côté la forme morphologique est simple à interpréter visuellement, mais peut devenir problématique lors de combinaisons typographiques complexes. De l'autre, le symbole est typographiquement simple et minimaliste, mais peut nécessiter un effort non négligeable de décodage dans le cas d'une utilisation excessive. C'est donc un équilibre entre ces deux principes typographiques qui permettra la mise en place du système le plus efficace.

### 4.2.2. Préambule graphique

Mettre en place un système modulaire d'hybridation morphologique et symbolique est une tâche peu commune et relevant du défini. Afin d'initier la conception de ce système, la première étape a été d'identifier les différents éléments constitutifs de la bouche (Figure 9), d'intégrer leurs formes et de comprendre leurs interactions morphologiques.
<figure><img src="image_10.png" /><figcaption>FIG. 9. Identification des composantes morphologiques de la bouche</figcaption></figure>

<figure><img src="image_11.png" /><figcaption>FIG. 10. Premiers croquis exploratoires de formes de bouche</figcaption></figure>

Pour ce faire, des crayonnés et croquis ont permis d'identifier certains éléments physiologiques constitutifs du visage fortement représentatifs. L'acte manuel du dessin permet de questionner les courbures, les rapports de forme et de taille qui font naître chez le spectateur les liens entre l'objet réel observé et sa représentation picturale (Figure 10).

### 4.2.3. Recherche

Suite à ce travail de croquis anatomique, une série d'exercice de rationalisation des formes a permis l'émergence des premières formes filaires. Ces embryons typographiques avaient pour but de conserver l'esentiel d'un croquis morphologique en éliminant toutes les composantes formelles superflues. Après vectorisation, cette série de dessins filaires
<figure><img src="image_12.png" /><figcaption>FIG. 11. Premières esquisses de formes simplifiées</figcaption></figure>

<figure><img src="image_13.png" /><figcaption>FIG. 12. Première série de formes filaires vectorisées</figcaption></figure>
nous a permis de confirmer une possible identification intuitive d'un set
de *mouth actions* en utilisant une forme simplifiée (Figure 11).

Cependant, une telle collection de glyphs ne représente en aucun cas
un système typographique. À ce stade, les éléments qui le composent ne
sont pas travaillés pour une utilisation modulaire, et leur utilisation se
réduit à un glossaire de dessins vectoriels. De plus, réduit à taille ty-
pographique, les éléments constitutifs perdent leur potentiel d'identifi-
cation. Enfin, des différences morphologiques subtiles sont facilement
identifiables sur un visage, mais sont très loin de l'être sur un glyphe ty-
pographique. C'est à cette étape que l'adjonction d'élément symbolique
permet de radicaliser le répertoire formel et confère aux tracées une bien
meilleure identification à petite taille (Figure 12).

L'équilibrage entre utilisation de symboles et référence formelle à
la morphologie a nécessité de très nombreuses itérations. Les éléments
constitutifs du système typographique étant modulaires, ils doivent être
calibrés pour différents scénarios de combinaisons. De plus, chacun des
modules de ce système peut se voir attribuer plusieurs valeurs graphé-
matiques, ces valeurs ayant des caractéristiques formelles qui leurs sont
propres, elles doivent pouvoir se combiner. Le module de glyphe qui en
résulte doit malgré plusieurs combinaisons permettre l'identification de
tous les éléments graphémiques le constituant. Cela revient à réaliser
une interpolation entre plusieurs formes, toutes permettant l'identifi-
cation de chacune des constituantes dans le résultat. L'ensemble de ces
contraintes demandent une approche rigoureuse et méthodique afin de
construire plus qu'une typographie, un système typographique modu-
laire.

4.3. Rationalisation et règles

4.3.1. *Grille de construction*

Un système construit à partir de modules devant se combiner de-
mande à ce que ces derniers aient des largeurs et des hauteurs rationali-
sées. Pour veiller à cela, a été créé une grille de composition (Figure 13).
Celle-ci a des proportions relativement fidèles à notre visage, en accord
avec l'approche morphologique et intuitive de notre proposition. Pour
définir la taille du plan de travail des glyphs, il faut prendre en compte
l'ensemble des modules constitutifs d'une *mouth action* et ceux qui ont la
plus grande taille (Figure 14). L'impossibilité de la mâchoire à s'ouvrir
vers le bas a permis de définir une ligne médiane entre les deux lèvres
qui marque la différence de comportement entre les éléments au-dessus
et en dessous de ce repère. Cette ligne peut être considérée comme une
portée guidant la lecture et l'écriture des *mouth actions*. La largeur et la
hauteur du plan de travail est divisé, par incrément, de manière concen-
<figure><img src="image_14.png" /><figcaption>FIG. 13. Grille de composition commentée avec le placement de lèvres neutres</figcaption></figure>

<figure><img src="image_15.png" /><figcaption>FIG. 14. Grille de composition avec le placement des deux modules les plus grands [lèvres diverge horizontales et verticales +2]</figcaption></figure>
trique à partir du centre des deux lèvres, selon les différentes ouvertures (divergence horizontale et verticale) que peuvent prendre la bouche. À ceci s'ajoutent quelques repères de placements pour les modules des autres parties de Mouth Action.

### 4.3.2. Répertoire de modules morphologiques et symboliques

Un système typographique morphologique a été notre intuition première et donc notre postulat de départ. Suite à la première série de formes filaires montrées plus haut (Figure 12) et lors du développement sur ce modèle des autres modules pour compléter le système, il est apparu nécessaire de symboliser certaines informations plutôt que de les figurer. Ceci pour éviter une surcharge visuelle des glyphs et s'écarter d'une représentation illustrative. S'est alors opéré un jeu d'allers-retours d'essais de combinaisons de modules morphologiques et symboliques pour définir quelle information était pertinente de représenter à l'aide d'un code et laquelle à l'aide de sa forme visuelle. Ceci nous a permis d'arriver à placer le curseur au bon endroit pour une lecture simple et immédiate. Ainsi notre répertoire de modules se compose de deux catégories de modules : morphologique et symbolique. Les modules morphologiques sont formellement variants, ceux symboliques invariants. Les modules morphologiques des différentes variables de bouche ont une forme de base neutre et ont des déclinaisons formelles (Table 5). Il n'a pas été simple de définir les différents modules nécessaires à la représentation de toutes les formes que peut prendre la bouche. C'est à l'aide de nombreux tests de représentation de *mouth actions* (issues de notre corpus photographique) que nous avons pu le réaliser. Tous les modules sont dessinés de manière filaire, de même épaisseur, à bouts ronds.

### 4.3.3. Environnement tridimensionnel

Le système typographique Mouth Action a été conçu, à l'image de la formule graphématique, dans un environnement tridimensionnel. Ainsi, on se sert de la largeur (axe X), de la hauteur (axe Y) et de la profondeur (axe Z) pour faire varier les modules neutres de chaque « valeur ». Là aussi, grâce à ce principe graphique, nous respectons un espace, des proportions, un « mouvement » morphologique réalistes pour une lecture intuitive des glyphs créés (Figure 15).

Une difficulté s'est imposée, la représentation de la profondeur des valeurs « back » et « fore » à certain module. En effet il est complexe, au moyen d'un trait ou d'un ensemble de traits, uniquement en 2D, en noir seul, de montrer une 3e dimension. Pour cela, deux solutions ont été trouvées. Dans le cas où la forme de la partie, comme la bouche, lorsqu'elle est en avant ou en arrière, change fortement et a un potentiel
<table><caption>TAB. 5. Répertoire des modules de lèvres lorsque la mâchoire est neutre</caption><thead><tr><th></th><th></th><th>Converge</th><th>Aberrat</th><th>Diverge</th></tr></thead><tbody><tr><td rowspan="3">Mandibule</td><td>Converge</td><td>X</td><td>X</td><td>X</td></tr><tr><td>Aberrat</td><td>=</td><td>=</td><td>=</td></tr><tr><td>Diverge</td><td>C</td><td>C</td><td>C</td></tr><tr><td rowspan="2">Fove</td><td>Aberrat</td><td>C</td><td>C</td><td>C</td></tr><tr><td>Diverge</td><td>C</td><td>C</td><td>C</td></tr><tr><td>Back</td><td>Aberrat</td><td>=</td><td>=</td><td>=</td></tr></tbody></table>

iconique, alors nous représentons cette forme (Figure 16a). À l'inverse, quand la forme de la partie, comme la mâchoire, lorsqu'elle est en avant ou en arrière, se modifie subtilement et n'a donc pas de potentiel iconique, alors a été créé un signe symbolique (Figure 16b). Celui-ci est utilisé tel un diacritique en accompagnement du module principal.

### 4.3.4. Règles de composition

Nous avons montré que l'ensemble des composantes du système, les modules (forme, taille, comportement) et leur espace de composition ont été définis en amont (section 4). Pour entrer sereinement dans la phase de production de la fonte, il est nécessaire de rédiger les règles de composition des modules au sein d'un document centralisé, à l'image d'un manuel. C'est un document de travail, entre les différents membres de l'équipe, permettant une bonne compréhension et pérennisation des informations. Il est également à destination de nos collaborateurs, notamment à l'ingénieur typographique qui réalise la composition des modules. Ce document garantit ainsi de rester fidèle aux intentions de départ grâce à une bonne transmission des informations. Celui-ci contient :

- le rappel de la formule graphématique;

- les impossibilités morphologiques;
<figure><img src="image_16.png" /><figcaption>FIG. 15. Les différents modules de mâchoire</figcaption></figure>

- la correspondance entre les informations à représenter et les modules appropriés;

- le placement et les espaces à respecter entre chaque module;

- les informations non représentées car non saillantes;

- les cas particuliers.

# 5. Design & ingénierie typographique : perspectives

## 5.1. Ingénierie typographique

### 5.1.1. *Composition de glyphs automatisée*

Le nombre de combinaisons de *mouth actions* et donc de glyphs possibles, même en y soustrayant les impossibilités morphologiques, se compte en centaines de milliers. Par conséquent, composer ces glyphs un à un, manuellement, n'était pas envisageable. Profitant de la possibilité de créer aisément des outils d'automatisation, nous avons collaborer avec Mathieu Réguer (ingénieur informatique) afin de développer une extension appelée « Control Center » pour le logiciel de création de caractères Robofont®<fnref n="6" />. Cette extension, développée à l'origine pour Ty-

<footnote n="6">6. Robofont® est un éditeur de fontes. Il fourni un environnement simple à utiliser pour créer des caractères. Contrairement aux autres éditeurs de fontes, il est extensible, c'est-à-dire que si une fonctionnalité n'existe pas dans le logiciel, elle peut</footnote>
<figure><img src="image_17.png" /><figcaption>FIG. 16. Solutions glyphiques : forme iconique (a) et ajout d'un signe symbole (b)</figcaption></figure>

pannot Handshape (DANET, BOUTET et al., 2020), est aujourd'hui utilisée pour Mouth Action.

Ce processus de création de glyphs est composé de plusieurs étapes clés. Tout d'abord, sont rédigées les règles de composition des glyphs. Ainsi sont listés les modules et leurs rôles, leurs positionnements et leurs distances les uns par rapport aux autres, du comportement général à l'exception. Ensuite, sur chaque module dessiné, sont ajoutées des «ancres». Une ancre est identifiée par un nom et représente une position dans l'espace (Figure 17). Elles sont utilisées comme points de référence pour attacher des composants à un glyphe de base. Elles permettent également de créer une interpolation de formes entre deux modules.

Enfin, l'extension susnommée combine les modules et génère les glyphs automatiquement (Figure 18). Au préalable, ont été renseignés dans l'extension : la formule graphématique, les noms des génériques et des modules ainsi que les règles de composition écrites sous forme de scripts en Python. Une fois l'extension implémentée dans Robofont®, il suffit de téléverser les formules des glyphs souhaités dans la barre déroulante. L'extension lit une formule, indique les génériques qui la composent, les modules associés et visualise le résultat. L'affichage permet

<footnote>être ajoutée par l'utilisateur, ce qui lui permet d'adapter le logiciel à ses besoins réels. Robofont® a été gratieusement mis à disposition du projet Typannot par son développeur, Frederik Berlaen.</footnote>
<figure><img src="image_18.png" /></figure>

(a) Positionnement d'ancres «left» [gauche] et «right» [droite] sur un des modules de base «stretched» [étiré]

<figure><img src="image_19.png" /></figure>

(b) Positionnement des modules sur les ancre du module de base «stretched» [étiré] pour former le glyph streched

<caption>FIG. 17. Positionnements d'ancres (a) et de modules (b)</caption>

au dessinateur de caractères de contrôler le résultat avant de compiler pour génération des glyphs.

<figure><img src="image_20.png" /><figcaption>FIG. 18. Capture d'écran de l'extension de création automatique de glyphs «Control center» version Handshape</figcaption></figure>
### 5.1.2. Unicode et nomenclature

Afin de garantir une pérennité et une transférabilité des données typographiques, il est fondamental d'intégrer le standard informatique Unicode®. Il permet des échanges de textes de différentes écritures à un niveau mondial. Il permet d'encoder des caractères de n'importe quel système de notation ou d'écriture en donnant un nom et un identifiant numérique unifié (n° Unicode), quels que soient la plateforme informatique ou le logiciel utilisé.

Le processus d'acceptation d'une nouvelle écriture de la part du Consortium Unicode® ne peut pas débuter avant la stabilisation complète d'un système graphique, ce qui n'est pas encore le cas pour Typannot. Pour cette raison, et afin de pouvoir utiliser nos caractères dans tous logiciels et plateformes, nous les encodons, pour l'instant, dans une des plages de numéros Unicode laissés libres (Private Use Area) pour qui a besoin d'un jeu spécial de caractères à des fins personnelles. Cela nous permet, dès à présent, de construire la structure de notre système de notation de manière compatible avec les attentes du Consortium, facilitant ainsi une future intégration de Typannot à Unicode® (Figure 19). Pour cela, sont mis en place :

- une fonte au format OpenType (.otf) par paramètre (6 au total) regroupées en une famille de caractères;

- un rangement pertinent des caractères les uns après les autres (définition du charset [jeu de caractères]);

- un nom pour chaque caractère (nomenclature).

## 5.2. Clavier virtuel

Le système Typannot ne peut pas se suffire à lui-même. Malgré un système typographique qui s'appuie sur une formule graphématique efficente, un fonctionnement organisé pour une compréhension et prise en main aisées, des glyphs typographiques conçu pour une lisibilité sans effort (et ce même à petite taille), la fonte Typannot Mouth Action n'en reste pas moins un système entièrement conçu sur mesure et un tel système ne peut s'appuyer sur les outils et les interfaces de saisies existantes. En effet, une interface de saisie ne peut être fonctionnelle qu'en étant adaptée d'un côté au système utilisé et de l'autre à son contexte d'utilisation.

Pour répondre à ces besoins, une interface de saisie spécifique est en cours de développement pour le système Typannot. Son fonctionnement et son ergonomie ont été développés au regard de la structure du système Typannot et des scénarios de sa future utilisation. À terme, le clavier Typannot disposera d'une interface par fonte (doigts, visage,
<figure><img src="image_21.png" /><figcaption>FIG. 19. Capture d'écran du jeu de caractères de la fonte Mouth Action</figcaption></figure>

membres supérieurs, mouvement), spécifiquement adaptée à la formule graphématique du paramètre en question. Aujourd'hui, Handshape est le paramètre le plus avancé (DANET, BOUTET et al., 2020), pour lequel une interface fonctionnelle complète a été développée et est en cours de finalisation (Figure 20).

L'interface du paramètre Mouth Action aura un grand nombre de points communs avec l'interface Handshape (Figure 21). Cependant, certaines spécificités devront être questionnées pour garantir la meilleure expérience utilisateur. Un élément fondamental du clavier Typannot est de créer un point d'entrée intuitif dans l'utilisation du système typographique. L'idée est que l'utilisateur se familiarise avec le fonctionnement du système typographique ainsi que ses règles d'utilisation par l'acte même de la transcription via l'interface. Pour ce faire, l'affichage du clavier offre une visualisation conjointe de la formule graphématique et du résultat glyphique.

Les boutons et curseurs avec lesquels est amené à interagir l'utilisateur ont un impact direct sur d'un côté le glyphe, et de l'autre, la syntaxe de la formule. Cette double lecture, outre son avantage didactique, offre une extrême clarté dans les mécanismes qui sont à l'œuvre dans la composition des glyphs et permet à tout moment de vérifier les données entrées et les résultats correspondants.
<figure><img src="image_22.png" /><figcaption>FIG. 20. Interface pour sélectionner la fonte du clavier Typannot</figcaption></figure>

Un point en particulier différencie la formule Mouth Action de la formule Handshape : sa structuration autour de valeurs tridimensionnelles. Son interface, devra donc, pour correspondre au standard du clavier Typannot et à ses objectifs fonctionnels et didactiques, adapter ses fonctionnalités afin d'aligner ses éléments d'interaction avec la formule Mouth Action. En pratique, cela reviendra à créer une interface de saisie qui communique, de par son affichage, la nature tridimensionnelle des valeurs saisies. Grâce à cela, le lien entre les actions entreprises par le transcripteur, l'affichage du glyphé correspondant et la formule graphématique sur lequel il se construit seront entièrement fluides. En terme opérationnel, cela nécessitera a minima une réinterprétation des curseurs utilisés dans l'interface Handshape et une adaptation de l'affichage de l'avatar et des glyphs. Toutes ces modifications devront par la suite être testées et affinées jusqu'à l'aboutissement complet de l'interface.

## 6. Usages et perspectives pour Typannot

Bien que la fonte Mouth Action ne soit pas compète avec les glyphs composed et l'interface de saisie pour y accéder, une première fonte des génériques du système Facial Action comprenant Mouth Action et Eye Action a été utilisée et testée.
<figure><img src="image_23.png" /><figcaption>FIG. 21. Interface de saisie Handshape</figcaption></figure>

## 6.1. Cas d'utilisation

Le système de transcription Mouth Action est actuellement en phase de test au sein de la thèse de THOMAS (en cours). Elle cherche à mettre en évidence des marqueurs non-manuels au sein de différents types d'énoncés interrogatifs en LSF. De plus, elle prépare les prémisses de leur annotation semi-automatique en Typannot. Pour cela, un corpus composé de 6 signeurs sourds, âgés de 18 à 25 ans utilisant la LSF comme langue principale, a été constitué. Celui-ci a été enregistré en utilisant différentes technologies de capture de mouvement (MoCap) que sont le Perception Neuron® (mouvement du buste) et le logiciel OpenFace® (mouvement de la tête et articulateurs de la face) ainsi que du matériel de captation vidéo (4K et HD). Le système de transcription Facial Action a été implémenté dans le logiciel d'analyse du discours multimodal Elan®. La figure 22 présente un extrait du corpus annoté :

Typannot a permis d'annoter l'ensemble des articulateurs de la face (sourcils, paupières, globes oculaires, air, mâchoire, lèvres et langues) du corpus avec une granularité très fine, dans le but d'obtenir des récurrences de patrons non manuels au sein d'énoncés interrogatifs. En parallèle de l'annotation, elle a réalisé un premier essai de mise en relation entre les données issues de la transcription manuelle avec celles tirées de l'utilisation du système OpenFace®. Pour cela, a été constitué une
<figure><img src="image_24.png" /><figcaption>FIG. 22. Extrait d'annotation en Mouth Action (corpus EPNMLSF-Mocap2)</figcaption></figure>

vidéo composée seulement de « levés de sourcils » et sans éléments venant perturber la captation (tels que des mains passant devant le visage) (Figure 23). Il a ainsi été possible de mettre en place un algorithme permettant d'identifier un « levé de sourcil » au sein des données d'OpenFace® et de lier ces données aux annotations manuelles réalisées préalablement. L'un des résultats préliminaires a été de montrer la cohérence entre les données annotées automatiquement et celles réalisées manuellement, même si les premières sont plus précises que les dernières. Désoormais, il reste à tester cet algorithme sur un plus grand éventail de données ainsi que sur un corpus en LSF.

## 6.2. Communauté et évolution

Tout d'abord pensé pour les LS, Typannot est en réalité un système de transcription du corps dans son ensemble. En prenant également en compte les segments des membres inférieurs, le modèle proposé pour étudier les transformations corporelles fonctionne aussi bien pour les LS, la gestualité co-verbale ou pour toute autre forme d'expression corporelle.

Ce système de transcription a besoin d'une communauté d'utilisateurs pour s'adapter à leurs besoins, évoluer et démontrer son potentiel. C'est dans ce désir de partager notre outil sans attendre la fin de notre recherche que nous allons donner accès à une première version
<figure><img src="image_25.png" /><figcaption>FIG. 23. Comparaison de l'annotation manuel et de la MoCap</figcaption></figure>

de Typannot. Elle comprendra les glyphs génériques permettant de décrire l'ensemble des caractéristiques articulatoires et actionnelles du corps (bouche mais aussi yeux, doigts, membres supérieurs, etc.). Bien qu'étant une version témoignant de l'état d'avancement du projet à un moment T, elle sera compatible avec les versions ultérieures. En effet, les cases Unicode (sous-section 5.1.2) attribuées ne changeront pas d'une version à l'autre. Conscients que la manipulation des génériques est l'usage le plus complexe des deux registres glyphiques et que le clavier Typannot ne sera pas encore disponible, nous mettrons néanmoins à disposition d'autres outils (manuel, tutoriel, etc.) pour accompagner la prise en main du système.

La mise à disposition de cette version permettra d'ouvrir une nouvelle phase de la recherche menée sur et avec Typannot, en linguistique et en design, basée sur la collaboration avec d'autres équipes de recherche.

## 7. Conclusion

L'importance des *mouth actions* et la nécessité d'un système de transcription spécifique complet permettant d'étudier leur utilisations dans les LS est incontestable. Le système Typannot, de part sa perspective articulatoire basée sur une approche kinésiologique, propose un nouvel outil de transcription. Ses caractéristiques ont été définies et structurées
grâce à l'analyse de l'état de l'art des systèmes de transcription actuels et en cherchant à mettre en place un système fonctionnel, complet ayant la capacité d'intégrer et de retranscrire des informations articulatoires. Un dialogue constant entre considérations linguistiques, les perceptions typographiques et la projection de son utilisation future a été nécessaire à la construction de la fonte. Les premières mises en utilisation ont permis de valider son fonctionnement général. Reste aujourd'hui à en ouvrir l'utilisation à un plus grand panel d'utilisateurs. Un exercice de partage et de transmission qui promet d'être riche en découvertes et qui permettra d'enrichir de retours utilisateurs le travail réalisé jusqu'à présent.

La fonte typographique Mouth Action se veut logique, intelligible, et cohérente avec les autres fontes du système Typannot. Cette cohérence est nécessaire sur le plan formel comme sur le plan conceptuel. En effet, une des perspectives qu'ouvre Typannot est d'aborder les LS comme un phénomène dynamique, c'est-à-dire que la langue relève d'une interaction corporelle et cognitive du signeur dans un environnement lin guistique, culturelle, social, etc., qui va contribuer à la faire évoluer. Les locuteurs communiquent, échangent et ce faisant, pratiquent leurs langues, modifient leurs outils de communication dont les langues font partie [...] (NICOLAÏ, 2016).

On peut alors comprendre que tout geste est à la fois une forme et un processus produisant une dynamique sémiotique au sein du langage. Au travers d'une pratique motivée par la communication et la construction de sens, le locuteur fait continuellement émerger des formes qui ne se limitent pas aux systèmes de signes stabilisés auxquels il a accès. C'est depuis cette perspective dynamique que nous pouvons mieux comprendre les enjeux associés à une représentation des gestes au niveau du corps, c'est-à-dire depuis un milieu de transformations élémentaires pouvant produire divers niveaux de structuration et donc de sens.

## 8. Remerciements

Cette recherche est soutenue par l'École Supérieure d'Art et de Design (ÉSAD) d'Amiens, la région Hauts-de-France et par la DGA du ministère de la Culture.

Nous remercions nos collaborateurs, Mathieu Réguer (ingénierie typographique) et Jean-François Dauphin (développement du clavier virtuel); les locutrices de LSF ayant participé à l'enregistrement du corpus (Natacha Hébert, Joëlle Mallet et Bouchra Rifa); Frederik Berlaen (concepteur de Robofont®).

Cet article a été écrit en mémoire de Dominique Boutet.
Références

AJELLO, Roberto, Laura MAZZONI et Florida NICOLAI (2001). "Linguistic gestures : mouthings in Italian Sign Language". In : *The hands are the head of the mouth*. Sous la dir. de Penny BOYES-BRAEM et Rachel SUTTON-SPENCE. Signum-Verlag, p. 231-264.

BIANCHINI, Claudia S. (2021). "Représenter les langues des signes sous forme écrite : questions qui ont besoin (encore aujourd'hui) d'être posées". In : *CORELA-COgnition, REprésentation, LAngage* 19.2, p. 1-37.

BOUTET, Dominique (2018). "Pour une approche kinésiologique de la gestualité". Habilitation à diriger des recherches. Université de Rouen-Normandie.

BOYES-BRAEM, Penny et Rachel SUTTON-SPENCE (2001). *The hands are the head of the mouth*. Seedorf : Signum-Verlag.

CHEVREFILS, Léa (2022). "Formalisation et modélisation du mouvement en Langue des Signes Française : pour une kinésio-linguistique des productions gestuelles". Thèse. Université de Rouen-Normandie.

CHEVREFILS, Léa et al. (2021). "The body between meaning and form : kinesiological analysis and typographical representation of movement in Sign Languages". In : *Languages and Modalities* 1.1, p. 49-63.

CHOMSKY, N. (1973). "Conditions on Transformations". In : *A festschrift for Morris Halle*. Sous la dir. de S. R. ANDERSON et P. KIPARSKY. New York : Holt, Rinehart & Winston.

CRASBORN, Onno et al. (2008). "Frequency distribution and spreading behavior of different types of mouth actions in three Sign Languages". In : *Sign Language & Linguistics* 11, p. 45-67.

DANET, Claire, Dominique BOUTET et al. (2020). "Transcribing sign languages with Typannot : the typographic system that retains and displays layers of information". In : *Proceedings of Grapholinguistics in the 21st Century*. Sous la dir. d'Y. HARALAMBOUS. T. 5. Grapholinguistics and Its Applications. Fluxus Editions, p. 1007-1035.

DANET, Claire, Chloé THOMAS et al. (2022). "Applying the transcription system Typannot to mouth gestures". In : *Proceedings 13th Intl LREC Conference-Workshop "Representation and processing of Sign Languages"*. Sous la dir. d'Eleni EFTHIMIOU et al. ELRA, p. 42-47.

DANIELS, Peter T. (1990). "Fundamentals of Grammatology". In : *Journal of the American Oriental Society* 110, p. 727-731.

DOAN, Patrick et al. (2019). "Handling sign language handshapes annotation with the Typannot typefont". In : t. 19. Corpora and Representativeness. Association française de linguistique cognitive, p. 1-24.

FONTANA, Sabrina et Daniela FABRETTI (2000). "Classificazione e analisi delle forme labiali della LIS in storie elicitate". In : *Viaggio nella città invisibile: atti del 2º convegno nazionale sulla Lingua Italiana dei Segni*. Sous la dir. de Caterina BAGNARA et al. Edizioni del Cerro, p. 103-110.
GADOTTI, Alhena (2012). "Book Review of 'Antico Oriente: Storia, Societa, Economia' by Mario Liverani". In: *Journal of the American Oriental Society* 132, p. 308-310.

HANKE, Thomas (2004). "HamNoSys—representing Sign Language data in language resources and language processing contexts". In: *Proceedings VI Intl LREC Conference - Workshop "Representation and processing of Sign Languages"*. Sous la dir. de Maria Teresa LINO et al. ELRA, p. 1-6.

HOHENBERGER, Annette et Daniela HAPP (2001). "The linguistic primacy of signs and mouth gestures over mouthings: evidence from language production in German Sign Language (DGS)". In: *The hands are the head of the mouth*. Sous la dir. de Penny BOYES-BRAEM et Rachel SUTTON-SPENCE. Signum-Verlag, p. 153-189.

NICOLAÏ, Robert (2016). "Langues, dynamique sémiotique, pertinences : des devanciers et des contemporains". In : *Parler face aux institutions*. Sous la dir. de Marc GLADY et Agnès VANDEVELDE-ROUGALE. T. 158-4. Langage et Société, p. 109-127.

PRILLWITZ, Siegmund et al. (1989). *Hamburg Notation System for Sign Languages: an introductory spoke guide-HamNoSys version 2.0*. Signum Press.

STOKOE, William C. (1960). "Sign Language structure: an outline of the visual communication systems of the American deaf". In: *Journal of deaf studies and deaf education* 10-1.

STOKOE, William C., Dorothy C. CASTERLINE et Carl G. CRONEBERG (1965). *A dictionary of American sign language on linguistic principles*. The Phantom Editors Associates.

SUTTON, Valerie (1995). *Lessons in SignWriting : textbook and workbook*. Deaf Action Commitee for SignWriting.

SUTTON-SPENCE, Rachel L. et Linda. C. DAY (2001). "Mouthings and mouth gestures in British Sign Language". In : *The hands are the head of the mouth*. Sous la dir. de Penny BOYES-BRAEM et Rachel SUTTON-SPENCE. Signum-Verlag, p. 69-87.

THOMAS, Chloé (2019). "Étude comparée de la transcription de traits articulatoires du visage à l'aide d'une police de caractère dédiée (Typannot) et d'un système d'enregistrement de capture de mouvement (MoCap)". Mémoire de Master2. Université de Rouen-Normandie.

— (en cours). "Étude des paramètres non-manuels en LSF au sein d'énoncés interrogatifs : entre transcriptions manuelles et capture de mouvement". Thèse de doct. Université de Rouen-Normandie.

WOLL, Bencie (2001). "The sign that dares to speak its name : echo phonology in British Sign Language (BSL)". In : *The hands are the head of the mouth*. Sous la dir. de Penny BOYES-BRAEM et Rachel SUTTON-SPENCE. Signum-Verlag, p. 87-98.