# Typannot, outil de transcription des langues des signes.

Patrick Doan, Claire Danet, Morgane Rébulard, Adrien Contesse, Jean-François Dauphin, Claudia S. Bianchini, Léa Chèvrefils, Dominique Boutet

► To cite this version:

Patrick Doan, Claire Danet, Morgane Rébulard, Adrien Contesse, Jean-François Dauphin, et al. Typannot, outil de transcription des langues des signes. Actes Conf. Langues et numérique, 2018. hal-02551372

HAL Id: hal-02551372

https://hal.science/hal-02551372v1

Submitted on 22 Apr 2020

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC0 1.0 - Universal - International License
Typannot, outil de transcription des langues des signes

Patrick Doan
Esad Amiens

pdoan.atelier@gmail.com

Claire Danet
Esad Amiens

claire.danet@gmail.com

Morgane Rébulard
Esad Amiens

morgane.rebulard@gmail.com

Adrien Contesse
Esad Amiens

adriencontesse@gmail.com

Jean-François Dauphin
Esad Amiens

jeff_dauphin@hotmail.com

Claudia S. Bianchini
FoReLL Poitiers

chiadu14@gmail.com

Léa Chèvrefils
Dylis Rouen

leachevrefils@gmail.com

Dominique Boutet
Dylis Rouen

dominique_jean.boutet@orange.fr

Les langues des signes (LS) sont des langues gestuelles, contrairement aux langues dites 'orales' qui relèvent en fait de la modalité de la parole ; on peut qualifier ces dernières de langues vocales (LV). Cette différence est importante pour l'écriture et la transcription. Les LV sont toutes transcriptibles. Plusieurs traditions d'écriture co-existent : écritures alphabétiques, comme l'alphabet latin, mais aussi grec ou arabe ; écritures syllabiques telle que le coréen, le japonais ; écritures idéogrammatiques comme le chinois. Les LS (actuellement 140 recensées dans le monde) n'ont pas de système d'écriture pour plusieurs raisons. Elles donnent plusieurs informations de manière simultanée sur différents articulateurs. On distingue les paramètres manuels des paramètres non manuels. Ces derniers véhiculent de l'information sur le visage, sur la bouche, sur les yeux. Les quatre paramètres manuels - i/le mouvement, ii/l'emplacement de la main, iii/l'orientation de la paume et iv/les configurations des doigts par rapport à la paume - dispensent des informations également en même temps. Les LS fonctionnent donc de manière pluri-linéaire. Or tous les systèmes d'écriture en usage pour les LV codent l'information de manière mono-linéaire, simplement parce qu'on ne peut pas prononcer deux sons à la fois. La seconde raison à l'absence d'écriture des LS est historique ; ces langues sont neuves (XIXe ou XXe siècles) et n'ont pas eu le temps de développer de systèmes de transcription. L'objectif du projet consiste à bâtir un système de transcription qui rendent compte des formes gestuelles développées dans les LS tout en respectant la simultanéité de l'information. Nous avons choisi de développer une police de caractère par paramètre pour être aux plus près de toutes les formes signifiantes dans les signes. À terme, ces polices fusionneront les unes avec les autres pour transcrire chaque signe.

Mais pourquoi aurait-on besoin d'écrire les LS ? Écrire c'est sauvegarder, transmettre ; c'est aussi pouvoir prendre du recul sur ces langues et donc mieux en comprendre le fonctionnement. Enfin et surtout, c'est un vecteur supplémentaire de la culture sourde. En tant qu'outil de communication de la vie de tous les jours, l'écriture doit favoriser la lisibilité et la compréhension.

Il existe déjà un système nommé SignWriting dont les formes sont très faciles et rapides à comprendre. Son point faible est d'être fermé en termes informatiques et très difficile à écrire. Les linguistes, eux, ne cherchent pas à communiquer mais à étudier la langue. Ils annotent des vidéos en langue des signes afin de pouvoir analyser leurs composantes, leur structuration. Ils ont donc besoin d'une écriture qui permette de transcrire précisément la langue. Cela requiert des outils spécifiques (police de caractères, logiciel, interfaces d'entrée, encodage) qui favorisent la saisie, la recherche et l'échange de données à la fois multilinéaires (la forme de la main, sa position, son orientation et son mouvement, l'expression du visage, etc.) et multidimensionnelles (les dimensions spatiales et temporelles du geste). Le projet Typannot a pour ambition de répondre à ces attentes.
Pour réaliser cet outil de transcription, on commence par fixer les règles linguistiques, en résumé : les composantes et leurs variables. Prenons l'exemple du paramètre de la configuration de la main. Chaque symbole correspond à une information : quelle main ? quel doigt ? quelle forme de doigt ? quelle fermeture ? etc. Ce sont les briques d'information de notre système.

<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>

Une des originalités de notre système de transcription est de présenter deux manières de lire : i/l'une(au-dessus à gauche), décomposé, qui affiche toutes les briques de donnée ; ii/l'autre (au-dessus à droite), combiné, qui affiche juste un signe graphique, sorte de synthèse visuelle (à droite de la photo, de type logographique). Pour passer de l'un à l'autre, nous utilisons un format typographique universel (OpenType). La formule constituée de toutes les briques d'information peut être affichée sous la forme d'un seul symbole combiné beaucoup plus lisible. Les données décomposées, elles, restent accessibles, elles sont conservées et sont interrogeables dans la formule combinée. Nous avons dessiné des symboles pour chacune des combinatoires possibles. Un algorithme assemble une vingtaine de petits modules graphiques qui génère des milliers de configurations de la main. Nous pouvons ainsi créer une police de caractères affichant jusqu'à 60 000 configurations de la main.

Pour utiliser ce système de transcription, nous avons développé une interface de saisie fonctionnelle. Elle permet de décrire rapidement et facilement toutes les caractéristiques de la main : le doigt, la forme, l'angle de fermeture, le contact, etc. Nous développons également d'autres interfaces, telles que des technologies de reconnaissance gestuelle.

Ce travail mené pour la configuration de la main est reproduit pour la localisation initiale des membres supérieurs, leurs mouvements et les gestes de bouches.

<figure><img src="image_4.png" /></figure>

Bibliographie

Boutet, Dominique, Doan, Patrick, Danet, Claire, Bianchini, Claudia S., Goguely, Thimothée, Contesse, Adrien, & Rébulard, Morgane 2018. Systèmes graphématiques et écritures des langues signées. *Signata, Annales des sémiotiques, Presses Universitaires de Liège, 9.*