Synthèse de syllabes avec un modèle de Maeda piloté par une représentation complexe (2024)

Abstract: Un modèle mathématique est construit sur une notion de coordination des articulateurs à partir d’une représentation bidimensionnelle complexe. Les voyelles sont représentées par des positions en bordure du cercle unité, et pour le modèle de Maeda, les paramètres articulatoires sont générés avec une fonction de coordination facile à configurer. Les consonnes plosives /bdg/ sont encodées de la même manière, mais pour produire des syllabes, le graphe reliant les positions phonétiques distingue les arcs vocaliques et les arcs consonantiques. Un flux de paramètres articulatoires est dérivé par application sélective de la fonction de coordination. Les contributions de deux groupes d’articulateurs sont ainsi superposées et synchronisées pour piloter le modèle de Maeda et obtenir la synthèse de trajectoires formantiques. Ce modèle possède un schéma déterministe similaire à celui de la phonologie articulatoire, mais de nombreuses simplifications sont opérées.

## introduction lors de la production de la parole, les mouvements de la langue, de la mâchoire et des lèvres sont pseudo-périodiques. prosaïquement, le geste associé à /aiua/ est une rotation de la langue, d'abord vers le haut et l'avant pour /ai/, puis vers l'arrière avec /iu/ et enfin vers l'arrière et vers le bas pour clore le cycle avec /ua/. ici, la cyclicité de la position des formants est observable avec un simple spectrogramme et on en déduit une dépendance entre gestes de la langue et position des formants. des nomogrammes synthétisant la relation articulatori-acoustique ont été construits avec le tube de fant @xcite en faisant varier la position et l'ouverture d'une constriction représentant la langue ainsi que l'ouverture à une extrémité. malheureusement, cette relation est très complexe et elle ne peut pas être modélisée mathématiquement. dans un spectrogramme ordinaire, les modulations formantiques sont bien présentes, mais on ne peut pas en déduire facilement les mouvements du tractus vocal à cause de la non-linéarité de la relation et surtout de la multiplicité des configurations articulatoires produisant un ensemble de formants donné. de fait, ceci limite considérablement l'étude de la relation entre perception et production de la parole. les consonnes sont engendrées par des constrictions du conduit vocal disposées en demi-cercle depuis les lèvres pour le /b/, en position coronale pour le /d/, palatale ou vélaire pour /g/ jusqu'aux lieux d'articulation pharyngal et épiglottal @xcite . la task dynamics (td) avec @xcite encode explicitement les lieux d'articulation des consonnes comme des angles et il est suggéré que des positions angulaires discrètes émergent aussi pour les voyelles avec le modèle de maeda @xcite . pour réaliser les constrictions de concert avec la production des voyelles, la langue effectue des mouvements qui sont potentiellement planifiables dans une représentation complexe par le biais d'un codage angulaire. l'intérêt de celle-ci semble secondaire si on ne coordonne pas tous les articulateurs (la langue et les lèvres) au cours du temps. coordination et synchronisation sont les clefs de la planification syllabique selon @xcite et nous introduisons ces deux mécanismes en faisant appel à une représentation complexe. c'est à rebours des approches fondées sur les réseaux neuronaux que nous proposons une méthode de synthèse des syllabes basée sur des régularités du mécanisme de production exprimables dans des espaces de très faible dimension. le modèle de maeda @xcite est construit à partir de coupes sagittales et la factorisation de ces données en termes de commandes articulatoires favorise cette approche. les aspects cognitifs et la notion d'apprentissage sont relégués au second plan pour privilégier l'identification de ces régularités. en établissant une continuité entre l'espace vocalique et la structure syllabique de la parole avec l'appui de quelques travaux, le but n'est pas de construire des applications, mais d'offrir un éclairage sur la structure profonde de la parole, complémentaire de celui apporté par les réseaux neuronaux @xcite . ## la construction de l'espace vocalique préalablement, nous avons montré que le drm, constitué de huit tubes @xcite , est très approprié pour construire une bijection entre le cercle unité et l'espace vocalique f1-f2 en exploitant les relations décrites entre variations formantiques et variations du diamètre de chacun des tubes @xcite . ce modèle n'est pas anatomique et les diamètres des tubes représentent grossièrement, par régions distinctives, la fonction d'aire obtenue à partir d'une coupe sagittale du conduit vocal. nous avons remplacé la méthode itérative de couverture de l'espace vocalique partant du tube neutre par une détermination directe de la périphérie, où sont situées les voyelles cardinales. une fonction de coordination du diamètre des tubes est définie à partir des diamètres fixés pour les trois voyelles cardinales /aiu/ @xcite . cette fonction relie une position dans le cercle unité avec les diamètres des tubes en les corrélant. pour aller vers les modèles articulatoires, une comparaison a été réalisée entre le drm et le modèle de fant pour la construction du triangle vocalique. dans les deux cas, la détermination de la fonction de coordination n'est pas triviale, car on associe une représentation trigonométrique à la géométrie linéaire d'un système de tubes. en revanche, avec un modèle de maeda, ici représenté par vlam @xcite , nous constatons que cette fonction est déductible sans calcul. ceci atteste la compatibilité entre un modèle dérivé d'une statistique de configurations articulatoires réelles projetées sur une grille semi-polaire et la fonction de coordination qui génère des configurations à partir d'une représentation complexe. la configuration de la fonction de coordination fig 1a est basée sur la moyenne ω et l'étendue ψ 1 de chaque paramètre (données a priori de vlam) plus un angle à déterminer ψ 2 . la valeur de chaque paramètre articulatoire p i , @xmath0..7 est calculée indépendamment pour un point donné (ρ v , θ v ) du domaine complexe. la coordination entre p i est assurée par le produit du même complexe conjugué ρ v e -jθ v avec chaque valeur complexe ψ i du modèle : remarquons que c'est une simple cosinusoïde. les angles inconnus ψ 2 sont fixés afin que les angles des voyelles /iau/ sur le cercle unité (ρ @xmath1, π, π 3 }. pour cela, on assigne l'une des voyelles /iau/ à chaque articulateur de telle sorte que p i -ω @xmath2. le paramètre corps de la langue (body) est aligné sur la réalisation du /i/, l'ouverture des lèvres (liph), l'abaissement de la pointe (tip) et de la mâchoire (jaw) sur /a/ et l'allongement du conduit vocal (lipp, hy) ainsi que la flexion de la langue (dorsum) avec /u/ (fig. 1b pour l'action des paramètres). ces spécifications établissent une bijection entre le domaine du cercle unité fig. 2a et une surface dans l'espace des formants f1-f2-f3 (dite surface vocalique fig. 2c ). la répartition angulaire d'autres voyelles cardinales est déductible par antisymétrie centrale. par exemple, l'angle de /e/ est égal à π 3 + π = 4π 3 avec comme conséquence un renversement de la valeur des paramètres articulatoires du /u/ par rapport à la valeur du neutre car cos(x + π) = -cos(x). les angles θ @xmath3, π 3 , π 2 , 2π 3 , π, 4π 3 , 3π 4 , 5π 3 } sont associés respectivement aux voyelles /1, u, o, o, a, e, e, i/. celles-ci résultent de l'application de la fonction de coordination et elles ne nécessitent pas d'ajustement particulier. en revanche, nous avons retrouvé à l'écoute l'angle 11π 6 pour la voyelle /y/ moins fréquente @xcite . les paramètres articulatoires du modèle de maeda reflètent les commandes musculaires du tractus vocal essentiellement basées sur des relations agonistesantagonistes @xcite . l'antisymétrie centrale est une conséquence directe de la structure anatomique associant forme semi-circulaire du tractus vocal et commandes musculaires. cet ensemble est physiquement relié à la structure de l'espace vocalique @xcite @xcite . ces régularités sont prises en compte par la fonction de coordination, expression mathématique qui ancre l'espace vocalique dans l'anatomie du tractus vocal en établissant une continuité structurelle forte (fig. 2 ). la relation qu'entretiennent les deux surfaces fig. 2a-c avec l'espace paramétrique de dimension 6 est visualisée fig. 2b à l'aide de deux ellipses placées dans un espace 3d. chacune d'elles représente 3 paramètres visibles et non visibles avec deux points qui sont en rotation lorsque l'on parcourt le cercle unité fig. 2a. à droite fig. 2c , la périphérie de la surface vocalique est décrite de façon concomitante. si l'on se dirige vers le centre du cercle unité, les paramètres se rapprocheront de ceux de la voyelle neutre, et les formants des valeurs (f1n, f2n, f3n) en suivant cette surface. cela réduit considérablement le calcul de la trajectoire d'une diphtongue dans l'espace paramétrique à sept dimensions. sans une telle simplification et dans un espace plus grand, la synthèse des diphtongues avec vocaltractlab se montre laborieuse @xcite . @xcite construisent une bijection entre une paramétrisation 2d des formes du conduit vocal et f1-f2. il s'agit du résultat le plus proche du nôtre, mais il est obtenu avec un modèle à tubes et l'espace vocalique résultant présente des défauts notables. ici, le pointage exercé depuis le domaine complexe vers la surface f1-f2-f3 est très régulier et les trajectoires dessinées dans l'un apparaissent peu déformées sur l'autre. ## la représentation des consonnes et leur coproduction nous proposons d'étendre l'usage de la fonction de coordination aux consonnes en les plaçant dans le même référentiel. selon @xcite avec des syllabes v1cv2, les consonnes plosives perturbent la trajectoire de f2 marquant une transition entre les voyelles v1 et v2. la modélisation la coproduction voyelles/consonne @xcite est basée sur une pondération qui ne sépare pas les parties du conduit vocal pour les affecter à la constriction ou à cette transition vocalique. par contre, la structure du drm est très appropriée pour effectuer une telle séparation. l'effet de perturbation de f2 est obtenu en sélectionnant le tube du lieu d'articulation pour effectuer la constriction et en laissant les autres tubes contribuer à la transition vocalique @xcite . fondé sur un principe équivalent, tubetalker @xcite utilise des formes anatomiques issues d'irms, mais le pincement des tubes dans la région orale n'est pas anatomique. on obtient les plosives /bdg/ sur le plan acoustique avec une trace correcte de la coarticulation @xcite mais cela ne renseigne pas bien sur la relation articulatori-acoustique et son contrôle. cependant, la propriété de séparabilité des paramètres mise en évidence avec ces modèles est intéressante car elle simplifie la coproduction envisagée par @xcite . comme amélioration aboutissant à un résultat audible, @xcite dispose pour chaque consonne de 3 cibles articulatoires pour /aiu/ et il réalise une moyenne pondérée pour les autres voyelles. pour planifier la synthèse de syllabes, vocaltractlab possède un niveau vocalique spécifique dans son panel de planification gestuelle. mais n'y a pas de séparabilité comme avec les modèles à tubes. la td adopte une solution flexible en coordonnant et en pondérant la participation des articulateurs à une tâche de constriction. la synthèse d'un sous-ensemble de vcvs avec un modèle composite suivant ses principes et à l'aide du modèle de maeda a été décrite récemment (alexander et al., 2019). la propriété de séparabilité des articulateurs n'est pas ou peu appliquée en dehors des modèles à tubes. les consonnes plosives /bdg/ ont des caractéristiques dynamiques complexes et elles sont présentes en grande proportion dans les langues du monde, ce qui motive leur choix. en phonologie articulatoire @xcite , la notion de tâche pour la réalisation de constrictions privilégie implicitement les consonnes par rapport aux voyelles associées à des formes globales du tractus vocal. cependant, une analogie de production entre consonnes et voyelles est inhérente au lieu de constriction @xcite . une statistique exhaustive des lieux de constriction a été réalisée avec vlam par @xcite . par le biais d'un nomogramme, elle met en relation les lieux d'articulation des consonnes avec les formants f1-f2-f3 produits au relâchement de la constriction. avec la fonction de coordination, les résultats de @xcite sont reproduits sans recourir à des simulations de monte carlo fig. 3b . avec le même principe que pour les voyelles et en délimitant 1 ≤ ρ @xmath4.2 tout en parcourant le cercle unité, on ne sélectionne que les 4 paramètres contrôlant la langue et la mâchoire fig. 1a-b , en fixant en position neutre les trois paramètres restants fig. 3a-c . d'une part, cette sélection laisse libres trois paramètres qui sont séparables pour effectuer une tâche de coproduction des voyelles. d'autre part, en augmentant les valeurs de ρ, une fermeture du conduit vocal, limitée par une rectification douce, est engendrée sur une partie du cercle unité. consonnes et voyelles se retrouvent plongées dans une représentation commune. la procédure de découverte proposée comme analogue au babillage @xcite est également simplifiée puisque les angles attribuables aux consonnes /dg/ (respectivement θ c ∼ = { 3π 2 , -π 12 , π 3 } avec deux positions, antérieure et postérieure, pour /g/) sont très proches de ceux des voyelles cardinales /e, 1, u/. avec un tel a priori, leur découverte ne demande que peu de tâtonnements et nous restons dans le cadre de l'émergence structurale mise en évidence pour les voyelles cardinales. les phonèmes sont replacés dans un cadre intrinsèquement structuré et le conflit inhérent au choix de contrôle des lieux de constriction plutôt que celui de la forme globale du tractus vocal est résolu naturellement. ## la synthèse des syllabes pour définir une coproduction fondée sur la séparabilité des articulateurs, nous proposons que la structure syllabique soit représentée par un graphe constitué de noeuds pour les phonèmes et d'arcs représentant des trajectoires entre chaque noeuds, planifiées dans le plan complexe. on distingue les trajectoires vocaliques et consonantiques entre deux points de rendez-vous avec une synchronisation @xcite . les articulateurs associés à chacune des branches sont définis par un processus de sélection. la synchronisation est quant à elle obtenue en associant les arcs à des multiples entiers d'une période de référence t. la structure temporelle de la production est liée à l'enchaînement des gestes articulatoires qui forment des unités syllabiques de taille intermédiaire puis des mots par concaténation. sur le plan temporel, nous faisons l'hypothèse que les segments ont une durée relativement constante à court terme mais que la structure superficielle reste pseudo-périodique. la synthèse des syllabes cv découle de cette représentation des consonnes. en effet, les articulateurs qui ne sont pas affectés sont libres pour les transitions vocaliques. s'il est couramment admis que c et v ont un début synchrone, en phase selon la phonologie articulatoire @xcite , il faut spécifier l'anticipation de la forme des lèvres. exemple classique, l'arrondissement des lèvres précède l'onset consonantique pour /cu/ @xcite . pour réaliser la coproduction cv et assurer la synchronisation des articulateurs, nous introduisons comme point d'ancrage une voyelle réduite (centralisée). ici, on assigne à la trajectoire /u r / (réduit) vers /u/ les paramètres qui ne sont pas nécessaires à l'articulation de la consonne. pour /cu/, l'anticipation de la protrusion des lèvres apparaît avec le paramètre lipp. les trajectoires des voyelles et des consonnes sont planifiées dans le plan complexe fig. 4a en formant des arcs entre 2 points (ρ 1 , θ 1 ) et (ρ 2 , θ 2 ) : il reste à instancier le processus de sélection reposant sur la séparabilité des articulateurs. les trajectoires des segments vocaliques et des pauses sont définies par l'équation précédente seule, tandis que la superposition des trajectoires vocaliques et consonantiques nécessite une coordination séparée. notons que la fonction de coordination s'applique alors en chaque t sur les deux trajectoires zv et zc . la coarticulation entre voyelles et consonnes est produite par la superposition de ces 2 branches ayant la même durée nt ainsi que les mêmes points de départ et d'arrivée qui sont des voyelles éventuellement réduites (i.e. vcvr pour vc ou vrcv pour cv) : ## conclusion avec un dessin équivalent, combinant une planification à l'échelle syllabique et une inférence des commandes articulatoires d'un modèle, les simplifications exercées par rapport l'ap/td @xcite sont nombreuses. les relations temporelles entre gestes articulatoires étant fixées au moment de la planification syllabique, le recours à une évaluation dynamique à l'aide d'oscillateurs couplés n'est pas nécessaire @xcite . ceci entraîne des différences de description de la structure syllabique. en ce qui concerne la td, nous avons vu qu'il n'est pas nécessaire de réaliser une transformation pour déduire des paramètres de commande d'un modèle articulatoire à partir de variables articulatoires liées aux tâches de constriction. en effet, ces paramètres sont obtenus directement, et les trajectoires vocaliques sont pointées spatialement depuis la représentation complexe, reliant production et formes acoustiques résultantes de façon cohérente.