Un système d’annotation automatique de la structure prosodique (2024)

Abstract: On présente un système d’annotation prosodique permettant de visualiser les structures prosodiques générées par des règles de dépendance appliquées sur des événements prosodiques annotés automatiquement. Les événements prosodiques sont définis par des cibles tonales dans la notation ToBI, ou par des contours mélodiques, montants ou descendants, atteignant la hauteur la plus basse ou la plus haute de la phrase, et au-dessus ou au-dessous du seuil de glissando (c’est-à-dire perçus comme un changement mélodique ou un ton statique), mais d’autres définitions peuvent être utilisées au gré de l’utilisateur. À partir de ces définitions, les contours ou les cibles tonales alignés sur les voyelles des syllabes accentuées localisées sont affichés automatiquement. Des règles de dépendance définies par l’utilisateur opèrent sur ces évènements prosodiques pour déterminer et afficher la structure prosodique correspondante, permettant une comparaison visuelle avec la structure morphosyntaxique et conduisant à une meilleure compréhension de la manière dont les structures prosodiques peuvent amorcer le décodage syntaxique par l’auditeur.

## introduction il est généralement admis que la structure prosodique d'une phrase résulte de la fusion des groupes accentuels ap (accent phrases) en syntagmes intonatifs intermédiaires ip (intermediate intonation phrases), des ip en syntagmes intonatifs ip (intonation phrases) et, finalement, des ip en structure prosodique ps (prosodic structure). à ce jour, plusieurs systèmes d'annotation prosodique automatique ont été développés, basés sur le modèle autosegmental-métrique et l'annotation tobi @xcite @xcite . des implémentations récentes utilisent des algorithmes d'apprentissage profond (zhai and hasegawa-johnson 2023), dont l'efficacité repose sur la fiabilité de l'annotation tobi d'un corpus d'apprentissage. on décrit ici un système d'annotation automatique basé sur un modèle sensiblement différent, impliquant l'autonomie de la structure prosodique par rapport à la morphosyntaxe, et autorisant la transcription des évènements prosodiques par contours aussi bien que par cibles tonales. pour décrire les évènements prosodiques, par hypothèse localisés essentiellement sur les voyelles des syllabes accentuées, ce système intègre la valeur de glissando pour mieux lier la perception de l'auditeur à la réalité acoustique. ce choix contraste avec les systèmes dominants dans lesquels la transcription des événements prosodiques est plus étroitement liée à la courbe de la fréquence fondamentale et pour lesquels, pour les langues à accent lexical comme l'italien, seuls les tons de frontière et non les accents de hauteur jouent un rôle dans l'indication de la structure prosodique @xcite . sur la base de l'autonomie de la structure prosodique, dans les unités desquelles viendraient s'insérer les unités syntaxiques, on est conduit à abandonner, voire à inverser, la vision selon laquelle la structure prosodique résulterait d'une mise en correspondance avec la structure morphosyntaxique de la phrase. dès lors, on est conduit à admettre que 1) il doit exister des marqueurs prosodiques qui indiquent les fusions successives des ap en groupes intonatifs plus grands indépendamment des autres structures morphosyntaxiques ou informationnelles, et 2) il doit exister des règles qui régissent la distribution de ces marqueurs prosodiques pour indiquer sans ambiguïté une structure prosodique donnée. un choix théorique porte alors sur 1) la sélection de caractéristiques dans le matériel prosodique qui instancient de manière adéquate les marqueurs prosodiques, et 2) le type de grammaire prosodique approprié. ## sélection des paramètres acoustiques un système d'annotation prosodique automatique doit s'appuyer sur des caractéristiques acoustiques et donc sur la fiabilité de l'algorithme d'analyse de la parole pour obtenir l'intensité syllabique, la durée des voyelles et, en particulier, la hauteur mélodique. excepté pour les enregistrements effectués dans des salles insonorisées ou dans des conditions équivalentes, l'analyse de la parole lue et spontanée nécessite des algorithmes fiables de suivi mélodique, qui en pratique peuvent se révéler déficients pour beaucoup d'enregistrements, en particulier spontanés. ces systèmes peuvent être complétés par l'affichage superposé, sur la même échelle de fréquence, d'un spectrogramme à bande étroite. l'utilisateur peut alors être guidé par la première ou la deuxième harmonique affichée sur le spectrogramme pour saisir manuellement à l'écran un segment de courbe de hauteur corrigée, grâce à une fonction de dessin intégrée au logiciel venant au secours d'une mesure de f0 défaillante. on dispose ainsi d'un outil permettant l'annotation prosodique (et aussi des formants) quelle que soit la qualité de l'enregistrement, même ceux très dégradés du début du 19 ème siècle. le choix des caractéristiques acoustiques devrait aussi refléter la perception humaine mieux que la courbe de fréquence fondamentale souvent prise telle quelle comme source de données. au lieu de décrire les caractéristiques prosodiques des voyelles par les changements de durée, d'intensité et de fréquence fondamentale évalués séparément, on adopte le paramètre de glissando, un paramètre combinant ces trois entités acoustiques en tenant en compte avec une approximation acceptable la perception d'un événement prosodique en termes de changement mélodique, perçu comme tel ou perçu comme un ton statique, selon sa valeur par rapport à un seuil @xcite . la valeur du glissando est obtenue en rapportant la variation de hauteur en demi-tons à leur durée : @xmath0.0)) / log (2.0) (f0 t étant la valeur de la fréquence fondamentale à l'instant t). le seuil de glissando en demi-tons est donné par coeff / (t2-t1) 2 , coeff étant un paramètre ajustable variant de 0,16 à 0,32 de manière à prendre en compte le degré éventuel de non-linéarité de la courbe de fréquence fondamentale de la voyelle ainsi que la sensibilité des auditeurs aux changements de hauteur. le choix des contours mélodiques à l'endroit des voyelles accentuées comme marqueurs prosodiques est renforcé par des recherches neuro-perceptives récentes, qui suggèrent que les accents de hauteur sont encodés comme des catégories discrètes et contrastives dans le cerveau @xcite . le positionnement des syllabes accentuées est semi-automatique pour le français, langue à accent rythmique, et ne peut être totalement déterminée à partir du texte, car dépendant entre autres du débit de parole @xcite . par défaut, ce sont les mots grammaticaux, dont la catégorie est établie à partir d'un lexique (lexique 3), suivi d'un correcteur trigramme, qui reçoivent l'accent. pour l'italien par contre, langue à accent lexical, la position des syllabes accentuées relève directement d'un lexique, mais peut être obtenue également à partir d'une analyse morphologique des mots @xcite ). pour l'annotation prosodique de la phrase française, les événements prosodiques situés sur les voyelles des syllabes accentuées sont classés automatiquement par le logiciel à partir de la mesure de trois paramètres : a) f0 montant -f0 descendant ; b) en dessous ou au-dessus du seuil de glissando et c) atteignant la valeur de f0 la plus basse ou la plus élevée parmi toutes les autres voyelles accentuées de la phrase. les classes de contours sont alors : pour l'italien, il existe un contour complexe g) ccom √, (ll*h), descendant en dessous du seuil de glissando sur la voyelle accentuée, et généralement montant au-dessus du seuil de glissando sur la voyelle de la syllabe finale (et éventuellement sur la consonne voisée finale). ce contour mélodique complexe est réalisé sur une même voyelle d'une syllabe finale et accentuée. en plus de ces 7 catégories adaptées au français et à l'italien, le logiciel permet de définir un total de 14 catégories distinctes s'adaptant à la langue et aux conditions de l'analyse (par exemple en ajoutant un contour d'insistance, d'hésitation, etc.). à partir de ces définitions et de l'analyse acoustique (durées vocalique, courbes de f0 et d'intensité), les contours ou les cibles tonales tobi sont automatiquement affichés avec leurs caractéristiques graphiques sélectionnées par l'utilisateur (couleur, largeur du trait...), comme le montre la figure 1 . cette classification est effectuée en fonction des limites des voyelles accentuées sur l'échelle temporelle, définies soit manuellement par l'opérateur, soit à l'aide d'un moteur de segmentation automatique intégré au logiciel (disponible dans plus de 42 langues...). ## choix d'une grammaire en utilisant le système d'annotation tobi, une grammaire prosodique dans le cadre autosegmentalmétrique inclut un ensemble de règles décrivant toutes les séquences bien formées d'événements prosodiques dans une phrase. en pratique, ces règles sont découvertes et énoncées à partir de l'analyse de diverses configurations syntaxiques qui sous-tendent la primauté de la morphosyntaxe sur la prosodie de la phrase (delais, post et yoo 2020). une grammaire de dépendance prosodique consiste en un ensemble de règles de dépendance qui relient la dépendance des évènements prosodiques (contours ou cibles tonales) à d'autres évènements prosodiques situés plus tôt (dépendance "à gauche") ou plus tard (dépendance "à droite") dans la phrase. ## grammaire de dépendance prosodique les règles de la grammaire de dépendance pour le français, langue à accent rythmique, portant sur les voyelles accentuées finales des groupes accentuels (en termes de contours) sont proposée cidessous pour des phrases déclaratives. {a, b} ⇒ {x, y} s'interprète l'occurrence de a ou de b dépendent de l'occurrence de x ou de y apparaissant plus tard dans la phrase, et {a, b} ⇦ {x, y} s'interprète " l'occurrence de x ou de y dépendent de l'occurrence de a ou de b apparus plus tôt dans la phrase. cdec↓ ⇦ cneu─ (thème dans une configuration rhème-thème, dépendance « à gauche ») pour l'italien, langue à accent lexical, comportant des voyelles accentuées non finales dans les groupes accentuels : cdec↓ ⇦ cneu─ (thème dans une configuration rhème-thème) une fonction de calcul de la structure prosodique vérifie la cohérence de la distribution des contours relativement à ces règles par rapport à leurs réalisations acoustiques et met automatiquement à jour leur catégorie si nécessaire. par exemple, aucun contour cfal↘ ne peut précéder immédiatement un contour déclaratif terminal en français (sauf s'il est suivi d'une pause, auquel cas il est étiqueté comme un contour de dictée cfap#↘). figure 2 règles de dépendance définies par l'utilisateur (français, à gauche -italien, à droite). de même, une phrase en italien ne peut pas commencer par un contour cfal↘, au-dessus du seuil de glissando (mais elle peut commencer par un cneu─ descendant neutralisé, en dessous du seuil de glissando). si aucune règle de dépendance ne s'applique à un contour, celui-ci n'est pas intégré dans la représentation graphique de la structure prosodique, il reste isolé, ce qui se traduit par une structure prosodique incomplète. un exemple est donné figure 5 . la structure résultante est automatiquement affichée, avec une représentation arborescente utilisant des branches orthogonales orientées selon la direction des dépendances (figure 3 et 4 ). chaque règle de dépendance est modifiable par l'utilisateur avec le rang de l'événement prosodique et la direction gauche ou droite de la dépendance. par exemple, en français, cfal↘ dépend de cris↗ à droite, alors qu'en italien, cfal↘ dépend de cris↗ à gauche. le code couleur correspond aux catégories d'événements prosodiques définies par l'utilisateur dans le tableau de la figure 2. ## exemples en français et en italien le français et l'italien permettent une comparaison entre une langue à accent rythmique et une langue à accent lexical, en particulier en ce qui concerne l'apparition de contours mélodiques "complexes" placés sur la voyelle accentuée du groupe accentuel, mais en dessous du seuil de glissando, et remontant au-dessus de ce seuil sur la voyelle de la syllabe finale (et éventuellement sur la consonne voisée finale). ce contour mélodique, qui n'est pas normalement présent en français, est automatiquement identifié par le système, étiqueté et colorié selon les propriétés graphiques sélectionnées par l'utilisateur. l'analyse acoustique dispose de plusieurs algorithmes de détection de f0 (peigne spectral, amdf, autocorrélation), complété par une estimation linéaire aux moindres carrés pour les sections des voyelles accentuées. ## conclusion un outil d'annotation prosodique efficace est essentiel pour mieux comprendre le rôle de la structure prosodique en relation avec la morphosyntaxe et l'accès au sens par l'auditeur. il devient également crucial lorsqu'un grand nombre d'exemples annotés est nécessaire pour entraîner des systèmes d'apprentissage profond. l'outil est intégré dans le logiciel d'analyse de la parole winpitch (2024) et peut être téléchargé gratuitement sur www.winpitch.com .