Création d’un corpus parallèle de styles de parole en mandarin via l’auto-transcription et l’alignement forcé (2024)

Abstract: La technologie ASR excelle dans la transcription précise des discours lus préparés, mais elle rencontre encore des défis lorsqu’il s’agit de conversations spontanées. Cela est en partie dû au fait que ces dernières relèvent d’un registre de langage informel, avec disfluences et réductions de parole. Afin de mieux comprendre les différences de production en fonction des styles de parole, nous présentons la création d’un corpus de parole conversationnelle, dont des extraits sont ensuite lus par leurs auteurs. Le corpus comprend 36 heures de parole en chinois mandarin avec leur transcription, réparties entre conversations spontanées et lecture. Nous avons utilisé WHISPER pour la transcription automatique de la parole et le Montreal Forced Aligner pour l’alignement forcé, résultant dans un corpus de parole transcrit avec annotations multi-niveaux incluant phonèmes, caractères/syllabes et mots. De telles productions de parole parallèles (en modes spontané et lu) seront particulièrement intéressantes pour l’étude des réductions temporelles.

## introduction malgré les progrès considérables réalisés en asr au cours des dernières décennies, la parole spontanée et, en particulier, informelle reste difficile. différents facteurs, tels qu'une possible diminution de la qualité du canal, le bruit de fond et les chevauchements de parole, pourraient être mentionnés comme des explications possibles de la performance plus faible de l'asr @xcite . au-delà des facteurs non linguistiques mentionnés ci-dessus, il semble que les changements dans le contenu linguistique lui-même pourraient également expliquer partiellement certains aspects de la diminution de la précision de l'asr : les disfluences, l'hypoarticulation et la réduction temporelle de la parole, qui peuvent entraîner des variantes de prononciation inattendues ou moins documentées @xcite . ces caractéristiques de la parole sont particulièrement remarquables dans des styles de parole moins contrôlés. deux styles de parole typiques sont prédominants dans les ensembles de données d'entraînement couvrant plusieurs langues : la lecture attentive et soignée et la conversation informelle non préparée. ces styles de parole représentatifs couvrent deux extrémités d'un continuum @xcite . la lecture attentive préserve les formes de prononciation relativement intactes des phonèmes et la coarticulation nécessaire @xcite . dans les dialogues spontanés, le débit de parole et l'accentuation sont très flexibles et parfois incorrects sur le plan grammatical. les unités linguistiques non accentuées, prévisibles et de haute fréquence tendent à être prononcées rapidement et même avec une réduction extrême. de plus, cette parole contient de nombreuses pauses remplies, des bégaiements, des répétitions, des autocorrections, des hésitations et des marqueurs de discours, ainsi que des rires et des toux, tous difficiles à éviter tout en maintenant la naturalité de la parole. ces caractéristiques sont également essentielles pour mesurer la spontanéité et l'informalité de la parole @xcite . le corpus parallèle mandarin que nous sommes en train de créer est une étape importante vers l'extraction des paramètres phonétiques entre le registre informel et formel. il est cependant important de noter que le terme « parallèle » utilisé ici diffère à la fois de la définition de baker @xcite , qui fait référence à des corpus contenant des textes et des traductions dans deux langues ou plus, et du concept @xcite , qui fait référence à des corpus contenant des textes dans deux langues avec des relations universelles et comparables. en utilisant le style de parole comme seule variable de comparaison, nous avons créé un corpus parallèle mandarin avec la même langue, le même locuteur, aucun dialecte régional et un contenu linguistique égal, mais seulement dans des styles de parole différents. ## travaux connexes le développement de bases de données de parole de conversation spontanée a connu une croissance rapide au cours des dernières décennies, avec des bases de données disponibles dans différentes langues, notamment l'anglais, le français, l'espagnol, l'allemand, l'italien et le mandarin taïwanais @xcite @xcite @xcite . cependant, dans les corpus de parole disponibles publiquement et axés sur le chinois mandarin , le style prédominant reste la lecture scriptée. des bases de données à grande échelle de mandarin provenant de différentes régions et groupes d'âge comprennent, par exemple, chinese mandarin (south/north) database (elra), chinese digital speech data by mobile phone (elra), aishell speech databases @xcite et 1997 mandarin broadcast news speech @xcite . il y a également eu des progrès significatifs dans le développement de jeux de données de parole spontanée en mandarin. des exemples notables incluent les données de conversation en mandarin du mandarin conversational speech data du primewords chinese corpus set 1 (primewords information technology co., 2018) et le magic data chinese mandarin conversational speech @xcite . les corpus interlinguistiques couvrant simultanément deux styles de parole différents sont néanmoins rares, et la plupart d'entre eux n'exigent pas un contenu linguistique identique. la création de corpus parallèles contenant des informations stylistiquement distinctes mais sémantiquement comparables, avec un alignement automatique sur plusieurs niveaux de texte pour permettre un lien direct avec le signal de parole, n'a été explorée que dans une quantité limitée de recherches @xcite . la majorité des institutions de recherche ou des entreprises optent soit pour la diffusion de corpus ne comprenant qu'un style de parole, soit utilisent différentes méthodes pour recueillir les deux styles. la méthode la plus courante consiste à recueillir des discours spontanés de participants en réponse à des entretiens, puis à leur demander d'effectuer une tâche de parole spécifique, telle que donner des indications basées sur une carte @xcite ou collaborer pour décorer un arbre de noël @xcite . enfin, les participants sont tenus de lire un texte standardisé. cette stratégie de collecte de données avec des tâches indépendantes est largement utilisée, mais elle présente plusieurs inconvénients, notamment la possibilité que les réponses de différents individus à la même tâche soient très similaires ou excessivement simplistes. l'amélioration de la précision et de la robustesse de la technologie de transcription automatique permet la construction de corpus parallèles relatifs à différents styles de parole. nous utilisons le système de reconnaissance vocale multilingue whisper @xcite pour obtenir rapidement la transcription de la conversation décontractée des locuteurs, qui est ensuite fournie aux locuteurs pour lecture après adaptation manuelle. cela peut favoriser des variations de prononciation plus riches pour la modélisation des caractéristiques acoustiques et évaluer les performances de l'asr tout en conservant un contenu linguistique cohérent. la procédure peut également fournir des données linguistiques naturelles étendues pour soutenir l'étude des phénomènes phonétiques en mandarin, tels que la coarticulation, le sandhi tonal et la synérèse, en produisant un corpus mandarin couvrant à la fois la parole spontanée et la lecture. ces informations permettent une évaluation minutieuse pour déterminer si des variations phonétiques spécifiques sont aléatoires ou résultent de processus phonologiques @xcite , éclairant les similitudes et les différences entre la coarticulation, la réduction de la parole et autres phénomènes propres à la parole connectée @xcite . une approche de recherche basée sur le corpus implique l'obtention de limites temporelles pour les voyelles et les consonnes individuelles par alignement forcé et annotation automatique, en se concentrant sur les correspondances erronées entre les instances dans le modèle acoustique et les phonèmes alignés, un phénomène particulièrement prévalent dans la parole spontanée. ensuite, les distributions, les durées, les fréquences à l'intérieur et entre les catégories de sons sont comptabilisées séparément, et leurs distances acoustiques mesurées @xcite . de telles études servent de référence pour comprendre les causes et les tendances de la réduction phonétique. de plus, comme le ton porte une charge phonémique significative en chinois, les variations de ton possèdent une valeur théorique cruciale @xcite . ## conclusion et travaux futurs cette étude propose une méthode systématique pour créer un corpus vocal parallèle concernant différents styles de parole avec le même locuteur et les mêmes informations linguistiques, avec l'aide de whisper et de montreal forced aligner. le modèle large de whisper permet une récupération rapide et précise du texte de transcription hors ligne, qui est ensuite adapté pour être utilisé comme matériel au style écrit pour la tâche de lecture. dans les cas où les mots et les phrases se chevauchent fortement, ce corpus peut être utilisé non seulement pour comparer les performances de reconnaissance vocale de différents styles de parole et localiser rapidement les différences, mais il peut également fournir des variantes de prononciation riches pour l'étude des mécanismes de réduction de la parole en chinois mandarin, de la coarticulation et du sandhi tonal. en particulier, l'étude des affriquées et de l'aspiration en chinois mandarin peuvent permettre de mieux documenter les phénomènes de réduction, tandis que l'interaction entre les tons et l'intonation, la focalisation et d'autres paramètres prosodiques dans la parole spontanée extensive peut également être étudiée, éclairant des caractéristiques multidimensionnelles dans la parole informelle et formelle @xcite . nos prochaines étapes impliquent l'annotation automatisée, la vérification manuelle du corpus et l'analyse des fréquences d'occurrence sur les syllabes, les phonèmes, les tons et d'autres aspects pertinents pour la caractérisation de la réduction en mandarin.