Détection de la nasalité du locuteur à partir de réseaux de neurones convolutifs et validation par des données aérodynamiques (2023)

Abstract: Ce travail se positionne dans le domaine de la recherche d’informations sur le locuteur, reconnue comme une des tâches inhérentes au traitement automatique de la parole. A partir d’un nouveau masque pneumotachographe acoustiquement transparent, nous avons enregistré simultanément des données aérodynamiques (débit d’air oral et nasal) et acoustiques pour 6 locuteurs masculins français, impliquant des consonnes et voyelles orales et nasales sur des logatomes. Un CNN entraîné sur d’autres corpus acoustiques en français a été testé sur les données recueillies à partir du masque pour la distinction de nasalité phonémique, avec une classification correcte de 88% en moyenne. Nous avons comparé ces résultats CNN avec les débit d’air nasal et oral captés par le masque afin de quantifier la nasalité présente par locuteur. Les résultats montrent une corrélation significative entre les erreurs produites par le CNN et des distinctions moins nettes de débit d’air du masque entre nasales et orales.

## introduction la nasalité est un trait distinctif dans environ un tiers des langues du monde @xcite . les connaissances de base impliquent que le palais mou doit être suffisamment abaissé pour que l'orifice vélopharyngé soit ouvert et permette à l'air de passer par le nez. l'abaissement du voile du palais et le passage de l'air par le nez ont une incidence sur la composante acoustique du signal de parole, ce qui gêne généralement l'analyse acoustique pour les phonéticiens @xcite . il existe des variations temporelles et spatiales dans la réalisation de la caractéristique @xcite . elle varie en fonction du sexe et de l'anatomie du locuteur @xcite , de la stratégie du locuteur @xcite @xcite , de la langue @xcite , du style d'élocution @xcite , du débit de parole @xcite , du type de son de parole, du contexte phonétique et prosodique @xcite , etc. plus précisément, l'ouverture de l'orifice vélopharyngé diffère d'un locuteur à l'autre et la morphologie des fosses nasales est très variable d'un individu à l'autre @xcite . les voyelles et consonnes nasales sont importantes pour l'identification du locuteur car elles contiennent plus d'informations acoustiques relatives aux locuteurs que les autres sons @xcite . les réseaux neuronaux profonds ont récemment connu un développement important dans le domaine de la parole. des études ont été menées dans le domaine clinique avec des réseaux neuronaux artificiels pour diagnostiquer des pathologies du langage, notamment l'hyper-ou l'hypo-nasalisation @xcite @xcite . en effet, il a été démontré que les réseaux de neurones artificiels ont la capacité de se spécialiser sur des caractéristiques phonétiques telles que le lieu d'articulation ou le mode articulatoire @xcite . l'objectif de la présente étude est d'évaluer la détection de la nasalité à partir de données acoustiques avec un cnn en la comparant avec les données aérodynamiques collectées lors de l'enregistrement acoustique. nous prenons l'étiquette phonémique de la voyelle "nasale" ou "orale" comme référence et vérifions si la classification cnn est correcte à partir des données acoustiques. dans un deuxième temps, le débit d'air nasal fourni validera la classification cnn ou nous aidera à comprendre les erreurs de classification. enfin, nous étudierons si le niveau de nasalité de chaque locuteur peut être approché avec le cnn. ce travail se situe dans le domaine de la recherche d'information en tal. en effet, la nasalité est une caractéristique inhérente du locuteur dûe à la morphologie peu malléable des cavités nasales ainsi qu'aux habitudes de production idiolectales. dans le cadre de la vérification du locuteur, les informations propres à la voix du locuteur sont cruciales pour l'explicabilité du résultat.