Influence de la quantité de données sur une tâche de segmentation de phones fondée sur les réseaux de neurones (Phone-level speech segmentation with neural networks : influence of the amount of data ) (2016)

Abstract: Dans cet article, nous décrivons une étude expérimentale de segmentation de parole en unités acoustiques sous-lexicales (phones) à l’aide de réseaux de neurones. Sur le corpus de parole spontanée d’anglais américain BUCKEYE, une F-mesure de 68% a été obtenue à l’aide d’un réseau convolutif, en considérant une marge d’erreur de 10 ms. Cette performance est supérieure à celle d’un annotateur manuel, l’accord inter-annotateurs étant de 62%. Restreindre les données d’apprentissage à celles d’un unique locuteur, 30 minutes environ, a eu pour conséquence moins de 10% de perte et utiliser celles de 5 locuteurs a permis d’atteindre des résultats similaires à utiliser plus de données. Utiliser le modèle entraîné avec le corpus anglais sur un petit corpus d’une langue peu dotée a donné des résultats comparables à estimer un modèle avec des données de cette langue.

## introduction la segmentation de parole est le processus, humain (cognitif) ou automatique (quand il est réalisé par une machine), qui vise à identifier des frontières entre des unités (mots, syllabes, phonèmes) dans un enregistrement ou un flux de parole. en traitement automatique de la parole, c'est un sous-problème qui a diverses applications en reconnaissance automatique de la parole (rap). actuellement, la recherche automatique de segments permettant d'identifier des mots ou des unités sous-lexicales est portée par l'intérêt pour l'apprentissage non-supervisé de ces unités, soit pour construire un lexique actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep de prononciation en identifiant les mots et l'inventaire de phones sans connaissance linguistique a priori @xcite , soit pour faire des liens avec l'humain et l'acquisition du langage, en particulier par les enfants @xcite . dans ce contexte, nous pouvons mentionner l'intérêt croissant de la communauté scientifique pour le traitement automatique de langues dites peu-dotées, avec l'organisation de conférences et de sessions spéciales dédiées à ce thème chaque année, comme par exemple le workshop sur les technologies de la parole pour les langues peu-dotées sltu. à celles-ci s'ajoutent des défis, comme le zero resource speech challenge @xcite , qui consistait à identifier des mots ou pseudo-mots, et des unités sous-lexicales à partir d'enregistrements sonores uniquement. les données utilisées dans ce défi étaient le corpus de parole spontanée buckeye, d'anglais américain, et également un petit corpus d'une langue peu dotée, le xitsonga, une langue d'afrique du sud. les réseaux de neurones profonds (dnn) sont devenus populaires dans le monde du traitement du signal en raison de leurs excellentes performances, en particulier en rap. selon le problème considéré, ils donnent des résultats similaires ou supérieurs aux gmm. par exemple, @xcite obtiennent un gain absolu de 3% en classification de voyelles. les réseaux de neurones ont la particularité de pouvoir s'adapter aux données et à la tâche demandée, s'approchant de la forme la plus adaptée au problème. bhargava & rose (2015) ont ainsi constaté que le réseau pouvait imiter des représentations proches des bancs de filtres lorsqu'ils prenaient directement des fenêtres du signal temporel en entrée. dans ce travail, nous avons abordé la segmentation automatique en phones en modélisant les frontières de segments plutôt que les segments eux-mêmes. nous comparons les performances, sur le corpus buckeye, obtenues par des réseaux à couches cachées denses (multilayer perceptron, mlp) et par des réseaux convolutifs (convolutional neural networks, cnn). après une brève description de notre système dans la section 2, des corpus et métriques d'évaluation en section 3, nous comparons dans la section 4 différentes configurations des modèles (nombre de neurones, de filtres), et illustrons l'influence des données utilisées (faible quantité, langue différente) lors de l'apprentissage des réseaux de neurones. ## description du système le schéma 1 représente les différentes étapes de notre système permettant d'obtenir la segmentation en phones du signal de la parole. les trois étapes sont détaillées dans les sous-sections suivantes. paramétrisation recherche maxima locaux réseau de neurones segments figure 1 -schéma du système de segmentation en phones actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep ## corpora et métriques d'évaluation nous avons utilisé le corpus d'anglais américain appelé buckeye @xcite , constitué de parole spontanée (enregistrements de radio) d'une quarantaine de locuteurs différents (hommes, femmes, jeunes, personnes âgées) avec environ 30 minutes de temps de parole pour chacun. ce corpus est décrit en détails dans @xcite . la qualité des annotations manuelles a été évaluée par les créateurs du corpus. un accord inter-annotateurs a été calculé : il est de l'ordre de 62% de f-mesure pour la segmentation avec 10 ms de marge (décalage). le pourcentage monte à 79% pour un décalage de 20 ms @xcite . ## conclusion dans cet article, nous avons décrit des résultats expérimentaux de segmentation automatique de la parole en phones à l'aide de différents réseaux de neurones (cnn et mlp). sur les enregistrements d'anglais américain issu du corpus buckeye, nos réseaux de neurones ont obtenu des résultats assez remarquables : 68% de f-mesure pour notre meilleur système de segmentation automatique contre 62% pour l'accord inter-annotateurs, avec une tolérance de 10 ms sur la localisation des frontières de phones. de plus, les modèles ont fait preuve d'une bonne adaptation à des cas particuliers difficiles : peu de données d'apprentissage et application à une langue différente de celle de l'apprentissage. en particulier, des performances similaires ont été obtenues sur un petit corpus de la langue peu dotée xitsonga en utilisant : 1) un modèle entraîné sur l'anglais américain, 2) un modèle entraîné sur un sous-corpus de petite taille de la langue peu dotée. ce résultat nous fait supposer que des modèles entraînés sur des langues disposant de grandes quantités de données peuvent être utilisés avec des langues peu dotées en première approche @xcite . pour la segmentation de langues peu dotées, telles que le xitsonga, nous envisageons de réaliser des expériences d'apprentissage semi-supervisé comme le bootstrap, en utilisant des modèles entraînés sur l'anglais américain et d'autres grands corpora. actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep