Reconnaissance de phones fondée sur du Transfer Learning pour des enfants apprenants lecteurs en environnement de classe (Transfer Learning based phone recognition on children learning to read, with speech recorded in a classroom environment) (2020)

Abstract: A conditions égales, les performances actuelles de la reconnaissance vocale pour enfants sont inférieures à celles des systèmes pour adultes. La parole des jeunes enfants est particulièrement difficile à reconnaître, et les données disponibles sont rares. En outre, pour notre application d’assistant de lecture pour les enfants de 5-7 ans, les modèles doivent s’adapter à une lecture lente, des disfluences et du bruit de brouhaha typique d’une classe. Nous comparons ici plusieurs modèles acoustiques pour la reconnaissance de phones sur de la parole lue d’enfant avec des données bruitées et en quantité limitée. Nous montrons que faire du Transfer Learning avec des modèles entraînés sur la parole d’adulte et trois heures de parole d’enfant améliore le taux d’erreur au niveau du phone (PER) de 7,6% relatifs, par rapport à un modèle enfant. La normalisation de la longueur du conduit vocal sur la parole d’adulte réduit ce taux d’erreur de 5,1% relatifs supplémentaires, atteignant un PER de 37,1%.

## introduction le corps humain, et en particulier l'appareil de production de la parole, évolue continuellement pendant les premières années de la vie. entre 5 et 7 ans, les mécanismes articulatoires des enfants ne sont pas stables, ce qui implique une variabilité spectrale intra-et inter-locuteurs. la stabilisation du contrôle vocal ne se produit que vers l'âge de 8 ans @xcite . en raison de la croissance lente du conduit vocal, leurs fréquence fondamentale et formants n'atteignent les niveaux d'un adulte mature qu'à l'âge de 15 ans @xcite . en outre, les erreurs phonologiques, comme la suppression de syllabes faibles ou la substitution de phones due à un mauvais positionnement de la langue et des lèvres @xcite , sont très courantes dans la parole des jeunes enfants, et ont tendance à disparaître avec l'âge. ces différences morphologiques et phonologiques sont les principales causes des faibles performances des systèmes de reconnaissance automatique de la parole (rap) sur les voix d'enfants. les tuteurs numériques de lecture ont un fort impact pédagogique sur les enfants qui apprennent à lire, et plusieurs projets ont vu le jour au fil des ans @xcite @xcite . le projet fluence notamment travaille depuis quelques années sur l'évaluation automatique de la fluence auprès des apprenants lecteurs français @xcite . travailler sur la parole des lecteurs non-experts ajoute des difficultés dues à la présence de nombreuses disfluences. lalilo 1 propose un assistant de lecture pour les enfants de 5 à 7 ans, avec un exercice de lecture à voix haute. pour cela, nous entraînons un classifieur qui donne une décision binaire sur la lecture correcte ou non du mot. cet article présente nos travaux sur la modélisation acoustique, avec pour objectif l'amélioration de la précision de la reconnaissance automatique de phones, dont découle la précision du classifieur. dans la section 2, nous présentons nos motivations et les techniques utilisées. le dispositif expérimental est détaillé dans la section 3, suivi des résultats dans la section 4. enfin, nous analysons le comportement de nos modèles en fonction du voisement, et en présence d'erreurs de lecture. ## méthodes en raison du peu de données de parole d'enfant disponibles, les systèmes fondés sur les réseaux neuronaux profonds n'ont commencé à être exploités que récemment pour la reconnaissance automatique de la parole d'enfant. les architectures hybrides deep neural network -hidden markov model (dnn-hmm) de modèles acoustiques ont été largement utilisées dans la reconnaissance vocale au cours des deux dernières décennies. @xcite utilisent un système dnn-hmm, entraîné conjointement sur des données adultes et enfants, puis adapté à la parole d'un groupe d'âge spécifique. pour une application d'apprentissage d'une seconde langue chez les enfants, @xcite ont présenté un dnn-hmm qui, même entraîné sur très peu de données, a surpassé des systèmes basés sur des mélanges de lois gaussiennes (gmm-hmm). dans cet article, nous utilisons un système hybride où le dnn est un time-delay neural network (tdnn), architecture introduite par @xcite pour la reconnaissance de phones. ce type de réseau s'est révélé particulièrement adapté à la rap, de par sa capacité à représenter les relations entre événements acoustiques dans le temps, ainsi qu'à fournir une invariance temporelle des paramètres appris par le réseau @xcite . pour cela, la largeur du contexte varie selon les couches : les couches inférieures apprennent des caractéristiques acoustico-phonétiques de courte durée, tandis que les couches supérieures apprennent des caractéristiques plus complexes de plus longue durée. les tdnn ont été utilisés avec succès pour la reconnaissance des voyelles sur la parole des enfants dans une langue peu dotée @xcite . le transfer learning (tl) permet de surmonter le manque de données dans un domaine spécifique : cette méthode consiste à transférer des connaissances préalables acquises sur un grand corpus hors 1. https://www.lalilo.com/ domaine vers un modèle acoustique entraîné sur un petit corpus correspondant à l'application. le système bénéficie ainsi de connaissances de bases qui peuvent être adaptées à un domaine ou à une tâche spécifique. cette méthode a montré une amélioration des performances dans des applications de transfert de langues @xcite et de transfert d'âge @xcite . nous explorons ici l'adaptation de modèles acoustiques en utilisant un modèle tdnn entraîné sur un grand corpus de parole adulte, et deux méthodes de tl. la première consiste à ré-initialiser aléatoirement les deux dernières couches du réseau, et à les entraîner avec des données d'enfant, ce qui a pour objectif d'adapter fortement le modèle à la parole d'enfant. la seconde prend toutes les couches existantes du modèle source et les ré-entraîne avec des données d'enfant, et ainsi garde toutes les informations apprises par le modèle sur les voix d'adulte. nous utilisons différents facteurs d'apprentissage pour équilibrer les connaissances pré-acquises sur la parole d'adulte et les caractéristiques acoustiques nouvellement acquises sur la parole d'enfant. une adaptation approfondie est réalisée avec la technique vtln. tandis que serizel et al. @xcite utilisent la vtln sur un corpus mixte enfants-adultes en normalisant les caractéristiques de chaque locuteur, nous proposons d'utiliser la vtln pour étendre les fréquences d'adulte vers des fréquences d'enfant et entraîner un tdnn adulte sur ces paramètres transformés. la vtln n'est donc pas appliqué de façon individuelle à chaque locuteur, mais de façon globale à tous les locuteurs avec des facteurs de déformation fixes : un pour les femmes et un pour les hommes. cela nous permet d'obtenir une gamme de fréquences proche de celle des enfants pour chaque locuteur, minimisant ainsi la différence entre parole d'adulte et parole d'enfant, avec pour objectif une meilleure efficacité du transfer learning. la principale contribution réside dans l'utilisation de ce tdnn adulte adapté aux voix d'enfants avec de la vtln comme modèle source pour le transfer learning. ## conclusion & perspectives dans le cadre d'une tâche de détection des erreurs pour l'évaluation de la lecture à haute voix chez les enfants, la précision du système de reconnaissance vocale a une grande incidence sur la pertinence des paramètres qui sont transmis à un classifieur. dans cet article, nous améliorons la précision de la reconnaissance de phones sur parole d'enfant au moyen d'une méthode de transfer learning, où des modèles tdnn adultes sont adaptés avec quatre heures de parole d'enfant. nous obtenons un per de 39,1 %, ce qui correspond à un gain relatif de 7,6 % par rapport à un tdnn entraîné uniquement sur parole d'enfant. l'application de la vtln sur le corpus d'entraînement de parole d'adulte pour l'extension de la gamme de fréquences de locuteurs, et l'utilisation de ce modèle adulte adapté au vtln comme modèle source pour le transfer learning réduit le per à 37,1%, ce qui apporte une réduction relative supplémentaire de 5,1%. nous utilisons actuellement une structure de tdnn factorisés qui ont montré de meilleurs résultats sur un petit corpus de parole d'enfant @xcite . nous pourrions également renforcer notre utilisation de la vtln en utilisant un dnn pour adapter les facteurs de déformation spécifiquement à chaque locuteur, comme dans @xcite . de futurs travaux porteront sur la pertinence des paramètres mfccs pour la parole d'enfant, avec l'étude d'une échelle mel adaptée aux fréquences des enfants, et la recherche de paramètres spécifiques à nos données d'enfants. enfin, une modélisation linguistique appropriée pourrait combler l'écart de performance entre les mots correctement lus et ceux contenant des erreurs de fluence ou de déchiffrage.