Adaptation de modèles auto-supervisés pour la reconnaissance de phonèmes dans la parole d’enfant (2024)

Abstract: La reconnaissance de parole d’enfant est un domaine de recherche encore peu développé en raison du manque de données et des difficultés caractéristiques de cette tâche. Après avoir exploré diverses architectures pour la RAP d’enfant dans de précédents travaux, nous nous attaquons dans cet article aux nouveaux modèles auto-supervisés. Nous comparons d’abord plusieurs modèles Wav2vec2, HuBERT et WavLM adaptés superficiellement à la reconnaissance de phonèmes sur parole d’enfant, et poursuivons nos expériences avec le meilleur d’entre eux, un WavLM base+. Il est ensuite adapté plus profondément en dégelant ses blocs transformer lors de l’entraînement sur parole d’enfant, ce qui améliore grandement ses performances et le fait surpasser significativement notre modèle de base, un Transformer+CTC. Enfin, nous étudions en détail les comportements de ces deux modèles en conditions réelles de notre application, et montrons que WavLM base+ est plus robuste à diverses tâches de lecture et niveaux de bruit.

## introduction le langage oral des jeunes enfants (5-8 ans) présente des caractéristiques spécifiques liées au développement de leur appareil vocal et à leur contrôle moteur encore en développement : mécanismes articulatoires instables et variabilité spectrale intra-et inter-locuteur•rices @xcite , fréquences fondamentales et formantiques plus élevées que celles des adultes @xcite , ou encore présence d'erreurs phonologiques @xcite . ces différences morphologiques et phonologiques constituent les principales raisons des performances limitées des systèmes de reconnaissance automatique de la parole (rap) lorsqu'ils sont confrontés aux voix d'enfants. les outils numériques d'assistance à la lecture ont un impact pédagogique significatif sur les enfants apprenant à lire, et plusieurs initiatives ont été développées au fil du temps @xcite @xcite . lalilo foot_0 propose un assistant de lecture destiné aux enfants de 5 à 8 ans, comprenant un exercice de lecture à voix haute qui offre un retour personnalisé grâce au système de reconnaissance automatique de phonèmes présenté dans cet article. des recherches antérieures sur la rap des enfants ont montré des performances inférieures à celles observées chez les adultes @xcite @xcite . des systèmes hybrides ont démontré des améliorations en combinant données d'adulte et d'enfant @xcite , ou en utilisant des techniques d'apprentissage par transfert @xcite . les architectures récentes dites bout-à-bout, ou end-to-end, ont récemment été adaptées à la rap d'enfants, et ont atteint ou surpassé les performances des architectures hybrides @xcite . récemment, l'apprentissage auto-supervisé (self-supervised learning, ssl) a été introduit dans le domaine de la rap en raison de son grand potentiel pour améliorer les tâches à faibles ressources en exploitant les connaissances préalables acquises à partir de grandes quantités de données non annotées @xcite . c'est le cas de la rap d'enfant, où les données sont rares et leur annotation est complexe et coûteuse. de récentes études ont montré que le potentiel d'apprentissage à partir de données non annotées abondantes est élevé pour de la rap d'enfants @xcite . nous étudions dans ce papier le comportement des modèles auto-supervisés à l'état de l'art sur nos données spécifiques de parole de jeunes enfants apprenant à lire. après une rapide comparaison de plusieurs modèles (wav2vec2 @xcite , @xcite et wavlm @xcite ) pour la reconnaissance de phonèmes dans la parole d'enfant, nous adapterons plus en profondeur le meilleur d'entre eux, et le comparerons avec notre système actuel, un transformer+ctc. nous analyserons en détail les performances de chacun sur différents types de contenu et dans différents niveaux de bruit. ## jeux de données pour compenser le manque de données disponibles de parole d'enfant, nous utilisons de la parole d'adulte pour entraîner des modèles sources, que nous adaptons ensuite avec de la parole d'enfant. ## description des systèmes cette section présente les différents systèmes que nous étudierons dans ce papier. nous entraînons nos systèmes à la reconnaissance de phonèmes, et non de mots, afin de pouvoir détecter plus efficacement les erreurs de lecture. tous nos systèmes sont entraînés avec speechbrain @xcite . ## conclusion les systèmes capables de transcrire avec précision la parole d'enfant sont encore rares, notamment en français, en raison d'un manque de données disponibles et d'une difficulté accrue sur ce type de parole. nous explorons ici l'adaptation des nouveaux modèles auto-supervisés à la reconnaissance de phonèmes sur de la parole de jeunes enfants. dans un premier temps, nous sélectionnons trois modèles (wav2vec2, hubert et wavlm, en version base) et adaptons une couche ctc de classification de phonèmes avec notre corpus de parole d'enfant. nous observons que les modèles hubert et wavlm surpassent wav2vec2, et que le modèle wavlm base+, entraîné sur 100 fois plus de données tout en conservant le même nombre de paramètres, est significativement plus performant que les autres. dans un second temps, nous adaptons le modèle wavlm base+ plus en profondeur en dégelant les blocs transformer du modèle, ce qui améliore ses performances de 33,4% relatifs. nous montrons qu'il obtient une précision largement meilleure que celle obtenue par notre modèle de base, un transformer+ctc. enfin, nous analysons les comportements de nos modèles face à différentes tâches de lecture et conditions de bruit, et montrons que le wavlm base+ est plus efficace sur des enregistrements très courts, généralise mieux à des contenus non vus en apprentissage, et est plus robuste à un bruit de salle de classe.