Audiocite.net un grand corpus d’enregistrements vocaux de lecture en français (2024)

Abstract: L’arrivée de l’apprentissage auto-supervisé dans le domaine du traitement automatique de la parole a permis l’utilisation de grands corpus non étiquetés pour obtenir des modèles pré-appris utilisés comme encodeurs des signaux de parole pour de nombreuses tâches. Toutefois, l’application de ces méthodes de SSL sur des langues telles que le français s’est montrée difficile due à la quantité limitée de corpus de parole du français publiquement accessible. C’est dans cet objectif que nous présentons le corpus Audiocite.net comprenant 6682 heures d’enregistrements de lecture par 130 locuteurs et locutrices. Ce corpus est construit à partir de livres audio provenant du site audiocite.net. En plus de décrire le processus de création et les statistiques obtenues, nous montrons également l’impact de ce corpus sur les modèles du projet LeBenchmark dans leurs versions 14k pour des tâches de traitement automatique de la parole.

## introduction l'arrivée de l'apprentissage auto-supervisé (self-supervised learning -ssl) dans le domaine du traitement automatique de la parole a permis l'utilisation de grands corpus non étiquetés pour obtenir des modèles pré-appris. de nombreux modèles profonds pré-appris modélisant le signal acoustique de la parole ont émergé utilisant l'apprentissage auto-supervisé génératif (pase+ @xcite , mockingjay @xcite ) ; une fonction de coût contrastive (cpc @xcite , speech simclr @xcite , wav2vec 2.0 @xcite ) ; ou prédictive @xcite , wavlm @xcite , data2vec @xcite ) @xcite . ces modèles ont fait avancer les performances du traitement de la parole en les adaptant et utilisant comme encodeurs pour les tâches de traitement automatique de la parole (downstream tasks). par exemple, wav2vec 2.0 a pu atteindre des résultats à l'état de l'art avec un modèle pré-appris puis ajusté avec un minimum de données étiquetées pour une tâche de reconnaissance automatique de la parole (rap) dans un contexte de lecture en anglais. les modèles pré-appris par ssl dépendent fortement de la disponibilité d'une grande quantité de données d'apprentissage. bien que plusieurs grands ensembles de données pour l'anglais et multilingues ont été publiés, des ensembles de données aussi volumineux pour le français sont rares. jusqu'à récemment, il était difficile de trouver de grands ensembles de données de parole française disponibles publiquement (à l'exception des 1,700 heures de parole transcrites automatiquement d'epac par @xcite ). récemment, de grands corpus multilingues incluant le français ont été rendus disponibles, tels que mls (1,096 h) @xcite , ou voxpopuli (non transcrit +4,500 h) @xcite . cependant, ces ensembles de données représentent toujours une quantité bien inférieure à ce qui est disponible pour l'anglais. le multilinguisme a été souligné comme un moyen de traiter les langues sous-dotées, mais l'étude menée dans le projet lebenchmark @xcite visant à créer des modèles de parole pré-appris pour le français a montré que les modèles entraînés sur des données cibles monolingues sont bien plus efficaces que ceux multilingues. dans cet article, nous présentons audiocite.net, un corpus non transcrit d'environ 6 600 heures d'enregistrements de parole lue en français, disponible librement pour la communauté. nous décrivons la sélection et l'acquisition des données (voir sec. 2) ainsi que les principales caractéristiques de la publication du jeu de données (sec. 3). nous montrons également comment ce jeu de données a impacté le modèle de 14k du projet lebenchmark 2.0 @xcite pour certaines tâches de traitement de la parole, notamment la reconnaissance automatique de la parole lue (sec. 4). cet article est l'adaptation vers le français d'un article publié à lrec/coling 2024 @xcite . ## sélection et acquisition des données les grands corpus de parole proviennent souvent de l'extraction de contenus libres sur le web, comme librispeech, extrait du projet librivox @xcite . cependant, les oeuvres publiées en france ne deviennent disponibles dans le domaine public que 70 ans après le décès de leurs auteurs et autrices, rendant les livres plus modernes publiés après 1953 inaccessibles. pour surmonter cette limitation, l'initiative common voice (ardila et al., 2020) a été mise en place par la fondation mozilla pour capturer la parole lue en utilisant des phrases collectées sur le web. en quatre ans, environ 1,100 heures de segments de phrases ont été collectées en français. pour rassembler un plus grand volume de parole lue continue, allant de la littérature classique à la moderne et librement accessible, nous avons décidé de nous concentrer sur le site audiocite.net. ## organisation du corpus audiocite.net bien que l'un des principaux usages envisagés pour ce jeu de données soit l'apprentissage autosupervisé, nous anticipons également d'autres utilisations. en effet, même s'il n'est pas transcrit, le jeu de données pourrait être utilisé pour la modélisation thématique, la reconstruction de signaux ou la synthèse vocale. c'est pourquoi nous l'avons publié avec des partitions officielles et des fichiers de métadonnées faciles à interroger.