Autoapprentissage pour le regroupement en locuteurs : premières investigations (First investigations on self trained speaker diarization ) (2016)

Abstract: This paper investigates self trained cross-show speaker diarization applied to collections of French TV archives, based on an i-vector/PLDA framework. The parameters used for i-vectors extraction and PLDA scoring are trained in a unsupervised way, using the data of the collection itself. Performances are compared, using combinations of target data and external data for training. The experimental results on two distinct target corpora show that using data from the corpora themselves to perform unsupervised iterative training and domain adaptation of PLDA parameters can improve an existing system, trained on external annotated data. Such results indicate that performing speaker indexation on small collections of unlabeled audio archives should only rely on the availability of a sufficient external corpus, which can be specifically adapted to every target collection. We show that a minimum collection size is required to exclude the use of such an external bootstrap.

## introduction la tâche de segmentation et regroupement en locuteurs (srl) vise à étiqueter les locuteurs dans un ou plusieurs enregistrements audios, sans connaissance a priori des locuteurs. l'augmentation constante des volumes de données nécessite une indexation efficace. la srl appliquée à des collections est une tâche globale qui consiste à traiter un ensemble d'enregistrements audios bruts (non segmentés en tours de parole) afin d'identifier de manière unique les tours de paroles de chaque locuteur. cette tâche se décompose généralement en deux étapes : la srl intra-enregistrement, où il actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep s'agit de segmenter et regrouper les occurrences des locuteurs au sein d'un même enregistrement, et le regroupement inter-enregistrements, qui vise à regrouper les locuteurs intra-enregistrements @xcite . d'autres implémentations sont possibles, où tous les enregistrements peuvent être concaténés en un super-enregistrement, pour ensuite être traités comme un problème artificiel @xcite . l'approche en deux étapes, plus naturelle, est la plus couramment utilisée. elle permet de traiter de grands volumes de données comme des archives audiovisuelles ou radiophoniques @xcite @xcite @xcite , des enregistrements téléphoniques @xcite @xcite , ou encore d'enregistrements de réunions @xcite . l'état de l'art en reconnaissance du locuteur repose sur le système i-vector/plda, qui requiert des données annotées en locuteurs, indiquant l'identité et les tours de parole de ceux-ci. la modélisation de la variabilité inter-locuteur est une étape clé. pour la réaliser, le corpus d'apprentissage doit contenir plusieurs occurrences d'un même locuteur dans des conditions acoustiques variées. les annotations manuelles en locuteurs sont coûteuses et rarement disponibles. ainsi, deux approches peuvent être utilisées pour entraîner un système automatique : 1) un apprentissage non supervisé sur les données cibles, 2) une approche supervisée sur des données d'entraînement annotées en locuteurs. dans cette deuxième approche, la différence de conditions acoustiques entre le corpus d'apprentissage et le corpus cible induit une dégradation des performances sur la collection cible. des solutions de compensation ont déjà été proposées pour la tâche de vérification du locuteur, basées sur l'adaptation au domaine de manière non supervisée @xcite . dans le contexte de l'apprentissage non supervisé d'un modèle plda 1 , la notion d'apprentissage itératif @xcite a été proposée pour améliorer la qualité des modèles. dans les deux articles précités, l'apprentissage était fait sur des enregistrements mono locuteur dont l'identité est inconnue. dans @xcite , nous avons montré qu'un système de srl pour une collection, entraîné de fac ¸on non supervisée sur des enregistrements multi locuteurs non segmentés en tour de parole, pouvait être aussi performant qu'un système appris de manière supervisée sur les mêmes données. ces expériences nous ont montré que les annotations d'un corpus d'apprentissage ne sont pas obligatoires. cette étude porte sur l'autoapprentissage des modèles i-vector/plda utilisés lors des phases de regroupement intra-et inter-enregistrements à partir des enregistrements eux-mêmes, sans l'utilisation de données d'apprentissage ou d'adaptation externes. l'idée est de proposer un système de srl utilisant le minimum de connaissances a priori. dans ce contexte, nous étudions plusieurs variantes du système de regroupement i-vector/plda, appris avec ou sans données externes. nous évaluons aussi des modèles appris à partir de la combinaison de données étiquetées et non étiquetées en locuteur. nous commenc ¸ons par décrire le système de srl en précisant le périmètre de l'autoapprentissage pour la tâche visée. ensuite, nous détaillons les données utilisées pour les expériences avant de conclure avec l'étude des performances du système proposé et des améliorations possibles. regroupement intra-enregistrement sortie de tous les regroupements intraenregistrement prétraitement segmentation et regroupement bic extraction des i-vectors regroupement inter-enregistrement similarity matrix cc + hac apprentissage matrices ssn + plda regroupement des locuteurs sortie du regroupement de la collection matrice de similarité cc+hac modélisation des locuteurs itération corpus cible apprentissage ubm apprentissage matrice tv corpus externe apprentissage non supervisé apprentissage supervisé prétraitement + annotations figure 1 -vue d'ensemble du système de srl, entraîné de fac ¸on supervisé (traits bleus continus), non supervisé (traits pointillés bleus) et semi-supervisé (tous les traits bleus). srl intra-enregistrement : après l'extraction de 13 mfcc et une étape de détection de la parole, un système classique de segmentation et de classification bic (barras et al., 2006) permet d'obtenir des classes très pures contenant les tours de parole d'un locuteur. à ce stade, nous disposons de suffisamment de données pour apprendre à partir de mfcc normalisés (moyenne et variance) et étendus avec leurs dérivés premières et secondes des modèles plus complexes comme les i-vectors @xcite . après leur apprentissage, ces modèles sont normalisés par la méthode décrite dans @xcite . un rapport de vraisemblance entre chaque paire de i-vectors est calculé en utilisant un modèle plda (dimension 200 pour la matrice inter-classes et sans matrice intra-classes). ces paires forment une matrice de scores sur laquelle nous appliquons l'algorithme de regroupement cc + hac à base de graphe et de regroupement hiérarchique décrit dans @xcite . srl inter-enregistrements : après avoir traité chaque émission séparément, la collection est considérée dans son ensemble et le même algorithme cc + hac est appliqué afin de regrouper les classes obtenues dans chaque émission, chacune étant représentée par un unique i-vector. ## autoapprentissage du système automatique après avoir montré dans @xcite que, pour un corpus de grande dimension, l'apprentissage non supervisé d'un modèle de srl pouvait donner des performances comparables à un apprentissage supervisé, nous étudions ici le cas où aucun corpus externe (annoté ou non) n'est disponible pour l'apprentissage et où les seules données d'apprentissage sont issues du corpus cible lui-même, qui est non annoté. la figure 1 représente les processus d'apprentissage d'un système de srl supervisé (traits continus bleus) et non supervisé (traits pointillés bleus). ce dernier est similaire à celui décrit dans @xcite mais ici, le corpus cible sert de corpus d'apprentissage. nous comparons cette approche à un système de référence, appris de fac ¸on classique sur un corpus d'apprentissage annoté et à un système oracle appris sur le corpus cible avec des annotations manuelles. enfin, nous adaptons itérativement la plda du système de référence avec le corpus cible (traits bleus continus et pointillés). le système de srl nécessite l'apprentissage d'un modèle du monde (ubm), d'un extracteur de i-vectors (tv) et d'un modèle plda. leur apprentissage non supervisé nécessite d'extraire des informations sur les locuteurs de fac ¸on automatique comme suit. un ubm à 256 gaussiennes est appris sur des segments de parole détectés grâce à un système parole/non-parole à base de gmms. l'apprentissage de tv, de rang 200, nécessite des segments contenant un unique locuteur. ceux-ci sont obtenus grâce à un système de segmentation bic qui produit, d'après notre expérience, des classes pures. l'apprentissage des paramètres de la normalisation sphérique et du modèle plda nécessite des annotations en locuteurs et sessions afin de modéliser les variances inter-et intra-locuteurs. nous ne considérons, pour apprendre ces paramètres, que les locuteurs apparaissant dans au moins trois émissions pour une durée minimum de 10 secondes par émission. ces annotations en locuteur sont obtenues grâce à un système non supervisé de srl similaire à celui décrit à la section 2 mais utilisant une distance cosinus. ## contexte expérimental les modèles contrastifs pour la srl ont été appris sur trois corpus distincts, tirés d'environ 200 heures d'émissions audiovisuelles des campagnes d'évaluation repere @xcite , etape @xcite et ester @xcite . ces corpus, où les locuteurs sont identifiés par leur nom et prénom, contiennent plusieurs sessions pour un grand nombre de locuteurs. les locuteurs apparaissant dans plus d'un épisode sont appelés locuteurs récurrents (r.), par opposition aux locuteurs ponctuels (p.), qui ne sont présents que dans un épisode. nous définissons deux corpus cible, construits à partir des corpus officiels d'apprentissage et de test de repere @xcite . le premier, qu'on appellera lcp cible , est la collection de tous les épisodes disponibles de l'émission lcp inf o. le second, qu'on appellera bf m cible , contient tous les épisodes disponibles de l'émission bf m story. ces deux émissions ont été choisies parce qu'elles comptent un nombre suffisamment important d'épisodes (plus de quarante chacune), et contiennent de nombreux locuteurs récurrents, qui parlent pour plus de 50% du temps de parole total de la collection. quelques chiffres à propos des deux corpus sont présentés dans le tableau 1. les deux corpus étant partiellement annotés, seuls les chiffres des locuteurs annotés sont présentés. corpus lcp cible bf m cible nombre d'épisodes 45 42 durée d'un épisode 25m 60m durée de parole annotée 10h08m 19h57m locuteurs ponctuels 127 345 locuteurs récurrents (2 occurrences ou plus) 93 77 locuteurs récurrents (3 occurrences ou plus) 48 35 nombre total de locuteurs 220 422 locuteurs p., part du temps de parole total 20.12% 44,84% locuteurs r. (2+ occ.), part du temps de parole total 79,88% 55,16% locuteurs r. (3+ occ.), part du temps de parole total 67,06% 45,94% durée de parole moyenne d'un locuteur, par épisode 1m08s 1m58s ## conclusion dans cet article, nous avons proposé un système de segmentation et regroupement en locuteurs inter-enregistrements utilisant une stratégie d'autoapprentissage pour le traitement de petites collections d'archives audiovisuelles non annotées. alors que des travaux antérieurs montraient que l'apprentissage non supervisé d'un système i-vector/plda sur de telles données était valide, la petite taille des corpus cibles ne permet pas un autoapprentissage performant. l'utilisation de données externes pour un premier apprentissage supervisé reste indispensable. nous avons appliqué avec succès une technique d'adaptation au domaine, qui s'était avéré efficace pour la tâche de vérification du locuteur sur des données mono locuteurs, afin d'améliorer le système de srl réf érence. l'utilisation de l'information sur les locuteurs récurrents apportée par une première itération de srl sur la collection cible a permis d'améliorer le der sur les deux corpus. les travaux futurs seront consacrés à l'amélioration de la méthode d'apprentissage, en introduisant une pondération dans les paramètres de l'adaptation au domaine entre les données externes et les données cibles. nous prévoyons également d'approfondir l'aspect itératif de l'apprentissage, la littérature ayant montré que des améliorations étaient possibles.