Fusion d’espaces de représentations multimodaux pour la reconnaissance du rôle du locuteur dans des documents télévisuels (Multimodal embedding fusion for robust speaker role recognition in video broadcast ) (2016)

Abstract: L’identification du rôle d’un locuteur dans des émissions de télévision est un problème de classification de personne selon une liste de rôles comme présentateur, journaliste, invité, etc. À cause de la nonsynchronie entre les modalités, ainsi que par le manque de corpus de vidéos annotées dans toutes les modalités, seulement une des modalités est souvent utilisée. Nous présentons dans cet article une fusion multimodale des espaces de représentations de l’audio, du texte et de l’image pour la reconnaissance du rôle du locuteur pour des données asynchrones. Les espaces de représentations monomodaux sont entraînés sur des corpus de données exogènes puis ajustés en utilisant des réseaux de neurones profonds sur un corpus d’émissions françaises pour notre tâche de classification. Les expériences réalisées sur le corpus de données REPERE ont mis en évidence les gains d’une fusion au niveau des espaces de représentations par rapport aux méthodes de fusion tardive standard.

## introduction l'identification du rôle d'une personne dans des émissions de télévisions consiste en un problème de classification de personne (parlant et/ou visible) selon une liste de rôles comme présentateur principal, journaliste, invité, etc. dans ce contexte, les modalités audio et image sont naturellement complémentaires puisque l'on retrouve les caractéristiques du rôle dans le signal audio, la transcription écrite de la parole et les caractéristiques des scènes. de nombreuses approches proposées jusqu'à présent pour l'identification du rôle de la personne ne prennent en compte qu'une seule des modalités et ce pour deux principales raisons : premièrement la présence d'une personne n'est pas toujours synchronisée sur les différentes modalités. en effet, les locuteurs ne sont pas toujours visibles et tous les visages visibles à l'écran ne sont pas tous en train de parler. de plus, le manque de données multimodales annotées limite les possibilités pour réaliser un apprentissage joint de systèmes multimodaux qui supposent généralement une parfaite synchronie entre les modalités. les approches récentes basées sur les réseaux de neurones profonds (deep neural networks, dnn) ont atteint des performances état-de-l'art pour de nombreuses tâches du traitement de l'audio et de l'image. le principal avantage de ces techniques est d'apprendre simultanément des caractéristiques de représentations et des fonctions de classification. l'initialisation des caractéristiques de représentations peut être effectuée sur de grands corpus de données génériques pas nécessairement liés à la tâche cible pour plonger les données dans des espaces de représentations (dénommés embeddings en anglais) qui pourront être ajustés à la tâche cible de façon jointe. cette approche a été proposée pour la tâche synchrone de détection et identification d'activité labiale (ngiam et al., 2011). dans cet article, nous voulons classifier les locuteurs en quatre rôles en utilisant les modalités audio, image et texte : ## approche l'approche que nous proposons consiste en la création de représentation pour chaque modalité adaptées à la tâche de srr. ces représentation sont utilisées en entrée d'un classifieur multimodal qui peut tirer avantage de caractéristiques cross-modales tirées de la concaténation des représentations monomodales. la figure 1 illustre cette approche. chaque représentation monomodale est entraînée sur un grand corpus monomodal qui n'est pas nécessairement en lié à la tâche de srr. le corpus multimodal annoté est utilisé seulement lorsque l'on entraîne la fusion. cette méthode nous permet de tirer parti en même temps des fusions précoces et tardives : nous pouvons utiliser un grand corpus de données monomodales pour lequel nous n'avons pas une synchronie d'annotation dans les autres modalités comme cela peut être fait en fusion tardive ; nous entraînons des classifieurs multimodaux qui permettent la construction de caractéristiques multimodales directement depuis chaque modalité comme la fusion précoce. pour la modalité texte nous entraînons un réseau de neurones convolutionnel (convolutional neural network, cnn) qui commence par l'apprentissage d'embeddings de mot sur un grand corpus de textes. la modalité audio utilise une représentation extraite d'un dnn modélisé à partir d'un système d'identification du locuteur, mais entraîné sur la tâche de srr. la modalité image repose sur une représentation extraite d'un réseau de neurones d'identification de concepts visuels imagenet, et raffiné pour la tâche cible. la fusion consiste en la concaténation des couches cachées de ces systèmes monomodaux à laquelle sont ajoutées des couches de neurones complètement reliées (fully-connected) pour créer un espace de représentation multimodal dans lequel sont fusionnées les caractéristiques actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep monomodales nécessaires à la prise de décision. la section suivante détaille l'architecture des composants monomodaux et multimodaux. ## modalité texte de récents travaux ont montré que les cnn sont très performants dans le traitement automatique du langage naturel (taln) pour des problèmes de classification @xcite . un cnn est un réseau de neurones profonds possédant plusieurs couches de convolution et de max-pooling suivis par un simple classifieur (souvent un perceptron multicouche). le principal avantage d'utiliser la convolution est la capacité du modèle de traiter des entrées de dimension variable (des phrases dans notre cas). de plus, les multiples filtres convolutionnels extraient des n-grammes lexicaux de différentes granularité alors que les couches de pooling extraient des caractéristiques sémantiques globale de l'entrée. dans nos travaux, nous utilisons la transcription du discours du locuteur courant pour la tâche de srr. premièrement, chaque mot est représenté par un vecteur de dimension 300 à valeurs réelles appelé word embeddings. dans nos expériences, les word embeddings foot_0 ont été entraînés sur wikipedia en utilisant le modèle skip-gram (5 itérations avec une fenêtre de taille 7). cette stratégie nous permet de caractériser des associations grammaticales et sémantiques entre les mots. puis, les word embeddings pour les mots du tour de parole courant sont passé au travers de trois filtres convolutionnels qui sélectionnent les meilleurs 3-grammes, 4-grammes et 5-grammes. ils sont combinés avec un une couche de max-over-time pooling (dimension 400) puis une couche de soft-max fully-connected. nous utilisons du dropout pour désactiver 40% des neurones à chaque itération, agissant comme une régularisation. ## modalité audio dans nos travaux précédents, il a été proposé d'apprendre des caractéristiques acoustiques de haut niveau pour l'identification du locuteur (rouvier et al., 2015a), appelées speaker embeddings. dans la même idée, nous proposons d'apprendre des caractéristiques du rôle du locuteur de haut niveau, appelées "audio embeddings", en utilisant des modèles profonds entraînés pour la tâche de srr. les audio embeddings sont appris de la façon suivante : premièrement, un vecteur de caractéristiques acoustique de dimension 60 est extrait pour chaque tour de parole 3 avec un taux d'échantillonnage de 10ms (19 mfccs, log énergie et deltas du premier et second ordre). puis les statistiques du premier ordre, centrées-normalisées, obtenues depuis un modèle du monde (universal background model, ubm) sont générées. le modèle du monde est un gmm diagonal à 1024 composantes indépendant du canal (calculé avec le toolkit kaldi 4 ). ensuite, les statistiques du premier ordre sont utilisées comme entrées d'un dnn avec deux couches cachées de 2048 neurones. les fonctions d'activation de ces couches sont des unités linéaires rectifiées (relu) et la sortie est un soft-max. l'entraînement est effectué en minimisant l'entropie croisée sur les données d'apprentissage. dans nos expériences, tous les hyper-paramètres des dnn sont déterminés sur un corpus de développement. la taille de mini-batch est de 512, 8 époques ont été effectuées et le taux d'apprentissage de 0.04 est réduit à 0.004 lors de la convergence. in fine, les embeddings audio de taille 2048 sont extraits à partir de la dernière couche cachée du dnn et utilisés pour la fusion multimodale. ## fusion multimodale il existe deux approches utilisées communément pour la fusion multimodale : les fusions précoce et tardive. la fusion tardive considère que les modalités sont indépendantes en appliquant d'abord des classifieurs séparés pour chaque modalité puis en fusionnant leurs sorties dans un classifieur de haut niveau. malheureusement, le classifieur ne peut pas modéliser les corrélations entre les modalités et a seulement accès aux décisions des systèmes monomodaux. l'approche par fusion précoce contourne ce problème en apprenant des caractéristiques et des relations entre les classes pour modéliser les interactions entre les modalités. toutefois, cette approche nécessite une synchronie entre les modalités. nous proposons une approche par fusion précoce basée sur des dnn où les entrées sont les embeddings de toutes les modalités pour la tâche spécifiée. premièrement, les dnn sont entraînés indépendamment pour chaque modalité pour pouvoir en extraire des représentations monomodales générales (embeddings de texte, d'audio et d'image). puis, ces embeddings sont utilisés en entrées d'un nouveau dnn entraîné pour apprendre à classifier le rôle des locuteurs à l'aide de caractéristiques multimodales. contrairement à la fusion tardive, notre méthode peut tirer avantage de sous-espaces de caractéristiques pertinents (embeddings) de toutes les modalités. dans nos expériences, le dnn utilisé pour la fusion précoce est composé de deux couches cachées de dimension 1024. la non-linéarité de ces couches cachées est corrigée par une fonction d'activation relu. les poids sont mis à jour en utilisant des mini-batch de taille 512, entraînés pendant 6 époques. le taux d'apprentissage initialement de 0.01 est réduit à 0.001 lors de la convergence. tous les résultats sont donnés en utilisant la précision (le nombre de rôles correctement identifié) et le diarization error rate (der). le der consiste à calculer les erreurs de srr au niveau des trames, la même métrique étant utilisée pour les tâches de segmentation de locuteur. le principal avantage de cette métrique est qu'elle nous permet de comparer deux sorties de systèmes de srr différentes avec une segmentation en locuteur différente. dans les résultats, der-man correspond au der calculé sur la segmentation et transcription manuelles, alors que der-auto correspond à la segmentation et transcription automatiques.