Adaptation de domaine non supervisée pour la reconnaissance de la langue par régularisation d’un réseau de neurones (Unsupervised domain adaptation for language identification by regularization of a neural network) (2020)

Abstract: Les systèmes automatiques d’identification de la langue subissent une dégradation importante de leurs performances quand les caractéristiques acoustiques des signaux de test diffèrent fortement des caractéristiques des données d’entraînement. Dans cet article, nous étudions l’adaptation de domaine non supervisée d’un système entraîné sur des conversations téléphoniques à des transmissions radio. Nous présentons une méthode de régularisation d’un réseau de neurones consistant à ajouter à la fonction de coût un terme mesurant la divergence entre les deux domaines. Des expériences sur le corpus OpenSAD15 nous permettent de sélectionner la Maximum Mean Discrepancy pour réaliser cette mesure. Cette approche est ensuite appliquée à un système moderne d’identification de la langue reposant sur des x-vectors. Sur le corpus RATS, pour sept des huit canaux radio étudiés, l’approche permet, sans utiliser de données annotées du domaine cible, de surpasser la performance d’un système entraîné de façon supervisée avec des données annotées de ce domaine.

## introduction un système d'identification de la langue est habituellement entraîné sur un corpus d'apprentissage spécifique à un environnement. si les données de test ne proviennent pas de la même distribution que les données d'entraînement (et ont donc des caractéristiques différentes), les performances du système peuvent chuter significativement. dans cet article, nous étudions l'effet du changement de canal de transmission entre les données d'entraînement et de test. les données d'entraînement sont des conversations téléphoniques. nous voulons appliquer un tel système à des communications radio, pour lesquelles nous ne disposons pas de données annotées. ce problème est appelé adaptation de domaine non supervisée. la possibilité d'adapter un système de classification fonctionnant sur un domaine source à un domaine cible repose sur l'hypothèse que les distributions des données des deux domaines partagent des caractéristiques communes pouvant être utilisées pour la classification @xcite . par conséquent l'adaptation de domaine peut être réalisée en utilisant des représentations invariantes entre les domaines. dans ce but, deux types d'approche ont émergé @xcite : les méthodes feature-based, qui transforment les représentations des données du domaine source afin de les rendre similaires au domaine cible, et les méthodes model-based. lors d'une adaptation model-based, les paramètres du modèle sont déterminés en prenant en compte l'objectif de généralisation au domaine cible. nous proposons une approche model-based s'appliquant à un réseau de neurones dont les paramètres sont obtenus par minimisation d'une fonction de coût. un terme de régularisation est ajouté à la fonction de coût afin de prendre en compte la contrainte d'invariance entre les domaines. différentes fonctions de régularisation ont été proposées dans la littérature en traitement de l'image et analyse de texte : deep coral @xcite maximum mean discrepancy @xcite , des fonctions de coût antagonistes @xcite . jusqu'à présent aucune de ces approches n'a été appliquée à la reconnaissance de la langue. dans ce travail, nous comparons d'abord trois fonctions de coût pour l'adaptation à des canaux radio d'un réseau de neurones entraîné pour la tâche d'identification de la langue : la distance entre les moyennes des distributions, deep coral et la maximum mean discrepancy. nous montrons que cette dernière permet d'annuler la baisse de performance due à l'absence de données annotées sur le domaine cible. ## sélection de la fonction de régularisation pour isoler l'effet de la méthode de régularisation proposée, nous comparons les trois fonctions de régularisation sur un système end-to-end constitué d'un seul réseau de neurones, avec le corpus opensad15. ## conclusion nous avons introduit une méthode d'adaptation de domaine non supervisée d'un réseau de neurones pour un système d'identification de la langue. cette méthode consiste en une modification de la fonction de coût utilisée lors de l'entraînement du réseau de neurones par l'ajout d'un terme de régularisation. par des expériences préliminaires avec un réseau de neurones convolutionnel, nous avons sélectionné une fonction de coût basée sur la maximum mean discrepancy. dans un second temps, nous avons appliqué cette approche à un système récent d'identification de la langue, constitué d'un extracteur de features, d'un extracteur de x-vectors et d'un classifieur final. les résultats démontrent l'efficacité de la méthode proposée pour prendre en compte la distorsion due au canal de transmission du signal. lorsque la régularisation est appliquée au réseau x-vector, elle produit des vecteurs ayant acquis une robustesse au changement de domaine et permettant donc le transfert d'un apprentissage entre le domaine source et le domaine cible. de plus, la régularisation proposée améliore notablement la capacité de discrimination des x-vectors ainsi produits par rapport à un apprentissage supervisé. elle est donc pertinente même dans le cas où on disposerait de données annotées sur le domaine cible.