Auto-encodeurs pour la compréhension de documents parlés (Auto-encoders for Spoken Document Understanding) (2016)

Abstract: Les représentations de documents au moyen d’approches à base de réseaux de neurones ont montré des améliorations significatives dans de nombreuses tâches du traitement du langage naturel. Dans le cadre d’applications réelles, où des conditions d’enregistrement difficiles peuvent être rencontrées, la transcription automatique de documents parlés peut générer un nombre de mots mal transcrits important. Cet article propose une représentation des documents parlés très bruités utilisant des caractéristiques apprises par un auto-encodeur profond supervisé. La méthode proposée s’appuie à la fois sur les documents bruités et leur équivalent propre annoté manuellement pour estimer une représentation plus robuste des documents bruités. Cette représentation est évaluée sur le corpus DECODA sur une tâche de classification thématique de conversations téléphoniques atteignant une précision de 83% avec un gain d’environ 6%.

## introduction la recherche en compréhension du langage est très active notamment dans les disciplines d'analyse conversationnelle et de la parole, et de détection de thématique comme le montrent @xcite et @xcite . un des axes d'innovation est lié à la détection de thèmes dans des conversions téléphoniques (voir figure 1 ) notamment grâce aux nombreuses possibilités applicatives qui en @xcite . dans ce cadre, les auto-encodeurs sont souvent utilisés pour obtenir des représentations latentes capables de capturer suffisamment d'informations pour reconstruire les données d'origine. ces représentations sont utilisées habituellement comme pré-entraînement de réseaux de neurones profonds (deep neural network , dnn) @xcite . de nombreux dnn ont déjà été proposés à des fins de débruitage. parmi eux, @xcite propose des "mémoires associatives" pour retrouver de l'information à partir de données partielles. plus récemment, des solutions s'appuyant sur des méthodes d'apprentissage non-supervisé utilisant des données issues de conditions homogènes ont été proposées @xcite . les auto-encodeurs permettant le débruitage (dae) ont été proposés @xcite pour améliorer la robustesse du processus de reconstruction en présence de données bruitées. ces dae ont prouvé leur intérêt dans de nombreux domaines, allant de la biologie @xcite jusqu'au traitement de la musique @xcite . ces dae apprennent à reproduire un vecteur sain à partir du même vecteur artificiellement corrompu par un bruit additif. ils sont efficaces quand les données d'entrée et de sortie possèdent des conditions homogènes et ne portent pas une information creuse (sparse). durant le processus d'apprentissage, l'erreur à rétro-propager est calculée entre le document produit par le réseau et le document propre d'origine. dans le cas de données naturellement bruitées, le type de bruit est inconnu et donc plus difficile à caractériser et à nettoyer. cet article propose une solution pour créer un document propre à partir d'une version corrompue sans connaissance a priori du bruit. elle produit un ensemble de caractéristiques latentes robustes via un auto-encodeur profond supervisé (deep bottlenecked autoencoder , bdae). le bdae tire profit à la fois des données annotées (i.e. propres) par un expert humain et des transcriptions produites par un srap. de ces données, une transformation non linéaire est apprise entre un espace dit "bruité" et un espace dit "propre" sans appliquer de fonction de corruption artificielle aux données. la suite de l'article est organisée comme suit : l'approche choisie est détaillée dans la section 2, le protocole expérimental et les résultats étant présentés section 3 et 4. enfin, la section 5 ouvre des perspectives de travail. ## approche proposée cette section présente les concepts de base des auto-encodeurs, en s'intéressant aux auto-encodeurs avec débruitage (dae) et aux auto-encodeurs profonds supervisés (bdae). ## protocole expérimental la robustesse de la représentation fondée sur le bdae est évaluée dans un cadre de détection de thèmes sur le corpus decoda @xcite . le corpus decoda @xcite est un ensemble de conversations téléphoniques provenant du service de gestion clientèle de la ratp. ce corpus est utilisé pour réaliser des tâches de détection de thèmes dans ces conversations. il est composé de 1 242 conversations (740 pour l'apprentissage, 175 pour le développement et 327 pour le test) correspondant à 74 heures de signal et découpé en 8 catégories thématiques : itinéraire, objets trouvés, horaire, carte de transport, état du trafic, prix du ticket, infractions, offres spéciales. les conversations ont été transcrites et annotées manuellement. un système de reconnaissance automatique de la parole (srap) est utilisé pour transcrire automatiquement le corpus decoda. il utilise un modèle acoustique triphone de 230 000 gaussiennes appris sur 150 heures de parole dans des conditions téléphoniques, ainsi qu'un modèle de langue 3-grammes spécifique de 5 782 mots. le taux d'erreur-mots (word error rate, wer) est de 33,8 % sur les données d'entraînement, 45,2 % sur le développement, et 49,5 % sur le test. ces wer élevés sont principalement dus aux mauvaises conditions acoustiques et aux disfluences verbales. des wer proches ont été rapportés dans des conditions similaires (garnier-rizet et al., 2008). un sous-ensemble de mots discriminants via le produit entre l'inverse de la fréquence inter-documents et la pureté du mot définie par le critère de gini (idf.g) est construit à partir du corpus d'apprentissage. pour chaque thème du corpus, 100 mots spécifiques sont identifiés, formant un vocabulaire de 707 mots. pour un corpus d donné, un vecteur de caractéristiques x est défini par les éléments x i calculés ainsi : x @xmath0.g. une classification thématique des documents est réalisée par un perceptron multi-couches ( multi-layer perceptron, mlp). deux auto-encodeurs ae asr et ae trs utilisant les caractéristiques x (trs) et x (asr) , et avec chacun une couche cachée de 50 neurones artificiels (h (asr) ou h (trs) ) sont entraînés. un auto-encodeur profond supervisé bdae (voir figure 3-c ) est entraîné pour extraire les caractéristiques latentes des figure 4 -un auto-encodeur avec débruitage ayant une entrée naturellement bruité x (asr) et la production propre voulue x (trs) . l'erreur de reconstruction l est évaluée entre la sortie observée x(trs) et x (trs) . figure 5 -un auto-encodeur avec débruitage ayant une entrée corrompue x (asr) et la production propre voulue x (trs) . l'erreur de reconstruction l est évaluée entre la sortie observée x(trs) et x (trs) . documents dans une couche cachée centrale h de 300 neurones. il utilise des vecteurs de fréquence des mots bruités x ## expériences et résultats les résultats pour la classification de thèmes avec les auto-encodeurs simples et profonds sont répertoriés dans les sections 4.1 et 4.2. enfin, les avantages du bdae sont discutés section 4.3. ## conclusion cet article propose une représentation originale des documents fondée sur des caractéristiques réduites provenant d'un auto-encodeur profond supervisé. cette représentation est appliquée à un problème d'identification de thèmes dans des documents transcrits automatiquement. les matrices de poids de ce réseau de neurones profond sont extraites de deux auto-encodeurs classiques. ces deux autoencodeurs sont entrainés sur des documents corrompus pour le premier (asr), et des documents propres pour le second (trs). ensuite une transformation non-linéaire des documents asr vers les documents trs est apprise indépendamment. ainsi, le système préserve la projection des documents corrompus vers la représentation latente corrompue et la projection des documents propres vers la représentation latente propre. l'architecture proposée permet un gain de plus de 6, 7 points dans la projection latente réduite comparé à l'homologue réappris. un écart de seulement 0.9 point avec les documents annotés manuellement a alors été observé. les prochains travaux de cette étude préliminaire viseront à prendre en compte la structure des documents en remplaçant les couches simples dans le bdae par des couches récurrentes pour utiliser les propriétés des réseaux de neurones récurrents tels que les long-short term memory (lstm) autoencoder @xcite ou les gated recurrent units @xcite . en effet, prendre en compte l'information structurelle peut apporter des informations supplémentaires sur le bruit mais aussi permettre de reconstruire des documents complets en plus d'une représentation latente.