Curriculum d’apprentissage : reconnaissance d’entités nommées pour l’extraction de concepts sémantiques (Curriculum learning : named entity recognition for semantic concept extraction) (2019)

Abstract: Dans cet article, nous présentons une approche de bout en bout d’extraction de concepts sémantiques de la parole. En particulier, nous mettons en avant l’apport d’une chaîne d’apprentissage successif pilotée par une stratégie de curriculum d’apprentissage. Dans la chaîne d’apprentissage mise en place, nous exploitons des données françaises annotées en entités nommées que nous supposons être des concepts plus génériques que les concepts sémantiques liés à une application informatique spécifique. Dans cette étude, il s’agit d’extraire des concepts sémantiques dans le cadre de la tâche MEDIA. Pour renforcer le système proposé, nous exploitons aussi des stratégies d’augmentation de données, un modèle de langage 5-gramme, ainsi qu’un mode étoile aidant le système à se concentrer sur les concepts et leurs valeurs lors de l’apprentissage. Les résultats montrent un intérêt à l’utilisation des données d’entités nommées, permettant un gain relatif allant jusqu’à 6,5 %.

## introduction l'apprentissage humain est réalisé par étapes successives de plus en plus complexes, permettant ainsi d'aborder des notions ordonnées de la plus simple à la plus compliquée. basés sur cette observation, des travaux ont été menés afin d'appliquer ce concept aux algorithmes d'apprentissage automatique @xcite . ces travaux ont montré l'intérêt de l'organisation des exemples d'apprentissage d'un même ensemble de données pour l'amélioration de la vitesse de convergence et des performances de généralisation des systèmes entraînés. il s'agit du curriculum d'apprentissage. d'autres travaux se sont concentrés sur l'application des principes de transfert d'apprentissage @xcite pour ordonner les exemples appris par le système. ils ont de nouveau montré l'intérêt d'un curriculum d'apprentissage, notamment pour l'amélioration des performances de généralisation pour des tâches complexes. récemment, il a été proposé par @xcite une première approche de bout en bout permettant de réaliser, de manière totalement disjointe, soit une reconnaissance d'entités nommées, soit une extraction de concepts sémantiques dans la parole. la proposition consistait en l'ajout des frontières des concepts directement dans les séquences à produire par le système. traditionnellement, les tâches d'extraction de concepts sémantiques et de reconnaissance d'entités nommées dans la parole s'effectuent par l'intermédiaire d'une chaîne de composants. un système de reconnaissance de la parole constitue le premier composant, puis un système de traitement du langage est appliqué sur les transcriptions automatiques produites par ce premier composant. le système de traitement du langage est appliqué sur des transcriptions imparfaites. l'avantage d'un système de bout en bout réside dans sa possibilité à limiter la transmission des erreurs de transcription de la parole. mais aussi, dans l'optimisation jointe des composants de parole et de traitement de la langue pour la tâche finale. dans cet article, nous présentons un système qui s'appuie entièrement sur une architecture neuronale similaire au système de reconnaissance de la parole deepspeech 2 de baidu @xcite . nous entraînons ce système pour réaliser l'extraction des concepts sémantiques dans les données media @xcite . en considérant que la reconnaissance d'entités nommées et l'extraction de concepts sémantiques (comme proposé dans la campagne d'évaluation media) sont deux tâches proches, nous souhaitons explorer la possibilité d'exploiter des données d'entités nommées pour améliorer notre système d'extraction de concepts. l'application d'un principe de curriculum d'apprentissage est motivée par l'observation du caractère plus générique des annotations d'entités nommées par rapport aux annotations de concepts sémantiques. dans nos travaux, nous adaptons le curriculum pour mettre en place une chaîne d'entraînements successifs ordonnés du plus général au plus spécifique. il s'agit d'une chaîne d'apprentissage pilotée par une stratégie de curriculum. elle exploite le transfert d'apprentissage, qui nous permet de faire face au manque de données annotées pour la tâche finale. nous utilisons également un modèle de langage 5-gramme, ainsi qu'un mode étoile permettant de concentrer le système sur les concepts et leurs valeurs. notre meilleur système obtient des performances bien meilleures que l'état de l'art, qu'il conviendra toutefois de nuancer. la structure de cet article est la suivante : nous présentons tout d'abord des travaux similaires dans la deuxième section. puis, dans la troisième section, nous expliquons l'architecture neuronale utilisée. ensuite, la quatrième section est dédiée à la présentation des ensembles de données et du mode étoile que nous utilisons dans nos travaux. la section suivante présente la chaîne d'apprentissage mise en place. enfin, l'avant dernière section est consacrée à nos résultats expérimentaux avant de conclure. les récentes avancées des systèmes de reconnaissance de la parole de bout en bout permettent désormais d'obtenir des performances solides @xcite . des travaux ont été réalisés sur des tâches appliquées à la parole. certains se concentrent sur la traduction automatique de bout en bout, faisant suite aux travaux précurseurs @xcite . ils mettent en place un système neuronal de type encodeur-décodeur, basé sur un mécanisme d'attention. ce système est entraîné à l'aide d'un petit ensemble de données français parlé -anglais écrit et a la particularité d'utiliser de la parole de synthèse. les travaux de @xcite sont similaires mais utilisent des données réelles. ils exploitent un modèle neuronal initialement utilisé en reconnaissance de la parole. un système du même type est aussi exploité dans les travaux @xcite , dont l'originalité tiens dans l'augmentation de données d'apprentissage par l'utilisation d'un système de traduction texte vers texte. ces approches sont prometteuses, mais n'ont pas atteint des performances à l'état de l'art, comme le montrent les résultats de la campagne d'évaluation iwslt 2018 pour la traduction de l'anglais parlé vers l'allemand écrit @xcite . d'autres travaux concernant la détection d'intention et la détection de domaine ont été réalisés par @xcite . ces travaux mettent en oeuvre un réseau de neurones inspiré des technologies de reconnaissance de la parole. ce système obtient d'excellents résultats sur la tâche de détection de domaine, mais n'arrive pas à atteindre des performances à l'état de l'art pour la tâche de détection d'intention. il montre toutefois l'intérêt de partir directement du signal de parole pour la tâche de compréhension du langage. des conclusions similaires sont partagées par @xcite pour la reconnaissance des entités nommées ou l'extraction de concepts sémantiques dans le cadre d'une tâche de slot filling. enfin, les récents travaux @xcite ont montré l'intérêt d'une approche exploitant l'apprentissage par curriculum pour une tâche de traduction automatique. dans ces travaux, les auteurs ont défini les notions de « difficulté » d'un exemple d'apprentissage et de « compétence » d'un modèle appris, dans le cadre de la traduction automatique. ces deux notions permettent de filtrer les exemples d'apprentissage pour les présenter des plus simples au plus compliqués. pour nos expérimentations, nous utilisons une implémentation 1 avec deux couches cnn et cinq couches bilstm. notre sortie peut correspondre soit à la meilleure hypothèse produite par le système, soit à une hypothèse recalculée à l'aide de l'algorithme « beam search » et d'un modèle de langage 5-gramme. l'architecture neuronale est synthétisée en figure 1. ce système est entraîné de bout en bout en utilisant la fonction de coût connectionist temporal classification (ctc) @xcite . une particularité de cette fonction est qu'elle ne nécessite pas d'alignement a priori entre les entrées et les sorties du système. il est appris pendant l'entraînement. pour apprendre cet alignement, les log-spectrogrammes des séquences d'audio sont découpés en tranches. il s'agit de tranches de taille arbitraire fixe permettant la prédiction d'étiquettes de sorties. pour chaque tranche, une distribution de probabilités est calculée sur l'ensemble des étiquettes prédictibles (caractères). la séquence produite est constituée de l'ensemble des étiquettes les plus probables de chaque tranche. comme la parole humaine est fluctuante en vitesse, un caractère est susceptible d'être représenté par plusieurs tranches. c'est pourquoi, les répétitions sont supprimées dans les séquences produites. cette réduction empêche l'alignement correct d'un segment audio avec une séquence contenant normalement des répétitions ( « curriculum » deviendrait « curiculum »). pour prendre en compte les répétitions, un caractère spécifique est ajouté dans les étiquettes prédictibles par le système, noté dans l'exemple de la figure 2. cette étiquette permet de délimiter deux caractères identiques successifs. elle ne représente donc aucune information devant être conservée et sera supprimée des séquences finales produites après réduction des répétitions. de plus, le flux de parole n'est pas systématiquement constant sur un segment, il peut être composé de silence. il est donc inutile de forcer l'alignement de ces portions à une étiquette porteuse de sens. le caractère spécifique utilisé pour gérer les répétitions est aussi utilisé pour les silences composant l'audio. la figure 2 représente un exemple de l'alignement appris par la fonction ctc. la modélisation de séquence par l'intermédiaire de cette fonction est davantage détaillée par @xcite . l'alignement entre l'audio et les séquences à produire est appris pendant l'entraînement. ainsi, l'information relative aux entités nommées et aux concepts sémantiques peut être injectée dans les séquences cibles. dans nos travaux, nos modifications interviennent au niveau des séquences de caractères présentées au système. les frontières des concepts y sont ajoutées. le système produit donc des séquences de caractères au sein desquelles des caractères spécifiques représentent les frontières des concepts. ## données, augmentation de données, mode étoile dans ces travaux, nous utilisons plusieurs ensembles de données dans le but de maximiser notre quantité de données audio, de données annotées en entités nommées et de données annotées en concepts sémantiques. ## chaîne d'apprentissage le transfert d'apprentissage rend possible l'exploitation de données issues d'un espace de caractéristiques proches, afin d'apprendre des connaissances a priori facilitant l'entraînement sur une tâche finale @xcite . il est possible d'apprendre un système à partir d'un système existant, plutôt qu'en repartant de zéro. cette approche a un intérêt dans le cadre d'un manque de données dans un domaine cible. pour notre étude, l'ensemble d'apprentissage de media est composé de seulement 17h de parole. le transfert d'apprentissage permet d'exploiter l'intégralité des données audio à notre disposition pour pré-apprendre un système de reconnaissance de la parole. ce système pourra ensuite être spécialisé avec les données media. l'apprentissage par curriculum repose sur l'introduction ordonnée des différents concepts à apprendre au sein d'un même ensemble. ce qui permet à un système d'exploiter les concepts plus généraux pour apprendre les concepts plus spécifiques (bengio et al., 2009). un système peut converger davantage et plus rapidement en exploitant les exemples d'apprentissage d'un même ensemble du plus simple au plus compliqué. dans le cas de nos données, les liens entre les entités nommées et les concepts sémantiques nous permettent de considérer l'ordre de complexité suivant : i) les données audio sont les plus simples. ii) les données annotées en entités nommées sont plus complexes. iii) enfin, les données annotées en concepts sémantiques sont les plus complexes puisque ces concepts sont plus précis que les entités nommées. nos travaux ne s'intègrent pas entièrement dans une démarche de curriculum d'apprentissage, puisque nos données ne sont pas issues d'un même ensemble. ils ont pour objectifs de tirer parti à la fois du transfert d'apprentissage et du curriculum d'apprentissage. nous réalisons donc un système appris par transfert d'apprentissage et piloté par une stratégie de curriculum. la mise en oeuvre d'un tel système nous permet de compenser notre manque de données pour la tâche finale et d'optimiser davantage le modèle obtenu. nous réalisons une chaîne d'apprentissages successifs dans laquelle nous organisons les corpus de données utilisés du plus générique au plus spécifique. entre chaque étape d'apprentissage, nous conservons les poids de l'ensemble du modèle obtenu comme initialisation du réseau pour l'étape suivante. toutefois, nous réinitialisons totalement la couche haute (softmax) afin de prédire de nouvelles étiquettes. à chaque étape, les étiquettes de sorties du système sont modifiées en fonction des données utilisées. dans nos travaux, nous distinguons quatre étapes : -asr : entraînement d'un modèle de reconnaissance de la parole. -ner : entraînement d'un modèle de reconnaissance des entités nommées. -pm+m : entraînement d'un modèle d'extraction de concepts sémantiques. -m : optimisation d'un modèle sur l'ensemble de données media. lors de l'étape « asr », nous utilisons la totalité des données présentées dans la section 4.1. l'étape « ner » quant à elle est réalisée à l'aide des données augmentées de la section 4.2. enfin, l'étape « pm+m » correspond à un apprentissage sur l'ensemble augmenté des données décrites dans la section 4.3. figure 3 -représentation de la chaîne d'apprentissage mise en place. « c » signifie que les poids sont conservés, « r » signifie qu'ils sont réinitialisés. 6 expérimentations dans cette section, nous présentons les résultats obtenus par nos systèmes sur l'ensemble de données de test de media. nos expérimentations sont évaluées selon deux métriques. le concept error rate (cer), qui consiste en la somme des erreurs de substitution, d'insertion et de suppression divisée par le nombre de références. c'est une métrique proche du word error rate (wer). cependant, elle permet d'évaluer uniquement la reconnaissance des types de concepts dans les séquences produites, par exemple « chambre-type » / « command-tache ». la seconde métrique utilisée est le concept value error rate (cver) qui se calcule comme le cer, mais qui évalue à la fois les types de concepts et leurs valeurs. c'est-à-dire les mots associés aux types de concepts. l'état de l'art concernant l'extraction de concepts sémantiques au sein de l'ensemble media se situe à 19,9 % de cer et 25,1 % de cver @xcite . le système utilisé est une chaîne de composants. tout d'abord un système de reconnaissance de la parole, puis un système de traitement du langage. ce dernier exploite les transcriptions automatiques du premier composant. la qualité des transcriptions automatique joue un rôle important dans la qualité finale du système. les performances du système de transcription de la parole utilisé par l'état de l'art étaient de 23,6 % de wer. plusieurs expérimentations contrastives ont été menées afin de vérifier l'impact de chacune des étapes d'apprentissage. nous avons aussi mené des expérimentations avec des maillons de la chaîne en mode étoile (noté *). les résultats expérimentaux montrent l'intérêt des étapes d'apprentissages successives. la l'ensemble de données media seul n'est clairement pas suffisant pour atteindre de bonnes performances. l'apprentissage d'un système de reconnaissance de la parole comme première étape avant un entraînement sur media, @xmath0, permet une amélioration conséquente des performances du système. les résultats montrent une descente du cer de 39,8 % (m ) à 23,7 % (@xmath1. cette première étape sert de socle commun à l'ensemble des expérimentations suivantes. l'utilisation des données d'entités nommées dans la chaîne @xmath2,3 point de cer, par rapport à la chaîne @xmath3. nous atteignons un cer de 22,4 %, soit un gain relatif de 5,5 %. l'exploitation de l'augmentation des données media avec l'ensemble portmedia nous permet aussi un gain en descendant de 23,7 % à 22,2 % de cer (comparaison des chaînes @xmath4. enfin, nous avons appris un modèle exploitant pleinement le transfert d'apprentissage piloté par la stratégie de curriculum proposé dans ce papier. ce modèle, @xmath5, atteint 21,6 % de cer. il montre à nouveau l'utilité des données d'entités nommées, par une amélioration de 0,6 point. soit un gain relatif de 2,7 %. l'utilisation du mode étoile, décrit dans la section 4.4, aide le système à ce concentrer sur les concepts et leurs valeurs. ce qui nous permet d'améliorer une dernière fois le cer de 1,5 %. nous atteignons une valeur de 20,1 % (cer). toutes les observations que nous avons réalisées sur les taux de cer peuvent être effectuées sur les taux de cver.