Où en sommes-nous dans la reconnaissance des entités nommées structurées à partir de la parole ? (Where are we in Named Entity Recognition from speech ?) (2020)

Abstract: La reconnaissance des entités nommées (REN) à partir de la parole est traditionnellement effectuée par l’intermédiaire d’une chaîne de composants, exploitant un système de reconnaissance de la parole (RAP), puis un système de REN appliqué sur les transcriptions automatiques. Les dernières données disponibles pour la REN structurées à partir de la parole en français proviennent de la campagne d’évaluation ETAPE en 2012. Depuis la publication des résultats, des améliorations majeures ont été réalisées pour les systèmes de REN et de RAP. Notamment avec le développement des systèmes neuronaux. De plus, certains travaux montrent l’intérêt des approches de bout en bout pour la tâche de REN dans la parole. Nous proposons une étude des améliorations en RAP et REN dans le cadre d’une chaîne de composants, ainsi qu’une nouvelle approche en trois étapes. Nous explorons aussi les capacités d’une approche bout en bout pour la REN structurées. Enfin, nous comparons ces deux types d’approches à l’état de l’art de la campagne ETAPE. Nos résultats montrent l’intérêt de l’approche bout en bout, qui reste toutefois en deçà d’une chaîne de composants entièrement mise à jour.

## introduction la reconnaissance d'entités nommées (ren) consiste en la localisation de concepts, dans des textes non structurés, et en leurs classifications dans des catégories prédéfinies. le projet quaero @xcite a permis la mise en place d'une définition étendue des entités nommées (en) dans le cadre de données françaises. cette définition possède une structure arborescente multiniveau au sein de laquelle différentes en sont combinés pour définir les plus complexes. dans le but de mieux décrire les entités nommées, le projet quaero met en place la notion de composant d'en. ainsi, avec cette définition, la ren consiste en la localisation, la classification et la décomposition des entités. la campagne d'évaluation etape @xcite a utilisé cette définition étendue. à notre connaissance, aucun nouveau résultat n'a été publié depuis les résultats de la campagne etape concernant la ren structurées à partir de la parole sur des données françaises. en raison de leurs structures, la reconnaissance de ces types d'en ne peut pas être abordée comme une simple tâche d'étiquetage de séquences. lors de la campagne etape, l'état de l'art était construit à l'aide de traitement en plusieurs étapes avant de reconstruire la structure arborescente des en. les crf (conditional random field @xcite ) sont au coeur des approches d'étiquetage de séquence. certaines approches utilisent, en plus des crf, des grammaires probabilistes sans contexte @xcite (pcfg) leur permettant de mettre en oeuvre un modèle en cascade. les crf sont appris sur les composants d'en et les pcfg sont utilisés pour prédire l'ensemble de structure en arbre des en. toutefois, le système de ren ayant remporté la campagne etape n'utilise que des crf avec un modèle par concept @xcite . la plupart des approches pour la ren à partir de la parole utilisent une chaîne de deux composants. tout d'abord un système de reconnaissance de la parole (rap) produisant des transcriptions automatiques, puis un système de ren est appliqué dessus. dans cette configuration, le système de ren est appliqué sur des transcriptions automatiques et donc imparfaites. cela signifie que la qualité des transcriptions a un impact important sur les performances finales de la chaîne @xcite . en 2012, les systèmes basés sur les modèles de markov cachés et les modèles à mélange de gaussienne (hmm-gmm) constituaient l'état de l'art en rap. depuis, les approches neuronales ont montré leur potentiel @xcite en se basant sur une combinaison d'hmm et de réseau de neurones profonds (dnn). les approches neuronales se sont également illustrées dans le cadre de la ren par la combinaison de crf et de couches neuronales de type blstm @xcite . dernièrement, une approche de bout en bout (e2e) a été proposée dans @xcite pour la ren directement à partir de la parole. cette approche laisse un système apprendre l'alignement entre la parole et sa transcription manuelle enrichie avec des concepts d'en non structurés. d'autres travaux utilisent des approches de bout en bout pour faire correspondre directement la parole aux concepts au lieu de la faire correspondre à des mots, puis ces mots aux concepts @xcite . ces travaux montrent l'intérêt grandissant des approches e2e pour ce type de tâche. dans cet article, nous proposons une étude des améliorations récentes pour la tâche de ren dans le cadre de la campagne d'évaluation etape. nous comparons une approche traditionnelle par chaîne de composants à une approche de bout en bout apprise selon deux stratégies. notre première contribution consiste en une implémentation en trois étapes permettant d'aborder la ren structurées. avec cette implémentation, nous séparons la structure arborescente en trois parties distinctes pour les appréhender comme différentes tâches d'étiquetage de séquence plus simple avant de reconstruire la structure arborescente. la seconde est une approche e2e pour la ren structurées. elle consiste en l'apprentissage de l'alignement entre la parole et les transcriptions textuelles enrichies directement avec les en structurées. nous commençons par une description de la tâche de ren structurées quaero. puis, nous décrivons notre implémentation en trois étapes, suivi de la description de nos systèmes état de l'art pour les tâches de rap / ren dans le cadre d'une chaîne de composant sections 3.2, 3.3 et 3.4, de notre système de bout en bout section 4, de nos jeu de données sections 5 et 6, de nos expérimentation et l'analyse de nos résultats section 7, puis nous concluons. ## définition de la tâche dans ce travail, nous étudions la ren structurées suivant le formalisme d'annotation quaero @xcite . il permet une annotation suivant huit catégories principales : amount, event, func, loc, org, pers, prod and time. ces catégories sont enrichies de sous-types dans le but de créer une hiérarchie. elle permet de décrire davantage les concepts. ce guide permet ainsi une annotation selon 39 concepts différents par exemple : loc.add.phys qui représente une adresse physique. en complément des types d'en, le guide quaero met en place la notion de composants. ils permettent de décrire davantage les en et sont au nombre de 28. le guide impose que chaque mot présent au sein d'une en soit annoté en composant, sauf dans le cas de certains articles et mots de liaison. presque tous les composants dépendent directement du type d'en, par exemple : "day", "week" sont dépendant du type "time". cependant certain sont transversaux, par exemple : "kind", "qualifier". l'annotation finale en en structurées est arborescente, ce qui signifie qu'une en peut être composée de composants, mais aussi d'autre en, sans limites d'imbrication. en suivant la méthode d'annotation proposée par le guide quaero, la phrase : "la mairie de paris", serait annotée ainsi : "@xmath0.@xmath1.adm.@xmath2. ## données pour la reconnaissance d'entités nommées nos expérimentations sont réalisées sur le corpus français etape @xcite . il est composé de données issues d'émissions de radio et tv françaises enregistrées entre 2010 et 2011. ces émissions proviennent de quatre sources différentes : france inter, lcp, bfmtv et tv8. il contient 36 heures de parole séparées en trois parties distinctes : développement (7 heures), entraînement (22 heures) et test (7 heures). ce corpus possède une annotation en en selon le guide quaero. en complément, nous augmentons nos données d'entraînement à l'aide de l'ensemble quaero (grouin et al., 2011). ainsi, nous ajoutons 100 heures de parole entièrement transcrites et annotées en en manuellement. ces données sont aussi issues d'émissions de radio et tv françaises. 6 données pour la reconnaissance automatique de la parole pour effectuer la tâche de rap, nous utilisons les ensembles ester 1 et 2 , repere et vera. grâce à la combinaison de ces données, nous atteignons un total de 220 heures de parole nous permettant d'apprendre le modèle acoustique du système de rap de notre approche par chaîne de composants. le modèle de langage est appris à l'aide des transcriptions manuelles de ces mêmes données enrichies de textes issus de journaux français. plus de détails sont présents dans la section 4.2.3 de l'article (deléglise et al., 2009). notre système e2e est appris sur ces données, en plus de l'ensemble d'apprentissage d'etape. 7 expérimentations nos expérimentations sont évaluées à l'aide de l'ensemble de test d'etape et de la métrique du slot error rate (ser) (makhoul et al., 1999). le système de ren remportant la campagne d'évaluation etape (raymond, 2013) consistait en une combinaison de 68 modèles crf binaires. un modèle par type d'en et par composants. ce système couplé au meilleur système de rap permettait d'obtenir un ser de 59,3 %. ce qui constitue notre référentiel. afin d'utiliser des transcriptions automatiques annotées en en structurées, les annotations manuelles d'en sont projetées dans les transcriptions produites par les systèmes de rap. aussi, comme notre système e2e produit à la fois des mots et des en, nous supprimons les en produites pour obtenir les transcriptions automatiques. pour être comparable aux résultats publiés (galibert et al., 2014), nous utilisons les scripts d'évaluation et de projection de la campagne. 7.1 expérimentations par chaîne de composants nous comparons les résultats obtenus avec l'utilisation du meilleur système de rap de la campagne (nommé rap 2012 ) et notre système de rap état de l'art (nommé rap 2020 ). le système rap 2012 obtenait un taux d'erreur sur les mots (wer) de 21,8 %, tandis que notre système rap 2020 obtient 16,5 %, représentant un gain relatif de 24,3 %. nous réalisons des expérimentations avec plusieurs combinaisons des systèmes de rap / ren dont les résultats sont reportés dans la