Évaluation systématique d’une méthode commune de génération (Systematic evaluation of a common generation method) (2020)

Abstract: Avec l’augmentation de l’utilisation du traitement automatique des langues arrivent plusieurs problèmes dont l’absence de données dans les nouveaux domaines. Certaines approches d’apprentissage tel que l’apprentissage zero-shot ou par transfert tentent de résoudre ces problèmes. Une solution idéale serait de générer des données annotées à partir de bases de connaissances des domaines d’intérêt. Le but de notre travail est d’évaluer une méthode de génération simple et de trouver les critères permettant de la mettre en oeuvre correctement. Pour cela, nous comparons les performances d’un modèle obtenu sur des tâches d’annotation quand il est entraîné sur des données réelles ou sur des données générées. Grâce aux résultats obtenus et à des analyses effectuées sur les données, nous avons pu déterminer des bonnes pratiques d’utilisation de cette méthode de génération sur la tâche d’annotation.

## introduction le traitement automatique de la langue (tal) est utilisé dans de plus en plus de domaines et se sert de systèmes d'apprentissage pour résoudre les diverses tâches le composant. cette recrudescence des systèmes d'apprentissage est accompagnée d'une hausse de la demande de données annotées pour différentes tâches et différents domaines. en revanche, la prise de conscience récente sur l'utilisation des données rend le procédé de récolte de données plus difficile. dans ce contexte, il devient nécessaire de travailler sur des méthodes permettant d'utiliser des données existantes pour résoudre de nouvelles tâches ou travailler sur de nouveaux domaines. les exemples les plus communs sont l'utilisation d'apprentissage par transfert @xcite ou d'augmentation @xcite . ces techniques ont cependant besoin de données annotées du domaine. il serait intéressant de pouvoir s'affranchir d'une telle contrainte en générant des données à partir de données plus facilement accessible tel que des bases de connaissances ou des ontologies. dans cet article, nous faisons une analyse systématique d'une méthode commune de génération de données annotées. cette méthode est la méthode de remplissage de patrons. le principe de cette méthode est d'utiliser des énoncés à trou, les patrons, pour créer de nouveaux exemples en remplissant les trous par des mentions ayant les mêmes concepts que les trous. cette méthode est illustrée figure 1 . nous évaluons la performance de la méthode de génération à travers la performance d'un modèle entraîné sur les données générées. c'est ce qui sera appelé performance, sauf indication contraire. nous comparons les performances entre les modèles entraînés sur les données de référence et les modèles entraînés sur les données générées à partir des mêmes données de références. a notre connaissance, aucune autre étude n'a effectué d'examen systématique de ce type de méthode de génération pour une tâche d'étiquetage. notre contribution n'est pas la méthode de génération en ellemême, car elle est déjà largement utilisée, mais c'est la connaissance de l'impact des données générées par ces méthodes sur les performances des modèles d'apprentissage, et c'est aussi la connaissance de la meilleure façon d'utiliser cette méthode de génération. une approche similaire a été étudiée afin de construire un ensemble de données pour entraîner un modèle de compréhension dans le contexte d'un assistant médical @xcite . dans ce travail, la méthode de génération basée sur le remplissage de patrons et une méthode basée sur la paraphrase ont été comparées. cette étude montre qu'il est possible d'utiliser des méthodes de génération naïves dans le contexte de l'absence de données. elle souligne également que l'utilisation de la méthode de paraphrase afin d'augmenter les données n'améliore pas de manière significative les performances dans cette tâche. des méthodes plus complexes de génération et d'augmentation existent, comme l'utilisation d'autoencodeurs variationnels @xcite mais elles nécessitent des données étiquetées, ce qui n'est pas conforme à ce que nous visons. un autre aspect de notre recherche vise à expliquer les résultats que nous obtenons. à cette fin, les jeux de données de références sont analysées dans le but de trouver des indicateurs qui pourraient être liés aux performances des modèles. liés à ces analyses sont les analyses effectuées dans @xcite décrivant la façon dont les modèles réagissent à chacun des benchmarks et établissant un classement de difficulté des dits benchmarks. ## expériences et résultats dans cette section, nous décrivons les expériences et les conclusions qui peuvent être tirés des résultats. ## analyse des données les résultats obtenus à partir des ensembles générés sont bons pour la plupart des tâches. ce n'est pas le cas pour la tâche media. le but de cette section est de trouver les explications de ces performances inférieures à partir d'une série d'analyse de données. ces analyses visent à découvrir comment le processus de génération perturbe la manière dont les données sont distribuées et comment les distributions initiales des données de certaines tâches peuvent induire leur niveau de difficulté. un deuxième objectif est de conclure sur de bonnes pratiques concernant la manière dont les données devraient être distribuées pour obtenir de meilleures performances, avec et sans génération. comme le montre la figure 3 , la modification de la distribution uniforme des mentions en faveur de la distribution réelle a réglé une grande partie des problèmes de performance sur media. une analyse plus approfondie est nécessaire pour comprendre la véritable nature de ce changement et pour savoir s'il est possible ou non de trouver des règles générales qui pourraient s'appliquer aux distributions de mentions. ## analyses des résultats dans cette section, nous compilons et tirons des conclusions sur les résultats et les analyses effectuées. ces conclusions prennent la forme de lignes directrices sur la manière d'utiliser la méthode de figure 7 -l'ambiguité mesuré comme le nombre de concepts auquel peut appartenir un token. 0 est quand un token ne peut être qu'extérieur. n est quand un token fait partie de n concepts, mais peut aussi être un extérieur. l'ambiguité montré est l'ambiguité du jeu de données réelle de chaque corpus, car l'ambiguité ne varie quasiment pas avec la génération. génération. ces lignes directrices sont valables lorsque le modèle d'étiquetage utilisé est un bilstm, des recherches supplémentaires sont nécessaires pour pouvoir affirmer que ces lignes directrices réagissent de manière similaire avec d'autres types de modèles (par exemple les crf). ## conclusions et travaux futurs nous avons constaté et validé au cours de ce travail que la méthode de génération par remplissage de patrons est utile pour de faibles quantités de données. cependant, il n'y a que peu d'amélioration significative des performances pour des quantités plus importantes de données si cette méthode est utilisée sans aucune information sur la distribution. les performances peuvent même se dégrader comme le montre media. ces problèmes nous ont poussés à tester d'autres façons d'utiliser la méthode de génération, comme le test avec les distributions de mention réelle ou l'augmentation des données. cela nous a également poussés à faire une analyse des corpus afin d'essayer de comprendre pourquoi de tels problèmes pouvaient survenir. nous avons pu constater que les mentions et la manière dont elles sont distribuées dans un ensemble de données est un facteur clé dans les performances obtenues à partir de cet ensemble de données. c'était le principal facteur expliquant pourquoi les performances de media étaient aussi dégradées qu'elles l'étaient, et en réglant ce problème avec la distribution réelle, nous avons montré que nous pouvons obtenir des performances proches de la réalité avec les données générées. l'analyse que nous avons effectuée confirme également la classification présentée @xcite . nous ne pouvons pas conclure sur une méthode d'utilisation de la génération, mais nous pouvons mettre en évidence les meilleures pratiques. nos résultats dépendent des modèles que nous avons utilisés pour l'évaluation des performances (ici, un bilstm), et les expériences nécessiteraient d'être réalisées avec d'autres types de modèles (par exemple des crf). ces meilleures pratiques consistent à mettre l'accent sur la distribution de mentions plus courtes et à disposer d'un nombre raisonnable de patrons pour avoir un contexte varié. dans les travaux futurs, nous aborderons les points non résolus tels que la recherche et l'évaluation de méthodes d'estimation des distributions de mentions. avec les résultats sur l'impact de la variété des patrons, nous travaillerons également sur la conception et l'essai de méthodes de génération ou d'augmentation des patrons. l'augmentation doit également être étudiée plus en détail, en particulier pour les faibles quantités de données pour lesquelles notre préparation actuelle des données pourrait limiter les performances de l'augmentation aux performances du dispositif de génération. en voyant comment la singularité de media nous a donné des indices pour trouver de meilleures méthodes de génération, les travaux futurs porteront sur d'autres corpus connus d'étiquetage de phrases. enfin, notre travail ne concernait que la génération des données d'entraînement, mais pour qu'une méthode de génération puisse être utilisée, il est nécessaire d'étudier comment générer au mieux les données d'entraînement et de validation.