Fine-tuning de modèles de langues pour la veille épidémiologique multilingue avec peu de ressources (Fine-tuning Language Models for Low-resource Multilingual Epidemic Surveillance) (2022)

Abstract: Les modèles de langues pré-entraînés connaissent un très grand succès en TAL, en particulier dans les situations où l’on dispose de suffisamment de données d’entraînement. Cependant, il reste difficile d’obtenir des résultats similaires dans des environnements multilingues avec peu de données d’entraînement, en particulier dans des domaines spécialisés tels que la surveillance des épidémies. Dans cet article, nous explorons plusieurs hypothèses concernant les facteurs qui pourraient avoir une influence sur les performances d’un système d’extraction d’événements épidémiologiques dans un scénario multilingue à faibles ressources : le type de modèle pré-entraîné, la qualité du tokenizer ainsi que les caractéristiques des entités à extraire. Nous proposons une analyse exhaustive de ces facteurs et observons une corrélation importante, quoique variable ; entre ces caractéristiques et les performances observées sur la base d’une tâche de veille épidémiologique multilingue à faibles ressources. Nous proposons aussi d’adapter les modèles de langues à cette tâche en étendant le vocabulaire du tokenizer pré-entraîné avec les entités continues, qui sont des entités qui ont été divisées en plusieurs sous-mots. Suite à cette adaptation, nous observons une amélioration notable des performances pour la plupart des modèles et des langues évalués.

## introduction les dépêches sur les épidémies sont des données de plus en plus nombreuses qui permettent de concevoir des systèmes d'alerte précoce quant à ces événements imprévus. si les méthodes de surveillance conventionnelles sont de plus en plus fiables, elles dépendent en partie de données bien définies produites manuellement par des établissements de santé @xcite , ce qui limite la couverture géographique @xcite @xcite . dans une perspective d'automatisation du recueil des données, un frein se situe dans l'obtention d'annotations suffisantes et de haute qualité, nécessaires à l'entraînement et à l'évaluation des systèmes. c'est un processus laborieux et coûteux, car il nécessite l'intervention d'experts du domaine @xcite . le deuxième défi est lié à la nature multilingue des données en ligne, les informations décisives pouvant être émises dans un grand éventail de langues. dans un tel contexte, les langues bien dotées en ressources d'analyse, comme l'anglais, sont favorisées, tandis que des langues peu dotées en ressources peuvent ne disposer que de données d'entraînement limitées, voire inexistantes @xcite . récemment, l'utilisation de modèles de langues pré-entraînés pour la veille épidémiologique a été explorée @xcite . cependant, ces systèmes sont généralement monolingues ou difficiles à adapter à d'autres langues. les récents modèles de langue multilingues pré-entraînés (par exemple, bert multilingue @xcite , xlm-roberta @xcite ) ont démontré d'excellentes performances sur diverses tâches de transfert cross-lingue en zero-shot @xcite @xcite @xcite , où un modèle est d'abord affiné sur la langue source, puis évalué directement sur de multiples langues cibles qui n'ont pas été vues lors de l'entraînement @xcite . bien que ces modèles pré-entraînés obtiennent des résultats remarquables, l'utilisation directe du vocabulaire pré-entraîné se fait au prix d'une sur-segmentation de termes spécifiques au domaine en plusieurs sous-mots, ce qui compromet l'efficacité de l'entraînement. par exemple, @xcite ont proposé scibert qui utilise des mots et des sous-mots fréquemment observés dans un corpus d'articles scientifiques qui permettent une extension du vocabulaire du modèle initial préentraîné. l'adaptation du vocabulaire dans scibert a nécessité un coûteux entraînement du modèle à partir de zéro. tai et al. (2020) ont proposé une extension de bert au domaine biomédical, avec une étude similaire portant spécifiquement sur une tâche de reconnaissance d'entités nommées @xcite . de même, @xcite ont présenté une approche qui ne nécessiterait qu'un jeu de données spécifique en entrée pour adapter la classification de textes à différents domaines (biomédical, informatique, etc.), en identifiant un sous-ensemble du vocabulaire spécifique au domaine par des mesures d'importance relative des mots. malgré ces exemples, les études portant véritablement sur des données multilingues avec des ressources limitées font défaut. dans cet esprit, une analyse approfondie des performances du modèle qui tiendrait compte des attributs saillants des entités à extraire et du modèle de langage pré-entraîné ainsi que du choix du tokenizer semble nécessaire. c'est pourquoi, dans cet article, nous proposons une analyse exhaustive des modèles de langage pré-entraînés multilingues et spécifiques à une langue, de leurs tokenizers et des caractéristiques des informations extraites par ces modèles. nous observons qu'il existe une forte corrélation entre non seulement la qualité du tokenizer utilisé, mais aussi la casse des entités de noms de lieux et de maladies. de plus, nous montrons que l'adaptation des modèles pré-entraînés en exploitant des entités spécifiques au domaine entraîne des gains de performance, lorsqu'ils sont évalués sur des ensembles de données multilingues d'événements épidémiologiques avec des langues à faibles ressources. ## conclusion dans cet article, nous avons réalisé une analyse systématique de la qualité de la sortie du tokenizer, en mesurant la proportion de mots inconnus (oov), de mots et d'entités continuées, ainsi que la fertilité du tokenizer pour la veille épidémiologique multilingue. sur la base de cette analyse, les entités inconnues liées au domaine de l'épidémiologie sont identifiées et exploitées pour étendre le vocabulaire de modèles de langues pré-entraînés. les résultats indiquent que le vocabulaire du domaine joue un rôle important dans l'adaptation des modèles pré-entraînés à un domaine spécifique et est particulièrement efficace dans les configurations à faibles ressources.