Identification des Expressions Polylexicales dans les Tweets (Identification of Multiword Expressions in Tweets) (2022)

Abstract: L’identification des expressions polylexicales (EP) dans les tweets est une tâche difficile en raison de la nature linguistique complexe des EP combinée à l’utilisation d’un langage non standard. Dans cet article, nous présentons cette tâche d’identification sur des données anglaises de Twitter. Nous comparons les performances de deux systèmes : un utilisant un dictionnaire et un autre des réseaux de neurones. Nous évaluons expérimentalement sept configurations d’un système état de l’art fondé sur des réseaux neuronaux récurrents utilisant des embeddings contextuels générés par BERT. Le système fondé sur les réseaux neuronaux surpasse l’approche dictionnaire, collecté automatiquement à partir des EP dans des corpus, grâce à son pouvoir de généralisation supérieur.

## introduction une expression polylexicale (ep) est une combinaison d'au moins deux unités lexicales (mots), par exemple stand for ou icing on the cake, qui présente une certaine forme d'idiosyncrasie au niveau morphologique, syntaxique ou sémantique @xcite . l'identification d'ep est définie comme l'annotation automatique des occurrences d'ep dans un corpus. l'identification d'ep se distingue de la découverte d'ep, qui consiste à extraire une liste d'ep à partir d'un corpus @xcite . l'identification automatique d'ep est une tâche difficile du traitement automatique des langues, puisque les ep peuvent présenter des particularités : par exemple des discontinuités ou des imbrications. les ep à forme compositionnelle sont ambiguës, comme par exemple l'ep tomber sur la tête qui peut être au sens propre ou polylexicale. de plus, seuls quelques corpus annotés en ep sont disponibles. les ep peuvent être utiles pour d'autres tâches du traitement automatique des langues, comme pour la détection automatique de la parole haineuse dans les réseaux sociaux. @xcite ont montré qu'intégrer l'information des mots appartenant au ep améliore la distinction entre les tweets haineux et normaux. les travaux de recherche dans le présent article sont issus de l'article @xcite . le but du papier @xcite est d'étudier la robustesse de différents systèmes de l'identification des ep sur les tweets, afin d'utiliser les meilleurs systèmes pour étiqueter automatiquement des corpus de tweets annotés pour la détection de la parole haineuse. ici, nous nous intéressons à l'étude de l'efficacité de systèmes état de l'art d'identification d'ep dans des textes non standard, à savoir des tweets. en effet, les tweets utilisent souvent une syntaxe non standard et contiennent des fautes d'orthographe, des abréviations, etc. nous émettons l'hypothèse que, dans ces conditions, la tâche d'identification d'ep devient encore plus difficile. afin de mener à bien notre étude, nous proposons de confronter deux approches : la première utilise un dictionnaire et la seconde est fondée sur des réseaux neuronaux. concernant cette dernière, nous évaluons différentes configurations. les systèmes soumis à de récentes campagnes d'évaluation ont conduit à des avancées dans l'état de l'art @xcite @xcite . le meilleur système de la campagne parseme 2017, nommé transition, a été adapté à partir des travaux @xcite en utilisant un analyseur syntaxique basé sur des transitions. en 2018, le meilleur système, traversal, utilisait des arbres discriminants @xcite . certains modèles basés sur des réseaux neuronaux ont obtenus de bonnes performances, comme par exemple trapacc @xcite . l'édition 2020 a bénéficié d'avancées des modèles de langages pré-entraînés, comme en témoigne le meilleur système, mtlb-struct, basé sur le modèle bert et utilisant un entraînement multi-tâches @xcite . l'analyseur lexical de @xcite est un système basé sur un modèle bert qui prédit les ep et les étiquettes de super-sens simultanément. ce système a obtenu des résultats impressionnants sur le corpus streusle @xcite et a également été évalué sur le corpus parseme @xcite et sur dimsum @xcite . certains articles ont analysé les performances de l'identification d'ep. @xcite ont montré que les performances des systèmes d'identification d'ep sont étroitement liées au taux d'ep non vues dans les corpus d'apprentissage. @xcite soutiennent que les dictionnaires sont nécessaires pour obtenir une meilleure généralisation de l'identification d'ep, où la généralisation est plus difficile que dans des tâches similaires telles que la reconnaissance d'entités nommées. pour le système à base de dictionnaire par collecte ad hoc, nous extrayons une liste d'ep à partir de plusieurs corpus annotés manuellement. chaque mot extrait des ep est lemmatisé et les formes canoniques des ep sont placées dans le dictionnaire d'ep. le dictionnaire contient à la fois des ep comprenant des mots contigus et non contigus dans les corpus annotés. pour ces derniers, seuls les mots composant l'ep sont conservés, sans tenir compte des mots intermédiaires. le système lsr est basé sur des réseaux neuronaux et a une plus grande capacité de généralisation par rapport au système basé sur le lexique. l'architecture lsr se compose du modèle bert @xcite , suivi de deux couches bidirectionnelles long-short term memory (lstm) et d'une couche de crf. nous utilisons ce système dans nos expérimentations étant donné qu'il est récent et qu'il a obtenu de bons résultats lors d'évaluations. nous nous intéressons à l'étude de différentes configurations d'apprentissage du système lsr : variation de la quantité et de la nature des corpus d'apprentissage et utilisation de différents schémas d'étiquettes "bio" (beginning, inside, outside) 1 (voir figure 1 ). le schéma "biobio" est similaire au schéma d'étiquette bio original avec des catégories d'ep et des étiquettes de super-sens @xcite . les étiquettes "b", "i" et "o" ont la même signification que les étiquettes "b", "i" et "o", mais l'ep étiquetée ainsi est imbriquée dans une autre ep. les catégories des ep sont concaténées aux balises "b" et "b". les catégories lexicales et les catégories d'ep (par exemple, vid pour les verbales idiomatiques, vpc pour les constructions verbe-particule) sont concaténées avec les balises initiales "b" et "b". le schéma d'étiquettes "bioo-cat" concatène les catégories d'ep sur les étiquettes "b" et "i". le jeu d'étiquettes "bioo" n'utilise pas les catégories d'ep. contrairement à @xcite , ces deux schémas ne contiennent pas les étiquettes de super-sens. le système lsr peut prédire une séquence d'étiquettes invalide : par exemple, dans une phrase un mot étiqueté avec un "i" apparaît sans qu'un mot n'ai été précédemment étiqueté avec un "b". pour corriger ces séquences d'étiquettes invalides, nous appliquons un filtrage sur les sorties du système lsr. ## configuration des expériences dans cette section, nous décrivons les corpus et les configurations de nos systèmes. la pour donner un ordre d'idée de l'impact sur l'environnement de chacune des méthodes développées dans cet article, nous donnons quelques indices concernant le temps de calcul. le temps d'exécution de la méthode par dictionnaire est de l'ordre de quelques secondes (sur cpu) et pour le système lsr de l'ordre d'une minute. le temps d'apprentissage d'un système lsr est de l'ordre de 30 minutes avec un gpu. nous évaluons les systèmes d'identification d'ep à l'aide de mesures standard, qui ont été appliquées pour les campagnes d'évaluation parseme @xcite et dimsum @xcite . la mesure mwe-based est le score f1 pour les ep entièrement prédites. la mesure token-based est la mesure f1 pour les tokens appartenant à une ep, évaluant les correspondances partielles. la mesure mwe-link-based est le score f1 basé sur la correspondance des paires de mots adjacents, et tient compte des ep partiellement correctes.