Représentation vectorielle de paires de verbes pour la prédiction de relations lexicales (Verb-pairs embeddings for discourse relation prediction) (2020)

Abstract: Dans cet article, nous proposons un modèle de représentations vectorielles de paire de mots, obtenues à partir d’une adaptation du modèle Skip-gram de Word2vec. Ce modèle est utilisé pour générer des vecteurs de paires de verbes, entraînées sur le corpus de textes anglais Ukwac. Les vecteurs sont évalués sur les données ConceptNet & EACL, sur une tâche de classification de relations lexicales. Nous comparons les résultats obtenus avec les vecteurs paires à des modèles utilisant des vecteurs mots, et testons l’évaluation avec des verbes dans leur forme originale et dans leur forme lemmatisée. Enfin, nous présentons des expériences où ces vecteurs paires sont utilisés sur une tâche d’identification de relation discursive entre deux segments de texte. Nos résultats sur le corpus anglais Penn Discourse Treebank, démontrent l’importance de l’information verbale pour la tâche, et la complémentarité de ces vecteurs paires avec les connecteurs discursifs des relations.

## introduction dans le domaine du traitement automatique des langues, l'apprentissage de relations entre deux mots donnés est extrêmement important, pour des tâches telles que répondre à des questions, la recherche d'antonymes ou de synonymes, ou bien simplement pour mieux comprendre comment les langages se construisent. cela motive les recherches présentées dans cet article, qui ont pour objectif de construire des représentations de relations entre une paire de mots, et d'évaluer la qualité de ces représentations dans différentes tâches. pour ce faire, nous présentons un modèle permettant d'entraîner des représentations vectorielles de relations entre des paires de mots. les représentations vectorielles de mots sont très utilisées en traitement automatique des langues depuis les années 1990, l'idée étant que les mots sémantiquement proches se retrouvent proches dans l'espace vectoriel des mots. on retrouve souvent dans la littérature le terme word embedding ou "plongement lexical" pour qualifier ces représentations vectorielles. ces représentations sont fondées sur l'hypothèse distributionnelle @xcite : "les lexèmes possédant un contexte linguistique similaire ont un sens similaire.". on peut par exemple obtenir des représentations vectorielles de mots en construisant une matrice de co-occurrences, en comptant le nombre d'occurrences de mots dans le contexte d'autres mots @xcite . l'inconveniant de cette méthode étant néanmmoins la taille importante des vecteurs obtenus, et leurs composantes qui sont majoritairement nulles. outre ce modèle distributionnel, les modèles utilisant des réseaux de neurones se sont fortement développés, un des modèles populaires étant word2vec @xcite . ce modèle consiste à entraîner une matrice de plongements de mots, qui se trouve être une des matrices de poids du réseau, à travers une tâche précise. le modèle skip-gram de word2vec prend un mot en entrée et cherche à prédire la probabilité qu'a un autre mot d'apparaître dans le contexte du mot donné en entrée. le modèle utilisé dans cet article est une adaptation du modèle skip-gram à des paires de mots, qui génère des embeddings pour des paires de mots. dans un premier temps, nous présentons les précédents travaux sur la représentation de relations sémantiques, puis développons une approche particulière de représentation, appliquée aux relations entre des paires de verbes en anglais. enfin, les expériences menées ainsi que les résultats sont détaillés pour comparer la qualité de ce modèle à d'autres approches. le code et les données seront rendus disponibles à la communauté. de cette équation, on peut déduire que v f rancev p aris ≈ v espagnev m adrid ≈ v est capitale de . des travaux récents montrent des modèles de représentations de relations entre plusieurs mots, voire de sentence embeddings fonctionnant en composant les vecteurs de chaque mot de la phrase @xcite . les vecteurs relations peuvent être appris en adaptant les modèles d'apprentissage de vecteur mot word2vec, comme cela a été fait dans chingacham & paperno (2018) : ces auteurs proposent une adaptation de skip-gram aux paires de noms, et en entraînant un réseau de mapping avec des vecteurs mots pré-entraînés pour régler le problème des données éparses. similairement, @xcite ont adapté le modèle glove @xcite pour apprendre des représentations de relations entre une paire de mot, sans l'utilisation de vecteurs mots pré-entraînés. les travaux récents utilisent en grande majorité de l'apprentissage non supervisé pour apprendre les représentations de relations, comme c'est le cas avec les modèles adaptant word2vec @xcite . ces modèles sont en général transférés par la suite sur d'autres tâches, comme de l'inférence ou de l'annotation d'image par exemple. des recherches récentes ont exploré différents modèles possibles pour entraîner des représentations de relations sémantiques, en cherchant à obtenir les meilleures performances possibles sur ces tâches de transfert. les modèles de réseaux récurrents lstm ou lstm bi-directionnel obtiennent par exemple de très bons résultats sur une grande variété de tâches. la difficulté réside dans le choix de l'objectif de ces modèles, afin de créer des vecteurs capturant le maximum d'information sur une unité de texte. de très bons résultats ont ainsi été obtenus en entraînant des réseaux de neurones complexes à faire de l'inférence de textes @xcite , de la classification de relations du discours explicites @xcite ou bien de la prédiction de marqueurs du discours @xcite . néanmoins, ces modèles complexes nécessitent d'immenses quantités de données, ainsi qu'une très importante puissance de calcul. comme dans ces approches, nous cherchons à construire une représentation en utilisant une architecture neuronale, mais nous nous distinguons par la simplicité du modèle utilisé. ## approche en général, les représentations sont construites pour un mot ou un fragment textuel comme une phrase ou pour un document entier. notre approche consiste à construire une représentation pour une paire de mots non adjacents apparaissant dans une phrase : nous espérons ainsi construire une représentation de la relation qui lie les mots considérés. cette représentation doit prendre en compte le contexte d'apparition de la paire de mots. nous détaillerons dans le reste de cette section le modèle utilisé pour obtenir des représentations vectorielles de relations entre une paire de verbes. ce modèle est adapté du travail @xcite sur les paires de noms. ## résultats dans cette section seront présentés les résultats de l'évaluation des représentations vectorielles de relations entre deux verbes sur les jeux de données conceptnet et eacl. nous donnerons également les résultats obtenus sur la tâche de prédiction des relations du discours sur la penn discourse treebank.