Génération automatique de définitions pour le français (Definition Modeling in F rench) (2020)

Abstract: La génération de définitions est une tâche récente qui vise à produire des définitions lexicographiques à partir de plongements lexicaux. Nous remarquons deux lacunes : (i) l’état de l’art actuel ne s’est penché que sur l’anglais et le chinois, et (ii) l’utilisation escomptée en tant que méthode d’évaluation des plongements lexicaux doit encore être vérifiée. Pour y remédier, nous proposons un jeu de données pour la génération de définitions en français, ainsi qu’une évaluation des performances d’un modèle de génération de définitions simple selon les plongements lexicaux fournis en entrée.

## introduction la génération de définitions @xcite definition modeling') vise à convertir un jeu de plongements lexicaux en un jeu de définitions équivalentes, telles qu'elles pourraient apparaître dans un dictionnaire. fournir à un modèle de génération de définitions le vecteur du mot "répétitivité" devrait produire une sortie telle que "qualité, caractère de ce qui est répétitif (événements, gestes, etc.).". 1 suivant les conventions lexicographiques, on appellera ici le mot à définir le definiendum (pluriel : definienda). un ensemble conséquent de travaux a établi que les plongements lexicaux correspondent à des représentations de sémantique distributionnelle @xcite . ces dernières sont par conséquent explicitement mises en équivalence, dans les modèles de génération de définitions, avec les descriptions traditionnelles du sens. le linguiste peut donc voir dans la génération de définitions une expérience montrant que la représentation distributionnelle d'un mot est conforme aux intuitions des locuteurs. 2 pour l'informaticien, cette tâche permet de vérifier qu'un plongement lexical a été correctement pré-entraîné : si un vecteur de mot est une représentation correcte d'un mot, on s'attend à ce qu'il contienne toute l'information nécessaire afin de reconstruire une description du sens plus traditionnelle, en particulier la définition du mot telle qu'elle apparaît dans un dictionnaire. cet usage escompté de la génération de définitions comme outil d'évaluation faisait partie intégrante de la proposition initiale @xcite ; or aucune vérification n'en a été réalisée. la littérature subséquente sur le sujet a considéré comme acquise cette utilisation : aucun des travaux portés à notre connaissance ne compare deux jeux de plongements lexicaux, ni n'étudie l'importance des plongements pour la production de définitions. pour y remédier, nous proposons de comparer les performances d'une architecture selon les représentations vectorielles fournies en entrée. l'emploi suggéré par @xcite n'est pas le seul attrait que présente cette tâche. on peut évoquer plusieurs applications pratiques à la génération de définitions : par exemple produire des ébauches de dictionnaires pour des langues peu dotées ou bien servir d'aide à la lecture pour les apprenants d'une langue étrangère. ces usages, cependant, requièrent d'étudier les capacités des modèles sur plusieurs langues. toute la littérature concernant la génération de définitions s'est pourtant focalisée sur l'anglais, à l'exception notoire @xcite qui étudient le chinois. pour répondre en partie à cette seconde lacune, nous produisons un jeu de données pour le français. le présent article est structuré comme il suit : nous mentionnerons d'abord en section 2 l'état de l'art dans le domaine de la géneration de définitions, avant de détailler le jeu de données que nous proposons pour le français (section 3), les modèles étudiés (section 4), les résultats préliminaires dont nous disposons (section 5) et enfin les erreurs typiquement commises par nos modèles (section 6). nous terminerons par quelques perspectives en section 7. la génération de définitions a été introduite par @xcite , qui la conçoivent avant tout comme une tâche d'évaluation extrinsèque de jeux de plongements lexicaux ; en cela, elle est à rapprocher de la vaste littérature dédiée à l'analyse des jeux de plongements lexicaux @xcite @xcite , qui plus traditionnellement se concentre sur la structure de l'espace vectoriel et de l'application des vecteurs à la tâche d'analogie formelle @xcite @xcite . la formulation initiale de la tâche par @xcite considère le definiendum isolé de son contexte : @xcite remarquent que ceci est problématique pour les mots ambigus ou polysémiques, pour lesquels établir le sens requiert d'avoir accès au contexte ; ils utilisent par conséquent des plongements contextualisés adagram @xcite . mickus et al. (2019) soulignent qu'une architecture de type "encodeur-décodeur" permet de traiter de manière uniforme les embeddings contextualisés et non-contextualisés, ainsi que les unités polylexicales et les mots simples. zhu et al. (2019) et chang et al. (2018) proposent de décomposer les sens d'un mot en représentations vectorielles creuses (arora et al., 2018). chang et al. (2018) critiquent de plus que ces modèles sont relativement difficiles à interpréter, ce qui nuit à l'utilité de la tâche en tant qu'outil d'évaluation (d'où leur emploi de représentations creuses). zhang et al. (2019) explorent différentes architectures qui permettent de générer non seulement la définition, mais aussi un exemple d'utilisation du definiendum. tous les travaux précédents étudient spécifiquement le cas de l'anglais. yang et al. (2019) proposent un jeu de données pour le chinois, qui inclut des caractères sémantiquement liés au definiendum manuellement annotés. tout comme le jeu proposé par noraset et al. (2017), le jeu de yang et al. (2019) ne contient pas d'exemples d'usage des definienda. ## jeu de données le jeu de données que nous proposons est tiré de glawi @xcite , une version du wiktionnaire français au format xml. glawi recense pour chaque mot-forme les parties du discours applicables, et pour chacune de celles-ci les sens possibles, accompagnés d'une définition (@xmath0. nous retirons les exemples d'usage où le definiendum n'est pas présent dans le contexte. 3 nous convertissons le jeu de données entier en caractères minuscules. l'emploi du wiktionnaire comme source de données implique que notre jeu contient aussi des expressions polylexicales. 4 l'utilisation de definienda polylexicaux n'est pas standard en génération de définitions : comme le but premier de cette tâche est l'évaluation extrinsèque de plongements lexicaux, la capacité à prendre en compte une entrée séquentielle est souvent sacrifiée en faveur d'une architecture liant directement une représentation vectorielle à une production. 5 3. comme @xcite , nous conservons les exemples d'usages où une variante fléchie du definiendum est présente ; pour ce faire nous utilisons la librairie python spacy ( https://spacy.io/ ). ## résultats nous évaluons nos résultats à l'aide de deux métriques : perplexité et score bleu @xcite . ces métriques sont couramment utilisées en génération automatique. la perplexité est censée dépeindre l'incertitude du modèle de pouvoir engendrer la cible. elle se calcule comme l'exponentiation de l'entropie croisée : par conséquent on préférera les modèles qui minimisent la perplexité. les scores bleu calculent la similarité du vocabulaire employé dans la cible et dans la production du modèle : les modèles où le score bleu est maximal sont a priori à privilégier. de fait, cette illustration est loin d'être invraisemblable. ayant sélectionné aléatoirement un échantillon e glawi de 10000 définitions de glawi, nous avons calculé pour chaque définition d i la distance d'édition minimale au reste de l'échantillon, c'est-à-dire : nous avons pu observer que 77,19% des définitions de notre échantillon ne différaient que par un mot ajouté, supprimé ou remplacé d'une autre définition de l'échantillon. de manière générale, les dictionnaires utilisent avec une grande fréquence un inventaire limité de tournures spécifiques, rendant la question de l'évaluation par métriques automatiques d'autant plus prégnante. en bref, si le problème de la paraphrase est commun à toute tâche de génération automatique, il se présente de manière encore plus épineuse dans le cadre de la génération de définitions de par l'effet conjoint de la relative pauvreté des tournures stylistiques employées et de la proéminence de l'ancrage sémantique dans ce qui constitue une bonne ou une mauvaise définition. c'est aussi cette importance primordiale de l'ancrage sémantique, paradoxalement, qui fait l'attrait de la tâche générative pour l'évaluation des plongements lexicaux. d'autres métriques similaires à bleu pourraient être envisagées, notamment meteor @xcite , pour l'adaptation au français) ; 12 nous notons toutefois que ces métriques ne ciblent pas spécifiquement les éléments lexicaux clefs ("martinique" ou "chimie" dans notre exemple), mais prennent également en compte les éléments purement stylistiques dans le calcul d'un score : aussi le problème que nous soulignons n'est pas résolu par de telles métriques. afin de pallier ce défaut et d'obtenir une compréhension plus détaillée des productions qu'ils génèrent, nous sélectionnons aléatoirement 100 exemples et comptabilisons (i) le nombre de productions valides pour une partie du discours autre que celle du definiendum, (ii) le nombre de productions où le definiendum est présent dans sa propre définition et (iii) le nombre de productions contenant un mot ou un syntagme répété. ces informations supplémentaires nous permettent d'établir une vision plus fine du genre d'erreurs de génération commises par nos modèles ; comme souligné plus haut, une définition peut évidemment être entièrement erronnée tout en n'enfreignant aucun de ces critères. les résultats correspondants sont consignés dans la