P ara PLUIE - une mesure automatique d’évaluation de la qualité sémantique des systèmes de paraphrases (2024)

Abstract: L’évaluation des systèmes de production automatique de paraphrases est une tâche difficile car elle implique, entre autre, d’évaluer la proximité sémantique entre deux phrases. Les mesures traditionnelles s’appuient sur des distances lexicales, ou au mieux des alignements de plongements sémantiques. Dans cet article nous étudions certaines de ces mesures sur des corpus de paraphrases et de non-paraphrases reconnus pour leurs qualités ou difficultés sur cette tâche. Nous proposons une nouvelle mesure, ParaPLUIE, s’appuyant sur l’utilisation d’un grand modèle de langue. D’après nos expériences, celui-ci est plus à même de trier les paires de phrases par proximité sémantique.

## introduction dans le domaine de la production automatique de paraphrases, de nombreuses définitions d'une paraphrase ont été proposées @xcite @xcite @xcite . toutes ces définitions, tout comme les travaux de linguistiques traitant de paraphrase @xcite , contiennent une notion de conservation du sens, celle-ci étant par nature ambiguë. malgré cela, les systèmes ont besoin de mesures automatiques de proximité sémantique pour s'entraîner ou se comparer. généralement, celles utilisées fonctionnent par comparaison de lexiques @xcite ou de plongements @xcite . par construction, les approches par lexiques ont des difficultés à rapprocher des transformations simples comme le remplacement d'un mot par son synonyme @xcite . elles auront aussi du mal à rejeter deux phrases proches syntaxiquement même si elles ont un sens opposé. d'un autre coté, les mesures utilisant des plongements sémantiques reposent sur une notion d'alignement sous-phrastique sans vision globale des phrases. ces deux points ont été mis en évidence par @xcite et ont conduit à construire le corpus paws. l'architecture transformer et l'émergence des grands modèles de langues (llm) ont permis de nombreuses avancées dans le domaine du traitement automatique du langage @xcite . en particulier, le mécanisme d'auto-attention permet de capturer, sur un grand contexte, des relations sémantiques. nous proposons d'explorer l'utilisation d'un llm pour la mise au point d'une nouvelle mesure de similarité sémantique nommée parapluie. nous commençons par présenter, dans la section 2, les mesures communément utilisées, puis les corpus d'évaluation en section 3. dans la section 4, nous présentons une expérience préliminaire d'utilisation d'un llm en tant que classifieur de paraphrases avant de définir parapluie en section 5. nous comparons ensuite parapluie aux autres mesures, en terme de dynamique des scores en section 6, puis en terme de re-classement de paraphrases en section 7. dans le premier groupe, on peut inscrire la distance de levenshtein (lev.) @xcite , wer @xcite , bleu @xcite . lev. donne une mesure de différence entre deux chaînes de caractères. cette mesure repose sur la détermination du nombre minimal de suppressions, insertions et remplacements pour passer de la chaîne de caractères hypothèse à la chaîne référence. lev. augmentant avec la taille des chaînes de caractères considérées, elle est généralement normalisée par la taille de la chaîne de caractères la plus grande parmi l'hypothèse et la référence. wer est un dérivé de lev., travaillant au niveau des mots et non des caractères. cette mesure correspond au rapport entre le nombre de mots communs entre la phrase hypothèse et celle de référence, et le nombre de mots de la plus longue des deux phrases. bleu a été conçu pour être une mesure de qualité de traduction. elle consiste en la comptabilisation de la présence de ngrammes d'une phrase hypothèse dans une ou plusieurs phrases de référence. généralement, tous les ngrammes de longueur 1 à 4 mots sont considérés. bleu est associé à un score de rappel des ngrammes de l'hypothèse dans la référence. par la suite, dans cet article, la version de bleu que nous utilisons est l'implémentation de torchtext 1 avec les paramètres par défaut. meteor reprend les principes de bleu en calculant une moyenne harmonique, à partir de la précision et du rappel de l'apparition d'un ngramme hypothèse parmi les références. de plus, meteor prend en compte une correspondance synonymique lors du calcul du score. meteor a montré une meilleure corrélation avec le jugement humain que bleu. on pourrait argumenter que si deux phrases ont une structure lexicale très proche alors elles sont plus probablement des paraphrases. la faiblesse de cette hypothèse est que deux phrases peuvent partager une structure commune sans véhiculer le même sens. pour pallier ce problème, un effort de recherche a été employé à la création d'un second groupe de mesures qui reposent sur une distance sémantique. ces métriques s'appuient sur les plongements de symboles représentant des mots au sein d'un llm. dans ce groupe, on peut considérer notamment bert score @xcite et parascore @xcite . bert score est un score de similarité de chaque plongement de symbole, composant une phrase hypothèse, avec les plongements de symboles d'une phrase de référence. sa définition repose sur l'hypothèse que, s'il existe un appariement entre deux phrases tel que, tous les plongements qui les composent sont proches, alors leur sens est proche. par la suite, dans cet article, nous utilisons la version de bert score provenant de hugging face 2 . celle-ci utilise le modèle bert @xcite , nous spécifions le type du modèle en tant que "bert-base-uncased". il est à noter que les mesures de similarité sémantiques considèrent un alignement mot-à-mot, sans prise en compte de relations sémantiques de plus hauts niveaux. ainsi un risque quant à la qualité de la classification de paraphrase existe. dans la suite de ce document, nous proposons une évaluation de ces différentes métriques dans le cadre de la similarité sémantique, sur deux corpus de paraphrases. york to florida » et « flights from florida to new york ». le corpus mrpc utilisé est disponible sur huggingface foot_2 et comprend 5 801 couples dont 3 900 paraphrases, soit 67% du corpus. ce corpus a été créé de façon automatique, depuis un grand corpus d'articles de presse regroupés par thème. lors de l'annotation de ces données, le protocole a été le suivant : pour chaque couple de phrases, deux juges ont été interrogés pour savoir si les deux phrases pouvaient être considérées comme sémantiquement équivalentes ; ils ne pouvaient répondre que de façon binaire, par oui ou par non, et en cas de désaccord entre les deux jugements, un troisième juge répondait à la même consigne. voici un exemple de non-paraphrase caractéristique de mrpc : « last year, bush appointed him to the homeland security advisory council. » et « he has also served on the president's homeland security advisory council. ». l'ensemble des deux corpus comporte 54% de paraphrases. les distributions, des mesures présentées à la section 2 et appliquées sur chacune des classes de ces deux corpus, sont présentées dans la au sein d'un même corpus, pour toutes les mesures considérées (sauf parascore sur paws), on constate que les moyennes des différentes classes sont bien cohérentes avec l'étiquette de référence. en revanche, les écarts-types laissent penser qu'une classification ou qu'un tri des phrases en fonction de leur score, ne permettraient pas de bien identifier les paraphrases. de plus, si on croise les résultats des corpus, on constate que le score moyen des non-paraphrases de paws est meilleur que le score moyen des paraphrases de mrpc, quelle que soit la mesure. rappelons toutefois que nous traitons volontairement des corpus très difficiles pour des mesures de proximité sémantique. si les patrons sont identiques et les mots « yes » et « no » ne sont codés que sur un unique symbole, alors ce ratio de probabilité est égale au ratio des perplexités (ppl), à une puissance près. la perplexité reflétant justement la « surprise » du modèle lors de l'apparition des symboles. de plus, généralement, les llm sont justement appris en utilisant la perplexité comme fonction objectif (loss). ainsi, le calcul de la mesure devient : ## conclusion et perspectives parapluie est une nouvelle mesure de proximité sémantique utilisant un llm. nous avons évalué la qualité de notre mesure par rapport aux autres mesures communément utilisées. cette évaluation a été effectuée sur deux corpus de paraphrases en anglais, annotés par des humains, reconnus pour leurs qualités ou difficultés. notre analyse montre que parapluie obtient une meilleure exactitude que les autres mesures de l'état de l'art. nous proposons des variantes de patrons et montrons que s'appuyer sur une étape d'explication intermédiaire générée par llm améliore l'exactitude. cette étude a été menée sur une quantité limitée de données, dû au temps de calcul important nécessaire à l'utilisation d'un llm. dans ces expériences, nous n'avons pas réalisé de few-shots prompting, c'est-à-dire, ajouté un exemple de résolution de la tâche dans le patron utilisé. nous sommes confiants dans le fait que cela améliorerait les résultats de parapluie mais nous avons souhaité éviter de créer un biais sur les corpus que nous avons étudiés. être capable d'estimer si deux phrases sont des paraphrases permet l'avancée sur d'autres terrains de recherche, comme la création de petit modèles de langue dédiés à la tâche de production de paraphrase, en coopération avec des méthodes d'apprentissage par distillation de connaissances @xcite . nous souhaitons étendre cette étude sur des corpus de paraphrases de grande distance lexicale, là où cette étude s'est tournée sur un ensemble de couples avec une faible distance lexicale. nous souhaitons également concevoir un petit modèle de langue dédié à l'identification de paraphrase. enfin nous appelons à ne pas utiliser parapluie avec un llm de très grande taille. intuitivement, l'utilisation d'un tel modèle améliorerait les résultats de parapluie ; néanmoins, rien ne le garantit et leur utilisation est particulièrement coûteuse. en revanche l'étude du patron utilisé semble être une piste prometteuse pour améliorer la mesure.