Évaluation de la Similarité Textuelle : Entre Sémantique et Surface dans les Représentations Neuronales (2024)

Abstract: La mesure de la similarité entre textes, qu’elle soit basée sur le sens, les caractères ou la phonétique, est essentielle dans de nombreuses applications. Les réseaux neuronaux, en transformant le texte en vecteurs, offrent une méthode pratique pour évaluer cette similarité. Cependant, l’utilisation de ces représentations pose un défi car les critères sous-jacents à cette similarité ne sont pas clairement définis, oscillant entre sémantique et surface. Notre étude, basée sur des expériences contrôlées, révèle que les différences de surface ont un impact plus significatif que les différences de sémantique sur les mesures de similarité entre les représentations neuronales des mots construites par de nombreux modèles pré-entrainés. Ces résultats soulèvent des questions sur la nature même de la similarité mesurée par les modèles neuronaux et leurs capacités à capturer les nuances sémantiques.

## introduction la mesure de la similarité entre deux textes est au cur de nombreuses applications, que la définition de la similarité soit basée sur le sens des textes (comme pour un moteur de recherche), la similarité des chaines de caractères (par exemple, pour permettre des correspondances floues) ou même la similarité phonétique (par exemple, dans les méthodes d'indexation basées sur la phonétique telles que soundex). les réseaux neuronaux permettent de représenter le texte, qu'il s'agisse de mots, de phrases ou de paragraphes, sous forme de vecteurs, ce qui offre une méthode simple pour évaluer leur similarité. la mesure de la similarité entre deux vecteurs est en effet au cur de la fouille de données, et de nombreuses mesures de distance et de similarité aux propriétés bien établies ont été proposées dans la littérature @xcite . cette méthode est d'autant plus intéressante qu'il existe de nombreux modèles de langue pré-entraînés simplifiant la mise en uvre de celle-ci. un exemple concret d'utilisation de la similarité entre vecteurs contextuels, au cur aujourd'hui de nombreux travaux et développements, est le retrieval-augmented generation (rag) @xcite . le rag consiste à fournir à un giga-modèle (llm) une base de documents pour enrichir sa production. dans l'étape de récupération de documents, afin d'abonder la requête avec les passages pertinents, il est nécessaire de trouver les documents les plus similaires en fonction de leur produit scalaire avec le vecteur de requête dans un espace de vecteurs de haute dimension. toutefois, l'utilisation de représentations construites par les modèles de langue pour mesurer la similarité entre deux textes soulève un problème majeur. bien qu'ils puissent faire de très bonnes prédictions dans de nombreuses tâches et en particulier générer des textes sémantiquement cohérents et syntaxiquement corrects, les réseaux neuronaux restent des modèles de type boite noire et les informations qu'ils encodent dans leur représentation ne sont pas clairement identifiées : s'il est facile d'utiliser des représentations neuronales pour mesurer la similarité, les critères sur lesquels cette similarité est fondée ne sont pas clairs. notre travail s'inscrit dans une longue série d'études visant à comprendre et à analyser les représentations apprises de manière auto-supervisée par les modèles de langue et en particulier les fameux giga modèles @xcite . plus particulièrement, notre étude continue les travaux sur la pertinence des différentes mesures de similarité et leurs conditions d'utilisation sur les représentations tirées de ces modèles @xcite . dans ce cadre, nous soulevons une nouvelle question : la similarité entre des représentations neuronales de texte est-elle fondée sur des critères sémantiques (comme on pourrait s'y attendre vues les bonnes performances des modèles utilisant ces représentations dans de nombreuses tâches) ou des critères de surface -deux alternatives qui ne s'excluent pas mutuellement. pour cela, suivant la proposition @xcite d'évaluer les modèles sur des ensembles de données spécifiques construits autour de propriétés linguistiques clairement identifiées, nous proposons de mesurer la similarité entre une phrase et une version soigneusement modifiée de celleci, où les mots (noms, adjectifs et verbes) sont remplacés par des synonymes, des antonymes ou des paronymes (mot dont la prononciation est similaire à celle d'un autre mot, mais dont le sens est différent). cette approche est détaillée dans la section 2. grâce à ces expériences contrôlées, nous espérons pouvoir déterminer les critères sur lesquels se base la similarité mesurée entre les représentations neuronales des mots en établissant un lien entre la relation sémantique entre les mots échangés et la similarité entre les phrases. nos expériences, détaillées dans la section 3, montrent que les différences de surface ont un impact plus important sur les mesures de similarité que les différences de sémantique. cette conclusion est particulièrement surprenante dans la mesure où de nombreuses études ont montré que les réseaux de neurones sont capables de construire des représentations abstraites des mots et des phrases @xcite . nos expériences montrent également que la mesure de la similarité entre des représentations neuronales peut donner des résultats inattendus : des mots ayant des significations très différentes peuvent être identifiés à tort comme étant très similaires. nous avons commencé, à l'aide de ressources en ligne, par compiler deux listes, une en anglais et une en français, de respectivement 373 et 354 mots associés à leur paronyme (des paires de mots, comme irruption et éruption dont la prononciation est similaire, mais pas le sens). nous avons ensuite cherché dans différents corpus une phrase contenant un de ces mots. un mot et son paronyme ont des formes de surface et des prononciations très similaires, mais des significations très différentes. il est courant, même pour un être humain, de confondre un mot avec son paronyme et d'utiliser l'un au lieu de l'autre. si deux phrases dont la seule différence est l'utilisation d'un mot ou de son paronyme sont très similaires, la similarité repose davantage sur des informations de surface que sur la sémantique. on définit donc ici la similarité de surface comme un nombre de caractères en commun. pour chaque mot de notre liste, nous avons également cherché un antonyme et un synonyme, en nous assurant manuellement qu'ils pouvaient être utilisés à la place du mot d'origine dans la phrase (notamment en sélectionnant la forme correcte de ce dernier ou en sélectionnant parmi tous les synonymes ou antonymes d'un dictionnaire ceux qui pouvaient être utilisés dans le contexte). nous avons ensuite répété la même expérience : en mesurant la similarité entre la phrase et la phrase dans laquelle le mot a été remplacé par un synonyme ou un antonyme, nous espérons pouvoir à la fois mieux comprendre quand une mesure de similarité appliquée à des représentations neuronales détecte que deux phrases sont similaires et déterminer la dynamique de ces mesures (notamment dans quel domaine la mesure varie). bien que les sens distributionnels d'un mot et de son antonyme sont proches dans le cadre de la sémantique lexicale, nous nous plaçons du point de vue des utilisateurs finaux des llms, pour lesquels il est plus naturel de voir un antonyme comme particulièrement lointain du mot original. au final, notre corpus est constitué de 727 phrases, chacune apparaissant dans 5 versions différentes : la phrase originale et 4 versions modifiées dans lesquelles un mot a été successivement remplacé par un synonyme, un antonyme, un paronyme et un synonyme du paronyme. le tableau 1 donne quelques exemples de phrases de notre corpus. test abx pour déterminer sur quel type d'informations repose la similarité entre deux représentations neuronales d'une phrase, nous utilisons un test abx @xcite . ce test s'appuie sur les représentations vectorielles construites par un modèle pré-entraîné de trois textes : deux textes, notés a et b sont proches sémantiquement et le troisième, noté x, a un sens différent. le test abx consiste simplement à vérifier si la similarité s(a, b) est plus grande que s(a, x). dans le cas de l'anglais comme du français, la version avec un paronyme est en moyenne toujours préférée, de manière assez nette, suggérant une préférence pour une forme avec une surface similaire, et donc une influence de cette dernière. l'écart de cette influence varie entre les expériences 2 et 3, en particulier pour llama-2 et ada : en l'absence de critères sémantiques, la proximité de surface reste capturée.