Calcul de similarité entre phrases : quelles mesures et quels descripteurs ? (Sentence Similarity : a study on similarity metrics with words and character strings ) (2020)

Abstract: Cet article présente notre participation à l’édition 2020 du Défi Fouille de Textes DEFT 2020 et plus précisément aux deux tâches ayant trait à la similarité entre phrases. Dans notre travail nous nous sommes intéressé à deux questions : celle du choix de la mesure du similarité d’une part et celle du choix des opérandes sur lesquelles se porte la mesure de similarité. Nous avons notamment étudié la question de savoir s’il fallait utiliser des mots ou des chaînes de caractères (mots ou non-mots). Nous montrons d’une part que la similarité de Bray-Curtis peut être plus efficace et surtout plus stable que la similarité cosinus et d’autre part que le calcul de similarité sur des chaînes de caractères est plus efficace que le même calcul sur des mots.

## introduction cette édition 2020 du défi fouille de textes était principalement consacrée aux données médicales et comprenait trois tâches : (i) identification du degré de similarité entre paires de phrases (parallèles et non parallèles), (ii) identification des phrases parallèles possible pour une phrase source dans le domaine médical et (iii) extraction d'information sur des cas cliniques dans des textes biomédicaux. les détails sur le processus de collecte et d'annotation des données dans l'article introducteur du défi @xcite . notre travail s'est concentré sur les tâches 1 et 2 que nous avons traité sous l'angle des mesures de similarité. nous avons conçu une architecture extrêmement simple, que l'on peut sans doute qualifier de baseline améliorée, exploitant des mesures de similarité sur des vecteurs. notre contribution est de réfléchir d'une part aux bonnes manières de construire ces vecteurs, quelles caractéristiques ou dit autrement quelles opérandes, et d'autre part sur les meilleures manières de comparer ces représentations, la recherche en quelque sorte des bons opérateurs. dans la section 2 nous présenterons quelques grandes lignes des approches possibles en calcul de similarité puis dans la section 3 nous exposerons la méthode que nous avons développé pour ce défi et enfin dans la section 4 nous présenterons les résultats obtenus et quelques éléments de discussion. ## approches en calcul de similarité le calcul de similarité est une tâche essentielle du traitement automatique de données, textuelles ou non, et a toujours reçu une attention particulière de la communauté scientifique. si l'on se restreint aux données textuelles, le besoin est avant tout venu de besoin pour la recherche d'information. il s'agit en effet de pouvoir d'une part de mesurer le degré de proximité entre des documents et d'autre part de pouvoir identifier, et ordonner, la liste des documents les plus pertinents à offrir en réponse à une requête dans un moteur de recherches. assez classiquement, le défi posé ici est d'identifier les observables permettant de représenter numériquement des documents et de choisir les mesures appropriées pour en déduire la meilleure mesure de similarité pour une tâche donnée. les données textuelles sont représentées informatiquement parlant comme des séquences de caractères, sans représentation linguistique autre l'ordre des caractères dans la séquence. dès lors pouvoir comparer deux chaînes autrement que par une opération de recherche d'identité stricte impose d'identifier des caractéristiques internes de ces chaînes qui vont permettre d'identifier des opérandes sur lesquelles la comparaison pourra porter, ce choix n'étant pas sans impact sur les résultats @xcite . les opérandes peuvent être de deux grandes catégories : (i) les sous-chaînes de caractères elles mêmes, les formes brutes, dont les mots graphiques sont un sous-ensemble, et (ii) les redescriptions, généralement calculées à partir des mots, par exemple la racinisation ou la lemmatisation. le type de redescription utilisé affectera le qualificatif que l'on va donner à la similarité calculée : si la redescription encode des propriétés syntaxiques on parlera plus facilement de similarité syntaxique, si elle encode des propriétés sémantiques alors on parlera de similarité sémantique. . . ensuite, pour pouvoir appliquer des opérateurs de comparaison on aura deux grands types d'approches pour la similarité : d'une part la recherche de similarités séquentielles calculées par comparaison, sous-chaînes communes ou encore distance d'édition, et d'autre part la vectorisation qui permet de se placer dans un cadre méthodologique bien adapté au calcul automatique. notre approche était fondée sur une représentation assez simple du problème : que pouvaient donner des mesures de similarité très simples appliquées sur la tâche 2, tâche la plus simple puisqu'elle consistait à extraire la phrase la plus proche parmi trois candidates. l'approche la plus immédiate, en tout cas celle qui nous a paru comme telle, a été de calculer une vectorisation en mots et d'appliquer une simple mesure de similarité cosinus pour classer les phrases candidates. les premiers résultats étaient très élevés (au-delà de 93% de bons appariements) ce qui laissait à penser que la tâche était assez aisée. nous avions envisagé d'exploiter des méthodes sophistiquées à base de plongements de mots, spécialisés ou non sur le domaine médical, mais il nous a semblé qu'il serait intéressant de partir de cette baseline plutôt convaincante. plusieurs auteurs se sont intéressés à cette question de la capacité des baseline, pour peu qu'on leur porte suffisamment d'attention, à avoir des résultats équivalents @xcite voire supérieurs @xcite à des approches état de l'art. c'est aussi une question qui s'est posé régulièrement dans la communauté deft, par exemple lorsque la baseline conçue par les organisateurs du défi 2019 s'est avérée plus performante que des approches plus complexes implantées par les participants du défi @xcite . la question scientifique est tout à fait intéressante puisqu'il s'agit aussi de mesurer la valeur ajoutée apportée par des méthodes sophistiquées qui sont souvent plus gourmandes en ressources : taille des jeux de données d'entraînement, disponibilité de données linguistiques (lexiques, plongements de mots . . .) pour une langue et/ou un domaine donné ou encore tout simplement coût en temps de calcul @xcite . dès lors, nos investigations se sont portées sur deux objectifs : d'une part chercher dans la méthode elle même quelles pouvaient être les points d'amélioration et d'autre part regarder si cette méthode pouvait être adaptée pour traiter également la tâche 1. nous avons donc exploré la question des opérations appliquées, les mesures de similarités (section 3.1) d'une part et les opérandes sur lesquelles les mesures allaient porter, mots ou chaînes de caractères, d'autre part (section 3.2.