Approche supervisée de calcul de similarité sémantique entre paires de phrases (Supervised approach to compute semantic similarity between sentence pairs) (2020)

Abstract: Ce papier décrit les méthodes que nous avons développées pour participer aux tâches 1 et 2 de l’édition 2020 du défi fouille de textes (DEFT 2020). Pour la première tâche, qui s’intéresse au calcul de scores de similarité sémantique entre paires de phrases, sur une échelle de 0 à 5, une approche supervisée où chaque paire de phrases est représentée par un ensemble d’attributs a été proposée. Des algorithmes classiques d’apprentissage automatique sont ensuite utilisés pour entrainer les modèles. Différentes mesures de similarité textuelle sont explorées et les plus pertinentes sont combinées pour supporter nos méthodes. Différentes combinaisons ont été testées et évaluées sur les données de test du DEFT 2020. Notre meilleur système qui s’appuie sur un modèle Random Forest a obtenu les meilleures performances sur la première tâche avec une EDRM de 0,8216.

## introduction le défi fouille de textes (deft) est une campagne d'évaluation visant à promouvoir le développement de méthodes et d'applications dans le domaine du traitement automatique de langues naturelles (taln). dans son édition de 2020, il continue à s'intéresser à l'analyse de cas cliniques rédigés en français; les tâches 1 et 2 portent sur la similarité sémantique entre phrases tandis que la troisième tâche s'intéresse à l'extraction d'information fine à partir de textes biomédicaux @xcite . la tâche 1 du défi consiste à déterminer le degré de similarité entre paires de phrases, sur une échelle de 0 à 5. la tâche 2, quant à elle, consiste, pour une phrase source donnée, à identifier à partir de phrases cibles fournies celle qui est parallèle à cette dernière. ces questions se rapportent au calcul de similarité sémantique entre phrases. dans la littérature, ce problème a été largement exploré et différentes mesures de similarité sont proposées @xcite @xcite . certaines approches couramment utilisées exploitent la structure syntaxique des phrases ; le nombre de tokens ou ngrams en commun entre la phrase source et la phrase cible est généralement calculé. d'autres tentent de prendre en compte les problèmes de synonymie et la sémantique des phrases en exploitant des ressources sémantiques ou des méthodes statistiques @xcite . dans les dernières campagnes d'évaluation, les méthodes supervisées se sont montrées performantes pour mesurer la similarité sémantique entre phrases @xcite . les méthodes que nous proposons s'inscrivent dans cette dernière approche et utilisent les algorithmes classiques d'apprentissage automatique pour déterminer les scores de similarité entre les paires de phrases. ce papier décrit les méthodes développées pour participer aux deux premières tâches du deft 2020. le reste du papier est structuré comme suit : les méthodes de calcul de similarité sémantique sont présentées dans la section 2; les résultats obtenus sont décrits et discutés respectivement dans les sections 3 et 4. ## méthodes de calcul de similarité entre phrases dans cette section, nous décrivons les trois méthodes que nous avons développées pour le calcul de similarité entre paires de phrases. nous proposons une approche supervisée où chaque paire de phrases est représentée par un ensemble d'attributs. différentes mesures de similarité sémantique sont explorées : les mesures de similarité basées sur les tokens (mesure de dice @xcite , mesure @xcite , mesure de jaccard @xcite ), les mesures utilisant les séquences de caractères (q-gram (ukkonen, 1992)), la distance d'édition de levenshtein @xcite , les mesures basées sur la représentation vectorielle (tf.idf @xcite et les plongements lexicaux @xcite combinées avec le cosinus). tout d'abord, chaque paire de phrases, qui est une instance, est représentée par un ensemble d'attributs, constitués par les scores des mesures de similarité citées ci-dessus. ensuite, des algorithmes classiques d'apprentissage automatique sont utilisés pour entrainer les modèles, qui sont ensuite utilisés pour déterminer la similarité entre des paires de phrases non annotées. différents algorithmes d'apprentissage sont expérimentés mais seuls les résultats des modèles random forest (rf) et multilayer perceptron (mlp) qui ont donné les meilleures performances sur les jeux de données d'entrainement sont soumis. de plus, nous avons développé un modèle de régression linéaire (lr) qui prend en entrée les scores de similarité de ces deux modèles et le score moyen des différentes mesures de similarité. une validation croisée est effectuée sur les jeux de données d'entrainement pour sélectionner les attributs les plus pertinents mais aussi pour déterminer les meilleures combinaisons. la combinaison de quatre mesures de similarité sémantique @xcite a donné les meilleures performances. ## evaluation dans cette section, nous allons d'abord présenter les jeux de données et les métriques utilisées pour évaluer les systèmes participants au deft 2019. ensuite, les résultats de nos méthodes seront analysés et discutés. ## discussion l'évaluation de nos différentes méthodes de calcul de similarité sémantique sur les jeux de données du deft 2020 montre la bonne performance des algorithmes classiques d'apprentissage automatique pour cette tâche. les résultats montrent également la pertinence des mesures de similarité utilisées pour capturer la similarité sémantique entre phrases. les méthodes développées permettent toutes d'estimer correctement la similarité de la plupart des paires de phrases du corpus de test. une analyse des résultats a permis de relever des limites de ces méthodes pour la prédiction des scores de similarités pour certaines paires de phrases. les mesures de similarité utilisées @xcite ne prennent pas en compte la dimension sémantique des phrases ; par conséquent, nos méthodes peinent à prédire correctement les scores de similarité des phrases qui ont des structures syntaxiques similaires mais sont sémantiquement différentes. par exemple, pour la paire de phrases 22 (@xmath0, toutes les trois méthodes ont estimé les deux phrases similaires avec un score de similarité de 4 tandis que le degré de similarité fourni par les experts est de 1. de manière analogue, nos méthodes sont limitées pour la prédiction de la similarité des phrases sémantiquement proches mais utilisant des mots différents. par exemple, les phrases de la paire 52 (@xmath1. nous remarquons également que les méthodes proposées, et particulièrement uasz-run1 et uasz-run2 utilisant respectivement le modèle random forest et le perceptron multicouche, peinent à prédire les classes les moins représentatives (1 et 2) dans le corpus d'entrainement. dans le jeu de données officiel de test, les classes 1 et 2 sont respectivement 37 et 28. uasz-run1 ne prédit aucune valeur de ces deux classes tandis que uasz-run2 prédit seulement 9 valeurs dans la classe 1. ## conclusion dans ce papier, nous avons présenté les méthodes que notre équipe a développées pour participer aux tâches 1 et 2 du deft 2020. trois méthodes de calcul de similarité sémantique entre phrases ont été proposées : une méthode utilisant le modèle random forest (rf), une autre utilisant le perceptron multicouche (mlp) et une dernière combinant les résultats de ces deux modèles. les résultats officiels du deft 2020 montrent que notre méthode basée sur le perceptron multicouche a obtenu les meilleures performances sur la tâche 1. comparés aux différents systèmes participants, les deux autres méthodes ont donné des résultats encourageants. nous envisageons d'exploiter d'autres mesures de similarité notamment celles permettant de capturer la sémantique des phrases afin d'améliorer les performances ; une première expérimentation avec les plongements lexicaux sur un corpus moyen n'a pas permis d'améliorer les résultats. leur utilisation sur un corpus plus conséquent pourrait permettre d'augmenter les performances des systèmes.