Simbow : une mesure de similarité sémantique entre textes (Simbow : a semantic similarity metric between texts) (2017)

Abstract: Cet article décrit une mesure de similarité sémantique non-supervisée qui repose sur l’introduction d’une matrice de relations entre mots, dans un paradigme de mesure cosinus entre sacs de mots. La métrique obtenue, apparentée à soft-cosinus, tient compte des relations entre mots qui peuvent être d’ordre lexical ou sémantique selon la matrice considérée. La mise en œuvre de cette métrique sur la tâche qui consiste à mesurer des similarités sémantiques entre questions posées sur un forum, a remporté la campagne d’évaluation SemEval2017. Si l’approche soumise à la campagne est une combinaison supervisée de différentes mesures non-supervisées, nous présentons dans cet article en détail les métriques non-supervisées, qui présentent l’avantage de produire de bons résultats sans nécessiter de ressources spécifiques autres que des données non annotées du domaine considéré.

## introduction les forums permettent à leurs participants de poser des questions et d'interagir avec les autres pour obtenir des réponses pertinentes. la popularité des forums montre la capacité de ce type d'interactions à produire des réponses pertinentes aux questions. leur popularité est telle que le premier réflexe d'un internaute, lorsqu'il se pose une question, est de faire appel à son moteur de recherche préféré, pour vérifier si une question similaire n'a pas déjà été posée et résolue. pour répondre de façon pertinente à cette requête, il faudrait pouvoir mesurer une similarité entre la nouvelle question posée et les questions déjà postées sur le forum, qui tienne compte de la sémantique et pas seulement du nombre de mots en communs entre les questions, sur quoi s'appuient les moteurs de recherche usuels. dans le cadre de la campagne d'évaluation des technologies sémantiques semeval 2017, la tâche community question answering, est consacrée à l'analyse des questions et leurs fils de discussions dans les forums @xcite . une sous-tâche traite précisément de la similarité entre questions : il s'agit pour une question, dite originale, de trier par similarité sémantique décroissante les 10 questions, dites relatives, remontées par un moteur de recherche sur ce forum. cette tâche peut être vue comme une pure tâche de similarité sémantique entre textes, sur des données textuelles bruitées générées par des utilisateurs, à la différence d'une autre tâche de similarité textuelle @xcite , qui traite de textes courts bien formés. dans la tâche community question answering, le corpus d'étude est issu du forum en anglais qatar living, dans lequel les expatriés occidentaux discutent de tous les aspects de la vie quotidienne au qatar (où pratiquer le basket, comment faire pour embaucher une nounou,...). cette tâche est apparue dans semeval en 2016 @xcite , et s'est poursuivie en 2017. les approches proposées en 2016 étaient principalement des fusions tardives de mesures de similarités supervisées ou non. de nombreuses mesures non-supervisées étaient basées sur le comptage d'éléments en commun entre les questions, ces éléments pouvant être des n-grams de lettres ou de mots, ou des composants de plus haut niveau, comme des entités nommées, des roles sémantiques ou des portions d'arbres syntaxiques (e.g. @xcite ). les plongements de mots ont également été beaucoup utilisés (e.g. @xcite ), souvent simplement moyennés au niveau de la question, et utilisé dans une mesure en cosinus ou en entrée d'un classifieur neuronal. les hypothèses de travail que nous avons prises pour cette tâche sont les suivantes : nous avons considéré que les données de forum étaient trop bruitées pour obtenir des sorties fiables de nos outils d'analyse linguistiques, et nous avons souhaité nous focaliser sur la similarité sémantique entre textes. c'est pourquoi nous n'avons utilisé aucune analyse de méta-données (issues des dates, profils utilisateurs etc...), afin d'obtenir des résultats qui pourraient se généraliser à d'autres tâches de similarité sémantique de textes. ainsi, nous avons développé des mesures de similarité sémantiques entre textes, sans ressources externes, presque sans pré-traitements linguistiques, reposant uniquement sur la disponibilité d'un gros corpus non-annoté représentatif des données. contrairement à l'article à paraître lors de la conférence semeval @xcite , où nous décrivons en détail l'optimisation de la combinaison supervisée de nos métriques non-supervisées, nous nous concentrons ici sur l'analyse des métriques non supervisées. la suite de cet article est organisée de la façon suivante : dans la section 2, la mesure de similarité non-supervisée est présentée, tandis que des mesures alternatives sont présentées dans la section 3. les résultats sont présentés et discutés dans la section 4.