Recherche de similarité thématique en temps réel au sein d’un débat en ligne (Thematic similarity real-time computation during an online debate) (2020)

Abstract: Cet article se focalise sur l’utilisation d’un large réseau lexico-sémantique français pour le calcul de similarité thématique d’interventions au cours d’un débat en ligne dans les lycées, proche du temps réel. Pour cela, notre système extrait des informations sémantiques du réseau et crée à la volée des vecteurs enrichis pour chaque fragment de texte. Les données récupérées sont contextualisées via un algorithme de propagation. Les vecteurs résultat permettent aux fragments de texte d’être comparés. Notre méthode aide à trouver les thématiques émergentes des débats et à identifier des clusters d’opinion. La contrainte temps réel nous force à sélectionner précisément les informations que nous incluons, aussi bien pour les temps de calcul des vecteurs créés que la qualité de ceux-ci.

## introduction cet article présente une utilisation d'un réseau lexico-sémantique français pour le calcul de vecteurs textuels enrichis, cela dans le but de trouver des similarités thématiques entre des fragments de texte. nous nous plaçons dans le cadre du projet aren (argumentation et numérique), où notre méthode est appliquée en temps réel à des débats en ligne entre lycéens. ce projet, soutenu par le ministère de l'éducation nationale, est un des lauréats de l'appel e-fran 1 . son but principal est d'apprendre les mécanismes du débat aux lycéens via une plateforme mise en ligne et utilisée depuis volume 2 : traitement automatique des langues naturelles, pages 258-267. hal : hal-02784775. cette oeuvre est mise à disposition sous licence attribution 4.0 international. l'idée soutenant notre méthode est de créer des vecteurs pour chaque contribution textuelle, d'enrichir ceux-ci via le réseau lexico-sémantique et de les comparer par un produit scalaire. il est ainsi possible de déterminer automatiquement quelles contributions sont proches thématiquement les unes des autres, et ce même si le vocabulaire utilisé diverge. il est important de garder à l'esprit deux aspects du projet. la contrainte temps-réel nous impose d'utiliser des approches rapides et nous ne vérifions pas que les interventions sont sémantiquement convergentes (les négations, par exemple, ne sont pas prises en compte), mais simplement qu'elles portent sur le même thème. en outre, les vecteurs sont lexicalisés (ensemble de paires mot-poids) pour une interprétation humaine et machine facilitée, dans l'esprit de panigrahi et al. (2019). les vecteurs sont en dimension ouverte. ils peuvent être composés d'autant de paires mot-poids que souhaité. pour être comparés deux à deux, le fait de ne pas avoir la même dimension n'est pas problématique. les données utilisées sont les débats réalisés au cours des 4 ans de projet. celles-ci seront mises à disposition au terme du projet, ainsi que le code produisant les vecteurs et la plateforme utilisée, le tout sous licence libre. dans cet article, nous commencerons par décrire rapidement certains aspects de la base de connaissance jeuxdemots dont nous nous servons pour l'augmentation sémantique. après un rapide aperçu des méthodes récentes sur les plongements de mots et de textes, nous décrirons notre méthodologie, puis l'évaluerons avant de conclure. 2 utiliser une grande base de connaissances lexicalisées le projet jeuxdemots 2 (lafourcade, 2007) (jdm) a pour coeur des gwap (un jeu en ligne, voir ahn (2006)) où des joueurs s'affrontent pour capturer des mots, combiné à des mécanismes d'inférences. le ressort principal (lafourcade et al., 2018) est de leur faire produire des associations entre termes selon une consigne (par exemple : donner des synonymes de "chat"). ainsi, le réseau lexical jdm, dont la structure est composée de noeuds connectés par des relations (voir collins & quillian (1969), sowa & zachman (1992), gaume et al. (2007) et polguère (2014)), se développe en fonction de l'activité des participants (environ 4 millions de termes et 310 millions de relations en janvier 2020). il existe environ 120 types de relations pouvant être organisés selon les catégories suivantes : relations lexicales -focalisées sur le vocabulaire et la lexicalisation, cela correspond à la synonymie, antonymie, champ lexical, etc. relations ontologiques -centrées sur les connaissances de la langue, il s'agit des génériques (hyperonymie), spécifiques (hyponymie), parties de (meronymie), lieux spécifiques, etc. relations associatives -plus subjectives, elle font appel à la culture générale : associations libres, sentiments associés, gloses, objets similaires, objets souvent présents ensembles. relations prédicatives -associées à un vembe ou un nom d'action, aussi bien qu'aux valeurs des arguments : agent, patient, lieux où une action se déroule, etc. sens des termes permettant de représenter des raffinements spécifiques, par exemple : @xmath0. en plus d'être typée, une relation est pondérée, le poids pouvant être négatif, indiquant une relation fausse ou impossible. enfin, les relations peuvent être annotées de façon ouverte avec diverses informations : fréquences, pertinence, prépositions (pour les relations de lieux), subjectivité, etc. la base est très lexicalisée, en ce sens que les verbes arrivent avec leur formes conjuguées ; les groupes nominaux avec leur pluriel, etc. un grand nombre de formes verbales infinitives arrivent avec leur version négative (manger / ne pas manger / ne plus manger, etc.) et leurs associations sémantiques respectives. cela résulte d'un ajout de contributeurs hors jeu, et permet lors d'une analyse sémantique de rejeter certains sens. 3 calcul de vecteurs avec une large base de connaissances contrairement aux approches récentes, où les plongements textuels sont calculés à partir d'un grand corpus -souvent wikipedia ein dor et al. (2018)-, on s'appuie sur une large base de connaissances. les techniques de fouilles textuelles cherchant à extraire des données pertinentes de texte sont souvent utilisées pour mesurer la similarité (vijaymeena1 & kavitha (2016), sumathy & chidambaram (2016), peinelt et al. (2019) et gong et al. (2018)). l'enjeu des modèles à base de vecteurs est de construire lesdits vecteurs. en contrepartie, on adopte généralement ces modèles pour la facilité de comparaison des vecteurs. on peut citer à la volée : les méthodes lsa -latent semantic analysis -(magerman et al., 2011), lda -latent dirichlet allocation -(liu et al., 2015), lstm -siamese long short term memory -(melamud et al., 2016) ou encore doc2vec, foncé sur word2vec (le & mikolov, 2014). les réseaux neuronaux convolutionnels commencent également à être utilisés (zheng et al., 2019). généralement, les approches sont entraînées sur larges corpus, vu qu'il est délicat de créer des 2. http://www.jeuxdemots.org vecteurs pertinents sans aucune source de connaissance (park et al., 2018). cela rend la récupération des informations sous-entendues plus complexe (smalheiser et al., 2019) , alors qu'un lecteur humain le fait aisément tant que lesdites informations viennent de son environnement culturel. nous avons délaissé les méthodes telles que elmo (peters et al., 2018) bert (devlin et al., 2019) car nous souhaitions une méthodologie en contrôle, où nous choisissons les relations sémantiques où sont puisés les termes à ajouter. actuellement, nous exploitons la proximité thématique (par produit scalaire entre vecteurs) selon deux circonstances : (a) vérifier automatiquement que la reformulation est (thématiquement) similaire à la sélection (leurs vecteurs ont un produit scalaire élevé) et (b) identifier les commentaires (thématiquement) proches d'un groupe de mot pouvant jouer le rôle de thème spécifique. cela permet de recentrer le débat facilement, de vérifier si certaines idées sont exprimées et combien de fois. 3.1 schéma général de construction de vecteurs lexicalisés l'idée maîtresse est de déclarer différentes étapes et de construire un pipeline avec. on différencie les étapes sémantiques -qui font appel aux connaissances issues de jeuxdemots et ajoutent des informations importantes, comme les synonymes (abdalgader & skabar, 2011), et améliorent la qualité des vecteurs (espinosa anke et al., 2019), avec les co-locations -et celles qui ne le sont pas (étapes de régularisation), mais qui sont indispensables pour construire des vecteurs (où les mots sont associés à leur poids). le pipeline complet est illustré figure 2. nos choix se fondent sur un compromis entre de temps de calcul et qualité. il nous a bien sûr fallu faire des choix, principalement en terme d'augmentation, pour rester dans l'optique du temps réel (un débat en classe dure 50 minutes, il est nécessaire que les calculs soient terminés à la fin de celui-ci pour faire le point avec les élèves). texte (argument) a -tokenization liste de mots 1 -détection de termes composés (tc) liste de {mots + tc} 2 -suppression de bruit (antidictionnaire) liste de {mots + tc} non bruités b -vectorisation vecteur lexicalisé 3 -lemmatisation vecteur lemmatisé 4 -augmentation : ajout de (certains) génériques (g), synonymes (s), idées associées (a) et sens des mots (sm) vecteur augmenté 5 -contextualisation vecteur contextualisé c -normalisation résultat final figure 2 -processus global ; les étapes sémantiques (1 -5) exploitent la base de connaissances. ## évaluation et discussion les données du projet, correspondant à 6481 arguments de 77 débats, nous ont permis d'évaluer notre méthode : en premier lieu, au niveau des temps de calcul des vecteurs, sur un ordinateur personnel (16 go de ram, processeur 2,2 ghz intel core i7 quatre coeurs). avec la baseline (étapes de régularisation), il faut 0.339s pour calculer les 6481 vecteurs. en ajoutant les étapes sémantiques, on a au total 5159.42s, moyen 0.79s, minimal 4 10 -5 s et maximal 6.44s (correspond à une intervention très longue (355 mots), particulièrement rare lors des débats). les points les plus coûteux sont les appels à la base de connaissance et la contextualisation ( 0.58s). la base de connaissance étant codée sous forme de base de données indexée, sa taille n'a que peu d'influence sur la complexité, c'est le nombre de requêtes effectuées qui joue. l'évaluation qualitative sans corpus de référence est délicate. nous avons donc créé notre propre gold standard : pour chaque débat et chaque argument du débat, nous avons ordonné les 5 plus proches. il est donc ensuite possible de comparer avec les résultats de notre méthode mais également avec les vecteurs calculés de façon alternative, ici en particulier selon la méthode de bojanowski et al. (2017) qui utilise fasttext (dimension de 300 et modèle skip-gram). après adaptation (somme vectorielle normée des vecteurs de chaque terme des segments textuels, termes pour lesquels un vecteur existe), nous avons pu l'appliquer à nos fragments textuels et comparer les résultats selon les approches. méthode de construction précision/gsm gain / mss gain / sans ct mots simples (mss) 42.08% mss + termes composés (tcs) 67.83% +25.7 mss + tcs + lemmatisation (l) 78.41% +36.2 mss + tcs + l + génériques (g) 84.23% +42.3 mss + tcs + l + synonymes (s) 85.71% +43.6 mss + tcs + l + g + s + termes associés 91.31% +49.2 mots simples (mss) + contextualisation (ct) 92.44% +50.2 mss + tcs + ct 97.08% +4.7 +29.3 mss + tcs + lemmatisation (l) + ct 98.31% +6 +21.1 mss + tcs + l + génériques (g) + ct 98.67% +6.3 +14.3 mss + tcs + l + g + ct 98.64% +6.2 +13.1 mss + tcs + l + g + s + sens des mots + termes associés + ct 99.92% +7.5 +8.6 mss + bojanowski et al. 45.21% mss + tcs + l + g + s + b. et al. 56.71% pws + tcs + l + g + s + sens des mots + a + ct + b. et al. 61.34%