Un traitement hybride du vague textuel : du système expert VAGO à son clone neuronal (2023)

Abstract: L’outil VAGO est un système expert de détection du vague lexical qui mesure aussi le degré de subjectivité du discours, ainsi que son niveau de détail. Dans cet article, nous construisons un clone neuronal de VAGO, fondé sur une architecture de type BERT, entraîné à partir des scores du VAGO symbolique sur un corpus de presse française (FreSaDa). L’analyse qualitative et quantitative montre la fidélité de la version neuronale. En exploitant des outils d’explicabilité (LIME), nous montrons ensuite l’intérêt de cette version neuronale d’une part pour l’enrichissement des lexiques de la version symbolique, et d’autre part pour la production de versions dans d’autres langues.

## introduction l'évaluation de la qualité d'un texte ou d'un discours s'avère nécessaire dans beaucoup d'applications, lesquelles reposent alors sur une définition propre de la notion de qualité @xcite . pour un apprenant, on peut par exemple chercher à mesurer la complexité lexicale @xcite ou syntaxique des énoncés @xcite . on peut également mesurer la complexité conceptuelle des termes et des énoncés à destination d'un jeune public @xcite ou la compréhensibilité de formules administratives @xcite . la lisibilité est une autre dimension largement explorée à partir d'indices divers @xcite , allant jusqu'au rendu graphique pour certains troubles de la lecture @xcite . s'agissant de la cohérence, on peut s'intéresser à l'enchaînement logique des énoncés, vu alors comme une tâche d'entailment @xcite . notons enfin que ces questions de qualité de texte se posent également pour l'évaluation de systèmes de tal produisant du texte @xcite , comme le résumé automatique, la traduction, la génération de texte, la simplification, etc. dans cet article, nous nous intéressons à une autre dimension de qualité du discours : la notion d'informativité. là encore, des travaux existants explorent cette notion sous différents prismes. @xcite utilisent par exemple des critères de cohésion syntaxique, alors que d'autres exploitent des critères de nouveauté par rapport à un ensemble de connaissances préexistantes @xcite . pour notre part, nous nous inscrivons dans une veine de travaux où la mesure du degré d'informativité consiste à évaluer le caractère plus ou moins précis ou vague du discours @xcite . plus un discours est précis, plus il est apte à être infirmé s'il est faux @xcite ; inversement plus un discours est vague, moins il se prête à la réfutation empirique et plus il est susceptible de véhiculer des informations subjectives @xcite . pour automatiser l'évaluation de la qualité informationnelle d'un texte, il est donc utile de détecter des indices de vague comme de précision. dans ce but, nous proposons ici de combiner deux approches. d'une part, nous faisons appel à un système expert de détection et de mesure du vague lexical, l'outil vago @xcite . de l'autre, nous proposons d'en créer une version neuronale afin de tester comme d'enrichir les performances du système expert. l'un des enjeux de cette méthode est d'étendre à d'autres langues que le français et l'anglais les résultats du système expert. un autre est d'avancer dans la maîtrise de méthodes hybrides de traitement du langage. ## extensions des approches vago la section précédente montre qu'il est possible de construire un équivalent de la version française de vago par apprentissage. cela permet d'explorer plusieurs développements que nous présentons dans les deux sous-sections suivantes : l'enrichissement de la base lexicale au coeur de vago, et la construction de systèmes de détection du vague pour d'autres langues. subjectif : outre les 81 bien présents dans le lexique, quelques formes verbales sont listées. bien que considérés comme des faux positifs (les lexiques vago actuels ne recensant que les adjectifs et adverbes), leur pertinence peut être discutée. dans les tokens restants, sept mots absents ont été validés comme pertinents et méritant d'être intégrés dans les lexiques. cette liste contient quatre adverbes ("également", "seulement", "particulièrement", "clairement") pour lesquels la base de données vago contient les adjectifs racines dans deux cas ("particulier", "clair") ; un verbe d'action ("faire") ; un adjectif pouvant également être un nom ("droit/droite") ; et un nom ("nombre"). on note également la détection de formes non standard de termes présents dans le lexique ("difficille", "pauv"), illustrant la robustesse de l'approche neuronale sur du texte bruité (coquille, abréviation...). les résultats obtenus valident le clone neuronal vago-n qui retrouve les indices lexicaux du système expert vago tout en permettant d'en identifier de nouveaux ou des formes non standard. ## conclusion dans cet article, nous sommes partis d'un système expert de détection du vague, l'outil vago, qui associe à des textes des scores de vague, de subjectivité, et de niveau de détail/vague, et nous avons ensuite créé un clone neuronal de vago fondé sur bert. à la différence de vago, vago-n est entraîné uniquement à partir des scores de vago, sans connaître le lexique sous-jacent à cette version symbolique. en utilisant lime, il apparaît que les termes dont la contribution aux scores du vago-n sont les plus élevés sont ou bien des termes figurant dans vago, ou des termes ayant majoritairement vocation à y figurer. ce résultat suggère que les décisions de vago-n s'expliquent dans une large mesure à partir des items lexicaux identifiés par le vago symbolique. on a pu monter l'intérêt de ces croisements entre système symbolique et neuronal : une fois appris, vago-n permet de compléter les lexiques du vago symbolique, il permet de produire facilement des versions neuronales dans d'autres langues, et rend possible des versions symboliques dans ces langues en produisant les lexiques nécessaires. beaucoup de pistes restent à explorer. il serait notamment intéressant de comparer les indices lexicaux trouvés par lime dans un classifieur entrainé à distinguer directement les types de documents de fresada (ou d'autres corpus pour la détection de fake news) et ceux obtenus par notre approche, que nous espérons plus génériques. une autre piste que nous souhaitons explorer pour mesurer la part de généricité de notre approche serait de masquer les entités nommées dans un texte pour voir si les scores de vago-n restent stables avant et après ce masquage, et pour déterminer la part revenant proprement au lexique vago (et qui ne contient pas d'entités nommées) dans la décision du vago-n. le système expert vago est par définition un système rigide qui ne différencie par le caractère plus ou moins vague d'un terme selon le contexte. prenons un terme comme "affirmatif" : le fait pour une phrase d'être "affirmative" n'est pas vague, en revanche si une personne est dite "très affirmative", alors "affirmatif" revêt un sens vague et évaluatif. à la différence de vago, vago-n est capable de différencier les scores de contribution de ces différentes occurrences d'un terme. parmi les questions que nous réservons à un examen ultérieur, il serait particulièrement fructueux d'examiner la variabilité des scores de termes vagues selon les différents contextes dans lesquels ils apparaissent. la question se pose plus généralement pour bert, de savoir si les plongements des termes vagues manifestent une dispersion plus grande que les plongements des termes fonctionnels et précis du lexique.