# TextMine'24

Cédric Lopez, Pascal Cuxac

► To cite this version:

Cédric Lopez, Pascal Cuxac. TextMine'24. TextMine @ EGC, 2024. hal-04419844v3

HAL Id: hal-04419844

https://cnrs.hal.science/hal-04419844v3

Submitted on 7 Feb 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# TextMine '24

## Atelier sur la Fouille de Textes

<figure><img src="image_2.png" /></figure>

Organisateurs :

Pascal Cuxac (INIST - CNRS),
Cédric Lopez (Emvista)

Organisé conjointement à la conférence EGC
(Extraction et Gestion des Connaissances)
le 23 janvier 2024 à Dijon
Editeurs :

Pascal Cuxac - INIST - CNRS
2 rue Jean Zay, CS 10310, 54519 Vandoeuvre les Nancy Cedex

Email : pascal.cuxac@inist.fr

Cédric Lopez - Emvista
Espace Bocaud, 42 rue de la Pierre Plantée, 34830 Jacou

Email : cedric.lopez@emvista.com

Publisher:

Pascal Cuxac, Cédric Lopez
2 rue Jean Zay
54519 Vandoeuvre les Nancy Cedex

Vandoeuvre les Nancy Cedex, France, 2024
PRÉFACE

C'est une évidence que de dire que nous sommes entrés dans une ère où la don-
née textuelle sous toute ses formes submerge chacun de nous que ce soit dans son
environnement personnel ou professionnel : l'augmentation croissante de documents
nécessaires aux entreprises ou aux administrations, la profusion de données textuelles
disponibles via Internet, le développement des données en libre accès (OpenData), les
bibliothèques et archives en lignes, les medias sociaux ne sont que quelques exemples
illustrant l'évolution de la notion de texte, sa diversité et sa prolifération.

Face à cela les méthodes automatiques de fouille de données (data mining), et plus spécifiquement celles de fouille de textes (text mining) sont devenues incontournables. Récemment, les méthodes de deep learning ont créées de nouvelles possibilités de recherche pour traiter des données massives et de grandes dimensions. Cependant, de nombreuses questions restent en suspens, par exemple en ce qui concerne la gestion de gros corpus textuels multi-thématiques. Pouvoir disposer d'outils d'analyse textuelle efficaces, capables de s'adapter à de gros volumes de données, souvent de nature hétérogène, rarement structurés, dans des langues variées, des domaines très spécialisés ou au contraire de l'ordre du langage naturel reste un challenge.

La fouille de textes couvre de multiples domaines comme, le traitement automa-
tique des langues, l'intelligence artificielle, la linguistique, les statistiques, l'infor-
matique et les applications sont très diversifiées, que ce soit la recherche d'information,
le filtrage de spam, le marketing, la veille scientifique ou économique, la lutte antiter-
roriste...

Le but de cet atelier est de réunir des chercheurs sur la thématique large de la
fouille de textes. Cet atelier vise à offrir une occasion de rencontres pour les univer-
sitaires et les industriels, appartenant aux différentes communautés de l'intelligence
artificielle, l'apprentissage automatique, le traitement automatique des langues, pour
discuter des méthodes de fouille de textes au sens large et de leurs applications.

P. CUXAC
INIST-CNRS

C. LOPEZ
Emvista

<figure><img src="image_3.png" /></figure>

emvista
<figure><img src="image_4.png" /></figure>
## Membres du comité de lecture

Le Comité de Lecture est constitué de:

- Kevin Cousot (Emvista, Montpellier)

- Nicolas Dugué (LIUM, Le Mans)

- Natalia Grabar (STL - Lille3, Lille)

- Adrien Guille (ERIC, Univ. Lyon2, Lyon)

- Jean-Charles Lamirel (LORIA, Nancy)

- Denis Maurel (Lifat, Université F. Rabelais, Tours)

- Ellouze Mourad (MIRACL Laboratory, FSEGS, Sfax, Tunisie)

- Anna Pappa (LIASD, Univ. Paris 8, Paris)

- Valentin Pelloin (INA, Paris)

- Thibault Prouteau (LIUM, Le Mans)

- David Reymond (Université de Toulon, Toulon)

- Philippe Suignard (EDF, Paris)

- Andon Tchechmedjiev (IMT, Alès)

- Sylvain Verdy (Emvista, Montpellier)
<figure><img src="image_5.png" /></figure>
TABLE DES MATIÈRES

Session Exposés

<table><tr><td>Extraction de connaissances basée sur l'analyse formelle de concepts en vue de l'assistance aux débats en ligne<br>Imen Ben Sassi, Hani Guenoune, Alexandre Bazin, Marianne Huchard, Mathieu Lafourcade, Jean Sallantin</td><td>1</td></tr></table>

<table><tr><td>Employing Graph Neural Network for Syntactic Dependency-based Document Classification<br>Kevin Cousot, Shaghayegh Momtaz, Mehdi Mirzapour</td><td>13</td></tr></table>

<table><tr><td>Extraction d'acronymes torturés dans la littérature scientifique<br>Alexandre Clausse, Guillaume Cabanac, Pascal Cuxac, Cyril Labbé</td><td>27</td></tr></table>

<table><tr><td>Normalisation automatique de variables issues de bases de données en agroécologie<br>Oussama Mechhour, Sandrine Auzoux, Clément Jonquet, Mathieu Roche</td><td>39</td></tr></table>

Session Exposés Invités

<table><tr><td>Approches linguistiques pour la fouille d'articles scientifiques<br>Iana Atanassova</td><td>51</td></tr></table>

<table><tr><td>Optimiser l'annotation de données : évaluation critique des outils et présentation de Labelit<br>Mohamed Chetouani</td><td>53</td></tr></table>

Session Exposés

<table><tr><td>Indexation semi-supervisée abstractive-extractive de documents<br>Saber Zahhar, Christophe Rodrigues</td><td>55</td></tr></table>

<table><tr><td>Evaluation de petits LLM quantifiés sur une tâche de classification de textes en français<br>Philippe Suignard</td><td>67</td></tr></table>
# Extraction de connaissances basée sur l'analyse formelle de concepts en vue de l'assistance aux débats en ligne

Imen Ben Sassi, Hani Guenoue, Alexandre Bazin, Marianne Huchard, Mathieu Lafourcade, Jean Sallantin

LIRMM, Université de Montpellier, CNRS, Montpellier, France
imen.ben-sassi@lirmm.fr, prenom.nom@lirmm.fr

**Résumé.** Nous présentons un processus automatisé d'accompagnement de débats visant à extraire des associations entre termes à partir des listes de termes-clés des arguments, listes co-construites par les utilisateurs et notre système d'indexation. L'indexation encourage les utilisateurs à compléter ou corriger la liste des termes-clés, agissant comme un outil incitatif à l'élaboration de points de vue plus structurés. L'algorithme est basé sur l'analyse formelle de concepts et s'appuie sur la base de connaissances JeuxDeMots (JDM). La procédure fait intervenir plusieurs modules menant à une étape d'extraction de connaissances sous forme d'implications destinées à être intégrées dans JDM. Cette approche coopérative permet à la base de connaissances de s'enrichir à mesure que les débats sont analysés, améliorant les termes-clés suggérés par la plate-forme.

## 1 Introduction

Le projet AREN-DIA (ARGumentation Et Numérique - Didactique & Intelligence Artificielle)<fnref n="1" /> vise à sensibiliser les élèves à la pratique du débat dans le cadre de leur éducation à la citoyenneté. La plate-forme de débats en ligne ainsi conçue est également disponible à la société civile, assurant une éthique aux débats. La plate-forme offre la possibilité d'engager des débats structurés à partir d'un texte, renouvelant l'approche traditionnelle des échanges argumentatifs. Elle présente la particularité d'intégrer une technologie collaborative de Traitement Automatique du Langage en vue d'augmenter l'efficacité du processus de débat. Dans cette perspective, AREN-DIA se déploie selon un axe didactique et un axe IA. Les résultats des études menées au sein des lycées révèlent que l'utilisation judicieuse de ce logiciel, insérée dans un dispositif didactique approprié, conduit à un essor marqué des compétences argumentatives chez les élèves (Bächtold et al., 2023).

L'axe IA et ses enjeux font l'objet de cet article. Nous nous intéressons à la manière de concevoir un mécanisme de renforcement incitant les utilisateurs à participer à l'amélioration du système d'IA produisant une représentation structurée des propos d'un débat. AREN<fnref n="2" /> est une application web qui offre un espace de débat, réunissant un ensemble d'utilisateurs. Le débat porte sur un texte support publié en amont sur la plate-forme. Les utilisateurs interviennent à travers des commentaires exprimant une opinion, une argumentation ou un avis

<footnote n="1">1. Ce projet est financé par l'Agence Nationale de la Recherche : ANR-22-FRAN-0001.</footnote>

<footnote n="2">2. La plate-forme est accessible via le lien suivant : https://portail-aren.lirmm.fr/aren2023/</footnote>
sur un segment du texte support ou un commentaire préalablement publié, créant ainsi des em-
branchements dans l'arbre général du débat. Outre l'intervention des débattants, une procédure
automatique vient compléter chaque commentaire en suggérant des termes-clés synthétisant les
propos tenus. Cette opération d'indexation représente le point de départ de l'analyse et de l'ac-
compagnement du débat par la machine. Elle est soumise à une complétion par les utilisateurs,
qui seront invités à valider, invalider ou compléter ces termes-clés par ceux qu'ils estiment
manquants. Afin de lever l'ambiguïté sémantique résultant de la polysémie des termes propo-
sés, nous avons recours à une étape d'enrichissement sémantique des termes pour les préparer
à l'opération d'extraction de connaissances basée sur l'analyse formelle de concepts (AFC).
Ces connaissances, sous forme d'implications, seront utilisées pour mettre à jour les relations
dans la base de connaissances exploitée lors de ces processus, JeuxDeMots (JDM).

L'article s'organise comme suit. Nous détaillons les étapes du fonctionnement général d'AREN dans la section 2. Nous nous pencherons également sur l'algorithme d'accompagnement du débat dans la section 3, qui consiste en la production de termes-clés et d'une analyse AFC pour produire des associations de termes pertinentes. Nous définissons ensuite, dans la section 4, les différentes métriques utilisées pour évaluer l'utilité de l'augmentation sémantique des termes d'indexation des propos du débat. Nous comparons, dans la section 5, les résultats obtenus avec l'AFC avant et après l'enrichissement sémantique des termes d'indexation.

## 2 Fonctionnement de la plate-forme AREN

<figure><img src="image_6.png" /><figcaption>FIG. 1 – Fonctionnement de la plate-forme AREN sous forme de cycles entre les interactions utilisateurs, le calculateur de termes-clés IDÉFIX, l'analyse formelle de concepts (AFC), et la base de connaissance JeuxDeMots.</figcaption></figure>

L'application constitue un espace de débat, faisant intervenir un ensemble d'utilisateurs.
Un débat porte sur un texte support publié en amont sur la plate-forme, il est conjointement
formé par le contenu du texte ainsi qu'un ensemble de commentaires créés par les utilisateurs
et exprimant une opinion ciblée, une argumentation ou un avis sur un segment du texte support
ou un commentaire préalablement publié.

Chaque intervention utilisateur comporte une *position* (d'accord ou pas d'accord), une *re-formulation*, une *argumentation* et des *mot-clés*. La partie du texte que l'utilisateur souhaite commenter est choisie en sélectionnant, dans le texte de départ, le segment correspondant. La possibilité de sélectionner un segment aussi bien dans le texte support que dans un commentaire préalablement publié, permet la création d'embranchements dans l'arbre général du débat (c.f. Figure 1). Les commentaires sont constitués d'un ensemble d'informations construisant le propos de l'utilisateur, parmi ces informations se définit, entre autres, la position que prend le débattant (d'accord, pas d'accord) vis-à-vis de la sélection (le segment auquel il réagit). Les champs de texte libres, de *reformulation* et *d'argumentation*, sont prévus afin de consolider puis définir, l'avis du débattant.

3 Algorithme d'accompagnement des débats

Nous présentons dans cet article une IA d'accompagnement de débats, KeepTalk (Know-
ledge Extraction for Enhanced online Public Talks and Argumentative Learning Know-how),
dont un des objectifs est d'extraire des associations nouvelles entre termes à partir des listes de
termes-clés des arguments d'un débat. L'approche est organisée en plusieurs modules aboutis-
sant à une étape d'extraction de connaissances (c.f. Section 3.3) alimentée par l'analyse for-
melle de concepts. Après augmentation lexicale (c.f. Section 3.2), cette étape permet de créer
des implications entre termes (par exemple, si A est présent alors B et C sont aussi présents).
Les implications produites sont destinées à être introduites dans la base de connaissances. Par
exemple, si nous avons A → B, C, alors dans le réseau lexical JDM nous ajouterons : A
r-associated B et A r-associated C. La procédure de description thématique (c.f. Section 3.1)
sur laquelle s'assoit l'algorithme s'inscrit dans une démarche collaborative, itérative et incré-
mentale. Les ensembles de termes indexant chaque commentaire sont co-construits d'un côté,
par la procédure automatisée (IDÉFIX), et de l'autre, par une supervision et complétion par les
utilisateurs des termes extraits par IDÉFIX. Cette supervision est permise en donnant à l'utilisa-
teur la possibilité de proposer, valider ou invalider des termes de l'ensemble proposé par l'IA
accompagnant le débat. Ce retour est pris en compte lors des itérations de descriptions théma-
tiques ultérieures, menant à une indexation de meilleure qualité. L'objectif étant d'assurer une
amélioration de la base de connaissances à mesure que des débats sont analysés, avec en retour
une amélioration des termes-clés suggérés par la plate-forme (via IDÉFIX) pour les arguments
d'un débat. En outre, ce mécanisme est pensé de manière à inciter les utilisateurs à proposer
des termes-clés complétant les propos du débat. Plus précisément, le calcul automatique de
termes-clés pour un argument est un moyen de donner envie aux utilisateurs, et en particulier
à l'auteur de l'argument, de compléter voire de corriger la liste des termes-clés proposés. Un
mauvais terme-clé sera en général considéré par l'utilisateur comme une tache/erreur insup-
portable devant être nettoyée/corrigée.

3.1 Indexation thématique

Les divers arguments des participants au débat sont contenus dans des textes bruts et non-
structurés. L'indexation thématique des commentaires a pour objectif d'associer ces données
textuelles à une représentation structurée permettant de synthétiser les propos par des ensembles de termes-clés, référencés dans des bases de connaissances et pouvant servir de point d'entrée à une procédure automatisée. Les termes extraits peuvent désigner des concepts évoqués dans le texte ou des unités lexicales dont la saillance au sein du commentaire est jugée importante. Cette étape d'extraction de mots-clés s'appuie sur des connaissances externes issues du réseau lexico-sémantique JDM (Lafourcade et Le Brun, 2023), et est réalisée par le service IDÉFIX<fnref n="3" />.

JDM est un réseau lexico-sémantique sous forme de graphe orienté. Les nœuds du graphe représentent les termes, tandis que les arcs désignent des relations typées, pondérées et potentiellement annotées entre les termes. Le graphe représente la polysémie des mots en explicitant des raffinements sémantiques hiérarchisés, où un sens spécifique est affilié au sens général du terme. Basé sur une série de notions, principes et outils originaux (ex. la notion de raffinement, la palette des types de relations sémantiques - les éléments d'information, des liens sémantiques entre un type de relation et son inverse (*r_isa* et *r_hypo*, par exemple), l'outil contributif Diko, etc.), le réseau JDM est conçu pour une utilisation humaine et comme support de connaissances pour des processus d'intelligence artificielle (analyse sémantique de texte, raisonnement, assistance à la prise de décision, résumé automatique, etc.). Un système de pondération (arcs pondérés, éventuellement négatifs) et de valuation symbolique (annotation en méta-informations, par exemple : rare, pertinent, non pertinent, etc.) a été mis en œuvre pour faciliter des heuristiques de parcours du graphe ainsi que son exploitation.

Le réseau *JDM* peut être utilisé avec des algorithmes classiques liés aux bases de connaissances, mais également sous forme de réseau neuronal (approches hybrides, algorithmes de propagation et de rétro-propagation, etc.). Parmi ces algorithmes, *IDÉFIX* est une sur-couche du réseau *JDM* fondée sur des réseaux de neurones permettant de sélectionner des concepts pertinents pour un texte fourni en entrée. Cette sélection se fait de manière abductive et locale au commentaire, par imitation des exemples déjà appris des interactions précédentes avec l'utilisateur (validation, invalidation et proposition de termes-clés).

## 3.2 Enrichissement sémantique

Afin d'assurer une représentativité des propos des utilisateurs, nous procédons à l'enrichissement des ensembles de mots-clés produits à l'étape précédente. Nous cherchons, en premier lieu, à assurer une couverture sémantique suffisante en nous occupant des éventuels phénomènes d'ambiguïté lexicale <fnref n="4" /> engendrés par la polysémie des termes-clés (c.f. Figure 2). Ceci revient à séparer les termes semblables en apparence, mais dont les sens sont différents, en identifiant les raffinements sémantiques adéquats dans le réseau JDM.

L'enrichissement des termes de description par leurs termes synonymes ou hyperonymes pertinents, permet, à l'inverse de la désambiguïsation, de regrouper les termes différents en apparence, dont les sens sont (quasi-)semblables. L'ajout d'un synonyme dans les termes-clés d'un propos peut être réalisé sans ou avec restriction, c'est-à-dire dans ce dernier cas, si ce synonyme existe déjà comme mot-clé d'un autre propos du débat, ceci afin d'éviter une dérive liée à des cas de synonymie foisonnante.

<footnote n="3">3. L'outil IDÉFIX est accessible via the lien : https://www.jeuxdemots.org/intern_extract.php</footnote>

<footnote n="4">4. Ambiguïté traitée via the service Bellérophon : https://www.jeuxdemots.org/intern_desamb.php</footnote>
**Commentaire :** *la monnaie locale est un outil financier.*

**Indexation :** outil conceptuel; être utile; outil>moyen d'action; MLC; économie locale; moyen d'action; monnaie locale; crise commerciale; monnaie locale complémentaire et citoyenne; outil; financier; Sol-violette; économie; monnaie locale complémentaire; monnaie; outil financier; local

**Désambiguïsation de l'indexation :** outil>moyen d'action; monnaie>argent; économie>activité économique; financier>finance; MLC>monnaie locale complémentaire; monnaie>unité monétaire; local>propre à un lieu

**Augmentation sémantique - synonymes :** régional (depuis local>propre à un lieu); sous>argent (depuis monnaie>argent)

FIG. 2 – Exemple de désambiguïsation et d'augmentation sémantique d'indexation d'un pro-
pos d'un débat sur les monnaies locales. L'ajout du synonyme régional n'est autorisé que
parce qu'il est présent ailleurs dans le débat (dans le cas de l'augmentation avec restriction).

**3.3 Extraction de connaissances**

L'extraction de connaissances à partir de l'indexation des commentaires utilise l'AFC, un
cadre mathématique basé sur la théorie des treillis permettant la représentation de l'information
contenue dans des données sous des formes algébriques ou logiques (Ganter et Wille, 2012).

**3.3.1 Contexte formel et fermeture de Galois**

L'AFC part de données sous la forme d'un contexte formel ; un triplet ( O , A , R ) où R ⊆ O × A est une relation binaire entre des objets O et les attributs A qui les décrivent. Cette relation peut être représentée sous la forme d'un tableau de croix (c.f. Figure 3).

Dans AREN, les objets sont les commentaires du débat et les attributs sont les mots-clés (ou les termes) proposés par les débattants ou ajoutés lors de la phase d’indexation. Un terme est en relation avec un commentaire s’il l’indexe. Par exemple, dans l’exemple de la Figure 3, ( c₄, monnaie > argent ) ∈ R signifie que l’objet c₄ = la loi donne une existence légale aux monnaies locales est indexé par le terme monnaie > argent .

<table>
  <thead>
    <tr>
      <th></th>
      <th>organisation</th>
      <th>monnaie > argent</th>
      <th>cours légal</th>
      <th>monnaie complémentaire</th>
      <th>monnaie locale</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>c<sub>1</sub></td>
      <td>×</td>
      <td></td>
      <td>×</td>
      <td></td>
      <td></td>
    </tr>
    <tr>
      <td>c<sub>2</sub></td>
      <td></td>
      <td></td>
      <td>×</td>
      <td>×</td>
      <td>×</td>
    </tr>
    <tr>
      <td>c<sub>3</sub></td>
      <td></td>
      <td>×</td>
      <td></td>
      <td></td>
      <td>×</td>
    </tr>
    <tr>
      <td>c<sub>4</sub></td>
      <td></td>
      <td>×</td>
      <td>×</td>
      <td>×</td>
      <td>×</td>
    </tr>
  </tbody>
</table>

FIG. 3 – Exemple de contexte formel avec une relation binaire entre quatre commentaires (cᵢ) : c₁ = « la monnaie est une manière de faire et d’organiser la société » ; c₂ = « L’acceptation dans le cadre de la loi rend la monnaie locale légale » ; c₃ = « les monnaies locales nous font nous questionner sur un outil que nous banalisons la monnaie » ; c₄ = « la loi donne une existence légale aux monnaies locales » et cinq termes (tⱼ) : « organisation » ; « monnaie>argent » ; « cours légal » ; « monnaie complémentaire » ; « monnaie locale ».

Un contexte formel donne lieu à deux opérateurs de dérivation, tous deux notés ′ et définis tels que

$$
\cdot : 2^A \mapsto 2^O
$$
Extraction de connaissances pour l'accompagnement de débats en ligne

$$A' = \{o \in O \mid \forall a \in A, (o, a) \in \mathcal{R}\}$$

$$.' : 2^O \to 2^A$$

$$O' = \{a \in A \mid \forall o \in O, (o, a) \in \mathcal{R}\}$$

Les compositions '.' de ces opérateurs forment des opérateurs de fermeture. Par exemple, dans la Figure 3, la fermeture de monnaie > argent est {monnaie > argent, monnaie locale}.

### 3.3.2 Génération des irréductibles

Un contexte formel est dit clarifié s'il n'a pas deux objets ayant exactement la même description ou deux attributs décrivant exactement les mêmes objets. Dans un contexte clarifié, un attribut a est dit irréductible si l'ensemble {a}' des objets qu'il décrit n'est pas égal à l'intersection des ensembles d'objets décrits par d'autres attributs (Liquiere, 2021), c'est-à-dire qu'il n'existe pas d'ensemble d'attributs X tel que {a}' = ⋂_{x∈X} = {x}'. Dans l'exemple de la Figure 3, seul l'attribut monnaie complémentaire n'est pas irréductible puisque {monnaie complémentaire}' = {cours légal}' ∩ {monnaie locale}'. Le reste des termes, à savoir organisation, monnaie > argent, cours légal et monnaie locale, sont tous des irréductibles.

### 3.3.3 Extraction des implications

Nous cherchons à extraire des régularités dans la cooccurence des mots-clés dans l'indexation des commentaires. L'AFC offre différentes possibilités de représentation de ces régularités : implications, règles d'association, treillis de concepts ou relations causales (Bazin et al., 2022). Une implication est une règle constituée d'une paire d'ensembles d'attributs A et B, habituellement notée $A \to B$. Une implication est dite valide dans un contexte formel donné si et seulement si tous les objets décrits par les attributs de A sont aussi décrits par les attributs de B, c'est-à-dire $B \subseteq A''$. Ainsi, dans l'exemple de la Figure 3, les deux implications {cours légal, monnaie locale} → {monnaie complémentaire} et {organisation} → {cours légal} sont valides tandis que {cours légal} → {organisation} ne l'est pas. Afin de réduire le nombre de règles à présenter aux débattants, notre attention se focalise spécifiquement sur les implications de la forme {a} → B telles que a est un terme irréductible.

## 3.4 Enrichissement de la base de connaissance

Les implications obtenues avec l'AFC sont utilisées pour mettre à jour les relations dans la base de connaissances exploitée lors de ce processus. Donc, depuis une implication de la forme {a} → {b, c, d, e, ...} nous ajoutons dans la base de connaissances des relations a → x avec x ∈ {b, c, d, e, ...}.

Dans l'exemple de la Figure 3, la mise à jour de la base de connaissances JDM se fait par l'ajout de l'association des termes « cours légal » et « organisation » et celle de « monnaie locale » et « monnaie > argent ». Ces modifications améliorent globalement la composante associative des calculs ultérieurs des indexations des propos.
# 4 Mesures d'évaluation des règles

Afin d'étudier l'impact de l'augmentation sémantique sur la qualité des règles, nous avons utilisé diverses métriques, notamment le support, la nouveauté et la surprise (fondée sur la co-occurrence ou le voisinage des termes).

## 4.1 Support

Le support peut-être perçu comme un indicateur de « confiance statistique » d'une règle. Le support d'un ensemble d'attributs ou termes T est le nombre d'objets (ou de commentaires) décrits par T divisé par le nombre total d'objets. Il peut être défini par l'Equation 1.

$$ \mathrm{Supp}(r) = p(T_r^p T_r^c)/|C| \quad (1) $$

où $T_r^p$ et $T_r^c$ sont respectivement les termes de la prémisse et de la conclusion de la règle r et C sont les commentaires.

## 4.2 Nouveauté

La nouveauté est une métrique qui a été utilisée dans les domaines de découverte de sous-groupes et de découverte de clauses (Wrobel, 1997). Une règle est considérée nouvelle si sa prémisse et sa conclusion ne sont pas statistiquement indépendantes (Lavrac et al., 1999).

La nouveauté d'une règle est définie par l'Equation 2.

$$ \mathrm{Nov}(r) = p(T_r^p T_r^c) - p(T_r^p) p(T_r^c) \quad (2) $$

où r est une règle (implication), $T_r^p$ et $T_r^c$ sont respectivement les termes de la prémisse et de la conclusion de la règle r.

## 4.3 Surprise

Bien que la pertinence peut être facilement évaluée à l'aide du support, la mesure de la surprise (ou de l'inattendu) des règles est une tâche complexe qui nécessite souvent des études coûteuses à mener, impliquant des utilisateurs (ou des ressources externes, dans notre cas). Une règle nouvelle peut être rétrospectivement surprenante ou non, dans le sens où la connaissance disponible ne permet pas de l'expliquer rapidement/facilement.

Dans ce travail, nous ajustons deux définitions de la mesure de surprise utilisées dans le domaine de recommandation (Kaminskas et Bridge, 2014), l'une basée sur le degré d'association sémantique entre les termes indexant les propos du débat et l'autre basée sur les termes associés aux termes d'indexation. Les deux mesures produisent un score qui indique le niveau de surprise que le terme cible a apporté à la règle.

### 4.3.1 Surprise basée sur la co-occurrence des termes

L'information mutuelle spécifique (Point-wise mutual information notée PMI) indique à quel point deux termes sont statistiquement dépendants, en fonction du nombre de propos indexés par les deux termes et chaque terme séparément (c.f. Equation 3). Les valeurs de PMI
varient entre -1 et 1, où -1 signifie que les deux termes ne sont jamais utilisés ensemble pour indexer un propos, 0 signifie l'indépendance des termes et 1 signifie une co-occurrence systématique des termes.

$$PMI(i, j) = \log_2 \frac{p(i, j)}{p(i)p(j)} / -\log_2 p(i, j) \quad (3)$$

où $p(i)$ et $p(j)$ représentent respectivement les probabilités qu'un propos soit indexé par les termes $i$ et $j$, tandis que $p(i, j)$ est la probabilité qu'un propos soit indexé par les deux termes $i$ et $j$.

Sur la base de la PMI, la mesure de surprise d'un terme $i$ pour la règle $r$ est définie comme la valeur moyenne de PMI des termes dans la règle (c.f. Equation 4).

$$Surprise_{co-occ}(i, r) = 1 - \frac{1}{|T_r|} \sum_{j \in T_r} PMI(i, j) \quad (4)$$

où $i$ est un terme, $r$ est une règle (implication) et $T_r$ sont les termes de la règle $r$.

La surprise basée sur la co-occurrence permet de tenir compte du contexte local du débat et des rapprochements de termes que celui-ci peut engendrer. Toutefois, l'indépendance statistique n'implique pas une similarité sémantique faible. En effet, deux contributeurs peuvent respectivement préférer utiliser le terme « vélo » et « bicyclette ». Ces deux termes sont alors, dans le débat, en co-occurrence nulle ou faible, alors qu'ils sont sémantiquement très proches. La surprise basée sur le contenu sémantique des termes (leur voisinage, c.f. Section 4.3.2) permet de tenir compte de ce type de phénomènes.

### 4.3.2 Surprise basée sur le voisinage des termes

Notre deuxième mesure de surprise est basée sur la distance appliquée aux termes associés aux termes cibles. Le voisinage d'un terme $t$ dans la base de connaissances JDM est l'ensemble des termes auquel $t$ est relié par la relation d'association d'idées. Nous avons utilisé le complément de la métrique de similarité de Jaccard pour comparer les termes (c.f. Equation 5).

Par exemple, sont associés au terme « monnaie » de façon non-exhaustive les termes : « argent, pièce, billet, euro, devise », le terme « fric » aura comme termes associées : « argent, pièce, billet, euro, thune ». La distance entre ces deux termes est de $1 - 4/6 = 1/3$.

$$dist(i, j) = 1 - \frac{A_i \cap A_j}{A_i \cup A_j} \quad (5)$$

où $A_i$ et $A_j$ sont respectivement les ensembles de termes associés aux termes $i$ et $j$. Dans le cas où le terme $A$ est polysémique, on considère sa désambiguïsation lexicale pour extraire les termes qui sont associés au contexte des règles.

Pour mesurer la surprise d'un terme, nous calculons la distance moyenne entre le terme cible $i$ et les autres termes $T_r$ de la règle $r$ comme indiqué dans l'équation 6.

$$Surprise_{vois}(i, r) = \frac{1}{|T_r|} \sum_{j \in T_r} dist(i, j) \quad (6)$$

où $i$ est un terme, $r$ une règle (implication) et $T_r$ sont les termes de la règle $r$.
# 5 Résultats et discussions

Afin d'aider à l'interprétation des résultats de l'algorithme, nous commençons dans cette section par présenter les données ayant servi à cette évaluation. Nous cherchons ensuite à mettre en évidence la pertinence de chaque module employé, ceci en mettant en place des configurations contrastives de l'algorithme rendant possible la comparaison des résultats per- mis par chaque sous-module.

## 5.1 Jeux de données et configurations

Nous procédons à l'évaluation de notre approche à l'aide des données issues d'un débat sur la plate-forme AREN concernant les monnaies locales<fnref n="5" /> intitulé « Les monnaies locales sont-elles un outil pour sauver l'économie locale et dans quelles conditions ? ». Les principales caractéristiques de notre jeu de données sont présentées dans le Tableau 1.

<table><caption>TAB. 1 – Statistiques du débat sur les monnaies locales.</caption><thead><tr><td>Débattants</td><td>Arguments</td><td>Mots-clés</td><td>Période</td></tr></thead><tbody><tr><td>8</td><td>48</td><td>464</td><td>Mars 2020 - Mai 2023</td></tr></tbody></table>

Chaque argument d'un débattant est associé à un texte initial du débat et décrit par une reformulation, une phrase qui reflète sa compréhension du texte argumenté (« La monnaie locale est un outil financier » : Figure 2), et une opinion (83.33% des arguments sont « plutôt d'accord » et 16.67% ne sont « plutôt pas d'accord »). En total, 464 mots-clés distincts ont été utilisés pour indexer les reformulations dont 125 termes uniques sont proposés par les uti- lisateurs et 339 par *IDÉFIX*. En moyenne, chaque débattant a utilisé 5.39 termes par argument.

Nous comparons les résultats de trois variantes de notre approche pour mesurer l'effet de l'augmentation sémantique sur la qualité des résultats de l'AFC. Les détails de nos méthodes sont énumérés ci-dessous :

- *KT*: Les implications sont calculées à partir du contexte d'extraction initial, défini par la relation binaire entre les reformulations des débattants et les termes-clés qui les indexent.

- *KT*†: Le contexte d'extraction est enrichi par les synonymes des termes qui définissent les attributs pour générer les implications. On s'intéresse aux termes synonymes qui sont déjà uti- lisés lors de l'indexation initiale (*R*•) et aussi ceux qui ne le sont pas (*R*°), donc, de nouveaux termes n'apparaissant pas dans le débat.

- *KT*‡: Identique à la configuration précédente avec des hyperonymes au lieu de synonymes.

## 5.2 Résultats

Nous commençons par proposer une vue quantitative des résultats des différentes configu- rations. Nous rapportons, dans le Tableau 2, le nombre d'attributs, irréductibles et implications dans les configurations se limitant, ou pas, aux termes-clés du débat.

Quand l'ajout de termes n'est pas restreint à ceux du débat, nous observons une augmen- tation du nombre d'attributs. Inversement, si on se restreint aux termes du débat, le nombre

<footnote n="5">5. https://portail-aren.lirmm.fr/aren2023/debates/6</footnote>
d'attributs est constant. Dans tous les cas, l'utilisation de la désambiguïsation lexicale réduit le nombre d'objets produits (irréductibles et implications), ceci est conforme à l'intuition car la désambiguïsation réduit l'éparpillement lexical. Par ailleurs, l'ajout d'hyperonymes est plus productif que l'ajout de synonymes, car il est possible de trouver au moins un hyperonyme pour la quasi-totalité des attributs (qui sont des termes), ceci est beaucoup moins vrai pour les synonymes.

<table><caption>TAB. 2 – Résultats de KT (KeepTalk) avec et sans restriction aux termes-clés du débat : Le nombre d'objets demeure constant pour toutes les configurations et est égal à 48. DL°/DL• désignent l'utilisation ou non de la tâche de désambiguïsation lexicale.</caption><thead><tr><th></th><th>KT</th><th>KT<sup>†</sup></th><th colspan="2">KT<sup>‡</sup></th></tr><tr><th></th><th></th><th></th><th>DL°</th><th>DL•</th></tr></thead><tbody><tr><td colspan="5"><strong>Avec restriction aux termes-clés du débat</strong></td></tr><tr><td>Attributs</td><td>464</td><td>464</td><td>464</td><td>464</td></tr><tr><td>Irréductibles</td><td>70</td><td>73</td><td>68</td><td>83</td></tr><tr><td>Implications</td><td>43</td><td>54</td><td>46</td><td>75</td></tr><tr><td colspan="5"><strong>Sans restriction aux termes-clés du débat</strong></td></tr><tr><td>Attributs</td><td>464</td><td>3831</td><td>2240</td><td>1125</td></tr><tr><td>Irréductibles</td><td>70</td><td>161</td><td>85</td><td>121</td></tr><tr><td>Implications</td><td>43</td><td>114</td><td>50</td><td>106</td></tr></tbody></table>

La première expérimentation rapporte la proportion des relations d'association qui sont considérées comme correctes/pertinentes. Ces associations sont générées à partir des règles produites (implications). Cette étape consiste en une évaluation menée manuellement par 4 intervenants adoptant le rôle « d'experts ».

<table><caption>TAB. 3 – Pourcentage des bonnes associations selon une évaluation manuelle menée par 4 experts.</caption><thead><tr><th rowspan="2">Sans augmentation</th><th colspan="2">60.11 %</th></tr><tr><th>DL°</th><th>DL•</th></tr></thead><tbody><tr><td>Augmentation avec restriction (R<sup>*</sup>)</td><td>63.12 % (1)</td><td>72.07 % (2)</td></tr><tr><td>Augmentation sans restriction (R°)</td><td>42.60 % (4)</td><td>76.77 % (3)</td></tr></tbody></table>

Nous cherchons à travers le Tableau 3 à classer les configurations de notre système en termes de « qualité », du point de vue d'utilisateurs humains. Le cas 1 signifie que dans une configuration se restreignant aux termes du débat et sans procédure de désambiguïsation, 63.12% des relations d'association à ajouter à la base de connaissance sont jugés correctes par les experts. Pour la meilleure configuration (cas 3), où nous procédons à une désambiguïsation sans se limiter aux termes-clés du débat, nous obtenons 76.77% de bonnes associations.

Dans le Tableau 4, nous constatons que la nouveauté est globalement très faible, ce qui indique que l'on trouve peu d'associations n'existant pas dans la base de connaissances. Ceci est positif du point de vue de la complétude de la base. On constate par ailleurs que la surprise est globalement très haute, ce qui veut dire qu'une information nouvelle n'aurait pas pu être
<table><caption>TAB. 4 – Comparaison des résultats de l'analyse formelle de concepts : KT avec le contexte initial; KT† avec le contexte augmenté avec les synonymes; KT‡ avec le contexte augmenté avec les hyperonymes. L'augmentation est faite avec et sans restriction aux termes du débat.</caption><thead><tr><th></th><th>KT</th><th colspan="2">KT<sup>†</sup></th><th colspan="2">KT<sup>‡</sup></th></tr><tr><th></th><th></th><th>DL°</th><th>DL•</th><th>DL°</th><th>DL•</th></tr></thead><tbody><tr><td colspan="6"><strong>Avec restriction aux termes-clés du débat : R°</strong></td></tr><tr><td>Support</td><td>0.0667</td><td>0.1300</td><td>0.0836</td><td><strong>0.1658</strong></td><td>0.1390</td></tr><tr><td>Nouveauté</td><td>0.0546</td><td>0.0681</td><td>0.0564</td><td><strong>0.0733</strong></td><td>0.0690</td></tr><tr><td>Surprise par co-occurrence</td><td>0.5662</td><td><strong>0.7995</strong></td><td>0.5304</td><td>0.1270</td><td>0.1294</td></tr><tr><td>Surprise par voisinage</td><td>0.9488</td><td>0.9623</td><td>0.9706</td><td>0.9674</td><td><strong>0.9718</strong></td></tr><tr><td>Score agrégé</td><td>0.2103</td><td>0.2872</td><td>0.2215</td><td>0.1965</td><td>0.1863</td></tr><tr><td>Score agrégé syn+hyper</td><td></td><td>0.4838</td><td></td><td>0.4079</td><td></td></tr><tr><td colspan="6"><strong>Sans restriction aux termes-clés du débat : R°</strong></td></tr><tr><td>Support</td><td>0.0667</td><td>0.1352</td><td>0.0978</td><td><strong>0.1667</strong></td><td>0.1359</td></tr><tr><td>Nouveauté</td><td>0.0546</td><td>0.0780</td><td>0.0615</td><td><strong>0.0799</strong></td><td>0.0676</td></tr><tr><td>Surprise par co-occurrence</td><td>0.5662</td><td><strong>0.7167</strong></td><td>0.4534</td><td>0.3481</td><td>0.1957</td></tr><tr><td>Surprise par voisinage</td><td>0.9488</td><td>0.9502</td><td><strong>0.9602</strong></td><td>0.8997</td><td>0.9497</td></tr><tr><td>Score agrégé</td><td>0.2103</td><td>0.2911</td><td>0.2262</td><td>0.2541</td><td>0.2032</td></tr><tr><td>Score agrégé syn+hyper</td><td></td><td>0.5452</td><td></td><td>0.4294</td><td></td></tr></tbody></table>

inférée, dans la quasi-totalité des cas. Ceci est un autre résultat très positif qui justifie l'utilité de notre approche d'extraction de connaissances. Nous observons un effet conjoint à l'étape de

<table><caption>TAB. 5 – Combinaison des résultats des métriques avec la proportion des bonnes associations (évaluation manuelle) - Il s'agit d'un score et non d'un pourcentage.</caption><thead><tr><th></th><th colspan="2">0.1264</th></tr><tr><th></th><th>DL°</th><th>DL•</th></tr></thead><tbody><tr><td>Sans augmentation</td><td></td><td></td></tr><tr><td>Augmentation avec restriction (R°)</td><td>0.3048 (1)</td><td>0.2939 (2)</td></tr><tr><td>Augmentation sans restriction (R°)</td><td>0.2290 (4)</td><td>0.3264 (3)</td></tr></tbody></table>

désambiguïsation *DL* et à la restriction *R* ou non aux termes-clés du débat. Ce croisement est clarifié dans le Tableau 5. La configuration la plus favorable est celle avec une augmentation avec synonymes et hyperonymes sans *R* et avec étape de *DL* (cas 3). La seconde meilleure configuration est celle sans *DL* et avec *R* (cas 1). La pire configuration, qui a de très mauvais résultats, est la combinaison de *R°* et *DL°* (cas 4). Le score du dernier cas (cas 2 : *R°* et *DL°*), bien que correct, est inférieur aux cas 1 et 3.

La désambiguïsation lexicalement (DL) et la restriction (R) aux termes déjà présents dans le débat, visent le même but, contrôler le foisonnement lexical, et ne pas tomber dans le piège de polysémie. L'approche avec R permet de ne pas introduire de termes qui ne sont pas apparus dans le débat, il n'y a donc aucune chance d'introduire, par accident, un terme sans rapport. Le cas 2 est intéressant car il n'est pas intuitif : en effet, on s'attendrait à ce que l'action conjointe de D et R donne les meilleurs résultats, or ce n'est pas le cas. A priori l'effet restrictif conjoint de DL et R empêche un rapprochement efficace des propos du débat. Ne pas faire de R permet d'augmenter la richesse des associations, toutefois cette richesse doit être contrôlée par la DL.
# 6 Conclusion et perspectives

Les résultats obtenus sont prometteurs et soulignent l'efficacité d'effectuer conjointement une analyse basée sur l'AFC et une augmentation lexicale à partir d'une base de connaissances. En perspective, il serait important, sur la base des scores de l'évaluation manuelle, d'agréger les scores des métriques automatiques de manière à obtenir un score global qui serait représentatif de la qualité (que nous avons cherché à obtenir ici par une évaluation manuelle). Concernant l'extraction des connaissances, en perspective, le projet explorera d'autres représentations des régularités : autres implications, règles d'association et relations causales ; ce qui permettra d'ajouter dans la base de connaissances des informations sur des types de relations plus pré-cises (autres que les associations d'idées).

# Références

Bächtold, M., G. Pallarès, K. De Checchi, et V. Munier (2023). Combining debates and reflective activities to develop students’ argumentation on socioscientific issues. *Journal of Research in Science Teaching* 60(4), 761–806. 1

Bazin, A., M. Couceiro, M.-D. Devignes, et A. Napoli (2022). Steps towards causal formal concept analysis. *International Journal of Approximate Reasoning* 142, 338–348. 6

Ganter, B. et R. Wille (2012). *Formal concept analysis : mathematical foundations*. Springer Science & Business Media. 5

Kaminskas, M. et D. Bridge (2014). Measuring surprise in recommender systems. In *Proceedings of the Workshop on recommender systems evaluation : dimensions and design held in conjunction with RecSys 2014*, REDD’14, Silicon Valley, USA. ACM. 7

Lafourcade, M. et N. Le Brun (2023). Apport du jeu pour la construction de connaissances : le projet jeuxdemots. *Technologie et innovation* 8 (Le jeu pour innover). 4

Lavrac, N., P. A. Flach, et B. Zupan (1999). Rule evaluation measures : A unifying view. In *Proceedings of the 9th International Workshop on Inductive Logic Programming*, ILP ’99, Berlin, Heidelberg, pp. 174–185. Springer-Verlag. 7

Liquiere, M. (2021). Utilisation des irréductibles d'un treillis de concepts pour la sélection de motifs. Technical report, LIRMM, Université de Montpellier. 6

Wrobel, S. (1997). An algorithm for multi-relational discovery of subgroups. In *Principles of Data Mining and Knowledge Discovery*, Berlin, Heidelberg, pp. 78–87. 7

# Summary

We present an online debate analysis algorithm aiming to extract new associations between terms from co-constructed keyword lists of arguments by users and our indexing system. The calculation of keywords encourages users to supplement or correct the keyword list, serving as an incentive tool for developing more structured contributions. The algorithm is based on formal concept analysis and relies on the JeuxDeMots knowledge base. The procedure involves multiple modules leading to a knowledge extraction step in the form of implications which are to be integrated into JDM. This cooperative approach allows the knowledge base to enrich itself as debates are analyzed, improving the platform’s suggested keywords.
# Employing Graph Neural Network for Syntactic Dependency-based Document Classification

Kevin Cousot*, Shaghayegh Momtaz**, Mehdi Mirzapour***

*Emvista, Jacou, France
kevin.cousot@emvista.com,

**Economics Dept, University of Tehran, Iran
shaghayegh.momtaz@email.kpu.ca

***LIRMM, Montpellier, France.
mehdi.mirzapour@lirmm.fr

**Abstract.** The typical approach to document classification involves treating text as sequential data and employing transformer-based architectures for classification. However, this sequential representation poses challenges in identifying implicit relationships within the text and leveraging them effectively. This paper investigates the use of syntactic dependency graphs as alternative relational representation, thus reformulating document classification as graph classification. Such graph encode the grammatical structure, connecting words based on their relationships and roles within the sentence. This explicit representation facilitates the understanding of the underlying syntactic and semantic structures. Interpretable dependency graphs are then processed by Graph Neural Networks, a type of architecture that excels at capturing complex relationship between entities in a graph by propagating information through the graph structure. To test this approach, text grammatical structure is computed with a dependency parser and individual node representations initialized with word-embeddings. We experiment with six distinct Graph Neural Networks architectures as classifiers. Results are then evaluated on three datasets, namely AG-News, TREC-6 and Arxiv and compared to state-of-the-art. Experiments show representing texts by their syntactic dependency graph and using graph neural networks for classification achieves very competitive results compared to classical sequence-based model.

# 1 Introduction

Document classification is an important task in Natural Language Processing (NLP) which can be formulated as classifying a given document based on some pre-defined categories. It covers a broad range of downstream tasks such as topic classification (Xia et al., 2019), sentiment analysis (Tan et al., 2023), and opinion mining (Ravi and Ravi, 2015). Traditional document classification methods use different architectures, such as support vector machines (SVMs) from Cortes and Vapnik (1995), convolutional neural networks (CNN) as proposed
by LeCun et al. (1989), and recurrent neural networks (RNN) as introduced by Hochreiter and Schmidhuber (1997). Recently the research is more oriented toward Transformer-based models such as BERT (Devlin et al., 2018) and RoBERTa (Liu et al., 2019).

Although the main state-of-the-art approaches are clustered around BERT family models, Graph Neural Networks also have been recently used as a powerful architecture for document classification (Wang et al., 2023). To do so, a graph is normally represented as the interconnection among documents, where nodes represent textual components like words and documents, and the edges are established according to the syntactic or semantic relations between these nodes. This approach facilitates a comprehensive analysis of the intricate relationships within textual data, enabling a deeper understanding of the underlying syntactic and semantic structures.

The adoption of GNN-based architectures offers distinct advantages over the conventional BERT-based choices. GNNs inherently possess the capability to capture complex relationships between entities within a graph, making them well-suited for modeling and learning from structured data, such as dependency graphs. This enables the extraction of richer contextual information and the incorporation of global document-level semantics, thus enhancing the overall discriminative power of the classification model. Additionally, the use of GNNs facilitates the integration of domain-specific knowledge and prior information, enabling the development of more interpretable and explainable models, which is crucial for tasks that demand transparency and accountability, such as document categorization in legal or regulatory contexts.

Current studies in Graph-based document classification are diverse in many aspects. Yao et al. (2019) uses Convolutional Networks (Text GCN) with heterogeneous word document graph for a whole corpus. Han et al. (2022) conducts a comprehensive analysis of the role of node and edge embeddings in a graph and its GCN learning techniques. In another study (Hua et al., 2022) a semantic hierarchical graph neural network (HieGNN) is introduced to construct graphs from word-level, sentence-level, and document-level, respectively. BertGCN, presented by Lin et al. (2021), integrates large-scale pretraining and transductive learning for text categorization. BertGCN establishes a mixed graph across the dataset and defines documents as nodes employing BERT representations.

There are important considerations for the choice of syntactic dependency graph derived from texts instead of using simple sequential representations. The dependency graph explicitly represent syntactic relationships between words, capturing dependencies like subject-verb-object or modifiers. This can provide a more structured and syntactically informed representation compared to a linear sequence of words. The dependency graphs can help model long-range dependencies more effectively than a linear sequence. GNNs can propagate information through the graph structure, allowing the model to capture dependencies that span across a greater distance in the input text. Syntactical structures implicitly encode information about entities, relationships, and actions in the text and they are often more robust to variations in word order. Since the graph structure captures relationships, the model may generalize better to different word orders and syntactic constructions. Moreover, graphs can offer more interpretable representations of the relationships between words or entities.

The synergy between BERT and Dependency-based GNNs presents a promising hybrid approach in classification tasks. By combining the strengths of both models, this approach leverages the rich contextual embeddings of BERT while benefiting from the explicit struc-
tural information and interpretability offered by dependency graphs and GNNs. In classifi-
cation tasks, the hybrid approach allows for a nuanced understanding of relationships within
the data, providing a more comprehensive basis for decision-making. This amalgamation of
contextual embeddings and explicit structural information bridges the gap between the power
of BERT and the transparency of dependency-based GNNs, offering a balanced and effective
solution for a wide range of natural language processing challenges.

Our three main contributions are:

1. We have utilized for the first time –as far as we know– the syntactic dependency graph as input to Graph Neural network in text classification task.

2. We studied the impact of using different word representation as initial node embeddings.

3. Finally, we used six GNN architectures and compared them with other sequenced-based and graph-based architectures achieving competitive results.

The paper is organized as follows: Section 2 studies the previous approaches and current state of the art, with a focus on data representation, either as a sequence or graph. Section 3 defines the problem of document classification. Section 4 presents our method centered around the idea of reformulating the task as a graph classification problem. We describe how the text is transformed into a graph by exploiting its syntactic tree and the GNN architectures used to perform the classification. Section 5 describes experiments and obtained results carried out to determine the effects of using text syntactic structure rather than its original sequential form. Section 6 discusses and analyzes the obtained results. Finally, section 7 concludes our paper and lays out the way for future work and experiments. Experiments code and model configurations are freely available on github<fnref n="1" />.

## 2 Literature Review

In recent years, the field of document classification has witnessed substantial advance-
ments. They can be broadly categorized into two distinct approaches: sequence-based docu-
ment classification and graph-based document classification.

Sequence-based document classification focuses on the sequential structure of text data, where the contextual information is predominantly derived from the linear arrangement of words or tokens within the document. This approach often involves the utilization of Recurrent Neural Networks (Sherstinsky, 2020) or more sophisticated architectures like transformers, which excel in capturing patterns and dependencies within the sequential data. The development of pre-trained language models, such as BERT, GPT, and their subsequent variations, has significantly boosted the performance of sequence-based document classification tasks, allowing for a more nuanced understanding and representation of textual data. As follows, we explain some of the main state-of-the-arts approaches.

<footnote n="1">¹https://github.com/Emvista/Gnn4DependencyDocumentClassification</footnote>
## 2.1 Sequence-based Classification

Many classification architectures were introduced for the sequence-based classification task. Johnson and Zhang (2016) focus on Long Short-Term Memory (LSTM) networks and region embeddings for both supervised and semi-supervised text categorization tasks. This is achieved by combining LSTM and convolution layers trained on unlabeled data which indicates that embeddings of text regions convey complex concepts better than isolated word embeddings. In contrast to the previous approach, another LSTM-based model called Deep Pyramid Convolutional Neural Networks (Liang et al., 2021) incorporates a deep pyramid structure with shortcut connections, allowing for efficient feature extraction and classification. In another research (Conneau et al., 2016), inspired by the computer vision field, a new model is created using deep convolutional networks. This model is more complicated in comparison to classical LSTMs, and convolutional neural networks. Based on this strategy a new architecture, VDCNN, is introduced for text processing. It operates directly at the character level and uses only small convolutions and pooling operations. One of the nice properties of this approach is that the performance of this model increases with the convolutional layers depth.

Yang et al. (2019), introduces XLNet, a novel approach to language understanding through autoregressive pretraining, inspired by GPT. This large language model has achieved better results compared to BERT in the classification task. Unlike traditional autoregressive models that use a left-to-right or right-to-left approach, XLNet employs a permutation-based training technique that considers all possible permutations. This method allows the model to capture bidirectional contexts and overcome the deficiencies of traditional autoregressive models. The main advantage of XLNet is that it achieves a better understanding of language by incorporating both global and local context.

## 2.2 Graph-based Classification

Graph-based document classification leverages the inherent structural information within the text, emphasizing the relationships and dependencies between words or entities as represented by graph structures. This approach typically involves the extraction of syntactic and semantic relationships using techniques such as dependency parsing, co-reference resolution, or entity linking, which are then utilized to construct informative graph representations of the document. Interested readers can find a great introductory survey to Graph Neural Networks (GNNs) for text classification in Wang et al. (2023). In this section, we focus more on related literature to our research. Yao et al. (2019) propose a text classification method named Text Graph Convolutional Networks (Text GCN) which uses a simple two-layer GCN. It employs a heterogeneous word document graph for a whole corpus and turned document classification into a node classification problem. The edges are built among nodes based on word occurrence in documents (document-word edges) and word co-occurrence in the whole corpus (word-word edges). The weight of the edge between a document node and a word node is the term frequency-inverse document frequency (TF-IDF) of the word in the document. Text GCN can capture global word cooccurrence information and utilize limited labeled documents well.

Han et al. (2022) conducts a comprehensive analysis of the role of node and edge embeddings in a graph and its GCN learning techniques in text classification. The general methodology
ogy is similar to Yao et al. (2019). In another study Hua et al. (2022), a semantic hierarchical
graph neural network (HieGNN) is introduced to construct graphs from word-level, sentence-
level and document-level, respectively. It uses graph neural networks (GNNs) to act on the
three levels mentioned above to obtain the output of the three-level vector representations.
In the end, the embeddings are merged and fed as input to the softmax and linear layer for
classification. BertGCN, presented by Lin et al. (2021), integrates large scale pretraining and
transductive learning for text categorization. BertGCN establishes a mixed graph across the
dataset and defines documents as nodes employing BERT representations. It establishes con-
nections between words and documents, as well as between words themselves, relying on term
frequency-inverse document frequency (TF-IDF) and positive point-wise mutual information
correspondingly. The architecture of BertGCN is adaptable and can be implemented on various
document encoders and graph models.

3 Problem Definition

According to Jurafsky and Martin (2009), document classification is the process of assign-
ing labels to documents based on their content in order to categorize them into predefined
categories or topics. In our specific setting, we can formally define document classification
as follows: let $\mathcal{D} = \{d_1, \dots, d_n\}$ be the set of documents and $\mathcal{L} = \{l_1, \dots, l_m\}$ the set of
corresponding labels. With $g$, a function that maps the sequential text to its syntactic depen-
dency graph, we can create the graph dataset $\mathcal{G} = \{(g(d_1), l_1), \dots, (g(d_n), l_n)\}$. The dataset
is partitioned in two subsets, $\mathcal{G}_{\text{train}}$ and $\mathcal{G}_{\text{test}}$. The aim is to learn a parametric classification
function $f_{\Theta}: \mathcal{G} \to \mathcal{L}$ using $\mathcal{G}_{\text{train}}$, that predicts the label of a given document. Evaluation is
then performed on $\mathcal{G}_{\text{test}}$ to determine the model ability to generalize on unseen examples.

4 Method

Effective data representation is a decisive factor for achieving good results in text clas-
sification task. Raw text is inherently sequential and most often used in that form, making
it challenging to take advantage of its implicit relationships. At the core of our method lies
the transformation of sequential text documents into relational graphs. This transformation
allows the introduction of relational information explicitly and the reformulation of the task
from document classification to graph classification.

To construct the graph we chose to use the text’s syntactic dependency tree, connecting
words according to their grammatical relationships. GNNs ability to capture and exploit rela-
tional information is then leveraged to perform the classification. Because GNNs require nodes
to start with an embedding, document word representations are computed with a transformer-
based word embedder and used as initialized node weights in the graph.

4.1 Sequence to Dependency Graph Transformation

The transformation of textual documents into their graph representations is done by analyz-
ing the grammatical structure of each document using Stanza, a syntactic parser. It performs
dependency parsing, according to the Universal Dependencies (UD) annotation framework
representing grammatical relationships between words. Edges are labeled with the dependency type, denoting the nature of the relationship, while directionality specifies the word's role within that relationship.

Unlike the sequential representation, which treats text simply as a sequence of words, dependency trees explicitly represent the syntactic relationship between words and their role within the sentence. Since dependency relationships are distance-independent the model can access long-range relationships in the same sentence. Although syntax and semantic are distinct, we hypothesize that making syntax explicit should also help the model to capture semantic.

<figure><img src="image_7.png" /><figcaption>FIG. 1: Pipeline - Graph classification</figcaption></figure>

## 4.2 Initializing Graph Node Embeddings

GNN require each node to be initialized with an embedding vector. To provide such initial embedding, the entire document is fed to an embedder from which word embeddings are extracted. In this study, we experiment with two models, DistILBERT (Sanh et al., 2020) and BERT-large (Devlin et al., 2018). Both these models use WordPiece tokenization (Wu et al., 2016), a subword tokenization model. Because every node was built from a word, there may be nodes that correspond to multiple tokens. In such cases, only the first token of the word is pooled.

## 4.3 Graph Neural Network Architectures

This section describes the six architectures we experimented with. They all proceed in three steps: (i) update initial node embeddings $X$ with an GNN-based encoder (ii) aggregate all node embeddings in a single, fixed-size vector using a global pooling function $\phi$ and (iii) use this graph-level embedding to perform the classification. All the architectures used here follow the same sequence:

$$X' = \text{encoder}(X)$$

$$h_g = \phi(X')$$

$$\text{out} = \text{classifier}(h_g)$$
### 4.3.1 GCN

GCN were originally introduced for semi-supervised node classifications on graphs (Kipf and Welling, 2016). It learns hidden layer representations that encode both local graph structure and features of nodes. Node embeddings are updated according to the following rule:

$$x'_{i} = W^{\top} \sum_{j \in \mathcal{N}(i) \cup \{i\}} \frac{e_{j,i}}{\sqrt{\hat{d}_{j}, \hat{d}_{i}}} x_{j}$$

with $W$ the learnable weights, $\mathcal{N}$ the neighbors function, $\hat{d}_{i}$ the incoming degree of node $i$ and $e_{j,i}$ the weight of the edge from $j$ to $i$ (defaults to 1). The GCN architecture is made of two layers of GCN, also using batch normalization (Ioffe and Szegedy, 2015) and dropout inbetween. After a global pooling function, a single linear classifier with sigmoid activation is applied.

### 4.3.2 GAT

Graph attention networks (GAT) introduce the use of masked self-attention layers to attend node neighborhoods (Veličković et al., 2018). Attention coefficients $\alpha$ are used to weigh the degree of contribution.

$$x'_{i} = \alpha_{i,j} W_{s} x_{i} + \sum_{j \in \mathcal{N}(i)} \alpha_{i,j} W_{t} x_{j} \\ \alpha_{i,j} = \frac{\exp(a^{\top} \text{LeakyReLU}(W_{s} x_{i} + W_{t} x_{j}))}{\sum_{k \in \mathcal{N}(i) \cup \{u\}} \exp(a^{\top} \text{LeakyReLU}(W_{s} x_{i} + W_{t} x_{k}))}$$

with $W_t$ and $W_s$ the weight matrices for source and target respectively. This architecture stacks two layers of GAT followed by a classifier made out of two linear layers with a sigmoid.

### 4.3.3 GCGAT

k-GNN (Morris et al., 2021) generalizes GNN in their ability to distinguish non-isomorphic graphs and take higher-order graph structures into account.

$$x'_{i} = W_{1}x_{i} + W_{2} \sum_{j \in \mathcal{N}(i)} e_{j,i} \cdot x_{j}$$

Brody et al. (2022) shows that because GAT attention is static and the model expressivity is limited. GATv2 addresses this restriction by recalculating attention weights at each layer.

$$x'_{i} = \alpha_{i,j} W_{s} x_{i} + \sum_{j \in \mathcal{N}} \alpha_{i,j} W_{t} x_{j} \\ \alpha_{i,j} = \frac{\exp(a^{\top} \text{LeakyReLU}(W_{s} x_{i} + W_{t} x_{j}))}{\sum_{k \in \mathcal{N}(i)} \exp(a^{\top} \text{LeakyReLU}(W_{s} x_{i} + W_{t} x_{k}))}$$

This architecture consists in two k-GNN layers with batch normalization and dropout. It is then chained with a GATv2 layer. The classifier is a single linear layer.
### 4.3.4 GIN

Graph Isomorphism Network (Xu et al., 2019) are Message Passing based network that combine aggregated features with the original node features through a neural network.

$$x'_{i} = \Theta((1 + \epsilon) \cdot x_{i} + \sum_{j \in \mathcal{N}(i)} x_{j})$$

with $\Theta$ a neural network. The architecture is a two-layer GIN model with $\Theta$ set as two linear layers with ReLu activation. The final classifier is a single linear layer with sigmoid activation.

### 4.3.5 TransCN

Graph Transformer Network (Shi et al., 2021) uses the same multi-head attention as regular transformers. It also uses Unified Message Passaging Model a novel message passing method that combines node features propagation with labels.

$$x'_{i} = W_{1}x_{i} + \sum_{j \in \mathcal{N}(i)} \alpha_{i,j} W_{2}x_{j} \\ \alpha_{i,j} = \text{softmax}(\frac{(W_{3}x_{i})^{\top}(W_{4}x_{j})}{\sqrt{d}})$$

Our TransCN architecture consists of three Graph Transformer layers, with batch normalization and dropout inbetween. The classifier is a single linear layer.

### 4.3.6 R-GCN

Relational-GCN (Schlichtkrull et al., 2017) are an extension of regular GCNs for large-scale relational data, specifically for link prediction and entity classification. Because each relation has its own weights $W_r$, the model is capable to learn relation-specific transformations.

$$x'_{i} = W_{\text{root}} \cdot x_{i} + \sum_{r \in \mathcal{R}} \sum_{j \in \mathcal{N}(i)} \frac{1}{|\mathcal{N}_{r}(i)|} W_{r} \cdot x_{j}$$

Relation Graph Attention Networks (Busbridge et al., 2019) then extend Relational-GCN adding attention mechanism. In our architecture, we stack two layers of Relational-GCN and one Relation Graph Attention Network, also using batch normalization (Ioffe and Szegedy, 2015) and dropout in-between. After a global pooling function, a single linear classifier is applied.

## 5 Experiments

### 5.1 Datasets

Experiments are performed on three classic datasets for document classification, namely AG-News, TREC-6, and a subset of Arxiv. AG-News (Zhang et al., 2016) is a collection of news articles with four classes, 120k training examples and 7.6k test examples. TREC-6 (Li
and Roth, 2002) is a question classification dataset labeled with six coarse classes. It contains 5.8k training examples and 500 test examples Arxiv is a collection of research paper. We randomly select 3k articles along 4 classes, and kept title and abstract. Final dataset contains 2,250 training examples, 750 test examples.

## 5.2 Baselines

<table><caption>TAB. 1: Baseline results for TREC-6.</caption><thead><tr><td>Model</td><td>Accuracy</td></tr></thead><tbody><tr><td>Cer et al. (2018)</td><td>98.07</td></tr><tr><td>Chen et al. (2022)</td><td>97.40</td></tr><tr><td>Sun et al. (2020)</td><td>96.80</td></tr><tr><td>Our best results</td><td>97.12</td></tr></tbody></table>

<table><caption>TAB. 2: Baseline results for AG-News.</caption><thead><tr><td>Model</td><td>Accuracy</td></tr></thead><tbody><tr><td>Yang et al. (2020)</td><td>95.55</td></tr><tr><td>Sun et al. (2020)</td><td>95.20</td></tr><tr><td>Sachan et al. (2019)</td><td>95.05</td></tr><tr><td>Our best results</td><td>94.26</td></tr></tbody></table>

Tables 1 and 2 report baseline results for TREC-6 and AG-News respectively. Because we have selected a particular subset of Arxiv, there is no baseline to be found in the literature.

## 5.3 Training

Hyperparameters for the architectures were tuned through a grid-search-like approach. We tried different values for the following parameters:

* Activation function: ReLU, LeakyReLU, TanH and GELU.

* Global pooling function: mean and max.

* Hidden layer size: 1, 536 or 2, 304 for all models, except for RGCN, where a size of 256 was utilized.

Training was done using Adam optimizer in conjunction with a cross-entropy loss function. Learning rate was set to $1e^{-5}$ for all models except GCN and RGCN for which it was adjusted to $1e^{-2}$. Each model underwent training for 50 epochs, with the exception of GCN and RGCN, both of which were trained for an extended duration of 200 epochs. The batch size was held constant at 64 throughout all training. Only the checkpoint with the best accuracy was kept.

## 5.4 Results

In order to evaluate the different architectures, we report precision, recall and F1 score with macro averaging. Tables 3 to 8 show results for each dataset and embedder. Table 9 shows average of best results.

# 6 Discussion

Tables 3, 5 and 7 show the performance of different GNN models–initialized with Distil- BERT pre-trained embedding– on Arxiv, TREC-6, and AG-News datasets, respectively. The
GNN for Dependency-based Document Classification

<table><caption>TAB. 3: Arxiv with DistILBERT.</caption><thead><tr><th>Model</th><th>Precision</th><th>Recall</th><th>F1</th><th>Accuracy</th><th>Model</th><th>Precision</th><th>Recall</th><th>F1</th><th>Accuracy</th></tr></thead><tbody><tr><td>GAT</td><td>0.9705</td><td><strong>0.9705</strong></td><td>0.9704</td><td><strong>0.9705</strong></td><td>GAT</td><td>0.9504</td><td>0.9497</td><td>0.9492</td><td>0.9497</td></tr><tr><td>GCGAT</td><td>0.9691</td><td>0.9693</td><td>0.9691</td><td>0.9693</td><td>GCGAT</td><td><strong>0.9545</strong></td><td><strong>0.9537</strong></td><td><strong>0.9532</strong></td><td>0.9537</td></tr><tr><td>GCN</td><td><strong>0.9710</strong></td><td>0.9704</td><td>0.9704</td><td>0.9704</td><td>GCN</td><td>0.9522</td><td>0.9522</td><td>0.9518</td><td><strong>0.9522</strong></td></tr><tr><td>GIN</td><td>0.9691</td><td>0.9693</td><td>0.9692</td><td>0.9693</td><td>GIN</td><td>0.9511</td><td>0.9509</td><td>0.9507</td><td>0.9509</td></tr><tr><td>RGCN</td><td>0.9355</td><td>0.9340</td><td>0.9344</td><td>0.9340</td><td>RGCN</td><td>0.8343</td><td>0.8281</td><td>0.8294</td><td>0.8281</td></tr><tr><td>TransCN</td><td>0.9708</td><td><strong>0.9705</strong></td><td><strong>0.9705</strong></td><td><strong>0.9705</strong></td><td>TransCN</td><td>0.9542</td><td>0.9522</td><td>0.9521</td><td><strong>0.9522</strong></td></tr></tbody></table>

<table><caption>TAB. 5: TREC-6 with DistILBERT.</caption><thead><tr><th>Model</th><th>Precision</th><th>Recall</th><th>F1</th><th>Accuracy</th><th>Model</th><th>Precision</th><th>Recall</th><th>F1</th><th>Accuracy</th></tr></thead><tbody><tr><td>GAT</td><td>0.7782</td><td>0.7836</td><td>0.7790</td><td>0.7836</td><td>GAT</td><td>0.7609</td><td>0.7766</td><td>0.7680</td><td>0.7766</td></tr><tr><td>GCGAT</td><td>0.9582</td><td>0.9544</td><td>0.9549</td><td>0.9544</td><td>GCGAT</td><td>0.9291</td><td>0.9553</td><td>0.9401</td><td>0.9553</td></tr><tr><td>GCN</td><td>0.9406</td><td>0.9514</td><td>0.9446</td><td>0.9514</td><td>GCN</td><td>0.9237</td><td>0.9462</td><td>0.9313</td><td>0.9462</td></tr><tr><td>GIN</td><td>0.7698</td><td>0.7728</td><td>0.7704</td><td>0.7728</td><td>GIN</td><td>0.7567</td><td>0.7716</td><td>0.7637</td><td>0.7716</td></tr><tr><td>RGCN</td><td>0.8288</td><td>0.6921</td><td>0.7339</td><td>0.6921</td><td>RGCN</td><td>0.8131</td><td>0.6784</td><td>0.7134</td><td>0.6784</td></tr><tr><td>TransCN</td><td><strong>0.9615</strong></td><td><strong>0.9600</strong></td><td><strong>0.9605</strong></td><td><strong>0.9600</strong></td><td>TransCN</td><td><strong>0.9601</strong></td><td><strong>0.9712</strong></td><td><strong>0.9648</strong></td><td><strong>0.9712</strong></td></tr></tbody></table>

<table><caption>TAB. 7: AG-News with DistILBERT.</caption><thead><tr><th>Model</th><th>Precision</th><th>Recall</th><th>F1</th><th>Accuracy</th><th>Model</th><th>Precision</th><th>Recall</th><th>F1</th><th>Accuracy</th></tr></thead><tbody><tr><td>GAT</td><td><strong>0.9427</strong></td><td><strong>0.9426</strong></td><td><strong>0.9426</strong></td><td><strong>0.9426</strong></td><td>GAT</td><td><strong>0.9379</strong></td><td><strong>0.9379</strong></td><td><strong>0.9379</strong></td><td><strong>0.9379</strong></td></tr><tr><td>GCGAT</td><td>0.9406</td><td>0.9407</td><td>0.9406</td><td>0.9407</td><td>GCGAT</td><td>0.9373</td><td>0.9374</td><td>0.9373</td><td>0.9374</td></tr><tr><td>GCN</td><td>0.9254</td><td>0.9257</td><td>0.9254</td><td>0.9257</td><td>GCN</td><td>0.9214</td><td>0.9217</td><td>0.9215</td><td>0.9217</td></tr><tr><td>GIN</td><td>0.9348</td><td>0.9342</td><td>0.9341</td><td>0.9342</td><td>GIN</td><td>0.9296</td><td>0.9293</td><td>0.9292</td><td>0.9293</td></tr><tr><td>RGCN</td><td>0.9263</td><td>0.9263</td><td>0.9261</td><td>0.9263</td><td>RGCN</td><td>0.9259</td><td>0.9254</td><td>0.9254</td><td>0.9254</td></tr><tr><td>TransCN</td><td>0.9408</td><td>0.9407</td><td>0.9406</td><td>0.9407</td><td>TransCN</td><td>0.9360</td><td>0.9359</td><td>0.9359</td><td>0.9359</td></tr></tbody></table>

<caption>TAB. 4: Arxiv with BERT-large.</caption>

<caption>TAB. 6: TREC-6 with BERT-large.</caption>

<caption>TAB. 8: AG-News with BERT-large.</caption>

tables 4, 6 and 8 illustrate the identical datasets, but initialized with BERT-large model.

Among GNN models initialized with DistILBERT and trained on the Arxiv dataset, TransCN and GAT have almost the best scores with 0.9705 for F1 and Recall. The satisfying fact is that the delta range of scores is around 4. Although DistILBERT has around 4.2 times fewer parameters comparing to BERT-large, its performance is 3 points above. The best precision score 0.9710 belongs to simple GCN model with DistILBERT-initialized embeddings.

The best GNN model built for the TREC-6 dataset is TransCN with around 0.96 and 0.97 accuracy score for DistILBERT and BERT-large models, respectively. Almost the same result can be observed for AG-News dataset. The TransCN and GAT models have the best results with around 0.94 and 0.93 accuracy score for DistILBERT and BERT-large models, respectively. One important observation is that the DistILBERT-based TransCN model consistently outperforms the other models. The TransCN model generalizes well based on the precision, recall, F1 and accuracy metrics.

We have initialized the models with different two pre-trained BERT model, namely DistILBERT and BERT-large to explore their effect on the model performance. Table 9 summarizes average accuracy for each embedding type and dataset across all models evaluated in our experiments. Unexpectedly, DistILBERT superseeds the performance of BERT-large model. We normally expect to observe better performance for a model like BERT-large which has 4.2 times more parameters comparing to DistILBERT. This expectation was not held.
<table><caption>TAB. 9: Averages results for DistilBERT and BERT-large.</caption><thead><tr><th>Dataset</th><th>Embedder</th><th>Precision</th><th>Recall</th><th>F1</th><th>Accuracy</th></tr></thead><tbody><tr><td>AG-News</td><td>DistilBERT</td><td><strong>0.9351</strong></td><td><strong>0.9350</strong></td><td><strong>0.9349</strong></td><td><strong>0.9350</strong></td></tr><tr><td>AG-News</td><td>BERT-large</td><td>0.9324</td><td>0.9324</td><td>0.9324</td><td>0.9324</td></tr><tr><td>TREC-6</td><td>DistilBERT</td><td><strong>0.8729</strong></td><td><strong>0.8524</strong></td><td><strong>0.8572</strong></td><td><strong>0.8524</strong></td></tr><tr><td>TREC-6</td><td>BERT-large</td><td>0.8573</td><td>0.8499</td><td>0.8469</td><td>0.8499</td></tr><tr><td>Arxiv</td><td>DistilBERT</td><td><strong>0.9643</strong></td><td><strong>0.9640</strong></td><td><strong>0.9640</strong></td><td><strong>0.9640</strong></td></tr><tr><td>Arxiv</td><td>BERT-large</td><td>0.9328</td><td>0.9311</td><td>0.9311</td><td>0.9311</td></tr></tbody></table>

For TREC-6 and AG-News datasets, the best sequence-based models accuracy score are 98.07 and 95.55, respectively. Our best models are just 0.95 and 1.29 points below the best sequence models for TREC-6 and AG-News datasets. This fact endorses the learnability of our models. In particular the models TransCN and GAT are very competitive with sequenced-based models while the models introduced in this research take the dependency graphs as input. They enjoy some graph-based properties such as interpretable representations of the relationships between words, incorporation of domain-specific knowledge and custom feature engineering.

# 7 Conclusion and Future Work

In this research, we investigated different Graph Neural Network architectures for document classification task. Contrary to standard practice, we used dependency graphs, obtained from pure text documents, as input to our models. The choice of dependency graph makes possible the straightforward integration of the efficient, and yet interpretable graphs. Transforming sequential text into relational graph and using graph as input to GNN, allowed us to reformulate document classification as graph classification and perform the task with GNN. We achieved competitive results using three datasets, namely Arxiv, TREC-6 and AG-News and compared them with state-of-the-art sequential models.

There are few areas that demands further investigations: (i) For the syntactic dependency structures of text, we did not explore the effect of parsing quality on results. This area is crucial as different parsers may slightly change the result, especially when the state-of-the-art models are very competitive. (ii) To perform coreference resolution and add coreference chain relations. These relations can improve representations by connecting corefering mentions and facilitating the flow of information between sentences. (iii) DistilBERT and BERT-large were used as embedders, but they were not tuned during training. As shown in Lin et al. (2021), tuning BERT embedders along with GNN models will improve the results. (iv) We have used the text to graph transformation in our experiment by adopting syntactic dependency parsing. We can extend our experiments by using different semantic-based representations such as AMR (Banarescu et al., 2013) or MR4AP (Giordano and Lopez, 2023).
References

Banarescu, L., C. Bonial, S. Cai, M. Georgescu, K. Griffitt, U. Hermjakob, K. Knight, P. Koehn, M. Palmer, and N. Schneider (2013). Abstract Meaning Representation for sem-banking. In A. Pareja-Lora, M. Liakata, and S. Dipper (Eds.), *Proceedings of the 7th Lin-guistic Annotation Workshop and Interoperability with Discourse*, Sofia, Bulgaria, pp. 178–186. Association for Computational Linguistics.

Brody, S., U. Alon, and E. Yahav (2022). How attentive are graph attention networks?

Busbridge, D., D. Sherburn, P. Cavallo, and N. Y. Hammerla (2019). Relational graph attention networks.

Cer, D., Y. Yang, S. yi Kong, N. Hua, N. Limtiaco, R. S. John, N. Constant, M. Guajardo-Cespedes, S. Yuan, C. Tar, Y.-H. Sung, B. Strope, and R. Kurzweil (2018). Universal sentence encoder.

Chen, Q., R. Zhang, Y. Zheng, and Y. Mao (2022). Dual contrastive learning: Text classification via label-aware data augmentation.

Conneau, A., H. Schwenk, L. Barrault, and Y. Lecun (2016). Very deep convolutional networks for text classification. *arXiv preprint arXiv:1606.01781*.

Cortes, C. and V. Vapnik (1995). Support-vector networks. *Machine learning* 20(3), 273–297.

Devlin, J., M. Chang, K. Lee, and K. Toutanova (2018). BERT: pre-training of deep bidirectional transformers for language understanding. *CoRR abs/1810.04805*.

Giordano, B. and C. Lopez (2023). MR4AP: Meaning representation for application purposes. In J. Bonn and N. Xue (Eds.), *Proceedings of the Fourth International Workshop on Designing Meaning Representations*, Nancy, France, pp. 110–121. Association for Computational Linguistics.

Han, S. C., Z. Yuan, K. Wang, S. Long, and J. Poon (2022). Understanding graph convolutional networks for text classification. *arXiv preprint arXiv:2203.16060*.

Hochreiter, S. and J. Schmidhuber (1997). Long short-term memory. *Neural computation* 9, 1735–80.

Hua, S., X. Li, Y. Jing, and Q. Liu (2022). A semantic hierarchical graph neural network for text classification. *arXiv preprint arXiv:2209.07031*.

Ioffe, S. and C. Szegedy (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. *CoRR abs/1502.03167*.

Johnson, R. and T. Zhang (2016). Supervised and semi-supervised text categorization using lstm for region embeddings. In *International Conference on Machine Learning*, pp. 526–534. PMLR.

Jurafsky, D. and J. H. Martin (2009). *Speech and language processing* (2. ed., [Pearson International Edition] ed.). Prentice Hall series in artificial intelligence. London [u.a.]: Prentice Hall, Pearson Education International.

Kipf, T. N. and M. Welling (2016). Semi-supervised classification with graph convolutional networks. *CoRR abs/1609.02907*.

LeCun, Y., B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel (1989). Backpropagation applied to handwritten zip code recognition. *Neural Computa-
tion 1, 541–551.

Li, X. and D. Roth (2002). Learning question classifiers. In *COLING 2002: The 19th International Conference on Computational Linguistics*.

Liang, Y., Q. Wang, K. Xiong, X. Zheng, Z. Yu, and D. Zeng (2021). Robust detection of malicious URLs with self-paced wide & deep learning. *IEEE Transactions on Dependable and Secure Computing* 19(2), 717–730.

Lin, Y., Y. Meng, X. Sun, Q. Han, K. Kuang, J. Li, and F. Wu (2021). Bertgcn: Transductive text classification by combining gcn and bert. *arXiv preprint arXiv:2105.05727*.

Liu, Y., M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov (2019). Roberta: A robustly optimized bert pretraining approach. *arXiv preprint arXiv:1907.11692*.

Morris, C., M. Ritzert, M. Fey, W. L. Hamilton, J. E. Lenssen, G. Rattan, and M. Grohe (2021). Weisfeiler–Leman neural network: Higher-order graph neural networks.

Ravi, K. and V. Ravi (2015). A survey on opinion mining and sentiment analysis: tasks, approaches and applications. *Knowledge-based systems* 89, 14–46.

Sachan, D. S., M. Zaheer, and R. Salakhutdinov (2019). Revisiting lstm networks for semi-supervised text classification via mixed objective function. *Proceedings of the AAAI Conference on Artificial Intelligence* 33(01), 6940–6948.

Sanh, V., L. Debut, J. Chaumond, and T. Wolf (2020). Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter.

Schlichtkrull, M., T. N. Kipf, P. Bloem, R. van den Berg, I. Titov, and M. Welling (2017). Modeling relational data with graph convolutional networks.

Sherstinsky, A. (2020). Fundamentals of recurrent neural network (rnn) and long short-term memory (lstm) network. *Physica D: Nonlinear Phenomena* 404, 132306.

Shi, Y., Z. Huang, S. Feng, H. Zhong, W. Wang, and Y. Sun (2021). Masked label prediction: Unified message passing model for semi-supervised classification.

Sun, C., X. Qiu, Y. Xu, and X. Huang (2020). How to fine-tune bert for text classification?

Tan, K. L., C. P. Lee, and K. M. Lim (2023). A survey of sentiment analysis: Approaches, datasets, and future research. *Applied Sciences* 13(7), 4550.

Veličković, P., G. Cucurull, A. Casanova, A. Romero, P. Liò, and Y. Bengio (2018). Graph Attention Networks. arXiv:1710.10903 [cs, stat].

Wang, K., Y. Ding, and S. C. Han (2023). Graph neural networks for text classification: A survey. *arXiv preprint arXiv:2304.11534*.

Wu, Y., M. Schuster, Z. Chen, Q. V. Le, M. Norouzi, W. Macherey, M. Krikun, Y. Cao, Q. Gao, K. Macherey, J. Klingner, A. Shah, M. Johnson, X. Liu, Łukasz Kaiser, S. Gouws, Y. Kato, T. Kudo, H. Kazawa, K. Stevens, G. Kurian, N. Patil, W. Wang, C. Young, J. Smith, J. Riesa, A. Rudnick, O. Vinyals, G. Corrado, M. Hughes, and J. Dean (2016). Google’s neural machine translation system: Bridging the gap between human and machine translation.

Xia, L., D. Luo, C. Zhang, and Z. Wu (2019). A survey of topic models in text classification. In *2019 2nd International Conference on Artificial Intelligence and Big Data (ICAIBD)*, pp. 244–250. IEEE.
Xu, K., W. Hu, J. Leskovec, and S. Jegelka (2019). How powerful are graph neural networks?

Yang, Z., Z. Dai, Y. Yang, J. Carbonell, R. Salakhutdinov, and Q. V. Le (2020). Xlnet: Generalized autoregressive pretraining for language understanding.

Yang, Z., Z. Dai, Y. Yang, J. Carbonell, R. R. Salakhutdinov, and Q. V. Le (2019). Xlnet: Generalized autoregressive pretraining for language understanding. *Advances in neural information processing systems* 32.

Yao, L., C. Mao, and Y. Luo (2019). Graph convolutional networks for text classification. In *Proceedings of the AAAI conference on artificial intelligence*, Volume 33, pp. 7370–7377.

Zhang, X., J. Zhao, and Y. LeCun (2016). Character-level convolutional networks for text classification.

## Résumé

L'approche classique pour la classification des documents consiste à traiter le texte comme une donnée séquentielle et à utiliser des architectures de type transformer pour la classification. Cependant, cette représentation rend l'identification et l'exploitation des relations implicites dans le texte difficile. Cet article étudie l'utilisation de graphes de dépendance syntaxique comme représentation relationnelle alternative, reformulant ainsi la classification de documents en classification de graphes. Ces graphes encodent la structure grammaticale, reliant les mots en fonction de leurs relations et de leurs rôles dans la phrase. Cette représentation explicite facilite la compréhension des structures syntaxiques et sémantiques sous-jacentes. Les graphes de dépendance, interprétables, sont ensuite traités par des Graph Neural Network (GNN), un type d'architecture qui excelle à capturer les relations complexes entre les entités d'un graphe en propageant l'information à travers sa structure. Pour tester cette approche, la structure grammaticale du texte est calculée à l'aide d'un analyseur en dépendances et les représentations des noeuds initialisées à l'aide de plongements de mots. Nous expérimentons avec six architectures distinctes de GNN comme classifieurs. Les résultats sont ensuite évalués sur trois jeux de données AG-News, TREC-6 et Arxiv, puis comparés à l'état de l'art. Ces expériences démontrent que la représentation des textes par leur graphe de dépendance syntaxique et l'utilisation de GNN pour la classification permettent d'obtenir des résultats très compétitifs par rapport aux modèles classiques basés sur les séquences.
# Extraction d'acronymes torturés dans la littérature scientifique

Alexandre Clausse*, Guillaume Cabanac*,**, Pascal Cuxac*** et Cyril Labbé****

* Université Toulouse III – Paul Sabatier, IRIT UMR 5505 CNRS, Toulouse, France
{alexandre.clausse, guillaume.cabanac}@irit.fr

** Institut Universitaire de France (IUF), Paris, France

*** INIST – CNRS, UAR76, Vandœuvre-lès-Nancy, France
pascal.cuxac@inist.fr

**** Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG, Grenoble, France
cyril.labbe@univ-grenoble-alpes.fr

**Résumé.** Les politiques publiques poussent les chercheurs à publier le plus ré-
gulièrement possible des articles scientifiques dans des revues réputées. Cette
pression amène une minorité de personnes peu scrupuleuses à frauder, en utili-
sant notamment des phrases torturées afin de déguiser des plagiats. Il arrive que
ce type de contenu ne soit pas détecté lors de l'évaluation par les pairs, amenant
à sa publication. Dans l'optique de dépolluer la littérature scientifique, nous pro-
posons une tâche d'extraction d'acronymes torturés permettant la détection de
publications frauduleuses. Un benchmark est effectué grâce à un corpus de 75 ar-
ticles scientifiques torturés et en open access, avec une chaîne de traitements
permettant l'extraction et de classification d'acronymes. La tâche d'extraction
d'acronymes torturés obtient une F-mesure de 0,74, qui pourra être améliorée
par l'enrichissement du corpus. Nous avons constitué une ligne de référence (ba-
seline) à laquelle toute personne désireuse d'améliorer la performance de cette
tâche pourra se référer.

## Introduction

Les politiques publiques actuelles exercent une constante pression sur les chercheurs, en les poussant à publier le plus régulièrement possible dans des revues réputées (à fort facteur d'impact), afin d'obtenir de meilleures performances dans les classements internationaux. Communément appelée « publier ou périr », cette situation est susceptible d'amener à un manque de considération pour la rigueur impliquée dans les travaux de recherche scientifique par une minorité de personnes peu scrupuleuses, ayant recours à de la fabrication, de la falsification et au plagiat. Ces problèmes ont été décrits dans un ouvrage édité par (Biagioli et Lippman, 2020). Le plagiat peut être déguisé par l'utilisation de phrases torturées, définies par (Cabanac et al., 2021), correspondant à la déformation d'un phraséoterme (terme scientifique considéré comme établi dans une discipline associée), par la génération de synonymes vidant ce dernier
de toute signification, principalement en utilisant des outils de paraphrase (spinners) tels que SpinBot<fnref n="1" />. Par exemple, le terme informatique « artificial intelligence » peut être transformé en « man-made consciousness », ce qui n'a aucune signification dans un tel domaine métier. De plus, un texte comprenant des phrases torturées peut échapper à la vigilance d'un comité de relecture, amenant à sa publication, et par conséquent à la pollution de la littérature scientifique. Cela met aussi en doute leur probité quant à la tenue des expériences et la rédaction sincère des résultats.

Étant donné ce contexte, le *Problematic Paper Screener*<fnref n="2" /> (PPS) a été développé par (Cabanac et al., 2022) afin de permettre la réévaluation collaborative, par le biais de PubPeer<fnref n="3" /> (créé et administré par (Barbour et Stell, 2020)), d'articles scientifiques signalés comme étant suspects. Parmi un ensemble de détecteurs (permettant par exemple de détecter des articles torturés ou générés par SciGen<fnref n="4" />), 13 000 articles ont été considérés comme contenant suffisamment de phrases torturées pour que leur rigueur scientifique soit remise en cause. La détection de tels contenus a été explorée par (Lay et al., 2022) par la construction d'un corpus de 2 772 paragraphes contenant ou non des phrases torturées. Ils ont utilisé des algorithmes de classification binaire (forêt d'arbres décisionnels, perceptron, transformeur) sur les 5-grammes et paragraphes. Leur meilleur modèle a obtenu une F-mesure de 0,99 (classe « torturée ») et 0,92 (classe « non torturée »). Cependant cette approche est limitée par la possible présence des mêmes phrases torturées dans les données d'entraînement et de test, car celles-ci ont été séparées de façon aléatoire. (Kashnitsky et al., 2022) ont proposé une tâche partagée avec un corpus de plus de 26 000 documents extraits depuis Scopus, afin de détecter différentes formes de textes générés (par exemple par résumé automatique ou par l'utilisation de spinners). Ils ont utilisé la régression logistique ainsi qu'un modèle SciBERT ((Beltagy et al., 2019)) ajusté comme ligne de base, en ayant respectivement obtenu une F-mesure de 0,82 et 0,98. (Becker et al., 2023) ont étendu cette exploration par un corpus totalisant plus de 140 000 paires de phrases et paragraphes paraphrasés par un humain ou une machine. Ils ont utilisé des modèles de plongement lexical tels que GloVe ((Pennington et al., 2014)) et FastText ((Joulin et al., 2016)), ainsi que des modèles de langage tels que BERT ((Devlin et al., 2019)) et T5 ((Raffel et al., 2020)), leur meilleur modèle a obtenu une F-mesure de 0,95.

Cet article présente la problématique de la thèse que le premier auteur vient de débuter, par une approche orientée document et focalisée sur les acronymes torturés (c'est-à-dire des phraséotermes sous forme d'acronymes qui ont été torturés, par exemple « fake neural system (ANN) » est une version torturée de « artificial neural network »). Nous proposons un algorithme auquel est associé un benchmark, par l'utilisation d'un corpus composé d'articles scientifiques en accès libre. Sont adjoints une chaîne de traitements permettant l'extraction et la classification d'acronymes, ainsi que des métriques d'évaluation des résultats obtenus.

## Constitution d'une collection de test

À partir du PPS (détecteur « *tortured* »), nous avons collecté un corpus de 75 articles scientifiques en accès libre, dans le domaine de l'ingénierie (dont les disciplines sont représentés

<footnote n="1">1. https://spinbot.com</footnote>

<footnote n="2">2. https://irit.fr/~Guillaume.Cabanac/problematic-paper-screener</footnote>

<footnote n="3">3. https://pubpeer.com</footnote>

<footnote n="4">4. https://pdos.csail.mit.edu/archive/scigen/</footnote>
en Figure 1), publiés entre 2015 et 2023 (dont la distribution des années de publication est représentée en Figure 2). Nous avons effectué une recherche par mot-clé dans le champs « ve-nue », c'est-à-dire le titre de la revue ou conférence dans laquelle les articles collectés ont été publiés, en utilisant le nom de 10 disciplines en anglais (par exemple, les articles du domaine de la physique ont été collectés en effectuant une recherche avec le terme « physics » présent dans le titre de la revue associée, en vérifiant qu'ils sont bien en accès libre). Malgré cela, notre corpus comprend 37 articles pluridisciplinaires, dont la discipline commune est l'informatique. Puis nous avons effectué une analyse exploratoire des données afin d'en extraire les principales caractéristiques.

<figure><img src="image_8.png" /><figcaption>FIG. 1 – Distribution des domaines métiers dans le corpus. Plus de la moitié de celui-ci contient des articles des domaines de l'informatique (24 articles soit 32% du corpus) et de la physique (21 articles soit 28% du corpus), les autres domaines étant peu représentés (entre 1 et 9 articles soit entre 1,3 et 12% du corpus).</figcaption></figure>

Le premier auteur a manuellement extrait et annoté 995 acronymes distincts, établissant ainsi un silver standard, accessible publiquement (voir la section disponibilité des données). Nous avons récupéré l'ensemble des acronymes torturés (366 acronymes soit 36,8% du corpus), plusieurs acronymes comportant des fautes de frappe (par exemple « Tru_-Positive (TP) ») ont été étiquetés comme suspects (46 acronymes soit 4,6% du corpus), les autres acronymes ont été annotés comme non torturés (indiqués comme *genuine*). Puis nous avons extrait un ensemble de caractéristiques (décrites dans le Tableau 1 et dont la distribution est décrite en Figure 3) à prendre en compte dans le développement d'un algorithme d'extraction et de classification.

Parmi ces caractéristiques, nous avons remarqué quelques subtilités. La différence entre le nombre d'initiales d'un phraséoterme et son acronyme associé est principalement due à la présence de mots de liaison. Dans certains cas, un mot supplémentaire est présent entre l'acronyme et sa forme développée. Certains acronymes sont déclinés dans leur forme plu-rielle (par exemple « CNN » et « CNNs »). D'autres acronymes contiennent des caractères spé-ciaux tels que des parenthèses (cela concerne principalement les composés chimiques tels que « poly(ethylene glycol) (PEG) »), des points d'interrogation (cela concerne les erreurs d'en-codage des lettres grecques, telles que « Tumor Necrosis Factor Alpha (TNF-?) »), liées à la
<figure><img src="image_9.png" /><figcaption>FIG. 2 – Distribution des années de publication des articles du corpus. Nous pouvons observer une augmentation significative de publications contenant des phrases torturées à partir de 2018, avec un pic en 2021. Ce pic correspond à un grand nombre d'articles publiés en 2021 en accès libre ayant pu être récupérés depuis une même source.</figcaption></figure>

conversion des fichiers PDF bruts en texte, voir la Figure 4), des tirets et des points. Une quantité négligeable d'acronymes est rédigée dans une forme alternative (par exemple « (PLSR) Partial Least Squares Regression » où l'acronyme en parenthèses est positionné avant sa forme développée, et « CNN (Convolutional Neural Network) » où c'est la forme développée qui se trouve entre parenthèses au lieu de l'acronyme). Nous évaluons trois tâches distinctes : extraction d'acronymes, classification d'acronymes, extraction d'acronymes torturés. Pour cela, nous calculons les scores de rappel, précision, F-mesure et — dans la mesure du possible — le coefficient de corrélation de Matthews (MCC) ainsi que l'aire sous la courbe de la fonction d'efficacité du récepteur (ROC AUC). Ces métriques d'évaluation sont calculées différemment d'une tâche à l'autre, de par la nature de celles-ci. En effet, nous comptons différemment les vrai-positifs (VP), vrai-négatifs (VN), faux-positifs (FP) et faux-négatifs (FN) pour la tâche d'extraction (recherche d'information) et la tâche de classification.

Concernant l'évaluation de la tâche d'extraction, les acronymes correctement extraits depuis le *silver* sont considérés comme vrai-positifs (VP), les acronymes extraits qui n'apparaissent pas dans le *silver* sont considérés comme faux-positifs (FP), et les acronymes qui n'ont pas été extraits depuis le *silver* sont considérés comme faux-négatifs (FN). Nous ne calculons pas de vrai-négatifs (VN) dans la mesure où ils seraient définis comme des acronymes absents du *silver* et non extraits, or nous n'avons aucun moyen d'en obtenir. Concernant l'évaluation de la tâche de classification, les acronymes torturés sont considérés comme positifs, et ceux non torturés comme négatifs, les vrai- et faux-positifs / négatifs sont définis en comparant l'étiquetage des acronymes du *silver* et de ceux classifiés. Enfin, concernant l'évaluation de la tâche d'extraction des acronymes torturés, les VP correspondent aux acronymes torturés du *silver* étiquetés en tant que tel par l'algorithme. Les FP correspondent à tous les acronymes non torturés du *silver* qui n'ont pas été extraits ou qui ont été étiquetés comme torturés mais aussi aux acronymes étiquetés comme torturés mais qui n'apparaissent pas dans le *silver*. Les FN correspondent à tous les acronymes torturés du *silver* qui n'ont pas été extraits ou qui ont été étiquetés comme non torturés mais aussi aux acronymes étiquetés comme non torturés mais
<figure><img src="image_10.png" /><figcaption>FIG. 3 – Distribution des caractéristiques des acronymes dans chaque classe associée. La distribution des acronymes torturés comportant un nombre différent d'initiales est plus importante que pour les acronymes non torturés, cela peut être expliqué par la génération de synonymes composés de plusieurs mots. Au contraire, il y a moins d'acronymes torturés comprenant des mots composés et des composés chimiques, car il est plus difficile de trouver des synonymes à ceux-ci.</figcaption></figure>

qui n'apparaissent pas dans le *silver*. Nous ne calculons pas de VN dans la mesure où ils se-
raient définis comme des acronymes non torturés dans le *silver* et étiquetés comme tel, ce qui
est en dehors du contexte de cette tâche.

Il est important de préciser que les acronymes considérés comme suspects dans le *silver*
ont été étiquetés comme n'étant pas torturés (car ils correspondent à des fautes de frappe,
c'est-à-dire à des erreurs non intentionnelles) dans la phase d'évaluation.

Extraction et classification d'acronymes torturés

Étant donnés le corpus et ses caractéristiques associées, nous avons élaboré une chaîne
de traitements permettant l'extraction et la classification d'acronymes, divisé en quatre tâches
principales (représentées en Figure 3). Celui-ci sert de ligne de base pour cette tâche.

La tâche (I) consiste à extraire le contenu des articles au format PDF en TEI-XML par
l'utilisation de Grobid<sup>5</sup>, puis à en extraire le contenu textuel brut par l'utilisation de Beauti-
fulSoup<sup>4 6</sup>. Les tâches (II) et (III) sont étroitement liées car, pour chaque fichier texte précé-
demment généré, les fautes de frappe telles que les parenthèses dupliquées sont corrigées, puis
les caractères spéciaux (c'est-à-dire les caractères de liaison et de contrôle) sont supprimés; ce

<footnote n="5">5. https://grobid.readthedocs.io/en/latest/</footnote>

<footnote n="6">6. https://crummy.com/software/BeautifulSoup/</footnote>
<figure><img src="image_11.png" /><figcaption>FIG. 4 – Diagramme de traitement des acronymes. Le fonctionnement de la chaîne de traitements est divisé en quatre étapes, allant des l'extraction des données brutes depuis les fichiers PDF des articles à la création du fichier d'évaluation, en passant par l'extraction et la classification des acronymes. Les données textuelles brutes sont nettoyées en parallèle avec les acronymes extraits afin d'uniformiser les résultats obtenus.</figcaption></figure>

sont des tâches d'uniformisation de contenu. Une expression régulière est utilisée afin de détecter les acronymes, définis comme une suite de deux lettres capitales (ou plus), non séparées par un espace, le tout contenu entre parenthèses. Ces acronymes peuvent aussi contenir des points, des points d'interrogation, des tirets et esperluettes. À la fin de cette étape, le contenu textuel brut (III.a) et les acronymes (III.b) doivent être nettoyés. Ainsi, les acronymes sont filtrés afin de supprimer les faux-positifs tels que les références, et le texte brut est formaté selon qu'il s'agisse d'un acronyme ou non (par exemple les formes plurielles sont supprimées dans le cas d'un acronyme) puis séparé en liste de mots. La tâche (IV) consiste à classifier les acronymes, en suivant une séquence de règles de filtrage décrites dans l'algorithme 1, basées sur les caractéristiques communes aux acronymes torturés ou non.

Étant donné un acronyme extrait, une correspondance est effectuée sur les initiales (par exemple « convolutional neural network (CNN) » , étape 1 de l'algorithme), en tenant égale-ment compte des mots de liaison (par exemple « Moroccan agency of press (MAP) » , étape 2 de l'algorithme). Les mêmes comparaisons sont effectuées avec un décalage d'un mot (par exemple « deep neural network models (DNN) » et « centers for disease control and prevention (CDC) » , étapes 3 et 4 de l'algorithme). Une correspondance est aussi effectuée sur les mots composés (par exemple « chitosan (CS) » , « electromyogram (EMG) » et « rectified linear unit (ReLU) » , étapes 5 et 6 de l'algorithme) et les formes réduites (par exemple « residual network (ResNet) » , étape 6 de l'algorithme). Si aucune de ces correspondances n'est possible alors l'acronyme est considéré comme étant torturé. Enfin, un fichier d'évaluation est construit, contenant pour chaque acronyme, son étiquette et nombre d'occurrences tels qu'annotés dans le silver et tels qu'extraits par l'algorithme. Ce dernier est indépendant de toute liste d'acro-nymes de référence d'un quelconque domaine métier.
**Données** : un acronyme de longueur *n* précédé de *n* + 1 mots

**Résultat** : un triplet (forme développée, acronyme, étiquette)

A ← l'acronyme;

M ← l'acronyme découpé selon ses lettres capitales;

P ← la liste des *n* + 1 mots avant l'acronyme;

S ← la liste des *n* + 1 mots avant l'acronyme, sans les mots de liaison;

// Étape 1

si les initiales de sousChaine(P, 1, longueur(P) - 1) = A alors

| renvoyer (sousChaine(P, 1, longueur(P) - 1), A, non torturé);

fin

// Étape 2

si les initiales de sousChaine(S, 1, longueur(S) - 1) = A alors

| renvoyer (sousChaine(S, 1, longueur(S) - 1), A, non torturé);

fin

// Étape 3

si les initiales de sousChaine(P, 2, longueur(P)) = A alors

| renvoyer (sousChaine(P, 2, longueur(P)), A, non torturé);

fin

// Étape 4

si les initiales de sousChaine(S, 2, longueur(S)) = A alors

| renvoyer (sousChaine(S, 2, longueur(S)), A, non torturé);

fin

// Étape 5

pour tout mot *p* ∈ *P* faire

| si les lettres de *A* se suivent dans *p* alors

| renvoyer (*p*, *A*, non torturé);

fin

fin

// Étape 6

si les composantes de *M* sont alignées avec les mots de sousChaine(P, 2, longueur(P)) alors

| renvoyer (sousChaine(P, 2, longueur(P)), A) non torturé;

fin

renvoyer (*P*, *A*, torturé);

**Algorithme 1** : Algorithme de classification d'un acronyme.
Benchmark

La tâche (III) obtient un rappel de 0,99, une précision de 0,89 et une F-mesure de 0,94. Nous avons obtenu pour la tâche (IV) un rappel de 0,95, une précision de 0,79, une F-mesure de 0,86 et un MCC de 0,78. Enfin, nous avons obtenu pour la tâche d'extraction d'acronymes torturés un rappel de 0,93, une précision de 0,62 et une F-mesure de 0,74. En complément, nous avons calculé les matrices de confusion de ces trois tâches (présentées en Figure 5) ainsi que la courbe ROC pour la tâche de classification des acronymes (décrite en Figure 6).

<figure><img src="image_12.png" /><figcaption>FIG. 5 – Matrices de confusion pour les trois tâches (extraction, classification, extraction d'acronymes torturés). Nous constatons l'absence de VN dans la première et troisième tâche car ceux-ci n'ont pas été définis ; il y a aussi beaucoup de FP, peu importe la tâche.</figcaption></figure>

<figure><img src="image_13.png" /><figcaption>FIG. 6 – Courbe ROC de la tâche de classification d'acronymes. Nous constatons une aire sous la courbe à 0,90, indiquant une bonne capacité discriminatoire.</figcaption></figure>

Étant donnés les résultats obtenus, l'évaluation de la tâche d'extraction d'acronymes semble satisfaisante, cependant ce n'est pas le cas des deux autres tâches. En effet, malgré un rappel supérieur à 0,9, les scores de précision indiquent un nombre trop important de FP, ces tâches ont donc tendance à surestimer les acronymes à traiter. Ceci pouvant être expliqué par les limites de notre méthode agnostique (basée sur les caractéristiques connues et communes aux acronymes torturés ou non) mais aussi par un nombre limité d'acronymes distincts dans notre corpus. Ce
dernier comprend un biais de représentativité au niveau des disciplines, avec une forte pré-
sence de termes d'informatique. Il devrait donc être enrichi, en effectuant des recherches en
dehors des seuls articles dont le domaine métier est explicitement mentionné, mais aussi en
y adjoignant d'autres corpus (par exemple celui proposé par (Lay et al., 2022)). Cela permet-
trait d'étudier davantage la sensibilité de notre algorithme d'extraction et de classification aux
diverses subtilités induites par les formes variées d'acronymes. Nous avons constaté la pré-
sence d'un acronyme halluciné (« bolster vector machine (BVM) », une version torturée et non
existante du « support vector machine (SVM) »), étiqueté comme étant légitime par notre algo-
rithme. Il s'agit d'un cas anecdotique, cependant il serait intéressant d'étudier le contexte dans
lequel a pu apparaître un tel acronyme. Aussi, le silver ayant été établi par une personne non
polymathe, il se peut que des erreurs d'annotations soient présentes. Certains choix d'annota-
tions peuvent être discutés, par exemple la forme développée du terme « Bidirectional LSTM
(BiLSTM) » comporte à la fois un acronyme et un mot composé, qui sont deux caractéristiques
distinctes.

Conclusion

Pour lutter contre la pollution de la littérature scientifique, nous avons défini une tâche d'extraction d'acronymes torturés : une forme spécifique de phrases torturées. Pour cela, nous avons constitué une collection de test, composée d'articles scientifiques en accès libre, dont nous avons extrait et annoté les acronymes, puis nous avons établi diverses métriques permettant d'évaluer cette tâche. Après avoir proposé une première méthode agnostique, nous avons obtenu une F-mesure de 0,74. Cependant, notre algorithme a tendance à trop surestimer les acronymes, amenant à un nombre trop important de faux-positifs, et par conséquent à une précision améliorable. De futurs travaux devraient être focalisés sur la production d'algorithmes plus performants, en incluant les décisions des experts dans la prise de décision algorithmique. Sur le long terme, il serait intéressant de mettre à disposition cette ligne de base au travers d'un défi TextMine<fnref n="7" /> ou Kaggle<fnref n="8" />. Ces travaux pourraient aussi servir aux maisons d'édition, afin de filtrer leur chaîne éditoriale en amont, par l'identification et le signalement de potentiels problèmes aux éditeurs en charge d'organiser l'évaluation par les pairs. Nous avons constitué cette ligne de base afin que toute personne, désireuse de travailler sur l'extraction d'acronymes torturés, puisse s'y référer.

Disponibilité des données

Les données de test supportant cette étude sont disponibles sur Zenodo<fnref n="9" />.

<footnote n="7">7. https://textmine.sciencesconf.org/</footnote>

<footnote n="8">8. https://kaggle.com/</footnote>

<footnote n="9">9. https://doi.org/10.5281/zenodo.10492230</footnote>
Remerciements

Le projet NanoBubbles bénéficie d'un financement Synergy grant du Conseil de la re-
cherche européenne (European Research Council, ERC), dans le cadre du programme Horizon
2020 de l'Union Européenne, numéro de contrat 951393.

Références

Pennington, J., Socher, R. et Manning, C. (2014). *GloVe: Global Vectors for Word Rep-
resentation*. In Proceedings of the Conference on Empirical Methods in Natural Lan-
guage Processing (EMNLP’2014), ACL, Octobre 2014, p. 1532–1543 (DOI : https:
//doi.org/10.3115/v1/D14-1162).

Joulin, A., Grave, E., Bojanowski, P., Douze, M., Jégou, H et Mikolov, T. (2016). *FastText.zip: Compressing text classification models*. arXiv (DOI: https://doi.org/10.48550/arXiv.1612.03651)

Devlin, J., Chang, M.-W., Kenton, L. et Toutanova, K. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv (DOI: https://doi.org/10.48550/arXiv.1810.04805).

Beltagy, I., LO, K. et Cohan, A. (2019). *SciBERT: A Pretrained Language Model for Scientific Text*. arXiv (DOI: https://doi.org/10.48550/arXiv.1903.10676).

Raffel, C., Shazerr, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W et Liu, P.-
J. (2020). *Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer*.
Journal of Machine Learning Research, vol. 21 (140), 2020, p. 1–67 (URL: https://
jmlr.org/papers/v21/20-074.html).

Biagioli, M. et Lippman, A. (2020). *Gaming the Metrics: Misconduct and Manipulation in Academic Research*. MIT Press, 2020, 307 p. (DOI: https://doi.org/10.7551/mitpress/11087.001.0001).

Barbour, B. et Stell, B.-M. (2020). PubPeer: Scientific Assessment Without Metrics. Gaming the Metrics : Misconduct and Manipulation in Academic Research, MIT Press, 2020, ch. 11 (DOI: https://doi.org/10.7551/mitpress/11087.003.0015).

Cabanac, G., Labbé, C. et Magazinov, A. (2021). *Tortured phrases: A dubious writing style emerging in science. Evidence of critical issues affecting established journals*. arXiv (DOI: https://doi.org/10.48550/arXiv.2107.06751).

Cabanac, G., Labbé, C. et Magazinov, A. (2022). *The ‘Problematic Paper Screener’ automatically selects suspect publications for post-publication (re)assessment*. CoRR, vol. abs/2107.06751 (DOI: https://doi.org/10.48550/arXiv.2210.04895).

Lay, P., Landschat, M. et Labbé, C. (2022). *Investigating the detection of Tortured Phrases in Scientific Literature*. In Proceedings of the Third Workshop on Scholarly Document Processing (SDP’2022), ACL, Octobre 2022, p. 32–36 (DOI: https://doi.org/10.48550/arXiv.2210.13024).

Kashnitsky, Y., Herrmannova, D., Waard, de, A., Tsatsaronis, G., Fennell, C. et Labbé, C. (2022). *Overview of the DAGPap22 Shared Task on Detecting Automatically Generated*
*Scientific Papers*. In Proceedings of the Third Workshop on Scholarly Document Processing (SDP’2022), ACL, Octobre 2022, p. 210–213 (URL: https://aclanthology.org/ 2022.sdp-1.4/).

Becker, J., Wahle, J.-P., Ruas, T. et Gipp, B. (2023). *Paraphrase Detection: Human vs. Machine Content*. arXiv (DOI: https://doi.org/10.48550/arXiv.2303.13989).

**Summary**

Public policies push researchers to steadily publish scientific articles in reputable journals. This pressure leads a minority of unscrupulous people to commit fraud, notably by resorting to tortured phrases to disguise plagiarism. Sometimes this type of content is not detected by the peer review process, leading to its publication. In order to decontaminate the scientific literature, we propose a tortured acronym extraction task to detect fraudulent publications. A benchmark is run using a corpus of 75 tortured scientific articles in open access, with an acronym extraction and classification pipeline. We obtained an F-score of 0.74 for the tortured acronym extraction task, which can be improved by enriching the dataset. We have created a baseline against which anyone wishing to improve this task can refer to.
Extraction d'acronymes torturés dans la littérature scientifique

<table><thead><tr><th>Caractéristique</th><th>Non torturé</th><th>Torturé</th><th>Classe</th><th>Suspect</th></tr></thead><tbody><tr><td>Fautes de frappe</td><td>-</td><td>-</td><td></td><td>Tru-Positive (TP) - 47 acronymes de 29 sources distinctes</td></tr><tr><td>Même nombre d'initiales (1)</td><td>Pain Dysfunction Syndrome (PDS) - 398 acronymes de 68 sources distinctes</td><td>Concealed Markov Display (HMM) - 253 acronymes de 69 sources distinctes</td><td>Display</td><td>-</td></tr><tr><td>Nombre différent d'initiales (2)</td><td>Centers for Diseases Control and Prevention (CDC) - 50 acronymes de 31 sources distinctes</td><td>Summed Up Direct Models (GLM) - 75 acronymes de 37 sources distinctes</td><td>Models</td><td>-</td></tr><tr><td>Mots composés (3)</td><td>Intraocular Pressure (IOP) - 72 acronymes de 35 sources distinctes</td><td>Multidrug Safe (MDR) - 11 acronymes de 10 sources distinctes</td><td>Models</td><td>-</td></tr><tr><td>Composés chimiques (4)</td><td>3-Aminopropyltriethoxysilane (3-APTES) - 43 acronymes de 5 sources distinctes</td><td>Diethylenetriamine Pentaacetic Ruinous (DTPA) - 4 acronymes de 2 sources distinctes</td><td>Acetic</td><td>-</td></tr><tr><td>Formes réduites (5)</td><td>Residual Networks (ResNets) - 5 acronymes de 3 sources distinctes</td><td>L lingering Brain Organizations (ResNet) - 7 acronymes de 6 sources distinctes</td><td>Brain Organizations</td><td>-</td></tr><tr><td>Semi-acronymes</td><td>Gabor-HOG (GHOG) - 12 acronymes de 9 sources distinctes</td><td>Non-straight ARMA models (NARMA) - 12 acronymes de 9 sources distinctes</td><td>Models</td><td>-</td></tr><tr><td>Nombres</td><td>Three-Dimensional (3D) - 2 acronymes de 2 sources distinctes</td><td>Fifth-age (5G) - 1 occurrence</td><td>Cooperation</td><td>-</td></tr><tr><td>Synonymes</td><td>-</td><td>-</td><td>Human PC Interface/Cooperation (HCI) - 1 occurrence</td><td>-</td></tr><tr><td>Suffixes supplémentaires</td><td>-</td><td>-</td><td>PC Assisted Determination (CADx) - 1 occurrence</td><td>-</td></tr><tr><td>Acronymes hallucinés</td><td>-</td><td>-</td><td>Bolster Vector Machine (BVM) - 1 occurrence</td><td>-</td></tr></tbody></table>

TAB. 1 – Caractéristiques des acronymes par classe. Les comptages effectués ne tiennent pas compte du nombre d'occurrence d'un même acronyme dans une même source. Les sources peuvent comporter des acronymes de caractéristiques différentes. La classe des mots composés est distincte de celle du nombre différent d'initiales mais peut très bien englober celle des composés chimiques, une distinction a été faite car il pourrait être pertinent d'utiliser un lexique pour vérifier si un composé chimique est torturé ou non. Nous nous focalisons sur les caractéristiques (1) à (5), communes aux deux classes, qui représentent au total entre 95,63 et 97,59 % de celles-ci (voir Figure 3).
# Normalisation automatique de variables issues de bases de données en agroécologie

Oussama Mechhour*, **, *, Sandrine Auzoux*, **,
Clément Jonquet*, **, Mathieu Roche*, **

*CIRAD, UPR AIDA & UMR TETIS, F-34398 Montpellier, France
prenom.nom@cirad.fr

**AIDA, Univ Montpellier, CIRAD, La Réunion, France

***TETIS, Univ Montpellier, AgroParisTech, CIRAD, CNRS, INRAE, Montpellier, France

****MISTEA, Univ Montpellier, INRAE, Institut Agro, Montpellier, France
prenom.nom@inrae.fr

**Résumé.** L'objectif de ces travaux est de proposer et évaluer des méthodes de mise en correspondance entre des variables sources <fnref n="1" /> et des variables candidates du domaine de l'agroécologie <fnref n="2" /> (en anglais). Le but de notre démarche est d'aider l'expert à normaliser les bases de données, ainsi qu'à lier les variables sources aux variables candidates des dictionnaires des modèles utilisés en agroécologie (AEGIS <fnref n="4" />).

# 1 Introduction

La mesure de similarité entre variables constitue un problème reconnu, en particulier dans notre cas d'étude impliquant des données textuelles. Cette complexité émerge de la diversité des langues, engendrant des problèmes tels que la synonymie et la prise en compte du contexte.

Dans cet article, nous nous concentrons sur la mesure de similarité des variables utilisées dans la culture de la canne à sucre, un domaine très spécifique et peu étudié en fouille de textes. L'objectif principal de ce travail est double : résoudre la problématique de l'hétérogénéité des variables utilisées par les chercheurs, appelée variables sources (chaque chercheur ayant sa propre méthode de nomination et de description de ces variables), grâce à l'aide d'experts pour normaliser les bases de données et lier ces variables aux variables candidates (dictionnaires des modèles utilisés en agroécologie, AEGIS). D'autre part, nous visons le développement d'une interface web permettant l'application des mesures décrites dans l'article (cf. Section 3) et d'autres fonctionnalités (cf. Section 3.4). Des efforts ont été déployés pour établir une similarité entre les variables sources et candidates stockées dans le système d'information AEGIS.

<footnote n="1">1. Ce sont des variables issues des travaux de recherche dans le domaine de l'agroécologie, et pour cet article, le travail s'est focalisé sur des données spécifiques liées à la culture de la canne à sucre.</footnote>

<footnote n="2">2. Ces variables, composées de termes sémantiques issus de connaissances expertes et d'ontologies de référence, ont été spécifiquement définies dans le but de faciliter la comparaison et l'analyse des données, ainsi que d'établir des liens avec des modèles de culture tels que Modèle STICS. ³</footnote>

<footnote n="4">4. AEGIS, développé par le CIRAD (Auzoux, 2019), est une plateforme en ligne qui permet de stocker et exploiter des données provenant d'expérimentations en agroécologie menées dans les pays du Sud.</footnote>
TAB. 1 présente des exemples des noms de ces deux types de variables, sachant que chaque nom d'une variable source ou candidate se compose de deux parties : son nom avant le dernier _ et son unité de mesure après le dernier _ . Nos travaux vont consister à mettre en place des me- sures de similarité pour la mise en lien des variables d'agroécologie. Pour illustrer l'importance de l'intégration de mesure de similarité des variables, prenons l'exemple du products matching (Tracz et al., 2020), qui permet de recommander automatiquement des produits similaires aux préférences des clients de manière efficace en termes de temps et de coût.

Cet article est structuré de la manière suivante. La section 2 présente une revue de litté-
rature des différentes approches appliquées pour résoudre la problématique de la similarité
entre chaînes de caractères, une question qui a été étudiée dans plusieurs travaux de recherche,
y compris dans le domaine de l'agroécologie. La section 3 décrit les approches proposées
(lexicale, contextuelle et combinaison) pour mesurer la similarité entre les variables et le dé-
veloppement d'une interface web pratique pour appliquer ces approches. La section 4 présente
les méthodes de prétraitement des données appliquées, les résultats précédents et actuels, ainsi
que la discussion montrant les meilleurs résultats pour chaque mesure (lexicale et contex-
tuelle), ainsi que les améliorations des résultats. La section 5 conclut cet article et met en avant
les perspectives de notre étude.

2 État de l'art

Dans cette revue de littérature, nous abordons la problématique de la similarité entre chaînes de caractères, qui a été étudiée dans plusieurs travaux de recherche. Ces travaux se divisent généralement en deux approches distinctes : (1) approche ne prenant pas en compte de contexte (cf. Section 2.1), approche prenant en compte un contexte (cf. Section 2.2).

## 2.1 Approche ne prenant pas en compte de contexte

Dans cette approche, les travaux se concentrent principalement sur des mesures de simila-
rité générales qui ne prennent pas en compte le contexte spécifique de l'agroécologie. Ils uti-
lisent des méthodes telles que TF-IDF (Term Frequency, Inverse Document Frequency) (Jones,
1972), BM-25 (Okapi BM-25) (Robertson et al., 1994), la distance de Levenshtein (Levensh-
tein, 1966), la distance de Jaccard (Jaccard, 1901) et des modèles de descriptions des variables
comme I-ADOPT framework<fnref n="5" /> pour évaluer la similarité entre les variables. La distance de
Levenshtein permet de calculer le nombre de changements nécessaires entre deux chaînes de
caractères. Pour mieux appréhender le fonctionnement de la distance de Levenshtein, exami-
nons l'exemple suivant : considérons les mots agro-écologie et agroécologie. La distance de
Levenshtein entre ces deux mots est de 1, car il suffit de supprimer le tiret pour les transformer
l'un en l'autre.

La mesure TF-IDF (Jones, 1972) est une méthode classique pour évaluer l'importance des termes dans un document par rapport à une collection de documents. Elle représente la fréquence du terme dans le document. Elle est calculée en divisant le nombre d'occurrences du terme par le nombre total de termes dans le document. La formule mathématique de TF pour un terme *t* dans un document *d* est donnée par :

<footnote n="5">5. https://www.rd-alliance.org/group/interoperable-descriptions-observable-property-terminology-wg-i-adopt-wg/wiki/i-adopt</footnote>
$$TF(t, d) = \frac{\text{nombre d'occurrences de } t \text{ dans } d}{\text{nombre total de termes dans } d}$$

L'IDF mesure l'importance globale d'un terme dans la collection de documents. Elle est calculée en prenant le logarithme inverse de la proportion du nombre total de documents sur le nombre de documents contenant le terme. La formule mathématique de IDF pour un terme t dans une collection de documents est donnée par :

$$IDF(t) = \log \left( \frac{\text{nombre total de documents}}{\text{nombre de documents contenant } t} \right)$$

La mesure TF-IDF est obtenue en multipliant la valeur de TF par la valeur de IDF pour chaque terme. Ainsi, les termes qui sont fréquents dans un document particulier tout en étant rares dans l'ensemble de la collection auront une valeur TF-IDF plus élevée. Cependant, non-tons que ces approches peuvent présenter certaines limites pour capturer la similarité séman-tique et de prendre en compte le contexte spécifique de l'agroécologie. Cette approche a été abordée dans un travail précédent (Ngaba, 2022), où la distance de Levenshtein a été utilisée comme mesure de similarité entre les noms des deux types de variables. De plus, le TF-IDF et la mesure cosinus (Manning et al., 2008) ont été utilisés respectivement pour la vectorisation des descriptions et la mesure de similarité entre ces vecteurs. Ces deux techniques ont ensuite été combinées dans une méthode appelée combinaison (cf. Section 3.3). Cependant, il est im-portant de noter que l'utilisation du TF-IDF et Levenshtein dans cette approche ne tient pas compte du contexte spécifique de l'agroécologie, ce qui peut limiter les résultats obtenus.

Le framework I-ADOPT (InteroperAble Descriptions of Observable Property Termino-logy), faisant partie des modèles de description des variables scientifiques, de la RDA<fnref n="6" /> vise à aborder le volet 'I' (interoperability) des principes FAIR<fnref n="7" />. Une variable est la combinaison de tous les composants descriptifs considérés comme nécessaires pour comprendre ce qui a réellement été observé, mesuré, simulé ou calculé. Elle décrit ce qui a été observé, mesuré, simulé ou calculé, indépendamment de L'endroit, de la manière, et du moment où l'acquisition des données a eu lieu. Par exemple, Concentration of endosulfan sulfate in the flesh of Ostrea edulis expressed per unit wet weight. La variable la plus simple requiert au moins un Ob-jectOfInterest et une Property. Cependant, une variable plus complexe impliquerait davantage d'entités ayant le rôle de Matrix et/ou ContextObject(s). Property représente la qualité d'un ObjectOfInterest, agissant comme un élément dépendant et une caractéristique de ObjectO-fInterest. Les propriétés peuvent être exprimées en tant que types de quantité (QuantityTypes) ou types de qualité (QualityTypes) lorsqu'elles sont observées, mesurées, calculées ou simu-lées, par exemple : hauteur, couleur, vitesse, concentration, densité. ObjectOfInterest désigne l'entité qui joue le rôle de la cible d'observation pour laquelle la propriété est observée. Par exemple, dans Concentration of endosulfan sulfate in the flesh of Ostrea edulis expressed per unit wet weight 'Endosulfan sulfate' est l'ObjectOfInterest. ContextObject est l'entité qui joue un rôle descriptif pour fournir le contexte de ObjectOfInterest. Par exemple, dans Concentra-tion of endosulfan sulfate in the flesh of Ostrea edulis expressed per unit wet weight 'Ostrea edulis' est le ContextObject. Matrix désigne l'entité qui joue le rôle du contexte matériel de

<footnote n="6">6. https://www.rd-alliance.org/</footnote>

<footnote n="7">7. Les principes FAIR (Findable, Accessible, Interoperable, Reusable) décrivent comment les données doivent être organisées pour être plus facilement accessibles, comprises, échangeables et réutilisables.</footnote>
ObjectOfInterest. Par exemple, dans *Concentration of endosulfan sulfate in the flesh of Ostrea edulis expressed per unit wet weight 'Flesh' est la Matrix.*

À notre connaissance, aucune recherche dans le domaine de l'agroécologie n'a encore mis en oeuvre la combinaison des approches ne prenant pas en compte de contexte et de celles prenant en compte un contexte (cf. Section 2.2). Par conséquent, notre travail vise à combler cette lacune en explorant la faisabilité et l'efficacité de cette méthode dans le contexte spécifique de l'agroécologie.

## 2.2 Approche prenant en compte un contexte

Cette approche utilise des techniques qui prennent en considération un contexte, comme FastText (Bojanowski et al., 2016), Word2Vec (Mikolov et al., 2013) et les modèles de langues (Jurafsky et Martin, 2019). Ces derniers jouent un rôle essentiel dans le domaine du traitement automatique du langage naturel. Ils visent à capturer les structures et les relations linguistiques dans un corpus de texte pour générer des prédictions précises. Dans cette sous-section, nous aborderons les différents types de modèles de langues, en commençant par les n-grammes (Jurafsky et Martin, 2019), puis en discutant des modèles basés sur les RNNs (Recurrent Neural Networks) (Yin et al., 2017) et les LSTM (Long Short-Term Memory) (Hochreiter et Schmidhuber, 1997), pour finalement présenter les modèles de langues basés sur les transformers, tels que BERT (Bidirectional Encoder Representations from Transformers) (Devlin et al., 2018).

**n-grammes** : les modèles de langues (Jurafsky et Martin, 2019) basés sur les n-grammes sont parmi les plus simples. Ils reposent sur l'idée d'exploiter les fréquences d'apparition des n-grammes (séquences de mots) dans un corpus pour prédire le mot suivant. Par exemple, un modèle de langue basé sur les trigrammes considère les deux mots précédents pour prédire le prochain mot. Bien que les n-grammes soient faciles à mettre en oeuvre et puissent fournir des résultats acceptables pour des tâches de langage simples, ils présentent des limites majeures. L'une des principales faiblesses des n-grammes est leur incapacité à capturer les dépendances à long terme entre les mots, ce qui limite leur capacité à générer des séquences de mots cohérentes.

**RNNs et LSTM** : pour remédier aux limites des modèles de langues basés sur les n-grammes, les RNNs ont été introduits. Les RNNs sont conçus pour traiter des séquences de données, ce qui les rend bien adaptés pour modéliser les séquences de mots dans un texte. Cependant, les RNNs traditionnels souffrent du problème du *vanishing gradient* et ont du mal à capturer des dépendances à long terme. Les LSTM sont une extension des RNNs qui permettent de mieux gérer les dépendances à long terme. Grâce à l'utilisation de portes de mémoire, les LSTM peuvent décider de conserver, de modifier ou d'oublier certaines informations, ce qui améliore la capacité du modèle à capturer des dépendances à plus long terme. Cependant, même les LSTM ont leurs limites. Ils peuvent avoir du mal à capturer des relations complexes entre les mots et peuvent souffrir de problèmes de surapprentissage lorsqu'ils sont confrontés à de grands ensembles de données.

**Modèles de langues fondés sur les transformers** : les modèles de langues basés sur les transformers (Vaswani et al., 2017), tels que BERT (Devlin et al., 2018), ont révolutionné le domaine du TALN (Ranjan et al., 2016) ces dernières années. Les transformers exploitent une
architecture d'attention (Vaswani et al., 2017; Niu et al., 2021) pour capturer les relations entre
tous les mots d'une séquence, à la fois dans le contexte avant et après. Cette approche bidirec-
tionnelle permet au modèle de comprendre plus efficacement les relations sémantiques com-
plexes dans le texte. BERT a été largement reconnu pour ses performances exceptionnelles
dans de nombreuses tâches de TALN (Ranjan et al., 2016), y compris la compréhension de
texte, la traduction et le résumé automatique. Son architecture transformer lui permet de captu-
rer de manière plus précise les dépendances à long terme par rapport aux modèles précédents.
De plus, BERT peut être pré-entraîné sur de vastes corpus non supervisés, ce qui lui permet
d'acquérir une connaissance linguistique riche et de s'adapter à diverses tâches spécifiques.
BERT (Devlin et al., 2018) est un modèle de langues pré-entraîné sur de vastes corpus, tels que
Wikipedia, qui utilise le mécanisme d'attention (Vaswani et al., 2017; Niu et al., 2021) pour
comprendre le contexte des mots. Il prend en compte à la fois le contexte à gauche et à droite
de chaque mot, ce qui lui permet de capturer les informations contextuelles de manière précise.
Cette capacité à saisir le contexte permet à BERT de générer des représentations vectorielles
de mots riches en sémantique. Il convient de noter qu'il existe deux types de modèles BERT
couramment utilisés : BERT-base (Devlin et al., 2018) et BERT-large (Devlin et al., 2018).

3 Approches proposées

Dans le cadre de la problématique abordée dans l'introduction, qui est très spécifique et peu étudiée en fouille de textes, en plus de la création d'une interface web, différentes méthodes de fouille de texte sont utilisées pour proposer les variables candidates les mieux adaptées aux variables sources. Les méthodes suivantes sont mobilisées : (1) Des mesures lexicales, (2) Des mesures contextuelles et (3) La combinaison de ces deux dernières.

Dans un premier temps, notre démarche consiste à évaluer la similarité entre chaque va-
riable source (au nombre de 84) et l'ensemble des 84 variables candidates, en les classant de la
plus similaire à la moins similaire, en se basant uniquement sur les noms et les descriptions des
variables. Par la suite, nous avons enrichi notre méthode en incorporant 15 articles en anglais
représentatifs du domaine de l'agroécologie, constitués manuellement avec l'aide de 3 experts.
Chaque article a une moyenne de 79 399 mots, contribuant ainsi à un corpus final (composé de
15 articles, des noms et des descriptions des variables sources et candidates) totalisant 5 620
198 mots. FIG. 1 illustre la similarité entre les variables sources et candidates en utilisant 15
articles en anglais comme informations supplémentaires. Pour la similarité sans contexte (se
basant uniquement sur les noms et les descriptions des variables), le principe reste le même,
mais les articles sont exclus. Pour l'évaluation des résultats, nous utilisons un fichier .csv qui
contient le nom de chaque variable source et son vrai nom de sa variable candidate. TAB. 1
montre les 4 premières lignes de ce fichier à titre d'exemple, mais en totalité, nous avons 84
variables sources et 84 variables candidates.
<figure><img src="image_14.png" /><figcaption>FIG. 1 – Correspondance des variables avec enrichissement contextuel.</figcaption></figure>

<table><caption>TAB. 1 – Exemples de noms de variables sources et candidates (en anglais).</caption><thead><tr><td>Variable source</td><td>Variable candidate</td></tr></thead><tbody><tr><td>Yield_CAS_t_ha-1</td><td>stem_crop_yield_fm_t_ha-1</td></tr><tr><td>Sugar_CAS_%</td><td>stem_sugar_fm_content_%</td></tr><tr><td>Rec_pds_R_%</td><td>plant_ground_cover_%</td></tr><tr><td>Rec_globale_plein_%</td><td>plant_ground_cover_%</td></tr></tbody></table>

## 3.1 Mesure lexicale

Le but de l'approche lexicale est de comparer les variables à travers leurs noms. Dans le cadre de cette approche, la distance de Levenshtein (Levenshtein, 1966), la distance de Jaccard (Jaccard, 1901), TF-IDF (Jones, 1972), BM-25 (Robertson et al., 1994), FastText (Bojanowski et al., 2016), Word2Vec (Mikolov et al., 2013) ainsi que des modèles de langues tels que BERT-base (Devlin et al., 2018), BERT-large (Devlin et al., 2018), XLNet (Yang et al., 2019) et RoBERTa (Liu et al., 2019) ont été utilisés.

## 3.2 Mesure contextuelle

Le but de l'approche contextuelle est de comparer les variables à travers leurs descriptions. Dans cette approche, nous utilisons deux types de méthodes : sans contexte 8, comme TF-IDF (Jones, 1972) et BM-25, et avec contexte 9, en utilisant FastText (Bojanowski et al., 2016), Word2Vec (Mikolov et al., 2013) et des modèles de langues tels que BERT-base (Devlin et al., 2018), BERT-large (Devlin et al., 2018), XLNet (Yang et al., 2019) et RoBERTa (Liu et al., 2019).

<footnote n="8">8. Les méthodes qui ne prennent pas en considération un contexte se basent principalement sur des mesures de similarité ou de fréquence de termes.</footnote>

<footnote n="9">9. Les méthodes qui prennent en compte de contexte utilisent souvent des modèles linguistiques avancés, tels que BERT.</footnote>
### 3.3 Combinaison

La méthode que nous proposons permet de combiner les mesures lexicales et contextuelles afin d'améliorer la précision de la similarité des variables. Cette méthode est définie par la formule suivante :

$$ \text{combinaison} = \alpha \cdot X + (1 - \alpha) \cdot Y $$

où $\alpha \in ]0,1[$ est un facteur de pondération attribué à X et Y. Il est utilisé pour contrôler l'influence respective de X et Y (où X et Y représentent la mesure cosinus dans le travail actuel, mais dans le travail de (Ngaba, 2022), X représente le cosinus et Y représente la distance de Levenshtein) dans la combinaison finale. Après avoir effectué la vectorisation des noms et des descriptions des variables en utilisant les approches lexicales et contextuelles, nous appliquons la mesure cosinus pour évaluer la similarité entre les variables sources et les variables candidates. L'utilisation de ce paramètre ($\alpha$) permet un réglage précis du degré d'importance attribué à X et Y dans la combinaison. Dans cette étude, nous avons exploré les valeurs de ce paramètre dans la plage de 0,1 à 0,9, avec un pas de 0,01.

### 3.4 Interface graphique

Au cours de ce travail, une interface web<fnref n="10" />, a été développée pour fournir aux chercheurs un outil pratique. Elle prend en compte 4 fichiers texte : noms des variables sources, noms des variables candidates, descriptions des variables sources et descriptions des variables candidates. Elle leur permet d'appliquer les mesures de similarité entre les variables sources et les variables candidates expliquées dans la section 3.

## 4 Expérimentations

Après avoir expliqué les approches proposées, nous détaillons ici l'étape de préparation du jeu de données. Ensuite, nous montrerons nos résultats et les comparerons avec les résultats précédents (Ngaba, 2022).

### 4.1 Préparation du jeu de données

La préparation des données textuelles joue un rôle essentiel. Elle vise à transformer les noms et les descriptions des variables en une forme appropriée pour faciliter leur comparaison et leur similarité. Il existe plusieurs logiciels pour la préparation de données, tels qu'OpenRefine (Petrova-Antonova et Tancheva, 2020) et Trifacta (Petrova-Antonova et Tancheva, 2020). Cependant, pour notre travail, nous avons appliqué nos propres méthodes pour la préparation des variables (noms et descriptions). Voici l'ordre de leur application :

1. **clean_text()**: Cette fonction est utilisée pour nettoyer les variables sources et candidates. Elle élimine les nombres, les parenthèses<fnref n="11" /> et leur contenu, et convertit les noms et les descriptions en minuscules. En normalisant les variables, cette étape facilite la comparaison et l'alignement ultérieur.

<footnote n="10">10. https://drive.google.com/drive/folders/1NRUoG4LxAIXGnqMYsNz9QRQnylAVyWJl</footnote>

<footnote n="11">11. La suppression des parenthèses et de leur contenu a amélioré les performances. Cependant, pour les travaux futurs, nous explorerons comment tirer parti de ces informations.</footnote>
2. remove_stopwords() : Les stopwords sont des mots couramment utilisés dans la langue qui n'apportent pas de signification particulière dans le contexte de l'agroécologie. Cette fonction supprime ces mots fonctionnels, tels que les prépositions et les conjonctions. En éliminant les stopwords, nous nous concentrons sur les termes clés qui sont plus significatifs pour la mesure de similarité entre les variables.

3. lemmatize() : La lemmatisation est une technique linguistique qui consiste à ramener les termes à leur forme canonique ou à leur lemme. Elle permet de transformer les noms du pluriel au singulier et les verbes à leur forme infinitive. Par exemple, elle permet de ramener les termes rédige, rédiges et rédigé à leur forme de base rédiger. La lemmatisation facilite la mesure de similarité entre les termes similaires, améliorant ainsi la précision de l'alignement des variables.

4. remove_punctuation() : Cette fonction supprime la ponctuation des descriptions des variables. En éliminant les caractères spéciaux tels que les points, les virgules et les guillemets, nous évitons les interférences indésirables lors de la mesure de similarité entre les variables.

5. replace_synonyms() : Pour faciliter la mesure de similarité entre les variables, cette technique permet de remplacer certains mots par leurs synonymes. Par exemple, le mot degré peut être remplacé par niveau. En utilisant des termes équivalents, cette étape a amélioré la cohérence et la précision de l'alignement des variables.

Toutes les fonctions ont été appliquées à l'ensemble des descriptions des variables sources et candidates, tandis que seules les trois premières fonctions ont été utilisées pour les noms des variables. TAB. 2 présente trois exemples de noms de variables sources et leurs descriptions, tandis que TAB. 3 présente trois exemples de noms de variables candidates et leurs descriptions. Nous comptons un total de 84 variables sources et 84 variables candidates.

<table><caption>TAB. 2 – Exemples de noms et de descriptions des variables sources (en anglais).</caption><thead><tr><td>Nom</td><td>Description</td></tr></thead><tbody><tr><td>Yield_CAS_t_ha-1</td><td>Cane yield (in fresh machinable stem)</td></tr><tr><td>Sugar_CAS_%</td><td>Sugar content of fresh stem mass</td></tr><tr><td>Rec_globale_plein_%</td><td>full weed and service plant coverage</td></tr></tbody></table>

<table><caption>TAB. 3 – Exemples de noms et de descriptions des variables candidates (en anglais).</caption><thead><tr><td>Nom</td><td>Description</td></tr></thead><tbody><tr><td>stem_juice_crop_yield_l_ha-1</td><td>stem juice yield</td></tr><tr><td>stem_nonstalk_crop_yield_fn_t_ha-1</td><td>stem crop yield fresh mass</td></tr><tr><td>sugar_crop_yield DM_t_ha-1</td><td>sugar solid in stem</td></tr></tbody></table>

## 4.2 Comparaison des résultats

Notre objectif est de calculer la similarité de chaque variable source avec toutes les autres variables candidates, en les classant de la plus proche à la moins proche. La méthode qui nous intéresse est la combinaison, et nous nous concentrons spécifiquement sur les précisions à des positions inférieures à 10 (p@10). Noter que p@i représente la probabilité que la solution pertinente, c'est-à-dire la variable candidate qui correspond réellement à la variable source, soit parmi les i premières variables candidates proposées.
## 4.2.1 Méthode sans utiliser d'informations contextuelles

(Ngaba, 2022) a utilisé la distance de Levenshtein entre les noms, TF-IDF pour la vectorisation des descriptions, et le cosinus pour mesurer la similarité entre ces vecteurs. Les résultats obtenus avec $α = 0.3$ sont présentés dans TAB. 4.

Pour le travail actuel, l'architecture BERT-base avec 2 couches cachées a été utilisée pour la vectorisation des noms et des descriptions des variables, ce qui a conduit à de meilleurs résultats avec $α = 0.79$ et sans utilisation d'informations contextuelles (15 articles scientifiques). La mesure de similarité du cosinus a été utilisée pour évaluer les similitudes. Les résultats ont été améliorés (TAB. 5).

<table><caption>TAB. 4 – Résultats précédents en termes de précision (84 variables).</caption><thead><tr><th>Précision</th><th>Levenshtein (noms des variables)</th><th>TF-IDF + cosinus (descriptions des variables)</th><th>Combinaison</th></tr></thead><tbody><tr><td>p@1</td><td>15.48%</td><td>33.33%</td><td>41.67%</td></tr><tr><td>p@3</td><td>19.05%</td><td>42.86%</td><td>51.19%</td></tr><tr><td>p@5</td><td>23.81%</td><td>51.19%</td><td>64.29%</td></tr><tr><td>p@10</td><td>42.86%</td><td>60.71%</td><td>73.81%</td></tr></tbody></table>

<table><caption>TAB. 5 – Résultats actuels en termes de précision (84 variables).</caption><thead><tr><th>Précision</th><th>BERT-base + cosinus (noms des variables)</th><th>BERT-base + cosinus (descriptions des variables)</th><th>Combinaison</th></tr></thead><tbody><tr><td>p@1</td><td>11.90%</td><td>33.33%</td><td>41.67%</td></tr><tr><td>p@3</td><td>28.57%</td><td>44.05%</td><td>60.71%</td></tr><tr><td>p@5</td><td>36.90%</td><td>52.38%</td><td>69.05%</td></tr><tr><td>p@10</td><td>53.57%</td><td>57.14%</td><td>79.76%</td></tr></tbody></table>

## 4.2.2 Méthode utilisant le contexte

Pour le travail précédent, un corpus de documents a été utilisé dans l'étude menée par (Ngaba, 2022), dans le but d'améliorer le contexte des descriptions des variables et d'augmenter les résultats. Ce corpus est composé d'articles scientifiques, de chapitres d'ouvrages, de rapports et de thèses, se concentrant principalement sur les thèmes de la canne à sucre, de la fertilisation des sols, des plantes de service et des adventices. Au total, 122 documents, tous rédigés en anglais, ont été utilisés, variant en longueur de 5 à 160 pages. Pour plus d'informations, veuillez consulter le travail (Ngaba, 2022). TAB. 6 présente les résultats obtenus avec $α = 0.3$.

Pour le travail actuel, 15 articles scientifiques en anglais ont été utilisés. Ces articles ont été prétraités par les fonctions décrites dans la section 4.1, puis regroupés avec les noms et les descriptions des variables candidates et sources, tous prétraités et représentés dans un corpus unique (sous forme d'une liste de chaînes de caractères en Python), également appelé contexte. Ces données ont ensuite été pondérées avec TF-IDF pour constituer le vocabulaire. Pour la vectorisation des noms, des descriptions des variables et la mesure de similarité, l'architecture BERT-base avec 2 couches cachées, TF-IDF (utilisant 15 articles) et le cosinus ont été respectivement employés. Les résultats obtenus (TAB. 7) reposent sur $α = 0.25$.
Normalisation automatique de variables issues de bases de données en agroécologie

<table><caption>TAB. 6 – Résultats précédents en termes de précision (84 variables).</caption><thead><tr><th>Précision</th><th>Levenshtein (noms des variables)</th><th>TF-IDF + cosinus (descriptions des variables)</th><th>Combinaison</th></tr></thead><tbody><tr><td>p@1</td><td>15.48%</td><td>33.33%</td><td>44.05%</td></tr><tr><td>p@3</td><td>19.05%</td><td>42.86%</td><td>55.95%</td></tr><tr><td>p@5</td><td>23.81%</td><td>51.19%</td><td>64.29%</td></tr><tr><td>p@10</td><td>42.86%</td><td>60.71%</td><td>73.81%</td></tr></tbody></table>

<table><caption>TAB. 7 – Résultats actuels en termes de précision (84 variables).</caption><thead><tr><th>Précision</th><th>BERT-base + cosinus (noms des variables)</th><th>TF-IDF + cosinus (descriptions des variables)</th><th>Combinaison</th></tr></thead><tbody><tr><td>p@1</td><td>11.90%</td><td>29.76%</td><td>52.38%</td></tr><tr><td>p@3</td><td>28.57%</td><td>42.86%</td><td>66.67%</td></tr><tr><td>p@5</td><td>36.90%</td><td>51.19%</td><td>71.43%</td></tr><tr><td>p@10</td><td>53.57%</td><td>64.29%</td><td>80.95%</td></tr></tbody></table>

## 4.3 Discussion

Différentes méthodes ont été utilisées pour la vectorisation des noms de variables (cf. Section 3.1). Parmi ces méthodes, le modèle BERT-base avec 2 couches cachées a donné les meilleurs résultats (TAB. 8). De même, pour la vectorisation des descriptions des variables, plusieurs méthodes ont été explorées (cf. Section 3.2). Cependant, les meilleurs résultats ont été obtenus avec l'utilisation de TF-IDF (avec l'utilisation de 15 articles) (TAB. 9). À cet effet, TF-IDF a été entraîné sur un corpus composé des noms, des descriptions des variables et d'un contexte supplémentaire issu de 15 articles.

<table><caption>TAB. 8 – Les résultats en termes de précision obtenus pour la vectorisation des noms des variables (84 variables).</caption><thead><tr><th>Précision</th><th>BERT-base + cosinus</th><th>BERT-large + cosinus</th><th>XLNet + cosinus</th><th>RoBERTa + cosinus</th></tr></thead><tbody><tr><td>p@1</td><td>11.90%</td><td>11.90%</td><td>9.52%</td><td>7.14%</td></tr><tr><td>p@3</td><td>28.57%</td><td>17.86%</td><td>23.81%</td><td>11.90%</td></tr><tr><td>p@5</td><td>36.90%</td><td>25.00%</td><td>27.38%</td><td>19.05%</td></tr><tr><td>p@10</td><td>53.57%</td><td>27.38%</td><td>34.52%</td><td>28.57%</td></tr></tbody></table>

<table><caption>TAB. 9 – Les résultats en termes de précision obtenus pour la vectorisation des descriptions des variables (84 variables).</caption><thead><tr><th>Précision</th><th>BERT-large + cosinus</th><th>XLNet + cosinus</th><th>RoBERTa + cosinus</th><th>TF-IDF + cosinus</th></tr></thead><tbody><tr><td>p@1</td><td>21.43%</td><td>11.90%</td><td>14.29%</td><td>41.67%</td></tr><tr><td>p@3</td><td>32.14%</td><td>21.43%</td><td>21.43%</td><td>54.76%</td></tr><tr><td>p@5</td><td>38.10%</td><td>25.00%</td><td>22.62%</td><td>60.71%</td></tr><tr><td>p@10</td><td>50.00%</td><td>30.95%</td><td>23.81%</td><td>69.05%</td></tr></tbody></table>

Plusieurs combinaisons de méthodes ont été utilisées pour la vectorisation des variables. Les meilleurs résultats obtenus avec ces combinaisons sont tout à fait satisfaisants, avec une
précision allant de 52.38% à 80.95%, en considérant respectivement le premier jusqu'aux 10 premiers éléments retournés. En outre, nos résultats ont largement dépassé ceux de (Ngaba, 2022). Pour la méthode de combinaison, les résultats ont augmenté de 9.52%, 4.76% et 5.95% pour p@3, p@5 et p@10 respectivement. Pour la similarité (i) entre les noms, les résultats ont augmenté de 9.52%, 1.09% et 10.71% pour p@3, p@5 et p@10 respectivement, (ii) entre les descriptions, les résultats ont augmenté de 1.19% pour p@3 et p@5.

Notons enfin que les expérimentations réalisées avec la mesure de Jaccard ont montré une augmentation de p@1 (p@1 = 58.33%), p@3 (70.24%) et p@5 (73.81%), mais en réduisant la précision pour p@10 (78.57%). Okapi BM-25, Fastext, GloVe et Word2Vec ont donné des résultats peu satisfaisants qu'il faudra approfondir dans les futurs travaux.

# 5 Conclusion et perspectives

Dans nos travaux, plusieurs approches ont été testées pour mesurer la similarité entre les variables sources et candidates, notamment l'utilisation du modèle BERT-base qui a donné de meilleurs résultats pour la vectorisation des noms de variables. Pour les descriptions des variables, la méthode TF-IDF avec l'enrichissement contextuel de 15 articles scientifiques en anglais a obtenu les meilleurs résultats. Des travaux complémentaires pourraient consister à explorer l'application de modèles génératifs tels que Chat-GPT pour générer un contexte de variables. Enfin, nous envisageons d'appliquer des modèles de description de variables scientifiques, tels que I-ADOPT de la RDA. Notre approche consistera à utiliser ce framework pour décrire nos variables, puis à évaluer la similarité entre les variables sources et candidates.

**Remerciements** : Ce travail est financé par l'Agence Nationale de la Recherche (ANR) au titre de France 2030 portant la référence ANR-16-CONV-0004 (#DigitAg) et par le programme de recherche et d'innovation Horizon Europe dans le cadre de la convention 101081973 - IntercropValuES. Ce travail a bénéficié du soutien du Conseil régional de La Réunion, du ministère français de l'Agriculture et de l'Alimentation, de l'Union européenne (programme Feader, subvention AG/974/DAAF/2016-00096 et programme Feder, subvention GURTDI 20151501-0000735).

# Références

Auzoux, S. (2019). Aegis, an extended information system to support agroecological transition for sugarcane industries. In *ISSCT*.

Bojanowski, P., E. Grave, A. Joulin, et T. Mikolov (2016). Enriching word vectors with sub-word information. *arXiv preprint arXiv :1607.04606*.

Devlin, J., M. W. Chang, K. Lee, et K. Toutanova (2018). Bert : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the Conference of the North American Chapter of the ACL : Human Language Technologies*, pp. 4171–4186.

Hochreiter, S. et J. Schmidhuber (1997). Long short-term memory. *Neural computation* 9(8), 17351780.

Jaccard, P. (1901). Distribution de la flore alpine dans le bassin des dranses et dans quelques régions voisines. *Bulletin de la Societe Vaudoise des Sciences Naturelles* 37, 241-72.
Jones, K. S. (1972). A statistical interpretation of term specificity and its application in retrieval. *Journal of documentation*.

Jurafsky, D. et J. H. Martin (2019). *Speech and Language Processing (3rd Edition)*. Pearson.

Levenshtein, V. (1966). Binary codes capable of correcting deletions, insertions, and reversals. *Soviet Physics Doklady* **10**(8), 707–710.

Liu, Y., M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, et V. Stoyanov (2019). Roberta: A robustly optimized bert pretraining approach. *arXiv preprint arXiv:1907.11692*.

Manning, C. D., P. Raghavan, et H. Schütze (2008). *Introduction to Information Retrieval*. Cambridge University Press.

Mikolov, T., K. Chen, G. Corrado, et J. Dean (2013). Efficient estimation of word representations in vector space.

Ngaba, B. (2022). Rapport de stage : Couplage d'un modèle de culture avec une plateforme de capitalisation des données issues d'agroécosystèmes à la réunion.

Niu, Z., G. Zhong, et H. Yu (2021). A review on the attention mechanism of deep learning. *Neurocomputing* **452**, 4862.

Petrova-Antonova, D. et R. Tancheva (2020). Data cleaning : A case study with openrefine and trifacta wrangler. In *Int. Conf. on the Quality of Inf. and Com. Technology*, pp. 32–40.

Ranjan, N., K. Mundada, K. Phaltane, et S. Ahmad (2016). A survey on techniques in nlp. *International Journal of Computer Applications* **134**(8), 69.

Robertson, S., S. Walker, S. Jones, M. Hancock-Beaulieu, et M. Gatford (1994). Okapi at trec-3. pp. 0–.

Tracz, J., P. I. Wójcik, K. Jasinska-Kobus, R. Belluzzo, R. Mroczkowski, et I. Gawlik (2020). BERT-based similarity learning for product matching. In *Proceedings of Workshop on Natural Language Processing in E-Commerce*, pp. 66–75.

Vaswani, A., N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, . Kaiser, et I. Po-losukhin (2017). Attention is all you need. In *Advances in neural information processing systems 30*.

Yang, Z., Z. Dai, Y. Yang, J. Carbonell, R. Salakhutdinov, et Q. V. Le (2019). Xlnet : Generalized autoregressive pretraining for language understanding. In *arXiv preprint arXiv:1906.08237*.

Yin, W., K. Kann, M. Yu, et H. Schütze (2017). Comparative study of cnn and rnn for natural language processing. *arXiv preprint arXiv:1702.01923*.

Summary

The objective of this work is to propose and evaluate methods of matching between source variables and candidate variables from the agroecology domain (in English). The aim of our approach is to support the experts to standardize the databases, as well as to link the source variables to the candidate variables of the dictionaries of the models used in agroecology (i.e. AEGIS).
Approches linguistiques pour la fouille d'articles scientifiques

Iana Atanassova

CRIT, Université de Franche-Comté / Institut Universitaire de France (IUF)
iana.atanassova@univ-fcomte.fr

Résumé :

Dans cette présentation nous aborderons la problématique de la fouille de corpus scienti-
fiques en différentes disciplines et en plein texte. Nous montrerons des résultats de l'annotation
sémantique de corpus et l'extraction d'informations, par l'application d'approches fondées sur
les ressources linguistiques qui seront mis en perspective avec des méthodes par apprentissage.

Nous nous intéressons en particulier à la notion d'incertitude scientifique et à la possibilité
de l'identifier et la catégoriser dans les textes des publications.

Nous aborderons également la problématique du multilinguisme dans les articles à travers
une étude de corpus.
<figure><img src="image_15.png" /></figure>
# Optimiser l'annotation de données : évaluation critique des outils et présentation de Labelit

Mohamed Chetouani

Batvoice Technologies
mchetouani@batvoice.com

## Résumé :

L'importance cruciale des données dans le développement de l'intelligence artificielle met en lumière le rôle essentiel de l'annotation, une intervention humaine sur les données. Cette intervention peut prendre diverses formes telles que l'étiquetage, la segmentation, la description, l'évaluation ou la transcription de données. Les progrès significatifs dans le domaine de l'IA sont attribuables à la disponibilité de données de qualité annotées.

L'annotation est considérée comme une étape clé dans la conception de systèmes d'IA, et de nombreux outils d'annotation sont disponibles pour les domaines académiques et non académiques. Cependant, l'utilisation de plusieurs outils spécifiques pour différentes tâches d'annotation sur des données hétérogènes présente des défis.

La présentation examine divers outils d'annotation, se concentrant sur des critères tels que l'ouverture, la disponibilité en ligne, la maintenance et la personnalisation. Cette analyse révèle certaines limitations des outils actuels, telles que la difficulté de définir et de partager des stratégies d'annotation, le manque de transparence dans la gestion des données et les défis liés à la charge de travail des annotateurs.

En réponse à ces défis, la présentation introduit l'outil Labelit, un outil ouvert et en ligne (https://github.com/voicelab-org/labelit) initialement développé pour les besoins de Batvoice. Labelit facilite les campagnes d'annotation de tâches multiples sur des données audio, en particulier des appels téléphoniques, en assurant une gestion contrôlée des données et de la charge de travail des annotateurs. L'outil tire parti de technologies logicielles récentes, offrant une adaptabilité efficace à de nouvelles tâches, des changements de stratégie d'annotation et à l'annotation de données hétérogènes. Des cas d'utilisation illustreront les fonctionnalités de Labelit au cours de la présentation.
<figure><img src="image_16.png" /></figure>
# Indexation semi-supervisée abstractive-extractive de documents

Saber ZAHHAR*, Christophe RODRIGUES**

* zahhar.saber@gmail.com

** Research Center, Léonard de Vinci Pôle Universitaire, Paris La Défense, France christophe.rodrigues@devinci.fr

**Résumé.** L’indexation de documents est un enjeu majeur dans la facilitation d’accès à l’information et la veille scientifique. Du fait des coûts associés à l’indexation manuelle de documents par des professionnels, les auteurs et journaux optent généralement pour des méthodes automatiques. Cependant, on observe un monopole des méthodes dites extractives, i.e. générer des index correspondant aux mots présents dans le texte source. Avec la démocratisation des réseaux de neurones et jeux de données variés, il est aujourd’hui possible d’effectuer une génération abstractive, i.e. générer des mots-clés qui ne sont pas présents dans le texte source. Cet article présente une approche dans la génération d’index appartenant à un vocabulaire contrôlé. Nous illustrons l’application de cette méthode à différents types d’articles pour établir les limites actuelles de la situation.

# 1 Introduction

Les bibliothèques numériques servent de principal conduit pour l’accès, la préservation et l’organisation des connaissances. Cela est particulièrement évident dans le domaine de la publication scientifique, où l’exponentielle et incessante augmentation du nombre de publications entraîne diverses difficultés (Larsen and Von Ins, 2010). L’un des défis concerne le processus d’indexation des publications. Traditionnellement, les bibliothèques physiques utilisaient l’année de publication ou encore les noms d’auteurs pour organiser les documents ainsi que la catégorie pour classer les documents, e.g. "science-fiction" ou "sciences sociales". Ces index ne répondent plus adéquatement au besoin d’une indexation basée sur le contenu.

Les index, ou plus couramment appelés mots-clés, sont des mots et expressions qui encapsulent les idées fondamentales d'un document. Ces mots-clés offrent une représentation plus complète et fidèle des travaux publiés, avec le potentiel d'aider les moteurs de recherche à fournir de meilleurs résultats plus rapidement (Gutwin et al., 1999) ou encore à servir pour des tâches avancées comme l'analyse de sentiment (Berend et Vincze, 2012).

Alors que les mots-clés deviennent de plus en plus standard dans le processus de publication, une mise en œuvre informative et cohérente reste un défi considérable. En effet, en raison des coûts associés à l’attribution manuelle mots-clés par des professionnels, les auteurs se voient souvent confier cette tâche sans avoir particulièrement d’expertise ou formation adéquate (Strader, 2009; Kipp, 2011). Par conséquent, les mots-clés générés s’avèrent souvent inadéquats pour la recherche interdisciplinaire (Kwon, 2018). De plus, la majorité des
recherches se concentrent principalement sur l'extraction des mots-clés directement à partir du texte source, appelée méthode *extractive*. Ces méthodes ne contribuent pas à enrichir le document car elles ne font qu'extraire des données déjà présentes, le choix des mots pouvant être subjectif, cela n'apporte aucune aide à l'indexation qui se veut standardisée (Koh et al., 2022). L'état de l'art appelle à de nouvelles approches qui pourraient générer des mots-clés à partir de sources externes au matériel (Hulth, 2003), c'est-à-dire des méthodes *abstractives*.

Cet article est organisé en cinq sections. Dans la Section 2, nous effectuerons une analyse approfondie de l'état de l'art dans le domaine de l'indexation automatique d'articles. Par la suite (Section 3), nous exposerons notre méthodologie de modélisation en détaillant sa mise en œuvre pratique. En Section 4, nous étayerons notre approche au travers d'une série d'expériences. Enfin, dans la Section 5, nous partagerons nos conclusions quant à la situation actuelle et explorerons les voies envisageables pour l'indexation automatique.

# 2 État de l'art

## 2.1 Méthodes extractives

La disponibilité limitée de documents annotés de mots-clés a longtemps contraint les chercheurs à adopter des approches non supervisées d'indexation. Ainsi, les travaux initiaux se sont principalement concentrés sur des méthodes statistiques cherchant à capturer l'importance des candidats mots-clés (Tomokiyo and Hurst, 2003). En parallèle des méthodes statistiques s'est développée des approches graphes (Zha, 2002; Mihalcea and Tarau, 2004).

Les algorithmes de classification classiques ont prouvé leur capacité à rivaliser avec les méthodes non supervisées malgré le manque de données d'entraînement et les hypothèses relatives aux variables de ces dernières (Kim et al., 2010; Hasan and Ng, 2014).

Depuis l'avènement et démocratisation de l'apprentissage profond et ses applications, les conditions sont optimales pour pleinement tirer parti des vastes corpus de traitement automatique du langage naturel disponibles récemment. Plus précisément, les modèles de séquence à séquence ont gagné en importance (Sutskever et al., 2014), ouvrant ainsi une nouvelle voie d'exploration dans ce domaine. Dans l'ensemble, ces architectures ont établi un nouveau jalon dans le domaine (Ye and Wang, 2018) et démontrent maintenant des promesses dans le contexte de l'indexation de texte (Boudin et al., 2014).

## 2.2 Méthodes abstractives

En effet, ces modèles permettent la génération *abstractive* de mots-clés. (Hulth, 2003) a souligné la nécessité de générer, plutôt que d'extraire, des mots-clés. Des travaux ultérieurs ont tenté de développer des méthodes abstractives par l'attribution de mots-clés (Medelyan and Witten, 2006), mais la tendance s'est longtemps contentée des méthodes extractives. L'apprentissage profond peut ouvrir une nouvelle voie pour l'indexation abstractive de texte, mais le chemin ne sera pas facile car les données massives nécessaires et la faible généralisation des modèles séquentiels représentent un défi sérieux dans le développement d'un générateur de mots-clés unifié et polyvalent. Des suggestions récentes plaident en faveur d'une base de connaissances externe, telle que l'adaptation de domaine pour une indexation spécifique à la tâche (Le et Mikolov, 2014).
## 2.3 Modélisation du langage

Introduit par (Mikolov et al., 2013), Word2Vec est un ensemble de techniques neuronales qui tournent autour de la construction de représentations de mots dans un espace vectoriel. Doc2Vec (Le et Mikolov, 2014) étend les concepts de Word2Vec pour la représentation de documents identifiés par un index (Fig. 1). En entraînant un ensemble de paires index-document, il est possible de capturer la signification et relations des documents et index dans un même espace vectoriel, permettant des opérations comme "Londres - Royaume-Uni + France = Paris".

<figure><img src="image_17.png" /><figcaption>FIG. 1 – Exemple d’entraînement d’un modèle Doc2Vec.</figcaption></figure>

## 2.4 Synthèse de l'état de l'art

Nous observons que les méthodes extractives non-supervisées sont suffisantes pour ne pas requérir les méthodes supervisées, plus coûteuses à mettre en place pour un résultat similaire.

Parallèlement, force est de constater l'absence de méthodes abstractives performantes. De plus, ces méthodes ne sont pas nécessairement utiles dans le contexte d'indexation, qui consiste à générer des mots-clés à partir d'un vocabulaire contrôlé, et non pas juste paraphraser des termes, ce qui souvent mène à une perte d'information à cause de la généralisation des termes, ce qu'est l'opposé souhaité par l'indexation. L'évaluation même des méthodes abstractives reste très controversée en dehors du cadre de l'indexation car il est difficile de mesurer la qualité des mots-clés générés, que ce soit en terme de cohérence avec les concepts du document ou encore de la distance avec les autres mots-clés générés.

Cependant, dans le cadre de l'indexation, la technique Doc2Vec permettrait de générer des mots-clés à partir d'un vocabulaire contrôlé et cela peu importe le nombre de sous-mots qui composent l'index, e.g. "République Française" ou "Union des républiques socialistes soviétiques". Ceci évite la nécessité d'avoir un grand nombre de n-grammes dans l'espace des documents tout en construisant une représentation vectorielle pour documents et index dans le même espace.
# 3 Approche d'indexation par la modélisation sémantique des index

Notre approche se décompose de la manière suivante :

- Construire un dictionnaire avec des définitions pour chaque terme d'index.

- Entraîner un modèle Doc2Vec sur un corpus de pairs index-définition.

- Pour chaque document à indexer, inférer à partir du modèle et comparer le vecteur du document aux vecteurs des termes d'index entraînés.

## 3.1 Construction d'un dictionnaire

Le dictionnaire contrôlé doit permettre de placer les termes d'index dans leur contexte à l'aide de définitions concises, claires et exemplifiées. Les mots employés par la définition devraient être d'une distribution similaire au langage utilisé par les documents attendus. Par exemple, indexer des articles scientifiques nécessite un dictionnaire de référence au langage soutenu et technique.

Pour construire ces définitions, nous pouvons utiliser les dictionnaires professionnels mis à disposition. Si indisponibles, nous utiliserons des dictionnaires classiques comme WordNet ou encore des dictionnaires générés par des modèles de langages comme Text-Bison.

## 3.2 Entraînement du modèle Doc2Vec

Il est à noter que nous avons augmenter le nombre de données d'entraînement en séparant les phrases d'une définition (Fig. 2). Nos paramètres sont {vector_size:300, min_count:1, window:3, epochs:200}

## 3.3 Indexation des textes

A l'aide des libraries nltk et spacy nous déconstruisons le texte source en une liste de listes, chaque sous-liste correspondant à une phrase. Chaque phrase est une liste de mots/tokens, nous retenons les unigrammes, bigrammes et trigrammes de chaque token.

Ensuite, nous avons la possibilité d'inférer le vecteur du document ou bien d'inférer le vecteur de chaque phrase du document. Ensuite, nous comparons les vecteurs inférés avec les vecteurs des termes d'index entraînés. Les k plus proches termes d'index sont sélectionnés comme candidats mots-clés. Comme métrique de distance nous utiliserons la similarité cosine :

$$ \cosim(u, v) = \frac{\vec{u} \cdot \vec{v}}{\|\vec{u}\| \|\vec{v}\|} $$

Finalement, notre méthode étant principalement abstractive. Nous étudierons l'implémentation d'une méthode extractive basée sur le True Frequency – Inverse Document Frequency (TF-IDF), le TF sera la mesure d'occurrences d'un mot tandis que l'IDF sera mesuré par la fonction $f(mot) = \log \left( \frac{|documents|}{1+|mot \in documents|} \right) + 1$.
<figure><img src="image_18.png" /><figcaption>FIG. 2 – Exemple des deux approches étudiées.</figcaption></figure>
# 4 Expérimentations

## 4.1 Jeux de données

Nous utiliserons les ensembles de données proposées sur HuggingFace par l'équipe de recherche TALN@LS2N<fnref n="1" />, les textes proposées par cette équipe regroupe une collection destinées à la génération de mots-clés et possèdent aussi la particularité d'avoir classifier les mots-clés en quatre catégories (Fig. 3) permettant d'évaluer les performances extractives et abstractivees des modèles Boudin et Gallina (2021) :

- **inspec** (Hulth, 2003) : 2000 résumés annotés par des indexeurs professionnels à partir du vocabulaire contrôlé de l'Inspec.

- **kpbiomed** (Houbre et al., 2022) : 5.6 million de résumés d'articles médicaux de PubMed annotés par des auteurs à partir du vocabulaire contrôlé médical international du Medical Subject Headings (MeSH). On utiliera uniquement 2000 résumés dans notre étude.

- **semeval-2010** (Boudin et al., 2016a) : 244 articles complets annotés par auteurs et lecteurs de manière non-contrôlée. On notera que les mots-clés sont par défaut sous radical.

- **termith-eval** (Boudin et al., 2016b) : 400 résumés d'articles français de l'Institut de l'Information Scientifique et Technique (Inist) annotés par des indexeurs professionnels de manière non-contrôlée.

- **taln-archives** (Boudin, 2013) : 1207 résumés d'articles français issues du groupe TALN annotés par des auteurs de manière non-contrôlée.

<figure><img src="image_19.png" /><figcaption>FIG. 3 – Exemple de classification (P)resent, (R)e-ordered, (M)ixed et (U)nseen.</figcaption></figure>

(Tab 1) permet d'observer que KPBioMed et TermITH-Eval sont de bonnes collections pour la génération abstractive d'index du fait de leur haute proportion de mots-clés absents du texte ; à l'inverse d'Inspec.

Il semblerait que 10 mots-clés soit le nombre de mots-clés attendus pour les articles, à l'exception de taln-archives qui ne nécessite que 5 mots-clés.

<footnote n="1">1. Disponible à l'adresse : https://huggingface.co/taln-ls2n</footnote>
<table><caption>TAB. 1 – Statistiques des jeux de données.</caption><thead><tr><th>dataset</th><th>annotation</th><th>PRMU</th><th># de mots-clés</th><th># unique de mots-clés</th><th># moy. de mots-clés/document</th></tr></thead><tbody><tr><td rowspan="4">kpbiomed<br>(n=2000)</td><td rowspan="4">professionnel<br>(contrôlé MeSH)</td><td>Present</td><td>45421 (28.18%)</td><td>7310</td><td>3.33</td></tr><tr><td>Reordered</td><td>12212 (07.58%)</td><td>3195</td><td>0.90</td></tr><tr><td>Mixed</td><td>39177 (24.31%)</td><td>6477</td><td>2.87</td></tr><tr><td>Unseen</td><td>64459 (39.93%)</td><td>7427</td><td>4.72</td></tr><tr><td rowspan="4">termith-eval<br>(n=400)</td><td rowspan="4">professionnel<br>(non-contrôlé)</td><td>Present</td><td>1900 (40.60%)</td><td>1153</td><td>4.76</td></tr><tr><td>Reordered</td><td>309 (06.60%)</td><td>236</td><td>0.77</td></tr><tr><td>Mixed</td><td>902 (19.27%)</td><td>617</td><td>2.26</td></tr><tr><td>Unseen</td><td>1570 (33.55%)</td><td>907</td><td>3.93</td></tr><tr><td rowspan="4">semeval-2010<br>(n=244)</td><td rowspan="4">auteur-lecteur<br>(non-contrôlé)</td><td>Present</td><td>1496 (41.39%)</td><td>1257</td><td>6.13</td></tr><tr><td>Reordered</td><td>283 (11.38%)</td><td>276</td><td>1.16</td></tr><tr><td>Mixed</td><td>966 (21.23%)</td><td>903</td><td>3.96</td></tr><tr><td>Unseen</td><td>869 (24.05%)</td><td>800</td><td>3.56</td></tr><tr><td rowspan="4">taln-archives<br>(n=1207)</td><td rowspan="4">auteur<br>(non-contrôlé)</td><td>Present</td><td>2661 (53.50%)</td><td>1586</td><td>2.20</td></tr><tr><td>Reordered</td><td>566 (11.38%)</td><td>494</td><td>0.47</td></tr><tr><td>Mixed</td><td>1056 (21.23%)</td><td>808</td><td>0.87</td></tr><tr><td>Unseen</td><td>691 (13.89%)</td><td>509</td><td>0.57</td></tr><tr><td rowspan="4">inspec<br>(n=2000)</td><td rowspan="4">professionnel<br>(contrôlé Inspec)</td><td>Present</td><td>14963 (77.63%)</td><td>13383</td><td>7.48</td></tr><tr><td>Reordered</td><td>2022 (10.49%)</td><td>1969</td><td>1.01</td></tr><tr><td>Mixed</td><td>1273 (06.60%)</td><td>1187</td><td>0.64</td></tr><tr><td>Unseen</td><td>1016 (05.27%)</td><td>923</td><td>0.51</td></tr></tbody></table>

## 4.2 Benchmark – Python Keyphrase Extraction

PKE (Boudin, 2016) est un module python unifiant différents modèles d'extraction de mots-clés;

- **TF-IDF** est une technique de pondération utilisée pour évaluer l'importance d'un terme dans un document par rapport à un corpus plus large. On effectue la prédiction en fonction de la fréquence des mots dans un document particulier et de leur rareté dans l'ensemble du corpus. Dans le module PKE, le dataset SemEval-2010-pre est utilisée comme corpus de référence.

- **TextRank** est une technique d'extraction basée sur le concept PageRank de Google. Il évalue l'importance en fonction de la fréquence et du contexte d'un mot dans un texte. Les éléments les mieux notés sont considérés comme les candidats mots-clés.

- **MultipartiteRank** est une technique d'extraction étendue de TextRank qui permet de traiter des graphes multipartites. Il peut être utilisé pour extraire des mots-clés en utilisant un graphe qui relie les termes.

- **TopicRank** est une technique d'extraction basée sur la détection de sujets dans un document. Il identifie les sujets majeurs en analysant les relations entre les termes et en les groupant en clusters, prédisant ensuite les termes les plus représentatifs de chaque cluster comme les candidats mots-clés.

- **TopicalPageRank** est une technique d'extraction combinant les concepts de PageRank et de modèles de sujets pour évaluer l'importance des termes dans un document en tenant compte à la fois de leur fréquence et de leur pertinence.

- **PositionRank** est une technique d'extraction basée à la fois sur la fréquence et la position d'un terme dans un document. Les candidats mots-clés sont ceux dont la fréquence et importance relative de la position dans le document sont les plus importants.
## 4.3 Evaluation

Nous demandons aux modèles de générer $k \in \{5, 10\}$ mots-clés. A l'exception de SemEval-2010, nous ne racinons pas les prédicitions, car il s'agit d'un exercice d'indexation où le terme exact doit correspondre. Les termes "communisme" et "commune" par exemple ont même radical mais ne possèdent pas le même sens. Si des termes comme "commune" et "communes" sont présents dans le dictionnaire, il s'agit d'une erreur de construction d'index, car ces derniers sont censés être standardisés d'un point de vue linguistique et agissent comme des axes indépendants des différents concepts existants. (Tab. 2) démontre les temps de calculs des modèles<fnref n="2" /> :

<table><caption>TAB. 2 – Temps de calculs des modèles.</caption><thead><tr><td>Modèle</td><td>Temps (en s)</td></tr></thead><tbody><tr><td>MultipartiteRank</td><td>1.211</td></tr><tr><td>PositionRank</td><td>0.873</td></tr><tr><td>TextRank</td><td>0.869</td></tr><tr><td>TfIdf</td><td>2.520</td></tr><tr><td>TopicRank</td><td>1.046</td></tr><tr><td>TopicalPageRank</td><td>1.677</td></tr><tr><td>approche Doc2Vec</td><td>0.969</td></tr><tr><td>approche Sen2Vec</td><td>2.378</td></tr></tbody></table>

Nous utilisons le F1-score comme métrique d'évaluation :

$$f1@k = \frac{TP@k}{TP@k + \frac{1}{2}(FP@k + FN@k)}$$

avec :

- $TP@k$ le nombre de mots-clés générés corrects sur une prédiction de $k$ mots clés;

- $FP@k$ le nombre de mots-clés générés incorrects sur une prédiction de $k$ mots clés;

- $FN@k$ le nombre de mots-clés corrects manqués sur une prédiction de $k$ mots clés;

On réalisera ces calculs pour chaque sous-classe PRMU.

# 5 Discussions

Les résultats présentés en (Tab. 3) permettent d'établir plusieurs conclusions.

## 5.1 Construction du dataset SemEval-2010

On observe que les méthodes extractives parviennent à générer des mots-clés considérés comme absents du texte dans le cadre de SemEval; cela est incohérent avec la méthode PRMU. Il est possible que la classification PRMU se soit faite sur les mots-clés non-racinés ce qui cause le décalage. Remettant en cause la pertinence du jeu de données SemEval-2010.

<footnote n="2">2. Calculs réalisés sur une machine HPC Intel Xeon CPU E5649 @ 2.53GHz 50gi RAM.</footnote>
<table><caption>TAB. 3 – F1-Scores (en %) des modèles.</caption><thead><tr><th>subset</th><th>experiment</th><th>model</th><th>@5<sub>alt</sub></th><th>@10<sub>alt</sub></th><th>@5<sub>p</sub></th><th>@10<sub>p</sub></th><th>@5<sub>r</sub></th><th>@10<sub>r</sub></th><th>@5<sub>m</sub></th><th>@10<sub>m</sub></th><th>@5<sub>u</sub></th><th>@10<sub>u</sub></th></tr></thead><tbody><tr><td rowspan="10">inspec</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>15.67</td><td>23.17</td><td>18.09</td><td>25.70</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>PositionRank</td><td>15.37</td><td>23.29</td><td>17.67</td><td>25.87</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TextRank</td><td>16.16</td><td><strong>24.71</strong></td><td>18.59</td><td><strong>27.47</strong></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TfIdf</td><td>11.30</td><td>16.40</td><td>12.98</td><td>18.07</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicRank</td><td>14.75</td><td>22.09</td><td>17.00</td><td>24.48</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicalPageRank</td><td>16.09</td><td>24.37</td><td>18.49</td><td>27.06</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>14.65</td><td>14.67</td><td>13.85</td><td>13.44</td><td>4.23</td><td>3.18</td><td>0.74</td><td>0.68</td><td><strong>0.17</strong></td><td><strong>0.16</strong></td></tr><tr><td>approche Sen2Vec</td><td><strong>22.43</strong></td><td>23.40</td><td><strong>22.57</strong></td><td>22.56</td><td><strong>5.13</strong></td><td><strong>4.35</strong></td><td><strong>0.81</strong></td><td><strong>0.88</strong></td><td>0.05</td><td>0.04</td></tr><tr><td>custom tfidf</td><td>9.65</td><td>11.36</td><td>11.07</td><td>12.49</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">wordnet</td><td>approche Doc2Vec</td><td>9.00</td><td>9.32</td><td>9.03</td><td>8.93</td><td>2.05</td><td>1.69</td><td>0.28</td><td>0.32</td><td>0.00</td><td>0.00</td></tr><tr><td>approche Sen2Vec</td><td>19.07</td><td>19.63</td><td>20.05</td><td>19.67</td><td>2.93</td><td>2.75</td><td>0.43</td><td>0.38</td><td>0.00</td><td>0.02</td></tr><tr><td>custom tfidf</td><td>11.03</td><td>13.74</td><td>12.54</td><td>15.06</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="10">kpbomed</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>2.78</td><td>4.29</td><td>5.00</td><td>6.55</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>PositionRank</td><td>2.43</td><td>3.98</td><td>4.38</td><td>6.06</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TextRank</td><td>1.37</td><td>2.10</td><td>2.52</td><td>3.22</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TfIdf</td><td>3.78</td><td>5.68</td><td>6.73</td><td>8.71</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicRank</td><td>2.54</td><td>3.86</td><td>4.65</td><td>5.90</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicalPageRank</td><td>1.81</td><td>3.02</td><td>3.29</td><td>4.56</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">mesh</td><td>approche Doc2Vec</td><td>1.22</td><td>1.43</td><td>1.16</td><td>1.08</td><td>0.37</td><td>0.36</td><td>0.53</td><td>0.61</td><td>0.19</td><td>0.18</td></tr><tr><td>approche Sen2Vec</td><td>2.48</td><td>2.54</td><td>2.83</td><td>2.33</td><td>0.78</td><td>0.59</td><td>0.96</td><td>0.86</td><td>0.19</td><td>0.23</td></tr><tr><td>custom tfidf</td><td>6.92</td><td>7.82</td><td>12.63</td><td>11.95</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>3.26</td><td>3.77</td><td>2.51</td><td>2.46</td><td>1.10</td><td>0.99</td><td>1.94</td><td>1.74</td><td>0.62</td><td>0.67</td></tr><tr><td>approche Sen2Vec</td><td>7.46</td><td>7.31</td><td>7.97</td><td>6.38</td><td><strong>2.09</strong></td><td><strong>1.60</strong></td><td><strong>3.26</strong></td><td><strong>2.68</strong></td><td><strong>0.88</strong></td><td><strong>0.85</strong></td></tr><tr><td>custom tfidf</td><td>5.74</td><td>6.53</td><td>10.53</td><td>9.99</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">wordnet</td><td>approche Doc2Vec</td><td>0.83</td><td>1.01</td><td>0.97</td><td>0.97</td><td>0.17</td><td>0.18</td><td>0.35</td><td>0.33</td><td>0.06</td><td>0.09</td></tr><tr><td>approche Sen2Vec</td><td>3.17</td><td>3.27</td><td>4.22</td><td>3.42</td><td>0.82</td><td>0.75</td><td>1.05</td><td>0.94</td><td>0.04</td><td>0.07</td></tr><tr><td>custom tfidf</td><td><strong>7.99</strong></td><td><strong>8.71</strong></td><td><strong>14.47</strong></td><td><strong>13.33</strong></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="10">semeval-2010</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>5.72</td><td>10.24</td><td>7.71</td><td>11.95</td><td>0.41</td><td>0.35</td><td>0.39</td><td>0.79</td><td>1.76</td><td>2.52</td></tr><tr><td>PositionRank</td><td>3.35</td><td>5.87</td><td>4.03</td><td>6.45</td><td>1.10</td><td>1.36</td><td>1.18</td><td>1.48</td><td>0.00</td><td>0.00</td></tr><tr><td>TextRank</td><td>0.74</td><td>1.34</td><td>0.94</td><td>1.22</td><td>0.44</td><td>0.33</td><td>0.19</td><td>0.69</td><td>0.00</td><td>0.00</td></tr><tr><td>TfIdf</td><td>7.50</td><td>12.54</td><td>9.83</td><td>13.88</td><td>0.85</td><td>0.87</td><td>1.04</td><td>1.45</td><td>2.17</td><td>3.26</td></tr><tr><td>TopicRank</td><td>5.47</td><td>8.67</td><td>6.91</td><td>9.81</td><td>0.14</td><td>0.07</td><td>0.65</td><td>0.87</td><td>2.32</td><td>2.56</td></tr><tr><td>TopicalPageRank</td><td>1.40</td><td>2.48</td><td>1.65</td><td>2.32</td><td>0.85</td><td>0.82</td><td>0.42</td><td>0.94</td><td>0.00</td><td>0.00</td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>6.56</td><td>8.21</td><td>4.98</td><td>5.26</td><td>1.58</td><td>1.61</td><td>4.30</td><td>4.20</td><td>1.82</td><td>2.11</td></tr><tr><td>approche Sen2Vec</td><td><strong>17.17</strong></td><td><strong>22.12</strong></td><td><strong>14.65</strong></td><td><strong>16.18</strong></td><td><strong>3.99</strong></td><td><strong>3.91</strong></td><td><strong>10.53</strong></td><td><strong>10.77</strong></td><td><strong>4.12</strong></td><td><strong>4.86</strong></td></tr><tr><td>custom tfidf</td><td>5.10</td><td>7.36</td><td>8.10</td><td>9.38</td><td>0.00</td><td>0.22</td><td>0.21</td><td>0.33</td><td>0.75</td><td>1.47</td></tr><tr><td rowspan="3">wordnet</td><td>approche Doc2Vec</td><td>1.60</td><td>2.08</td><td>1.39</td><td>1.57</td><td>0.48</td><td>0.49</td><td>0.83</td><td>0.79</td><td>0.50</td><td>0.52</td></tr><tr><td>approche Sen2Vec</td><td>4.50</td><td>6.39</td><td>4.74</td><td>5.26</td><td>1.19</td><td>1.11</td><td>1.51</td><td>2.27</td><td>0.95</td><td>1.60</td></tr><tr><td>custom tfidf</td><td>3.58</td><td>5.11</td><td>5.58</td><td>6.65</td><td>0.00</td><td>0.00</td><td>0.00</td><td>0.00</td><td>0.96</td><td>1.14</td></tr><tr><td rowspan="10">taln-archives</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>1.89</td><td>2.09</td><td>2.35</td><td>2.41</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>PositionRank</td><td>1.90</td><td>2.17</td><td>2.35</td><td>2.49</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TextRank</td><td>0.96</td><td>1.03</td><td>1.22</td><td>1.19</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TfIdf</td><td>2.16</td><td>2.65</td><td>2.61</td><td>2.97</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicRank</td><td>1.82</td><td>2.08</td><td>2.28</td><td>2.41</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicalPageRank</td><td>1.13</td><td>1.17</td><td>1.40</td><td>1.34</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>6.22</td><td>5.88</td><td>5.65</td><td>4.77</td><td>1.19</td><td>1.06</td><td><strong>0.77</strong></td><td>0.75</td><td>0.12</td><td>0.16</td></tr><tr><td>approche Sen2Vec</td><td><strong>9.74</strong></td><td><strong>8.68</strong></td><td>9.44</td><td>7.71</td><td><strong>1.68</strong></td><td><strong>1.19</strong></td><td><strong>0.77</strong></td><td><strong>0.84</strong></td><td><strong>0.20</strong></td><td><strong>0.22</strong></td></tr><tr><td>custom tfidf</td><td>9.50</td><td>8.47</td><td><strong>11.31</strong></td><td><strong>9.38</strong></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="10">termith-eval</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>1.69</td><td>3.25</td><td>2.60</td><td>4.51</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>PositionRank</td><td>1.61</td><td>2.86</td><td>2.57</td><td>3.96</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TextRank</td><td>0.69</td><td>0.92</td><td>1.14</td><td>1.30</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TfIdf</td><td>2.39</td><td>3.42</td><td>3.79</td><td>4.73</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicRank</td><td>1.58</td><td>2.98</td><td>2.49</td><td>4.15</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicalPageRank</td><td>0.84</td><td>1.12</td><td>1.35</td><td>1.55</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>8.35</td><td>9.85</td><td>7.97</td><td>7.44</td><td>1.91</td><td>1.97</td><td>3.10</td><td>3.56</td><td>1.55</td><td>1.63</td></tr><tr><td>approche Sen2Vec</td><td><strong>13.31</strong></td><td><strong>13.29</strong></td><td><strong>14.46</strong></td><td>12.17</td><td><strong>3.12</strong></td><td><strong>2.38</strong></td><td><strong>3.50</strong></td><td><strong>3.57</strong></td><td><strong>1.74</strong></td><td><strong>1.73</strong></td></tr><tr><td>custom tfidf</td><td>9.42</td><td>10.81</td><td>14.34</td><td><strong>14.37</strong></td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>
## 5.2 Customisation du TF-IDF

On observe que la technique TfIdf proposée par PKE est moins efficace que notre méthode personnalisée sur KPBiomed, TermITH-Eval, TALN-Archives. Cela s'explique par le fait que les poids utilisés par PKE sont statiques et optimisées pour SemEval-2010 et Inspec.

Ici nous proposons une façon de calculer les poids de façon non-biaisée car nous utilisons uniquement des données externes aux jeux de données.

## 5.3 Performance des méthodes extractives

Les méthodes extractives du PKE peinent à performer sur les jeux de données avec pro-
portion importante de mots-clés absents comme KPBioMed, TermITH-Eval. Cependant on
remarque un très grand bond en performance lorsqu'on passe de $k = 5$ à $k = 10$ mots-clés
générés. Il serait intéressant d'étudier l'évolution de la performance en fonction de $k$.

## 5.4 Performance des méthodes abstractives

Notre première approche, i.e. inférer le vecteur d'un document entier, renvoie principalement de plus faibles résultats que notre seconde approche, i.e. vote majoritaire pour chaque phrase. Les documents étant des résumés, à l'exception de SemEval-2010, on peut supposer que chaque phrase possède une information importante et indépendante des précédentes, ainsi il semble normal que l'agrégation de tous les vecteurs d'un document renvoie un vecteur peu représentatif de ses thèmes sous-jacents.

De plus, la méthode d'inférence par phrase offre de bons résultats sur l'ensemble des jeux de données et sous-classes PRMU. On notera une sur-performance importante sur SemEval-2010, on doit cela au fait que les documents sont des articles complets et permettent donc un plus large échantillon de phrases pour collecter des prédictions et éviter l'effet de vecteurs aberrants. Effectivement, on observe sur les autres données que la performance stagne ou diminue lorsqu'on augmente le nombre de mots-clés à prédire, cela est dû au plafonnement naturel de l'approche ne pouvant dépasser le nombre de phrases du résumé. Ainsi, nous étudierons les possibilités permettant d'extraire plus de prédictions à l'aide d'une même phrase.

Finalement, on observe des performances très en déça sur la classe Unseen, il serait intéressant d'opter pour un modèle plus complexe comme BERT afin d'observer la différence de modélisation des concepts et index. On notera par ailleurs qu'entre KPBioMed et TermITH-Eval, l'inférence par phrase est plus efficace sur TermITH-Eval. Il est possible, qu'au-delà de la distribution en pourcentage des classes PRMU, le fait qu'il y ait huit fois moins de termes d'index à apprendre permette au modèle une construction plus simple d'un espace vectoriel.

## 5.5 Construction d'un dictionnaire

Sur l'ensemble des méthodes de notre expérience, l'utilisation de définitions générés par text-bison de Google semble renvoyer les meilleurs résultats. Le large contexte offert par le modèle est un des facteurs à retenir pour cela. Alors que le dictionnaire MeSH, bien que professionnel, offre un cadre d'apprentissage moindre par son décalage entre les lexiques employés par les auteurs et ceux officiellement utilisés par la nomenclature MeSH pour décrire ses index.
## 5.6 Conclusion

L'indexation est un procédé complexe qui a suscité l'attention des chercheurs. Dans cet article nous avons pu établir une méthode facile à mettre en oeuvre permettant de construire un espace vectoriel partagé par des termes d'index et des mots/phrases. Nous avons aussi pu établir les limites des datasets et modèles présents dans l'état de l'art pour l'indexation.

## Références

Berend, G. et V. Vincze (2012). How to evaluate opinionated keyphrase extraction? In *Proceedings of the 3rd Workshop in Computational Approaches to Subjectivity and Sentiment Analysis*, Jeju, Korea, pp. 99–103. Association for Computational Linguistics.

Boudin, F. (2013). TALN archives : a digital archive of French research articles in natural language processing (TALN archives : une archive numérique francophone des articles de recherche en traitement automatique de la langue) [in French]. In E. Morin et Y. Estève (Eds.), *Proceedings of TALN 2013 (Volume 2 : Short Papers)*.

Boudin, F. (2016). pke : an open source python-based keyphrase extraction toolkit. In *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics : System Demonstrations*, Osaka, Japan, pp. 69–73.

Boudin, F. et Y. Gallina (2021). Redefining absent keyphrases and their effect on retrieval effectiveness. In K. Toutanova, A. Rumshisky, L. Zettlemoyer, D. Hakkani-Tur, I. Beltagy, S. Bethard, R. Cotterell, T. Chakraborty, et Y. Zhou (Eds.), *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, Online, pp. 4185–4193. Association for Computational Linguistics.

Boudin et al. (2014). Keyphrase generation for scientific document retrieval.

Boudin et al. (2016a). How document pre-processing affects keyphrase extraction performance. In *Proceedings of COLING 2016 Workshop on Noisy User-generated Text*.

Boudin et al. (2016b). Termith-eval : a french resource for keyphrase extraction.

Gutwin, C., G. Paynter, I. Witten, C. Nevill-Manning, et E. Frank (1999). Improving browsing in digital libraries with keyphrase indexes. *Decision Support Systems* 27(1), 81–104.

Hasan and Ng (2014). Automatic keyphrase extraction : A survey of the state of the art. *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics*.

Houbre, M., F. Boudin, et B. Daille (2022). Dataset for biomedical keyphrase generation.

Hulth (2003). Improved automatic keyword extraction given linguistic knowledge. *Proceedings of the EMNLP 2003 Conference*.

Kim et al. (2010). Semeval-2010 task 5 : Automatic keyphrase extraction from scientific articles. *Proceedings of the 5th International Workshop on Semantic Evaluation*.

Kipp, M. (2011). Controlled vocabularies and tags : An analysis of research methods. *Proceedings from North American Symposium on Knowledge Organization* 3.

Koh, H. Y., J. Ju, H. Zhang, M. Liu, et S. Pan (2022). How far are we from robust long abstractive summarization? In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, pp. 2682–2698. Association for Computational Linguistics.
Kwon, S. (2018). Characteristics of interdisciplinary research in author keywords appearing in korean journals. *Malaysian Journal of Library and Information Science* 23(2), 77–93.

Larsen and Von Ins (2010). The rate of growth in scientific publication and the decline in coverage provided by science citation index. In *Scientometrics* 84.

Le, Q. et T. Mikolov (2014). Distributed representations of sentences and documents. In E. P. Xing et T. Jebara (Eds.), *Proceedings of the 31st International Conference on Machine Learning*, Volume 32 of *Proceedings of Machine Learning Research*, Beijing, China.

Medelyan and Witten (2006). Thesaurus-based automatic keyphrase indexing.

Mihalcea and Tarau (2004). *Textrank: Bringing order into text*. *Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing*.

Mikolov et al. (2013). Efficient estimation of word representation in vector space.

Strader, C. (2009). Author-assigned keywords versus library of congress subject headings implications for the cataloging of electronic theses and dissertations. *Library Resources and Technical Services* 53, 243–250.

Sutskever et al. (2014). Sequence to sequence learning with neural networks.

Tomokiyo and Hurst (2003). A language model approach to keyphrase extraction. *Proceedings of the ACL 2003 workshop on Multiword expressions: analysis, acquisition and treatment*.

Ye and Wang (2018). Semi-supervised learning for neural keyphrase generation. *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*.

Zha (2002). Generic summarization and keyphrase extraction using mutual reinforcement principle and sentence clustering. *Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval*.

Summary

Indexing documents is a major issue in facilitating access to information and scientific monitoring. Due to the costs associated with professional manual document indexing, authors and journals generally rely on automated methods. However, there is a monopoly of so-called extractive methods, i.e. generating indexes that are words present in the source text. With the democratization of neural networks and diverse datasets, it is now possible to perform abstractive generation, i.e. generate keywords that are not present in the source text. This article presents an approach in abstractive and extractive generation of indexes belonging to a controlled vocabulary. We illustrate the application of this method to different types of articles to establish the current limitations in solving this challenge.
# Evaluation de petits LLM quantifiés sur une tâche de classification de textes en français

Philippe Suignard*

*EDF R&D

7, boulevard Gaspard Monge 91120 Palaiseau

prenom.nom@edf.fr

**Résumé.** Cet article présente une évaluation de plusieurs "Large Language Models", quantifiés (codés sur 4bits) de taille 7 milliards réalisée sur une tâche de classification de données textuelles (des avis AlloCiné). Les textes sont d'abord transformés en vecteurs, à l'aide d'un LLM, puis servent à entraîner un classifieur. Le meilleur résultat est obtenu avec le modèle NeuralHermès-2.5-Mistral.

## 1 Introduction

Il n'est pas nécessaire de présenter les "LLM", les "Large Languages Models" popularisés par ChatGPT<fnref n="1" />, devenus omniprésents et très performants. Par contre, ces LLM ont l'inconvénient d'être assez volumineux et de nécessiter des infrastructures importantes pour les faire fonctionner. Pour contourner cette difficulté, une technique appelée "quantification" ("quantization" en anglais) a vu le jour pour diminuer la taille des modèles afin de les rendre utilisables sur des infrastructures plus légères (PC grand public).

Une fonctionnalité des LLM, peut-être moins connue ou moins utilisée, permet la vectorisation des textes, c'est-à-dire la possibilité de convertir un texte ou prompt en un vecteur. Ce vecteur (appelé "embeddings" ou plongements en français), peut ensuite être utilisé pour une tâche de classification de texte, comme le décrit la suite de l'article.

De manière générale, les tailles des LLM varient de 7 à 180 milliards de paramètres, mais les modèles 7b ont montré qu'ils offraient des performances très satisfaisantes. Cet article a pour but de comparer entre eux, plusieurs petits LLM de 7 milliards de paramètres sur une tâche de classification, en utilisant la fonction de plongements de documents.

## 2 Contexte

Le début de l'année 2023 a vu apparaître des LLM de plus en plus performants mais également de plus en plus gros : 7b, 13b, 40b, 80b ou 180b (b pour milliards de paramètres). On peut citer ici Bloom (Workshop et al., 2022), Falcon (Almazrouei et al., 2023), LLama (Touvron et al., 2023), etc. Cette course à la taille était en partie due au fait que sortir un modèle plus gros offrait la garantie d'obtenir de meilleures performances (Touvron et al., 2023). La

<footnote n="1">1. https://chat.openai.com/</footnote>