# Indexation semi-supervisée abstractive-extractive de documents

Saber Zahhar, Christophe Rodrigues

<figure><img src="image_1.png" /></figure>

## To cite this version:

Saber Zahhar, Christophe Rodrigues. Indexation semi-supervisée abstractive-extractive de documents. TextMine'24, Pascal Cuxac; Cédric Lopez, Jan 2024, Dijon, France. pp.55-66. hal-04446263

HAL Id: hal-04446263

https://cnrs.hal.science/hal-04446263v1

Submitted on 8 Feb 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
# Indexation semi-supervisée abstractive-extractive de documents

Saber ZAHHAR*, Christophe RODRIGUES**

* zahhar.saber@gmail.com

** Research Center, Léonard de Vinci Pôle Universitaire, Paris La Défense, France christophe.rodrigues@devinci.fr

**Résumé.** L’indexation de documents est un enjeu majeur dans la facilitation d’accès à l’information et la veille scientifique. Du fait des coûts associés à l’indexation manuelle de documents par des professionnels, les auteurs et journaux optent généralement pour des méthodes automatiques. Cependant, on observe un monopole des méthodes dites extractives, i.e. générer des index correspondant aux mots présents dans le texte source. Avec la démocratisation des réseaux de neurones et jeux de données variés, il est aujourd’hui possible d’effectuer une génération abstractive, i.e. générer des mots-clés qui ne sont pas présents dans le texte source. Cet article présente une approche dans la génération d’index appartenant à un vocabulaire contrôlé. Nous illustrons l’application de cette méthode à différents types d’articles pour établir les limites actuelles de la situation.

## 1 Introduction

Les bibliothèques numériques servent de principal conduit pour l’accès, la préservation et l’organisation des connaissances. Cela est particulièrement évident dans le domaine de la publication scientifique, où l’exponentielle et incessante augmentation du nombre de publications entraîne diverses difficultés (Larsen and Von Ins, 2010). L’un des défis concerne le processus d’indexation des publications. Traditionnellement, les bibliothèques physiques utilisaient l’année de publication ou encore les noms d’auteurs pour organiser les documents ainsi que la catégorie pour classer les documents, e.g. "science-fiction" ou "sciences sociales". Ces index ne répondent plus adéquatement au besoin d’une indexation basée sur le contenu.

Les index, ou plus couramment appelés mots-clés, sont des mots et expressions qui encapsulent les idées fondamentales d'un document. Ces mots-clés offrent une représentation plus complète et fidèle des travaux publiés, avec le potentiel d'aider les moteurs de recherche à fournir de meilleurs résultats plus rapidement (Gutwin et al., 1999) ou encore à servir pour des tâches avancées comme l'analyse de sentiment (Berend et Vincze, 2012).

Alors que les mots-clés deviennent de plus en plus standard dans le processus de publication, une mise en œuvre informative et cohérente reste un défi considérable. En effet, en raison des coûts associés à l’attribution manuelle mots-clés par des professionnels, les auteurs se voient souvent confier cette tâche sans avoir particulièrement d’expertise ou formation adéquate (Strader, 2009; Kipp, 2011). Par conséquent, les mots-clés générés s’avèrent souvent inadéquats pour la recherche interdisciplinaire (Kwon, 2018). De plus, la majorité des
recherches se concentrent principalement sur l'extraction des mots-clés directement à partir du texte source, appelée méthode *extractive*. Ces méthodes ne contribuent pas à enrichir le document car elles ne font qu'extraire des données déjà présentes, le choix des mots pouvant être subjectif, cela n'apporte aucune aide à l'indexation qui se veut standardisée (Koh et al., 2022). L'état de l'art appelle à de nouvelles approches qui pourraient générer des mots-clés à partir de sources externes au matériel (Hulth, 2003), c'est-à-dire des méthodes *abstractives*.

Cet article est organisé en cinq sections. Dans la Section 2, nous effectuerons une analyse approfondie de l'état de l'art dans le domaine de l'indexation automatique d'articles. Par la suite (Section 3), nous exposerons notre méthodologie de modélisation en détaillant sa mise en œuvre pratique. En Section 4, nous étayerons notre approche au travers d'une série d'expériences. Enfin, dans la Section 5, nous partagerons nos conclusions quant à la situation actuelle et explorerons les voies envisageables pour l'indexation automatique.

# 2 État de l'art

## 2.1 Méthodes extractives

La disponibilité limitée de documents annotés de mots-clés a longtemps contraint les chercheurs à adopter des approches non supervisées d'indexation. Ainsi, les travaux initiaux se sont principalement concentrés sur des méthodes statistiques cherchant à capturer l'importance des candidats mots-clés (Tomokiyo and Hurst, 2003). En parallèle des méthodes statistiques s'est développée des approches graphes (Zha, 2002; Mihalcea and Tarau, 2004).

Les algorithmes de classification classiques ont prouvé leur capacité à rivaliser avec les méthodes non supervisées malgré le manque de données d'entraînement et les hypothèses relatives aux variables de ces dernières (Kim et al., 2010; Hasan and Ng, 2014).

Depuis l'avènement et démocratisation de l'apprentissage profond et ses applications, les conditions sont optimales pour pleinement tirer parti des vastes corpus de traitement automatique du langage naturel disponibles récemment. Plus précisément, les modèles de séquence à séquence ont gagné en importance (Sutskever et al., 2014), ouvrant ainsi une nouvelle voie d'exploration dans ce domaine. Dans l'ensemble, ces architectures ont établi un nouveau jalon dans le domaine (Ye and Wang, 2018) et démontrent maintenant des promesses dans le contexte de l'indexation de texte (Boudin et al., 2014).

## 2.2 Méthodes abstractives

En effet, ces modèles permettent la génération *abstractive* de mots-clés. (Hulth, 2003) a souligné la nécessité de générer, plutôt que d'extraire, des mots-clés. Des travaux ultérieurs ont tenté de développer des méthodes abstractives par l'attribution de mots-clés (Medelyan and Witten, 2006), mais la tendance s'est longtemps contentée des méthodes extractives. L'apprentissage profond peut ouvrir une nouvelle voie pour l'indexation abstractive de texte, mais le chemin ne sera pas facile car les données massives nécessaires et la faible généralisation des modèles séquentiels représentent un défi sérieux dans le développement d'un générateur de mots-clés unifié et polyvalent. Des suggestions récentes plaident en faveur d'une base de connaissances externe, telle que l'adaptation de domaine pour une indexation spécifique à la tâche (Le et Mikolov, 2014).
## 2.3 Modélisation du langage

Introduit par (Mikolov et al., 2013), Word2Vec est un ensemble de techniques neuronales qui tournent autour de la construction de représentations de mots dans un espace vectoriel. Doc2Vec (Le et Mikolov, 2014) étend les concepts de Word2Vec pour la représentation de documents identifiés par un index (Fig. 1). En entraînant un ensemble de paires index-document, il est possible de capturer la signification et relations des documents et index dans un même espace vectoriel, permettant des opérations comme "Londres - Royaume-Uni + France = Paris".

<figure><img src="image_2.png" /><figcaption>FIG. 1 – Exemple d’entraînement d’un modèle Doc2Vec.</figcaption></figure>

## 2.4 Synthèse de l'état de l'art

Nous observons que les méthodes extractives non-supervisées sont suffisantes pour ne pas requérir les méthodes supervisées, plus coûteuses à mettre en place pour un résultat similaire.

Parallèlement, force est de constater l'absence de méthodes abstractives performantes. De plus, ces méthodes ne sont pas nécessairement utiles dans le contexte d'indexation, qui consiste à générer des mots-clés à partir d'un vocabulaire contrôlé, et non pas juste paraphraser des termes, ce qui souvent mène à une perte d'information à cause de la généralisation des termes, ce qu'est l'opposé souhaité par l'indexation. L'évaluation même des méthodes abstractives reste très controversée en dehors du cadre de l'indexation car il est difficile de mesurer la qualité des mots-clés générés, que ce soit en terme de cohérence avec les concepts du document ou encore de la distance avec les autres mots-clés générés.

Cependant, dans le cadre de l'indexation, la technique Doc2Vec permettrait de générer des mots-clés à partir d'un vocabulaire contrôlé et cela peu importe le nombre de sous-mots qui composent l'index, e.g. "République Française" ou "Union des républiques socialistes soviétiques". Ceci évite la nécessité d'avoir un grand nombre de n-grammes dans l'espace des documents tout en construisant une représentation vectorielle pour documents et index dans le même espace.
# 3 Approche d'indexation par la modélisation sémantique des index

Notre approche se décompose de la manière suivante :

- Construire un dictionnaire avec des définitions pour chaque terme d'index.

- Entraîner un modèle Doc2Vec sur un corpus de pairs index-définition.

- Pour chaque document à indexer, inférer à partir du modèle et comparer le vecteur du document aux vecteurs des termes d'index entraînés.

## 3.1 Construction d'un dictionnaire

Le dictionnaire contrôlé doit permettre de placer les termes d'index dans leur contexte à l'aide de définitions concises, claires et exemplifiées. Les mots employés par la définition devraient être d'une distribution similaire au langage utilisé par les documents attendus. Par exemple, indexer des articles scientifiques nécessite un dictionnaire de référence au langage soutenu et technique.

Pour construire ces définitions, nous pouvons utiliser les dictionnaires professionnels mis à disposition. Si indisponibles, nous utiliserons des dictionnaires classiques comme WordNet ou encore des dictionnaires générés par des modèles de langages comme Text-Bison.

## 3.2 Entraînement du modèle Doc2Vec

Il est à noter que nous avons augmenter le nombre de données d'entraînement en séparant les phrases d'une définition (Fig. 2). Nos paramètres sont {vector_size:300, min_count:1, window:3, epochs:200}

## 3.3 Indexation des textes

A l'aide des libraries nltk et spacy nous déconstruisons le texte source en une liste de listes, chaque sous-liste correspondant à une phrase. Chaque phrase est une liste de mots/tokens, nous retenons les unigrammes, bigrammes et trigrammes de chaque token.

Ensuite, nous avons la possibilité d'inférer le vecteur du document ou bien d'inférer le vecteur de chaque phrase du document. Ensuite, nous comparons les vecteurs inférés avec les vecteurs des termes d'index entraînés. Les k plus proches termes d'index sont sélectionnés comme candidats mots-clés. Comme métrique de distance nous utiliserons la similarité cosine :

$$ \cosim(u, v) = \frac{\vec{u} \cdot \vec{v}}{\|\vec{u}\| \|\vec{v}\|} $$

Finalement, notre méthode étant principalement abstractive. Nous étudierons l'implémentation d'une méthode extractive basée sur le True Frequency – Inverse Document Frequency (TF-IDF), le TF sera la mesure d'occurrences d'un mot tandis que l'IDF sera mesuré par la fonction $f(mot) = \log \left( \frac{|documents|}{1+|mot \in documents|} \right) + 1$.
<figure><img src="image_3.png" /><figcaption>FIG. 2 – Exemple des deux approches étudiées.</figcaption></figure>
# 4 Expérimentations

## 4.1 Jeux de données

Nous utiliserons les ensembles de données proposées sur HuggingFace par l'équipe de recherche TALN@LS2N<fnref n="1" />, les textes proposées par cette équipe regroupe une collection destinées à la génération de mots-clés et possèdent aussi la particularité d'avoir classifier les mots-clés en quatre catégories (Fig. 3) permettant d'évaluer les performances extractives et abstractivees des modèles Boudin et Gallina (2021) :

- **inspec** (Hulth, 2003) : 2000 résumés annotés par des indexeurs professionnels à partir du vocabulaire contrôlé de l'Inspec.

- **kpbiomed** (Houbre et al., 2022) : 5.6 million de résumés d'articles médicaux de PubMed annotés par des auteurs à partir du vocabulaire contrôlé médical international du Medical Subject Headings (MeSH). On utiliera uniquement 2000 résumés dans notre étude.

- **semeval-2010** (Boudin et al., 2016a) : 244 articles complets annotés par auteurs et lecteurs de manière non-contrôlée. On notera que les mots-clés sont par défaut sous radical.

- **termith-eval** (Boudin et al., 2016b) : 400 résumés d'articles français de l'Institut de l'Information Scientifique et Technique (Inist) annotés par des indexeurs professionnels de manière non-contrôlée.

- **taln-archives** (Boudin, 2013) : 1207 résumés d'articles français issues du groupe TALN annotés par des auteurs de manière non-contrôlée.

<figure><img src="image_4.png" /><figcaption>FIG. 3 – Exemple de classification (P)resent, (R)e-ordered, (M)ixed et (U)nseen.</figcaption></figure>

(Tab 1) permet d'observer que KPBioMed et TermITH-Eval sont de bonnes collections pour la génération abstractive d'index du fait de leur haute proportion de mots-clés absents du texte ; à l'inverse d'Inspec.

Il semblerait que 10 mots-clés soit le nombre de mots-clés attendus pour les articles, à l'exception de taln-archives qui ne nécessite que 5 mots-clés.

<footnote n="1">1. Disponible à l'adresse : https://huggingface.co/taln-ls2n</footnote>
<table><caption>TAB. 1 – Statistiques des jeux de données.</caption><thead><tr><th>dataset</th><th>annotation</th><th>PRMU</th><th># de mots-clés</th><th># unique de mots-clés</th><th># moy. de mots-clés/document</th></tr></thead><tbody><tr><td rowspan="4">kpbiomed<br>(n=2000)</td><td rowspan="4">professionnel<br>(contrôlé MeSH)</td><td>Present</td><td>45421 (28.18%)</td><td>7310</td><td>3.33</td></tr><tr><td>Reordered</td><td>12212 (07.58%)</td><td>3195</td><td>0.90</td></tr><tr><td>Mixed</td><td>39177 (24.31%)</td><td>6477</td><td>2.87</td></tr><tr><td>Unseen</td><td>64459 (39.93%)</td><td>7427</td><td>4.72</td></tr><tr><td rowspan="4">termith-eval<br>(n=400)</td><td rowspan="4">professionnel<br>(non-contrôlé)</td><td>Present</td><td>1900 (40.60%)</td><td>1153</td><td>4.76</td></tr><tr><td>Reordered</td><td>309 (06.60%)</td><td>236</td><td>0.77</td></tr><tr><td>Mixed</td><td>902 (19.27%)</td><td>617</td><td>2.26</td></tr><tr><td>Unseen</td><td>1570 (33.55%)</td><td>907</td><td>3.93</td></tr><tr><td rowspan="4">semeval-2010<br>(n=244)</td><td rowspan="4">auteur-lecteur<br>(non-contrôlé)</td><td>Present</td><td>1496 (41.39%)</td><td>1257</td><td>6.13</td></tr><tr><td>Reordered</td><td>283 (11.38%)</td><td>276</td><td>1.16</td></tr><tr><td>Mixed</td><td>966 (21.23%)</td><td>903</td><td>3.96</td></tr><tr><td>Unseen</td><td>869 (24.05%)</td><td>800</td><td>3.56</td></tr><tr><td rowspan="4">taln-archives<br>(n=1207)</td><td rowspan="4">auteur<br>(non-contrôlé)</td><td>Present</td><td>2661 (53.50%)</td><td>1586</td><td>2.20</td></tr><tr><td>Reordered</td><td>566 (11.38%)</td><td>494</td><td>0.47</td></tr><tr><td>Mixed</td><td>1056 (21.23%)</td><td>808</td><td>0.87</td></tr><tr><td>Unseen</td><td>691 (13.89%)</td><td>509</td><td>0.57</td></tr><tr><td rowspan="4">inspec<br>(n=2000)</td><td rowspan="4">professionnel<br>(contrôlé Inspec)</td><td>Present</td><td>14963 (77.63%)</td><td>13383</td><td>7.48</td></tr><tr><td>Reordered</td><td>2022 (10.49%)</td><td>1969</td><td>1.01</td></tr><tr><td>Mixed</td><td>1273 (06.60%)</td><td>1187</td><td>0.64</td></tr><tr><td>Unseen</td><td>1016 (05.27%)</td><td>923</td><td>0.51</td></tr></tbody></table>

## 4.2 Benchmark – Python Keyphrase Extraction

PKE (Boudin, 2016) est un module python unifiant différents modèles d'extraction de mots-clés;

- **TF-IDF** est une technique de pondération utilisée pour évaluer l'importance d'un terme dans un document par rapport à un corpus plus large. On effectue la prédiction en fonction de la fréquence des mots dans un document particulier et de leur rareté dans l'ensemble du corpus. Dans le module PKE, le dataset SemEval-2010-pre est utilisée comme corpus de référence.

- **TextRank** est une technique d'extraction basée sur le concept PageRank de Google. Il évalue l'importance en fonction de la fréquence et du contexte d'un mot dans un texte. Les éléments les mieux notés sont considérés comme les candidats mots-clés.

- **MultipartiteRank** est une technique d'extraction étendue de TextRank qui permet de traiter des graphes multipartites. Il peut être utilisé pour extraire des mots-clés en utilisant un graphe qui relie les termes.

- **TopicRank** est une technique d'extraction basée sur la détection de sujets dans un document. Il identifie les sujets majeurs en analysant les relations entre les termes et en les groupant en clusters, prédisant ensuite les termes les plus représentatifs de chaque cluster comme les candidats mots-clés.

- **TopicalPageRank** est une technique d'extraction combinant les concepts de PageRank et de modèles de sujets pour évaluer l'importance des termes dans un document en tenant compte à la fois de leur fréquence et de leur pertinence.

- **PositionRank** est une technique d'extraction basée à la fois sur la fréquence et la position d'un terme dans un document. Les candidats mots-clés sont ceux dont la fréquence et importance relative de la position dans le document sont les plus importants.
## 4.3 Evaluation

Nous demandons aux modèles de générer $k \in \{5, 10\}$ mots-clés. A l'exception de SemEval-2010, nous ne racinons pas les prédicitions, car il s'agit d'un exercice d'indexation où le terme exact doit correspondre. Les termes "communisme" et "commune" par exemple ont même radical mais ne possèdent pas le même sens. Si des termes comme "commune" et "communes" sont présents dans le dictionnaire, il s'agit d'une erreur de construction d'index, car ces derniers sont censés être standardisés d'un point de vue linguistique et agissent comme des axes indépendants des différents concepts existants. (Tab. 2) démontre les temps de calculs des modèles<fnref n="2" /> :

<table><caption>TAB. 2 – Temps de calculs des modèles.</caption><thead><tr><td>Modèle</td><td>Temps (en s)</td></tr></thead><tbody><tr><td>MultipartiteRank</td><td>1.211</td></tr><tr><td>PositionRank</td><td>0.873</td></tr><tr><td>TextRank</td><td>0.869</td></tr><tr><td>TfIdf</td><td>2.520</td></tr><tr><td>TopicRank</td><td>1.046</td></tr><tr><td>TopicalPageRank</td><td>1.677</td></tr><tr><td>approche Doc2Vec</td><td>0.969</td></tr><tr><td>approche Sen2Vec</td><td>2.378</td></tr></tbody></table>

Nous utilisons le F1-score comme métrique d'évaluation :

$$f1@k = \frac{TP@k}{TP@k + \frac{1}{2}(FP@k + FN@k)}$$

avec :

- $TP@k$ le nombre de mots-clés générés corrects sur une prédiction de $k$ mots clés;

- $FP@k$ le nombre de mots-clés générés incorrects sur une prédiction de $k$ mots clés;

- $FN@k$ le nombre de mots-clés corrects manqués sur une prédiction de $k$ mots clés;

On réalisera ces calculs pour chaque sous-classe PRMU.

# 5 Discussions

Les résultats présentés en (Tab. 3) permettent d'établir plusieurs conclusions.

## 5.1 Construction du dataset SemEval-2010

On observe que les méthodes extractives parviennent à générer des mots-clés considérés comme absents du texte dans le cadre de SemEval; cela est incohérent avec la méthode PRMU. Il est possible que la classification PRMU se soit faite sur les mots-clés non-racinés ce qui cause le décalage. Remettant en cause la pertinence du jeu de données SemEval-2010.

<footnote n="2">2. Calculs réalisés sur une machine HPC Intel Xeon CPU E5649 @ 2.53GHz 50gi RAM.</footnote>
<table><caption>TAB. 3 – F1-Scores (en %) des modèles.</caption><thead><tr><th>subset</th><th>experiment</th><th>model</th><th>@5<sub>alt</sub></th><th>@10<sub>alt</sub></th><th>@5<sub>p</sub></th><th>@10<sub>p</sub></th><th>@5<sub>r</sub></th><th>@10<sub>r</sub></th><th>@5<sub>m</sub></th><th>@10<sub>m</sub></th><th>@5<sub>u</sub></th><th>@10<sub>u</sub></th></tr></thead><tbody><tr><td rowspan="10">inspec</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>15.67</td><td>23.17</td><td>18.09</td><td>25.70</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>PositionRank</td><td>15.37</td><td>23.29</td><td>17.67</td><td>25.87</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TextRank</td><td>16.16</td><td><strong>24.71</strong></td><td>18.59</td><td><strong>27.47</strong></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TfIdf</td><td>11.30</td><td>16.40</td><td>12.98</td><td>18.07</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicRank</td><td>14.75</td><td>22.09</td><td>17.00</td><td>24.48</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicalPageRank</td><td>16.09</td><td>24.37</td><td>18.49</td><td>27.06</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>14.65</td><td>14.67</td><td>13.85</td><td>13.44</td><td>4.23</td><td>3.18</td><td>0.74</td><td>0.68</td><td><strong>0.17</strong></td><td><strong>0.16</strong></td></tr><tr><td>approche Sen2Vec</td><td><strong>22.43</strong></td><td>23.40</td><td><strong>22.57</strong></td><td>22.56</td><td><strong>5.13</strong></td><td><strong>4.35</strong></td><td><strong>0.81</strong></td><td><strong>0.88</strong></td><td>0.05</td><td>0.04</td></tr><tr><td>custom tfidf</td><td>9.65</td><td>11.36</td><td>11.07</td><td>12.49</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">wordnet</td><td>approche Doc2Vec</td><td>9.00</td><td>9.32</td><td>9.03</td><td>8.93</td><td>2.05</td><td>1.69</td><td>0.28</td><td>0.32</td><td>0.00</td><td>0.00</td></tr><tr><td>approche Sen2Vec</td><td>19.07</td><td>19.63</td><td>20.05</td><td>19.67</td><td>2.93</td><td>2.75</td><td>0.43</td><td>0.38</td><td>0.00</td><td>0.02</td></tr><tr><td>custom tfidf</td><td>11.03</td><td>13.74</td><td>12.54</td><td>15.06</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="10">kpbomed</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>2.78</td><td>4.29</td><td>5.00</td><td>6.55</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>PositionRank</td><td>2.43</td><td>3.98</td><td>4.38</td><td>6.06</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TextRank</td><td>1.37</td><td>2.10</td><td>2.52</td><td>3.22</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TfIdf</td><td>3.78</td><td>5.68</td><td>6.73</td><td>8.71</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicRank</td><td>2.54</td><td>3.86</td><td>4.65</td><td>5.90</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicalPageRank</td><td>1.81</td><td>3.02</td><td>3.29</td><td>4.56</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">mesh</td><td>approche Doc2Vec</td><td>1.22</td><td>1.43</td><td>1.16</td><td>1.08</td><td>0.37</td><td>0.36</td><td>0.53</td><td>0.61</td><td>0.19</td><td>0.18</td></tr><tr><td>approche Sen2Vec</td><td>2.48</td><td>2.54</td><td>2.83</td><td>2.33</td><td>0.78</td><td>0.59</td><td>0.96</td><td>0.86</td><td>0.19</td><td>0.23</td></tr><tr><td>custom tfidf</td><td>6.92</td><td>7.82</td><td>12.63</td><td>11.95</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>3.26</td><td>3.77</td><td>2.51</td><td>2.46</td><td>1.10</td><td>0.99</td><td>1.94</td><td>1.74</td><td>0.62</td><td>0.67</td></tr><tr><td>approche Sen2Vec</td><td>7.46</td><td>7.31</td><td>7.97</td><td>6.38</td><td><strong>2.09</strong></td><td><strong>1.60</strong></td><td><strong>3.26</strong></td><td><strong>2.68</strong></td><td><strong>0.88</strong></td><td><strong>0.85</strong></td></tr><tr><td>custom tfidf</td><td>5.74</td><td>6.53</td><td>10.53</td><td>9.99</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">wordnet</td><td>approche Doc2Vec</td><td>0.83</td><td>1.01</td><td>0.97</td><td>0.97</td><td>0.17</td><td>0.18</td><td>0.35</td><td>0.33</td><td>0.06</td><td>0.09</td></tr><tr><td>approche Sen2Vec</td><td>3.17</td><td>3.27</td><td>4.22</td><td>3.42</td><td>0.82</td><td>0.75</td><td>1.05</td><td>0.94</td><td>0.04</td><td>0.07</td></tr><tr><td>custom tfidf</td><td><strong>7.99</strong></td><td><strong>8.71</strong></td><td><strong>14.47</strong></td><td><strong>13.33</strong></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="10">semeval-2010</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>5.72</td><td>10.24</td><td>7.71</td><td>11.95</td><td>0.41</td><td>0.35</td><td>0.39</td><td>0.79</td><td>1.76</td><td>2.52</td></tr><tr><td>PositionRank</td><td>3.35</td><td>5.87</td><td>4.03</td><td>6.45</td><td>1.10</td><td>1.36</td><td>1.18</td><td>1.48</td><td>0.00</td><td>0.00</td></tr><tr><td>TextRank</td><td>0.74</td><td>1.34</td><td>0.94</td><td>1.22</td><td>0.44</td><td>0.33</td><td>0.19</td><td>0.69</td><td>0.00</td><td>0.00</td></tr><tr><td>TfIdf</td><td>7.50</td><td>12.54</td><td>9.83</td><td>13.88</td><td>0.85</td><td>0.87</td><td>1.04</td><td>1.45</td><td>2.17</td><td>3.26</td></tr><tr><td>TopicRank</td><td>5.47</td><td>8.67</td><td>6.91</td><td>9.81</td><td>0.14</td><td>0.07</td><td>0.65</td><td>0.87</td><td>2.32</td><td>2.56</td></tr><tr><td>TopicalPageRank</td><td>1.40</td><td>2.48</td><td>1.65</td><td>2.32</td><td>0.85</td><td>0.82</td><td>0.42</td><td>0.94</td><td>0.00</td><td>0.00</td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>6.56</td><td>8.21</td><td>4.98</td><td>5.26</td><td>1.58</td><td>1.61</td><td>4.30</td><td>4.20</td><td>1.82</td><td>2.11</td></tr><tr><td>approche Sen2Vec</td><td><strong>17.17</strong></td><td><strong>22.12</strong></td><td><strong>14.65</strong></td><td><strong>16.18</strong></td><td><strong>3.99</strong></td><td><strong>3.91</strong></td><td><strong>10.53</strong></td><td><strong>10.77</strong></td><td><strong>4.12</strong></td><td><strong>4.86</strong></td></tr><tr><td>custom tfidf</td><td>5.10</td><td>7.36</td><td>8.10</td><td>9.38</td><td>0.00</td><td>0.22</td><td>0.21</td><td>0.33</td><td>0.75</td><td>1.47</td></tr><tr><td rowspan="3">wordnet</td><td>approche Doc2Vec</td><td>1.60</td><td>2.08</td><td>1.39</td><td>1.57</td><td>0.48</td><td>0.49</td><td>0.83</td><td>0.79</td><td>0.50</td><td>0.52</td></tr><tr><td>approche Sen2Vec</td><td>4.50</td><td>6.39</td><td>4.74</td><td>5.26</td><td>1.19</td><td>1.11</td><td>1.51</td><td>2.27</td><td>0.95</td><td>1.60</td></tr><tr><td>custom tfidf</td><td>3.58</td><td>5.11</td><td>5.58</td><td>6.65</td><td>0.00</td><td>0.00</td><td>0.00</td><td>0.00</td><td>0.96</td><td>1.14</td></tr><tr><td rowspan="10">taln-archives</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>1.89</td><td>2.09</td><td>2.35</td><td>2.41</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>PositionRank</td><td>1.90</td><td>2.17</td><td>2.35</td><td>2.49</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TextRank</td><td>0.96</td><td>1.03</td><td>1.22</td><td>1.19</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TfIdf</td><td>2.16</td><td>2.65</td><td>2.61</td><td>2.97</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicRank</td><td>1.82</td><td>2.08</td><td>2.28</td><td>2.41</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicalPageRank</td><td>1.13</td><td>1.17</td><td>1.40</td><td>1.34</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>6.22</td><td>5.88</td><td>5.65</td><td>4.77</td><td>1.19</td><td>1.06</td><td><strong>0.77</strong></td><td>0.75</td><td>0.12</td><td>0.16</td></tr><tr><td>approche Sen2Vec</td><td><strong>9.74</strong></td><td><strong>8.68</strong></td><td>9.44</td><td>7.71</td><td><strong>1.68</strong></td><td><strong>1.19</strong></td><td><strong>0.77</strong></td><td><strong>0.84</strong></td><td><strong>0.20</strong></td><td><strong>0.22</strong></td></tr><tr><td>custom tfidf</td><td>9.50</td><td>8.47</td><td><strong>11.31</strong></td><td><strong>9.38</strong></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="10">termith-eval</td><td rowspan="6">pke</td><td>MultipartiteRank</td><td>1.69</td><td>3.25</td><td>2.60</td><td>4.51</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>PositionRank</td><td>1.61</td><td>2.86</td><td>2.57</td><td>3.96</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TextRank</td><td>0.69</td><td>0.92</td><td>1.14</td><td>1.30</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TfIdf</td><td>2.39</td><td>3.42</td><td>3.79</td><td>4.73</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicRank</td><td>1.58</td><td>2.98</td><td>2.49</td><td>4.15</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>TopicalPageRank</td><td>0.84</td><td>1.12</td><td>1.35</td><td>1.55</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">text-bison</td><td>approche Doc2Vec</td><td>8.35</td><td>9.85</td><td>7.97</td><td>7.44</td><td>1.91</td><td>1.97</td><td>3.10</td><td>3.56</td><td>1.55</td><td>1.63</td></tr><tr><td>approche Sen2Vec</td><td><strong>13.31</strong></td><td><strong>13.29</strong></td><td><strong>14.46</strong></td><td>12.17</td><td><strong>3.12</strong></td><td><strong>2.38</strong></td><td><strong>3.50</strong></td><td><strong>3.57</strong></td><td><strong>1.74</strong></td><td><strong>1.73</strong></td></tr><tr><td>custom tfidf</td><td>9.42</td><td>10.81</td><td>14.34</td><td><strong>14.37</strong></td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>
## 5.2 Customisation du TF-IDF

On observe que la technique TfIdf proposée par PKE est moins efficace que notre méthode personnalisée sur KPBiomed, TermITH-Eval, TALN-Archives. Cela s'explique par le fait que les poids utilisés par PKE sont statiques et optimisées pour SemEval-2010 et Inspec.

Ici nous proposons une façon de calculer les poids de façon non-biaisée car nous utilisons uniquement des données externes aux jeux de données.

## 5.3 Performance des méthodes extractives

Les méthodes extractives du PKE peinent à performer sur les jeux de données avec pro-
portion importante de mots-clés absents comme KPBioMed, TermITH-Eval. Cependant on
remarque un très grand bond en performance lorsqu'on passe de $k = 5$ à $k = 10$ mots-clés
générés. Il serait intéressant d'étudier l'évolution de la performance en fonction de $k$.

## 5.4 Performance des méthodes abstractives

Notre première approche, i.e. inférer le vecteur d'un document entier, renvoie principalement de plus faibles résultats que notre seconde approche, i.e. vote majoritaire pour chaque phrase. Les documents étant des résumés, à l'exception de SemEval-2010, on peut supposer que chaque phrase possède une information importante et indépendante des précédentes, ainsi il semble normal que l'agrégation de tous les vecteurs d'un document renvoie un vecteur peu représentatif de ses thèmes sous-jacents.

De plus, la méthode d'inférence par phrase offre de bons résultats sur l'ensemble des jeux de données et sous-classes PRMU. On notera une sur-performance importante sur SemEval-2010, on doit cela au fait que les documents sont des articles complets et permettent donc un plus large échantillon de phrases pour collecter des prédictions et éviter l'effet de vecteurs aberrants. Effectivement, on observe sur les autres données que la performance stagne ou diminue lorsqu'on augmente le nombre de mots-clés à prédire, cela est dû au plafonnement naturel de l'approche ne pouvant dépasser le nombre de phrases du résumé. Ainsi, nous étudierons les possibilités permettant d'extraire plus de prédictions à l'aide d'une même phrase.

Finalement, on observe des performances très en déça sur la classe Unseen, il serait intér-
essant d'opter pour un modèle plus complexe comme BERT afin d'observer la différence de
modélisation des concepts et index. On notera par ailleurs qu'entre KPBioMed et TermITH-
Eval, l'inférence par phrase est plus efficace sur TermITH-Eval. Il est possible, qu'au-delà de
la distribution en pourcentage des classes PRMU, le fait qu'il y ait huit fois moins de termes
d'index à apprendre permette au modèle une construction plus simple d'un espace vectoriel.

## 5.5 Construction d'un dictionnaire

Sur l'ensemble des méthodes de notre expérience, l'utilisation de définitions générés par
text-bison de Google semble renvoyer les meilleurs résultats. Le large contexte offert par le
modèle est un des facteurs à retenir pour cela. Alors que le dictionnaire MeSH, bien que profes-
sionnel, offre un cadre d'apprentissage moindre par son décalage entre les lexiques employés
par les auteurs et ceux officiellement utilisés par la nomenclature MeSH pour décrire ses index.
## 5.6 Conclusion

L'indexation est un procédé complexe qui a suscité l'attention des chercheurs. Dans cet article nous avons pu établir une méthode facile à mettre en oeuvre permettant de construire un espace vectoriel partagé par des termes d'index et des mots/phrases. Nous avons aussi pu établir les limites des datasets et modèles présents dans l'état de l'art pour l'indexation.

## Références

Berend, G. et V. Vincze (2012). How to evaluate opinionated keyphrase extraction? In *Proceedings of the 3rd Workshop in Computational Approaches to Subjectivity and Sentiment Analysis*, Jeju, Korea, pp. 99–103. Association for Computational Linguistics.

Boudin, F. (2013). TALN archives : a digital archive of French research articles in natural language processing (TALN archives : une archive numérique francophone des articles de recherche en traitement automatique de la langue) [in French]. In E. Morin et Y. Estève (Eds.), *Proceedings of TALN 2013 (Volume 2 : Short Papers)*.

Boudin, F. (2016). pke : an open source python-based keyphrase extraction toolkit. In *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics : System Demonstrations*, Osaka, Japan, pp. 69–73.

Boudin, F. et Y. Gallina (2021). Redefining absent keyphrases and their effect on retrieval effectiveness. In K. Toutanova, A. Rumshisky, L. Zettlemoyer, D. Hakkani-Tur, I. Beltagy, S. Betthard, R. Cotterell, T. Chakraborty, et Y. Zhou (Eds.), *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, Online, pp. 4185–4193. Association for Computational Linguistics.

Boudin et al. (2014). Keyphrase generation for scientific document retrieval.

Boudin et al. (2016a). How document pre-processing affects keyphrase extraction performance. In *Proceedings of COLING 2016 Workshop on Noisy User-generated Text*.

Boudin et al. (2016b). Termith-eval : a french resource for keyphrase extraction.

Gutwin, C., G. Paynter, I. Witten, C. Nevill-Manning, et E. Frank (1999). Improving browsing in digital libraries with keyphrase indexes. *Decision Support Systems* 27(1), 81–104.

Hasan and Ng (2014). Automatic keyphrase extraction : A survey of the state of the art. *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics*.

Houbre, M., F. Boudin, et B. Daille (2022). Dataset for biomedical keyphrase generation.

Hulth (2003). Improved automatic keyword extraction given linguistic knowledge. *Proceedings of the EMNLP 2003 Conference*.

Kim et al. (2010). Semeval-2010 task 5 : Automatic keyphrase extraction from scientific articles. *Proceedings of the 5th International Workshop on Semantic Evaluation*.

Kipp, M. (2011). Controlled vocabularies and tags : An analysis of research methods. *Proceedings from North American Symposium on Knowledge Organization* 3.

Koh, H. Y., J. Ju, H. Zhang, M. Liu, et S. Pan (2022). How far are we from robust long abstractive summarization? In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, pp. 2682–2698. Association for Computational Linguistics.
Kwon, S. (2018). Characteristics of interdisciplinary research in author keywords appearing in korean journals. *Malaysian Journal of Library and Information Science* 23(2), 77–93.

Larsen and Von Ins (2010). The rate of growth in scientific publication and the decline in coverage provided by science citation index. In *Scientometrics* 84.

Le, Q. et T. Mikolov (2014). Distributed representations of sentences and documents. In E. P. Xing et T. Jebara (Eds.), *Proceedings of the 31st International Conference on Machine Learning*, Volume 32 of *Proceedings of Machine Learning Research*, Beijing, China.

Medelyan and Witten (2006). Thesaurus-based automatic keyphrase indexing.

Mihalcea and Tarau (2004). *Textrank: Bringing order into text*. *Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing*.

Mikolov et al. (2013). Efficient estimation of word representation in vector space.

Strader, C. (2009). Author-assigned keywords versus library of congress subject headings implications for the cataloging of electronic theses and dissertations. *Library Resources and Technical Services* 53, 243–250.

Sutskever et al. (2014). Sequence to sequence learning with neural networks.

Tomokiyo and Hurst (2003). A language model approach to keyphrase extraction. *Proceedings of the ACL 2003 workshop on Multiword expressions: analysis, acquisition and treatment*.

Ye and Wang (2018). Semi-supervised learning for neural keyphrase generation. *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*.

Zha (2002). Generic summarization and keyphrase extraction using mutual reinforcement principle and sentence clustering. *Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval*.

## Summary

Indexing documents is a major issue in facilitating access to information and scientific monitoring. Due to the costs associated with professional manual document indexing, authors and journals generally rely on automated methods. However, there is a monopoly of so-called extractive methods, i.e. generating indexes that are words present in the source text. With the democratization of neural networks and diverse datasets, it is now possible to perform abstractive generation, i.e. generate keywords that are not present in the source text. This article presents an approach in abstractive and extractive generation of indexes belonging to a controlled vocabulary. We illustrate the application of this method to different types of articles to establish the current limitations in solving this challenge.