Extraction de mots-clés à partir d’articles scientifiques: comparaison entre modèles traditionnels et modèles de langue (2025)

Abstract: L’extraction automatique des mots-clés est cruciale pour résumer le contenu des documents et affiner la recherche d’informations. Dans cette étude, nous comparons les performances de plusieurs modèles d’extraction et de génération de mots-clés appliqués aux résumés d’articles issus des archives HAL : des approches basées sur des statistiques et des modèles vectoriels, ainsi que des approches génératives modernes utilisant les LLMs. Les résultats montrent que les LLMs surpassent largement les méthodes traditionnelles en termes de précision et de pertinence, même en configuration zero-shot, et que l’inclusion des titres d’articles améliore significativement les scores F1. Nous introduisons également une nouvelle métrique pour évaluer les performances des LLMs en tenant compte des coûts de traitement, offrant ainsi une perspective équilibrée entre efficacité et coût.

## introduction l'extraction de mots-clés est une étape cruciale pour identifier les termes les plus pertinents et représentatifs d'un document ou d'un corpus, facilitant la compréhension et l'exploitation de l'information contenue 1 . cette technique possède un large éventail d'applications, allant de la condensation de contenu et de l'optimisation des moteurs de recherche à l'extraction d'informations, au résumé automatique et à la détection des tendances émergentes. les méthodes traditionnelles d'extraction, basées sur des règles ou des calculs quantitatifs, montrent cependant des limites dans la capture des subtilités sémantiques et contextuelles des mots-clés. l'avènement des modèles d'apprentissage profond a permis le développement de nouvelles approches qui allient la rigueur des méthodes statistiques à la capacité des llms à interpréter le contexte et la sémantique des mots @xcite . ce travail propose, après un état des lieux des recherches récentes, de comparer les performances des approches traditionnelles et des techniques modernes dans le domaine de l'extraction de mots-clés. les n-grammes permettent également d'identifier des séquences de mots fréquentes @xcite . d'autres approches exploitent la position des mots dans les phrases pour identifier les termes clés @xcite ou se basent sur des distributions statistiques plus complexes @xcite ). ## méthodologie la méthodologie que nous avons employée pour comparer différentes méthodes d'extraction des mots-clés comprend plusieurs étapes : ces étapes permettent d'assurer une comparaison robuste pour observer les divergences de performance entre approches traditionnelles et modernes. ## les données les données utilisées pour cette étude proviennent de la plateforme hal, une archive ouverte dédiée à la diffusion des travaux de recherche scientifique. des travaux récents, tels que halvest @xcite , démontrent le potentiel sous-exploité de la base hal pour l'exploration et l'analyse des publications scientifiques. une première observation révèle une répartition linguistique marquée avec 85 % des articles en anglais, contre 15 % en français. concernant les articles en anglais, la moyenne du nombre de motsclés par article est de 5,35 avec une longueur moyenne des mots-clés de 2,14 mots. en comparaison, pour les articles en français, le nombre moyen de mots-clés est légèrement supérieur à 6,32, avec une longueur moyenne de 2,23 mots. la distribution des domaines scientifiques varie également selon la langue, comme illustré dans la figure 2. sans surprise, le domaine de l'informatique reste majoritaire pour les deux langues. les sciences humaines arrivent en deuxième position en français, tandis que les sciences de la vie prennent cette place en anglais. les sciences humaines, bien représentées en français, sont moins présentes en anglais. ## evaluation une évaluation manuelle consisterait à comparer les mots-clés générés à ceux d'une référence (gold standard). bien que souvent efficace, cette méthode présente des inconvénients : elle est chronophage, énergivore et limite le traitement de gros volumes de données. en outre, elle peut introduire des biais en raison des perspectives et interprétations subjectives des évaluateurs humains. dans notre étude, nous avons opté pour une évaluation automatique, en comparant les mots-clés extraits automatiquement aux mots-clés de référence fournis par les auteurs sur hal. cette comparaison s'est effectuée en mode exact matching, où seuls les termes identiques étaient considérés comme des correspondances, afin d'assurer une évaluation précise et cohérente des résultats. pour chaque article, les mots-clés les plus pertinents ont été extraits des résumés à l'aide de toutes les méthodes évaluées. nous avons utilisé le f1-score, une métrique couramment employée pour évaluer la performance des modèles d'extraction de mots-clés. le f1-score est la moyenne harmonique entre la précision, qui est le rapport entre le nombre de mots-clés correctement extraits et le nombre total de mots-clés extraits, et le rappel, qui mesure la proportion de mots-clés pertinents extraits par rapport au total des mots-clés pertinents dans le texte. dans le contexte de l'extraction de mots-clés, un f1-score élevé indique que le modèle parvient à extraire une proportion importante de mots-clés pertinents (haut rappel) tout en limitant l'extraction de mots-clés non pertinents (haute précision). pour chaque article et méthode d'extraction dans cette étude, un f1-score est calculé. en moyennant ces scores sur l'ensemble du corpus, nous obtenons une évaluation comparative des performances des méthodes classiques et modernes foot_0 . ## résultats les résultats de l'évaluation sont présentés dans un tableau avec la précision, le rappel et le f1 score, classés par performance décroissante.