# Découverte d'une fraude scientifique pour booster artificiellement l'impact des recherches

Lonni Besançon, Guillaume Cabanac

► To cite this version:

Lonni Besançon, Guillaume Cabanac. Découverte d'une fraude scientifique pour booster artificielle-ment l'impact des recherches. 2024. hal-04791556

HAL Id: hal-04791556

https://hal.science/hal-04791556v1

Submitted on 19 Nov 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Découverte d'une fraude scientifique
pour booster artificiellement l'impact des
recherches

Lonni Besançon, Guillaume Cabanac

L'image du chercheur qui travaille seul en ignorant la communauté scientifique n'est qu'un mythe. La recherche est fondée sur un échange permanent, tout d'abord et avant tout pour comprendre les travaux des autres et ensuite, pour faire connaître ses propres résultats. La lecture et l'écriture d'articles publiés dans des revues ou des conférences scientifiques sont donc au cœur de l'activité des chercheurs. Quand on écrit un article, il est fondamental de citer les travaux de ses pairs que ce soit pour décrire un contexte, détailler ses propres sources d'inspiration ou encore expliquer les différences d'approches et de résultats. Être cité par d'autres chercheurs, quand c'est pour de « bonnes raisons », est donc une des mesures de l'importance de ses propres résultats. Mais que se passe-t-il lorsque ce système de citations est manipulé ? Notre récente étude [1] révèle une méthode insidieuse pour gonfler artificiellement les comptes de citations : les « références furtives ».

## Les dessous de la manipulation

Le monde de la publication scientifique et son fonctionnement ainsi que ses potentiels travers et leurs causes sont des sujets récurrents de la vulgarisation scientifique. Cependant, penchons nous tout particulièrement sur un nouveau type de dérive affectant les citations entre articles scientifiques, censées refléter les apports et influences intellectuelles d'un article cité sur l'article citant.

Les citations de travaux scientifiques reposent sur un système de référencement standardisé : les auteurs mentionnent explicitement dans le texte de leur article, a minima le titre de l'article cité, le nom de ses auteurs, l'année de publication, le nom de la revue ou de la conférence, les numéros de page... Ces informations apparaissent dans la bibliographie de l'article (une liste de références) et sont enregistrées sous forme de données annexes (non visibles dans le texte de l'article) qualifiées de métadonnées, notamment lors de l'attribution du DOI (digital object identifier), un identifiant unique pour chaque publication scientifique.
Les références d'une publication scientifique permettent, de façon simplifiée, aux auteurs de justifier des choix méthodologiques ou de rappeler les résultats d'études passées. Les références listées dans chaque article scientifique sont en fait la manifestation évidente de l'aspect itératif et collaboratif de la science. Cependant, certains acteurs peu scrupuleux ont visiblement ajouté des références supplémentaires, invisibles dans le texte, mais présentes dans les métadonnées de l'article pendant son enregistrement par les maisons d'édition. Résultat ? Les comptes de citations de certains chercheurs ou journaux explosent sans raison valable, car ces références ne sont pas présentes dans les articles qui sont censés les citer.

## Un nouveau type de fraude et une découverte opportuniste

Tout commence grâce à Guillaume Cabanac (coauteur de l'article) qui publie un rapport d'évaluation post-publication sur PubPeer, un site où les scientifiques discutent et analysent les publications. Il remarque une incohérence : un article, probablement frauduleux, car présentant des « expressions torturées » [2], d'une revue scientifique publiée par l'éditeur de revues scientifiques Hindawi a obtenu beaucoup plus de citations que de téléchargements, ce qui est très inhabituel. Ce post attire l'attention de plusieurs « détectives scientifiques » ; une équipe réactive se forme avec Lonni Besançon, Guillaume Cabanac, Cyril Labbé et Alexander Magazinov.

Nous essayons de retrouver, via un moteur de recherche scientifique, les articles citant l'article initial, mais le moteur de recherche Google Scholar ne fournit aucun résultat alors que d'autres (Crossref, Dimensions) en trouvent. Il s'avère, en réalité, que Google Scholar et Crossref ou Dimensions n'utilisent pas le même procédé pour récupérer les citations : Google Scholar utilise le texte même de l'article scientifique alors que Crossref ou Dimensions utilisent les métadonnées de l'article que fournissent les maisons d'édition.

Pour comprendre l'étendue de la manipulation, nous avons examiné alors trois revues scientifiques qui semblaient citer massivement l'article d'Hindawi. Voici notre démarche en trois étapes.

* Nous listons d'abord les références présentes explicitement dans les versions HTML ou PDF des articles ;

* Ensuite, nous comparons ces listes avec les métadonnées enregistrées par Crossref, une agence qui attribue les DOIs et leurs métadonnées. Nous découvrons que certaines références supplémentaires ont été ajoutées ici, mais n'apparaissaient pas dans les articles ;
* Enfin, nous vérifions une troisième source, Dimensions, une plate-forme bibliométrique qui utilise les métadonnées de Crossref pour calculer les citations. Là encore, nous constatons des incohérences.

Le résultat ? Dans ces trois revues, au moins 9 % des références enregistrées étaient des « références furtives ». Ces références supplémentaires ne figurent pas dans les articles, mais uniquement dans les métadonnées, faussant ainsi les comptes de citations et donnant un avantage injuste à certains auteurs. Certaines références réellement présentes dans les articles sont par ailleurs « perdues » dans les métadonnées.

Soulignons que l'article qui a attiré notre attention sur ces pratiques a depuis été rétracté (autrement dit, retiré de la publication), sans que les raisons de son retrait n'aient été clairement précisées. Il faut par ailleurs savoir que, sur plus de 10 000 articles rétractés en 2023 [3], les 4/5ème l'ont été par Hindawi.

## Les implications et potentielles solutions

Pourquoi cette découverte est-elle importante ? Les comptes de citations influencent de façon significative les financements de recherche, les promotions académiques et les classements des institutions. Elles sont utilisées de façon différente suivant les institutions et les pays, mais jouent toujours un rôle dans ce genre de décisions. Une manipulation des citations peut par conséquent conduire à des injustices et à des décisions basées sur des données fausses.

Plus inquiétant encore, cette découverte soulève des questions sur l'intégrité des systèmes de mesure de l'impact scientifique [4] qui sont mises en avant depuis plusieurs années déjà. En effet, beaucoup de chercheurs ont déjà, par le passé, souligné que ces mesures pouvaient être manipulées, mais surtout qu'elles engendraient une compétition malsaine entre chercheurs qui allaient, par conséquent, être tentés de prendre des raccourcis pour publier plus rapidement ou avoir de meilleurs résultats qui seraient donc plus cités. Une conséquence, potentiellement plus dramatique de ces mesures de productivité des chercheurs réside surtout dans le gâchis d'efforts [5] et de ressources scientifiques [6] dû à la compétition mise en place par ces mesures.

Reste à savoir si la pratique des références furtives est répandue, ou si elle demeure circonscrite à quelques éditeurs indélicats. Pour la combattre, le « Collège Invisible », un collectif informel de détectives scientifiques auquel notre équipe contribue, recommande plusieurs mesures :
* Une vérification rigoureuse des métadonnées par les éditeurs et les agences comme Crossref.

* Des audits indépendants pour s'assurer de la fiabilité des données.

* Une transparence accrue dans la gestion des références et des citations.

Cette étude met en lumière l'importance de la précision et de l'intégrité des métadonnées, car elles sont, elles aussi, sujettes à des manipulations. Il est également important de noter que Crossref et Dimensions ont confirmé les résultats de l'étude et qu'il semblerait que certaines corrections aient été apportées par la maison d'édition qui aurait manipulé les métadonnées confiées à Crossref et, par effet de bord, aux plates-formes bibliométriques comme Dimensions. En attendant des mesures correctives, qui sont parfois très longues, voire inexistantes [7], cette découverte rappelle la nécessité d'une vigilance constante dans le monde académique.

[1] Besançon, L., Cabanac, G., Labbé, C., & Magazinov, A. (2024). Sneaked references: Fabricated reference metadata distort citation counts. Journal of the Association for Information Science and Technology, 1–12. https://doi.org/10.1002/asi.24896

[2] Cabanac, G., Labbé, C., & Magazinov, A. (2021). Tortured phrases: A dubious writing style emerging in science. Evidence of critical issues affecting established journals. arXiv preprint arXiv:2107.06751. https://doi.org/10.48550/arXiv.2107.06751

[3] Van Noorden, R. (2023). More than 10,000 research papers were retracted in 2023—a new record. Nature, 624(7992), 479-481. https://doi.org/10.1038/d41586-023-03974-8

[4] Crous, C. J. (2019). The darker side of quantitative academic performance metrics. South African Journal of Science, 115(7-8), 1-3. https://doi.org/10.17159/sajs.2019/5785

[5] Chalmers, Iain et al. Avoidable waste in the production and reporting of research evidence. The Lancet, Volume 374, Issue 9683, 86 - 89. https://doi.org/10.1016/S0140-6736(09)60329-9

[6] Besançon, L., Peiffer-Smadja, N., Segalas, C. et al. Open science saves lives: lessons from the COVID-19 pandemic. BMC Med Res Methodol 21, 117 (2021). https://doi.org/10.1186/s12874-021-01304-y

[7] Besançon L, Bik E, Heathers J, Meyerowitz-Katz G (2022) Correction of scientific literature: Too little, too late!. PLOS Biology 20(3): e3001572. https://doi.org/10.1371/journal.pbio.3001572