Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/07006.jsonl.gz/1490

Journals and researchers are ranked in different ways through the use of specific metrics. In this post, our colleague Isabelle Vuillemin-Raval gives you a short introduction on what metrics are, why they were created, and why they are problematic and should be used with care.
D’où vient la bibliométrie ?
La bibliométrie peut être définie comme “l’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication” (A. Pritchard, Statistical bibliography or bibliometrics, 1969, vol. 25, n° 4, p. 348-349).
Les premières études bibliométriques remontent à la fin du XIXe siècle. Elles avaient pour but d’établir des listes des revues les plus importantes. En 1934, Samuel C. Bradford, bibliothécaire du Musée de Science de Londres, établit la “loi de Bradford”, qui démontre que dans chaque domaine scientifique, un nombre restreint de revues publie l’essentiel des articles notables.
Dans les années 1960, Eugene Garfield crée le fameux Science Citation Index qui est la première base de données bibliographique incluant les citations. Celle-ci souligne par exemple que les journaux Science et Nature sont centraux dans l’ensemble des sciences dures, et permet aux bibliothécaires d’identifier les revues incontournables auxquelles s’abonner.
La bibliométrie a progressivement pris de l’importance : l’évolution technologique a permis d’engranger toujours plus de données, l’utilisation d’indicateurs de performance s’est généralisée, et un indice permet un gain de temps certain pour évaluer la recherche. De nombreux indicateurs ont été créés et réévalués, comme récemment l’altmétrie.
Quel usage en faire ?
La bibliométrie fournit des indicateurs de mesure utiles pour évaluer la “notoriété” scientifique d’un organisme, d’un auteur, d’un article ou encore d’un titre de revue sur la base d’informations quantitatives (nombre de citations, liste de sources, années couvertes, type de documents). Les outils bibliométriques peuvent aider à répondre aux questions suivantes :
Comment entamer ma recherche ? Consultez les articles les plus cités sur le sujet pour acquérir une base pour votre recherche
Comment trouver des collaborateurs dans d’autres institutions ? Identifiez les groupes de chercheurs les plus actifs dans votre domaine
Où publier un article ? Identifiez les principaux titres de revue d’un domaine particulier, ciblez un lectorat ou visez une revue d’excellence
Où postuler ? Comparez la production scientifique de différentes institutions académiques, que ce soit pour vos études ou pour un poste de recherche
Quel professeur ou chercheur engager ? Lors de l’étude des dossiers de postulation, l’impact de la recherche d’un professeur ou d’un chercheur est étudié
A qui attribuer des financements ? Les agences de financement de la recherche prennent parfois en compte l’importance et la visibilité des travaux précédents d’un chercheur ou d’une institution au moment de choisir comment distribuer leurs fonds et bourses.
Les dérives de la bibliométrie
Certains des points évoqués plus haut devraient vous inspirer des réserves : il est en effet possible d’abuser du système ou d’en tirer des conclusions erronées. L’utilisation exagérée d’indices bibliométriques comme moyen d’appréciation peut générer des effets pervers sur la production académique.
Certains chercheurs auront tendance à multiplier le nombre de publications en morcelant les résultats dans plusieurs articles générant chacun des citations pour améliorer leur indice bibliométrique personnel. Ceci est fait au détriment de la qualité des publications. L’autocitation abusive est un autre exemple de dérive.
La surutilisation d’indices bibliométriques peut faire craindre l’apparition d’une asphyxie scientifique si les chercheurs commencent à orienter leurs recherches dans les domaines financièrement porteurs au détriment de sujets pertinents mais moins populaires.
L’histoire académique nous fournit un exemple de choix quand au non-sens de l’usage de la bibliométrie. Le professeur Peter Higgs, père du fameux boson de Higgs et prix Nobel de physique 2013, avait ainsi déclaré qu’il n’était pas rapide en matière de découvertes scientifiques et qu’il ne publiait pas assez régulièrement pour rester dans la course. Son indice bibliométrique était donc très faible et son employeur, l’Université d’Edimbourg, avait failli le rayer de la carte de ses chercheurs peu avant qu’il ne découvre la particule élémentaire qui l’a rendu célèbre.
Qu’en pense la communauté scientifique ?
Le monde académique est conscient des risques des ces mesures et des répercussions sur la recherche. En 2013 a été créée la Déclaration de San-Francisco sur l’évaluation de la recherche, plus connue sous l’acronyme DORA. Elle couvre toutes les disciplines scientifiques et dénonce l’usage croissant d’outils bibliométriques (cf. poster présentant les buts de DORA). A ce jour, environ 475 Institutions et près de 12 000 particuliers ont signé cette déclaration, dont le Fonds national suisse de la recherche scientifique (FNS).
D’autres recommandations sont disponibles sur internet, comme Snowball metrics, fruit d’une collaboration entre Elsevier et plusieurs universités. Son but est d’établir des standards d’évaluation de la recherche au niveau international.
Citons également The Leiden Manifesto (qui énonce dix principes pour guider l’évaluation de la recherche), ainsi que le rapport britannique The Metric Tide, qui réclament la mise en application de recommandations quant à une utilisation responsable des données bibliométriques.
Il convient donc d’aborder la question avec beaucoup de précautions. Je vous propose donc d’exposer dans un prochain billet une liste d’indicateurs qui précise leur utilité et leurs limites.
Pour aller plus loin :
Gingras, Y. (2015). « Dérives et effets pervers de l’évaluation quantitative de la recherche : sur les mauvais usages de la bibliométrie ». Revue internationale PME, vol. 28, no 2, pp. 7-14
Abbott, A., et al. (2010). Do metrics matter? Nature, 465(7300), 860-862.
Barnes, C. (2017). The h-index Debate: An Introduction for Librarians. The Journal of Academic Librarianship, 43(6), 487-494.
Illustration: Pxhere, CC0 (public domain)