# Bibliométrer n'est pas évaluer

Denis Jerome, Jean-François Bach

► To cite this version:

Denis Jerome, Jean-François Bach. Bibliométrer n'est pas évaluer. 2012. hal-05208312

HAL Id: hal-05208312

https://hal.science/hal-05208312v1

Submitted on 26 Sep 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# « Bibliométrer » n'est pas évaluer

Par Denis Jérôme¹ et Jean-François Bach²

1. Membre de l'Académie des sciences, directeur de recherche émérite au CNRS.

2. Secrétaire perpétuel de l'Académie des sciences, professeur à l'université René Descartes.

« **Bibliométrer** » (verbe que nous proposons), dérivant du substantif bibliométrie, une pratique déjà large- ment répandue parmi les chercheurs et les organismes de recherche dans le but d'évaluer les performances des chercheurs tant au niveau des individus que des équipes et des institutions.

L'Académie des sciences avait constaté dans son rapport du 8 juillet 2009 sur « L'Évaluation individuelle des enseignants-chercheurs et des chercheurs en sciences exactes et expérimentales³ » que l'évaluation individuelle des chercheurs par les pairs reste très subjective et soumise à de nombreux biais potentiels ; elle pose de plus des problèmes pratiques liés à la lourdeur d'un examen approfondi des dossiers, amplifié par le nombre excessif des évaluations demandées de toute part.

De nombreux chercheurs ou institutions ont tendance à penser que la bibliométrie pourrait se substituer à l'évaluation qualitative par les pairs. C'est ainsi que depuis plusieurs années, la bibliométrie est

<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>
largement utilisée dans des contextes assez divers, en particulier en France où certains organismes y re-courent de façon régulière. L'Académie des sciences a souhaité dans son rapport du 17 janvier 2011, « Du bon usage de la bibliométrie pour l'évaluation individuelle des chercheurs⁴ », examiner les condi-tions de son utilisation.

La réflexion menée par l'Académie a révélé l'existence d'opinions très contrastées sur le sujet. En dépit de ce que certains ont demandé, il paraît irréaliste de re-mettre en question la bibliométrie qui restera utilisée en tout état de cause. L'objectif est plutôt d'identifier l'utilisation erronée qui en est souvent faite et de cerner les limites de sa signification et de son utilisation.
De nombreux pays anglo-saxons utilisent déjà offi-ciellement la bibliométrie au niveau de l'évaluation des performances des universités et organismes de re-recherche. Au niveau individuel, la lecture des résultats d'un sondage effectué par *Nature* auprès de 150 cher-cheurs, enseignants-chercheurs ou responsables de dé-partements (en juin 2010) fait ressortir que 70% des sondés pensent que les considérations bibliométriques sont utilisées pour le recrutement et les promotions, mais que 63% d'entre eux jugent l'utilisation des me-sures quantitatives inadéquates. Tout cela démontre bien que dans tous les pays, l'utilisation de la seule bi-bliométrie en vue d'une évaluation est loin d'être per-çeue comme satisfaisante.

La bibliométrie est un produit dérivant de la construc-
tion des gigantesques bases de données bibliogra-
phiques. Eugène Garfield, qui en fut l'un des pionniers
dans les années 60, avait eu l'idée d'utiliser les cita-
tions des articles comme critère de délimitation des
domaines scientifiques. Ultérieurement, l'utilisation
des citations a donné naissance à des instruments de
mesure de la visibilité des journaux scientifiques (facteur
d'impact⁵). Plus récemment, l'usage des citations a été
étendu à l'évaluation scientifique individuelle grâce no-
tamment à l'utilisation de la base *Web of Science de ISI*
commercialisée par *Thomson Reuters*, ou *Scopus* com-
mercialisée par *Elsevier*. La bibliométrie est devenue
une pratique qui s'est développée rapidement après
la proposition en 2005 par J.E. Hirsch d'un indicateur
$h^8$ attribué individuellement à chaque scientifique. Cet
indicateur, fondé sur le nombre d'articles ayant un fort
nombre de citations, a le mérite de pouvoir être ob-
tenu extrêmement rapidement avec le logiciel *Web of
Science* de la base *Thomson ISI*. De nombreux autres
indicateurs plus élaborés ont été proposés par les spé-
cialistes des sciences de l'information dont l'indicateur
$g$ proposé en 2006 par L. Eghhe (cf. note précédente).
Il est cependant utile de prendre conscience que l'outil
bibliométrique reste pour l'instant dans un état rudi-
mentaire.

Force est de constater que l'évaluation bibliométrique fait débat, avec des avis souvent extrêmes pour ou contre son utilisation.

Tentons d'y voir un peu plus clair. Le terme bibliométrie recouvre plusieurs pratiques.

La première, souvent utilisée par les institutions, con-
siste à baser une évaluation quantitative des chercheurs
sur le prestige des revues dans lesquelles ils publient,
prestige déterminé par le facteur d'impact des revues.
C'est assurément une méthode rapide mais qui est fort
critiquable notamment dans certaines disciplines. Il
faut savoir que le facteur d'impact des revues dites de
prestige telles que *Nature*, *Science*, *Cell* ou *Physical Re-
view Letters*, etc.. ne provient que de 20% des articles
les plus cités. C'est à dire que 80% des articles qui y
sont publiés n'atteignent pas le taux moyen annuel de
citation de la revue donné par le facteur d'impact. Faire
valoir une publication dans une revue de prestige re-
vient donc dans une majorité des cas à usurper un taux
de citations auquel le chercheur ne peut prétendre. En
outre, ces revues privilégient souvent la publication
d'articles dans le courant des recherches du moment
afin de s'assurer un large lectorat au détriment de la
diffusion de résultats réellement novateurs à faible lec-
torat, du moins à court terme, la conséquence pouvant
même aller jusqu'à l'orientation des recherches ayant
pour finalité la publication dans ces revues à fort fac-
teur d'impact, ce qui est contraire à l'esprit d'une re-
cherche fondamentale.

La seconde pratique consiste à associer une relation
entre la mesure des citations des articles et la valeur de
leurs auteurs. C'est pour ce faire que les divers indica-
teurs bibliométriques associés aux chercheurs tels que
$h, g$, et d'autres ont été proposés. Ce sont les chercheurs
eux-mêmes qui font figurer ces indicateurs dans leurs
propres dossiers pour l'embauche, les promotions ou
les demandes de contrats. Ces indicateurs pris isolé-
ment contribuent-ils à l'évaluation du chercheur ?
La question mérite d'être posée puisque en tout état
de cause, la bibliométrie ne mesure pas la qualité d'un
chercheur mais seulement ses citations, sans préjuger
des raisons qui l'ont amené à être cité même si les pa-
piers scientifiques faux ou même frauduleux souvent
abondamment cités finissent toujours par être démas-
qués.

Les pratiques bibliographiques et bibliométriques va-
rient considérablement selon les disciplines, voire les
sous-disciplines, avec des différences dans la valeur
donnée à la bibliométrie selon les disciplines (ainsi la
bibliométrie est quasiment rejetée par les mathémati-
ciens et sur-utilisée en biologie et médecine). Cela vaut
autant pour l'utilisation de la bibliométrie que pour
la qualité des bases de données. Ces différences, aux-
quelles il faut ajouter l'énorme disparité de taille des
communautés concernées, doivent inciter à s'interdire de comparer les indicateurs bibliométriques entre des chercheurs appartenant à des disciplines ou des sous-disciplines différentes.

En outre, une question également très sérieuse est celle de la notion même d'auteur. Cette question se pose d'une manière d'autant plus aiguë que les signataires d'un article sont en plus grand nombre. Pour ne citer que les situations extrêmes, en mathématiques le problème n'existe quasiment pas car plus de la moitié des articles n'ont qu'un seul auteur, moins de 10% d'entre eux en ont trois, et une très faible proportion en a plus. L'ordre est strictement alphabétique. En revanche, ce problème est très important en sciences médicales puisque l'activité de recherche des hôpitaux a des conséquences financières sur leur budget et que cette activité est mesurée à travers les publications de leurs chercheurs par un système de validation par points en fonction de leur place dans la liste des auteurs des articles (le logiciel SIGAPS).

La question de l'autorship mériterait d'ailleurs d'être mieux étudiée par l'Académie des Sciences afin que des pratiques différentes suivant les disciplines puis-sent devenir transparentes pour une meilleure représentativité des indicateurs.

Si la seule considération de l'indicateur ne vaut pas évaluation, la bibliométrie peut, elle, donc constituer une aide à l'évaluation. Quand et comment l'utiliser ou ne pas l'utiliser ?

La bibliométrie n'est pas la panacée mais seulement un outil à utiliser avec discernement par les pairs comme le préconisait le rapport du 17 janvier 2011.

* L'utilisation des indicateurs demande de la part des jurys une conscience des limites de leur utilisation: les différences considérables entre les disciplines et la prise en considération de la distribution dans chacune des sous-disciplines.

* Les indicateurs présentent un intérêt lorsqu'ils sont utilisés par les jurys pour comparer des chercheurs comparables tant par leur âge professionnel que par leur domaine scientifique, en excluant la référence aux indicateurs pour le recrutement des jeunes chercheurs.

* L'indicateur doit surtout agir comme révélateur des caractéristiques du chercheur et faire aussi porter l'intérêt sur les chercheurs atypiques situés dans les ailes de la distribution de chercheurs comparables.

* Les indicateurs et la comparaison entre les indicateurs de chercheurs comparables doivent engager l'évaluateur à faire un pas de plus en consultant les fichiers bibliométriques et bibliographiques des bases

de données et dans la mesure du temps disponible en lisant les quelques publications qui pèsent le plus lourd dans la détermination de l'indicateur<fnref n="7" />.

Puisque créativité et innovation, deux qualités que l'on est en droit d'attendre de la part d'un chercheur de haut niveau, ne peuvent se résumer à un nombre, un examen comparatif et qualitatif des dossiers demeure incontournable pour la prise de décisions.

En conclusion, « bibliométrer » n'est pas évaluer mais la bibliométrie mérite mieux que la caricature qui en est souvent donnée en la présentant avec un point de vue réductionniste. Même si elle ne représente en aucun cas le remède miracle pour l'évaluation, un évaluateur averti peut en tirer profit.

La décision finale appartient aux jurys de pairs, mais au cas où elle ne correspondrait pas aux indices bibliométriques, une argumentation de cette décision devrait être fournie pour expliquer les raisons pour lesquelles un travail est jugé très important en dépit d'un faible nombre de citations ■

<footnote n="3">3 http://www.academie-sciences.fr/activite/rapport/rapport080709.pdf</footnote>

<footnote n="4">4 http://www.academie-sciences.fr/activite/rapport/avis170111.pdf</footnote>

<footnote n="5">5 Le facteur d'impact d'une revue pour l'année N est défini par la base de données ISI par le rapport entre le total du nombre de citations vers cette revue à partir de toutes les revues enregistrées dans la base ISI durant les années N-1 et N-2 et la somme des articles publiés par la revue durant ces mêmes années. Le facteur d'impact est souvent interprété comme le taux annuel moyen de citations d'un article de la revue, ce qui est trompeur car il faut garder en mémoire qu'une très petite fraction d'articles bénéficie d'un taux de citations élevé. De plus, dans les magazines scientifiques généralistes de prestige, le taux moyen de citations de la revue peut fort bien s'éloigner fortement du taux moyen d'un domaine en particulier.</footnote>

<footnote n="6">6 L'indicateur *h* du nom du physicien J. Hirsch est déterminé en classant les articles d'un auteur en fonction du nombre décroissant, $C_i$, de leurs citations, de sorte que le papier de rang $i=h$ ait reçu au minimum $h$ citations. Cet indicateur est un nombre associé à un chercheur et est calculé en considérant l'impact de l'ensemble de ses publications (mais il peut également être étendu à d'autres ensembles comme un groupe de chercheurs, un laboratoire, un domaine, un pays, des journaux, etc). Il tient compte de tous les papiers très cités sans toutefois donner un avantage particulier à ceux plus abondamment cités dont l'évolution de la science ne peut se passer. *h* ne permet pas de discriminer entre deux profils de chercheurs de même indicateur: l'un, avec un total modeste des citations jusqu'à l'article de rang *h*, et l'autre présentant un total élevé des citations pour les *h* premiers articles. En outre, l'indicateur n'évoule pas lorsque ce sont les *h* premiers articles à nombre de citations $\ge h$ qui voient leurs citations augmenter au cours du temps. Certains des défauts de l'indicateur de Hirsch ont toutefois été corrigés par L. Egghe qui a proposé, en 2006, un indicateur *g* visant à privilégier la qualité des travaux scientifiques plutôt que leur quantité. Les articles étant toujours classés par ordre de nombre de citations *C*, décroissant, l'article (réel ou virtuel) de rang *g* est tel que le total des citations reçues par les *g* premiers articles soit supérieur ou égal au carré de *g* mais inférieur ou égal à (*g*+1)². L'indicateur *g* qui est déterminé par une intégrale des citations rend beaucoup mieux justice que *h* à l'impact de travaux fortement cités même s'ils ne sont qu'en nombre modeste puisqu'il n'est pas comme l'est le facteur *h* borné par le nombre total de papiers publiés. Cet indicateur met donc plus l'accent sur la qualité que sur la quantité de publications.</footnote>

<footnote n="7">7 La consultation des fichiers bibliographiques indique que suivant les chercheurs un faible pourcentage de leurs articles (de 1,5 % à 6,5 %) contribue déjà à 50 % des citations de leur indicateur *g*. Centrer l'évaluation sur ce nombre relativement modeste permettrait d'alléger la charge du jury.</footnote>