# DU BON USAGE DE LA BIBLIOMETRIE POUR L'ÉVALUATION INDIVIDUELLE DES CHERCHEURS

<figure><img src="image_1.png" /></figure>

Rapport remis le 17 janvier 2011
à Madame la Ministre de l'Enseignement Supérieur et de la Recherche
## SOMMAIRE

<table><tr><td>Résumé</td><td>p. 01</td></tr><tr><td>Recommandations</td><td>p. 05</td></tr><tr><td>Introduction du rapport général</td><td>p. 08</td></tr><tr><td>I. Définition et objectifs de la bibliométrie</td><td>p. 09</td></tr><tr><td>II. Place respective de la bibliométrie et de l'évaluation qualitative par les pairs</td><td>p. 10</td></tr><tr><td>II.1 Les faiblesses de l'évaluation par les pairs</td><td>p. 10</td></tr><tr><td>II.2 La bibliométrie, comme outil pour l'évaluation</td><td>p. 11</td></tr><tr><td>II.3 Les écueils de la bibliométrie</td><td>p. 12</td></tr><tr><td>III. Diversité des habitudes et pratiques des différentes disciplines</td><td>p. 13</td></tr><tr><td>IV. Les auteurs et l'importance de leurs contributions respectives</td><td>p. 15</td></tr><tr><td>V. Le choix des indicateurs et bases de données</td><td>p. 18</td></tr><tr><td>V.1 Les bases de données</td><td>p. 18</td></tr><tr><td>V.2 Le facteur d'impact</td><td>p. 19</td></tr><tr><td>V.3 Le nombre total de citations</td><td>p. 20</td></tr><tr><td>V.4 Les nouveaux indicateurs, en particulier H, G, et autres</td><td>p. 21</td></tr><tr><td>V.5 Conclusion sur le choix des indicateurs</td><td>p. 22</td></tr><tr><td>VI. Comment utiliser la bibliométrie pour l'évaluation individuelle des chercheurs</td><td>p. 22</td></tr><tr><td>VI.1 Quels sont les indicateurs à utiliser ?</td><td>p. 22</td></tr><tr><td>VI.2 Comment calculer et valider les indices ?</td><td>p. 22</td></tr><tr><td>VI.3 Quelles sont les erreurs à ne pas commettre dans l'usage de la bibliométrie pour l'évaluation individuelle des chercheurs?</td><td>p. 23</td></tr><tr><td>VI.4 Qui peut utiliser les indices?</td><td>p. 24</td></tr><tr><td>VI.5 Comment utiliser ces indices?</td><td>p. 25</td></tr><tr><td>VI.6 Les indices bibliométriques doivent-ils apparaître systématiquement dans les dossiers de candidatures ?</td><td>p. 25</td></tr><tr><td>VI.7 Aller au-delà des nombres : les notices bibliographiques</td><td>p. 26</td></tr><tr><td>VI.8 L'importance de replacer les citations d'un article dans la distribution des citations des articles de la revue considérée</td><td>p. 26</td></tr><tr><td>VII. Importance d'une réflexion nationale sur l'amélioration des indicateurs</td><td>p. 26</td></tr><tr><td>VII.1 Tests rétrospectifs</td><td>p. 27</td></tr><tr><td>VII.2 Mise au point de critères pour détecter les valeurs d'originalité, d'innovation, de rayonnement, et de création d'école de pensée</td><td>p. 27</td></tr><tr><td>VII.3 Études pour affiner les indicateurs existants</td><td>p. 27</td></tr><tr><td>VII.4 Fabrication de nouveaux indicateurs</td><td>p. 27</td></tr><tr><td>VII.5 Établissement des règles de bon usage de la bibliométrie pour l'évaluation des chercheurs</td><td>p. 28</td></tr><tr><td>VIII. Conclusion</td><td>p. 28</td></tr></table>
Annexe 1 : Composition du groupe de travail et personnalités auditionnées .................... p. 30

Annexe 2 : Résumé et recommandations du Rapport 2009 de l'Académie sur l'évaluation individuelle des chercheurs et des enseignants-chercheurs en sciences exactes et expérimentales .................................................... p. 32

Annexe 3 : Pratiques bibliométriques selon les différentes disciplines ........................ p. 38

Annexe 4 : L'éthique de la publication des travaux scientifiques - Les critères de Vancouver ................................................................................................................ p. 50

Annexe 5 : Glossaire .................................................................................................................... p. 67
# Du bon usage de la bibliométrie
# pour l'évaluation individuelle des chercheurs

## Résumé

L'évaluation individuelle des chercheurs reste très subjective et soumise à de nombreux biais potentiels. L'Académie a souhaité se pencher sur les pratiques bibliométriques quantitatives censées être plus objectives, et émettre un certain nombre de recommandations sur l'usage de la bibliométrie qui pourrait, moyennant le respect de règles rigoureuses, aider à l'évaluation qualitative. Ces règles devraient être reconnues à un niveau au moins européen. Le problème est d'autant moins simple que l'évaluation bibliométrique fait débat, avec des avis souvent tranchés pour ou contre son utilisation, dépendant en grande partie, mais pas seulement, des disciplines.

## I - Importance de l'évaluation par les pairs et ses limites

### I - 1 Importance de l'évaluation par les pairs

L'évaluation par les pairs a été longtemps la seule façon d'évaluer les chercheurs. Elle garde une valeur irremplaçable pour apprécier la contribution scientifique d'un chercheur en termes d'originalité de pensée, de qualité de travail, d'innovation conceptuelle et technologique, de création d'école et de rayonnement d'une façon générale.

### I - 2 Limites de l'évaluation par les pairs

Néanmoins, cette évaluation pose des problèmes pratiques liés à la lourdeur d'un examen approfondi des dossiers, amplifié par le nombre excessif des évaluations demandées de toute part. En outre, on peut reprocher dans de nombreux cas à l'évaluation par les pairs une certaine subjectivité, aggravée par la compétence parfois insuffisante de certains évaluateurs ainsi que par des conflits ou communautés d'intérêt potentiels, effets de groupe ou favoritisme quelconque. L'ensemble de ces questions déontologiques devrait faire l'objet d'une déclaration écrite des évaluateurs, comme cela a été proposé par l'Académie dans son rapport à la Ministre du 8 juillet 2009.

Il n'en reste pas moins que la bibliométrie ne peut en aucun cas se substituer à l'évaluation qualitative par les pairs, c'est-à-dire par des experts de la discipline qui pourraient cependant l'utiliser avec toutes les précautions nécessaires comme un outil d'aide à la décision.

## II - Fondements de la bibliométrie

La bibliométrie procède du calcul de divers indicateurs (nombre de citations, facteurs intégrés H, G, ou autres) à partir de bases de données bibliographiques couvrant la quasi totalité de la littérature scientifique et de leurs citations dans la plupart des disciplines.
## II - 1 Les principaux indicateurs

Plusieurs indicateurs bibliométriques sont couramment utilisés. Le nombre de publications a relativement peu de valeur, car il ne tient pas compte de la qualité de ces publications. Le nombre total de citations est plus intéressant mais souffre de certains biais, en particulier l'importance exagérée que peuvent prendre un ou deux articles qui ne sont pas nécessairement les plus importants. Les facteurs intégrés, tels que le facteur H, le plus utilisé aujourd'hui, et le facteur G, peuvent utilement compléter le nombre de citations. Quant au facteur d'impact qui s'adresse aux revues et non pas aux chercheurs, il est néanmoins souvent pris en compte pour évaluer la qualité d'un article. Cette pratique, très utilisée dans certaines disciplines comme la biologie et la médecine, est dangereuse car les revues les plus prestigieuses, à facteur d'impact très élevé, contiennent un pourcentage significatif d'articles de qualité moyenne, même s'il reste vrai que la publication d'un article dans ces grandes revues représente un indice de notoriété, à condition que le chercheur considéré ait joué un rôle prédominant dans le travail en question.

Il faut par ailleurs noter, et cela a une réelle importance, qu'il existe des critères quantitatifs d'évaluation qui ne sont pas à proprement parler bibliométriques tels que les conférences invitées, les grands contrats, les distinctions, les brevets, les logiciels, etc. Cette remarque est particulièrement importante pour la recherche appliquée dont l'impact n'est pas toujours bien apprécié par la bibliométrie.

## II - 2 Les bases de données

Les bases de données actuelles sont de bonne qualité et en constante progression pour la plupart des disciplines, sachant néanmoins que toutes les disciplines ne sont pas couvertes (notamment les SHS). Encore faut-il veiller à ce que les personnes calculant les indices bibliométriques aient accès aux meilleures bases et dans leur intégralité. Les bases de données pourraient toutes être utilement complétées par des bases descriptives des articles en référence comme la base *Mathreviews* des Mathématiques (fichier bibliographique avec commentaires).

## II - 3 Avantages et dérives potentielles de la bibliométrie

La bibliométrie est « apparemment » facile d'usage et fournit des nombres attrayants pour un évaluateur en raison de leur simplicité et de leur nature factuelle. Néanmoins, elle comporte de très nombreux biais et il est important de mentionner que pour être réalisée de façon incontestable, elle nécessite du temps, de la rigueur, et une certaine expérience. Il est indispensable de rappeler qu'aucun indicateur ni aucun ensemble d'indicateurs ne peuvent résumer à eux seuls la qualité de la production scientifique d'un chercheur. Par ailleurs, l'importance prise par la bibliométrie dans certaines disciplines peut même inciter certains chercheurs à adapter l'orientation de leurs recherches aux domaines ou aux technologies privilégiés par les revues à haut facteur d'impact dans lesquelles il souhaitent publier, au détriment de l'originalité et de l'innovation.

## II - 4 Validation des données

Le calcul des indicateurs peut donner lieu à de nombreuses erreurs comme en témoignent leurs variations selon les bases de données. Le rapport présente les principales d'entre elles et la façon de les éviter. Dans l'idéal, ce devrait être le chercheur concerné, supposé être le meilleur expert de son propre cas, qui calcule ses indicateurs (dans les disciplines où les bases sont disponibles) avant de les soumettre à une validation par des personnes en ayant la charge au niveau d'un organisme de recherche ou d'une université. L'idée d'un identifiant par chercheur est une piste qu'ont retenue certaines bases de données. De plus, les chercheurs devraient fournir au jury les fichiers électroniques pdf des principaux articles présentés dans leurs
dossiers de façon à ce que l'utilisation éventuelle de la bibliométrie soit complétée par la lecture des travaux eux-mêmes.

## II - 5 Distribution et valeurs de références

Les indicateurs de la bibliométrie n'ont pas de valeur intrinsèque. Ils doivent être replacés dans la distribution des indicateurs de la discipline en tenant compte de l'âge des chercheurs concernés.

## II - 6 Notion d'auteur (authorship)

La place du chercheur évalué au sein des signataires d'un article peut avoir, dans certaines disciplines et en particulier en biologie, une importance considérable par rapport à sa contribution personnelle et en conséquence à la notoriété qu'il peut en tirer. Des efforts importants doivent alors être faits pour ne pas mettre au même niveau, dans les calculs bibliométriques, tous les articles d'un auteur indépendamment de sa place parmi les signataires, tout en reconnaissant la difficulté d'intégrer cet élément dans ces calculs. Plus généralement, il serait utile que les listes de publications précisent la contribution exacte de chaque auteur, en tout cas pour ce qui concerne les « listes courtes » produites par les candidats. Cette question devrait faire l'objet d'une réflexion approfondie ultérieure.

## III - Quand et comment utiliser ou ne pas utiliser la bibliométrie

### III - 1 Quand utiliser/ne pas utiliser la bibliométrie

Pour les jurys mono-disciplinaires ayant généralement une bonne connaissance de tous les candidats, le recours à la bibliométrie est souvent utilisé pour un rapide tour d'horizon sans que les résultats ne constituent un élément décisif.

Dans le cas de jurys traitant de plusieurs sous-disciplines, il peut être utile d'y avoir recours pour effectuer un premier tri car cela peut faire gagner du temps, mais à condition que le jury soit constitué d'experts conscients des différences considérables qui peuvent exister entre elles et avec prise en considération de la distribution des indicateurs dans chacune des sous-discipline.

En revanche, les indicateurs bibliométriques n'ont pas de valeur au début de la carrière scientifique et ne doivent donc pas être utilisés pour les recrutements, sauf lorsqu'il s'agit du recrutement de seniors.

### III - 2 Comment utiliser la bibliométrie

La bibliométrie doit exclusivement être utilisée en association avec une évaluation qualitative (à l'exception des premiers tris mentionnés plus haut). De façon plus générale, il faut moduler les indicateurs par la durée de la carrière, leur valeur augmentant avec l'âge de façon cumulative, en sachant toutefois tenir compte d'éventuels changements de productivité ou d'orientation thématique au cours de la carrière. Les indicateurs à utiliser ne sont pas les mêmes ou sont à affecter de poids différents selon l'objet de l'évaluation : recrutement, promotion, contrat, distinction.

Il est nécessaire, conformément aux usages internationaux, d'associer aux données bibliométriques générales, l'examen approfondi des 5, 10 ou 20 meilleures publications (selon les disciplines), au choix du candidat et en fonction de l'ancienneté scientifique. Ainsi, les instances d'évaluation ne doivent pas se contenter des nombres issus de la bibliométrie, elles doivent consulter l'intégralité des notices bibliographiques associés aux publications choisies par le candidat.
Dans le cas où la décision finale prise par les jurys de pairs ne correspondrait pas aux indices bibliométriques, une argumentation des raisons de cette décision devrait être fournie pour expliquer les raisons pour lesquelles un travail est jugé très important en dépit d'un faible nombre de citations.

En tout état de cause, tous ces indicateurs devraient être systématiquement présentés dans les dossiers de candidature comme un outil d'aide à l'évaluation si nécessaire.

## IV - Spécificités par disciplines

Les disciplines, voire les sous-disciplines, ont chacune leurs spécificités en matière de publication et d'usage de la bibliométrie. Il s'agit-là d'un biais potentiel majeur dont il faut tenir compte dans l'évaluation d'un chercheur, à mettre en lien également avec la taille de la communauté. La bibliométrie ne permet donc absolument pas de comparer des chercheurs de disciplines et même de sous-disciplines différentes.

Outre la taille de la communauté et donc du nombre global de citations dans la discipline, il convient de noter quelques spécificités importantes en particulier l'absence de bonnes bases de données en sciences humaines et sociales, la réticence de l'ensemble des mathématiciens vis-à-vis de la bibliométrie, et des différences majeures dans les pratiques pour le nombre et l'ordre des auteurs dans les articles.

## V - Etudes pour améliorer la bibliométrie

Bien utilisée, la bibliométrie pourrait devenir un outil utile entre les mains des pairs. L'Académie recommande de prévoir les études suivantes en vue d'améliorer l'utilisation trop souvent officieuse de la bibliométrie :

**V - 1 Tests rétrospectifs** pour comparer les décisions effectivement prises par des jurys de pairs (CNRS, IUF, ERC) avec les résultats qu'auraient pu donner une évaluation bibliométrique des candidats. Il serait bon de consulter les études de ce type déjà conduites en France par le CNRS et de les prolonger, ainsi que celles menées à l'étranger, notamment par les Académies.

**V - 2 Etudes pour affiner les indicateurs** existants et définition de standards bibliométriques pertinents s'orientant vers l'évaluation individuelle qui est un usage relativement récent de la bibliométrie. Réflexion approfondie sur la notion d'auteur. Formation d'un comité de pilotage de la bibliométrie individuelle dans le cadre de l'Observatoire des Sciences et Techniques (OST).

**V - 3 Mise au point de critères** pour détecter les valeurs d'originalité, d'innovation, de rayonnement et de création d'école de pensée, notamment à travers l'histoire des grandes découvertes récentes dans le contexte de la bibliométrie (médailles Fields, prix Nobel, médailles d'Or et d'Argent du CNRS, etc.)

**V - 4 Etablissement de règles de bon usage de la bibliométrie pour l'évaluation des chercheurs**, en réponse à la demande de l'AERES qui a parmi ses missions la validation des procédures d'évaluation des chercheurs.
# Du bon usage de la bibliométrie
# pour l'évaluation individuelle des chercheurs

## Recommandations

**Recommandation n° 1 :** L'utilisation des indicateurs bibliométriques pour l'évaluation individuelle n'a de valeur que si l'on respecte certaines conditions majeures :

- L'évaluation doit porter sur les articles et non sur les revues.

- La qualité des données, la normalisation, la significativité des écarts et la robustesse des indicateurs doivent être validées.

- L'évaluation bibliométrique doit ne comparer entre elles que des personnes de la même communauté disciplinaire, pendant tout leur parcours. Il est en effet indispensable de replacer les données bibliométriques dans la distribution des chercheurs du même domaine, en tenant compte également de l'âge dans la carrière.

- Les utilisateurs de la bibliométrie doivent être capables de s'en expliquer : cela les obligera à cultiver une bonne expertise.

Il est par ailleurs important de prendre conscience à quel point certains chercheurs adaptent leur travail scientifique dans l'objectif de publier leurs articles dans une revue à facteur d'impact élevé, au double risque d'altérer l'originalité de leur travail et de ne pas avoir la continuité thématique souhaitable pour tout chercheur, au moins sur quelques années.

Enfin, dans la mesure où l'évaluation repose sur les pairs, la question se pose de savoir s'il ne serait pas utile de les soumettre eux aussi aux mêmes tests d'évaluation bibliométrique.

**Recommandation n° 2 :** La bibliométrie ne peut pas se résumer à des nombres, mais doit être accompagnée d'un examen approfondi des données bibliométriques et bibliographiques, et si possible des articles eux-mêmes

Il est indispensable de rappeler que tant en Mathématiques qu'en Physique et Chimie, certains lauréats de Prix Nobel et de Médailles Fields français ont des indices bibliométriques fort modestes.

- L'évaluation bibliométrique doit être étroitement associée à l'examen direct des travaux, en particulier pour ce qui concerne leur originalité qui ne ressort pas de l'étude bibliométrique.

- L'Académie recommande, dans toute évaluation individuelle mais surtout quand l'évaluation ne débouche pas sur un consensus, d'examiner les données bibliométriques des 5, 10 ou 20 articles les plus cités du chercheur concerné (ou choisis par lui), ainsi que les fichiers bibliographiques associés. Cette sélection accompagnée des fichiers pdf
correspondants fournis par les candidats faciliterait grandement l'examen approfondi des travaux.

- On pourrait envisager de comparer, dans un journal donné, les citations d'un article d'un chercheur avec le nombre moyen de citations dans ce même journal durant une période donnée, ce qui valoriserait les articles très cités dans des journaux de faible facteur d'impact.

- On pourrait aussi comparer le nombre de citations d'un article par rapport aux résultats statistiques d'un article de même ancienneté dans la même discipline.

- Il serait intéressant de savoir comment se situe un article parmi les articles les plus cités de la discipline : dans les 0,01%, 0,1%, etc. ? La sous-base « *Essential Science Indicators* » de ISI (voir *Additional Resources*) permet de faire facilement ce travail par grandes disciplines. Une analyse plus fine en sous-disciplines pourrait s'avérer nécessaire. Dans les fichiers bibliographiques d'ISI, il est aussi possible de regarder comment les citations ont évolué dans le temps et qui a cité l'article.

- Une bibliométrie qualitative (et semi quantitative) serait utile pour certaines évaluations approfondies consistant à étudier ou quantifier la qualité des citations reçues : savoir par quels articles (ou types d'articles) un article (ou une personne) est cité(e), montre qui vous a donné son vote, mais sert aussi pour apprécier l'interdisciplinarité, la durée, la portée, et l'écart de temps.

- Concernant l'analyse bibliographique, l'exemple de la base de données *Mathematical Reviews* devrait être étendu aux autres disciplines et encouragé.

**Recommandation n° 3 : Les indices bibliométriques ne peuvent pas être utilisés de la même façon selon l'objet de l'évaluation : recrutements, promotions, contrats, distinctions, etc.**

- Il ne faut pas utiliser les indicateurs bibliométriques pour les chercheurs ayant moins de dix années de carrière afin d'éviter la chasse aux domaines à fort taux de citations, ce qui handiciperait la créativité dès le début de la carrière.

- Il faut également exclure le recours à la bibliométrie pour le recrutement des jeunes. Au niveau CR2 ou Maîtres de Conférences, les travaux d'un candidat à examiner sont généralement modestes en quantité. Le jury doit plus qu'ailleurs lire et s'efforcer de comprendre les textes qui lui ont été proposés par le candidat.

- Dans le cas de recrutement dans des postes seniors, les indicateurs peuvent être consultés par les pairs comme pour les promotions (cf. ci-dessous).

- Pour les passages DR2, DR1 et DRE et les équivalents pour les enseignants-chercheurs, le recours aux indicateurs et à la bibliométrie peut devenir une aide pour déblayer le terrain en établissant la distribution de tous les candidats et en éliminant ceux dont les performances sont manifestement trop faibles au vu de la distribution.

- Le recrutement au niveau DR2 ou PR2, DR1 ou PR1 s'assimile plus au cas précédent qu'à celui des jeunes. Donc « l'écrémage » préliminaire par la bibliométrie est possible dans le cas d'un très grand nombre de candidats.
- Dans le cas où la décision finale ne correspondrait pas aux indices bibliométriques, une argumentation explicite des raisons de cette décision devrait être fournie.

- Les évaluations bibliométriques des chercheurs candidats à un contrat de recherche ou à une distinction (prix, médailles, Académies, etc.) doivent être abordées de façon particulière en fonction du contexte et de l’âge des chercheurs concernés, en donnant une grande importance à l’originalité du travail souvent mal prise en compte par la bibliométrie.

### Recommandation n° 4 : Il faut tenir le plus grand compte, lorsque cela est possible, de la place et de la contribution de l'auteur dans l'article considéré

Lorsqu'un article est signé par plusieurs auteurs, il est fréquent que la contribution au travail et à la publication diffère pour chaque auteur, ce qui est souvent révélé par sa place dans l'ordre des signataires. Le problème se pose différemment selon le nombre d'auteurs et selon la discipline (dans certaines disciplines l'ordre des auteurs est alphabétique, dans d'autres il relève de la hiérarchie des contributions selon des modalités variables et complexes).

- Il est essentiel de ne pas mettre au même niveau de notoriété pour un auteur donné, les articles dans lesquels il a joué un rôle déterminant et ceux pour lesquels il n'a été qu'un collaborateur.

- La notion d'auteur demande une clarification. Il pourrait être utile de recommander aux revues de toutes disciplines l'utilisation des critères d'authorship de Vancouver (cf. annexe 4).

- Il pourrait être également révélateur de s'informer sur les co-auteurs d'un article.

### Recommandation n° 5 : L'évaluation bibliométrique doit être l'objet de recherche pour en améliorer la valeur. La France doit participer à cette réflexion

Toutes les précédentes recommandations ne constituent que quelques suggestions qui demandent à être approfondies. L'Académie recommande à cette occasion la formation d'un Comité de pilotage de l'évaluation individuelle bibliométrique, par exemple dans le cadre de l'Observatoire des Sciences et Techniques (OST) qui est un opérateur public ayant déjà une longue expertise en matière de bibliométrie. Il serait constitué d'un petit groupe d'experts représentant diverses disciplines et divers organismes, ayant en charge l'étude des limites et l'amélioration des indicateurs et de leur utilisation. Ce groupe devrait engager des recherches et fournir des directives concrètes, validées à un niveau au moins européen, en s'appuyant sur différents tests et études : test rétrospectifs, mise au point de critères pour détecter les valeurs d'originalité, d'innovation, de rayonnement, et de création d'école de pensée, études pour affiner les indicateurs existants, etc...
# DU BON USAGE DE LA BIBLIOMETRIE
POUR L'EVALUATION INDIVIDUELLE DES CHERCHEURS

## Introduction

La bibliométrie a acquis une place croissante dans l'évaluation des chercheurs, tant au niveau des individus dont il sera seulement question ici, que des équipes et des institutions. Cette place est expliquée par la simplicité de son utilisation et par l'accès qu'elle procure à des informations factuelles et relativement synthétiques sur la carrière des chercheurs. En même temps, il s'est révélé à l'usage que la bibliométrie n'était pas toujours bien utilisée, et surtout, pouvait être l'objet de graves déviances lorsqu'elle était utilisée isolément.

Dans son rapport du 8 juillet 2009, l'Académie des Sciences a souhaité réaffirmer que les pairs doivent jouer le rôle décisif dans l'évaluation individuelle des chercheurs (cf. annexe 2). Malheureusement, de nombreux cas de mauvais fonctionnement de l'évaluation qualitative par les pairs sont observés : conflit d'intérêt, favoritisme disciplinaire ou autre, localisme, effet de groupe, insuffisance de compétence des évaluateurs, examen trop superficiel des dossiers, etc.. La question s'est donc posée de savoir comment s'assurer d'un meilleur fonctionnement de l'évaluation par les pairs.

Afin de pallier ces dysfonctionnements, l'évaluation de l'impact des travaux des chercheurs basée sur une analyse quantitative, censée apporter un avis plus factuel, a été proposée dans certaines disciplines comme outil d'aide à l'évaluation qualitative par les pairs. C'est cet usage qui est couramment appelé bibliométrie.

Toutefois, la bibliométrie n'est pas nécessairement objective et souffre de nombreux biais. Elle est généralement réduite à quelques nombres et ainsi utilisée d'une manière considérablement réductrice, même si les bases de données actuelles permettant d'établir ces indicateurs recèlent une quantité d'informations qui, une fois bien prises en compte par des experts, pourraient devenir une aide significative pour l'évaluation qualitative.

C'est sur l'usage des listes de publications et des indicateurs fondés sur les citations de ces publications que porte ce rapport, qui tentera tout à la fois de faire le point de la situation présente et d'ouvrir des pistes pour son amélioration.
# I. Définition et objectifs de la bibliométrie

On entend généralement par bibliométrie, mais il vaudrait mieux dire évaluation bibliométrique, l'ensemble des procédures qui contribuent à l'évaluation de la production scientifique d'un chercheur (ou d'un ensemble de chercheurs) à partir du nombre de ses publications, du prestige des revues dans lesquelles elles ont été faites, et des citations auxquelles elles ont donné lieu. En tout état de cause, la bibliométrie ne mesure pas la qualité d'un chercheur mais seulement ses citations, sans préjuger des raisons qui l'ont amené à être cité. Comme on le verra dans ce rapport, plusieurs indicateurs ont été proposés pour servir de base à l'évaluation individuelle par la bibliométrie. Il est important de dire d'emblée qu'aucun de ces indicateurs ne peut, à lui seul, permettre une évaluation acceptable de l'activité d'un chercheur et que même la prise en considération de plusieurs indicateurs ne peut pas non plus assurer cette évaluation. On peut même regretter que le terme *bibliométrie* inclue le radical *métrie* qui implique la notion de mesure, alors que l'unité de mesure bibliométrique varie suivant les disciplines et les sous-domaines de recherche.

Chacun s'accorde à reconnaître que toute activité scientifique doit, à terme, donner lieu à une diffusion convenable des observations réalisées, sous forme habituellement de publications dans des revues scientifiques à comité de lecture, mais aussi selon les disciplines sous d'autres formes (archives ouvertes, conférences, livres, etc.), qui témoignent de la participation du chercheur concerné aux progrès scientifiques dans son domaine. Il est également apparu avec le temps que la hiérarchie entre les revues scientifiques amène les chercheurs à soumettre leurs articles de façon préférentielle à celles qui ont le plus grand prestige. On conçoit dès lors que publier dans ces « bonnes revues » devienne un objectif et en retour un indice de notoriété. Assez naturellement et à niveau égal, les articles publiés dans ces revues sont plus souvent cités que ceux publiés dans d'autres revues moins prestigieuses. Parallèlement, et de façon étroitement intriquée au point précédent, les meilleurs articles donnent le plus souvent lieu à un nombre élevé de citations que les moyens informatiques actuels permettent de dénombrer de façon précise, ce qui a conduit à l'hypothèse que plus un article était cité un grand nombre de fois, plus il était important. Ce sont ces concepts qui sont à la base de la pratique bibliométrique, qui à l'origine avait été conçue pour définir des domaines scientifiques, puis pour l'évaluation des revues elles-mêmes.

La bibliométrie a suscité un grand engouement dans une bonne partie de la communauté scientifique parce que son utilisation apparaissait aisée et permettait une "évaluation" plus rapide et donc moins coûteuse de l'activité d'un chercheur que l'étude qualitative de ses travaux. Néanmoins, en raison même de cette facilité, il est apparu au cours des années que la bibliométrie était utilisée de façon excessive, parfois cachée, souvent incorrecte en raison de la méconnaissance des nombreux pièges auxquels elle expose, sans validation des données, au détriment de l'évaluation qualitative.
C'est de l'ensemble de ces sujets que traite ce rapport en tentant de prendre le recul nécessaire pour mettre la bibliométrie en perspective dans l'évaluation scientifique, et en proposant des recommandations pour son meilleur usage et l'amélioration technique de ses modalités d'utilisation.

## II. Place respective de la bibliométrie et de l'évaluation qualitative par les pairs

Il est important de savoir évaluer les travaux scientifiques et du même coup la qualité de la production des chercheurs à l'origine de ces travaux. Cela est essentiel pour les recrutements, les promotions de chercheurs et d'enseignants-chercheurs et l'attribution de distinctions ou de prix. Cela est également fondamental pour décider du niveau des subventions individuelles de recherche. Cela est enfin très utile pour apprécier la qualité des auteurs d'une recherche ou d'un article. Ce grand nombre d'objectifs pose d'ailleurs un problème en soi dans la mesure où il conduit à la répétition incessante d'évaluations des chercheurs, source de perte de temps et d'énergie pour les évaluateurs et les évalués, surtout si l'on y rajoute l'expertise des manuscrits par les revues. Pendant de nombreuses années, avant qu'il ait été possible de recourir à la bibliométrie, l'évaluation quantitative se limitait à la prise en compte du nombre de publications dont on verra ultérieurement les biais. Elle était -et elle reste heureusement-complétée par l'analyse qualitative des travaux, le plus souvent sur la base d'articles scientifiques, parfois sur la prise de brevets, ou sur l'impact des découvertes réalisées au niveau fondamental ou appliqué. Dans la majorité des cas, l'évaluation scientifique est effectuée par des experts de la même discipline, des « pairs », réunis dans un jury ou un comité. Ce n'est pas le lieu ici de discuter des modalités de cette évaluation qualitative qui doit, en outre, prendre en compte, lorsqu'il s'agit de l'évaluation d'individus, d'autres critères que les travaux scientifiques à proprement parler (notamment l'enseignement et la participation aux tâches collectives). L'Académie a publié en 2009 un rapport détaillé sur ce sujet (http://www.academie-sciences.fr/actualites/textes/recherche_08_07_09.pdf). Il convient de rappeler que certains de ces autres critères comportent un élément quantitatif, notamment le nombre de brevets (modulé par l'obtention d'une licence dans l'industrie), le nombre de conférences invitées ou de contrats internationaux obtenus, les logiciels pour les informaticiens, auxquels on pourrait ajouter désormais les invitations à changer de laboratoires, le *Transfer Market*, très développé aux USA (par exemple à l'occasion du fameux *March Meeting* en Physique) et dans les pays anglo-saxons en général, autant d'indicateurs quantitatifs qui ne relèvent pas de la bibliométrie. Le vrai problème est celui de la place respective de l'évaluation qualitative par les pairs et de l'évaluation bibliométrique.

### II. 1 Les faiblesses de l'évaluation par les pairs

Il convient, à ce stade, de remarquer que l'émergence et l'usage de la bibliométrie sont en partie dus aux insuffisances de l'évaluation qualitative, au moins dans certaines disciplines. Le premier rapport de l'Académie cité plus haut, dont les conclusions sont rappelées en
annexe, présente les manquements fréquents concernant la qualité des évaluateurs, leur éthique personnelle, l'objectivité, la transparence, la qualité de leurs évaluations, et l'analyse trop superficielle des travaux examinés liée en partie au nombre excessif d'expertises demandées aux meilleurs scientifiques. En d'autres termes, s'il est nécessaire de nuancer l'importance de la bibliométrie en en évitant tout usage excessif, il est important de garder à l'esprit la nécessité d'améliorer les évaluations qualitatives.

En fait, le problème est complexe. En premier lieu, la valeur de l'évaluation qualitative est très variable selon les disciplines et selon les institutions. En outre, elle inclut à l'évidence, au moins dans certaines disciplines, de façon directe ou indirecte, consciente ou inconsciente, des éléments de bibliométrie. Il n'en reste pas moins, comme cela a déjà été dit à plusieurs reprises, que l'évaluation fondamentale doit être qualitative, même si elle utilise la bibliométrie comme outil, ce qui est le plus souvent justifié. La vraie difficulté sur laquelle l'on reviendra, est qu'en raison même de la variabilité de sa qualité qui vient d'être mentionnée, il est difficile de dire quand une évaluation qualitative est vraiment satisfaisante, ce qui rend très délicat son utilisation comme référence pour valider l'évaluation bibliométrique. En bref, il convient parallèlement d'améliorer, lorsque cela est nécessaire, l'évaluation qualitative en éliminant en particulier les risques de conflit d'intérêt et d'incompétence des évaluateurs, et d'y intégrer la bibliométrie la plus pertinente possible dans les disciplines où cela s'y prête.

## II. 2 La bibliométrie, comme outil pour l'évaluation

La bibliométrie a des avantages évidents. Elle est apparemment simple à réaliser et fournit des éléments d'information factuels quand elle est utilisée correctement. Elle a l'inconvénient considérable de résumer par des nombres, de façon potentiellement biaisée, la production scientifique des chercheurs, sans tenir compte des aspects multiples et complexes de l'appréciation de l'originalité et de la qualité d'un travail scientifique. S'y ajoutent, l'on y reviendra en détail, d'énormes différences dans la pertinence et en conséquence dans l'utilisation de la bibliométrie pour les différentes disciplines ou sous-disciplines. Ces remarques importantes expliquent que toute évaluation sérieuse doit rester fondée sur l'évaluation qualitative par les pairs. Il convient, à ce stade, de remarquer que les membres du groupe de travail ont convergé sur l'affirmation que la bibliométrie n'était pas la panacée mais seulement un outil à utiliser avec discernement par les pairs. Ces derniers utilisent déjà les outils bibliométriques de façon consciente ou inconsciente, cachée ou non cachée, par exemple lorsque des lettres de recommandations souvent basées sur des critères bibliométriques sont fournies au dossier d'un chercheur. En tout état de cause, les évaluateurs examinent la liste des publications en connaissant la qualité des revues où sont publiés les articles et il faut espérer qu'ils examinent aussi les articles eux-mêmes. Quelles que soient les réticences que l'on peut avoir vis-à-vis de la bibliométrie, il faut reconnaître qu'elle a droit de cité dans de nombreuses disciplines (pas dans toutes, notamment en mathématiques et en SHS, l'on y reviendra plus loin). Nier son intérêt est à la fois injustifié
et de toute façon inutile car elle continuera à être utilisée. Il paraît plus opportun d’en cerner les limites et d’en préciser le bon usage.

Notons que, pour ce qui concerne l’évaluation de la production scientifique d’une institution, d’une communauté scientifique, d’une région, ou même d’un pays, il y a moins de souci avec le quantitatif. L’utilisation de la bibliométrie peut même s’avérer très utile, voire indispensable. La seule exigence est que l’indicateur soit suffisamment pertinent.

## II. 3 Les écueils de la bibliométrie

Avant d’entrer dans les détails un peu techniques de la pratique bibliométrique, il est important de souligner que le concept général consistant à prendre en considération de façon quantitative l’importance des travaux scientifiques par le nombre de citations auxquelles ils ont donné lieu, est un raccourci. Il convient, en effet, de réaliser combien l’apparition d’une référence dans un article qui sera utilisée comme citation a des origines très diverses, pas toujours corrélées avec la qualité du travail. On sait bien que si les articles « importants » sont cités préférentiellement, les références sont très souvent choisies plus avec opportunisme qu’en fonction de la qualité stricte du travail cité. Ainsi les articles publiés dans les grands journaux sont privilégiés à qualité égale par rapport à ceux publiés dans les journaux de notoriété moyenne (l’auteur peut avoir le sentiment que son article est bonifié par la nature des revues dont sont issues ses références). Dans certains cas, on peut penser, même si cela reste à prouver, que l’utilisation de références d’articles publiés dans le journal où est soumis le manuscrit, peut aider. Cette pratique que l’Académie réprouve est encouragée dans certaines disciplines par les éditeurs scientifiques eux-mêmes. S’y ajoutent les biais créés par les auto-citations, les citations de collègues en vue (potentiels rapporteurs de l’article soumis) ou avec lesquels l’auteur de l’article a des relations ou collaborations personnelles, les non-citations de collègues concurrents, ou même des phénomènes de « réseaux » assurant des citations privilégiées au sein d’un groupe de scientifiques. On peut aussi mentionner le cas, peut-être anecdotique mais significatif, des articles fortement cités pour souligner les erreurs de résultats ou d’interprétation qu’ils contiennent. De plus, selon les cultures, un avantage peut être donné aux citations de scientifiques du même pays, ou au contraire aux scientifiques d’autres pays, notamment américains, comme cela est souvent le cas en France, ou encore aux articles écrits en anglais plutôt qu’en français dans les disciplines où le problème se pose (Mathématiques, SHS). Par ailleurs, des articles peuvent ne pas être cités parce qu’ils sont des quasi-classiques, ou parce qu’ils sont très originaux.

Un autre danger de la bibliométrie est l’importance sans doute excessive qui lui est donnée dans certains domaines scientifiques, par exemple en biologie et médecine. Un article est « important » parce qu’il est publié dans une revue prestigieuse, *Nature* ou *Science*, alors que l’on sait très bien que ces revues, par ailleurs tout à fait excellentes, peuvent contenir des articles de moindre envergure et peu cités (plus de 50% des publications dans *Nature* ont reçu, depuis 2008, zéro ou au mieux une seule citation). Plus grave encore est la tendance de certains chercheurs à organiser leur travail et leur politique de publication en
fonction des revues dans lesquelles ils souhaitent publier leur article, en vue d'améliorer
leurs performances bibliométriques au détriment de l'originalité et de l'audace. Publier
dans la revue visée devient parfois plus important que l'objectif scientifique de leur travail.
Il en découle un avantage bibliométrique en faveur de ces « professionnels » de la
publication, une tendance malheureuse qui n'est pas exceptionnelle. Il peut être intéressant
de savoir que d'après *Physics World* (Novembre 2010), le travail qui est à l'origine des
deux prix Nobel de physique 2010 a été refusé deux fois par *Nature* avant d'être publié par
*Science*. Des travaux de première importance peuvent ne pas avoir été publiés par *Nature* !

Enfin, comme cela a été souligné dans le premier rapport de l'Académie, la bibliométrie ne
prend pas en compte un certain nombre d'éléments importants pour l'évaluation des
chercheurs et enseignants-chercheurs, notamment l'originalité de la recherche, l'innovation
conceptuelle, les applications de la recherche, leur utilité scientifique et industrielle. Il faut y
rajouter le rayonnement d'une façon générale et la création d'une école de pensée qui est
d'ailleurs elle-même évaluable par l'étude bibliométrique des collaborateurs formés par le
chercheur considéré.

Tous ces écueils sont sérieux. S'y ajoutent, comme évoqué plus bas, de nombreuses causes
d'erreurs dans l'utilisation de la bibliométrie. Tout ceci constitue un ensemble d'éléments
qui doit inciter à une grande prudence dans son usage. Il faut le redire, il est impossible
d'évaluer un chercheur uniquement par de simples indices quantitatifs. Il suffit pour s'en
convaincre d'observer que certains très grands chercheurs, notamment des lauréats de prix
Nobel, ont des indices bibliométriques relativement faibles et qu'à l'inverse certains
chercheurs ayant des indices extrêmement élevés n'ont pas de contribution à la hauteur de
ces indices par comparaison au reste de la communauté scientifique. On peut mentionner à
cet égard l'exemple des deux médailles Fields 2010, Cédric Villani cité 1520 fois par 629
auteurs et Ngô Báo Châu cité 102 fois par 52 auteurs, alors qu'aucun mathématicien au
monde ne se risquerait à y voir une disparité de niveau. De nombreux exemples pourraient
être cités montrant comment des travaux de grande importance ont été peu cités, au moins
pendant les premières années suivant les publications et reparaissent sur le devant de la
scène ultérieurement.

### III. **Diversité des habitudes et pratiques des différentes disciplines**

Il faut noter d'emblée que nous n'avons pas connaissance, à l'étranger, d'une utilisation
officielle de la bibliométrie pour l'évaluation individuelle des scientifiques, même si l'on
sait qu'il en est fait un très large usage en pratique.

Toutefois, de nombreux pays anglo-saxons utilisent déjà officiellement la bibliométrie au
niveau de l'évaluation des performances des universités et organismes de recherche, et les
études sur la bibliométrie ont donné lieu à un développement considérable avec un nombre de
publications sur ce sujet augmentant de façon majeure durant ces 20 dernières années, comme en témoigne l'intérêt qu'un journal comme *Nature* lui porte (voir *Nature* 17 Juin 2010 et 8 Juillet 2010 pour ne retenir que les numéros les plus récents).

Au niveau individuel, la lecture des résultats d'un sondage effectué par *Nature* auprès de 150 chercheurs, enseignants-chercheurs ou responsables de départements (volume 465, p 860, 17 juin 2010) fait ressortir que 70% des sondés pensent que les considérations bibliométriques sont utilisées pour le recrutement et les promotions, mais que 63% d'entre eux jugent l'utilisation des mesures quantitatives inadéquates. Tout cela démontre bien que dans tous les pays, l'utilisation de la seule bibliométrie en vue d'une évaluation est loin d'être perçue comme satisfaisante.

Dans les universités et organismes de recherche américains ou britanniques, il semble que pour les embauches et les promotions, le curriculum vitae, l'entrevue et les lettres de recommandations comptent davantage que les considérations bibliométriques. Toutefois, la bibliométrie a été largement utilisée pour l'embauche dans les universités chinoises et asiatiques en général, mais une évolution vers une plus grande utilisation des lettres de recommandations se fait actuellement sentir.

Les pratiques bibliographiques et bibliométriques varient considérablement selon les disciplines, voire les sous-disciplines. Cela vaut autant pour l'utilisation de la bibliométrie que pour la qualité des bases de données. Ces différences, auxquelles il faut ajouter l'énorme disparité de taille des communautés concernées, doivent inciter à ne pas généraliser à toutes les disciplines les commentaires que l'on peut faire sur la bibliométrie, et surtout, à s'interdire de comparer les indicateurs bibliométriques entre des chercheurs appartenant à des disciplines ou des sous-disciplines différentes. Les pratiques bibliométriques dans les principales disciplines sont présentées en annexe 3.

Il faut signaler ici cependant la différence considérable observée en mathématiques et en sciences humaines et sociales où la bibliométrie est peu ou pas prise en considération pour l'évaluation des chercheurs, par rapport aux autres disciplines, en particulier la biologie et la médecine, où elle est largement utilisée. D'autres différences importantes méritent d'être notées, en particulier le nombre et l'ordre des auteurs. Comme on le reverra dans le chapitre suivant, cet ordre est alphabétique dans certaines disciplines alors qu'il tient compte de la contribution de l'auteur dans d'autres, et les exigences de participation effective d'un auteur au travail publié varient sensiblement selon les communautés. Enfin, la propension à citer est également un trait culturel qui diffère d'une communauté à l'autre et qui se traduit par exemple dans le nombre de citations admises par les journaux en fin d'article dans chaque discipline Ces commentaires doivent inciter à toujours replacer les indicateurs bibliométriques dans le contexte de la discipline, avec une référence à la distribution des indicateurs dans cette discipline.
## IV. Les auteurs et l'importance de leurs contributions respectives

Le problème des auteurs est une fois de plus très dépendant des disciplines. Les habitudes et les pratiques en matière de rédaction et de signature d'articles varient considérablement d'une discipline, voire d'une sous-discipline, à l'autre.

C'est en biologie que le problème est le plus aigu car les sciences du vivant ont une culture bibliométrique intensive, notamment en France. Dans ce champ disciplinaire, la moyenne du nombre de signataires d'un article varie entre 5 et 10, mais parfois plus. La pratique est que le premier signataire est l'étudiant ou le post-doc qui a fait la manipulation, le deuxième est la personne qui lui est la plus proche, puis l'on passe au dernier qui est le directeur de thèse et en remontant, le directeur du groupe, le directeur du laboratoire, etc.. La difficulté réside surtout pour les signataires du milieu dont la contribution a été moins importante mais qui, dans les indicateurs, sont comptabilisés de la même manière que les autres. Cela crée une confusion entre auteur et collaborateur et souvent une sur-cote pour certains dans les indices de citations, et peut devenir un facteur de perversion grave. Se rajoute à cela la question des « auteurs correspondants » qui communiquent des informations pas toujours exactes sur les contributions respectives des auteurs.

Ce problème est également très important en sciences médicales. Il faut savoir que l'activité de recherche des hôpitaux a des conséquences financières sur leur budget et que cette activité est mesurée à travers les publications de leurs chercheurs par un système de validation par points en fonction de leur place dans la liste des auteurs des articles.

En mathématiques, en revanche, le problème n'existe quasiment pas car plus de la moitié des articles n'ont qu'un seul auteur, moins de 10% d'entre eux en ont trois, et une très faible proportion en a plus. L'ordre est strictement alphabétique. En mathématiques fondamentales, il est rare que les chercheurs publient avec leurs étudiants, contrairement aux mathématiques appliquées.

En physique et dans ses sous-disciplines, les habitudes sont très variées. Le cas de la physique expérimentale des particules et des hautes énergies est particulier, avec souvent des articles réunissant des centaines d'auteurs dont les contributions respectives sont délicates à identifier. Dans ces domaines, le fait d'être reconnu comme auteur d'un papier ne joue ni sur l'obtention de crédits pour le laboratoire ni sur la carrière des chercheurs. La physique théorique ne pose pas de problème particulier. Par contre, les articles expérimentaux en physique de la matière condensée ou molle commencent à compter un grand nombre de signataires (dépassant parfois la dizaine), surtout si les travaux font usage de grands instruments. La signature systématique d'un article par le chef de laboratoire n'est plus une pratique courante chez les physiciens.
En géosciences, les articles comme en biologie ont en général moins de 10 auteurs et encore assez souvent moins de 5. L'ordre est en général assez lié à l'importance (décroissante) des contributions. Le premier auteur est normalement celui qui a effectué le plus gros du travail, de plus en plus souvent le doctorant concerné, mais parfois le chercheur confirmé qui est le "principal investigator" ou qui a eu l'idée essentielle. Il arrive, mais rarement, que le dernier auteur soit l'un des patrons de l'équipe concernée. De plus en plus fréquemment, les principaux ingénieurs de recherche ayant collaboré sont co-auteurs.

En chimie, la bibliométrie n'est pas utilisée de manière officielle, mais les indicateurs habituels (le facteur H, le nombre total de citations et le nombre de citations par article) sont largement mentionnés lors de discussions préliminaires de manière importante lorsqu'il s'agit d'évaluer les carrières ou les mérites de chercheurs ayant plus de dix à douze années d'activité de recherche. La taille de la communauté et la diffusion internationale des travaux permettent l'utilisation de ces indicateurs avec pertinence de la part d'évaluateurs de qualité. Dans la pratique, les sections de chimie du comité national du CNRS ou du CNU évitent la prise en considération des indicateurs bibliométriques.

En sciences économiques, les auteurs apparaissent par ordre alphabétique, ce qui rendrait très difficile l'identification de la contribution de chaque auteur. Le nombre d'auteurs est cependant limité (souvent un seul auteur et moins de 5% des articles ont plus de quatre auteurs) et la tradition consiste à considérer que chaque auteur a contribué de manière identique au travail.

En sociologie et dans nombre d'autres disciplines de SHS, les professeurs d'université utilisent trop souvent les travaux de leurs étudiants sans leur donner le statut d'auteurs. La pratique est en train d'évoluer : les travaux signés par plusieurs auteurs sont moins rares, mais les réticences des éditeurs d'ouvrages conduisent à réduire le nombre de signataires. Le problème ne se pose pas dans les revues scientifiques. Cependant, l'ordre des auteurs est également presque systématiquement alphabétique, ce qui ne donne aucune indication sur la participation des différents auteurs. En sciences humaines, les publications peuvent prendre des formes très diverses comme des ouvrages à un seul auteur ou des ouvrages collectifs.

A cette liste, s'ajoute le cas particulier de certains secteurs de la recherche, notamment les disciplines émergentes, qui peuvent agréger des équipes entières, et dans lesquels il arrive souvent que les articles soient signés par une multitude d'auteurs.

Tout ceci ramène à la question de la notion d'auteur. Qui peut ou doit être considéré comme auteur ? Celui sans lequel la publication ne pourrait pas se faire (selon les critères d'authorship énoncés par Guy Ourisson), celui qui est capable de défendre devant ses pairs le contenu de la publication, ou encore d'autres critères ?
Et quand a été défini le ou les auteurs, il faudrait que soit précisé de façon explicite et claire
qui a fait quoi, ce qui est déjà le cas dans certains journaux anglo-saxons (par exemple *PNAS*
et *Nature*). On pourrait aussi décider de se calquer sur le système pratiqué sans aucune
contestation pour les brevets, qui attribue aux auteurs un pourcentage en fonction du niveau
de leur participation, mais cela peut se révéler assez compliqué et parfois injuste dans la
pratique, surtout lorsqu'ils sont nombreux. Il est sans doute bon, par ailleurs, de rappeler que
si un travail expérimental est le plus souvent collectif, l'idée originale du travail est par
contre généralement personnelle.

Dans ce contexte, il serait sans doute intéressant de rappeler les critères d'authorship de Vancouver (http://www.icmje.org/ethical_1author.html) (joints en annexe 4) malheureusement peu connus, qui ont édicté des règles concernant les auteurs d'articles en médecine mais généralisables à d'autres disciplines, et de demander qu'ils soient respectés.

Quelques remarques enfin pour terminer ce chapitre. Le problème des auteurs pourrait être
très minimisé dans le cas d'une prise en compte de quelques articles préférentiels par les
évaluateurs. Ces articles, au nombre de 5, 10 ou 20 suivant le contexte, devraient être
proposés par les chercheurs concernés, qu'ils tiennent compte ou non de l'importance du
journal ou du nombre de citations. Il est intéressant ici de noter que l'ERC demande la liste
des 10 meilleures publications dans lesquelles le candidat est l'auteur senior. Il faudrait
ensuite croiser les informations bibliométriques concernant ces articles (facteur d'impact de la
revue, nombre de citations, discipline, ou même qualité des auteurs de ces citations) avec les
indicateurs globaux dont il sera question plus bas. Enfin, il pourrait être intéressant de
connaître le ou les co-auteur(s) d'un candidat évalué.

La question reste posée de savoir comment gérer la valeur d'une citation d'un article pour un
auteur situé dans les places du milieu, quand on sait que le rôle de cet auteur dans la
conception de la réalisation du travail est souvent modeste. Le problème est particulièrement
agu lorsqu'un auteur se trouve souvent dans cette situation. On pourrait imaginer, mais cela
méritera une réflexion complémentaire, d'apporter un facteur correctif à la citation. Plus
simple est de laisser aux jurys le soin d'examiner la liste des principales publications de
l'auteur concerné en examinant sa place parmi les auteurs et en en tenant compte dans la
considération des indicateurs.

Un autre problème est celui de la signature d'articles par les ingénieurs et les techniciens qui
se retrouvent souvent au milieu des auteurs. Il y a là un véritable problème, au-delà de
l'hommage rendu à ces personnels, surtout quand leur organisme de rattachement considère
leurs publications pour leur promotion. La contribution de ces personnels devrait faire l'objet
d'une discussion spécifique. Plus généralement, à de rares exceptions près, tout signataire
d'un article a eu une contribution significative, et il est normal de faire apparaître sa signature
qui traduit la reconnaissance du laboratoire à son égard. Il n'en reste pas moins que ne pas
faire de différence entre les contributions de chacun est injuste pour ceux qui ont joué un rôle déterminant.

# V. Le choix des indicateurs et bases de données

Il faut préciser que le terme indicateur auquel il est fait référence dans ce rapport n'est pas du tout celui du dictionnaire Robert d'après lequel l'indicateur est « celui qui dénonce un coupable ou qui se met à la solde de la police pour la renseigner ». Dans le sens bibliométrique du terme, l'« indicateur » doit être considéré comme une aide pour les comités de sélection et même comme un guide pour les chercheurs, permettant de situer l'impact de leur travail vis-à-vis de celui de leurs collègues de la même discipline.

Comme cela a été évoqué, les indicateurs bibliométriques les plus utilisés actuellement sont fondés sur le nombre d'articles publiés et de citations auxquels ces articles scientifiques donnent lieu, que l'on considère selon les cas les citations d'un auteur ou d'un groupe d'auteurs particulier ou les citations d'articles parus dans une revue donnée pendant une période définie.

## V. 1 Les bases de données

Plusieurs bases de données peuvent être aujourd'hui utilisées pour calculer les indices bibliométriques. La plus couramment utilisée est la Web of Knowledge (WoK) de ISI-Thomson Reuters, mais il faut aussi citer la base SCOPUS de Elsevier. Toutefois, c'est généralement à la base Wok de ISI que l'on se référera dans ce rapport dans la mesure où tous les chercheurs du CNRS, des UMR, et de la plupart des organismes de recherche publics ont accès à la base complète ISI grâce à un abonnement institutionnel pris par l'INIST. Ces bases sont, dans l'ensemble, de bonne qualité, en particulier pour les disciplines chimie, physique, biologie et médecine qu'elles couvrent à 90%, mais elles doivent être utilisées avec précaution. Certaines incluent les résumés d'articles (*abstracts*) comme *Mathreviews* ou les lettres à l'éditeur, d'autres pas. A noter cependant, qu'à l'heure actuelle, ces bases de données ne sont pas appropriées pour les SHS, ce qui limite à de très rares domaines les perspectives effectives d'utilisation de la bibliométrie dans ces disciplines. Il faut aussi mentionner l'existence de bases disciplinaires d'accès libre, comme la base ADS gérée par le *Smithsonian Astrophysical Laboratory*, Harvard, et le Centre de données astronomiques de Strasbourg qui concerne l'astronomie, l'astrophysique et la physique (http://cdsads.u-strasbg.fr/). Il faut cependant noter que la base ADS ne couvre essentiellement que l'astronomie et l'astrophysique et partiellement la physique. Pour les chercheurs dont les travaux sont pluridisciplinaires, il est impératif de recourir à des bases complètes en ce qui concerne les disciplines.

De façon plus générale, le problème se pose de savoir s'il faut considérer de la même façon les différents types d'articles cités dans les bases de données, autres que les articles
originaux. Les résumés ne devraient pas être pris en considération, mais là encore, les pratiques sont différentes selon les disciplines car en mathématiques par exemple, le fait pour un jeune débutant qu'il soit un *reviewer* actif sur la base *Mathreviews* est très apprécié des comités. Les lettres à l'éditeur, les revues générales et les éditoriaux certes ne sont pas des articles originaux, mais on peut considérer qu'ils représentent un indice de notoriété et qu'il vaut mieux les conserver dans l'analyse bibliométrique, ce qui est par ailleurs plus simple pour le calcul des indicateurs. On pourra toutefois remarquer que la base Web of Knowledge permet de faire le tri entre les diverses formes de publications d'un auteur, articles, lettres, commentaires, livres, comptes rendus de conférences, etc. Il est sans doute utile de rappeler qu'un article même très court peut être porteur d'innovation importante. Le prix Nobel PG. de Gennes avait souvent comme coutume la publication de courtes Notes aux Compte Rendus de l'Académie des Sciences.

L'ancienneté des articles cités varie d'une base à l'autre. Les articles les plus anciens (par exemple avant 1975) ne sont pas toujours pris en compte. En fait, dans la base WoK de ISI, pratiquement tous les articles sont pris en compte dans la mesure où la revue est répertoriée dans la base. Le problème est plutôt que l'abonnement de certains chercheurs ne donne droit qu'à une consultation partielle de la base WoK de ISI, ce qui peut pénaliser l'évaluation des chercheurs seniors, et qui peut être gênant quand ceux-ci demandent certains contrats (exemple de l'ERC). Enfin certaines données peuvent manquer. Ainsi, pendant certaines périodes, les articles comportant plus de dix auteurs n'incluaient pas les auteurs au-delà du dixième.

## V. 2 Le facteur d'impact

Le facteur d'impact (FI) des revues scientifiques fut le premier indicateur à connaître une large publicité. Il était destiné à l'origine aux professionnels de l'édition. Son rôle a été détourné de sa fonction initiale par les chercheurs. Il est défini par le nombre moyen de citations attribué à chaque revue, pendant une période donnée, des articles publiés dans cette revue. Le FI est en première approximation en bonne corrélation avec la qualité de la revue, à la réserve près que la période prise en compte pour son calcul est probablement trop courte (deux ou cinq ans dans la base JCR de ISI) ce qui ne donne pas de place aux articles donnant lieu à des citations pendant de très nombreuses années (souvent les articles qui ont eu le plus d'impact sur le progrès scientifique). Il convient, en outre, de remarquer que les facteurs d'impact peuvent être l'objet de manipulations par certaines grandes revues.

En effet, les maisons d'édition sont très désireuses de voir augmenter leur facteur d'impact ce qui leur permet d'améliorer le prestige de leur journal et, en conséquence, le nombre de leurs abonnés ou souscripteurs d'articles individuels. On peut noter, parmi les stratégies développées par certaines d'entre elles pour augmenter leur FI, par exemple la diminution du nombre d'articles acceptés, ou le fait de favoriser certaines revues générales ou des disciplines à la mode qui donneront lieu à plus de citations que d'autres.
Un facteur d'impact faible ou moyen peut discréditer de façon tout à fait anormale certains journaux respectables contenant un certain nombre d'excellents articles, par un simple effet de dilution par des articles sérieux mais marginaux et peu cités. A titre d'exemple, le *Journal of Immunology* qui est la revue de la Société Américaine d'Immunologie contient un pourcentage élevé d'excellents articles qui auraient toute leur place dans des revues plus prestigieuses mais qui en ont été exclus pour des raisons diverses. Le FI de cette revue s'est pourtant abaissé de façon considérable au cours de ces dernières années par la dilution de ces articles importants par des articles peu cités. Il ne faut pas oublier, en effet, que le FI est par définition une moyenne qui n'inclut pas la distribution des valeurs individuelles autour de la moyenne.

Il est difficile d'intervenir sur la pratique des maisons d'édition qui sont privées pour la plupart d'entre elles. Tout au plus peut-on noter avec satisfaction le succès de certaines revues gérées par des sociétés savantes ou par des entreprises non lucratives.

Il est très regrettable que le FI soit devenu la mesure de la qualité des revues, au point que nombre de chercheurs sont amenés à considérer le FI du journal dans lequel ils publient leurs articles comme la mesure de la qualité de leur travail. La quasi-totalité des membres du groupe de travail ainsi que les experts étrangers consultés se sont montrés d'accord pour dire qu'il ne fallait pas intégrer le FI des revues dans lesquelles les articles sont publiés, dans l'évaluation de la production scientifique d'un chercheur, à l'exception peut-être des très jeunes chercheurs pour lesquels le nombre de citations n'est pas encore utilisable. Même dans ce cas, le FI ne doit pas avoir la place qui lui est trop souvent donnée dans les recrutements de jeunes chercheurs : un chercheur est fréquemment recruté à vie sur la base d'une ou deux publications dans une revue à fort FI, dans beaucoup de disciplines. Il arrive malheureusement que les chercheurs ainsi recrutés dont la responsabilité personnelle dans les articles en question est souvent incertaine, ne confirment pas les espoirs placés en eux.

Ici aussi, il faut insister sur l'importance de prendre en considération, avant les facteurs d'impact, la qualité du travail et la capacité du candidat à le présenter ou le discuter au mieux au cours d'une audition.

## V. 3 Le nombre total de citations

Le deuxième indicateur utilisé en bibliométrie est le nombre total de citations obtenues par l'auteur. C'est un indicateur intéressant, biaisé néanmoins par deux éléments majeurs : la place de l'auteur dans l'article qui n'est pas prise en compte dans cet indicateur (voir plus haut le chapitre sur les auteurs), et le fait que certains articles peuvent avoir un indice de citations considérable pour des raisons parfois sans rapport avec l'importance de la contribution qui lui est associée (par exemple la description d'une technique, d'un réactif ou d'un OGM, ou encore un ouvrage didactique).
V. 4 Les nouveaux indicateurs, en particulier H, G, et autres

Récemment, de nouveaux indicateurs bibliométriques orientés vers l’évaluation des chercheurs ont été produits pour répondre aux objections qui viennent d’être présentées concernant le FI et le nombre total de publications. Ces nouveaux indicateurs sont des sous-produits des bases de données répertoriant les articles ainsi que les citations de ces articles. Les indicateurs bibliométriques ont été mis en place sans modèle théorique sous-jacent et leur utilisation courante repose sur des hypothèses qu’il serait utile de solidifier par des études systématiques. Pour l’instant, il y a d’un côté des bibliomètres qui raffinent les propriétés de leurs indicateurs, et de l’autre des utilisateurs qui se disputent à coup d’exemples et contre-exemples cités en vrac sans réelle validation.

L’indicateur le plus populaire est le facteur H (H pour Hirsch, auteur de cet indice). Le facteur H est défini de la façon suivante : il est calculé en classant les publications par ordre décroissant en fonction du nombre de citations auxquelles elles ont donné lieu. Le rang de la publication pour lequel le nombre de citations est égal à ce rang est le facteur H. Ainsi un chercheur ayant un facteur H de 47 a publié 47 articles ayant chacun été cités au moins 47 fois. Le facteur H dont le niveau moyen dépend beaucoup des disciplines, l’on y reviendra, est intéressant mais souffre de plusieurs faiblesses. Il avantage les chercheurs seniors ayant une activité de recherche reconnue sur le long terme (le facteur H augmente régulièrement avec l’âge), et les normalisations - par exemple la division par le nombre d’années de carrière - sont artificielles et peu utilisables. Fait intéressant, il a été montré (P. Jensen et al *Scientometrics*, Vol. 78, No. 3 (2009) 467-479) que le facteur H normalisé par le nombre d’années de carrière passe par un maximum au-delà duquel il décroît dans le temps pour des chercheurs très seniors. Comme pour le nombre total de citations, le facteur H intègre certaines publications dans lesquelles l’auteur concerné a joué peu ou pas de rôle. Le facteur H ne fait pas la différence pour un article se situant dans les H premiers articles les plus cités entre celui qui a reçu à peine plus de citations que H et celui qui en a reçu beaucoup plus. Cet indicateur ne valorise pas les articles à très gros impact et en particulier à impact durable dans le temps (c’est-à-dire continuant à être largement cités).

Le facteur G a été introduit par L. Egghe pour pallier certains défauts de l'indicateur H et distinguer l'excellence dans la productivité. Un chercheur aura par exemple un facteur G de 83 si ses 83 articles les plus cités totalisent au moins 6889 citations, c'est à dire G au carré.

Ce facteur présente l'avantage de valoriser les articles très cités qui ont un temps de vie élevé. Ces articles contribuent à faire croître G dans le temps alors qu'ils ne modifient pas H. On peut aussi envisager tous les dérivés possibles de G afin de mieux cerner la forme de la distribution du nombre des citations en fonction des articles les plus cités. L'indice G est aujourd'hui moins connu et moins utilisé que l'indice H, peut-être en partie par le fait que sa signification est moins évidente en première lecture et que son accès est moins répandu.

Cependant, un outil informatique simple tel que (http://pasquier.claude.free.fr/publications/publisdata.php) permet de le calculer à partir des fichiers bibliométriques de la base ISI.
Une dernière approche consiste à tenir compte, dans les citations, du facteur d'impact de la revue citant les articles du chercheur considéré, ou de la notoriété des auteurs citant le travail en question (mais quel auteur choisir s'ils sont multiples ?). Cette pratique comporte de nombreux biais, en particulier celui de renforcer en boucle l'effet de levier des facteurs d'impact élevés de certaines revues, en quelque sorte une « double peine ».

## V. 5 Conclusion sur le choix des indicateurs

Aucun de ces indicateurs, en fait, n'est complètement satisfaisant. Il paraît indispensable dans la pratique, de ne jamais utiliser l'un d'entre eux, isolément. L'une des difficultés est de ne pas rendre trop complexe des indicateurs qui pourraient alors paraître ésotériques et peut-être sources d'erreurs conceptuelles qui deviendraient difficiles à identifier en raison de cette complexité. Plus généralement, il convient de continuer à améliorer l'utilisation des indices bibliométriques par une réflexion, voire une véritable recherche, appropriée. Le rapport y reviendra dans le chapitre VIII.

En tout état de cause, les indicateurs que l'on pourrait proposer devraient être connus et adoptés au niveau international, au moins pour l'ensemble de la communauté européenne.

# VI. Comment utiliser la bibliométrie pour l'évaluation individuelle des chercheurs

## VI. 1 Quels sont les indicateurs à utiliser ?

Aucun indicateur n'est satisfaisant isolément. Il faut utiliser un ensemble d'indicateurs, par exemple, le facteur H (ou G) et le nombre total de citations, ou alors, il faudrait produire plusieurs nombres (nombre de publications ayant plus de 10, 30, 100, 300, 1000 citations). Il est important d'associer à la bibliométrie la liste des 5, 10 ou 20 meilleures publications sélectionnées par le chercheur lui-même suivant la discipline et la séniorité, avec leur nombre respectif de citations et le facteur d'impact de la revue concernée, tenant compte néanmoins de toutes les réserves mentionnées plus haut à ce sujet. En revanche, la considération isolée des facteurs d'impact des revues est dangereuse et doit être évitée. S'agissant du nombre total de publications, il peut être intéressant de savoir si le chercheur concerné appartient aux 1%, 5%, ou 10% des chercheurs les plus cités dans la discipline ou si un article appartient aux 0,01%, 0,1%, etc, des articles de la discipline les plus cités des 10, 15, etc. dernières années (excepté pour les SHS où les bases de données ne sont pas fiables). Ces nombres pourraient d'ailleurs être utilement illustrés par des graphiques qui donnent une vision plus riche de la carrière.

## VI. 2 Comment calculer et valider les indices ?

Le calcul des indices ne doit pas être laissé à des non-spécialistes (notamment l'administration) qui utiliseront de façon trop sommaire les données rapidement accessibles.
En raison du grand nombre d'erreurs matérielles possibles, il est impératif de valider les indicateurs. Il faudrait même s'en tenir au fait qu'un indice non validé n'a pas de valeur. En premier lieu, il est important que la liste des données (publications) de chaque auteur soit vérifiée par le chercheur concerné, comme cela est fait dans les CHU. En fait, on pourrait demander aux candidats de produire leurs propres indicateurs dans la mesure où un vademecum de calcul leur est accessible. Encore faudrait-il valider leurs calculs car de nombreux chercheurs peuvent faire des erreurs qu'elles soient en leur faveur ou en leur défaveur. Le problème se pose de savoir qui doit assurer ces validations. On pourrait imaginer, à l'instar de ce qui se passe dans certaines universités ou organismes comme l'ERC, que certains personnels soient habilités à faire ces validations. On peut penser que, grâce à l'expérience qu'acquerraient ces personnels, la charge de travail et les dépenses ainsi occasionnées, qui de toute façon ne concerneraient que les disciplines où la bibliométrie peut avoir un sens, resteraient relativement légères.

## VI. 3 Quelles sont les erreurs à ne pas commettre dans l'usage de la bibliométrie pour l'évaluation individuelle des chercheurs ?

Il y a deux types d'erreurs qui peuvent nuire gravement à l'utilisation de la bibliométrie :

### - Erreurs conceptuelles

Dans ce cadre, il faut mentionner les erreurs suivantes : utiliser la bibliométrie isolément ; ne pas tenir compte de la discipline ; ne pas tenir compte de la place de l'auteur dans les articles à auteurs multiples où l'ordre n'est pas ordre alphabétique ; utiliser un seul indice ; ne pas utiliser les bonnes pratiques permettant d'éviter les erreurs matérielles (voir paragraphe suivant) ; utiliser le facteur d'impact de la revue pour évaluer la qualité d'un article ; utiliser des moyennes sachant que ces moyennes peuvent présenter de fortes disparités suivant les disciplines et pénalisent les scientifiques publiant des articles didactiques peu cités qui abaissent les moyennes de façon artificielle.

Il faut revenir sur les limites des indicateurs qui ne sont pas normalisés pour la dimension disciplinaire (c'est le cas de l'indice H) et qui exigent de ne comparer entre elles que des personnes de la même communauté disciplinaire, et pendant tout leur parcours.

Il faut juger de l'intérêt de l'indicateur en fonction de l'objectif que l'on a : par exemple, il y a une contradiction à vouloir favoriser la mobilité thématique en utilisant tels indicateurs qui la servent mal.

### - Erreurs matérielles

Le calcul des indicateurs bibliométriques ne pose pas de problème important dans la mesure où la personne qui le réalise a tous les instruments pour le faire et y a été formée. Il faut cependant bien dire que ce calcul demande un certain nombre de vérifications qui exigent du temps et de l'expérience. On ne peut pas se contenter de la consultation directe d'un site où le nom du chercheur considéré est introduit.
Il est important d'insister sur le fait que nombre d'analyses bibliométriques sont erronées en raison d'un mauvais recueil des données (il peut y avoir des variations de facteur 3 entre une base de mauvaise qualité et une base sérieuse), d'erreurs dans le calcul des indicateurs, ou d'une interprétation inexacte. De nombreuses erreurs matérielles peuvent se glisser dans la pratique de la bibliométrie. Plusieurs d'entre elles sont bien connues de tous, mais néanmoins pas toujours bien prises en compte.

Les principales erreurs à éviter sont les suivantes :

- Les homonymies : la question se pose de façon aiguë pour les noms de famille très courants. Très souvent l'initiale ne suffit pas à identifier le chercheur concerné. L'association du nom à la ville où travaille le chercheur peut aider mais les chercheurs changent souvent de lieu de travail.

- Les changements de nom pour les femmes après leur mariage ou la variation dans l'utilisation des initiales.

- L'utilisation de bases de données incomplètes, ne couvrant pas toutes les revues d'une discipline, ne remontant pas suffisamment loin dans le temps, ou même dont l'accès a été limité pour l'utilisateur en fonction de son contrat.

L'utilisation d'un identifiant par chercheur déjà proposée par la société ISI-Thomson ou au Brésil avec l'initiative de la base Lattes (http://lattes.cnpq.br/english/index.htm, l'une des bases les plus « propres » existant actuellement), généralisée à toutes les bases de données, permettrait déjà d'éviter un grand nombre d'erreurs et serait une énorme amélioration pour la fiabilité des informations. Il faudra cependant un certain temps pour que cette pratique se généralise si elle doit le faire, et soit utilisable.

## VI. 4 Qui peut utiliser les indices ?

L'indicateur doit être exact et utilisé de manière appropriée dans les conditions définies ci-dessus, deux conditions difficiles à remplir. C'est pourquoi il ne suffit pas de dire que les indicateurs doivent être utilisés par les pairs, il faut aussi que les pairs aient été sensibilisés et/ou soient expérimentés. Pour les disciplines qui s'en servent, les indices devraient être seulement utilisés par les comités de pairs qui ne les examineraient que dans le contexte d'une évaluation générale essentiellement qualitative. La bibliométrie sera alors un outil utile. Les pairs qui s'en servent doivent être capables de s'en expliquer : cela les obligera à cultiver une bonne expertise.

Dans la pratique, néanmoins, il ne faut pas se cacher que ces indices sont utilisés dans d'autres contextes, parfois de façon cachée, par exemple par les présidents d'université ou les directeurs d'organismes pour les recrutements ou les promotions. Si ces derniers ne s'appuient pas sur l'avis de commissions mono ou pluridisciplinaires, il y a là un très grand danger, la même valeur d'un indice ayant des significations très différentes selon les disciplines et les sous-disciplines. De plus, les erreurs matérielles sont alors fréquentes (la validation est rare) et la bibliométrie n'est associée à aucune évaluation qualitative.
Ces indices pourraient être utiles pour les jurys pluridisciplinaires avec des candidatures très hétérogènes impossibles à apprécier par des non-spécialistes. La bibliométrie peut alors être heureusement utilisée pour faire un premier tri, à condition d'être utilisée par des experts et de bien tenir compte de la variabilité des distributions d'indicateurs selon les disciplines. Si elle est beaucoup moins utile dans des jurys mono-disciplinaires où les membres sont censés connaître les candidats, elle permet quand même d'effectuer un premier tri par les pairs dans le cas d'un très grand nombre de dossiers.

Enfin, ces indicateurs peuvent être intéressants pour le chercheur lui-même, pour le pousser à publier, pour le positionner dans sa discipline, pour savoir si ce qu'il fait est reconnu, et par qui. De façon plus générale, il faut rappeler que l'évaluation devrait avoir comme rôle principal non pas de sanctionner un chercheur, mais de l'inciter, si besoin est, à améliorer sa façon de travailler.

## VI. 5 Comment utiliser ces indices ?

En raison des nombreux biais possibles, il ne faut jamais utiliser ces indices pour les chercheurs ayant moins de 10 ans de carrière (thèse comprise) où seule l'évaluation par les pairs, l'audition, et la lecture directe des publications sont à prendre en compte.

Il serait souhaitable que les indicateurs soient clairement mentionnés dans les curriculum vitae des chercheurs et enseignants-chercheurs seniors avant l'évaluation par les pairs lors de promotions importantes (passage PR2 à PR1, PR1 à PRCE, DR2 à DR1 et DR1 à DRCE) dans les disciplines où leur calcul est possible.

Par ailleurs, les critères sont variables en fonction de l'objectif de l'évaluation (recrutement, promotion, contrats, prix, recherche fondamentale ou recherche appliquée), en fonction de la discipline bien sûr, mais aussi en fonction de l'ancienneté dans la carrière et de l'évolution dans le temps. Il faut aussi avoir à l'esprit l'évolution générationnelle des comportements des auteurs.

D'une façon générale, les données bibliométriques doivent absolument être comparées à leur distribution au sein de la discipline et même au sein du milieu homogène dans lequel elles sont utilisées.

Il faut éviter l'utilisation de la bibliométrie dans les champs disciplinaires donnant lieu à peu de citations (mathématiques et de nombreux domaines des sciences humaines et sociales), et les utiliser avec la plus grande précaution dans le cas de chercheurs interdisciplinaires.

On pourrait envisager de demander que ces éléments bibliométriques figurent aussi sur les curriculum vitae des évaluateurs.

## VI. 6 Les indices bibliométriques doivent-ils apparaître systématiquement dans les dossiers de candidature ?

Les pratiques varient selon les organismes. Certains d'entre eux comme l'ERC demandent déjà la présentation des données bibliométriques dans les dossiers. Quand ce n'est pas le cas, il arrive souvent que les rapporteurs cherchent à calculer ces indices avec toutes les causes d'erreurs possibles évoquées plus haut.
Il paraît désormais préférable de demander aux chercheurs de présenter eux-mêmes leurs données bibliométriques (nombre total de publications, facteur H ou tout autre indicateur par exemple G, les x publications les plus citées avec le facteur d'impact des revues) et de les faire figurer dans leurs dossiers.

Cela n'exclut pas bien sûr qu'ils fournissent la liste des 5, 10 ou 20 de leurs publications qu'ils jugent les meilleures, indépendamment de leur nombre de citations.

Le nombre de publications à soumettre au comité d'experts pourra dépendre du but de l'évaluation et de l'âge du chercheur mais dans tous les cas il devrait être demandé à l'évalué de joindre à son dossier les fichiers pdf des publications concernées. Cette exigence est aisée à satisfaire pour les évalués et allègerait de manière substantielle le lourd travail des experts.

## VI. 7 Aller au-delà des nombres : les notices bibliographiques

Les notices bibliographiques à partir desquelles sont calculés les indicateurs bibliométriques recèlent des information importantes sur la publication et les auteurs : qui sont les co-auteurs, quelle est l'évolution des citations dans le temps, par qui l'article a-t-il été cité, et quels sont les autres domaines sur lesquels l'article a eu un impact ? La bibliométrie doit être complétée chaque fois que cela est possible par la consultation des fichiers bibliographiques des quelques articles sélectionnés par les évalués.

## VI. 8 L'importance de replacer les citations d'un article dans la distribution des citations des articles de la revue considérée

En se basant sur les données de la base JCR de l'ISI, il est possible de situer le taux de citations d'un article d'une discipline donnée d'un journal par rapport à la moyenne des citations de la discipline dans ce journal. Cette information peut être fort utile pour ne pas pénaliser et même au contraire favoriser des auteurs ayant publié des travaux très cités dans les journaux à FI modeste. Cela permettrait à l'auteur d'être jugé sur le contenu plutôt que sur le contenant pouvant même conduire à une forme de discrimination positive. Mais la question de la définition des limites d'une discipline ou sous-discipline n'est pas si simple et reste un problème.

## VII. Importance d'une réflexion nationale sur l'amélioration des indicateurs

L'Académie suggère d'engager une réflexion nationale sur l'évaluation bibliométrique des chercheurs et enseignants-chercheurs et de prévoir différentes études qui pourraient être menées par un petit groupe représentatif d'experts, en liaison étroite avec des partenaires déjà utilisateurs de la bibliométrie, en particulier l'OST, pour en améliorer son utilisation.
**VII. 1 Tests rétrospectifs** pour comparer les décisions effectivement prises par des jurys de pairs (CNRS, INSERM, IUF, ERC, etc.) avec les résultats qu'auraient pu donner une évaluation bibliométrique des candidats, et avec ce que sont devenus ces candidats.

- Analyse rétrospective sur une population de chercheurs promus et qui n'auraient pas dû l'être selon les indices bibliométriques, et vice et versa, à partir des données du CNRS, pour aboutir à une base de données des années 2004-2010. Cette analyse pourrait être doublée d'une enquête auprès des membres du Comité national qui ont délibéré, et auprès de candidats heureux et malheureux.

- Recherches analogues à celles faites sur des échantillons du CNRS, à partir de jurys d'excellence tels que l'IUF, l'ERC, etc., pour comparer les décisions de ces jurys aux indicateurs bibliométriques. Cela pose deux problèmes difficiles : identifier les jurys les plus incontestables et obtenir la liste des dossiers rejetés. On pourrait, en outre, comme pour le CNRS, interroger certains membres de ces jurys.

- Examen de la distribution des indicateurs de récipiendaires de grandes récompenses. Un groupe de travail pourrait réaliser cette étude à grande échelle sur les Prix Nobel, les Médailles Fields, les Médailles d'Or et d'Argent du CNRS, les académiciens de l'Académie des sciences ou d'autres grandes Académies étrangères, ou même sur l'histoire des grandes percées scientifiques récentes, à la lumière de la bibliométrie.

- Suivi des indicateurs de chercheurs de référence sur le long terme pour déceler les « étoiles filantes », examiner le cas de chercheurs ayant changé d'orientation au cours de leur carrière et évaluer le pouvoir prospectif des indicateurs utilisés.

- Analyse des discordances entre l'évaluation bibliométrique et l'évaluation qualitative par les pairs, en essayant de quantifier les éléments qui y ont amené : localisme géographique ou disciplinaire, effets de réseau et d'amitié, influence du genre, prise en compte de facteurs autres que bibliométriques, limites des indicateurs (publications techniques très citées, travail de groupe, etc.).

Il serait bon de vérifier si de telles études n'ont pas déjà été menées par des universités étrangères et dans le cas positif entrer en contact avec elles (en Suède, Université de Lund par exemple).

**VII. 2 Mise au point de critères pour détecter les valeurs d'originalité, d'innovation, de rayonnement, et de création d'école de pensée**, un peu dans l'esprit des indicateurs à la carte. Il serait intéressant à cet égard, comme cela a été proposé plus haut, d'étudier l'histoire des grandes découvertes récentes dans le contexte de la bibliométrie (Médailles Fields, Prix Nobel, Médailles d'Or ou d'Argent du CNRS, etc.).

**VII. 3 Etudes pour affiner les indicateurs existants** et définition de standards bibliométriques pertinents s'orientant vers l'évaluation individuelle qui est un usage relativement récent de la bibliométrie. Réflexion approfondie sur la notion d'auteur.

**VII. 4 Fabrication de nouveaux indicateurs.** Fabriquer de nouveaux indicateurs est intéressant à considérer devant les insuffisances des indicateurs discutés dans ce rapport. Le
sujet n'est pas simple pour autant car proposer de nouveaux indicateurs ajoutera encore à la
complexité et à l'absence de lisibilité de l'évaluation bibliométrique. Il serait souhaitable que
la création et la publication d'indicateurs ne fasse pas l'objet d'un enjeu commercial comme
c'est le cas actuellement avec les bases ISI (Thomson-Reuters) et SCOPUS (Elsevier). Les
domaines de l'astronomie-astrophysique et de la physique ont montré que cela était possible
avec la base ADS gérée par le *Smithsonian Institute* sans but lucratif (cf. chapitre V.1).
L'initiative pourrait-elle être étendue à d'autres disciplines beaucoup plus vastes telles la
chimie ou la biologie, ce qui serait néanmoins un travail gigantesque ? L'Académie n'est pas
pour l'instant en mesure de répondre à cette demande. Une telle réalisation ne serait pensable
qu'à l'échelle européenne.

VII. **5 Etablissement de règles de bon usage de la bibliométrie pour l'évaluation des chercheurs**, en réponse à la demande de l'AERES qui a parmi ses missions la validation des procédures d'évaluation des chercheurs.

VIII. **Conclusion**

Grâce au développement continuel des bases de données en constante évolution, la
bibliométrie prend une place croissante comme aide à l'évaluation individuelle des
chercheurs. Cela est expliqué par l'apparente facilité et la rapidité de consultation des
indicateurs contrastant avec la lourdeur de l'évaluation qualitative par les pairs, aggravée par
le nombre probablement excessif de ces évaluations. En outre, la bibliométrie fournit des
éléments factuels sur les publications des chercheurs et les citations auxquelles elles ont
donné lieu, alors que l'évaluation qualitative est soumise à une plus grande subjectivité. Les
indicateurs basés sur les citations des articles et associés à l'examen des notices
bibliographiques d'un nombre restreint de travaux choisis par le candidat seraient susceptibles
d'éclairer et de faciliter le travail des experts.

En revanche, la bibliométrie présente de nombreux inconvénients qui ont poussé certaines
disciplines à en restreindre l'usage ou même à ne pas y recourir, notamment les
mathématiques et les sciences humaines et sociales. En premier lieu, contrairement à une idée
largement répandue, la bibliométrie ne mesure pas la production scientifique d'un chercheur
ni son impact, mais ne donne qu'une évaluation chiffrée des citations de chacun d'entre eux.
Or, quel que soit l'indicateur, même si on utilise un ensemble d'indicateurs plutôt qu'un seul,
la bibliométrie peut donner lieu à de graves erreurs d'appréciation comme en témoignent les
faibles valeurs d'indicateurs observées chez certains très grands scientifiques reconnus par les
distinctions les plus prestigieuses. Enfin, la bibliométrie incite souvent les chercheurs à
adapter leur comportement de publication et de citations à leurs performances bibliométriques
au détriment de l'esprit d'originalité et d'innovation, modifiant ainsi la corrélation entre
qualité scientifique et citation qui est la base même des indicateurs bibliométriques.
Tout en reconnaissant l'utilité de la bibliométrie dans certaines disciplines surtout pour
réaliser le premier tri nécessaire dans l'évaluation comparative de nombreux chercheurs, il
apparaît important d'être conscient de ses limites. Son usage doit être strictement réservé aux
pairs, seuls capables de la mettre en perspective avec l'évaluation qualitative. En particulier,
les pairs devraient se justifier de conclusions qui seraient éloignées des résultats de critères
bibliométriques Il faut aussi que les valeurs obtenues soient exclusivement considérées par
rapport à la distribution de ces valeurs dans la discipline considérée. Enfin, il faut s'assurer
que les valeurs utilisées sont correctes, ce qui nécessite une validation en particulier par le
chercheur lui-même.

Après une dizaine d'années de pratique, la bibliométrie doit prendre la place qu'elle mérite
dans l'évaluation des chercheurs, pour une utilisation la plus pertinente et la plus transparente
possible et une limitation des excès auxquels elle peut conduire, en particulier lorsqu'elle est
utilisée isolément hors du contexte de l'évaluation qualitative par les pairs, et sans référence à
la discipline. Cette évolution nécessite la poursuite d'une réflexion approfondie aux niveaux
national et international. Des efforts importants doivent être faits pour mieux apprécier
l'apport de la bibliométrie dans l'évaluation des chercheurs, dans l'esprit d'une amélioration
globale de cette évaluation qui doit être à la fois qualitative et quantitative (en sachant qu'il
existe d'autres critères quantitatifs que la bibliométrie tels que les conférences invitées, les
grands contrats et les distinctions), en supprimant autant que possible tous les conflits
d'intérêt directs et indirects.

Un groupe de pilotage devrait être mis en place auprès de l'OST qui serait chargé, avec les
moyens adéquats, de faire progresser cette réflexion dont les principaux axes de recherche
apparaissent déjà clairement. La question est d'importance majeure pour l'évaluation
individuelle des chercheurs, mais pourrait également avoir des implications pour l'évaluation
des équipes et des institutions, notamment pour les grands classements internationaux.
# ANNEXE 1
## COMPOSITION DU GROUPE DE TRAVAIL ET PERSONNALITES AUDITIONNEES

### Membres de l'Académie

**Jean-François BACH (coordonnateur)**
Secrétaire Perpétuel de l'Académie des sciences
Professeur émérite à l'Université René Descartes

**Denis JÉROME (coordonnateur)**
Directeur de recherche émérite au CNRS - Université Paris-Sud

**Jean-Michel BONY**
Professeur à l'École Polytechnique

**Pierre BRAUNSTEIN**
Directeur de Recherche au CNRS - Université de Strasbourg

**Catherine CESARSKY**
Haut Commissaire à l'Énergie Atomique

**Jean DALIBARD**
Directeur de recherche au CNRS - Professeur à l'École Polytechnique

**Christian DUMAS**
Professeur à l'Ecole Normale Supérieure de Lyon

**Jacques FRIEDEL**
Professeur émérite à l'Université Paris-Sud

**Etienne GHYS**
Directeur de recherche au CNRS - Ecole Normale Supérieure de Lyon

**Michel LE MOAL**
Professeur émérite à l'Université Victor Ségalen de Bordeaux

**Bernard MEUNIER**
Président-directeur général de PALUMED

**Olivier PIRONNEAU**
Professeur à l'Université Pierre-et-Marie Curie
André SENTENAC

Conseiller scientifique à la Direction des sciences du vivant

Commissariat à l'Énergie Atomique

Alain-Jacques VALLERON

Professeur à l'Université Pierre-et-Marie Curie

## Personnalités extérieures

Ghislaine FILLIATREAU

Directrice de l'Observatoire des Sciences et Techniques

Pierre GLORIEUX

Directeur de la Section des Unités de Recherche de l'AERES

Pablo JENSEN

Directeur de recherche CNRS - Ecole Normale Supérieure de Lyon - Représentant le CNRS

Axel KAHN

Président de l'Université René Descartes - Représentant la CPU

Claire LEMERCIER

Chargée de recherche CNRS - Centre de Sociologie des Organisations

Laurent LINNEMER

Professeur d'Economie à l'Ecole Polytechnique et au CREST

Florence WEBER

Directrice du Département de Sciences Sociales - Ecole Normale Supérieure

## Personnalités auditionnées

Dr. Jonathan ADAMS

Director Research Evaluation, Evidence Thomson Reuters - Leeds (Grande-Bretagne)

Pr. Sir Richard FRIEND

Professor - Cavendish Laboratory - Cambridge (Grande-Bretagne)

## Coordination de la rédaction

Brigitte d'ARTEMARE

Chef de Cabinet - Académie des sciences
ANNEXE 2
RAPPORT 2009 DE L'ACADEMIE
L'ÉVALUATION INDIVIDUELLE DES CHERCHEURS ET
ENSEIGNANTS-CHERCHEURS EN SCIENCES EXACTES ET EXPERIMENTALES

(http://www.academie-sciences.fr/actualites/textes/recherche_08_07_09.pdf)

Résumé et Recommandations

Déjà pratiquée depuis longtemps au niveau des unités de recherche et des chercheurs, l'évaluation est désormais considérée comme naturelle par l'ensemble de la communauté scientifique et sa généralisation est devenue d'actualité, notamment en raison de la loi LRU qui confère un pouvoir nouveau aux Établissements à l'échelle locale. Elle s'inscrit dans le difficile contexte universitaire lié à l'hétérogénéité des conditions de travail des enseignants-chercheurs qui concerne aussi bien les infrastructures et les équipements universitaires que le niveau des étudiants et des filières de formation. Dans ce contexte particulier, l'Académie a jugé important de formuler des recommandations qui s'appuient sur trois grands principes : compétence, transparence et éthique.

# 1. Les règles de déontologie et d'éthique

- La durée du mandat des évaluateurs devrait être courte (3 ans) avec renouvellement des membres des comités par tiers chaque année.

- Un regard extérieur à la discipline est souhaitable ainsi que le recours à des experts extérieurs à l'établissement et éventuellement étrangers, dans des proportions très significatives (la loi LRU précise 50% pour les recrutements).

- La procédure et les critères utilisés pour l'évaluation individuelle doivent être publiés, avec des adaptations propres à chaque discipline ou sous-discipline, tant au niveau national qu'au niveau de chaque Établissement ou organisme.

- Un effort particulier doit être fait pour identifier les conflits ou les communautés d'intérêt qui ne sont pas immédiatement apparentes, et tout problème de déontologie doit être déclaré à l'avance.

- Chaque membre d'un comité d'évaluation doit conserver une stricte obligation de confidentialité, seul son président étant habilité à donner des indications plus précises en cas de contestation.
- Les rapports doivent être transmis dans leur intégralité aux intéressés, sans modifications, sachant que la confidentialité vis-à-vis de l'auteur sera préservée par le Comité d'évaluation et son président.

- Un véritable engagement d'éthique personnelle doit être signé par chaque évaluateur. Tout manquement aux règles de déontologie sera considéré comme une faute professionnelle grave.

## 2. Les critères et outils de l'évaluation de l'activité de recherche

L'évaluation de la recherche doit intégrer plusieurs niveaux d'analyse.

### 2. A - Evaluation qualitative

Fondée sur l'analyse directe des travaux scientifiques, éventuellement complétée par une audition réalisée dans des conditions de temps adéquates, l'analyse qualitative est l'élément essentiel de l'évaluation approfondie. Les indicateurs bibliométriques et autres critères quantitatifs ne peuvent pas se substituer à cette évaluation assurée par les pairs mais peuvent, une fois bien développés et compris, devenir un élément d'aide à la prise de décisions.

### 2. B - Evaluation quantitative

Les indicateurs bibliométriques peuvent se révéler très utiles lorsqu'ils sont bien utilisés, replacés dans le contexte de la discipline, et intégrés à l'évaluation qualitative.

- Les indicateurs bibliométriques ne peuvent pas être utilisés isolément pour effectuer un classement.

- Il faut donner plus d'importance aux citations des articles qu'au facteur d'impact des journaux où ils sont publiés (sauf pour le cas des jeunes chercheurs). Les index H et G, fondés sur les citations, sont utiles mais ont leurs limites et demandent à être complétés par de nouveaux indicateurs.

- Il faut tenir compte, dans chaque citation, du nombre d'auteurs et, dans les disciplines où l'ordre des auteurs n'est pas alphabétique, de la place de l'auteur considéré.

- L'Académie propose d'engager une réflexion inter-organismes et inter-disciplinaire, en liaison avec l'OST et l'AERES, qui devra se pencher sur l'utilisation des outils bibliométriques et la création de nouveaux indicateurs. Il faudrait valider les outils actuellement utilisés, par des tests rétrospectifs.

### 2. C - Autres critères de notoriété

La qualité scientifique d'un chercheur peut être évaluée sur de nombreux autres critères que ceux fondés sur la bibliométrie, en particulier la capacité à organiser, coordonner, diriger des recherches, la rédaction de livres, la rédaction d'ouvrages de vulgarisation, le nombre de langues dans lesquelles ils sont traduits, les invitations en tant que conférencier en séances plénières, la direction de programmes internationaux ou la présidence d'une union scientifique internationale, la participation à des comités ou agences internationales, les postes de rédacteur en chef de revues internationales, l'attribution de contrats importants, la
reconnaissance par des prix ou distinctions nationales ou internationales, les élections à des académies françaises ou étrangères et d'autres distinctions telles qu'une nomination à l'IUF, l'organisation d'écoles d'été, de symposiums et de congrès internationaux de haut niveau, etc..

## 2. D - Évaluation des applications de la recherche

Contrairement à ce que l'on constate à l'étranger, et bien que des progrès aient été faits dans ce domaine, les réalisations et applications industrielles sont insuffisamment prises en compte dans l'évaluation des chercheurs en France.

- La valorisation doit devenir un critère essentiel d'évaluation pour ceux qui s'y consacrent et être un facteur de promotion au même titre que les publications.

- Il serait important de construire la grille d'évaluation en mettant en bonne place la question de la pertinence de la recherche.

- Il faudrait aussi définir des critères d'évaluation pour les réalisations de la recherche qui ne comportent pas d'applications immédiates directes comme par exemple les logiciels ou les prototypes, mais qui n'en sont pas moins importantes.

*In fine*, il revient aux comités de pairs de faire la synthèse des éléments d'évaluation qui viennent d'être mentionnés, en privilégiant l'analyse directe des travaux à partir des articles originaux ou d'auditions. Cette évaluation doit bien s'ûr intégrer les indicateurs quantitatifs mais aussi pleinement prendre en compte l'originalité de la recherche et sa pertinence.

## 3. Les critères d'évaluation des activités d'enseignement

La loi LRU et le récent décret du 23 avril 2009 fixant les dispositions statutaires applicables aux enseignants-chercheurs instaurent l'obligation d'évaluer leurs trois types d'activités : recherche, enseignement et activités d'intérêt collectif. Ceci s'avère d'autant plus nécessaire que l'importance relative de ces trois activités peut varier au cours de la carrière. Concernant l'évaluation de l'enseignement sous toutes ses formes, l'Académie préconise les recommandations suivantes :

- L'évaluation des activités d'enseignement peut être réalisée selon plusieurs approches conduisant à la production d'une grille d'évaluation aux niveaux national et local, en sachant que le niveau local est évidemment le plus pertinent. Un critère important est l'appréciation des étudiants sur les enseignements, en tenant compte du fait qu'elle peut exposer à des effets pervers.

- L'évaluation des activités d'enseignement doit aussi intégrer certains critères

- objectifs comme le contenu et l'originalité de l'enseignement (publications à caractère pédagogique, ouvrages édités, mise en ligne de cours ou TD-TP, expositions, etc.).
- Un relevé des charges annuelles d'enseignement doit être publié chaque année par chaque établissement, les éventuelles décharges d'enseignement devant être clairement mentionnées et justifiées.

- L'établissement doit publier, chaque année, le pourcentage de succès et le devenir des étudiants par niveau d'étude (L1, L2, L3, M1, M2, doctorat), les débouchés des étudiants par filière et à l'issue de la thèse. Ces éléments devront être pris en compte, dans la mesure du possible, pour l'évaluation individuelle des enseignants-chercheurs.

- Les meilleurs Maîtres de Conférences qui s'investissent très fortement (en formation initiale et en formation continue) et sont unanimement reconnus pour leurs qualités pédagogiques, devraient pouvoir être candidats à des promotions locales comme la Hors Classe, ou bénéficier d'une prime exceptionnelle à l'échelle de chaque établissement. A l'inverse, ceux qui négligent leurs tâches d'enseignement devraient en subir des conséquences.

## 4. L'évaluation des charges d'intérêt collectif

- Les charges administratives et d'intérêt collectif doivent être prises en compte dans l'évaluation des enseignants-chercheurs et des chercheurs, conformément aux dispositions des nouveaux textes en vigueur, notamment celles qui impliquent de véritables responsabilités (coordonnateur de 1ère année L1, responsable d'UFR, missions de coopération internationale, orientation et insertion professionnelle des étudiants, coopération avec les entreprises, valorisation, diffusion de la culture scientifique et technique, etc.).

- Un relevé des charges annexes devrait être publié par l'établissement pour chaque enseignant-chercheur.

- Cependant, dans l'état actuel, il n'existe pas de critères objectifs pour les évaluer. Il faudrait donc élaborer une grille de critères d'évaluation à cet effet.

## 5. La fréquence et la forme des évaluations

La fréquence actuelle des évaluations est trop grande. L'Académie fait plusieurs recommandations :

- Il faut distinguer les évaluations « approfondies » des évaluations de suivi.

- Le nombre et la fréquence des évaluations approfondies doivent être réduits aux seules étapes importantes de la carrière d'un chercheur ou d'un enseignant-chercheur, à savoir les recrutements et les changements importants de grade ou de corps.

- Le recrutement est une étape clé du dispositif, compte tenu du statut de fonctionnaire d'Etat des personnels recrutés.

<footnote>*Il faut généraliser un système à deux tours avec une admissibilité sur dossiers et une admission à l'issue d'une présentation orale significative et d'un entretien approfondi. Les</footnote>
critères de créativité et d'originalité des recherches requis pour un recrutement étant
difficiles à apprécier par le simple jeu d'une analyse bibliométrique ou d'une audition
préparée à l'avance, l'examen approfondi par les pairs doit jouer pleinement ce rôle.
L'aptitude à l'enseignement doit également être testée à l'aide de séminaires adaptés.

- Les listes de qualification nationales créées pour pallier l'hétérogénéité de niveau des thèses et des HDR ne sont pas pleinement satisfaisantes. L'autonomie des établissements doit conduire à une importante redéfinition des critères nécessaires à leur obtention et aux rôles essentiels que doivent jouer les écoles doctorales d'une part, les conseils scientifiques d'Établissement de l'autre. Ces recommandations doivent aboutir rapidement à la délivrance de grades reconnus par leur qualité.

*Quatre étapes d'évaluation, liées aux inscriptions préalables sur les listes de qualification, sont nécessaires au passage comme professeur. Ceci est à comparer aux deux étapes requises dans les pays comparables au nôtre. Une réflexion globale à ce sujet doit être réalisée.

- Limiter les évaluations de suivi au Contrat quadriennal d'Établissement, sur la base d'une fiche simplifiée destinée au suivi normal de l'activité des personnels.

## 6. Les évaluateurs

- La qualité scientifique des évaluateurs est fondamentale. L'Académie propose pour chaque catégorie d'évaluateurs, la publication de pré-requis qui pourraient être préparés par l'AERES.

- Des mesures importantes doivent être prises pour assurer la motivation des meilleurs évaluateurs en leur facilitant la tâche, en réduisant la durée des mandats et en prévoyant la prise en compte de cette activité dans les charges administratives ou d'intérêt collectif

- Tous les évaluateurs devront être évalués pour garantir leur compétence.

- Les comités d'évaluation propres à chaque université doivent être gérés localement mais inclure une fraction significative de membres extérieurs (comme le demande la loi LRU pour le recrutement).

- Bien mettre en perspective le rôle de l'évaluation nationale (essentielle pour l'activité de recherche) et de l'évaluation locale (la mieux placée pour l'évaluation de l'enseignement et des charges d'intérêt collectif).

## 7. L'utilisation de l'évaluation

- Une des difficultés majeures du système d'évaluation est l'absence fréquente de conséquences de l'évaluation. Il faut donc veiller à ce qu'elle ne soit réalisée que lorsqu'elle peut conduire à une promotion ou à une réorientation.
- Il faut dissocier l'évaluation de la qualité d'une activité, de la gestion des carrières et ne pas mélanger évaluation et ré-orientation.

- Un suivi de la carrière devrait être fait grâce à un Comité ad-hoc qui devrait jouer le rôle d'un coordinateur de carrière. Ce dispositif de bonne gestion des ressources humaines devrait être mis en place à l'échelle de chaque établissement.

- Les Établissements devraient afficher leurs orientations scientifiques et pédagogiques de manière à ce que les appels à candidatures ne soient pas biaisés.
# ANNEXE 3
## PRATIQUES BIBIOMETRIQUES
### SELON LES DIFFERENTES DISCIPLINES

Comme cela a été dit à plusieurs reprises dans le rapport, les conditions d'évaluation bibliométriques diffèrent beaucoup selon les disciplines, et même les sous-disciplines. Il est apparu utile de présenter en annexe, de façon un peu plus détaillée que dans le chapitre III du rapport, une brève description de la pratique bibliométrique dans les grandes disciplines scientifiques. Cette présentation a été réalisée à partir des contributions fournies par les représentants de ces disciplines au sein du groupe de travail.

### La bibliométrie en Mathématiques

Les mathématiciens sont très réticents quant à l'utilisation des outils bibliométriques pour l'évaluation des chercheurs. Il ne s'agit pas d'une position spécifique aux mathématiciens français, mais d'une position commune aux mathématiciens du monde entier.

L'extrait des conclusions d'un rapport circonstancié de l'Union Mondiale des Mathématiciens (http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf) dispose : "While numbers appear to be "objective", their objectivity can be illusory. The meaning of a citation can be even more subjective than peer review. The sole reliance on citation data provides at best an incomplete and often shallow understanding of research — an understanding that is valid only when reinforced by other judgments. Numbers are not inherently superior to sound judgments."

Pour les mathématiciens, cela ne tient pas à un quelconque refus de méthodes qui seraient plus "modernes", mais plutôt au fait qu'ils disposent d'outils beaucoup plus efficaces que ceux que fournit et que pourrait fournir la bibliométrie, et qu'ils les utilisent systématiquement pour l'évaluation. Les raisons tiennent à deux spécificités : la communauté mondiale des mathématiciens est relativement réduite (~40000 dans le monde dont ~4000 français), et les mathématiciens ont su s'organiser au plan mondial depuis longtemps (on peut dire deux tiers de siècle).

Il existe deux bases de données mathématiques : Zentralblatt Math (de l'European Mathematical Society) et MathSciNet (Mathematical Reviews on the web de l'American Mathematical Society). La seconde, la plus utilisée, contient les références de tous les articles
mathématiques publiés dans le monde depuis 1940 et fournit pour chacun d'eux une analyse critique des résultats, signée d'un mathématicien et non de l'auteur, allant d'une demi-page à trois pages pour les plus importants. Destinée en premier lieu à être une aide à la recherche, cette base de données est systématiquement utilisée par quiconque doit évaluer des mathématiciens (recrutement, promotion, prix, etc.). Elle fournit pour chacun d'eux la liste de leurs publications, leur analyse, leurs citations (par qui et dans quels articles). Le problème des homonymies est ainsi résolu. Depuis longtemps, la communauté mathématique toute entière travaille à l'élaboration de ces bases de données remarquables qui ne se limitent pas à des tableaux de nombres.

On peut se demander s'il ne faudrait pas s'inspirer de ce succès pour encourager la création de bases de données analogues dans d'autres disciplines.

On peut bien sûr aussi en extraire des données bibliométriques. On jugera de leur pertinence sur l'exemple des deux récentes Médailles Fields françaises : Cédric Villani est cité 1520 fois par 629 auteurs, et Ngô Báo Châu est cité 102 fois par 52 auteurs, alors qu'aucun mathématicien au monde ne se risquerait à y voir une disparité de niveau.

En conclusion, la taille relativement modeste du monde mathématique, l'unité fondamentale de cette discipline, et l'existence de bases de données remarquables font que les mathématiciens privilégient l'évaluation qualitative par les pairs, fondée pour l'essentiel sur la lecture des articles. La bibliométrie en mathématiques ne peut être qu'un aspect très marginal de l'évaluation individuelle des chercheurs.

## La bibliométrie en Physique

Au Comité National de la Recherche Scientifique (CoNRS), cinq sections sont concernées par la discipline Physique sans compter les multiples collaborations engagées avec les sections de biologie mais aussi de chimie par le biais des sciences des matériaux.

Pour les Professeurs, l'évaluation est pratiquée à l'échelon national par le CNU où les performances en recherche, comptabilité du nombre de publications, du nombre de conférences-invitées, du nombre de thésards et du facteur H, jouent un rôle déterminant. A l'échelon local, l'investissement dans la vie de l'université entre aussi en ligne de compte pour l'évaluation. Dans ce cas, la considération du facteur H est moins importante.

Pratiquement tous les candidats à l'évaluation font apparaître dans leur CV et liste de publications, d'abord les articles publiés dans *Nature* et *Science*, puis ceux publiés dans *Physical Review Letters*, et enfin dans *Physical Review*, souvent sans fournir le nombre de citations reçues par ces articles. Les candidats omettent parfois de mentionner les articles publiés dans des revues qu'ils jugent de moindre prestige comme les journaux de sociétés
savantes européennes, redoutant un effet négatif sur le jury. Ainsi, c'est le facteur d'impact de
la revue tant décrié dans ce rapport qui bien souvent joue encore un trop grand rôle dans les
décisions concernant l'évaluation d'un chercheur.

En règle générale, lorsque des indicateurs sont utilisés, c'est au niveau le plus primaire qu'ils
le sont encore actuellement, alors que la base de données ISI offre une très bonne couverture
des journaux en physique, même pour des articles publiés en français. Les compte rendus de
conférences publiés par les journaux commencent aussi à être pris en compte dans cette base.
On peut donc considérer que la base ISI couvre de 80 à 100% des publications pertinentes en
physique. Il reste toutefois les livres encore peu présents.

La croissance du nombre des auteurs commence à devenir problématique, et l'on peut
craindre que ce soit dans le but sans doute de gonfler le nombre de citations de chacun. Le
positionnement dans l'ordre des auteurs n'est pas aussi significatif que dans les disciplines
bio-médicales même si une évolution dans le même sens commence à se dessiner.

Le transfert des connaissances en physique se fait essentiellement par les publications dans les
journaux scientifiques, avec une prédisposition marquée pour les revues anglo-saxonnes. Il
est rare que des connaissances nouvelles, non publiées au préalable, apparaissent dans des
conférences, sauf des résultats préliminaires présentés en posters par des thésards. Les
physiciens font aussi largement appel aux serveurs du type arXiv ou Hal, soit pour des articles
avant ou en cours de soumission, soit encore pour des travaux publiés pour lesquels les
directeurs de la publication donnent leur accord pour être placés sur ces serveurs dans la
mesure où le format éditorial de la revue n'est pas utilisé.

Il faudrait encourager sinon obliger l'utilisation du serveur Hal (TEL) pour la mise en ligne
des thèses, une excellente initiative du CNRS permettant d'accroître considérablement la
visibilité du travail complet des thésards.

Même si réussir à publier dans une revue de prestige n'est pas blâmable en soi, il est permis
de s'interroger sur une pratique qui conduit à un certain formatage des articles et même des
sujets (lorsque le rédacteur en chef de la revue souhaite privilégier certains domaines pour des
raisons commerciales), et en fin de compte à une perte d'originalité et de créativité.

En conclusion, il est souhaitable que le système d'évaluation de la recherche, en physique
comme ailleurs, tienne plus en compte l'innovation, la pertinence et la visibilité (les citations)
des travaux que le simple prestige de la revue ou du magazine dans lesquels ils sont publiés.
Une contribution contrôlée de la bibliométrie et des fichiers bibliographiques pourrait y
contribuer.
## La bibliométrie en Sciences mécaniques, Informatique et Mathématiques appliquées

La France est centralisée dans ce domaine et le nombre de chercheurs est suffisamment petit (moins de 5000 en France dans chacune des 3 branches) pour que l'on puisse avoir de bonnes informations sur un chercheur sans avoir recours à la bibliométrie. Le problème se pose surtout pour les jeunes et pour l'évaluation de l'activité des chercheurs en temps réel, par exemple sur une période de 4 ans comme le demande le système des promotions.

Les jeunes chercheurs sont « évalués » principalement par oral à l'occasion d'une invitation à faire un séminaire. Savoir si un chercheur est actif sur une période de 4 ans est plus problématique et il est effectivement difficile de trouver d'autres critères que sa liste de publications. Toutefois, les responsabilités administratives liées à la recherche et l'animation de la recherche (organisation de conférences, responsabilités éditoriales, etc.) sont des facteurs importants dans l'évaluation. Ces informations sont en général disponibles sur la page personnelle du chercheur sur internet. Il est donc important pour les chercheurs de maintenir un site internet attractif et à jour de leurs activités scientifiques, publications comprises.

En mécanique et en mathématiques appliquées, le transfert des nouvelles connaissances se fait à moitié par publications et à moitié par conférences dans des colloques internationaux.

En informatique, le transfert se fait essentiellement par des conférences-invitées si possible dans les grands colloques internationaux reconnus dans la discipline (SIGGRAPH par exemple pour l'informatique graphique). Ces colloques ne publient en général pas d'actes (proceedings) mais ont souvent des archives sur leurs sites internet. C'est seulement pour une petite partie de l'informatique théorique que les publications dans des revues ont un rôle.

Tout cela étant dit, la communauté n'est pas particulièrement hostile aux indices bibliométriques mais elle les utilise en complément, et certainement pas comme critère principal. Sur une longue carrière, ces indices donnent des indications fiables sur la renommée d'un chercheur pour savoir s'il est très connu ou pas du tout, mais ils ne permettent en aucun cas un classement précis. Leur utilisation par des personnes incompétentes dans le domaine du chercheur est considérée comme très dangereuse et désapprouvée par la communauté.

## La bibliométrie en Astrophysique

En astrophysique, la bibliométrie est utilisée couramment pour l'évaluation des chercheurs, pour les embauches, les promotions et les attributions de bourses. La NASA tient à jour un répertoire bibliographique libre d'accès (ADS) qui ne prétend pas être parfait ou complet, mais qui donne les citations des articles, et tout le monde l'utilise pour compter les citations et/ou pour déterminer le facteur H. Par exemple, à l'ESO (European Southern Observatory),
pour les promotions à des niveaux plus élevés dans la partie scientifique de la carrière, on
demande aux candidats d'avoir au moins un certain nombre de citations et/ou un certain
nombre d'articles à fort taux de citations. De même dans les jurys de l'ERC, on dispose du
nombre de citations des candidats, et parfois du facteur H (il est facile de les obtenir avec
ADS quand les candidats ne les donnent pas), tous éléments utiles dans les discussions. Il est
cependant important de garder en mémoire qu'une base comme ADS n'étant pas complète
peut pénaliser lourdement les performances bibliométriques d'un chercheur pluri-
disciplinaire.

Tout le monde comprend bien qu'il ne s'agit que d'indicateurs. Un certain nombre de
corrections sont nécessaires :

- Lorsque le candidat n'est qu'un parmi de très nombreux auteurs d'articles à très fort taux de citations, il est nécessaire de comprendre quelle est la part qu'il a prise à l'élaboration de l'article, ce qui se fait en général en interrogeant les auteurs seniors du même travail.

- Le nombre de citations doit être jaugé à l'aune de la sous-discipline correspondante, par exemple les articles de cosmologie obtiennent, à valeur égale, bien plus de citations que des articles en physique solaire. Tous les bons jurys savent comment faire cette correction, de façon plus ou moins qualitative.

- Certains articles, de valeur moyenne, peuvent néanmoins obtenir d'énormes taux de citations, par exemple s'ils attribuent une valeur à un paramètre nécessaire pour d'autres travaux, qui prennent ensuite cette valeur en référence. Là encore, les bons jurys ne s'y trompent pas.

- Certains articles excellents qui résolvent un problème sont peu cités car ils « ferment » le sujet. A l'inverse, des articles faux peuvent obtenir beaucoup de citations car ils provoquent un très grand nombre de démentis.

Une fois ces corrections faites, on peut constater qu’il y a une bonne corrélation entre le taux
de citations et le facteur H d’une part, et les « vrais » critères de jugement, à savoir
profondeur, originalité, productivité, d’autre part. Les astrophysiciens savent en général
utiliser les indicateurs bibliométriques à bon escient. Mais une importance plus grande est
généralement donnée à la teneur des cinq ou dix principaux articles que l’évalué doit avoir
signalés.

La bibliométrie en Géosciences

En géosciences, les articles comme en biologie ont en général moins de 10 auteurs et encore
assez souvent moins de 5. L'ordre est en général assez lié à l'importance (décroissante) des
contributions. Le premier auteur est normalement celui qui a effectué le plus gros du travail,
de plus en plus souvent le doctorant concerné, mais parfois le chercheur confirmé qui est
le "principal investigator" ou qui a eu l'idée essentielle. Il arrive, mais rarement, que le
dernier auteur soit l'un des patrons de l'équipe concernée. De plus en plus fréquemment, les
principaux ingénieurs de recherche ayant collaboré sont co-auteurs. La bibliométrie est de plus en plus utilisée par les sections du CNRS concernées et les commissions de recrutement d'enseignants-chercheurs, surtout pour les promotions de rang B en rang A (MCF à PR, CR à DR) et au-delà. Elle le sont peu pour les chercheurs débutants (moins de 10 ans thèse comprise).

## La bibliométrie en Chimie

En chimie, la bibliométrie n'est pas utilisée de manière officielle, mais les indicateurs habituels (le facteur H, le nombre total de citations, et le nombre de citations par article) sont utilisés lors de discussions préliminaires de manière importante lorsqu'il s'agit d'évaluer les carrières ou les mérites de chercheurs ayant plus de dix à douze années d'activité de recherche. La taille de la communauté et la diffusion internationale des travaux permettent l'utilisation de ces indicateurs avec pertinence de la part d'évaluateurs de qualité. Dans la pratique, les sections de chimie du Comité national du CNRS ou du CNU évitent la prise en considération des indicateurs bibliométriques. Il serait souhaitable que les indicateurs soient clairement mentionnés dans les CV des chercheurs et enseignants-chercheurs seniors avant l'évaluation par les pairs lors de promotions importantes (passage DR2 à DR1 et DR1 à DRCE).

## La bibliométrie en Biologie

La bibliométrie est très largement utilisée en biologie comme en médecine. La plupart des chercheurs font tout leur possible pour publier leurs articles dans le petit nombre de revues très prestigieuses, qu'il s'agisse avant tout des revues généralistes, comme *Science*, *Nature* ou à moindre degré *PNAS*, ou dans les têtes de file des revues spécialisées.

La situation est telle que le succès d'un chercheur est autant d'être accepté dans ces revues de haut niveau que d'avoir réalisé des observations vraiment originales. Le problème est compliqué par le fait que les travaux de très grande qualité, surtout quand ils utilisent des technologies plus modernes, sont plus volontiers acceptés que les autres dans ces grandes revues. Dans ce contexte, on voit combien le facteur d'impact de la revue a une grande importance, plus grande dans l'esprit de beaucoup que les index bibliométriques.

La situation est également compliquée par la position du chercheur concerné dans la liste, souvent longue, des auteurs d'un article. C'est le jeune chercheur, ou l'étudiant, qui a fait le travail à la paillasse qui est en 1er ou 2ème auteur. C'est le directeur de la thèse, de l'équipe ou du laboratoire qui occupe la dernière place. Les signataires du milieu ont un rôle souvent plus accessoire même s'ils bénéficient de la publication en question au même titre que les premiers ou derniers auteurs. Cette situation, sans doute excessive, a conduit les grands groupes de
revues, en particulier *Nature*, *Science* et *Cell*, a créer des journaux de spécialité ayant leur label : par exemple *Nature Immunology* ou *Science Translational Medicine*.

On arrive aussi à une situation assez manichéenne dans laquelle seuls sont considérés comme excellents les articles publiés dans les revues à fort facteur d'impact, ce qui pénalise nombre d'articles très intéressants qui ont été refusés par ces revues soit parce qu'effectivement ils n'étaient pas parfaitement excellents ou modernes, soit parce qu'ils ont été la victime des aléas de l'expertise très discriminante de ces revues prestigieuses.

La situation est telle que dans certains cas l'importance de la revue puisse orienter le travail de certains chercheurs pour qu'ils se donnent de meilleures chances de publier dans ces revues, au-delà de l'originalité de leur travail qui n'est pas toujours prise en compte par les experts de ces grandes revues.

Un dernier point est celui des sous-disciplines. Le facteur d'impact des revues et le nombre de citations dépendent beaucoup de la taille de la communauté associée à chaque discipline ou sous-discipline. Il est en conséquence très important de comparer les indicateurs bibliométriques d'un article à ceux de la même discipline ou sous-discipline. Les revues généralistes incluent en théorie toute les disciplines mais privilégient certaines d'entre elles ou certaines méthodologies.

## La bibliométrie en Biologie végétale

Historiquement, c'est-à-dire environ jusqu'au milieu du XXe siècle, la biologie végétale (versus botanique), avec la biologie animale (versus zoologie) et la médecine, constituait un des piliers de la biologie au sens large. Cette sous-discipline de la biologie est elle-même très hétérogène et composée de nombreuses spécialités depuis la biologie cellulaire et la génétique (puis la génomique), la biologie du développement ou la pathologie en passant par la physiologie, la biochimie, ou encore l'écologie. Cette dernière, regroupée avec la partie animale, est devenue une discipline à part entière dans les années récentes. On distingue les chercheurs qui ont une approche assez descriptive et qui s'appuient beaucoup sur des corrélations pour effectuer des démonstrations (écologie, biologie des populations) de ceux qui ont une approche mécaniste utilisant la biochimie et la génétique moléculaire, en particulier. Ils sont regroupés dans plusieurs sections différentes du CNU et du CNRS (ou de l'INRA) pour les évaluations.

La taille de la communauté en France est très approximativement de l'ordre du millier de chercheurs, sachant qu'elle est difficile à évaluer du fait qu'elle est répartie entre les universités, l'INRA, le Muséum d'Histoire Naturelle et le CNRS pour la plus grande part, mais aussi pour une petite partie le CEA, l'IRD, etc.. Les scientifiques les plus connus appartiennent sans aucun doute à des équipes associées à un EPST ou à un EPIC.
Comment s'effectue l'évaluation individuelle ? Au niveau national, CNU, CNRS ou INRA par exemple, on distingue les chercheurs connus (généralement des seniors, DR ou PR, et quelques juniors, CR ou MdC) de ceux qui ne le sont pas ou pas encore (les juniors, en particulier).

- En général, on regarde la liste des publications et la qualité des journaux dans lesquels ces chercheurs publient. On voit même fleurir, ici ou là, des dossiers dans lesquels les journaux sont affectés de leur facteur d'impact. Certains journaux sont, à plus ou moins juste titre, considérés comme prestigieux (Nature, Science, PNAS, Cell, ou encore Plant Cell, le journal spécialisé le plus coté dans la discipline). Y publier est donc un gage de reconnaissance avérée ; les travaux nécessaires pour accéder à de tels journaux sont souvent réalisés en 2-4 ans par plusieurs personnes.

- La recherche en sciences expérimentales est une activité intellectuelle de compétition, à caractère individuel, mais qui se pratique en équipe. La biologie est tributaire de nombreuses techniques et méthodologies nécessitant des collaborations ce qui rend difficile l'évaluation individuelle.

- Il convient de bien distinguer les chercheurs innovants, ne suivant pas toujours la mode du moment, de ceux qui sont moins innovants mais d'excellents techniciens (plutôt ingénieurs de recherche que chercheur) et qui peuvent publier beaucoup, y compris dans d'excellents journaux. Très souvent, en France, les recrutements sont orientés de manière à privilégier ce type de profil destiné à compléter les capacités d'une équipe de recherche.

- Le positionnement d'un chercheur dans l'ordre des auteurs est un élément important comme dans toute la biologie : le premier auteur, thésard ou post-doc le plus souvent, est celui qui a réalisé la plus grande partie de l'expérience ; l'auteur senior est celui qui a dirigé le travail à partir d'une idée qu'il a proposée et, le plus souvent, des résultats préliminaires qu'il a obtenus pour en tester la validité. Les autres ont contribué de manière souvent mineure, en particulier dans les cas, nombreux, de collaborations techniques ponctuelles (utilisation de plateaux techniques, par exemple).

- Le rayonnement d'un chercheur est un élément très souvent pris en compte dans l'évaluation : capacité à faire progresser une discipline, à former une école de pensée, à accueillir des chercheurs de nationalité étrangère en séjour sabbatique, etc.

En conclusion, dans l'état actuel, les indicateurs bibliométriques sont encore assez peu utilisés de manière automatique par les instances d'évaluation. Il convient, dans les recommandations, que soit précisé le rôle précis joué par chacun des signataires des publications, tous les signataires devant être capables d'expliquer complètement le contenu de l'article qu'ils ont co-signé et de préciser leur rôle (conceptuel, méthodologique, technique, fourniture de matériel biologique, etc.) dans ce travail.
Le paysage de l'évaluation dans les sciences médicales est fortement influencé par la prise en compte explicite de l'activité de publication scientifique dans le financement des hôpitaux, suite à la réforme de 2004. Les hôpitaux sont en effet financés en fonction de leur « activité » de soins, après codification. L'accomplissement de certaines activités d'intérêt général, et notamment de l'activité de recherche -majoritairement effectuée dans les hôpitaux universitaires- ne rentrait pas dans ce modèle et fait donc l'objet d'une ligne budgétaire particulière (l'enveloppe « MIGAC »). L'activité de recherche est comptabilisée notamment grâce au recensement systématique des publications effectuées dans les hôpitaux, classées en 3 catégories de qualité. L'activité de recherche d'un individu ou d'un service est mesurée par un nombre de points uniquement déterminé en multipliant l'indice de la revue (8 points pour une revue A, 4 points pour une revue B, 1 point pour une revue C) par un indice fondé sur le rang de signature (4 points pour un 1er signataire, 2 points pour un second ou dernier signataire, 1 point pour les autres). Le score varie donc de 1 à 32, et le financement (touché par l'hôpital de façon globale) est obtenu en multipliant ce nombre de points par la valeur du point.

Ce système a forcément une influence sur les modes d'évaluation des instances universitaires qui disposent d'un outil simple, et mis à jour (le logiciel SIGAPS).

Cette évolution peut être favorable en forçant à mettre en évidence, plus clairement que ce n'était fait dans beaucoup de sections du CNU, les activités de recherche objectives des candidats. Il est bien évident cependant que l'automatisme ne doit pas être la règle. L'analyse des dossiers individuels est nécessaire pour identifier les publications où le chercheur évalué a eu l'initiative de la recherche - ou y a tenu un rôle essentiel - de celles, nombreuses dans les disciplines médicales, où il n'est qu'un signataire parmi d'autres ayant apporté l'usage d'un plateau technique, ou fourni un certain nombre des patients analysés. De ce point de vue, les rapporteurs ont comme guide les critères de Vancouver pour juger de la réelle contribution des auteurs. Notons aussi que le logiciel SIGAPS ne fait pas de distinction entre une lettre à un journal, un article de revue, ou un article original. Certaines sections médicales ont bien conscience de l'ensemble de ces problèmes et éditent des guides publics à l'attention de candidats. Ceci devrait être encouragé.

Par exemple (section 4604 du CNU) :

> Le postulant doit démontrer sa capacité d'intégration, d'animation, de participation à une équipe de Recherche au sein de l'université dans laquelle il sera nommé, à la fois sur les activités de publication passées ou en cours, et sur les projets définis en accord avec la Direction de la Recherche Clinique du CHU (contrats, PHRC, STIC).

> Le niveau de publications minimum requis est de 5 articles originaux en premier, deuxième ou dernier auteur dans des revues internationales, à facteur d'impact significatif de la discipline, rangs A ou B SIGAPS ou classification équivalente. La liste de publications permet d'analyser l'intégration du candidat au sein d'équipes de recherche, et de juger de sa capacité de publications.

> L'analyse individuelle SIGAPS à jour permet d'analyser le profil de production scientifique
du candidat. L'originalité des travaux, leur pertinence, la dynamique personnelle sont pris en compte ainsi que l'investissement dans la discipline (participations aux Congrès Nationaux et Internationaux). et Internationaux).

Au moment du recrutement ou de la promotion des professeurs, il est également utile d'évaluer la production « de seconde génération » (c'est à dire elle des élèves du candidat. Les dossiers peuvent donc utilement faire apparaître la production de ceux-ci.

## La bibliométrie en Économie

Ce point de vue ne saurait résumer l'ensemble des points de vue qui existent au sein de la communauté des économistes. La population même des économistes est difficile à cerner. L'intitulé de la section 37 du CNRS est, en effet, Economie et Gestion (excluant par exemple les statistiques qui sont dans la section 1 : Mathématiques). En revanche, le CNU distingue : Sciences économiques (section 5), Sciences de gestion (section 6) et les statistiques sont dans Mathématiques appliquées et applications des mathématiques (section 26). Certains économistes sont par ailleurs à la frontière avec d'autres disciplines comme la géographie, l'histoire, ou la sociologie, pour n'en citer que quelques unes.

Au sens de la section 37 du CNRS et de la section 5 du CNU, le nombre d'économistes en France est de l'ordre de 2 800.

Comme dans les autres disciplines, le recrutement et les promotions sont basés sur l'évaluation par les pairs. Toutefois, des indicateurs bibliométriques sont apparus pour aider les évaluateurs. Il s'agit essentiellement de la publication (en 2003, révisée en 2008) par la section 37 du CNRS d'une liste de 690 revues avec pour chacune une note 0 à 4 (0 étant la meilleure note<fnref n="1" />).

L'usage de cette liste s'est répandu. La section 37 du CNRS, la section 5 CNU, l'AERES, ainsi que les récents jurys d'agrégation (passage de MCF à PR) utilisent cette liste afin de faciliter les comparaisons entre les profils de publications des chercheurs qu'ils doivent évaluer.

Bien que cette liste soit incomplète<fnref n="2" />, et que tous les économistes ne soient pas d'accord avec son contenu, son apparition et son utilisation (parmi d'autres critères) semblent donner des incitations (notamment aux jeunes chercheurs) à publier davantage et le mieux possible.

<footnote n="1">¹ Cette note est issue d'une évaluation qualitative des revues par le Comité national de la section 37 et non pas d'une application mécanique d'indices bibliométriques comme le « impact factor », par exemple. En Allemagne l'association allemande d'économie a publié une liste similaire en 2008.</footnote>

<footnote n="2">² Par exemple, la base de l'American Economic Association (EconLit) contient 1050 journaux. De nombreux journaux de statistiques sont exclus des deux listes (CNRS comme EconLit).</footnote>
Un élément important est que, en moyenne, les économistes ne publient pas beaucoup<fnref n="3" /> (sans que cela soit considéré, ici, comme bien ou mal). Par exemple, les 1% des 2 800 économistes qui publient le plus ont de l'ordre de 30 articles (dans la base EconLit). Pour être dans le top 5% il faut 13 articles, et 8 articles suffisent pour être dans le top 10%. Cela change avec l'âge, les jeunes chercheurs publiant plus que ceux des générations qui vont partir à la retraite.

En revanche, l'usage d'indicateurs de citations ne semble pas être entré dans les mœurs<fnref n="4" />.

Récemment, la section 5 du CNU a été divisée sur l'usage d'un seuil minimum de publications dans de bonnes revues pour la qualification de MCF (passage PR à la voie longue). Un seuil a été appliqué mais certains membres du CNU ont protesté contre un usage exclusif du critère des publications.

Une double conclusion émerge : d'une part les indicateurs bibliométriques (qu'il s'agisse de nombre de publications pondérées par la qualité moyenne des revues, ou d'un indicateur directement basé sur le nombre de citation des articles) sont surtout utilisables pour les chercheurs les plus productifs (en dessous d'un certain décile, tous les chercheurs ont un profil très similaire). Leur usage peut donc venir éclairer de manière pertinente les choix pour certaines promotions (comme le passage à la première classe pour les PR ou le passage de CR1 à DR2 au CNRS). D'autre part, si pour les plus jeunes les indicateurs bibliométriques sont insuffisamment discriminants, leur usage (même partiel) donne de bonnes incitations à ces chercheurs pour améliorer leur dossier.

Deux remarques pour finir. Tout d'abord, il semble important de produire des chiffres (la valeur d'un indicateur donné pour un chercheur donné) avec un contexte permettant de le comprendre, en essayant de les replacer dans un cadre (une distribution) plus large. Par exemple, l'indicateur I du chercheur C vaut $x$, et cela le place parmi les $n$ meilleurs chercheurs de sa génération, dans son domaine. Ensuite, toute évaluation devrait se faire selon une grille d'analyse pré-établie, transparente, et devrait faire l'objet d'un compte rendu transmis à la personne concernée.

## La bibliométrie en Sciences humaines et sociales

Les sciences humaines et sociales présentent une très grande diversité de situations selon les disciplines. On peut toutefois faire quelques constats et propositions de portée générale à leur sujet.

<footnote n="3">³ Un élément d'explication peut être les délais très longs qui existent dans le processus de publication. Un document de travail n'est publié dans une revue que deux ou trois ans après sa rédaction (parfois plus).</footnote>

<footnote n="4">⁴ Par exemple, seules 300 revues (environ) d'économie sont dans la base des citations SSCI dont une seule en français (or de nombreux économistes privilégient encore le français) et l'usage de *Google Scholar* semble relativement délicat. De plus, la distribution des citations est encore plus inégalitaire que celle des publications.</footnote>
Il n'est pas possible et il ne sera pas possible à brève échéance de réaliser des calculs de citations de qualité suffisante pour qu'ils soient utilisés dans un processus d'évaluation, quel qu'il soit. Les divergences énormes rencontrées pour des calculs faits sur les mêmes chercheurs suivant la base de données utilisée (ISI Web of Science ou Google Scholar) en témoignent. Ces bases sont à la fois trop peu et trop inclusives et ne peuvent pas refléter efficacement l'activité scientifique en SHS – ce que confirment d'ailleurs les responsables de Thomson Reuters.

Plusieurs raisons l'expliquent : des formes de publication nombreuses en dehors des articles, avec, pour les ouvrages, une quasi-impossibilité de tracer des frontières entre ouvrages scientifiques et « grand public » ; une quantité totale de publications relativement faible pour chaque chercheur professionnel mais énorme pour chaque discipline ; des publications qui ne se font pas seulement en anglais (ni en français), pour des raisons légitimes ; des citations plus nombreuses d'articles « anciens » (avant 2000, voire avant 1980).

Il serait donc absurde d'utiliser des indicateurs bibliométriques pour l'évaluation individuelle en SHS – a fortiori pour le recrutement, point nodal des difficultés des SHS en matière d'évaluation.

En revanche, à l'issue des discussions du groupe de travail, quelques recommandations peuvent être formulées pour améliorer l'évaluation individuelle, y compris dans ses aspects bibliographiques, sinon bibliométriques :

- standardiser les présentations des CV des chercheurs (discipline par discipline), quel que soit le type d'évaluation auquel ils doivent servir et l'institution concernée, en distinguant en particulier les publications soumises à l'évaluation par des pairs et les autres, y compris en matière d'ouvrages ;

- comme cela se fait pour les revues, faire labelliser et le cas échéant subventionner par le CNRS (labellisation par les sections du CoNRS) les collections d'ouvrages scientifiques ;

- encourager la création d'un portail web de signalement des comptes rendus en SHS, à l'échelle française ou de préférence européenne, voire mondiale (projet partiellement en cours sous le nom de recensio.net) ;

- favoriser la présence dans les jurys d'au moins deux scientifiques issues d'autres disciplines (des SHS, voire hors SHS lorsque le profil des candidats le justifie), qui peuvent amener les « pairs » au sens plus strict à expliciter leurs critères de jugement et éviter certains phénomènes de favoritisme.

Les recommandations générales proposées dans le présent rapport s'appliquent également aux SHS.
ANNEXE 4
L'ETHIQUE DE LA PUBLICATION DES TRAVAUX SCIENTIFIQUES
LES CRITERES DE VANCOUVER

Publication Ethics : Sponsorship, Authorship and Accountability
International Committee of Medical Journal Editors

Uniform Requirements for Manuscripts Submitted to Biomedical
Journals: Writing and Editing for Biomedical Publication

Updated April 2010

The following information is available to be viewed/
printed in Adobe Acrobat pdf format.

I. Statement of Purpose

A. About the Uniform Requirements

B. Potential Users of the Uniform Requirements

C. How to Use the Uniform Requirements

II. Ethical Considerations in the Conduct and Reporting of Research

A. Authorship and Contributoryship

1. Byline Authors

2. Contributors Listed in Acknowledgments

B. Editorship

1. The Role of the Editor

2. Editorial Freedom

C. Peer Review

D. Conflicts of Interest

1. Potential Conflicts of Interest Related to
   Individual Authors' Commitments

2. Potential Conflicts of Interest Related to
   Project Support

3. Potential Conflicts of Interest Related to
   Commitments of Editors, Journal Staff, or
   Reviewers

E. Privacy and Confidentiality

1. Patients and Study Participants

2. Authors and Reviewers

F. Protection of Human Subjects and Animals in Research

III. Publishing and Editorial Issues Related to
Publication in Biomedical Journals

A. Obligation to Publish Negative Studies

B. Corrections, Retractions, and "Expressions of Concern"

C. Copyright

D. Overlapping Publications

1. Duplicate Submission

2. Redundant Publication

3. Acceptable Secondary Publication

4. Competing Manuscripts Based on the Same Study

a. Differences in Analysis or Interpretation

b. Differences in Reported Methods or Results

5. Competing Manuscripts Based on the Same Database

E. Correspondence

F. Supplements, Theme Issues, and Special Series

G. Electronic Publishing

H. Advertising

I. Medical Journals and the General Media

J. Obligation to Register Clinical Trials

IV. Manuscript Preparation and Submission

A. Preparing a Manuscript for Submission to Biomedical Journals

1. a. General Principles

b. Reporting Guidelines for Specific Study Designs

2. Title Page

3. Conflict-of-Interest Notification Page

4. Abstract and Key Words

5. Introduction

6. Methods

a. Selection and Description of Participants

b. Technical Information

c. Statistics

7. Results

8. Discussion

9. References

a. General Considerations Related to References

b. Reference Style and Format

10. Tables

11. Illustrations (Figures)

12. Legends for Illustrations (Figures)

13. Units of Measurement

14. Abbreviations and Symbols

B. Sending the Manuscript to the Journal

V. References

A. Print References Cited in this Document

B. Other Sources of Information Related to Biomedical Journals

VI. About the International Committee of Medical Journal Editors

VII. Authors of the Uniform Requirements

VIII. Use, Distribution, and Translation of the Uniform Requirements

IX. Inquiries
# I. STATEMENT OF PURPOSE

## I. A. About the Uniform Requirements

A small group of editors of general medical journals met informally in Vancouver, British Columbia, in 1978 to establish guidelines for the format of manuscripts submitted to their journals. This group became known as the Vancouver Group. Its requirements for manuscripts, including formats for bibliographic references developed by the National Library of Medicine (NLM), were first published in 1979. The Vancouver Group expanded and evolved into the International Committee of Medical Journal Editors (ICMJE), which meets annually. The ICMJE has gradually broadened its concerns to include ethical principles related to publication in biomedical journals.

The ICMJE has produced multiple editions of the Uniform Requirements for Manuscripts Submitted to Biomedical Journals. Over the years, issues have arisen that go beyond manuscript preparation, resulting in development of a number of Separate Statements on editorial policy. The entire Uniform Requirements document was revised in 1997; sections were updated in May 1999 and May 2000. In May 2001, the ICMJE revised the sections related to potential conflict of interest. In 2003, the committee revised and reorganized the entire document and incorporated the Separate Statements into the text. The committee prepared this revision in 2010.

The total content of the Uniform Requirements for Manuscripts Submitted to Biomedical Journals may be reproduced for educational, not-for-profit purposes without regard for copyright; the committee encourages distribution of the material.

Journals that agree to use the Uniform Requirements are encouraged to state in their Instructions to Authors that their requirements are in accordance with the Uniform Requirements and to cite this version. Journals that wish to be listed on www.ICMJE.org as a publication that follows the Uniform Requirements should contact the ICMJE secretariat office.

The ICMJE is a small working group of general medical journals, not an open-membership organization. Occasionally, the ICMJE will invite a new member or guest when the committee feels that the journal or organization will provide a new perspective. Open membership organizations for editors and others in biomedical publication include the World Association of Medical Editors www.WAME.org, the Council of Science Editors (www.councilscienceeditors.org/), and the European Association of Science Editors (www.ease.org.uk).

## I. B. Potential Users of the Uniform Requirements

The ICMJE created the Uniform Requirements primarily to help authors and editors in their mutual task of creating and distributing accurate, clear, easily accessible reports of biomedical studies. The initial sections address the ethical principles related to the process of evaluating, improving, and publishing manuscripts in biomedical jour-

nals and the relationships among editors and authors, peer reviewers, and the media. The latter sections address the more technical aspects of preparing and submitting manuscripts. The ICMJE believes that the entire document is relevant to the concerns of both authors and editors.

The Uniform Requirements can provide many other stakeholders—peer reviewers, publishers, the media, patients and their families, and general readers—with useful insights into the biomedical authoring and editing process.

## I. C. How to Use the Uniform Requirements

The Uniform Requirements state the ethical principles in the conduct and reporting of research and provide recommendations relating to specific elements of editing and writing. These recommendations are based largely on the shared experience of a moderate number of editors and authors, collected over many years, rather than on the results of methodical, planned investigation that aspires to be "evidence-based." Wherever possible, recommendations are accompanied by a rationale that justifies them; as such, the document serves an educational purpose.

Authors will find it helpful to follow the recommendations in this document whenever possible because, as described in the explanations, doing so improves the quality and clarity of reporting in manuscripts submitted to any journal, as well as the ease of editing. At the same time, every journal has editorial requirements uniquely suited to its purposes. Authors therefore need to become familiar with the Instructions to Authors specific to the journal they have chosen for their manuscript—for example, the topics suitable for that journal, and the types of papers that may be submitted (for example, original articles, reviews, or case reports)—and should follow those instructions.

# II. ETHICAL CONSIDERATIONS IN THE CONDUCT AND REPORTING OF RESEARCH

## II. A. Authorship and Contributorship

### II. A. 1. Byline Authors

An "author" is generally considered to be someone who has made substantive intellectual contributions to a published study, and biomedical authorship continues to have important academic, social, and financial implications (1). An author must take responsibility for as least one component of the work, should be able to identify who is responsible for each other component, and should ideally be confident in their co-authors' ability and integrity. In the past, readers were rarely provided with information about contributions to studies from persons listed as authors and in Acknowledgments (2). Some journals now request and publish information about the contributions of each person named as having participated in a submitted study, at least for original research. Editors are strongly encouraged to develop and implement a contributorship policy, as well as a policy on identifying who is responsible for the integrity of the work as a whole.

While contributorship and guarantorship policies ob-
viously remove much of the ambiguity surrounding contri-
butions, they leave unresolved the question of the quantity
and quality of contribution that qualify for authorship.
The ICJME has recommended the following criteria for
authorship; these criteria are still appropriate for journals
that distinguish authors from other contributors.

* Authorship credit should be based on 1) substantial contributions to conception and design, acquisition of data, or analysis and interpretation of data; 2) drafting the article or revising it critically for important intellectual content; and 3) final approval of the version to be published. Authors should meet conditions 1, 2, and 3.

* When a large, multicenter group has conducted the work, the group should identify the individuals who accept direct responsibility for the manuscript (3). These individuals should fully meet the criteria for authorship/ contributorship defined above, and editors will ask these individuals to complete journal-specific author and conflict-of-interest disclosure forms. When submitting a manuscript authored by a group, the corresponding author should clearly indicate the preferred citation and identify all individual authors as well as the group name. Journals generally list other members of the group in the Acknowledgments. The NLM indexes the group name and the names of individuals the group has identified as being directly responsible for the manuscript; it also lists the names of collaborators if they are listed in Acknowledgments.

* Acquisition of funding, collection of data, or general supervision of the research group alone does not constitute authorship.

* All persons designated as authors should qualify for authorship, and all those who qualify should be listed.

* Each author should have participated sufficiently in the work to take public responsibility for appropriate portions of the content.

Some journals now also request that one or more au-
thors, referred to as "guarantors," be identified as the per-
sons who take responsibility for the integrity of the work as
a whole, from inception to published article, and publish
that information.

Increasingly, authorship of multicenter trials is attrib-
uted to a group. All members of the group who are named
as authors should fully meet the above criteria for author-
ship/contributorship.

The group should jointly make decisions about
contributors/authors before submitting the manuscript for
publication. The corresponding author/guarantor should
be prepared to explain the presence and order of these
individuals. It is not the role of editors to make authorship/
contributorship decisions or to arbitrate conflicts related to
authorship.

II. A. 2. Contributors Listed in Acknowledgments

All contributors who do not meet the criteria for au-
thorship should be listed in an acknowledgments section.
Examples of those who might be acknowledged include a

person who provided purely technical help, writing assis-
tance, or a department chairperson who provided only gen-
eral support. Editors should ask corresponding authors to
declare whether they had assistance with study design, data
collection, data analysis, or manuscript preparation. If such
assistance was available, the authors should disclose the
identity of the individuals who provided this assistance and
the entity that supported it in the published article. Finan-
cial and material support should also be acknowledged.

Groups of persons who have contributed materially to
the paper but whose contributions do not justify author-
ship may be listed under such headings as "clinical inves-
tigators" or "participating investigators," and their function
or contribution should be described—for example, "served
as scientific advisors," "critically reviewed the study pro-
posal," "collected data," or "provided and cared for study
patients." Because readers may infer their endorsement of
the data and conclusions, these persons must give written
permission to be acknowledged.

II. B. Editorship

II. B. 1. The Role of the Editor

The editor of a journal is the person responsible for its
entire content. Owners and editors of medical journals
have a common endeavor—publication of a reliable, read-
able journal produced with due respect for the stated aims
of the journal and for costs. Owners and editors, however,
have different functions. Owners have the right to appoint
and dismiss editors and to make important business deci-
sions in which editors should be involved to the fullest
extent possible. Editors must have full authority for deter-
mining the editorial content of the journal. The concept of
editorial freedom should be resolutely defended by editors
even to the extent of their placing their positions at stake.
To secure this freedom in practice, the editor should have
direct access to the highest level of ownership, not to a
delegated manager.

Editors of medical journals should have a contract that
clearly states their rights and duties, the general terms
of the appointment, and the mechanisms for resolving
conflict.

An independent editorial advisory board may be use-
ful in helping the editor establish and maintain editorial
policy.

II. B. 2. Editorial Freedom

The ICMJE adopts the World Association of Medical
Editors' definition of editorial freedom. According to this
definition, editorial freedom, or independence, is the con-
cept that editors-in-chief have full authority over the edi-
torial content of their journal and the timing of publica-
tion of that content. Journal owners should not interfere in
the evaluation, selection, or editing of individual articles
either directly or by creating an environment that strongly
influences decisions. Journal owners should not require ed-
itors to publish supplements as part of their contractual
agreements. Editors should base decisions on the validity of
the work and its importance to the journal's readers, not
on the commercial success of the journal. Editors should be
free to express critical but responsible views about all as-
pects of medicine without fear of retribution, even if these
views conflict with the commercial goals of the publisher.
Editors and editors' organizations are obligated to support
the concept of editorial freedom and to draw major trans-
gressions of such freedom to the attention of the interna-
tional medical, academic, and lay communities.

II. C. Peer Review

Unbiased, independent, critical assessment is an in-
trinsic part of all scholarly work, including the scientific
process. Peer review is the critical assessment of manu-
scripts submitted to journals by experts who are not part of
the editorial staff. Peer review can therefore be viewed as an
important extension of the scientific process. Although its
actual value has been little studied and is widely debated
(4), peer review helps editors decide which manuscripts are
suitable for their journals and helps authors and editors to
improve the quality of reporting. A peer-reviewed journal
submits most of its published research articles for outside
review. The number and kinds of manuscripts sent for
review, the number of reviewers, the reviewing procedures,
and the use made of the reviewers' opinions may vary. In
the interests of transparency, each journal should publicly
disclose its policies and average turn-around times in its
Instructions to Authors.

II. D. Conflicts of Interest

Public trust in the peer-review process and the credi-
bility of published articles depends in part on how well
conflict of interest is handled during writing, peer review,
and editorial decision making. Conflict of interest exists
when an author (or the author's institution), reviewer, or
editor has financial or personal relationships that inappro-
priately influence (bias) his or her actions (such relation-
ships are also known as dual commitments, competing in-
terests, or competing loyalties). These relationships vary
from being negligible to having great potential for influ-
encing judgment. Not all relationships represent true con-
flict of interest. On the other hand, the potential for con-
flict of interest can exist regardless of whether an individual
believes that the relationship affects his or her scientific
judgment. Financial relationships (such as employment,
consultancies, stock ownership, honoraria, and paid expert
testimony) are the most easily identifiable conflicts of in-
terest and the most likely to undermine the credibility of
the journal, the authors, and of science itself. How-
ever, conflicts can occur for other reasons, such as personal
relationships, academic competition, and intellectual
passion.

All participants in the peer-review and publication
process must disclose all relationships that could be viewed
as potential conflicts of interest. Disclosure of such rela-
tionships is also important in connection with editorials

and review articles, because it can be more difficult to de-
tect bias in these types of publications than in reports of
original research. Editors may use information disclosed in
conflict-of-interest and financial-interest statements as a
basis for editorial decisions. Editors should publish this
information if they believe it is important in judging the
manuscript.

II. D. 1. Potential Conflicts of Interest Related to
Individual Authors' Commitments

When authors submit a manuscript, whether an article
or a letter, they are responsible for disclosing all financial
and personal relationships that might bias their work. To
prevent ambiguity, authors must state explicitly whether
potential conflicts do or do not exist. Authors should do so
in the manuscript on a conflict-of-interest notification page
that follows the title page, providing additional detail, if
necessary, in a cover letter that accompanies the manu-
script. (See Secion IV. A. 3. Conflicts-of-Interest Disclosure.
The ICMJE developed a uniform disclosure form that IC-
MJE member journals piloted in 2009. The second version
of the form is now available. Other journals are welcome to
adopt this form.

Authors should identify individuals who provide writ-
ing or other assistance and disclose the funding source for
this assistance.

Investigators must disclose potential conflicts to study
participants and should state in the manuscript whether
they have done so.

Editors also need to decide whether to publish infor-
mation disclosed by authors about potential conflicts. If
doubt exists, it is best to err on the side of publication.

II. D. 2. Potential Conflicts of Interest Related to
Project Support

Increasingly, individual studies receive funding from
commercial firms, private foundations, and government.
The conditions of this funding have the potential to bias
and otherwise discredit the research.

Scientists have an ethical obligation to submit credit-
able research results for publication. Researchers should
not enter into agreements that interfere with their access to
all of the data and their ability to analyze them indepen-
dently, and to prepare and publish manuscripts. Authors
should describe the role of the study sponsor, if any, in
study design; collection, analysis, and interpretation of
data; writing the report; and the decision to submit the
report for publication. If the supporting source had no
such involvement, the authors should so state. Biases po-
tentially introduced when sponsors are directly involved in
research are analogous to methodological biases. Some
journals, therefore, choose to include information in the
Methods section about the sponsor's involvement.

Editors may request that authors of a study funded by
an agency with a proprietary or financial interest in the
outcome sign a statement, such as "I had full access to all of the data in this study and I take complete responsibility for the integrity of the data and the accuracy of the data analysis." Editors should be encouraged to review copies of the protocol and/or contracts associated with project-specific studies before accepting such studies for publication. Editors may request a statistical analysis of all data by an independent biostatistician. Editors may choose not to consider an article if a sponsor has asserted control over the authors' right to publish.

## II. D. 3. Potential Conflicts of Interest Related to Commitments of Editors, Journal Staff, or Reviewers

Editors should avoid selecting external peer reviewers with obvious potential conflicts of interest—for example, those who work in the same department or institution as any of the authors. Authors often provide editors with the names of persons they feel should not be asked to review a manuscript because of potential, usually professional, conflicts of interest. When possible, authors should be asked to explain or justify their concerns: that information is important to editors in deciding whether to honor such requests.

Reviewers must disclose to editors any conflicts of interest that could bias their opinions of the manuscript, and they should recuse themselves from reviewing specific manuscripts if the potential for bias exists. As in the case of authors, silence on the part of reviewers concerning potential conflicts may mean either that conflicts exist and the reviewer has failed to disclose them or conflicts do not exist. Reviewers must therefore also be asked to state explicitly whether conflicts do or do not exist. Reviewers must not use knowledge of the work, before its publication, to further their own interests.

Editors who make final decisions about manuscripts must have no personal, professional, or financial involvement in any of the issues they might judge. Other members of the editorial staff, if they participate in editorial decisions, must provide editors with a current description of their financial interests (as they might relate to editorial judgments) and recuse themselves from any decisions in which a conflict of interest exists. Editorial staff must not use information gained through working with manuscripts for private gain. Editors should publish regular disclosure statements about potential conflicts of interests related to the commitments of journal staff.

## II. E. Privacy and Confidentiality

### II. E. 1. Patients and Study Participants

Patients have a right to privacy that should not be violated without informed consent. Identifying information, including names, initials, or hospital numbers, should not be published in written descriptions, photographs, or pedigrees unless the information is essential for scientific purposes and the patient (or parent or guardian) gives written informed consent for publication. Informed consent for this purpose requires that an identifiable patient be

shown the manuscript to be published. Authors should disclose to these patients whether any potential identifiable material might be available via the Internet as well as in print after publication. Patient consent should be written and archived with the journal, the authors, or both, as dictated by local regulations or laws. Applicable laws vary from locale to locale, and journals should establish their own policies with legal guidance. Since a journal that archives the consent will be aware of patient identity, some journals may decide that patient confidentiality is better guarded by having the author archive the consent and instead providing the journal with a written statement that attests that they have received and archived written patient consent.

Nonessential identifying details should be omitted. Informed consent should be obtained if there is any doubt that anonymity can be maintained. For example, masking the eye region in photographs of patients is inadequate protection of anonymity. If identifying characteristics are altered to protect anonymity, such as in genetic pedigrees, authors should provide assurance, and editors should so note, that such alterations do not distort scientific meaning.

The requirement for informed consent should be included in the journal's Instructions for Authors. When informed consent has been obtained, it should be indicated in the published article.

### II. E. 2. Authors and Reviewers

Manuscripts must be reviewed with due respect for authors' confidentiality. In submitting their manuscripts for review, authors entrust editors with the results of their scientific work and creative effort, on which their reputation and career may depend. Authors' rights may be violated by disclosure of the confidential details during review of their manuscript. Reviewers also have rights to confidentiality, which must be respected by the editor. Confidentiality may have to be breached if dishonesty or fraud is alleged but otherwise must be honored.

Editors must not disclose information about manuscripts (including their receipt, content, status in the reviewing process, criticism by reviewers, or ultimate fate) to anyone other than the authors and reviewers. This includes requests to use the materials for legal proceedings.

Editors must make clear to their reviewers that manuscripts sent for review are privileged communications and are the private property of the authors. Therefore, reviewers and members of the editorial staff must respect the authors' rights by not publicly discussing the authors' work or appropriating their ideas before the manuscript is published. Reviewers must not be allowed to make copies of the manuscript for their files and must be prohibited from sharing it with others, except with the editor's permission. Reviewers should return or destroy copies of manuscripts after submitting reviews. Editors should not keep copies of rejected manuscripts.

Reviewer comments should not be published or other-
erwise publicized without permission of the reviewer, au-
thor, and editor.

Opinions differ on whether reviewers should remain anonymous. Authors should consult the Information for Authors of the journal to which they have chosen to submit a manuscript to determine whether reviews are anonymous. When comments are not signed, the reviewers' identity must not be revealed to the author or anyone else without the reviewers' permission.

Some journals publish reviewers' comments with the manuscript. No such procedure should be adopted without the consent of the authors and reviewers. However, reviewers' comments should be sent to other persons reviewing the same manuscript, which helps reviewers learn from the review process. Reviewers also may be notified of the editor's decision to accept or reject a manuscript.

II. F. Protection of Human Subjects and Animals in Research

When reporting experiments on human subjects, au-
thors should indicate whether the procedures followed
were in accordance with the ethical standards of the re-
sponsible committee on human experimentation (institu-
tional and national) and with the Helsinki Declaration of
1975, as revised in 2008 (5). If doubt exists whether the
research was conducted in accordance with the Helsinki
Declaration, the authors must explain the rationale for
their approach and demonstrate that the institutional re-
view body explicitly approved the doubtful aspects of the
study. When reporting experiments on animals, authors
should indicate whether the institutional and national
guide for the care and use of laboratory animals was
followed.

III. PUBLISHING AND EDITORIAL ISSUES RELATED TO PUBLICATION IN BIOMEDICAL JOURNALS

III. A. Obligation to Publish Negative Studies

Editors should seriously consider for publication any
carefully done study of an important question, relevant to
their readers, whether the results for the primary or any
additional outcome are statistically significant. Failure to
submit or publish findings because of lack of statistical
significance is an important cause of publication bias.

III. B. Corrections, Retractions, and "Expressions of Concern"

Editors must assume initially that authors are report-
ing work based on honest observations. Nevertheless, two
types of difficulty may arise.

First, errors may be noted in published articles that
require the publication of a correction or erratum on part
of the work. The corrections should appear on a numbered
page, be listed in the Table of Contents, include the com-
plete original citation, and link to the original article and
vice versa if online. It is conceivable that an error could be
so serious as to vitiate the entire body of the work, but this
is unlikely and should be addressed by editors and authors

on an individual basis. Such an error should not be con-
fused with inadequacies exposed by the emergence of new
scientific information in the normal course of research.
The latter requires no corrections or withdrawals.

The second type of difficulty is scientific fraud. If sub-
stantial doubt arises about the honesty or integrity of work,
either submitted or published, it is the editor's responsibil-
ity to ensure that the question is appropriately pursued,
usually by the authors' sponsoring institution. Ordinarily,
it is not the responsibility of the editor to conduct a full
investigation or to make a determination—that responsi-
bility lies with the institution where the work was done or
with the funding agency. The editor should be promptly
informed of the final decision, and if a fraudulent paper
has been published, the journal must print a retraction. If
this method of investigation does not result in a satisfac-
tory conclusion, the editor may choose to conduct his or
her own investigation. As an alternative to retraction, the
editor may choose to publish an expression of concern
about aspects of the conduct or integrity of the work.

The retraction or expression of concern, so labeled,
should appear on a numbered page in a prominent section
of the print journal as well as in the online version, be
listed in the Table of Contents page, and include in its
heading the title of the original article. It should not simply
be a letter to the editor. Ideally, the first author of the
retraction should be the same as that of the article, al-
though under certain circumstances the editor may accept
retractions by other responsible persons. The text of the
retraction should explain why the article is being retracted
and include a complete citation reference to that article.

The validity of previous work by the author of a fraud-
ulent paper cannot be assumed. Editors may ask the au-
thor's institution to assure them of the validity of earlier
work published in their journals or to retract it. If this is
not done, editors may choose to publish an announcement
expressing concern that the validity of previously published
work is uncertain.

Editors who have questions related to editorial or sci-
entific misconduct may find it useful to consult the excel-
lent flow charts that the Committee on Publication Ethics
(COPE) has developed (http://www/publicationethics
.org.uk). COPE, which was formed in 1997, is a forum in
which editors of peer-reviewed journals can discuss issues
related to the integrity of the scientific record: it supports
and encourages editors to report, catalogue, and instigate
investigations into ethical problems in the publication pro-
cess. COPE's major objective is to provide a sounding board
for editors struggling with how best to deal with possible
breaches in research and publication ethics.

III. C. Copyright

Many biomedical journals ask authors to transfer
copyright to the journal. However, an increasing number
of "open-access" journals do not require transfer of copy-
right. Editors should make their position on copyright
transfer clear to authors and to others who might be interested in using editorial content from their journals. The copyright status of articles in a given journal can vary: Some content cannot be copyrighted (for example, articles written by employees of the U.S. or some other governments in the course of their work); editors may agree to waive copyright on others; and still others may be protected under serial rights (that is, use in publications other than journals, including electronic publications, is permitted).

### III. D. Overlapping Publications

#### III. D. 1. Duplicate Submission

Most biomedical journals will not consider manuscripts that are simultaneously being considered by other journals. Among the principal considerations that have led to this policy are: 1) the potential for disagreement when two (or more) journals claim the right to publish a manuscript that has been submitted simultaneously to more than one; and 2) the possibility that two or more journals will unknowingly and unnecessarily undertake the work of peer review, edit the same manuscript, and publish the same article.

However, editors of different journals may decide to simultaneously or jointly publish an article if they believe that doing so would be in the best interest of public health.

#### III. D. 2. Redundant Publication

Redundant (or duplicate) publication is publication of a paper that overlaps substantially with one already published in print or electronic media.

Readers of primary source periodicals, whether print or electronic, deserve to be able to trust that what they are reading is original unless there is a clear statement that the author and editor are intentionally republishing an article. The bases of this position are international copyright laws, ethical conduct, and cost-effective use of resources. Duplicate publication of original research is particularly problematic because it can result in inadvertent double-counting or inappropriate weighting of the results of a single study, which distorts the available evidence.

Most journals do not wish to receive papers on work that has already been reported in large part in a published article or is contained in another paper that has been submitted or accepted for publication elsewhere, in print or in electronic media. This policy does not preclude the journal from considering a paper that has been rejected by another journal, or a complete report that follows publication of a preliminary report, such as an abstract or poster displayed at a professional meeting. It also does not prevent journals from considering a paper that has been presented at a scientific meeting but was not published in full, or that is being considered for publication in a proceedings or similar format. Brief press reports of scheduled meetings are not usually regarded as breaches of this rule, but they may be if additional data or copies of tables and figures amplify such reports. The ICMJE does not consider results posted

in clinical trial registries as previous publication if the results are presented in the same, ICMJE-accepted registry in which initial registration of trial methods occurred and if the results are posted in the form of a brief structured abstract or table. The ICMJE also believes that the results registry should either cite full publications of the results when available or include a statement that indicates that the results have not yet been published in a peer-reviewed journal.

When submitting a paper, the author must always make a complete statement to the editor about all submissions and previous reports (including meeting presentations and posting of results in registries) that might be regarded as redundant or duplicate publication. The author must alert the editor if the manuscript includes subjects about which the authors have published a previous report or have submitted a related report to another publication. Any such report must be referred to and referenced in the new paper. Copies of such material should be included with the submitted manuscript to help the editor decide how to handle the matter.

If redundant or duplicate publication is attempted or occurs without such notification, authors should expect editorial action to be taken. At the least, prompt rejection of the submitted manuscript should be expected. If the editor was not aware of the violations and the article has already been published, then a notice of redundant or duplicate publication will probably be published with or without the author's explanation or approval.

Preliminary reporting to public media, governmental agencies, or manufacturers of scientific information described in a paper or a letter to the editor that has been accepted but not yet published violates the policies of many journals. Such reporting may be warranted when the paper or letter describes major therapeutic advances or public health hazards, such as serious adverse effects of drugs, vaccines, other biological products, medicinal devices, or reportable diseases. This reporting should not jeopardize publication, but should be discussed with and agreed upon by the editor in advance.

#### III. D. 3. Acceptable Secondary Publication

Certain types of articles, such as guidelines produced by governmental agencies and professional organizations, may need to reach the widest possible audience. In such instances, editors sometimes deliberately publish material that is also being published in other journals, with the agreement of the authors and the editors of those journals. Secondary publication for various other reasons, in the same or another language, especially in other countries, is justifiable and can be beneficial provided that the following conditions are met.

1. The authors have received approval from the editors of both journals (the editor concerned with secondary publication must have a photocopy, reprint, or manuscript of the primary version).
2. The priority of the primary publication is respected by a publication interval of at least 1 week (unless specifically negotiated otherwise by both editors).

3. The paper for secondary publication is intended for a different group of readers; an abbreviated version could be sufficient.

4. The secondary version faithfully reflects the data and interpretations of the primary version.

5. The footnote on the title page of the secondary version informs readers, peers, and documenting agencies that the paper has been published in whole or in part and states the primary reference. A suitable footnote might read: "This article is based on a study first reported in the [title of journal, with full reference]."

Permission for such secondary publication should be free of charge.

6. The title of the secondary publication should indicate that it is a secondary publication (complete republication, abridged republication, complete translation, or abridged translation) of a primary publication. Of note, the NLM does not consider translations to be "republications" and does not cite or index translations when the original article was published in a journal that is indexed in MEDLINE.

7. Editors of journals that simultaneously publish in multiple languages should understand that NLM indexes the primary language version. When the full text of an article appears in more than one language in a journal issue (such as Canadian journals with the article in both English and French), both languages are indicated in the MEDLINE citation (for example, Mercer K. The relentless challenge in health care. Healthc Manage Forum. 2008 Summer;21(2):4-5. English, French. No abstract available. PMID:18795553.)

### III. D. 4. Competing Manuscripts Based on the Same Study

Publication of manuscripts to air the disputes of co-investigators may waste journal space and confuse readers. On the other hand, if editors knowingly publish a manuscript written by only some of a collaborating team, they could be denying the rest of the team their legitimate co-authorship rights and journal readers access to legitimate differences of opinion about the interpretation of a study.

Two kinds of competing submissions are considered: submissions by coworkers who disagree on the analysis and interpretation of their study, and submissions by coworkers who disagree on what the facts are and which data should be reported.

Setting aside the unresolved question of ownership of the data, the following general observations may help editors and others address such problems.

### III. D. 4. a. Differences in Analysis or Interpretation

If the dispute centers on the analysis or interpretation of data, the authors should submit a manuscript that

clearly presents both versions. The difference of opinion should be explained in a cover letter. The normal process of peer and editorial review may help the authors to resolve their disagreement regarding analysis or interpretation.

If the dispute cannot be resolved and the study merits publication, both versions should be published. Options include publishing two papers on the same study, or a single paper with two analyses or interpretations. In such cases, it would be appropriate for the editor to publish a statement outlining the disagreement and the journal's involvement in attempts to resolve it.

### III. D. 4. b. Differences in Reported Methods or Results

If the dispute centers on differing opinions of what was actually done or observed during the study, the journal editor should refuse publication until the disagreement is resolved. Peer review cannot be expected to resolve such problems. If there are allegations of dishonesty or fraud, editors should inform the appropriate authorities; authors should be notified of an editor's intention to report a suspicion of research misconduct.

### III. D. 5. Competing Manuscripts Based on the Same Database

Editors sometimes receive manuscripts from separate research groups that have analyzed the same data set (for example, from a public database). The manuscripts may differ in their analytic methods, conclusions, or both. Each manuscript should be considered separately. If interpretation of the data is very similar, it is reasonable but not mandatory for editors to give preference to the manuscript that was received first. However, editorial consideration of multiple submissions may be justified under these circumstances, and there may even be a good reason to publish more than one manuscript because different analytical approaches may be complementary and equally valid.

### III. E. Correspondence

The corresponding author/guarantor has primary responsibility for correspondence with the journal, but the ICMJE recommends that editors send a copy of any correspondence to all listed authors.

Biomedical journals should provide the readership with a mechanism for submitting comments, questions, or criticisms about published articles, as well as brief reports and commentary unrelated to previously published articles. This probably but not necessarily takes the form of a correspondence section or column. The authors of articles discussed in correspondence should be given an opportunity to respond, preferably in the same issue in which the original correspondence appears. Authors of correspondence should be asked to declare any competing or conflicting interests.

Published correspondence may be edited for length, grammatical correctness, and journal style. Alternatively, editors may choose to publish unedited correspondence, for example in rapid-response sections on the Internet. The
journal should declare its editorial practices in this regard. Authors should approve editorial changes that alter the substance or tone of a letter or response. In all instances, editors must make an effort to screen discourteous, inaccurate, or libelous statements and should not allow ad hominem arguments intended to discredit opinions or findings.

Although editors have the prerogative to reject correspondence that is irrelevant, uninteresting, or lacking co-gency, they have a responsibility to allow a range of opinions to be expressed. The correspondence column should not be used merely to promote the journal's or the editors' point of view.

In the interests of fairness and to keep correspondence within manageable proportions, journals may want to set time limits for responding to published material and for debate on a given topic. Journals should also decide whether they would notify authors when correspondence bearing on their published work is going to appear in standard or rapid-response sections. Journals should also set policy with regard to the archiving of unedited correspondence that appears online. These policies should be published both in print and electronic versions of the journal.

### III. F. Supplements, Theme Issues, and Special Series

Supplements are collections of papers that deal with related issues or topics, are published as a separate issue of the journal or as part of a regular issue, and are usually funded by sources other than the journal's publisher. There is evidence that supplement content can be of lower quality than the content of the parent journal (6). Because funding sources can bias the content of supplements through the choice of topics and viewpoints, journals should consider adopting the following principles. These same principles apply to theme issues or special series that have external funding and/or guest editors.

1. The journal editor must be given and take full responsibility for the policies, practices, and content of supplements, including complete control of the decision to select authors, peer reviewers, and content for the supplement. Editing by the funding organization should not be permitted.

2. The journal editor must retain the authority to send supplement manuscripts for external peer review and to reject manuscripts submitted for the supplement. These conditions should be made known to authors and external supplement editors before beginning editorial work on the supplement.

3. The journal editor must approve the appointment of any external editor of the supplement and take responsibility for the work of the external editor.

4. The source of the idea for the supplement, sources of funding for the research, publication, and products of the funding source that are considered in the supplement should be clearly stated and prominently located in the

supplement, preferably on each page. Whenever possible, supplements should be funded by more than one sponsor.

5. Advertising in supplements should follow the same policies as those of the rest of the journal.

6. Journal editors must enable readers to distinguish readily between ordinary editorial pages and supplement pages.

7. Journal editors and supplement editors must not accept personal favors or remuneration from sponsors of supplements.

8. Secondary publication in supplements (republication of papers published elsewhere) should be clearly identified by the citation of the original paper. Supplements should avoid redundant or duplicate publication. Supplements should not republish research results, but republication of guidelines or other material in the public interest might be appropriate.

9. The principles of authorship and disclosure of potential conflicts of interest discussed elsewhere in this document should be applied to supplements.

### III. G. Electronic Publishing

Most biomedical journals are now published in electronic as well as print versions, and some are published only in electronic form. Because electronic publishing (which includes the Internet) is the same as publishing in print, in the interests of clarity and consistency the recommendations of this document should be applied to electronically published medical and health information.

The nature of electronic publication requires some special considerations, both within and beyond this document. At a minimum, Web sites should indicate the following: names, appropriate credentials, affiliations, and relevant conflicts of interest of editors, authors, and contributors; documentation and attribution of references and sources for all content; information about copyright; disclosure of site ownership; and disclosure of sponsorship, advertising, and commercial funding.

Linking from one health or medical Internet site to another may be perceived as an implicit recommendation of the quality of the second site. Journals thus should exercise caution in linking to other sites: when users are linking to another site, it may be helpful to provide an explicit statement that they are leaving the journal's site. Links to other sites posted as a result of financial considerations should be clearly indicated as such. All dates of content posting and updating should be indicated. In electronic layout as in print, advertising and promotional messages should not be juxtaposed with editorial content, and commercial content should be clearly identified as such.

Electronic publication is in flux. Editors should develop, make available to authors, and implement policies on issues unique to electronic publishing. These issues include archiving, error correction, version control, choice of the electronic or print version of the journal as the journal of record, and publication of ancillary material.
Under no circumstances should a journal remove an
article from its Web site or archive. If a correction or re-
traction becomes necessary, the explanation must be la-
belled appropriately and communicated as soon as possible
on a citable page in a subsequent issue of the journal.

Preservation of electronic articles in a permanent ar-
chive is essential for the historical record. Access to the
archive should be immediate and controlled by a third
party, such as a library, instead of the publisher. Deposi-
tion in multiple archives is encouraged.

### III. H. Advertising

Most medical journals carry advertising, which gener-
ates income for their publishers, but advertising must not
be allowed to influence editorial decisions. Journals should
have formal, explicit, written policies for advertising in
both print and electronic versions; Web site advertising
policy should parallel that for the printed journals. Editors
must have full and final authority for approving advertise-
ments and enforcing advertising policy.

When possible, editors should make use of the judg-
ments of independent bodies for reviewing advertising.
Readers should be able to distinguish readily between ad-
vertising and editorial material. The juxtaposition of edi-
torial and advertising material on the same products or
subjects should be avoided. Interspersing advertising pages
within articles interrupts the flow of editorial content and
should be discouraged. Advertising should not be sold on
the condition that it will appear in the same issue as a
particular article.

Journals should not be dominated by advertising, but
editors should be careful about publishing advertisements
from only one or two advertisers, as readers may perceive
that these advertisers have influenced the editor.

Journals should not carry advertisements for products
that have proved to be seriously harmful to health—for
example, tobacco. Editors should ensure that existing reg-
ulatory or industry standards for advertisements specific to
their country are enforced, or develop their own standards.
The interests of organizations or agencies should not con-
trol classified and other nondisplay advertising, except
where required by law. Finally, editors should consider all
criticisms of advertisements for publication.

### III. I. Medical Journals and the General Media

The public's interest in news of medical research has
led the popular media to compete vigorously for informa-
tion about research. Researchers and institutions some-
times encourage reporting research in the nonmedical me-
dia before full publication in a scientific journal by holding
a press conference or giving interviews.

The public is entitled to important medical informa-
tion within a reasonable amount of time, and editors have
a responsibility to facilitate the process. Biomedical jour-
nals are published primarily for their readers, but the gen-
eral public has a legitimate interest in their content: An

appropriate balance between these considerations should
guide the journal's interaction with the media. Doctors in
practice need to have reports available in full detail before
they can advise their patients about the reports' conclu-
sions. Moreover, media reports of scientific research before
the work has been peer-reviewed and fully vetted may lead
to dissemination of inaccurate or premature conclusions.

An embargo system has been established in some
countries to prevent publication of stories in the general
media before publication of the original research in the
journal. The embargo creates a "level playing field," which
most reporters appreciate since it minimizes the pressure
on them to publish stories they have not had time to pre-
pare carefully. Consistency in the timing of public release
of biomedical information is also important in minimizing
economic chaos, since some articles contain information
that has great potential to influence financial markets. On
the other hand, the embargo system has been challenged as
being self-serving of journals' interests and an impediment
to rapid dissemination of scientific information.

Editors may find the following recommendations use-
ful as they seek to establish policies on these issues.

* Editors can foster the orderly transmission of med-
ical information from researchers, through peer-reviewed
journals, to the public. This can be accomplished by an
agreement with authors that they will not publicize their
work while their manuscript is under consideration or
awaiting publication and an agreement with the media that
they will not release stories before publication of the orig-
inal research in the journal, in return for which the journal
will cooperate with them in preparing accurate stories.

* Editors need to keep in mind that an embargo sys-
tem works on the honor system: no formal enforcement or
policing mechanism exists. The decision of a signifi-
cant number of media outlets or biomedical journals not to
respect the embargo system would lead to its rapid
dissolution.

* Very little medical research has such clear and ur-
gently important clinical implications for the public's
health that the news must be released before full publica-
tion in a journal. However, if such exceptional circum-
stances occur, the appropriate authorities responsible for
public health should decide whether to disseminate infor-
mation to physicians and the media in advance and should
be responsible for this decision. If the author and the ap-
propriate authorities wish to have a manuscript considered
by a particular journal, the editor should be consulted be-
fore any public release. If editors acknowledge the need for
immediate release, they should waive their policies limiting
prepublication publicity.

* Policies designed to limit prepublication publicity
should not apply to accounts in the media of presentations
at scientific meetings or to the abstracts from these meet-
ings (see Redundant Publication). Researchers who present
their work at a scientific meeting should feel free to discuss
their presentations with reporters, but they should be dis-