# Historique et critique du facteur d'impact

Manuel Durand-Barthez

► To cite this version:

Manuel Durand-Barthez. Historique et critique du facteur d'impact. Schedae: prépublications de l'université de Caen Basse-Normandie, 2008, 7 (1), pp.67-76. hal-01356185

HAL Id: hal-01356185

https://hal.science/hal-01356185v1

Submitted on 25 Aug 2016

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Historique et critique du facteur d'impact

Manuel Durand-Barthez

Conservateur, Bibliothèque universitaire Sciences, Université Paul Sabatier (Toulouse 3)

Résumé: Pour un chercheur, voir ses travaux fréquemment cités dans des revues à fort facteur d'impact est essentiel pour sa progression de carrière. L'importance de ces citations n'est pas moindre pour son laboratoire de tutelle puisqu'en dépend la modulation des subventions dont il peut bénéficier.

L'Institute for Scientific Information de Philadelphie (ISI) exerce depuis 1961 une influence prépondérante dans l'évaluation des sources (le facteur d'impact des revues est défini par le *Journal Citation Reports* – JCR) et dans l'évaluation des auteurs (via le *Science Citation Index* – SCI et le *Social Science Citation Index* – SSCI). Ce modèle d'évaluation quantitative des citations des travaux de recherche apparaît de plus en plus déficient et appelle des solutions alternatives. Durant ces cinq dernières années, deux modèles alternatifs ont été conçus. Le département Sciences humaines du CNRS a élaboré un modèle plus respectueux de la réalité éditoriale scientifique quant à l'évaluation des sources. En ce qui concerne l'évaluation des auteurs, le modèle Citebase issu du réservoir libre ArXiv.org (sciences exactes et appliquées) contrecarre avantageusement celui du SCI.

Apparue fin 2004, Google Scholar, dernière née des sources de citations, pâtit d'un manque de rigueur, tant au niveau de la définition de sa couverture qu'à celui des algorithmes qui la régissent. Cette mosaïque encore floue des alternatives à l'ISI ne peut qu'encourager la communauté scientifique au sens large à élaborer un modèle d'évaluation de la recherche, sinon mondial du moins européen, plus respectueux de l'état de l'art, dont les modalités de fonctionnement seraient clairement établies avec toute la rigueur qui s'impose.

## Vous avez dit : « notoire » ?

« *Publish or perish!* » Voilà bien une devise qui domine encore de manière assez consensuelle le monde scientifique au sens large. Mais l'évolution des pratiques éditoriales dans le milieu de la recherche aura pu, ces dernières années, faire dériver ce dicton en : « *Be cited, or perish!* ». Au premier degré, l'abondance de publications peut laisser supposer que l'auteur est remarquable parce que prolifique. Mais l'abondance n'est pas – loin s'en faut – incompatible avec la médiocrité. Aussi la citation est-elle censée constituer un gage supplémentaire de qualité.

Lorsque l'on dit qu'un chercheur doit justifier, pour son avancement, d'un certain nombre d'articles publiés « dans des revues de rang A », lesquels doivent à leur tour bénéficier
d'un nombre minimum de citations par des auteurs publiant dans ces mêmes revues, cela
met en évidence deux phénomènes distincts. D'une part l'évaluation des personnes et
d'autre part celle des sources, c'est-à-dire des revues scientifiques.

Un troisième phénomène est sous-jacent : l'évaluation de l'institution, voire du laboratoire, dont relève l'auteur, avec à la clé des financements variables en fonction de la notoriété de l'ensemble.

Il n'est pas rare aujourd'hui, compte tenu de l'inflation éditoriale dans le domaine scientifique, que des chercheurs limitent leurs investigations documentaires au recensement des publications récentes émanant de sources dûment citées, c'est-à-dire précisément notoires.

Cela signifie entre autres que les clés d'accès aux données d'information seront pour l'essentiel de trois types : noms d'auteurs individuels remarqués (auxquels se substituent fréquemment des acronymes d'équipes ou de projets), noms d'institutions ou de laboratoires réputés, et pour finir, tout simplement le titre d'une revue qui fait autorité dans le domaine. Tout semble se passer comme si les noms communs de concepts faisaient place, dans une requête informationnelle, de plus en plus souvent aux noms propres des chercheurs ou de leurs supports de publication.

## Origines et finalité du Facteur d'impact

Dès 1960, sous l'impulsion d'Eugene Garfield, l'Institute for Scientific Information de Philadelphie a lancé le Science Citation Index. Sa première tranche (1961)<fnref n="1" /> recensait les publications issues de 613 revues<fnref n="2" /> jugées prépondérantes dans tous les domaines des sciences exactes et appliquées. L'objectif de cet outil d'analyse est de comptabiliser les citations qui en sont issues afin d'en évaluer les auteurs.

### La sélection des sources

Cette comptabilisation est en soi neutre. Ce qui l'est moins, bien sûr, est le mode de sélection des revues. L'explication donnée à ce sujet par le comité éditorial en 1972 est plutôt sommaire :

> Le corpus initial de revues sera composé de celles qui jouissent de la plus large audience auprès des chercheurs, en mettant l'accent sur les revues multidisciplinaires et interdisciplinaires, ainsi que sur les revues les plus significatives dans chaque domaine. Les abonnés seront consultés et l'analyse de leurs centres d'intérêt pourra aussi modifier les critères de sélection. Le nombre des revues sources couvertes pourra être accru pour élargir le spectre des analyses proposées<fnref n="3" />.

On rétorquera qu'il est difficile de trouver des critères de sélection autres que le seul usage et le relatif consensus qui peut s'en dégager. Il n'en demeure pas moins que le critère de l'origine géographique (pays usuellement qualifiés de « développés ») et de la langue (prépondérance anglophone) s'imposent d'emblée à l'origine. À l'époque de la guerre

<footnote n="1">1. Le volume millésimé 1961 a été publié dix ans plus tard.</footnote>

<footnote n="2">2. Soit environ dix fois moins qu'aujourd'hui. En 2004, le SCI Sciences exactes et appliquées version On line comprend environ 5 900 titres, tandis que le SSCI relatif aux Sciences humaines en compte 1 700.</footnote>

<footnote n="3">3. 1961, vol.1, p. xvii. "The initial corps of journals will be those of interest to the widest possible audience of scientists with primary emphasis on multidisciplinary and interdisciplinary journals as well as the most significant journals in every branch of science. The subscribers will be consulted and their interests must also affect the selection criteria. The number of source journals that will be covered will be increased as support for the service increases." On verra qu'en Sciences humaines, le CNRS a proposé en 2004 des arguments aussi « souples ».</footnote>
froide, la littérature soviétique était assez prisée dans certains domaines, notamment les mathématiques, et traduite partiellement en anglais par les Américains.

Tenons-nous en à ces aspects initiaux de la publication du SCI, car les données actuelles, quoique relativement similaires, ont été bouleversées par le contexte éditorial commercial et l'émergence de l'Open Access.

Une fois franchi le cap de la sélection des sources, venons-en aux critères d'analyse des corpus de citations.

## L'analyse des corpus de citations

Les années les plus fréquemment citées sont les deux (1959-1960) qui précèdent immédiatement l'année source (1961). Plus de la moitié des citations porte sur des articles publiés dans les six années précédentes, et plus de 75 % sur des articles publiés dans les douze années antérieures<fnref n="4" />.

Cela signifie que dès le début de la publication du SCI, le module des deux ans précédant la citation est d'emblée retenu comme pertinent pour l'évaluation des sources. Ainsi, en 1975, soit trois ans après la publication de la série débutant en 1961, l'ISI conçoit-il le complément indispensable de cet index, c'est-à-dire le *Journal Citation Reports* (JCR) dont le nœud est précisément ce fameux module de deux ans. En évaluant la répercussion des articles publiés par une revue pendant deux années consécutives, à travers leurs citations par l'ensemble des revues du corpus de référence durant la troisième année, le JCR attribue un *Impact Factor* à la revue en question<fnref n="5" />. Par ailleurs, les disciplines sont classées en catégories<fnref n="6" />. Le chercheur a tout intérêt à rechercher le classement de telle ou telle revue dans sa catégorie disciplinaire afin de savoir où il est préférable de publier<fnref n="7" />.

Sans être particulièrement sophistiqué, le modèle de l'ISI offre un certain nombre d'autres possibilités d'évaluation, outre le Facteur d'impact, notamment l'indice d'actualité (*Immediacy Index*) et le seuil de déclin (*Cited Half-Life*).

L'indice d'actualité permet, au vu du nombre de citations sur la période la plus récente, de déterminer les revues dont les articles se réfèrent essentiellement à des sujets innovants dont l'obsolescence peut être rapide.

Le seuil de déclin indique au terme de quelle période la moyenne des articles d'une revue commence à voir le nombre de leurs citations décroître. Ce seuil a évidemment tendance à varier en fonction de l'indice d'actualité.

D'une façon générale, le chercheur a tendance à se contenter de la consultation du facteur d'impact, seul important pour lui parce que synthétique par rapport aux deux autres critères, et l'autorisant à déterminer très rapidement vers quel comité de lecture il devrait orienter son texte.

<footnote n="4">4. SCI 1961, vol.6, Source index, p. 13. "The most frequently cited years are the two (1959-1960) immediately preceding the source year (1961). More than half citations are to articles published within the preceding six years, and more than 75 % to articles published within the preceding twelve years."</footnote>

<footnote n="5">5. Exemple : la revue *EMBO Journal* (biologie moléculaire et biochimie) a publié 710 articles en 2001 et 677 en 2002. Soit un total de 1 387. Au sein du corpus des 5 907 revues analysées par le JCR dans son édition 2003, ces articles 2001-2002 de l'EMBO Journal ont été cités : 7 998 fois en 2001 et 6504 fois en 2002, soit un total de 14 502. Si l'on divise ce second total par le premier, on obtient l'Impact Factor d'EMBO Journal, soit 10,456.</footnote>

<footnote n="6">6. On en dénombrait 85 en 1961 et 170 en 2003.</footnote>

<footnote n="7">7. *L'EMBO Journal* arrive au dixième rang sur les 261 revues que comporte la catégorie *Biochemistry & Molecular Biology* en 2003.</footnote>
Les limites du modèle

Omniprésent dans les institutions et les administrations centrales (ministères chargés de l'enseignement supérieur et de la recherche) de nombreux pays, le modèle de l'ISI présente un certain nombre de défauts, tenant pour les uns aux modalités de calcul et pour les autres à des facteurs humains. En dresser l'inventaire implique évidemment d'éviter les conclusions hâtives, la maladresse des clichés et les généralisations douteuses. Nonobstant, on relèvera les points suivants :

Les modalités de calcul

1. Impact Factor (IF)

- La période type de deux ans n'est pas forcément la mieux adaptée à toutes les disciplines. Les domaines animés par une innovation permanente (informatique, biologie moléculaire, etc.) s'y prêtent mieux, à l'évidence, que les disciplines où la recherche a un caractère plus pérenne (zoologie, botanique, géologie fondamentale...). Actuellement, la version on line du JCR permet d'avoir une évolution des IF sur les quatre dernières années ;

- Le support documentaire en tant que tel : périodicité (1 ou 52 fascicules annuels), nombre d'articles par fascicules plus ou moins grand ; deux facteurs qui tiennent à la volumétrie. Celle-ci est affichée dans les tableaux du JCR, mais il appartient à l'usager d'en tirer les conséquences. Obnubilé par le facteur d'impact en tant que résultat, il n'en tient pas forcément compte ;

- Le changement de titre éventuel en cours d'année (absorption, scission, fusion...) crée une entité nouvelle ;

- Par voie de conséquence, les nouvelles revues, issues notamment de la mouvance Open Access, ne pourront acquérir un IF notable qu'au terme d'un certain délai (5 ans minimum) ;

- Le nombre d'articles « de recherche » par opposition aux articles de type « Review » est aussi une variable prise en compte dans les tableaux du JCR, mais pas forcément par l'utilisateur, toujours « drainé » par l'IF ;

- Prépondérance de l'anglais : un excellent article dans une langue « secondaire » sera publié dans une revue à faible IF Mais logiquement, on publiera un excellent article en anglais si l'on veut tirer les bénéfices d'un bon IF...

- L'auto-citation est un fléau généralisé ; mais on saura distinguer l'auto-citation due à la faible aura des auteurs, de celle qui émane d'une équipe hautement performante dans son domaine au niveau international, contrainte de mentionner ses propres travaux à l'origine de ses avancées. Là aussi, les tableaux du JCR sont explicites ; un algorithme de régulation est prévu par l'ISI, à appliquer « manuellement » par l'utilisateur lui-même le cas échéant...

L'ISI avertit l'utilisateur dans son Tutorial : beaucoup de données sont à manipuler avec précaution et l'usager doit faire preuve de discernement dans l'exploitation des données brutes. Mais souvent fasciné par la seule colonne des IF, il fait jouer l'aspect « boursier » du tableau synthétique annuel apparaissant sur le premier écran, autour de ce seul indice. Car il faut souligner qu'à chaque fois que nous mentionnons l'expression « tableaux du JCR », il s'agit presque toujours de données accessibles moyennant « un clic supplémentaire » pour aller au-delà du tableau synthétique de base. Et c'est précisément là que le bât blesse...
## 2. L'indice d'actualité (Immediacy Index)

- L'Immediacy index permet, entre autres, de mettre en évidence les revues qui font autorité sur les sujets innovants. Une généralisation serait tendancieuse car des revues généralistes de bon niveau figurent également en tête de l'Immediacy index (c'est le cas de *Nature* ou de *Science*);

- Les revues paraissant à un rythme important (grand nombre de fascicules par an) auront évidemment plus de chances de voir un grand nombre d'articles cités rapidement que les autres. Ce sera par exemple le cas des revues mensuelles : un article paru début janvier pourra être cité n fois par les autres dans les onze mois qui suivent.

## 3. Le seuil de déclin (Cited half-life)

- A *priori*, plus l'indice est élevé et plus les articles de cette revue servent de référence à long terme, et plus cette revue peut être considérée comme fondamentaliste ;

- Facteur correctif de ce jugement : si la revue a changé de format (par exemple : forte diminution du nombre de pages et donc d'articles dans chaque numéro à partir d'une certaine date comprise dans ce tableau) ou de titre, les données globales peuvent s'en trouver fortement nuancées ;

- A *contrario*, si l'indice est très faible, cela peut signifier que la revue a un caractère dominant d'actualité courante et que son information devient rapidement obsolète au point de n'être pratiquement plus citée dès la seconde année suivant sa publication.

Il est clair que les résultats du SCI seront fortement conditionnés par le JCR dans la mesure où l'auteur se dirigera naturellement vers les revues « à forte valeur ajoutée ». Mais à la longue, ce système génère des carences ou des excès que des scientifiques de haut rang prennent depuis peu la liberté de dénoncer.

## 4. Une indexation défaillante des auteurs collectifs

De 1961 à 1996, le SCI n'avait tenu compte que du premier nom d'auteur figurant dans la séquence énumérant en tête d'un article les membres de l'équipe qui l'avait commis. On a donc remédié à cette injustice fondamentale, à l'affichage des résultats d'une requête de type « Cited Author », où l'auteur de type n+1 est mentionné en caractères minuscules, affublé d'un point de suspension... Si l'on songe que ce modèle a présidé aux destinées de nombreux chercheurs à travers le monde, on imagine les déconvenues et les aigreurs qu'il a pu susciter.

Quant aux « auteurs collectifs » souvent regroupés sous le sigle désignant leur « projet », il sont très mal répertoriés. Un article issu de la rubrique « Opinion des lecteurs », anonyme dirons-nous « par excès d'auteurs » dans la mesure où c'est le groupe éditorial *Nature* qui l'a commis, a en quelque sorte déclenché la polémique. Le 10 janvier 2002⁸, il révélait une erreur flagrante de l'ISI qui avait comptabilisé les citations d'un article fondamental publié par *Nature* dans une proportion excessivement inférieure à la réalité, du fait que l'auteur était collectif (48 composantes) et de ce fait très mal indexé. Il s'agissait du Consortium « *International Human Genome Sequencing* », à l'origine d'un texte essentiel intitulé *Initial sequencing and analysis of the human genome*<fnref n="9" />. L'erreur vient de l'incapacité de l'ISI à indexer correctement les auteurs collectifs. Or ces consortia sont de plus en plus nombreux dans le domaine scientifique. Des chercheurs américains issus de disciplines médicales (de Providence et Baltimore) ont réalisé une étude intitulée *Problems with*

<footnote n="8">8. Errors in citation statistics [Opinion] *Nature*, 415, 101 (10 January 2002), doi: 10.1038/415101a.</footnote>

<footnote n="9">9. *Nature*, 409, 860-921 (15 February 2001);
http://www.nature.com/nature/journal/v409/n6822/abs/409860a0.html</footnote>
*Indexing and Citation of Articles with Group Authorship*<fnref n="10" /> en 2002. Sur 232 articles collectifs du domaine de l'Ophtalmologie, 102 sont recensés avec la liste des seuls auteurs individuels, 97 sont signalés avec la mention du nom du collectif inséré dans la liste des auteurs individuels et 33 ne mentionnent que le premier nom d'auteur individuel cité, suivant le procédé que l'on a dénoncé plus haut.

## Les facteurs humains

Peter Lawrence, éminent chercheur du Laboratoire de Biologie moléculaire de Cambridge, a publié dans *Nature* en 2003¹¹ un article fondamental pour l'analyse critique du couple SCI/JCR. Il n'hésite pas à s'exprimer sur le népotisme croissant qui ronge les comités de lecture, allant même jusqu'à déceler des articles excessivement synthétisés, voire mis en page de façon marginale, pourvu que leurs auteurs puissent figurer dans une revue à fort IF.

David Colquhoun, du Département de Pharmacologie de l'University College de Londres, s'est insurgé contre les incohérences du système : *Challenging the tyranny of impact factors*<fnref n="12" /> en réponse ou plutôt pour faire suite aux observations de Lawrence :

> Dans le cadre de mon propre travail, par exemple, j'ai publié un article dans la revue *Nature* (dont le facteur d'impact est de 27,9), qui n'a compté que 57 citations, et un article dans la revue *Philosophical Transactions of the Royal Society* (dont le facteur d'impact est de 3,1) qui a généré plus de 400 citations<fnref n="13" />.

Ce qui monte en épingle le paradoxe mis en avant par Lawrence. Par ailleurs, Henk F. Moed (Université de Leyde) résume en 8 questions les critères à analyser rigoureusement afin d'optimiser l'usage des statistiques bibliométriques, en reprenant pour une bonne part les arguments de Lawrence<fnref n="14" />. Il précise également que certaines analyses s'appuient sur le DVD SCI et d'autres sur le produit On line Web of Science dont les fichiers sources n'ont pas le même volume<fnref n="15" />. Il est à noter par ailleurs que le JCR souffre à certains égards des mêmes disparités<fnref n="16" />.

## Les alternatives au modèle de l'ISI

### Deux tentatives, européenne et française, de rééquilibrage dans le secteur des Sciences humaines et sociales

Face à ce modèle quasi monopolistique, le Département Sciences humaines et sociales (SHS) du CNRS a tenté de mettre en œuvre un autre mode de calcul. Il a, pour ce faire, saisi en 2004 une occasion ponctuelle : la réévaluation des revues qu'il subventionnait. Cela signifie que le modèle présenté a été utilisé dans un cadre institutionnel circonscrit, à des fins bien définies. Autrement dit, c'est en quelque sorte la fin qui a déterminé le moyen. C'est du moins ce qui apparaît en dernière analyse.

<footnote n="10">10. JAMA 2002; 287, 2772-2774.</footnote>

<footnote n="11">11. The politics of publication *Nature*, 422, 259-261 (20 March 2003), doi: 10.1038/422259a.</footnote>

<footnote n="12">12. *Nature*, 423, 479 (29 May 2003), http://www.nature.com/nature/journal/v423/n6939/full/423479a.html.</footnote>

<footnote n="13">13. "In my own work, for example, I have published a *Nature* (impact factor 27.9) article with only 57 citations, and an article in *Philosophical Transactions of the Royal Society* (impact factor 3.1) with more than 400 citations."</footnote>

<footnote n="14">14. The impact-factors debate: the ISI's uses and limits, *Nature*, 415, 731-732 (14 February 2002), doi: 10.1038/415731a, http://www.nature.com/nature/journal/v415/n6873/full/415731a.html.</footnote>

<footnote n="15">15. Version 2004 : sur disque : 3 700 titres ; sur le *Web of Science* : 5 800.</footnote>

<footnote n="16">16. En 2004, le JCR Sciences exactes et appliquées version On line comprend environ 6 100 titres et sa version CD 5 000, tandis que le JCR relatif aux Sciences humaines en compte 1 800 On line et 1 600 sur CD.</footnote>
En amont de cette opération semble par ailleurs se situer un « pré-texte », en l'espèce un projet intitulé *European Citation Index in Humanities*. Le Département SHS, dans la revue *Sciences de l'Homme et de la Société*<fnref n="17" />, retranscrit en mai 2004 un texte de l'ESF (*European Science Foundation*), du 23 mars 2003, concernant la mise en œuvre d'un « Index européen des citations ». Il explique la logique et la raison d'être de cette procédure et met en avant la nécessité de promouvoir des outils d'évaluation statistique de la production scientifique européenne en sciences humaines.

Le texte de l'ESF ne veut pas prendre position sur le SCI (sciences exactes et appliquées) « qui bénéficie maintenant d'un solide appui »<fnref n="18" />. Ce qui peut être pris comme une dérobade vis-à-vis du secteur des « natural sciences » côtoie une critique sévère de l'AHCI (Arts and Humanities Citation Index) publié par le même ISI. L'ESF reproche à cet Institut de privilégier les titres nord-américains, dans un esprit relativement similaire à celui qui anime la polémique européenne à l'encontre du projet *Google Print*.

Ce souci est manifeste dans la procédure SHS du CNRS ; mais l'aspect linguistique n'est pas le seul à faire l'objet de mesures tendant à l'équité.

D'une manière générale, le Département a dépouillé 125 revues sur la décennie 1992-2001. À travers elles, 38 973 bibliographies terminales d'articles ont permis le recensement de 584 398 citations. 18 domaines disciplinaires se partagent ce corpus. Alors que l'ESF s'attaque au seul AHCI, le CNRS a choisi d'ajouter le domaine des Sciences sociales à son analyse.

Une première question peut se poser quant aux critères de sélection de ces 125 revues. Sondés par messagerie, certains acteurs de cette analyse ont mis en avant des critères qui semblent relever (sans qu'il faille le moins du monde leur en tenir rigueur) de l'empirisme. On relève ainsi : « une série de listes proposées à la *European Science Foundation* et discutées au niveau européen », « a priori les revues à comité de lecture de référence dans les thèmes concernés, anglophone et francophone ; elles ont été choisies après discussion avec le président de la section nn qui avait établi une liste de notation des meilleures revues à comité de lecture », « ma propre expérience » et « j'ai sondé nombre de collègues, en leur demandant de me donner leur panel de revues "généralistes" dans les champs disciplinaires concernés ». Le coordinateur de l'opération synthétise ce choix du noyau<fnref n="19" />: « le département a sélectionné, en prenant des avis dans la communauté scientifique, un groupe de revues-cœur de la discipline avec, en général, trois revues françaises et trois revues étrangères, le plus souvent, mais pas exclusivement, anglo-saxonnes<fnref n="20" />. Selon les disciplines, ce groupe a pu être élargi pour tenir compte des spécificités du champ considéré (spécialités, langue, etc.). »

Ces 18 groupes sont divisés en quartiles, ceux-ci correspondant à une valeur variable en fonction du nombre des titres constituant le corpus, variation qui préside à la constitution de 3 rangs de revues :

- A : revues internationales de très haut niveau ;

- B : revues internationales de haut niveau ;

- C : revues d'audience nationale.

La méthode et ses résultats suscitent quelques observations :

- le nombre d'années, quoique normé à dix sur l'ensemble, a pu subir des modulations en fonction du groupe disciplinaire. Ainsi, en Archéologie, « Quatre revues françaises

<footnote n="17">17. *Sciences de l'Homme et de la Société*, n° 69, mai 2004, p. 8-10: *Building a European Citation Index in Humanities*.</footnote>

<footnote n="18">18. "for which there is now substantial support", ibid. p. 8.</footnote>

<footnote n="19">19. Extrait de l'Introduction à cette enquête par Christian Henriot, ibid. p. 7</footnote>

<footnote n="20">20. Voir *La Méthodologie de l'enquête*, ibid., p. 53 sqq.</footnote>
(Paléo, Gallia, Gallia préhistoire et Archéologie médiévale) ont été dépouillées sur dix années de parution (1992 à 2001). En revanche, la revue mensuelle *Journal of Archaeological Science* n'a été dépouillée que sur trois ans (1997, 2000 et 2001). Les autres revues ont été dépouillées pour la période 1997-2001 »<fnref n="21" />;

- l'échelle est tirée en comparaison avec le petit nombre (7 en moyenne) des « revues-cœur » du domaine, subdivisé en deux parties quasiment équivalentes : anglo-saxonne et française. L'ensemble des revues répertoriées au final est évalué par rapport au nombre de fois où elles sont citées à la fin des articles publiés dans ces « revues-cœur »;

- la répartition en rangs A, B et C est effectuée par les évaluateurs de chaque domaine en fonction des quartiles qui se dégagent de l'énumération des titres. Le rang C (audience nationale) n'est pas mésestimé.

Certes, des oublis, des erreurs, ont pu ternir les résultats ; de même, à certains égards, que les objectifs, visant en partie des réévaluations d'ordre budgétaire dans le soutien accordé par le CNRS à la rédaction de quelques revues. Mais l'on a voulu corriger un certain nombre d'anomalies propres au modèle de l'ISI et, ne serait-ce que vis-à-vis de cette méthode, il convient d'en prendre acte favorablement.

## Citebase, l'outil d'évaluation des citations
né de l'Open Archive Initiative

Autre alternative au modèle ISI, cette fois spécifiquement dévolue aux sciences exactes et appliquées : Citebase (http://www.citebase.org). On le doit à Stevan Harnad et Tim Brody, pionniers de l'Open Archive Initiative à l'Université britannique de Southampton.

Il résulte d'une collaboration entre cette université et celle de Cornell (Ithaca, N.Y.), ayant débuté en 1999. Le modèle Citebase s'applique au miroir britannique d'un réservoir international conçu à Cornell par le physicien Paul Ginsparg : ArXiv (http://www.arxiv.org).

> La première base de données, HEP-TH (pour *High Energy Physics – Theory*), a démarré en août 1991, à destination d'une communauté restreinte comptant moins de 200 physiciens, travaillant alors sur une approche de type « modèle matriciel », de l'étude de la théorie des cordes et de la gravité bidimensionnelle<fnref n="22" />.

La base ArXiv est spécialisée dans les domaines de la Physique, des Mathématiques, des Sciences cognitives et de la Biologie quantitative.

Il est intéressant de remarquer qu'environ une dizaine d'années avant que les biologistes cités plus haut émettent un avis très critique sur les pratiques de citation en vigueur, les physiciens avaient lancé un modèle de base de données prenant racine dans les prépublications, certes destinées pour la plupart à figurer ensuite dans des revues dotées parfois d'un fort facteur d'impact ISI, mais privilégiant malgré tout le phénomène de la mise à disposition immédiate, avant révision, de documents dont la portée scientifique pouvait, a priori, ne pas souffrir de tare particulière. Autrement dit, le fait de mettre en avant des segments de connaissance susceptibles de faire progresser un domaine, avant même qu'une communauté d'experts indépendants, extérieurs au laboratoire d'origine, ne prenne le temps de corroborer (ou, cela va de soi, d'infirmer) ces données, semblerait indiquer dans

<footnote n="21">21. Commentaires sur les résultats de l'enquête, ibid. p. 55.</footnote>

<footnote n="22">22. "The first database, hep-th (for High Energy Physics – Theory), was started in August of '91 and was intended for usage by a small subcommunity of less than 200 physicists, then working on a so-called 'matrix model' approach to studying string theory and two dimensional gravity", P. Ginsparg, « After Dinner Remarks », 14 Oct '94 APS [American Physical Society] meeting at LANL [Los Alamos National Laboratory], http://arxiv.org/blurb/pg14Oct94.html.</footnote>
la majorité des cas, la primauté de la mise à disposition de l'information par rapport à sa « mise sous le boisseau » (pour éviter le vocable « dissimulation » qui serait inapproprié) jusqu'à sa publication relativement tardive dans une revue hautement cotée. C'est à ce niveau qu'interfèrent d'une part le phénomène OAI et d'autre part celui de l'élaboration d'un nouveau modèle d'évaluation statistique. Car celui-ci s'affranchira (dans l'hypothèse de la consultation des *preprints*) du temps de révision suivant les modes traditionnels, pour s'offrir en quelque sorte à l'examen public immédiat, le public (que l'on ne se leurre pas, il est évidemment très spécialisé<fnref n="23" />) manifestant son intérêt pour le texte visé par l'intermédiaire de deux stades.

Premièrement, le déchargement au vu du titre, dont la teneur, toujours très étudiée dans sa formulation par les auteurs-chercheurs, sera suffisamment significative.

Deuxièmement, si l'affinité s'affirme, le lecteur-chercheur prendra la peine de citer ce texte dans l'article qu'il commettra à son tour.

Une réaction en chaîne peut s'ensuivre : d'autres lecteurs-chercheurs verront que tel ou tel texte a été cité x fois, et pourront s'appuyer sur les éléments fondateurs de ce texte pour étayer une autre thèse.

L'outil permettant cette évaluation de citations se nomme précisément Citebase :

- il établit un rapport entre le nombre de fois où un article lisible sur le Web est « ouvert » et le nombre de fois où il est cité ;

- il analyse le temps de latence situé entre la date d'« ouverture » et la date de « citation » ;

- il trace une courbe marquant l'évolution d'un article à partir des relevés effectués sur le miroir britannique de la base ArXiv ;

- il suit le cycle des « avatars » d'un article et de la gerbe d'articles qu'il a pu susciter, en reliant les trois facteurs du nombre d'ouvertures, du nombre de citations et du temps intermédiaire de latence ;

- il tient compte du nombre factice de déchargements dus à des « alertes » ou « profils » qui génèrent une ouverture quasi automatique du texte dans les premières 24 ou 48 heures.

## Scholar Google, alternative au SCI ?

C'est précisément Citebase qui nous amène à évoquer finalement Google. Car Citebase associe aux références citées en fin d'articles, un lien vers Scholar Google (http://scholar.google.com) qui permet de « rebondir » sur les citations. Grands groupes éditoiaux classiques et ressources non commerciales conformes au standard OAI, sont moissonnés avec une couverture qui n'est pas précisément connue. De plus, et ce détail n'est pas négligeable, l'association d'initiales de prénoms aux patronymes n'est pas toujours cohérente et nécessite une procédure, certes peu complexe, mais pouvant échapper aux premiers essais des néophytes. Enfin, départager les auteurs homonymes en fonction de leur discipline est quasiment impossible.

Ce qui surprend dans cette interface, c'est d'abord la philosophie du tutorial d'Aide. L'assistance mentionnée en tout premier lieu n'a pas trait à l'ergonomie, à des précisions quant à la couverture etc. Elle veut répondre à la question basique d'un utilisateur classique du SCI : « comment puis-je retrouver mes propres articles dans Scholar Google ? » (question 1)

<footnote n="23">23. Il va de soi qu'une sorte d'auto-censure ou de retenue naturelle empêche généralement toute fantaisie dans un texte. La réputation d'une personne, d'une équipe, de son responsable et du laboratoire tout entier, est implicitement engagée dans un article. L'avancement de carrière et les subventions en dépendent pour une part non négligeable.</footnote>
et, plus loin : « pourquoi ne suis-je pas (encore) dans *Scholar Google* ? » (question 6). Plus simplement et plus objectivement, elle positionne *Scholar Google* comme une alternative au SCI, outil d'évaluation des auteurs pouvant accessoirement aider à l'élaboration d'une bibliographie.

Ce qui pourrait en second lieu susciter quelque inquiétude, c'est d'entendre un cher-
cheur français de haut rang affirmer que ce réservoir est actuellement la seule alternative
correcte au SCI, gratuite et universellement consultable. Si force est de constater
qu'aujourd'hui on voit difficilement quel autre produit libre *pluridisciplinaire* (cette nuance
est importante) peut s'y substituer, il convient de garder une certaine réserve et, en tout
état de cause, d'explorer rapidement la voie d'un nouvel outil d'évaluation également libre
d'accès, mais dont les règles seront clairement définies, tant au niveau de la couverture
qu'à celui des critères d'analyse statistique.

Ce nouveau modèle pourrait combiner des éléments d'investigation envisagés dans les deux expériences relatées ci-dessus (CNRS/SHS et Citebase), associant avec une impartialité optimale les objectifs d'évaluation des sources et des auteurs. Vaste projet sans doute, mais d'une brûlante actualité...