# Classification des revues scientifiques

Le classement des revues scientifiques réfère à l'évaluation et la hiérarchisation des revues scientifiques selon différents critères tels l'existence et la constitution d'un comité de lecture, le nombre de citations par d'autres chercheurs du domaine des articles publiés, le prestige des auteurs et de la publication, etc.
Dans plusieurs pays, l'évaluation et le classement des revues scientifiques est utilisé comme outil d'évaluation des différents acteurs de la recherche scientifique de sorte que de nos jours, il est fréquent de voir les institutions de recherche exiger d'un chercheur qu'il soit cité dans des revues à fort facteur d'impact$^,$$^,$. Ainsi, la publication d'articles dans des revues prestigieuses influence l'avancement professionnel du chercheur et peut augmenter ses chances d'obtenir des subventions pour lui-même, son équipe et ses projets de recherches.
L'évaluation et le classement des périodiques scientifiques suscite certaines interrogations liées aux modalités de sa mise en œuvre et de son utilisation comme outil d'évaluation de la recherche, et plus particulièrement celle des chercheurs$^,$.

## Historique

Dès le XVIIe siècle, la communauté scientifique s'organise avec les sociétés savantes et le développement des réseaux de correspondance européens. En 1665 paraissent les premières revues scientifiques à Londres et à Paris (Journal des savants) qui serviront de modèle aux futurs revues scientifiques. La Royal Society de Londres limitait le contenu de sa propre revue, le Philosophical Transactions, spécifiquement aux domaines scientifiques. Cette dernière produisait des comptes rendus des ouvrages récents et, surtout, ne publiait que des articles évalués au préalable par un membre de la Royal Society, avec une distinction des revues et des publications par co-optation (revue à comité de lecture selon ce que rapporte l'AERES)$^,$$^,$.
Le nombre de revues, et en particulier de revues scientifiques, progresse considérablement au cours des XIXe et XXe siècles, en raison notamment d'une multiplication des domaines de compétence et de spécialisation. Entre 1926 et 1935 s'effectuent les premiers travaux de bibliométrie par Alfred Lotka, Samuel Bradford et George Kingsley Zipf. Vers 1950, Derek John de Solla Price établi les fondements de la discipline en mettant en avant l'utilisation des articles scientifiques comme indicateurs quantitatifs de la recherche scientifique. En 1954, il crée la scientométrie et durant la même décennie, Eugene Garfield développe l'idée d'utiliser les citations présentes dans les articles scientifiques qui renvoient à d'autres articles pour les lier entre eux$^,$$^,$. L'Institute for Scientific Information (ISI) est créé en 1960 par Garfield et en 1963, l'ISI met en place le Science Citation Index (SCI). Dès 1970 apparaît la préoccupation d'une normalisation des indicateurs d'impacts par champ d'étude. En 1975, l'ISI met en place le Journal Citation Reports (JCR) qui donne une mesure de l'impact des articles et des revues référencés par le Web of Science. En 2004, l'éditeur Elsevier lance la base de données bibliographiques Scopus, qui utilise des algorithmes similaires au PageRank de Google afin de rendre compte du prestige des revues scientifiques (SRJ indicator).
Au début des années 1990, Paul Ginsparg met en évidence le potentiel technique et économique offert par la publication numérique, remettant en cause les modèles éditoriaux dominants. En 1992, l'ISI est acquis par Thomson Scientific & Healthcare et est renommé Thomson ISI.
En 2000, la mise en place de politiques européennes visant à définir les modalités d'évaluation des publications scientifiques pour une indexation des ouvrages traitant des sciences humaines et sociales est effectuée par l'European Index For The Humanities (ERIH). L'année 2004 correspond à l'année de lancement de Scopus, une base de données bibliométrique comparable à celle de l'ISI. La même année, Google Scholar apparaît sur Internet. Peu de temps après, l'outil bibliométrique Publish or Perish est créé. Il permet de calculer certains indicateurs destinés à l'évaluation des chercheurs et des revues ou revues scientifiques. En 2009 a lieu le lancement de la Public Library of Science (PLoS), une base d'indexation de plusieurs articles de revues en libre accès et qui propose plusieurs indicateurs alternatifs pour évaluer les acteurs de la recherche scientifique et notamment les revues.
En 2005, Jorge Hirsch propose l'indice H comme indicateur composite de la production scientifique et de la visibilité des chercheurs. En 2007, la Fondation européenne de la science (en anglais European science foundation, ESF) met en place un classement des revues dans le domaine des sciences humaines (ERIH) en fonction de leur importance perçue. À la suite de la fusion avec Reuters en 2008, la compagnie Thomson ISI fait maintenant partie de la Thomson Reuters Corporation. En 2009, PLoS propose plusieurs indicateurs alternatifs pour tous ses articles, permettant ainsi d'évaluer les acteurs de la recherche scientifique et notamment les revues à partir des publications en accès libre$^,$.

## Description générale

L'évaluation et la classification des revues scientifiques sont possibles en premier lieu grâce aux outils de la bibliométrie. Elle a comme objectif de rendre compte de la distinction, de l'impact ou de l'influence de ces différents périodiques scientifiques au sein de leurs domaines d'étude respectifs tant en recherche et développement que dans un contexte académique et pédagogique$^,$. Les systèmes d'évaluation des périodiques scientifiques devraient également permettre de mesurer le prestige ou la notoriété qui leur sont attribués et ainsi refléter la difficulté de publier dans ceux-ci. La plupart de ces systèmes de classification sont basés sur une fréquence et un nombre de citations différentiel, mais de nombreux autres critères peuvent être pris en compte, d'où le nombre important de classements et d'indicateurs bibliométriques différents$^,$.
Trois principales bases d'indexation permettent de faire le suivi du nombre de citations par revues, mais aussi par articles et par auteurs. Ces bases sont Web of Science, Scopus et Google Scholar$^,$. Ensuite, le suivi des citations permet la production d'indicateurs variés mettant en évidence les revues scientifiques les plus influentes dans un domaine de la recherche en particulier, mais également les plus populaires et encore les plus prestigieuses. Le facteur d'impact est l'outil le mieux connu et le plus utilisé pour l'évaluation et la classification des revues scientifiques et il est présenté dans un classement annuel des périodiques scientifiques, le Journal Citation Report de l'ISI. Certains indicateurs d'impact des revues comme le SCImago Journal Rank Indicator (SJR) et le Eigenfactor sont issus d'un algorithme emprunté au PageRank de Google.
Tout calcul d'indicateur bibliométrique basé sur la citation différentielle et visant à l'évaluation des revues scientifiques nécessite des choix méthodologiques. Premièrement, il faut établir un cadre temporel de calcul soit, la longueur de la période où l'on dénombre les citations après la publication du journal ou de la revue. Cette dernière comprend certains compromis inévitables entre l'utilisation d'une période plus importante notamment pour les disciplines lentes (humaines et sociales) et la nécessité d'une période plus courte pour les disciplines plus rapides comme les (biomédicales). À titre d'exemple, il existe le facteur d'impact sur deux ans et celui calculé pour une période de 5 ans$^,$. Ensuite, une normalisation des indicateurs dérivés par disciplines ou encore par domaines de la recherche est souvent nécessaire pour la production d'indicateurs significatifs qui pourront être utilisés afin d'évaluer et classer les revues scientifiques en fonction de leur influence sur la recherche.
Il existe d'autres mesures ou indicateurs alternatifs (Altmetrics (en)) qui se développent à partir de l'usage qui est fait des articles contenus dans les différents revues et ce, même en dehors du réseau scientifique traditionnel via les réseaux sociaux. Cette notion d'usage diffère de celle de l'impact et la pertinence de ces mesures alternatives et varie selon les domaines de la recherche. En effet, pour certains de ces indicateurs alternatifs, c'est le nombre de citations émises qui est suivi plutôt que celui des citations reçues, ce dernier étant utilisé pour calculer le facteur d'impact du Web of Science. Les notions de reconnaissance et du prestige émergent également dans les mesures alternatives d'évaluation des revues scientifiques$^,$$^,$.

## Bases bibliométriques

Les bases bibliométriques permettent l'indexation et le suivi du nombre et de la fréquence de citation des articles des différentes revues scientifiques. Les trois principales en ordre croissant d'ancienneté sont Web of Science, Scopus et Google Scholar.
Le Web of Science (WoS) est une base de données documentaires internationales au contenu multidisciplinaire produite par l'ISI de la Thomson Reuters Corporation. Il comprend à lui seul trois bases d'indexation des citations pour les sciences fondamentales, sociales, humaines et les arts. Celles-ci correspondent respectivement au Science Citation Index (SCI), Social Sciences Citation Index (SSCI) et au Arts and Humanities Citation Index (A&HCI). En 2016, WoS indexe ainsi environ 12 000 revues publiées de 1900 jusqu'à nos jours$^,$$^,$. Le facteur d'impact est l'indicateur qui lui est associé et présenté annuellement dans le Journal Citation Reports.
Lancé par Reed Elsevier en 2004, Scopus est le principal concurrent du WoS. Cette rivalité soulève des questions de comparabilité des classements bibliométriques obtenus pour chacune. En effet, plusieurs recherches ont été effectuées pour comparer leur efficacité, principalement en utilisant l'indice H ou les citations dans les revues communément indexées dans les deux bases. Celles-ci ne sont toujours pas concluantes, ne montrant aucune différence dans le calcul des indicateurs bibliométriques basées sur une citation différentielle et les classements des revues qu'ils permettent de formés$^,$$^,$. En 2016, Scopus référence environ 16 500 revues scientifiques (y compris plus d'un millier en accès libre), 600 publications industrielles, 350 collections d'ouvrages, ainsi que plusieurs millions d'actes de conférences. Pour la moitié des articles référencés, le suivi des citations remonte seulement à 1996. Par rapport à ses compétiteurs, Scopus offre une plus grande couverture des sciences humaines et sociales et un nombre plus important de revues non anglophones. Les principaux indicateurs bibliométriques qui lui sont associés sont le Journal Rank Indicator et l'Eigenfactor, qui sont présentés dans deux classements des différents revues de la base, soit le SCImago Journal Rank et celui du site Eigenfactor.org. Cette base d'indexation présente également le Source Normalized Per Paper (SNIP) et l'Impact Per Publication (IPP), qui sont deux facteurs d'impact normalisés.
Toujours en 2004, Google lance la base et le site Google Scholar. En 2016, cette base bibliométrique totalement gratuite est la plus importante en termes du nombre d'articles publiés et de revues cités. Les principaux indicateurs bibliométriques associés à cette base d'indexation sont les indices H et G (en) (Egghe).
Autre que les trois principales bases déjà mentionnées, notons d'autres bases telles Medline, le Sociological Abstracts, CiteSeerX, le Stanford Physics Information Retrieval System pour la physique et Francis. Bien qu'elles soient moins importantes en termes d'archivage et pertinence des indicateurs bibliométriques qu'elles fournissent pour l'évaluation de la recherche, elles contiennent des informations qui sont plutôt utilisées pour retracer des articles et cela en fait plus des outils bibliographiques que bibliométriques.

## Indicateurs bibliométriques et autres outils d'évaluation
### Facteur d'impact

Le facteur d'impact (FI) est mis à jour chaque année dans le Journal Citation Reports pour tous les titres de revues et des colloques indexés dans les bases de données du WoS de l'ISI. Il est utilisé pour comparer différentes revues dans un même domaine, se basant sur le volume de citation qu'elles reçoivent en un temps donné. En 2016, l'index de l'ISI recense environ 11 000 revues scientifiques. Le facteur d'impact a bénéficié d'un relatif monopole dans l'usage des mesures de la science avant qu'une prolifération d'indicateurs alternatifs ne fassent leur apparition au tournant des années 2000.
Pour une revue scientifique, le facteur d'impact sur deux ans correspond par exemple, pour l'année 2015, au nombre total de citations obtenu pour tous ses articles publiés entre 2013 et 2014, divisé par le nombre d'articles publiés durant cette même période. Par exemple, si une revue reçoit 201 citations et que le nombre d'articles publiés pour cette période visée est de 40, son facteur d'impact pour 2015 sera de 201/40 = 5,025. Une telle valeur signifie donc que les articles de recherche publiés par cette revue dans les deux années précédentes ont été cités en moyenne 5,025 fois. Les deux périodiques scientifiques considérées comme les plus prestigieuses sont Nature et Science. Chaque année, elles ont toutes deux des facteurs d'impact d'environ 30.
Cet indicateur bibliométrique est largement utilisé sur le plan international pour l'évaluation et le classement des périodiques scientifiques et il est largement critiqué tant en ce qui a trait à sa mise en œuvre que son utilisation.
Tout d'abord, il est généralement mesuré sur une période de citation de deux ans, trop courte et non significative pour la recherche de pointe où l'importance d'un article peut ne devenir apparente qu'après plusieurs années. Ensuite, les articles dits classiques sont cités fréquemment, même après plusieurs décennies. En effet, pour certaines revues, le temps entre la soumission de l'article et sa publication peut prendre plus de deux ans. Ainsi, seules les citations d'articles de moins de 3 ans avant la publication et de moins de 1 an avant la rédaction sont prises en compte et ainsi, pour ces périodiques, un facteur d'impact sur 5 ans est alors plus pertinent. De plus, cet indicateur bibliométrique ne prend pas en considération le fait qu'il existe des différences entre les revues en termes de périodicité et de nombre d'articles par numéro. Il ne tient également pas compte des citations reçues par des revues non indexées par le WoS et de l'impact des informations scientifiques nouvelles diffusées par l'entremise de cours, conférences ou autres types de formations. Ensuite, il existe certaines lacunes propres aux bases d'indexation elles-mêmes (les bases du WoS) telles que la prédominance des revues en anglais au détriment des revues publiées en d'autres langues. Aussi, le facteur d'impact pourrait mener à une uniformisation de la recherche et les listes de classement des revues basés sur le FI et sur les résultats d'une enquête d'expert auraient une corrélation modérée. Ensuite, le facteur d'impact augmente avec le prestige de la revue, qui peut être artificiellement gonflé par une politique éditoriale adéquate et ses moyens en termes de publicité. Cependant, il confond des mesures de popularité, de prestige et d'impact réelles$^,$$^,$. Aussi, les revues qui publient des articles de synthèse auront un FI plus élevé alors que les revues qui décident de ne pas publier de tels articles ont moins de chance d'être cités ce qui diminueraient leur nombre moyen de citation par article. Les revues peuvent également publier une plus grande proportion de leurs articles ou surtout les articles pour lesquels ils s'attendent à un nombre élevé de citations dans le début de l'année. Cela donne plus de temps à la revue pour récolter les citations.
Ainsi, le facteur d'impact est manipulable$^,$. À titre d'exemple, en 2008, un article du Acta Crystallographica comprenait la phrase : « Cet article peut servir comme une citation de littérature générale quand un des logiciels libres SHELX est utilisé pour déterminer la structure d'un cristal. » À la suite de cela, l'article reçu plus de 6 600 citations et son facteur d'impact augmenta de 2,051 à 49,926 entre 2008 et 2009, soit plus que Nature (31,434) et Science (28,103)$^,$. Ensuite, la politique de certains éditeurs force les chercheurs à ajouter des auto-citations de leurs revues pour l'acceptation de publication de leurs articles, ce qui permet d'augmenter le facteur d'impact. Cette pratique est plus fréquente dans le monde du commerce et pour les revues avec un faible facteur d'impact$^,$.

#### Facteurs d'impact normalisés

Développés en réponse à une diversité des disciplines scientifiques de plus en plus importante, la normalisation des indicateurs d'impact par domaines de la recherche constitue une préoccupation depuis les premiers indicateurs de citation, dans les années 1970, par exemple chez Murugesan et Moravcsik. Elle a comme objectif de rendre plus facile la comparaison entre indicateurs de citations des revues pour des domaines différents de la recherche. Elle rend également une telle comparaison plus significative. La principale technique consiste à normaliser les indicateurs en utilisant des méthodes cardinales ou ordinales (percentiles) qui sont définies par disciplines$^,$. Certains auteurs ont suggéré une pondération des citations sans l'introduction de chaînes d'influence (voir Eigenfactor), ce qui a abouti a un facteur d'impact pondéré : le facteur d'audience$^,$. Le Source Normalized Impact per Paper (SNIP), utilisé par Scopus, normalise le nombre de citations selon la discipline. Dans cet ordre d'idées, une citation en mathématiques aura une plus grande valeur dans le calcul du SNIP qu'une citation en médecine puisque le nombre moyen de citations obtenues pour cette dernière est supérieure a celui de la précédente. Ce dernier indicateur d'impact, tout comme le facteur d'audience, est indépendante de la multitude disciplinaire$^,$.

### Eigen Factor
#### Eigenfactor score

Développé par Carl Bergstrom (en) dans le cadre d'un projet académique de l'université de Washington, l'Eigenfactor est similaire au facteur d'impact, mais calculé à partir du nombre total de citations dans une revue sur une période de 5 ans. Il est ainsi plus adéquat pour les sciences humaines et les sciences sociales, dont les articles prennent souvent plus de temps avant d'être publiés et cités$^,$$^,$. Il est le résultat d'une certaine normalisation en utilisant pour son calcul les citations émises plutôt que les citations reçues. Cette normalisation est mélangée, dans ce cas, aux pondérations en chaîne des revues émettrices en fonction de leur propre visibilité$^,$.

#### Article Influence score

Calculé en divisant l'Eigenfactor Score par le pourcentage d'articles enregistrés dans le rapport de citation d'une revue particulière, l'Article Influence score représente une mesure moyenne de l'influence d'une revue par son contenu en articles.

### SCImago_Journal_Rank (SJR)

Calculé à partir de la base de données de Scopus, l'indicateur SJR est un outil d'évaluation des revues scientifiques gratuit fournissant une alternative au FI de l'ISI$^,$. En effet, calculé pour une période de citation de 3 ans, cet indicateur diffère du FI surtout du fait qu'il attribue un poids différent aux revues selon leur prestige estimé avec l'application d'algorithmes similaires au PageRank de Google pour des revues en ligne. En effet, il normalise le nombre de citations selon la discipline et pondère les mesures de citations en fonction du prestige des revues qui peuvent être classées par pays, par domaine et même par spécialisation scientifique. Cet indicateur a été développé pour être utile et efficace dans les réseaux de citations fortement hétérogènes$^,$.

### Autres indicateurs
#### Sondage auprès d'expert (Expert survey)

Représente un pointage définissant une mesure de la qualité et la contribution générale d'une revue. Son calcul est basé sur les résultats d'un sondage mené auprès de chercheurs, de praticiens et d'étudiants actifs (c'est-à-dire des contributeurs et lecteurs de revues) qui classent chaque revue selon des critères précis. Utilisé de façon complémentaire avec certains indicateurs d'impact base sur la citation, il serait un moyen efficace d'évaluer les revues scientifiques.

#### Altmetrics

Permet d'évaluer les différentes revues scientifiques et un classement basé sur les références savantes ajoutées aux sites de médias sociaux universitaires.

#### Source normalized impact per paper

Facteur d'impact normalisé, lancé par Elsevier en 2012 sur la base de Scopus. La mesure est calculée comme suit; SNIP = RIP / (R / M), où RIP = impact brut par papier, R = potentiel de citation et M = potentiel médian de citation de base de données.

### L'algorithme PageRank

Algorithme de Google développé en 1976 et maintenant utilisé comme outil bibliométrique et plus particulièrement comme facteur d'impact récursif donnant plus d'importance aux citations émises par des revues au facteur d'impact élevé qu'a celles émises par les revues à faible impact. Aussi, il utilise une approche particulière pour laquelle les revues obtiennent un pointage plus élevé lorsqu'elles sont souvent citées, mais citent rarement d'autres revues. Plusieurs chercheurs ont proposé des approches connexes.
En 2006, Johan Bollen, Marko A. Rodriguez et Herbert Van de Sompel proposent de remplacer les facteurs d'impact par l'algorithme PageRank. Le Eigenfactor de Scopus est également un autre indicateur s'appuyant sur l'algorithme de type PageRank$^,$$^,$ $^,$$^,$$^,$$^,$.

### Limites des indicateurs basés sur la citation

Bien que les méthodes bibliométriques soient très utiles dans les mesures de diffusion de connaissances, cela diffère selon les domaines. Ainsi, par exemple, si elles sont très efficace pour les sciences naturelles, elles le sont bien moins dans d'autres domaines telles les sciences appliquées en raison des différences structurelles dans la production et la diffusion du savoir des divers champs de la science. En plus, certains problèmes affectent la validité de l'évaluation bibliométrique, dont :
* L'exclusion de certains types de documents.
* Classement par disciplines.
* Changement des titres de revues.
* Le nombre et la répartition de travail des auteurs.
* Citations abusives et erreurs de citation.
Ces facteurs réduisent la fiabilité de l'information et l'utilité des recherches bibliométriques. La langue aussi peut atténuer l'efficacité de méthodes bibliométriques, comme la publication d'articles dans les revues internationales est favorisée à celles à l'échelle nationale, la grande majorité des articles sont retrouvés en anglais. Même si l'information reste la même, son influence diffère selon le degré de maîtrise de la langue.

## Comité de lecture

La relecture des articles à paraître est essentielle. Elle écarte les productions peu originales, contenant des erreurs ou à faible contenu. Elle élimine donc un certain bruit et permet au lecteur de s'appuyer sur le contenu d'un article, même s'il n'a pas l'expertise pour en vérifier tous les points et dans tous les cas, cela lui fait gagner du temps. L'existence d'un comité de lecture constitué d'experts du domaine joue un rôle prépondérant lors de la classification d'une publication scientifique. Désigné par les éditeurs, il vient remplir la tâche de révision de l'article. Il permet de confronter des avis et des points de vue différents sur les articles et de limiter les risques d'erreurs avant leur publication. Idéalement, il est constitué de membres qui ont une certaine notoriété dans le domaine et qui proviennent d'horizons différents.
L'évaluation par les pairs (peer review en anglais) désigne la validation d'un article par un groupe de scientifiques qui sont experts dans le même champ disciplinaire que le contenu de l'article et faisant généralement partie de l'entourage professionnel de l'auteur. Le but premier de la révision par les pairs est la sélection des meilleurs articles et l'amélioration de ceux déjà publiés. La révision par les pairs contribue également à la distinction des meilleurs articles par rapport à ceux marqués par des lacunes de structure ou de contenu.
Notons cependant que le processus de révision par les pairs n'est pas parfait et peut même être parfois manipulé, devenant dans certains cas peu fiable à la filtration des articles et revues de qualité.

## Prestige

Pour les revues scientifiques, le prestige s'acquiert avec le temps et dépend en partie de la confiance qu'ont les différents acteurs de la recherche scientifique envers eux. Chaque discipline scientifique a ses revues dominantes qui reçoivent le plus de soumissions et qui sont donc plus sélectives. Ainsi, le prestige reflète également la difficulté de publier dans certains revues.
Au niveau des sciences de la nature et des sciences sociales, le facteur d'impact, le nombre total de citations, la rapidité à laquelle les articles sont cités et la demi-vie moyenne des articles sont tous des facteurs quantitatifs utilisés pour évaluer le prestige des revues et sur la base de ce facteur facteur d'impact, les revues des sciences de la nature sont classés dans le SCI et ceux des sciences sociales dans le SSCI. En sciences humaines, ce n'est qu'en 2007 que les différents revues se voient attribuer un facteur d'impact résultant de la publication d'un classement par l'ESF. Appelé « European Reference Index for the Humanities » (ERIH), ce classement de l'ESF fut établi par plusieurs experts et classait les revues en trois catégories en fonction de leur importance perçue (A, B et C). Cependant, devant la menace de 61 comités de publication de revues de sciences humaines et sociales, la fondation a décidé, en janvier 2009, de retirer les lettres pour les remplacer par des descriptions écrites$^,$$^,$$^,$$^,$$^,$.
Notons que l'apparition d'autres mesures de notoriété des revues (mesures d'influence, facteur d'audience/ SNIP), même lorsqu'elles demeurent assez corrélées au facteur d'impact et au facteur d'impact normalisé par champ, montre des différences suffisantes pour être prises en compte$^,$.

## Classements nationaux

Il existe plusieurs classements nationaux des revues scientifiques et ceux-ci mettent en évidence le fait que la classification des revues scientifiques représente un outil d'évaluation des différents acteurs de la recherche et ce, dans plusieurs pays. Voici quelques exemples de classements nationaux des revues scientifiques :
* ERA (en) Australia journal lists ;
* Qualis (CAPES) (en) ;
* Autoritetslister for serier og forlag (Danemark) ;
* Norwegian Scientific Index de CRIStin (en) ;
* The Chartered Association of Business Schools Academic Journal Guide ;
* Liste HEC (en) (Pakistan) ;
* Indian National Academy of Agricultural Sciences (en).
En France le classement des revues est assuré, pour différents groupes de disciplines, par des associations ou fondations (exemple : classement de la Fondation nationale pour l'enseignement de la gestion des entreprises) ou par des organismes chargés de l'évaluation ou du recrutement dans l'enseignement supérieur et la recherche (évaluation et classement des revues de sciences humaines par l'Agence d'évaluation de la recherche et de l'enseignement supérieur, catégorisation des revues en économie et gestion par la section 37 du Comité national de la recherche scientifique, classement des revues en chirurgie thoracique et cardiovasculaire par la sous-section 51-03 du Conseil national des universités, etc.).

## Critiques

Yves Gingras, directeur de l'Observatoire des sciences et technologies de l'Université du Québec à Montréal, note une problématique liée au Science Citation Index et à une mauvaise utilisation et interprétation de son facteur d'impact. Le chercheur note ainsi un détournement de l'indicateur par des stratégies telles l'augmentation du nombre de recensions ou encore l'incitation des chercheurs à citer d'autres articles du journal où ils publient. Ainsi, par exemple, les bases d'indexation du WoS repèrent parfois des cas de manipulation flagrante et exclut les revues concernés de sa liste$^,$.
Ensuite, bien que la publication d'un article dans une revue à haut facteur d'impact ne garantisse pas les citations, elle constitue un critère d'évaluation de la productivité et impose aux chercheurs une importante pression de publication. Le risque est ici que les chercheurs se préoccupent plus d'augmenter leur nombre de publications selon le principe « publier ou périr » que de réaliser des travaux scientifiquement intéressants. En effet, pour les chercheurs, le nombre de publications est maintenant un déterminant majeur de leur carrière, des possibilités de promotions, de leur salaire, voire la continuité de leur emploi.
Certaines dérives dues au désir d'augmenter le nombre de publications risquent de nuire à l'avancement de la science. Elles comprennent entre autres le psittacisme, le saucissonnage et l'auto-citation frauduleuse. Le psittacisme correspond au concept pour lequel le chercheur publie la même idée dans plusieurs articles en profitant du fait que les comités de lecture des différents éditeurs n'ont pas lus ses travaux antérieurs. Pour ce qui est du saucissonnage (salami effect), il exprime la situation où une même idée est découpée en plusieurs parties, chacune publiées séparément alors que l'auto-citation frauduleuse correspond à l'action d'un chercheur de citer une revue sous l'incitation de son éditeur afin d'y être publié.
Cette culture favorisant la production au détriment de la qualité pourrait être l'une des causes à la crise de la reproductibilité des résultats figurant dans les différentes publications scientifiques. En effet, bien que le lien de causalité entre la pression de publication et les erreurs scientifiques (involontaires ou frauduleuses) ne puisse être démontré, il a été constaté que le nombre de rétractions a augmenté de façon importante dans les dernières années$^,$$^,$$^,$$^,$$^,$$^,$.
Une autre problématique est en lien avec la variation du nombre de citations selon la source des données utilisée, ce nombre étant directement lié à la couverture de la base de données bibliographiques qui compile les citations. Chacune des sources a ses forces et ses limites. Ainsi, une même publication scientifique peut avoir deux indicateurs d'impacts différents selon la base de données utilisée. De plus, au niveau de l'évaluation individuelle, le fait qu'un même chercheur puisse recevoir des mesures d'impact différentes selon les indicateurs et les bases de données bibliographiques utilisés pose de nombreux problèmes quant à leur utilisation en tant que système d'évaluation de la qualité. Les indicateurs quantitatifs peuvent être affectés par des biais culturels du fait que les chercheurs d'une culture citent habituellement des chercheurs d'une même culture.