# L'analyse bibliométrique : mettre un outil d'évaluation au service du pilotage de la stratégie de publication

## Veronique Batifol-Garandel

► To cite this version:

Veronique Batifol-Garandel. L'analyse bibliométrique : mettre un outil d'évaluation au service du pilotage de la stratégie de publication. Cahier des Techniques de l'INRA, 2012, N° Spécial: L'Information Scientifique et Technique à l'Inra, pp.96-102. hal-02645089

HAL Id: hal-02645089

https://hal.inrae.fr/hal-02645089v1

Submitted on 29 May 2020

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY-SA 4.0 - Attribution - ShareAlike - International
License
Cet article est tiré du numéro spécial 2012 du Cahier des Techniques de l'INRA :

Marchoux E. (Coord.) & Hologne O. (Dir.) L'Information Scientifique et Technique à l'Inra, des compétences au service de la recherche. Retour d'expérience sur des projets, services, outils et méthodes. Cahier des Techniques de l'INRA Numéro spécial 2012. Paris : Inra, 2012. 141 p.
# L'analyse bibliométrique : mettre un outil d'évaluation au service du pilotage de la stratégie de publication

Véronique Batifol-Garandel<fnref n="1" />

**Résumé.** Les outils d'analyses bibliométriques sont principalement utilisés pour l'évaluation des productions scientifiques des Unités de recherche. Nous montrons dans cet article que certains de ces outils peuvent également être mis au service de l'élaboration et du suivi d'une stratégie collective de publication. Ils sont transformés ainsi en outils de pilotage favorisant l'identification des cibles, le positionnement par rapport à sa communauté disciplinaire, la programmation et les pratiques de publication, en particulier dans un objectif d'amélioration de la publication internationale. Au sein du collectif de recherche, l'analyse quantitative et qualitative des supports de publication pose les données objectives pour initier et soutenir le dialogue dans le collectif et contribuer à la co-construction d'un plan d'action. A partir du retour d'expérience de la cellule d'appui à l'élaboration de stratégie de publication internationale du Département Sciences pour l'Action et le Développement (SAD) de l'Inra, nous montrons comment à l'aide d'un exemple concret utiliser ces outils.

**Mots clés :** bibliométrie, analyse de données, publication scientifique, rédaction, pilotage

## Introduction

La difficulté de publier dans des revues internationales est souvent liée à la façon dont les Unités de recherche, les équipes ou des groupes projet identifient et ciblent les revues internationales à investir. Un autre obstacle provient de la difficulté de ces collectifs de recherche à traduire une thématique commune en questionnements et formulations de recherche validés, sous forme d'articles, par la communauté internationale des pairs.

Certains outils d'analyses bibliométriques<fnref n="2" />, en général mobilisés pour l'évaluation des Unités de recherche (Pôle Bibliométrie Inra, 2010), peuvent être utilisés comme des outils de pilotage de la publication. A partir d'un exemple tiré d'un travail réalisé par la « Cellule d'appui à l'élaboration de stratégie de publication internationale » du Département SAD avec une Unité Mixte de Recherche Inra (UMR), nous expliquons comment un collectif de recherche (Unité, équipe, projet...) peut réaliser un auto diagnostic de ses pratiques de publication, en déduire les marges d'amélioration et, in fine, définir sa stratégie de publication.

L'objectif de cet article n'est pas de rapporter les activités de la cellule d'appui mais de montrer comment des outils bibliométriques contribuent à : (i) identifier les cibles de production, (ii) positionner le groupe par rapport à sa communauté disciplinaire et (iii) planifier les productions scientifiques.

## L'analyse bibliométrique, outil de diagnostic sur les pratiques de publication

Le Département SAD a mis en place en 2009, une « Cellule d'appui » avec l'objectif d'aider les Unités de recherche à augmenter le nombre d'articles dans des publications à forte visibilité internationale (articles à comité de lecture (ACL) de rang A), sans pour autant perdre de vue les autres supports de publication. Cette cellule est intervenue dans des Unités de recherche (cinq au total) qui en ont fait la demande. Au cours de ses visites, elle a élaboré des outils et une méthode de travail qui comprend trois phases : un travail de préparation documentaire, l'intervention in situ et, enfin, le suivi d'un plan d'action élaboré, avec l'objectif d'aboutir à des engagements, individuels et collectifs (Batifol-Garandel et al., 2009).

<footnote n="1">1 INRA, US1085 UPIC-SAD, F-31320 Castanet-Tolosan, France ; garandel@toulouse.inra.fr</footnote>

<footnote n="2">2 « La bibliométrie est l'application des méthodes statistiques ou mathématiques sur des ensembles de références bibliographiques. C'est un outil de mesure basé sur l'emploi de techniques statistiques qui a pour objet d'aider à la comparaison et à la compréhension d'un ensemble d'éléments bibliographiques ». Rostaing H., (1996) La bibliométrie et ses techniques. Editions Sciences de la Société. Collection Outils et méthodes. 131p.</footnote>
Les outils mis au point ont été enrichis par les échanges avec les Unités visitées et par l'expérience de la cellule d'appui en situation. D'une visite à l'autre, ils n'ont pas subi de changement de fond, ce qui suggère qu'ils sont à la fois robustes et transposables à d'autres collectifs pour les aider à élaborer leur propre diagnostic et système de suivi (tableau de bord) pour le futur. Parmi ses outils, la cellule mobilise :

* une analyse bibliométrique de la production de l'Unité ;

* un questionnaire individuel sur les pratiques et les choix des membres de l'Unité en matière de publication et d'usage de la bibliographie.

L'analyse bibliométrique de la totalité des productions de l'Unité (articles, ouvrages, chapitres d'ouvrages, documents de travail, mémoires d'étudiants...), préparée avant la visite par la cellule d'appui est présentée à l'Unité lors de la visite de la cellule. Soumise à la discussion de l'Unité en est tiré un premier diagnostic sur ses pratiques de publication.

Ainsi, sont rendues « visibles » les pratiques (individuelles et collectives) de ciblage des supports de publication (en nombre et cibles de publication). Cette analyse sur la base de données objectives permet d'initier un dialogue avec l'Unité et au sein de l'Unité ; première étape vers la co-construction d'un plan d'action.

En parallèle, un questionnaire individuel cherche à connaître les pratiques de publication, à les comparer avec les pratiques de recherche bibliographique (titres des revues lues) et avec les revues ciblées dans les projets de publication en ACL de rang A. Les questions posées sont les suivantes :

* Q2 : « Quelles revues je consulte préférentiellement ? Quelles sont mes principales références bibliographiques ? »

* Q10 : « Quels articles de revue à visibilité internationale ai-je en cours ou en préparation ? Quel est le titre envisagé, la revue visée, l'année de publication estimée et les auteurs concernés ? »

L'analyse des réponses obtenues met en évidence les incohérences ou les décalages (éventuels) entre les objectifs poursuivis et les moyens mobilisés. Associé à l'analyse des déclarations concernant les difficultés de publication, cet exercice facilite l'identification des marges de progrès et des ressources « propres » que l'Unité peut mobiliser pour améliorer ses pratiques et élaborer dans le futur son propre système de suivi.

# L'évaluation de la production et des cibles de publication

## La préparation du corpus de données bibliographiques

Une préparation soignée du corpus de données est indispensable. Ce travail est conduit en étroite relation entre la cellule, la documentaliste et le directeur de l'Unité.

Le corpus analysé par la cellule est mis à jour puis fourni par l'Unité sous la forme d'une liste de références bibliographiques au format Word, classées par année et par type de production. Cette liste est constituée à partir d'une extraction de l'archive ouverte institutionnelle Inra « ProdInra », sur une période de 4 ans (pas de temps d'évaluation des collectifs de recherche par l'AERES). Le corpus est ensuite normalisé par la cellule, qui harmonise l'écriture des titres de revues par utilisation du portail de l'ISSN (International Standard Serial Number), confirme la présence d'un comité de lecture (CL) ou non (SL) pour chaque titre de revue, vérifie l'affectation des types de productions (ouvrages, chapitres d'ouvrages...). Enfin, le traitement des données produit des indicateurs présentés sous forme graphique.

## Indicateurs de production et diagnostic des déséquilibres

### Des indicateurs de production et de répartition de l'effort de publication

Le Tableau 1 recense la production totale de l'Unité par type de support.
<table><caption>Tableau 1. La production de l'Unité : types de supports/nombre de productions</caption><thead><tr><th>Types de support</th><th>Nombre de productions</th></tr></thead><tbody><tr><td>Articles revues CL</td><td>166<br>89 titres de revue : 47 titres de revue rang A (53%)<br>et 42 titres de revues non rang A (47%)</td></tr><tr><td>Articles revues SL</td><td>25</td></tr><tr><td>Ouvrages scientifiques et Chapitres d'ouvrages scientifiques</td><td>118</td></tr><tr><td>Ouvrages de vulgarisation et Chapitres d'ouvrages de vulgarisation</td><td>15</td></tr><tr><td>Direction ouvrages et de revues</td><td>22</td></tr><tr><td>Participations congrès INT ou NAT</td><td>459</td></tr><tr><td>Co organisation colloques scientifiques</td><td>14</td></tr><tr><td>Conférences invitées</td><td>9</td></tr><tr><td>Activités d'encadrement</td><td>83</td></tr><tr><td>Autres productions</td><td>363</td></tr></tbody></table>

La Figure 1 met en évidence l'investissement de l'Unité en type de productions au cours du temps (l'ensemble des productions pour une année donnée représente 100 % de l'effort de publication du collectif). Elle sert à évaluer l'équilibre, la complémentarité et la synergie entre les différents types d'activités. Elle permet de diagnostiquer les points d'amélioration possible pour consacrer plus de temps à la production d'articles de revues de notoriété internationale ou de rang A (selon les critères de l'AERES<fnref n="3" />) ; par exemple, réduire le temps consacré à certaines activités (encadrement de stages, chapitres d'ouvrages, productions non académiques, communications à colloques...).

<figure><img src="image_2.png" /><figcaption>Figure 1. Evolution de la répartition de l'effort de production de l'Unité.</figcaption></figure>

## Diagnostic des déséquilibres et réorganisation des activités

Les résultats précédents permettent d'attirer l'attention de l'Unité sur les trois points suivants :

* l'effort annuel de publication. Il est réparti ici sur un ensemble de productions diversifiées, dont certaines le mobilisent de façon plus importante ; par exemple, on observe ici que plus de 60 % du temps de production du collectif est consacré aux productions non académiques (participations à colloques et autres productions<fnref n="4" />) ;

<footnote n="3">3 Selon l'AERES : « Est considéré comme une production scientifique de rang A : une publication dans une revue internationale avec comité de lecture (ou une revue considérée comme de très bon niveau par la communauté dans certaines disciplines) ».</footnote>

<footnote n="4">4 Autres productions : compte rendus dans revues scientifiques ; rapports de recherche (projets, animation, appui, mission) ; expertise-appui au développement ; productions liées à des formations ; productions audiovisuelles ; documents techniques, vulgarisation ; presse média ; logiciels.</footnote>
* la part du temps investi dans chaque type de production : ici il reste stable sur la période ;

* la production en ACL : ici elle est constante au cours des années étudiées, sauf en 2009 ; le pourcentage de temps consacré à cette production est plus faible en regard du temps investi sur les productions non académiques.

Pour augmenter la part d'ACL, le collectif devra mieux prendre en compte et programmer les différentes étapes qui conduisent à la production de tels articles.

La publication validée par les pairs est l'aboutissement d'un processus qui comprend un ensemble d'étapes qui donnent lieu à différents types de production. Les rapports d'études ou les mémoires d'étudiant apportent les premières données qui sont ensuite traitées dans les rapports de recherche, puis l'analyse de ses données sera affinée et approfondie dans un document de travail (Working paper) discuté lors d'un séminaire interne ou externe. Une communication pourra en être tirée et présentée à des colloques, puis retravaillée et consolidée pour rédiger un article de recherche.

Dans ce cycle, chaque publiant doit pouvoir trouver un équilibre satisfaisant entre les différents types de production. Pour être atteint il nécessite de :

* s'organiser collectivement (identifier les fonctions prioritaires de chacun dans le collectif, par rapport à la publication) ;

* se fixer des objectifs réalistes (nombre de publications en ACL sur une période donnée) ;

* programmer le processus de publication (identifier les colloques indispensables en lien avec les fronts de recherche et les projets de publication en ACL) ;

* établir des priorités en lien avec sa stratégie de publication (renoncer à certains colloques, encadrements..., et limiter le nombre de personnes qui y participent dans le collectif).

## Analyse stratégique des cibles de publication en ACL de rang A

Elle vise à qualifier les titres de revues à comité de lecture et à lisibilité internationale investis, lus et ciblés par l'Unité. Le critère d'analyse retenu pour identifier ces titres de revue parmi les ACL produits par l'Unité est le rang A des revues selon les recommandations de l'AERES (AERES, 2009). Le caractère international de chacune des revues est identifié à l'aide des référentiels internationaux : les JCRs⁵, Sciences Citation Index (SCI) et Social Sciences Citation Index (SSCI) de l'éditeur Thomson Reuters et des classements disciplinaires des titres de revue en Sciences Humaines et Sociales (SHS) de l'AERES.

### Évaluer la qualité et la complémentarité de ces cibles de publication

La représentation graphique des données sous forme de « camembert » (Figure 2) permet de visualiser les titres de revues de rang A investis par l'Unité sur la période étudiée.

<figure><img src="image_3.png" /><figcaption>Figure 2. Mise en évidence du ciblage des titres de revue de rang A.</figcaption></figure>
Cette répartition des publications par titres de revue met en évidence trois grands points faibles :

* une concentration des publications : une revue dominante (en l'occurrence « Revue 1 ») accueille plus d'un quart de la production de l'Unité ;

* une grande dispersion des publications : 68 % de titres de revue accueillent un seul article au cours de la période analysée ;

* une faible part de publications lisibles à l'international : 71 % des titres de revues qui accueillent 2 à 6 articles sont francophones.

Le nombre important d'articles de revues dans la « Revue 1 » met en évidence que l'investissement dans cette revue résulte de sommes de stratégies individuelles de publication non raisonnées collectivement. En effet, cette revue pluridisciplinaire francophone est facile d'accès pour cette Unité : elle accueille des articles en lien avec ses activités à destination des acteurs du développement. Elle est régulièrement ciblée par certains chercheurs du collectif soucieux de faire connaître leurs travaux de recherche aux partenaires des pays du sud. Bien que de rang A, son caractère francophone réduit sa lisibilité par des communautés de pairs internationaux. En cela, elle est considérée comme moins bien cotée à l'international.

Cette cible est importante mais elle ne semble pas représentative de l'activité scientifique de l'Unité. En revanche, elle pourrait y contribuer si elle était vue par ces chercheurs comme une première étape dans le processus de publication validée par les pairs du domaine. Les résultats de recherche publiés dans cette revue pourraient, moyennant un travail de recherche complémentaire, être proposés à une revue plus spécifique et mieux cotée internationalement.

La part importante (68 %) des titres de revue qui accueille un seul article au cours de la période analysée montre l'absence de ciblage stratégique (revues identitaires des activités scientifiques de l'Unité) au profit d'opportunités ou de demandes non stabilisées dans le temps.

En complément, la majorité des titres de revues investis par l'Unité sont francophones en cela ils ne facilitent pas la lisibilité des résultats de recherche de l'Unité à l'international.

## Raisonner une stratégie de publication collective

Cette évaluation conduit à sensibiliser les chercheurs de l'Unité au choix des cibles de publication : il doit être raisonné collectivement pour permettre l'identification d'un panel de revues correspondant aux activités de recherche de l'Unité ou « revues cœur d'activités scientifiques ».

Pour identifier les ressources disponibles que le collectif peut mobiliser pour améliorer ses pratiques la mise en regard d'éléments supplémentaires est nécessaire. Ils peuvent être tirés, du questionnaire individuel sur les pratiques de publication (Batifol-Garandel et al., 2009). Ainsi la question Q2 informe sur l'identification et la qualification des revues lues par le collectif, la question Q10 renseigne sur les revues visées dans ses projets d'article.

# Le positionnement du collectif par rapport à sa communauté disciplinaire

## Comparaison des revues lues et des revues ciblées pour la publication

Sont analysées ici les réponses obtenues à la question Q2 du questionnaire individuel sur les pratiques de publication : Q2 - « Quelles revues je consulte préférentiellement ? Quelles sont mes principales références bibliographiques ?»

Cette question posée à chaque publiant du collectif avant la visite de la cellule permet d'identifier la qualité des lectures du collectif et ses capacités à identifier ses communautés de pairs à partir de leur cible de publication en titres de revue de rang A.
<figure><img src="image_4.png" /><figcaption>**Figure 3.** Que lisez-vous ?</figcaption></figure>

<figure><img src="image_5.png" /><figcaption>**Figure 4.** Vos lectures, sont-elles de nouvelles cibles de publication à investir ?</figcaption></figure>

## Interprétations et actions stratégiques

Les titres de revue lus par le collectif sont majoritairement de rang A (trois quart des lectures). Ceci révèle que le collectif a une bonne connaissance des enjeux liés à la publication internationale et/ou que certains chercheurs ont une bonne connaissance de leur communauté scientifique disciplinaire qu'ils suivent au travers de leurs productions en articles de revue publiés dans un panel de revues internationales.

La mise en regard des titres de revues investis par le collectif au cours des années 2006-2010 et des titres de revues qu'il lit (Figure 4), montre qu'une forte proportion (67 %) des revues de rang A lues par le collectif n'ont pas été investies par ce dernier au cours des années 2006-2009. En cela, elles constituent un réservoir de titres de revues de rang A à partager collectivement et à investir.

# Les projets de publication en ACL de rang A

## Analyser les choix individuels

L'analyse des réponses à la question Q10 : « Quels articles de revue à visibilité internationale ai-je en cours ou en préparation ? Quel est le titre envisagé, la revue visée, l'année de publication estimée et les auteurs concernés ? » permet de :

* dénombrer et de qualifier les titres de revue envisagés (Figure 5) ;

* examiner l'état de maturité de chaque projet d'article au travers des éléments recueillis notamment le titre envisagé (contient-il le message central de l'article ?), la revue visée (son choix est-il pertinent ?), l'année de publication estimée (le projet est-il réaliste ?), les auteurs concernés (quel est le rôle de chacun d'eux dans l'écrit ?).

<figure><img src="image_6.png" /><figcaption>**Figure 5.** Projets de publication pour 2010 : un saut quantitatif et qualitatif ?</figcaption></figure>
L'évolution quantitative du nombre d'ACL déjà amorcée en 2009 se consolide en 2010, elle est associée à une augmentation de la part du nombre d'ACL de rang A dans ces projets de publication.

## Resituer les choix individuels dans une stratégie collective

Le collectif semble avoir pris en considération les enjeux de la publication internationale en 2010 en vue de préparer son évaluation prévue par l'AERES en 2011. Après discussion avec le collectif, nous comprenons que cette progression résulte en fait, comme pour les années antérieures :

* d'opportunités ou de demandes faites à certains auteurs lors de participation à des congrès à l'issue desquels il est prévu de publier certaines communications dans des numéros spéciaux de revue ; par exemple la « Revue 9 » (1 % sur 2006-2009, 11 % prévus en 2010) ;

* d'un nombre plus important d'articles de revues dans la « Revue 1 » (16 % sur 2006-2009, déjà 14 % prévus en 2010).

Cette façon de dépendre de sollicitations extérieures fragilise l'identité scientifique disciplinaire de l'Unité (Figure 2) qui pour exister et être visible par ses communautés de pairs doit pouvoir s'appuyer sur une stratégie de publication raisonnée collectivement et programmée dans le temps. Sa mise en œuvre comporte plusieurs étapes en lien avec l'identification des revues cibles : (i) organiser et partager ses recherches bibliographiques, (ii) exploiter le contenu des références bibliographiques qu'elles contient (identifier sa communauté de pairs au niveau international et leurs cibles de publications), (iii) échanger dans l'Unité sur les projets de publications en cours, (iv) partager collectivement ses lectures, ces dernières peuvent constituer un réservoir de titres de revues à investir.

## Conclusion

Les analyses bibliométriques mobilisées dans ce dispositif d'appui et les représentations graphiques qu'elles utilisent constituent les indicateurs qui permettent à un collectif de recherche de suivre ses productions, d'identifier ses pratiques individuelles et collectives de ciblage de publications et ses marges de progression possibles (Batifol-Garandel, 2012). Les données produites par ces analyses peuvent également être valorisées en vue de la préparation d'une évaluation par l'AERES ou a posteriori pour réagir aux retours d'une évaluation.

## Références bibliographiques

AERES (2009) Critères d'identification des chercheurs et enseignants-chercheurs produisant en recherche et valorisation. 3 p.

Batifol-Garandel V, Leclerc B, Recous S, Valceschini E (2009) Questionnaire individuel sur les pratiques relatives à la publication (10 questions). 1 p. http://www.inra.fr/intranet/Departements/SAD/6_pubcom/CelluleAppuiStrategiePub.htm

Batifol-Garandel V (coordinatrice), Leclerc B, Recous S, Valceschini E (2009) Augmenter le nombre et la qualité des publications à lisibilité internationale : bilan de l'accompagnement en 2009 par la cellule d'appui à la publication du Département SAD. 19 p. http://www.inra.fr/intranet/Departements/SAD/6_pubcom/CelluleAppuiStrategiePub.htm

Batifol-Garandel V (2012) Bibliometric analysis: more than an assessment tool, an aid for developing a collective strategy for publication. 11. EASE General Assembly and Conference - Editing in the Digital World, 2012/06/08-10, Tallin (EST). 1 p. (poster).

Pôle Bibliométrie Inra (2010) Guide méthodologique pour l'analyse de la production scientifique d'une Unité de recherche dans le contexte des évaluations AERES. 13 fiches https://intranet4.inra.fr/ist/Analyser-Veiller/Les-etudes-bibliometriques/Bibliometrie-et-evaluation-des-unites