# Comment mesurer l'efficacité d'une politique dans le domaine de la recherche ? Un exemple avec le Baromètre lorrain de la Science Ouverte

Laetitia Bracco

<figure><img src="image_1.png" /></figure>

## To cite this version:

Laetitia Bracco. Comment mesurer l'efficacité d'une politique dans le domaine de la recherche ? Un exemple avec le Baromètre lorrain de la Science Ouverte. Culture et recherche, 2023, 144, pp.26-27. hal-04163031

HAL Id: hal-04163031

https://hal.univ-lorraine.fr/hal-04163031v1

Submitted on 17 Jul 2023

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Comment mesurer l'efficacité d'une politique dans le domaine de la recherche ? Un exemple avec le Baromètre lorrain de la Science Ouverte

Laetitia Bracco, Université de Lorraine, juin 2023

La Science Ouverte est un domaine qui a été largement investi par les bibliothèques universitaires depuis de nombreuses années. D'abord mouvement militant, elle s'est institutionnalisée jusqu'à faire l'objet d'un Plan National pour la Science Ouverte (PNSO) lancé par le Ministère de l'Enseignement Supérieur et de la Recherche. L'impulsion politique ayant été donnée, il était nécessaire de mettre en œuvre un outil de suivi de l'efficacité de ces actions. C'est le point de départ du Baromètre français de la Science Ouverte (BSO), dont la première version portant sur l'ouverture des publications scientifiques a été publiée dans la foulée.

Cet outil a rapidement intéressé les établissements et notamment les bibliothèques universitaires ; l'Université de Lorraine y a vu une occasion de mesurer sa propre action en matière de Science Ouverte, en développant la première déclinaison locale de cet outil. Repris par de nombreux établissements, ce code a permis de faire fleurir de multiples Baromètres locaux. En 2022, le Baromètre a vu son périmètre s'étendre : ce sont à présent les données et codes logiciels issus du travail de recherche scientifique qui font l'objet d'une étude approfondie pour en observer l'ouverture ; et une communauté se fédère au sein du club utilisateurs du Baromètre.

C'est en 2018 qu'a été publiée en France la première version du Plan National pour la Science Ouverte (PNSO)<fnref n="1" />. La Science Ouverte y était alors désignée comme « la diffusion sans entrave des publications et des données de la recherche » par opposition, d'une part, aux publications scientifiques accessibles uniquement sur abonnement et, d'autre part, aux données de la recherche qui restent sur les disques durs de leurs producteurs. Dès lors, afin d'évaluer l'efficacité de cette politique publique, il était nécessaire de développer un outil de suivi pour mesurer les effets de cette stratégie. Or rapidement, ce besoin s'est également fait ressentir au sein des établissements, notamment pour ajuster les actions de sensibilisation des services d'appui à la recherche auprès de leur communauté scientifique. C'est tout l'enjeu du développement du Baromètre lorrain de la Science Ouverte.

<footnote n="1">¹ https://www.enseignementsup-recherche.gouv.fr/fr/le-plan-national-pour-la-science-ouverte-les-resultats-de-la-recherche-scientifique-ouverts-tous-49241</footnote>
Décliner à l’échelle locale des indicateurs nationaux

En 2019, le Département des outils d'aide à la décision du Ministère de l'Enseignement Supérieur et de la Recherche publiait la première édition du BSO. Il proposait alors des graphiques permettant d'apprécier l'ouverture des publications scientifiques (articles, chapitres d'ouvrages, actes de conférences...) par année, par éditeur ou encore par discipline. A la suite de la publication de cet outil de mesure ouvert (Open Source), ne s'appuyant pas sur des outils commerciaux, l'Université de Lorraine a rapidement manifesté son fort intérêt, en tant qu'établissement résolument engagé en faveur de la Science Ouverte<fnref n="2" />.

Cependant, la transposition de cet outil national à l'échelle d'un établissement a nécessité un important travail d'adaptation mené au sein des bibliothèques universitaires. La méthodologie pour réaliser et mettre en ligne cet outil ayant fait l'objet d'un article détaillé<fnref n="3" />, il n'est pas nécessaire de s'y attarder. Il faut néanmoins souligner que le défi le plus important à relever pour un établissement ou une unité de recherche qui souhaite suivre la progression de la Science Ouverte réside dans la constitution de son corpus, afin d'obtenir la liste la plus complète possible de ses publications scientifiques.

En effet, la méthodologie employée en France pour constituer le corpus national, basée sur le scraping de pages web<fnref n="4" /> pour rassembler un maximum de publications avec au moins un auteur français, n'est pas adaptée pour obtenir le corpus fin d'une université ou d'un laboratoire. Le dépôt systématique de l'ensemble des publications dans l'archive ouverte HAL<fnref n="5" /> reste le meilleur moyen pour obtenir facilement un corpus à une échelle restreinte.

La méthodologie employée par le BSO lorrain étant publique et ouverte, ce sont rapidement des dizaines d'autres établissements d'enseignement supérieur<fnref n="6" /> qui ont réutilisé l'outil pour faire leur propre BSO.

Portée et usages de l'outil

Que faire des résultats obtenus ? Sont-ils des indicateurs qui pourraient servir à évaluer une unité, voire un chercheur-auteur ? Ce serait prendre à rebours la logique de l'outil. Car le BSO, qu'il soit national et a fortiori local, n'a pas vocation à attribuer des notes, mais bien à identifier la progression et les besoins des communautés scientifiques en matière d'ouverture de leur recherche.

De plus, le BSO permet également de mieux connaître les pratiques de publications des chercheurs ; par exemple, d'établir auprès de quels éditeurs ou revues telle ou telle discipline a l'habitude de publier. Le BSO peut aussi être un outil de pilotage en matière de politique

<footnote n="2">² https://scienceouverte.univ-lorraine.fr/</footnote>

<footnote n="3">³ Laetitia Bracco, « Mesurer l'ouverture de la science : le cas de l'Université de Lorraine », *Revue française des sciences de l'information et de la communication* [En ligne], 24 | 2022, mis en ligne le 24 mars 2022, consulté le 01 février 2023. URL : http://journals.openedition.org/rfsic/12474 ; DOI : https://doi.org/10.4000/rfsic.12474</footnote>

<footnote n="4">⁴ Technique permettant d'extraire automatiquement des informations présentes sur une page web (par exemple, le titre et l'auteur d'un article) pour les placer dans une base de données.</footnote>

<footnote n="5">⁵ https://hal.science/</footnote>

<footnote n="6">⁶ Par exemple : les universités d'Evry, Lyon 1, Grenoble-Alpes, Rennes 1, Paris-Saclay... Mais aussi des organismes de recherche comme l'Inrae ou le CEA.</footnote>
documentaire ; notamment pour le choix des abonnements (ou désabonnements) à des ressources électroniques.

## Elargir les indicateurs aux données et aux logiciels

On l'a vu, le BSO a d'abord porté uniquement sur les publications scientifiques. Or, dès la première version du PNSO, les données de la recherche, puis les logiciels (deuxième PNSO<fnref n="7" />) sont considérés comme des productions scientifiques à part entière, dont l'ouverture doit également être encouragée.

En 2021, le MESR, l'Université de Lorraine et Inria (Institut national de recherche en informatique et en automatique) ont ainsi obtenu un financement du *Plan de relance*<fnref n="8" />, afin de porter le projet d'extension du BSO aux données de la recherche et aux codes logiciels. Ce projet, toujours en cours, est jalonné par deux grandes étapes :

* Constituer la base la plus complète possible de publications françaises en texte intégral depuis 2013 et y appliquer des méthodes de *machine learning*<fnref n="9" />, pour y détecter des mentions de données et de logiciels ;

* Etablir le corpus des jeux de données publiés par les chercheurs français et déposés dans des entrepôts de données tels que *Recherche Data Gouv*<fnref n="10" />.

Dans les deux cas, il s'agira de mesurer le taux d'utilisation, de partage et d'ouverture des données et logiciels, dans la même logique qui sous-tend les indicateurs relatifs aux publications.

> Cette extension va de pair avec l'évolution de l'évaluation de la recherche, telle qu'exprimée au sein de la Déclaration de San Francisco<fnref n="11" />, qui appelle à « tenir compte de la valeur et de l'impact de tous les résultats de travaux de recherche (y compris les jeux de données et les logiciels) en plus des publications scientifiques ». La reconnaissance de la valeur scientifique de ces productions est en effet un levier fort pour leur ouverture et leur partage.

## Une communauté d'utilisateurs qui se structure

La mise en œuvre des BSO français, puis lorrain, ont entraîné le lancement d'une communauté d'utilisateurs toujours plus grande<fnref n="12" />, qui se structure aujourd'hui au sein du Club utilisateurs du BSO.

Les établissements représentés viennent de tous horizons : universités, organismes de recherche, écoles, voire unités de recherche, comme l'UMR Ambiances Architectures Urbanités (AAU), au sein des écoles nationales d'architecture de Nantes et Grenoble.

<footnote n="7">⁷ https://www.ouvrirlascience.fr/deuxième-plan-national-pour-la-science-ouverte-pnso/</footnote>

<footnote n="8">⁸ Volet *Transformation numérique de l'Etat et des Territoires*, thème « Développer l'utilisation de la donnée dans votre administration (ITN 5) ».</footnote>

<footnote n="9">⁹ Ou apprentissage automatique : champ de l'intelligence artificielle dédié à l'apprentissage automatique, par une machine, de certaines opérations. Par exemple, la rendre capable de déterminer la discipline d'un article scientifique en l'analysant.</footnote>

<footnote n="10">¹⁰ https://recherche.data.gouv.fr/fr</footnote>

<footnote n="11">¹¹ https://sfdora.org/read/read-the-declaration-french/</footnote>

<footnote n="12">¹² https://barometredelascienceouverte.esr.gouv.fr/declinaisons/bso-locaux</footnote>
Autour d'une liste de diffusion, cette communauté échange sur ses pratiques en matière de constitution de corpus, de présentation des résultats ou encore d'usage des indicateurs. Des webinaires sont régulièrement organisés pour présenter les avancées du BSO national et pour susciter le débat. C'est ainsi un cercle vertueux qui se construit.

### III.1

<figure><img src="image_3.png" /><figcaption>Jacques Louis David, *Antoine Laurent Lavoisier (1743-1794) and Marie Anne Lavoisier (Marie Anne Pierrette Paulze, 1758-1836)*, 1788, Metropolitan Museum of Art, New-York</figcaption></figure>