# Étude exploratoire sur la “ recherche sur la recherche ” : acteurs et approches

Célya Gruson-Daniel, Maya Anderson-González

► To cite this version:

Célya Gruson-Daniel, Maya Anderson-González. Étude exploratoire sur la “ recherche sur la recherche ” : acteurs et approches. [Rapport de recherche] Comité pour la science ouverte. 2021, 66 p. hal-03663434

HAL Id: hal-03663434

https://hal-lara.archives-ouvertes.fr/hal-03663434

Submitted on 10 May 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_2.png" /></figure>

Ouvrir
la science !

# Étude exploratoire sur la « recherche sur la recherche » : acteurs et approches

CUBE
inno
Innovation is Openness

Soutenu par

<figure><img src="image_3.png" /></figure>

MINISTÈRE
DE L'ENSEIGNEMENT
SUPÉRIEUR,
DE LA RECHERCHE
ET DE L'INNOVATION

Liberté
Gouvernement
L'État civil
# Résumé

## Introduction

Dans le cadre du deuxième Plan National de la Science Ouverte, le Comité pour la science ouverte a souhaité mener une étude pour la préfiguration d'un Lab de la science ouverte (LabSO) afin de mieux comprendre le périmètre de la recherche sur la recherche (research on research) dans un contexte international.

## Objectifs de l'étude

L'étude répond ainsi à trois objectifs :

1. **repérer des grands courants de recherche** sur la recherche (RoR) dans le paysage plus général de la recherche universitaire en Europe et outre-atlantique, en reconnaître les principaux acteurs institutionnels et différencier les approches mobilisées par les uns et les autres ;

2. **proposer une méthodologie d'analyse dans une démarche de science ouverte** (méthodes mixtes et cartographie numérique) pour faciliter l'appropriation de son contenu ;

3. **émettre des recommandations** pour faciliter le positionnement du LabSO et s'inspirer d'initiatives existantes.

## Méthodologie

Une série de treize entretiens et une collecte de données d'une sélection thématique de sites web ont permis de dresser un paysage d'acteurs et d'approches impliqués dans des recherches sur la recherche. Ce dernier s'est nourri d'une démarche de cartographie numérique pour repérer et visualiser les liens existants entre différentes communautés, mouvements, réseaux et initiatives (financeurs, projets, centres de recherche, fournisseurs de données, éditeurs, etc.).

## Résultats

Le rapport présente différents courants de « recherche sur la recherche » issus des traditions théoriques et méthodologiques de la sociologie, de l'économie, des sciences politiques, de la philosophie, des sciences de l'information et des mesures (biblio/scientométrie). Des courants plus récents sont aussi décrits. Ils s'inscrivent dans un contexte de politiques publiques favorables à la science ouverte et ont émergé dans le champ des sciences sociales computationnelles, des Big Data ou encore des domaines bio-médicaux. Si certaines de ces approches s'appuient sur des courants académiques (STS, sciences des mesures) établis depuis de nombreuses décennies, d'autres comme ceux de la « métascience » ou de la « science de la science », se sont structurées plus récemment avec une visée prescriptive et de changement fondé sur des preuves (evidence-based) se basant sur un engagement normatif pour une science plus ouverte, inclusive et diverse.
Bien loin d'un paysage statique, l'étude fait ressortir des recherches en mouvement, des débats tout autant que des mises en garde afin que certains courants « ne réinventent pas la roue » en faisant fit d'une longue tradition académique de l'étude des sciences et de la production scientifiques. De nouvelles alliances entre centres de recherche et laboratoires, institutions subventionnaires, décideurs politiques et fournisseurs de données ont été repérées. Elles participent à une dynamique actuelle d'équipement des politiques publiques par des outils d'évaluation et des protocoles de recherche pour guider les actions menées, on parle d'évidence-based policies. Un des exemples les plus récents étant la seconde feuille de route du RoRI<fnref n="1" /> poussant notamment à la formation d'un réseau international d'instituts de recherche sur la recherche, fondé sur le partage et la mutualisation de données, de méthodes et d'outils.

Outre la présentation de ces différents acteurs et courants, le rapport pointe le rôle joué par les infrastructures et les fournisseurs de données scientifiques (publications, données, métadonnées, citations, etc.) dans la structuration de ce paysage et les équilibres à trouver.

<figure><img src="image_4.png" /></figure>

## Recommandations

Accompagner la construction d'indicateurs et de métriques par le biais d'un regard critique et de discussions collectives pour mesurer leurs impacts sur les comportements des professionnels de la recherche (mésusages, gaming).

Porter attention aux étapes de diffusion des résultats scientifiques issus des « recherches sur la recherche » pour les adapter aux différents publics ciblés (chercheurs, responsables des politiques publiques de recherche, journalistes, etc.).

Articuler les travaux de « recherche sur la recherche » avec une démarche de science ouverte en questionnant notamment les choix faits concernant les fournisseurs de données, les infrastructures et outils d'évaluation, de découvrabilité et d'analyse de la production scientifique (gouvernance, utilisation des données, etc.).

Soutenir les approches thématiques et transversales plutôt que disciplinaire de manière collaborative entre les différents membres du Lab de la science ouverte et aider le dialogue entre les différentes approches et mouvements (STS, research on research, science of science, scientométrie, etc.)

<footnote n="1">1 Research on Research Institute, « RoRI Phase 2 : invitation to partnership ». Document inédit consulté dans le cadre de la réalisation de cette étude.</footnote>
# Abstract

<figure><img src="image_5.png" /></figure>

## Introduction

As part of the France's second National Plan for Open Science, the French Committee for Open Science requested to conduct a study to pave the way for an Open Science Lab (LabSO) in order to better understand the international scope and context of research on research (RoR).

<figure><img src="image_6.png" /></figure>

## Purpose of the study

The study's three main objectives were:

1. **to identify the major currents in academic science studies** in Europe and the Americas, and indicate the main institutional actors affiliated to each current while differentiating their approaches and methods;

2. **to put forward an open science workflow** for analyzing qualitative and quantitative data through mixed methods and digital mapping to facilitate result uptake and communication;

3. **to make recommendations that draw on existing initiatives** to help the French Open Science Lab position itself in the current RoR landscape

<figure><img src="image_7.png" /></figure>

## Methods

Mixed methods were used to draw up a qualitative and quantitative landscape of actors and approaches based on a series of thirteen interviews and a collection of data from thousands of thematically curated websites. Through a qualitative analysis of the interview data, the report gives a broad overview of evolving RoR research trends and shows how they intersect and interact with each other. Based on a quantitative data analysis, an experimental network was also constructed and annexed to the report with the idea of making existing links between different stakeholders (institutions, communities, initiatives, infrastructures) more visible, and recommendations about their roles (funders, projects, research centers, data providers, publishers, etc.) more compelling.

<figure><img src="image_8.png" /></figure>

## Results

The report lays out different currents of research on research (RoR). Some are theoretically and methodologically rooted in traditional academic fields such as sociology, economics, political science, philosophy, or information science (bibliometrics and scientometrics). Others with more data intensive approaches come from computational social sciences or bio-medical fields, and have evolved in a favorable context for open science in terms of public policies. While the former currents are based on well-established pre-existing academic fields and methods, such as STS or scientometrics,

<figure><img src="image_9.png" /></figure>
the latter have appeared more recently, and have adopted a prescriptive, change-oriented focus as well as a normative commitment to foster better and more open science.

Far from presenting a static landscape, the study highlights the evolving nature of RoR research, the contemporary debates it is fueling around key issues such as reproducibility, evidence-based practices, integrity and inclusivity in research, and some community-issued warnings about not "reinventing the wheel". The report specifically draws attention to new alliances that are forming between research centers and laboratories, funding institutions, policy makers and data providers in order to support public policy makers with evaluation tools and research protocols to guide decision-making and action. The reports gives examples of key players, such as the Research on Research Institute (RoRI)<fnref n="2" />, which is currently advocating for tools, methods and data sharing within an international network of RoR research institutes.

By placing the roles of research infrastructures and data providers (publications, metadata, citations, etc.) at the center of the contemporary RoR research landscape, the study reveals the underpinning dynamics, and brings up sticking points for various stakeholders, raising the question of the balance to be found between them.

<figure><img src="image_10.png" /></figure>

## Recommendations

- Guide the construction of indicators and metrics through critical thinking and collective discussions to monitor their impact on the behaviours of research professionals (misuse, gaming).

- Pay attention to take the different steps in disseminating RoR research results in order to adapt them to various target audiences (researchers, science policy stakeholders, journalists, etc.).

- Articulate « research on research » work with an open science approach by questioning in particular the choices made concerning the data providers, the infrastructures and tools for evaluating, discovering and analysing scientific production (governance, use of data, etc.).

- Support thematic, cross-cutting and collaborative approaches to RoR research, rather than disciplinary ones, and foster dialogue between a set of diverse Open Science Lab members with different approaches and movements (STS, research on research, science of science, scientometry, etc.).

<footnote n="2">² Research on Research Institute, « RoRI Phase 2 : invitation to partnership ». Unpublished document consulted as part of the conduct of this study.</footnote>
# Sommaire

<table><tr><td></td><td>Résumé</td><td>2</td></tr><tr><td></td><td>Abstract</td><td>4</td></tr><tr><td>1</td><td>Introduction</td><td>7</td></tr><tr><td></td><td>À propos de cette étude</td><td>7</td></tr><tr><td></td><td>Méthodes mixtes, numériques et démarche de science ouverte</td><td>9</td></tr><tr><td></td><td>Premier constat et plan du rapport</td><td>11</td></tr><tr><td>2</td><td>Études des sciences et de la production scientifique : écosystèmes pré-existants</td><td>14</td></tr><tr><td></td><td>L'étude des sciences et technologies (STS)</td><td>14</td></tr><tr><td></td><td>Les sciences des « mesures » : scientométrie et bibliométrie</td><td>16</td></tr><tr><td>3</td><td>Metascience, science of science : l'émergence et la (re)structuration de communautés scientifiques</td><td>19</td></tr><tr><td></td><td>L'émergence d'une nouvelle discipline ? Récits fondateurs, thématiques et critiques associées</td><td>21</td></tr><tr><td></td><td>Les approches communautaires pour réformer les pratiques scientifiques</td><td>24</td></tr><tr><td></td><td>La « science de la science » fondée sur des méthodes computationnelles en SHS</td><td>29</td></tr><tr><td></td><td>Démocratisation des données et « nouvelle garde » à la croisée des STS et de la scientométrie</td><td>31</td></tr><tr><td>4</td><td>La « recherche sur la recherche » comme outil de conduite des politiques publiques</td><td>37</td></tr><tr><td></td><td>Des politiques publiques fondées sur des preuves</td><td>37</td></tr><tr><td></td><td>De nouvelles alliances : centre de recherche, décideurs politiques et organismes de financement</td><td>38</td></tr><tr><td></td><td>Les enjeux de la « recherche sur la recherche » pour la science ouverte</td><td>42</td></tr><tr><td>5</td><td>Recommandations pour la préfiguration du Lab de la science ouverte</td><td>45</td></tr><tr><td></td><td>Éléments de positionnement stratégique</td><td>46</td></tr><tr><td></td><td>Organisation et mise en œuvre de l'activité du LabSO</td><td>49</td></tr><tr><td>6</td><td>Conclusion : la « recherche sur la recherche » au cœur d'un système partagé de connaissances issues de la recherche</td><td>51</td></tr><tr><td>7</td><td>Annexe 1 : Cartographie numérique : soutien à l'analyse qualitative</td><td>54</td></tr><tr><td>8</td><td>Annexe 2 : Trame des entretiens (fr/en)</td><td>60</td></tr><tr><td></td><td>Version française</td><td>60</td></tr><tr><td></td><td>Version anglaise</td><td>61</td></tr><tr><td>9</td><td>Annexe 3 : Liste des personnes citées et crédits</td><td>63</td></tr><tr><td>10</td><td>Bibliographie indicative</td><td>64</td></tr></table>

<figure><img src="image_11.png" /></figure>
# 1 | Introduction

## À propos de cette étude

En juillet 2021, le deuxième Plan national de la science ouverte annonçait la volonté de **développer le champ des recherches sur la recherche** en l'intégrant au cœur des actions de son quatrième axe « transformer les pratiques pour faire de la science ouverte le principe par défaut »<fnref n="3" />.

Pour cela, la création d'un **Lab de la science ouverte (LabSO)** était mentionné comme élément structurant pour répondre à deux objectifs : 1/ informer et orienter les politiques de science ouverte et 2/ favoriser leur déclinaison de la science ouverte. Les liens internationaux représentaient un autre axe clef avec la proposition d'un *Open Science Observatory* dans le contexte d'un paysage actif et en mouvement sur les thématiques de recherche sur la recherche et de *metascience*.

Avant de mettre en place un tel Lab de la science ouverte, il était nécessaire de **mieux comprendre le périmètre de la recherche sur la recherche (research on research)** dans un contexte international tout autant que ses articulations avec d'autres travaux actuels (*metascience*, *science of science*, *science and technology studies*, etc.). Quelques questions clefs étaient soulevées : Qui sont les acteurs impliqués dans ces travaux de recherche ? Quels sont leurs objectifs et démarches ? Quels liens avec les politiques publiques de recherche et de science ouverte plus spécifiquement ? Comment le LabSO pourrait se situer parmi les initiatives déjà existantes ?

Afin de répondre à ces questions, dans un paysage international dynamique sur ces thématiques<fnref n="4" />, le Comité pour la science ouverte a souhaité mener une étude exploratoire pour **mieux appréhender les acteurs et approches associées à la recherche sur la recherche et autres termes utilisés pour désigner le champ des recherches et études sur la science et la recherche aujourd'hui** (cf. encadré Terminologie <fnref n="5" />). Dans ce rapport, il ne s'agit pas donner une définition de ces termes mais de mieux comprendre qui sont les acteurs s'y rattachant, de noter les points communs et les divergences tout autant que les objectifs de leurs recherches et les publics associés (autres chercheurs, financeurs, politiques, etc.).

## Terminologie

Plusieurs termes sont employés pour désigner les recherches et études sur la science et la recherche. On trouve avant tout des termes transposés de l'anglais : *metascience*, *meta-research*, *research on research*, mais aussi d'études sur les sciences et technologies (*science and technology studies*) et de science de la science (*science of science*). La notion de « scientométrie » regroupe aussi un vaste ensemble de travaux visant à mesurer la production scientifique et son impact.

<footnote n="3">3 « Deuxième Plan national pour la science ouverte », consulté le 8 novembre 2021, https://www.ouvrirlascience.fr/deuxieme-plan-national-pour-la-science-ouverte.</footnote>

<footnote n="4">4 On peut par exemple citer la création du RoR Institute en 2019, la co-organisation de la conférence *Metascience* en 2021 par le Centre for Open Science, le RoRI et AIMOS, ou encore l'annonce d'un nouvel outil OpenAlex, dont le but est de remplacer Microsoft Academic Graph. Pour en savoir plus : Our Research Team, « MAG Replacement Update : Meet OpenAlex ! », OurResearch blog, 13 juin 2021, https://blog.ourresearch.org/openalex-update-june/.</footnote>

<footnote n="5">5 Dans le cadre de ce rapport, seront insérés différents encadrés apportant des précisions d'informations ou des apartés. Les visuels présentés sont issus du séminaire de préfiguration du Lab de la science ouverte, qui s'est tenu le 27 septembre 2021 au Centre Internet et Société (CIS) du CNRS. La présentation a servi de base à la rédaction du rapport.</footnote>
## Terminologie

<figure><img src="image_12.png" /></figure>

> "On those different terms, we regard them as fairly interchangeable. We use 'research on research' because it's easier to understand. To a lot of people in policy, meta-science isn't very clear." — citation en cours de validation

**STS**
Études des sciences et technologies

**Méta***
Meta-research
Meta-science
Research on Research (RoR)

Scientométrie

Science of
Science
(SciSci)

Dans le titre de ce rapport, le choix de favoriser le terme « recherche sur la recherche » tient au fait qu'il est aujourd'hui utilisé dans la sphère des politiques publiques. Comme le soulignait en entretien James Wilsdon, les termes *metascience* et *meta-research* sont souvent utilisés de manière interchangeable par les chercheurs, mais parlent moins au public non-académique.

Menée sur une période courte de moins de trois mois, l'étude exploratoire a permis de dresser un paysage d'acteurs et d'approches ainsi que d'initier un premier travail de cartographie numérique représentant les liens existants sur le Web entre différentes organisations et initiatives (financeurs, projets, centres de recherche, fournisseurs de données, éditeurs, etc.). Cette cartographie est proposée en annexe comme première contribution mise à disposition du LabSO.

L'étude répond ainsi à trois objectifs :

1. **repérer des grands courants de recherche en « recherche sur la recherche »** dans le paysage plus général de la recherche universitaire en Europe et outre-atlantique, **en reconnaître les principaux acteurs institutionnels et différencier les approches mobilisées** par les uns et les autres ;

2. **proposer une méthodologie d'analyse dans une démarche de science ouverte** (méthodes mixtes et cartographie numérique) pour faciliter son appropriation ;

3. **émettre des recommandations** pour faciliter le positionnement du LabSO et s'inspirer d'initiatives existantes.

<figure><img src="image_13.png" /></figure>
# Méthodes mixtes, numériques et démarche de science ouverte

## 1.1 Méthodes mixtes et cartographie numérique

L'étude s'appuie sur des méthodes mixtes de recherche (mixed methods research) et s'ancre dans les principes de la science ouverte, avec une démarche visant à la transparence des procédés et à la traçabilité des raisonnements et interprétations. L'approche mixte développée permet un croisement d'informations qualitatives (entretiens, analyse bibliographique) et quantitatives (cartographie numérique) recueillies lors de l'enquête. Plusieurs questions ont été formulées pour guider ce travail exploratoire et ont servi de base à la trame d'entretiens (cf. visuel « Questions de recherche »)<fnref n="6" />.

### Questions de recherche

4
axes

**1. Parties prenantes**

Qui sont les acteurs et réseaux impliqués dans les approches *meta*\* aujourd'hui ?

**2. Description du paysage**

Quels sont leurs visions, leurs objectifs ?

Quelles articulations avec les initiatives « science ouverte » ?

Quelles sont leurs spécificités ?

**3. Construction des politiques publiques & science ouverte**

Quelles influences des connaissances / outils produits par ces acteurs sur la construction des politiques publiques de recherche ?

Quels enjeux stratégiques ?

**4. Conseils : préfiguration LabSO**

Comment le projet du LabSO est-il perçu par d'autres acteurs déjà présents sur le terrain de la recherche sur la recherche (RoR) en Europe et à l'international ?

En tout, **13 entretiens semi-dirigés** d'une durée d'une heure ont été conduits sur la période d'août à septembre 2021 avec différents acteurs impliqués dans ces champs de recherche (cf. Annexe 3 : Liste des personnes citées et crédits). Ces derniers ont donné lieu à une interprétation qualitative. En parallèle, une analyse quantitative a été développée avec **l'emploi de méthodes dites numériques**. Suite à une phase de pré-analyse, la phase quantitative s'est centrée sur la **réalisation d'une cartographie numérique** décrivant un réseau d'URL obtenu via Hyphe, logiciel Open Source de moissonnage<fnref n="7" />. L'interprétation s'est construite sur la base d'un croisement de l'analyse qualitative et qualitative, les deux se nourrissant de manière itérative<fnref n="8" /> (cf. visuel « Méthodologie »).

<figure><img src="image_14.png" /></figure>

<footnote n="6">6 Les trames des entretiens réalisés en français et en anglais sont consultables dans l'Annexe 2 : Trame des entretiens (fr/en) de ce rapport.</footnote>

<footnote n="7">7 Pour en savoir plus Hyphe : [hyphe.medialab.sciences-po.fr](http://hyphe.medialab.sciences-po.fr/)</footnote>

<footnote n="8">8 Les méthodes mixtes de recherche se caractérisent entre autres par « l'idée de 'triangulation' consistant à croiser des regards divers sur un même objet, c'est-à-dire à mobiliser une diversité de méthodes pour consolider une explication et affermir les résultats. Dans cette perspective, les méthodes mixtes comporteraient un indéniable apport heuristique puisqu'elles permettraient de s'assurer de la robustesse des résultats de recherche, en contrôlant notamment les effets propres à chacune des méthodes qui comportent toutes des 'biais' ». Thomas Aguilera et Tom Chevalier, « Les méthodes mixtes : vers une méthodologie 3.0 ? », Revue française de science politique Vol. 71, no 3 (13 octobre 2021) : 361-63. La stratégie d'intégration adoptée pour cette étude se déroule en deux temps, un premier temps de synthèse générale des données issues de sources différentes et un deuxième temps d'interprétation conjointe, qui pourrait être continuée lors d'une séance de travail collaborative au sein du LabSO. Pour en savoir plus sur les différentes stratégies d'intégration possibles, voir Pat Bazeley, « Integrating Data Analyses in Mixed Methods Research », Journal of Mixed Methods Research 3 (11 juin 2009) : 203-7, https://doi.org/10.1177/1558689809334443.</footnote>
## Méthodologie

### Pré-analyse

* Définition de la méthodologie d'analyse cartographique

* Test d'outils d'exploration bibliographique

* Exploration bibliographique

<figure><img src="image_15.png" /></figure>

Dimensions

<figure><img src="image_16.png" /></figure>

paperbuzz

### Analyse

* Quantitative : analyse de réseaux, entretiens méthodologiques

* Qualitative : 13 entretiens menés (sur 8 prévus)

* Constitution d'une base bibliographique

* Analyse croisée (quanti-quali)

<figure><img src="image_17.png" /></figure>

zotero

<figure><img src="image_18.png" /></figure>

GitLab

<figure><img src="image_19.png" /></figure>

hyphe

sigmajs

### Points clés

* 13 entretiens : AIMOS, COS, CoSO, CRCTCS, CSI (2), CWTS, IRIT, METRICS, QUEST, Reproducibility Initiative Brazil, Research Impact Canada, RoRI,

* Une démarche science ouverte avec l'utilisation de logiciels libres

* Remerciements : Tommaso Venturini, Mathieu Jacomy, Héloïse Théro (MediaLab) conseils pour méthodologie numérique

### Synthèse

Présentation au séminaire de préfiguration du LabSO

### Rapport

Rédaction du rapport complet en français et anglais

<table><tr><td>Juillet</td><td>Août</td><td>Septembre</td><td>Séptembre</td><td>Octobre</td></tr></table>

## 1.2 Démarche science ouverte

L'étude a aussi été l'occasion de mettre en application une démarche de science ouverte impliquant l'usage de logiciels libres et la mise à disposition des ressources quantitatives (données, journal de bord, etc.) ayant servi à l'élaboration des représentations cartographiques. D'autre part, les pistes d'analyse proposées sont le résultat d'un processus collaboratif de recherche qui a mobilisé plusieurs acteurs clefs de l'écosystème de la science ouverte en France, dont des personnes regroupées lors du séminaire de préfiguration du LabSO. La construction cartographique et une réflexion sur les résultats obtenus a fait aussi l'objet d'échange avec différents chercheur·e·s et ingénieur·e·s spécialisé·e·s sur ces objets de recherche<fnref n="9" />.

### Regard qualitatif

Pour l'analyse des entretiens, une attention particulière a été portée sur les dispositifs socio-techniques et leurs dynamiques. Par dispositifs socio-techniques, nous entendons l'ensemble des acteurs mais aussi outils et plateformes qui structurent les activités de productions de connaissances scientifiques.

Voici les informations qui ont fait l'objet d'un recensement et d'une analyse :

* Acteurs : instituts, communautés et personnes impliqués ainsi que leurs motivations

* Objets/outils employés/développés

* Infrastructures sur lesquels les recherches se fondent ou circulent (sources des données)

* Méthodes d'analyse employés par différentes communautés d'acteurs

* Modes de communication et de structuration de communautés de pairs : conférences, journaux

* Soutiens financier et politique

Un regard a aussi été porté sur les controverses et les frictions entre différents courants et approches des études sur la science et la recherche.

<footnote n="9">9 Nous remercions particulièrement Audrey Baneyx, Mathieu Jacomy, Benjamin Ooghe-Tabanou, Héloïse Théro, Tommaso Venturini et l'ensemble de l'équipe du Medialab de Science Po pour leur aide et conseils.</footnote>
# Premier constat et plan du rapport

## 1.1 Une diversité de profils et de parcours

La diversité de termes associés aux études sur la science et la recherche aujourd'hui s'explique par la présence **de disciplines académiques, de cadres institutionnels et organisationnels distincts**. On retrouve **cette diversité à l'échelle individuelle dans le parcours des personnes interviewées** comme le cas d'un informaticien qui considère avoir fait un « pas de côté » vers les STS (science and technologie studies). Parmi la pluralité des parcours, trois profils ont pu être repérés :

* Tout d'abord, **des chercheurs et chercheuses de disciplines des sciences humaines et sociales (SHS)** comme la sociologie, l'histoire des sciences, la philosophie, ou encore l'économie, qui se sont **spécialisé en** s sur l'étude des sciences et technologies dans des centres et laboratoires dédiés.

* Ensuite, **des chercheurs et chercheuses venant de disciplines des sciences et techniques médicales (STM)** comme la médecine, la psychologie, la biologie, la chimie ou encore l'informatique, qui se sont intéressées au cours de leur parcours étudiant puis professionnel à la metascience/méta-research et en ont fait leur spécialité. Ces derniers ont rejoint des centres ou laboratoires (universitaires ou non) dédiés avec des équipes interdisciplinaires et des missions stratégiques<fnref n="10" />. Souvent leurs motivations sont fondées en partie par une « frustration » ou des critiques apportées aux disciplines dont ils et elles proviennent qui les ont poussés à s'interroger sur leurs pratiques et à vouloir les améliorer<fnref n="11" />.

* Dernièrement, **un ensemble de chercheurs et chercheuses qui exercent dans leurs disciplines académiques principales** mais mènent des études supplémentaires à ce sujet et s'impliquent sur les thématiques de science ouverte ou de recherche numérique au titre d'autres fonctions (référent science ouverte, numérique, etc.)<fnref n="12" />.

Pour toutes et tous, outre les fonctions de recherche, d'autres fonctions sont souvent prises par ces personnes, par exemple des fonctions éditoriales, de management ou bien des missions de conseil pour leurs centres de recherche (cf. visuel « premiers constats »).

<footnote n="10">10 Dans ce groupe se retrouvent notamment de nouveaux acteurs institutionnels tels que METRICS, COS, AIMOS ou encore les Reproducibility Networks au niveau européen (UK Reproducibility Network, German Reproducibility Network, etc.).</footnote>

<footnote n="11">11 Ainsi, Jason Chin mentionnait que lors d'un parcours initial en psychologie, il avait eu de nombreuses difficultés à répliquer des études et perçu de nombreux biais. Cela l'a amené à s'intéresser à d'autres champs disciplinaires, tels que le droit, puis à se rapprocher des projets de metascience et de science ouverte menés au sein de l'AIMOS.</footnote>

<footnote n="12">12 Guillaume Cabanac indiquait par exemple que ses premiers travaux concernant la science ouverte ont commencé lors de la période de la Covid-19 avec le projet Covid-19 Pre print tracker, développé en partenariat avec des équipes de santé pour aider à suivre les publications de pre-print et leurs évolutions. Le code informatique ayant servi au développement de l'outil est mis en ligne sur Zenodo et Github.</footnote>
Premiers
constats

Entretiens qualitatifs : une diversité de parcours

“
> « I've seen a lot of failure in replication » — citation en cours de validation
> 
> « We are very uncreative in science » — citation en cours de validation
> 
> « [Je suis] un informaticien qui a fait un pas de côté en STS » — citation en cours de validation

Disciplines « initiales »

* Sociologie, STS

* Histoire des sciences

* Philosophie

* Droit

* Informatique, computer science

* Médecine, Psychologie

* Sciences de la vie (biologie, neurologie, neurosciences computationnelles)

* Chimie

Cadres institutionnels

<figure><img src="image_20.png" /></figure>

SHS

Centre,
laboratoire ou
école dédié

<figure><img src="image_21.png" /></figure>

Méta*

Nouveaux
instituts ou
centres dédiés

<figure><img src="image_22.png" /></figure>

Hybrids

Dans leurs
disciplines &
méta* en plus

Fonctions supplémentaires : mission de conseils, fonction éditoriale, etc.

1.2 Plan du rapport

Ces profils offrent un premier aperçu des acteurs prenant part à ces champs de recherche à l'échelle
individuelle. Dans la suite du rapport, l'analyse se situe à une échelle plus macro afin de dresser un
paysage général et de donner quelques grandes lignes des courants de recherche représentés et des
différents acteurs impliqués ainsi que les spécificités de leurs approches. L'approche macro à échelle
internationale (Amérique du Nord et Europe<fnref n="13" />) a pour désavantage de réduire la finesse de l'analyse
des communautés de recherche, de leurs dynamiques et des sous-courants de recherche qui les
constituent<fnref n="14" />. Néanmoins, cette grille d'analyse « idéal-typique » donne un premier aperçu et a pour
objectif d'aider des personnes extérieures à ces recherches à se repérer dans un paysage divers et
en mouvement. Différentes catégories issues de l'analyse croisée qualitative et quantitative, sont
présentées dans la suite de ce rapport. À chaque fois, une présentation générale des communautés,
mouvements, réseaux d'acteurs et de leurs approches est faite. Des encadrés apportent des
compléments d'informations et détaillent les projets, centres, articles et conférences caractéristiques de
chaque approche.

La suite de ce rapport présente différents approches réparties sur trois chapitres. Nous avons fait le
choix de présenter en premier lieu **(chapitre 2 |) les études des sciences et de la production
scientifique, menées de longue date** par des courants de recherche académique avec le champ
interdisciplinaire des études des sciences et technologies (STS) () et les sciences des
« mesures » (scientométrie et bibliométrie) ()

<footnote n="13">13 L'étude a amené également à s'intéresser à l'Amérique Latine et la région du Pacifique. Plusieurs entretiens faisaient ressortir que le modèle éditorial latino-américain était très différent de celui des autres régions. Scielo a été donné en exemple de mode de diffusion open access « plus libre » et indépendant des grandes entreprises éditoriales comme Elsevier ou Clarivate. Des communautés en STS sont aussi présentes en Amérique Latine avec un nombre important de travaux réalisés et moins connus en Europe et Amérique du Nord. Par ailleurs, un entretien a été mené avec Olavo Amaral du *Brazilian Reproducibility Initiative*, qui a pu spécifier quelques caractéristiques des projets de *metascience* et des modes de financement par des projets internationaux ou par des fondations privées au Brésil.</footnote>

<footnote n="14">14 Par exemple, des thématiques telles que la science participative ou les communs ne sont pas présentes car elles sont moins représentatives du paysage général, même si elles représentent des enjeux de recherche pour la science ouverte aujourd'hui.</footnote>
Le chapitre 3 | est consacré à la présentation des travaux sur la recherche issus de communautés et mouvements scientifiques plus récents s'ancrant dans les récits fondateurs d'une meilleure science possible et d'une recherche prenant parti d'approches *data intensive*. Ce discours de l'émergence même d'une discipline, la *metascience*, a fait l'objet de critiques de la part de courants initiaux(). La sous-partie décrit **les démarches communautaires impulsées dans le domaine bio-médical et les méthodes interventionnelles et expérimentales** qu'elles proposent pour une « réforme scientifique ».
Le courant de la *science of science* y est distingué car provenant plutôt du développement des sciences sociales computationnelles(). Enfin une dernière sous-partie () dessine **la restructuration de communautés existantes en STS et scientométrie pour former une « nouvelle garde »** prenant comme objet d'étude la science ouverte, tout autant que les critères d'inclusivité, d'intégrité et de diversité en recherche, associant à leurs réflexions théoriques une mise en application de ces principes (3.4). Dans cette mouvance de science ouverte et de démocratisation de l'accès aux données, un focus est fait **sur le développement de quelques outils par différentes initiatives pour se réapproprier les modalités d'évaluation de la production scientifique.**

Le chapitre 4 | s'intéresse plus spécifiquement au courant de la « recherche sur la recherche » comme outil de conduite des politiques publiques de la recherche. S'inspirant des mouvements précédents, ces approches visent à développer des politiques publiques fondées sur les preuves () et pour cela créent des alliances d'un nouveau genre entre centres de recherches, décideurs politiques, organismes de financement et fournisseurs de données de la recherche(). La « recherche sur la recherche » même si elle s'ancre dans des principes de la science ouverte (notamment le libre accès aux articles scientifiques), s'en distingue sur quelques aspects concernant les principes d'infrastructures ouvertes des données et de réappropriation publique de l'évaluation de la recherche().

Le chapitre final 5 | apporte quelques éléments stratégiques pour la préfiguration du Lab de la science ouverte issus des entretiens menés dans le cadre de cette enquête. Enfin en annexes, se trouvent les détails sur la cartographie réalisée sur la base de méthodes numériques<fnref n="15" />, la trame des entretiens et la liste des personnes interrogées.

<footnote n="15">15 Cette contribution cartographique représente encore un travail en cours dont la mise à disposition du code, des sources et des données ont pour but de faciliter la réutilisation et de prochaines itérations aux communautés de recherche qui souhaitent s’en emparer.</footnote>
# 2 | Études des sciences et de la production scientifique : écosystèmes pré-existants

## L'étude des sciences et technologies (STS)

Le domaine transdisciplinaire des études des sciences et technologies (Science and Technology Studies) regroupe un ensemble de recherche visant à « comprendre les aspects historiques, politiques, culturels, conceptuels et pratiques de la science, et de ses implications »<fnref n="16" />. Ces études s'inscrivent dans un vaste ensemble de travaux initiés dès les années 1960 associés à la sociologie des sciences, l'histoire des sciences, la philosophie des sciences et aujourd'hui à la croisée entre différentes disciplines (sciences politiques, économie, sciences de l'information et de communication, etc.). Plusieurs courants de pensées, d'écoles se rencontrent avec des approches théoriques, méthodologiques et des objets de recherche variés<fnref n="17" />. Ces courants sont au fondement même des mouvements actuels de recherche sur la recherche et de science ouverte :

> « Il existe une vieille tradition de la sociologie des sciences qui préexiste au mouvement de la science ouverte (paysage académique, approche bibliométrique, histoire). Ces principes sont des clefs de compréhension de la science et représentent une force importante et connue en France et à l'étranger. » Marin Dacos

Sans volonté d'exhaustivité, nous pouvons citer quelques champs de recherche notamment les fondateurs sur les communautés scientifiques autour des normes en science<fnref n="18" />, l'étude des réseaux de chercheurs et leurs influences sur la diffusion des connaissances, la construction sociale des connaissances scientifiques dans un cadre organisationnel et institutionnel donné. Dans les années 1980, les STS se sont aussi développées autour d'approches ethnographiques et qualitatives (anthropologie de laboratoires et des savoirs). Les technologies dans la production scientifique sont devenues un objet majeur d'étude notamment concernant les interactions entre sciences, technologies et société face à une défiance de plus en plus grande face aux technosciences<fnref n="19" />. Les technologies numériques sont aujourd'hui aussi au cœur des problématiques de recherche aussi bien sur les transformations des pratiques des chercheurs associées aux données (data driven research) que des modalités d'une économie de l'immatériel. La science ouverte fait l'objet d'un nombre de travaux grandissants ces dernières années (cf. encadrés « Exemple de projet » et « Exemples d'ouvrages » ci-dessous).

<footnote n="16">16 Michael Lynch, « Social Studies of Science », in Encyclopedia of Social Theory (Thousand Oaks : SAGE Publications, Inc., 2005), 765-68, https://doi.org/10.4135/9781412952552.</footnote>

<footnote n="17">17 Néanmoins, comme le précise un des interviewés, les STS développent des cadres théoriques communs en traitant de manière transversale un ensemble de disciplines et d'objets à la différence par exemple de la *metascience* (cf. chapitre 3 |) qui développe (tout au moins à ses débuts) une approche disciplinaire. Une critique commune au sujet de ces communautés est de « réinventer la roue » et de faire sa propre histoire sans prendre en considération la longue lignée de travaux autour de la science (cf.).</footnote>

<footnote n="18">18 Voir Robert K. Merton, *The Sociology of Science* (University of Chicago Press, 1973), https://press.uchicago.edu/ucp/books/book/chicago/S/bo28451565.html. Les travaux de Merton ont notamment été repris dans l'argumentaire en faveur de la science ouverte. Néanmoins, il est intéressant d'étudier aussi le contexte de production de ces connaissances par Merton qui l'ont poussé à ces notions idéalistes.</footnote>

<footnote n="19">19 Voir Dominique Pestre, éd., Le gouvernement des technosciences. Gouverner le progrès et ses dégâts depuis 1945 (Paris : La Découverte, coll. « Recherches », 2014). et Bernadette Bensaude-Vincent, Les vertiges de la technoscience (La Découverte, 2009), https://doi.org/10.3917/dec.bensa.2009.01.</footnote>
## Exemple de projet et d'ouvrages

* Dirigé par Sabina Leonelli, le projet « *A Philosophy of Open Science for Diverse Research Environments (PHIL_OS)* » lauréat du Conseil européen de la recherche pour la période 2021-2026, et emblématique d'une approche en philosophie des sciences des pratiques actuelles de recherche en science ouverte.
  https://socialsciences.exeter.ac.uk/sociology/staff/leonelli/

* Sönke Bartling et Sascha Friesike, *Opening Science : The Evolving Guide on How the Internet is Changing Research, Collaboration and Scholarly Publishing* (Springer, 2014).

* Sabina Leonelli et Niccolò Tempini, éd., *Data Journeys in the Sciences* (Springer International Publishing, 2020), https://doi.org/10.1007/978-3-030-37177-7.

Les perspectives économiques et politiques se retrouvent aujourd'hui aussi dans le champ des études des politiques d'innovation (**innovation and policy studies**) afin de savoir piloter le système de recherche et son impact économique et sociétal<fnref n="20" />. Ces travaux sont menés dans des centres de recherche spécialisés. Pour la France, on peut noter le Centre de Sociologie de l'Innovation de l'École des Mines Paris Tech, l'Institut francilien Recherche Innovation Société (IFRIS). D'autres disciplines des sciences sociales y sont associées comme les sciences politiques, l'économie ou encore le droit qui joue un rôle majeur pour la gestion et la valorisation de ressources immatérielles. Ces dernières travaillent depuis longtemps à comprendre l'impact social et économique de la production scientifique et de l'innovation avec des sujets variés d'étude comme l'anthropologie des sciences et des techniques, les politiques de recherche et d'innovation, ou encore la construction des marchés et des usages.

## Exemple de centre de recherche

* Centre de sociologie de l'innovation (CSI), École des Mines Paris Tech<fnref n="21" />

> « En s'appuyant sur les acquis des STS (Science and Technology Studies) et des démarches d'inspiration pragmatiste, le CSI développe des recherches sur ces problèmes publics et sur les enquêtes que mènent à leur propos une pluralité d'acteurs. Ces recherches examinent les connaissances et les dispositifs que produisent les acteurs pour qualifier les problèmes en cause et dire comment ils les concernent. Les approches mises en œuvre visent à renouveler l'ancien slogan de la théorie de l'acteur-réseau, « suivre les acteurs eux-mêmes », en recherchant la coopération avec les personnes et les collectifs qui s'efforcent de faire compter ces réalités inédites et conçoivent de nouvelles manières d'en rendre compte : publics, usagers, pouvoirs publics, entreprises, scientifiques, activistes, associations... » https://www.csi.minesparis.psl.eu/recherches/

Comme le souligne une personne interrogée, les nombreux travaux d'étude des sciences sous différents angles (qualitatifs, quantitatifs, différentes écoles, différentes données étudiées) sont souvent ignorés par de nouvelles communautés plus récentes. Leur fondement sur des approches observationnelles et descriptives dépeint de nouvelles démarches plus prescriptives et interventionnelles(). À ce vaste domaine de recherche s'ajoute un autre domaine ayant une longue histoire de recherche dès les années 70 concerne les « sciences des mesures ».<fnref n="22" />

<footnote n="20">20 Comme le souligne David Pontille, il s'agit plutôt d'un renouvellement de cette thématique ces dernières années comme le montre l'ouvrage représentatif de Scott Frickle et Kelly Moore, *The New Political Sociology of Science* (UW Press, 2005), https://uwpress.wisc.edu/books/3618.htm.</footnote>

<footnote n="21">21 En France, d'autes centres sont impliqués tels que l'Institut Francilien de Recherche Innovation Société (IFRIS) : https://ifris.org/</footnote>

<footnote n="22">22 Dans le contexte de ce rapport, le choix a été fait de dissocier les études des sciences et technologies et les sciences des « mesures » même si ces deux approches regroupent des acteurs communs et sont souvent assimilées au champ des *Science and technology studies* (STS).</footnote>
Les sciences des « mesures » : scientométrie et bibliométrie

Les sciences des « mesures » est l'expression générique employée ici pour se référer aux travaux quantitatifs d'étude de l'information et de la documentation scientifique (*Library and Information Sciences*) visant à mettre au point des indicateurs pour aider au repérage d'informations clefs relatives à la production scientifique. Ces méthodes se fondent sur des calculs mathématiques et statistiques appliqués par voie informatique. Si l'on parle de bibliométrie pour l'étude plus précise des publications scientifiques issues de bases de données tels que Scopus (Elsevier) ou Web of Science (Clarivate), le terme de scientométrie inclus plus largement une diversité d'objets et d'approches employées pour mesurer la production de recherche scientifique contemporaine, en prenant en considération l'évolution de la communication et de l'évaluation scientifique (données, métadonnées, métriques alternatives, pre-print, DOI, etc.). Aujourd'hui, des travaux par exemple à la croisée avec la linguistique et l'informatique se basent sur les techniques de fouilles de textes (text and data mining) pour repérer de l'auto-plagiat, étudier la structure des articles scientifiques, détecter des erreurs dans la science et se questionner sur les mécanismes possibles d'auto-correction de la science. Différentes méthodologies notamment celles associées au machine learning et au traitement automatique des langues (*Natural Language Processing*) sont mises en application pour étudier les productions scientifiques.

Exemple de revues

* Journal of Infometrics

« Journal of Informetrics (JOI) publie des recherches rigoureuses et de qualité sur les aspects quantitatifs des sciences de l'information. Le journal se concentre principalement sur des sujets en bibliométrie, scientométrie, webométrie, brevetométrie, altmétrie et évaluation de la recherche. » https://www.sciencedirect.com/journal/journal-of-informetrics

• Scientometrics

« La scientométrie s'intéresse aux caractéristiques quantitatives de la science et de la recherche scientifique. L'accent est mis sur les enquêtes dans lesquelles le développement et le mécanisme de la science sont étudiés par des méthodes mathématiques statistiques. » https://www.springer.com/journal/11192

Exemple de laboratoire universitaire en France

* Équipe de recherche de Lyon en sciences de l'Information et de la COmmunication (ELICO)

« Les cadres épistémologiques et théoriques, à partir desquels les membres d'ELICO développent leurs objets de recherche [...] sont formulés en trois couples conceptuels : Discours-représentations / Normes-institutions / Savoirs-documents. Ces trois couples fondent la production de savoirs théoriques et empiriques sur les processus infocommunicationnels selon une perspective d'analyse critique et politique. Il s'agit de prendre en compte les différentes dimensions constitutives des données, des discours, du document, et de se saisir de manière critique des modèles de publication et des dispositifs ; de prendre acte des propriétés matérielles et symboliques des dispositifs médiatiques (supports, formats, textualité, écriture, éditorialisation) ; de mobiliser des démarches situées visant à caractériser les modalités politique, économique, sociale de l'agir communicationnel. » https://elico-recherche.msh-lse.fr/lunite

Une des thématiques majeures d'intérêt de ce courant de recherche concerne **la création d'indicateurs et de métriques se fondant sur des bases de données de publications scientifiques.** Les premiers indicateurs notamment le facteur d'impact développé au sein de l'ISI (*Institute for Scientific Informations*) par E. Garfied a été développé afin d'aider les bibliothécaires à se repérer et faire des
choix éclairés sur les abonnements à opérer sur tels ou tels revues<fnref n="23" />. Les observatoires des Sciences et Techniques ont un rôle prépondérant dans le suivi et l'évaluation des politiques publiques de recherche pour donner un aperçu des productions scientifiques et aider à l'évaluation de la recherche (financement, carrière, etc.). Comme le rappelle Vincent Larivière, ces disciplines ont travaillé depuis de nombreuses années « main dans la main » avec les politiques publiques pour venir assister les modes de décisions et l'évaluation de la recherche sur la base de l'analyse quantitative des productions et informations scientifiques. Au-delà des indicateurs, les problématiques de contrôle qualité et de reconnaissance de contributions de différentes natures sont prégnantes et comme l'indique David Pontille concernent aujourd'hui de nouveaux outils et objets numériques. Par exemple, les identifiants uniques (ORCID, DOI, ROR, etc.) articulés à des métriques alternatives sont au cœur des sujets de recherches mais également de critiques et de réflexivité quant à l'usage d'indicateurs notamment à des échelles individuelles.

Un aspect « critique » et réflexif est souvent mis en avant par les communautés de recherche pour sensibiliser et éviter un « usage cynique » de ces outils de mesures et d'évaluation. Ces derniers, de par une démocratisation des données utilisées par un plus grand nombre d'acteurs de aux objectifs variés, font l'objet d'un ensemble de point de vigilance par une nouvelle garde d'acteurs à la croisée entre la scientométrie et l'étude des sciences et technologies (STS) ()

## Exemples de projet

### NanoBubbles

« Le projet NanoBubbles est dirigé par 4 chercheurs des universités de Paris Sorbonne Nord, Maastricht, Grenoble-Alpes et Radboud, en collaboration avec des chercheurs du CNRS, de l'université de Twente, de l'IRIT et de l'école des Ponts. Le projet se concentre sur comment, quand et pourquoi la science ne parvient pas à se corriger. Pour comprendre comment la correction de la science fonctionne ou échoue, le projet NanoBubbles combine des approches issues des sciences naturelles, de l'ingénierie<fnref n="24" /> (traitement du langage naturel) et des sciences humaines et sociales (linguistique, sociologie, philosophie et histoire des sciences). » https://nanobubbles.hypotheses.org/

En résumé, une longue tradition de l'étude des sciences regroupant des approches méthodologiques et théoriques variées – provenant des sciences sociales principalement – traverse le milieu académique allant de la sociologie, la philosophie, l'histoire des sciences à la structuration de communautés transdisciplinaires telles que les études des sciences et technologies (STS) et les sciences des mesures (scientométrie, bibliométrie). Aujourd'hui cette tradition est considérée comme descriptive et observationnelle alors que les nouveaux courants apparus plus récemment – portés par des communautés bio-médicales – font preuve d'une approche plus interventionnelle et prescriptive. Ces communautés s'appuient sur des méthodes de recherche de plus en plus numériques, produisant ainsi toujours plus de données qu'il est possible de recueillir (via des bases de données, des entrepôts, etc.) et d'analyser. Il s'agit tout autant des résultats de recherche que des données produites au long des processus engagés en amont puis en avant de leur obtention, inhérentes aux pratiques de recherche

<footnote n="23">23 Pour plus d'informations sur l'histoire de la scientométrie et de la bibliométrie, voir David Pontille et Didier Torny, « La manufacture de l'évaluation scientifique », Reseaux n° 177, no 1 (2 mai 2013) : 23-61. ; David Pontille, « Les transformations de la contribution scientifique », Histoire de la recherche contemporaine. La revue du Comité pour l'histoire du CNRS, no Tome IV-N°2 (15 décembre 2015) : 152-62, https://doi.org/10.4000/hrc.1117.; Mooc SciNum, Panorama de l'évaluation scientifique et de ses évolutions : du facteur d'impact au h-index S6, 2015, https://www.youtube.com/watch?v=byRK3GusJyY.</footnote>

<footnote n="24">24 La revue *Science and Engineering Ethics* est citée dans ce projet.</footnote>
(publications d'articles, de pre-print, d'essais cliniques, de navigation sur des plateformes, etc.). Ainsi, l'analyse de ces différentes productions et/ou traces numériques<fnref n="25" />, vise à mieux comprendre les communautés scientifiques, leurs usages tout autant que des mésusages en science. L'objectif dans une approche plus prescriptive est de participer à une « meilleure science » ouverte, inclusive, intègre et responsable.

## Écosystèmes existants

<figure><img src="image_23.png" /></figure>

SHS

1

Nous identifions 3 écosystèmes pré-existants :

### Étude des sciences

Thématiques abordées depuis plus de 25 ans. Structuration des STS en plus des approches en histoire des sciences, philosophie des sciences, éthiques, etc.

<figure><img src="image_24.png" /></figure>

> « Il y a une vielle tradition en sociologie des sciences qui pré-existe au mouvement de la science ouverte » — citation en cours de validation

2

### « Innovation and policy studies »

Des approches en lien avec les « nouvelles » politiques des sciences et des recherches sur l'innovation.

> « L'info-comm donne le socle méthodologique préexistant à ces pratiques avec les experts en bibliométrie » — citation en cours de validation

3

### Sciences des mesures (metrics)

Champ de la scientométrie et bibliométrie au croisement de différentes disciplines (informatique, linguistique, info-comm, etc.).

⇒ Des approches jugées descriptives par de nouveaux collectifs / communautés.

**Exemples de centres :**
CSI, CRCTCS, IFRIS, School of Public Policy (Georgia Tech)

<footnote n="25">25 Pour approfondir la notion de traces numériques, voir Alan Ouakrat et Julien Mésangeau, « Resocialiser les traces d'activités numériques : une proposition qualitative pour les SIC », Revue française des sciences de l'information et de la communication, no 8 (1 janvier 2016), https://doi.org/10.4000/rfsic.1795.</footnote>
## 3 | Metascience, science of science : l'émergence et la (re)structuration de communautés scientifiques

Suite à une crise de réplicabilité<fnref n="26" /> en sciences et au constat de certains dysfonctionnements récurrents et systémiques dans la recherche scientifique (grand nombre de rétraction d'articles, p-hacking, etc.<fnref n="27" />), le récit d'une science « cassée » a fait son apparition ces dernières années au sein de plusieurs communautés de recherche notamment bio-médicales. Comme le mentionne Vincent Larivière, de par le nombre de travaux qu'ils représentent et les financements qui y sont apportées<fnref n="28" />, les sciences de la santé ont fait l'objet d'une attention toute particulière sur le manque de transparence, de reproductibilité et réplicabilité des travaux, dans un contexte de pression et de compétition importante entre équipes et de course à la publication. Afin de remédier à ces « mauvaises pratiques »<fnref n="29" />, de nouvelles communautés se sont constituées avec plus ou moins de considération (au départ) pour les courants et disciplines préalablement présentés dans ce rapport (cf.).

Ces nouvelles communautés naissent de la convergence de deux facteurs. Tout d'abord **en lien avec l'argumentaire de la science ouverte, celle de vouloir faire une meilleure science ou proposer un meilleur système de recherche** fondé sur la transparence et l'accessibilité des ressources. Ensuite, elles prennent leur appui **sur les opportunités offertes par la numérisation de la recherche et la mise à disposition d'une grande quantité de données dont l'accès ne dépend plus des acteurs traditionnels de l'édition.** En effet c'est un ensemble de nouvelles infrastructures et de nouveaux outils qui se sont développés pour structurer, repérer, découvrir les connaissances, désormais rendus accessibles au-delà d'un public de scientomètres experts, comme cette citation le décrit :

> « Pour des nouveaux acteurs on voit bien comment on part d'une situation où des laboratoires sont très liés à des politiques publiques pour en arriver à une “moulinette à la maison” où chacun a accès à son H-Index. Le thème est devenu à la mode et les politiques publiques ont de vrais enjeux [...]. Il y a un mouvement qui va de scientomètres experts vers de nouveaux acteurs non-orientés par les mêmes expertises. Certains ne se rendent pas compte de ce qu'ils développent. Articulé à des politiques publiques, cela change d'échelle et cela change de prescription. » – David Pontille

<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

<footnote n="26">26 La crise de réplicabilité, aussi appelée crise de la reproductibilité, est une prise de conscience généralisée au cours des années 2000-2010 de la difficulté de reproduire des résultats d'expériences effectuées dans le cadre de recherches scientifiques, notamment dans les domaines de la médecine et en psychologie. Sur le sujet voir Jonathan W. Schooler, « metascience Could Rescue the ‘Replication Crisis’ », Nature 515, no 7525 (novembre 2014) : 9-9, https://doi.org/10.1038/515009a.</footnote>

<footnote n="27">27 Pour un approfondissement de la question des mésusages en science et leur lien avec la question de la réplicabilité, voir Megan L. Head et al., « The Extent and Consequences of P-Hacking in Science », PLOS Biology 13, no 3 (13 mars 2015) : e1002106, https://doi.org/10.1371/journal.pbio.1002106. et Rolf Ulrich et Jeff Miller, « Questionable research practices may have little effect on replicability », éd. par Peter Rodgers, William Hedley Thompson, et Gregory Francis, eLife 9 (15 septembre 2020) : e58237, https://doi.org/10.7554/eLife.58237.</footnote>

<footnote n="28">28 Par exemple, le Wellcome Trust possède un institut de financement dédié aux domaines de la santé : https://www.sanger.ac.uk/</footnote>

<footnote n="29">29 Nous mettons « mauvaises pratiques » entre guillemet car les normes sous-jacentes à la qualification de bonnes ou de mauvaises pratiques sont en soi une question de recherche.</footnote>
Outre l'aspect observationnel et de conseils, ces communautés ont en effet une volonté prescriptive très marquée et souhaitent améliorer le système de recherche scientifique. Il s'agit pour ces communautés de mener une réforme scientifique (a scientific reform) pour faire évoluer les pratiques scientifiques afin de les rendre plus efficaces, de meilleure qualité, mais aussi de changer la culture et finalement le système de recherche scientifique (cf.encadré « Les récits fondateurs »). Concernant les démarches méthodologiques celles-ci mobilisent majoritairement des méthodes quantitatives provenant des domaines des sciences et techniques médicales, avec notamment des approches fondées sur les preuves (evidence-based). Ces méthodes ont pour objectif de valider empiriquement des résultats pour les rendre actionnables à plusieurs niveaux : au niveau des pratiques de recherche, au niveau des outils et des infrastructures, et au niveau des politiques publiques.

## De nouvelles communautés

<figure><img src="image_27.png" /></figure>

<figure><img src="image_28.png" /></figure>

L'apparition et la structuration de nouvelles communautés de recherche :

« making the science system better »

### Des distinctions géographiques à prendre en considération :

* Structuration des politiques publiques et de l'évaluation (ex. Canada)

* Structuration de l'open science et de l'édition (ex. Amérique Latine)

* Structuration des champs disciplinaires (ex. France SIC)

<figure><img src="image_29.png" /></figure>

> « The field of metascience expands these areas of inquiry with modern methods, data-intensive approaches, direct involvement of domain researchers, and both descriptive and prescriptive research interests to understand and to change and improve the research process and culture. »

> — Center for Open Science, HDR Institute: Institute for Metascience, NSF 21-519 Grant Proposal, Open Science Framework (2020)

Ces communautés se distinguent néanmoins par le vocabulaire et les méthodes employés ainsi que par les secteurs d'activité et les modèles organisationnels les soutenant. Nous avons distingué différentes approches<fnref n="30" /> qui font l'objet des deux chapitres suivants :

* Les approches communautaires de la metascience et meta-research (meta*) pour réformer la science, impulsées au départ dans le domaine biomédical () ;

* La « science de la science » (SciSci) fondée sur des méthodes computationnelles en sciences sociales () ;

* La « nouvelle garde », à la croisée des STS et de la scientométrie, engagée dans la science ouverte, promouvant l'intégrité, la diversité et l'inclusivité en recherche, et développant les dynamiques de réappropriation d'outils d'évaluation de la recherche par et pour les communautés grâce à la démocratisation des données () ;

* La « recherche sur la recherche » pour la mise en œuvre de politiques publiques fondées sur des preuves () donnant lieu à de nouvelles alliances entre centres de recherches, décideurs politiques, organismes financeurs et fournisseurs de données (). Quelques distinctions seront faites entre ces approches, qui n'ont pas toutes comme sujet d'étude la science ouverte ().

<footnote n="30">30 Derrière ce découpage théorique, les démarches se recoupent et plusieurs acteurs peuvent se retrouver à la croisée des différentes approches.</footnote>
# L'émergence d'une nouvelle discipline ? Récits fondateurs, thématiques et critiques associées

Pour se familiariser avec ces communautés, le nuage de mots ci-dessous tirés des conférences *metascience* 2019 et 2021 offre un aperçu des thématiques clefs abordées au sein de ces communautés et des enjeux qui les préoccupent. La notion d'évaluation fondée sur des preuves est majeure afin d'amener à la défense de valeurs telles que l'ouverture, la responsabilité (*accountability*), la transparence et la robustesse en recherche. Il s'agit de cibler des problèmes tels que la reproductibilité et d'allouer des ressources et des financements pour les trouver des solutions. Le champ de recherche de la psychologie préalablement mentionné y est bien visible.

Terminologie
Metascience
2019 & 2021

<figure><img src="image_30.png" /></figure>

<figure><img src="image_31.png" /></figure>

Nuage de mots obtenu avec l'outil Voyant Tools sur la base des titres des conférences Metascience 2019 et 2021

<figure><img src="image_32.png" /></figure>

METASCIENCE
2021 CONFERENCE

Les approches fondées sur les preuves font néanmoins l'objet de critiques apportées par les sciences humaines et sociales, qui soulèvent des points de vigilance quant au discours de l'efficacité dans le cadre de l'amélioration de la recherche, comme le notent D. Peterson et A. Panofsky<fnref n="31" />.

## Les récits fondateurs

* « *metascience* »

« Le domaine des *metasciences* élargit ces champs d'investigation grâce à des méthodes modernes, des approches à forte intensité de données, la participation directe des chercheurs du domaine et des intérêts de recherche à la fois descriptifs et prescriptifs pour comprendre, changer et améliorer le processus et la culture de recherche. »

— Center for Open Science, « NSF 21-519 – HDR Institute – Institute for Metascience » (OSF, 22 avril 2020), https://osf.io/8km72/.

* « *science of science* »

« La science de la science (SciSci) repose sur une approche transdisciplinaire qui utilise de vastes ensembles de données pour étudier les mécanismes qui sous-tendent la pratique de la science – du choix d’un problème de recherche aux trajectoires de carrière et aux progrès dans un domaine. Dans ce compte rendu, Fortunato et al. expliquent que le raisonnement sous-jacent est qu’avec une meilleure compréhension des précurseurs de la science d’impact, il sera possible de développer des systèmes et des politiques qui améliorent la capacité de chaque scientifique et de réussir à améliorer les perspectives de la science dans son ensemble. »

<figure><img src="image_33.png" /></figure>

<footnote n="31">31 David Peterson et Aaron Panofsky, « Arguments against Efficiency in Science », Social Science Information 60, no 3 (1 septembre 2021) : 350-55, https://doi.org/10.1177/05390184211021383.</footnote>
— Santo Fortunato et al., « Science of Science », *Science* 359, n° 6379 (2 mars 2018), https://doi.org/10.1126/science.aao0185.

• « *meta-research* »

« L'entreprise scientifique ayant gagné en taille et en diversité, nous avons besoin de données empiriques sur le processus de recherche pour tester et appliquer des interventions qui rendent la science plus efficace et ses résultats plus fiables. La métarecherche est une discipline scientifique en pleine évolution qui vise à évaluer et à améliorer les pratiques de recherche. Elle comprend des domaines thématiques tels que les méthodes, les rapports, la reproductibilité, l'évaluation et les incitations (comment faire, communiquer, vérifier, corriger et récompenser la science). De nombreux travaux ont déjà été réalisés dans ce domaine en pleine expansion, mais les efforts déployés à ce jour sont fragmentés. Nous fournissons une carte des efforts en cours et discutons des plans pour connecter les multiples efforts de méta-recherche à travers la science dans le monde entier. »

— John P. A. Ioannidis et al., « Meta-Research : Evaluation and Improvement of Research Methods and Practices », *PLoS Biology* 13, n° 10 (octobre 2015) : e1002264, https://doi.org/10.1371/journal.pbio.1002264.

« La méta-recherche est l'étude de la recherche elle-même : ses méthodes, ses rapports, sa reproductibilité, son évaluation et ses incitations. La science étant le principal moteur du progrès humain, l'amélioration de l'efficacité de l'investigation scientifique et la production de résultats de recherche plus crédibles et plus utiles peuvent se traduire par des avantages majeurs. L'entreprise de recherche se développe très rapidement. De nouvelles possibilités de connaissance et d'innovation, mais aussi de nouvelles menaces pour la validité et l'intégrité scientifique apparaissent. Les vieux préjugés abondent, et de nouveaux apparaissent continuellement à mesure que de nouvelles disciplines émergent avec des normes et des défis différents. La métarecherche utilise une approche interdisciplinaire pour étudier, promouvoir et défendre une science robuste. Des bouleversements majeurs sont susceptibles de se produire dans la manière dont nous menons les enquêtes scientifiques, et il est important de veiller à ce que ces bouleversements soient fondés sur des preuves. »

— John P. A. Ioannidis, « Meta-Research : Why Research on Research Matters », *PLoS Biology* 16, n° 3 (mars 2018) : e2005468, https://doi.org/10.1371/journal.pbio.2005468.

Les entretiens menés pour cette étude ont aussi fait remonter des observations critiques quant aux
nouvelles communautés qui « réinventeraient la roue ». Ces communautés auraient en effet pour
ambition de créer de nouvelles normes pour pallier à de mauvaises pratiques et mésusages. Or ces
recherches ne s'appuieraient pas sur les enseignements des disciplines telles que les STS, la sociologie
et l'histoire des sciences qui apportent une prise de recul quant aux mécanismes de production de
normes et de leurs évolutions. **Les tensions** soulevées proviennent aussi – tout au moins au départ –
d'un **discours annonciateur de l'émergence d'une nouvelle discipline en faisant fi des travaux existants** (cf. Descriptifs des conférences Metascience : l'évolution du discours). Cela a suscité
quelques réactions vives de la part de chercheurs au sein des études des sciences et technologies (STS)
vis-à-vis de la *metascience considérée comme un mouvement social scientifique*<fnref n="32" />. Plus récemment,
les évènements organisés et les discours associés à la *metascience* réintègrent plus amplement des
travaux déjà menés notamment par le champ des études des sciences et technologies (STS). Le
symposium « *A critical analysis of the scientific reform movement* <fnref n="33" />» organisé par le Center for Open
Science ou encore les tables rondes intitulées « *What is metascience* ? »<fnref n="34" /> lors de la conférence

<footnote n="32">32 À ce sujet, lire l'article de David Peterson et Aaron Panofsky, « Metascience as a Scientific Social Movement », preprint (SocArXiv, 4 août 2020), https://doi.org/10.31235/osf.io/4dsqa. Ces tensions ont notamment été révélées par la tenue de la conférence *Metascience* 2019 au même moment que la conférence annuelle de la Society for Social Studies of Science (4S).</footnote>

<footnote n="33">33 Le symposium « *A critical analysis of the scientific reform movement* » a eu lieu le 20 avril 2021 en ligne : https://www.cos.io/services/webinars/symposium-a-critical-analysis-of-the-scientific-reform-movement</footnote>

<footnote n="34">34 « What is *metascience* ? Part 1 : Methods, disciplines and purposes », https://metascience2021.org/events/what-is-metascience-part-1-methods-disciplines-and-purposes/ et « What is *metascience* ? Part 2 : Institutions, networks and future priorities », https://metascience2021.org/events/what-is-metascience-part-2-institutions-networks-and-future-priorities/</footnote>
metascience 2021 (cf.), montrent la volonté d'une prise de recul sur les acteurs impliqués tout autant que les enjeux de visibilité et de financement associés. Ces derniers créent aussi des tensions, comme le souligne Jason Chin.

> « Maybe a lot of this is a branding thing. It creates friction because a lot of the really critical pieces about metascience come from people in STS who are understandably frustrated because they have been talking about it for a long time and now it's suddenly getting a lot more attention because people have labeled it “metascience”. » // « C'est peut-être en grande partie une question d'étiquetage. Cela crée des frictions parce que beaucoup d'articles vraiment critiques sur la metascience proviennent de personnes de la STS qui sont frustrées, ce qui est compréhensible, parce qu'elles parlent de ces sujets depuis longtemps, maisqu'ils reçoivent soudain beaucoup plus d'attention parce que des gens les ont étiquetés “metascience”. » Jason Chin

## Descriptifs des conférences Metascience : l'évolution du discours

### Metascience Symposium (2019)

« During this decade, we have witnessed the emergence of a new discipline called metascience, metaresearch, or the science of science. Most exciting was the fact that this is emerging as a truly interdisciplinary enterprise with contributors from every domain of research. This symposium served as a formative meeting for metascience as a discipline. » // « Au cours de cette décennie, nous avons assisté à l'émergence d'une nouvelle discipline appelée metascience, métarecherche, ou science de la science. Ce qui est le plus excitant, c'est que cette discipline est en train de devenir une entreprise véritablement interdisciplinaire, avec des participants de tous les domaines de recherche. Ce symposium a servi de réunion formatrice pour la metascience en tant que discipline. » https://www.metascience2019.org

### Metascience Conference (2021)

« There is a long history of research about the scientific process, particularly with fields such as philosophy of science, sociology of science, and science-technology studies contributing unique insights about how science operates. There is also a growing cadre of researchers deploying modern methodologies and big data to investigate the scientific process. Together, these communities of researchers and stakeholders are the research and development pipeline for improving research practices. The Metascience 2021 meeting is a point of convergence to share knowledge, foster community, and define a roadmap of research and intervention priorities to accelerate science. » // « Il existe une longue histoire de recherche sur le processus scientifique, en particulier dans des domaines tels que la philosophie des sciences, la sociologie des sciences et les études scientifiques et technologiques, qui apportent un éclairage unique sur le fonctionnement de la science. Il existe également un cadre croissant de chercheurs qui déploient des méthodologies modernes et des big data pour étudier le processus scientifique. Ensemble, ces communautés de chercheurs et de parties prenantes constituent un canal de recherche et de développement pour l'amélioration des pratiques de recherche. La réunion metascience 2021 est un point de convergence pour partager les connaissances, favoriser la communauté et définir une feuille de route des priorités de recherche et d'intervention pour accélérer la science. » https://metascience2021.org

> « If you look at the previous metascience meeting (2019), it was framed as the emergence of a new discipline [...]. This time it's much more about including the historical background from disciplinary communities. » // « Si vous regardez la précédente réunion metascience (2019), elle était cadrée comme l'émergence d'une nouvelle discipline [...]. Cette fois, il s'agit beaucoup plus d'inclure le contexte historique des communautés disciplinaires. » – James Wilsdon
# Les approches communautaires pour réformer les pratiques scientifiques

## 3.1 Un mouvement impulsé dans le domaine bio-médical

Les travaux de *metascience* ou de *meta-research* se sont originellement développés dans le domaine bio-médical – notamment en sciences de la vie, en médecine et en psychologie – par des chercheurs et chercheuses provenant de ces disciplines et souhaitant faire évoluer les pratiques. Impulsées suite aux mésusages constatés dans ces domaines, les approches méta*<fnref n="35" /> ont la volonté de réformer le fonctionnement du système de recherche tout entier (*a scientific reform movement*). Malgré une spécificité disciplinaire initiale, les approches s'ancrent dans une démarche à visée agnostique et universelle<fnref n="36" />.

> « metascience has been focused on psychology and the life sciences, but that doesn't mean that there's not a need to constantly continue to grow because metascience is agnostic to discipline, but it's very important to make sure that you're not pretending there aren't differences [between disciplines]. » // « La metascience s'est concentrée sur la psychologie et les sciences de la vie, mais cela ne signifie pas qu'il n'est pas nécessaire de continuer à se développer constamment, car la metascience est agnostique par rapport aux disciplines, mais il est très important de s'assurer que l'on ne prétend pas qu'il n'y a pas de différences [entre les disciplines] ». Tim Errington

## 3.2 Une démarche systématique et interventionnelle

Concernant les méthodologies employées, celles-ci s'appuient sur une démarche qui se veut méthodique et systématique pour investiguer et comprendre ce qui ne fonctionne pas, puis trouver des solutions concrètes à tester (cf. visuel « Méthodes Méta* »).

### Méthodes Méta*

Une volonté d'amélioration, d'efficacité pour une meilleure science et un meilleur système de recherche : mouvement prescriptif et d'uniformisation.

**Investiguer :** Comprendre la science et la culture de recherche (voir ce qui ne fonctionne pas), faciliter la découvrabilité des connaissances

**Expérimenter :** tester/comparer différents cas d'étude (étude pilote)

**Evaluer :** Évaluer et proposer des changements (processus, systèmes, formations, etc.)

**Prouver :** avoir des preuves empiriques que les changements fonctionnent (vérifier que ça marche)

**Rendre actionnable :** rendre transférable et actionnable par des méthodes, des outils, des guidelines, des recommandations politiques, des formations, etc.

<figure><img src="image_34.png" /></figure>

> « It's about using robust methods to test interventions, and to generate and analyse data about the inner workings of the research system, and the impacts that research has in and on society. » — RoRI phase 2 : invitation to partnership

<figure><img src="image_35.png" /></figure>

**Des critiques face au vocabulaire de l'efficacité.**

Peterson, David, and Aaron Panofsky. 2021. "Arguments against Efficiency in Science." SocArXiv. https://doi.org/10.31235/osf.io/u78e5.

Le but est de s'appuyer sur des protocoles expérimentaux pour vérifier que des changements apportés (utilisation de nouveaux

<figure><img src="image_36.png" /></figure>

<footnote n="35">35 Les termes *metascience* et *meta-research* étant majoritairement utilisés de manière interchangeable, nous employons le qualificatif meta* par la suite.</footnote>

<footnote n="36">36 Cet aspect universel a pu être critiqué lors des entretiens, car il comporte le risque de gommer les diversités disciplinaires et la variété de pratiques préexistantes et de fonctionner en silo. « Historiquement, dès lors qu'est abordé le sujet de la recherche sur la recherche, chaque discipline semble faire sa propre histoire. [...] Beaucoup d'acteurs sont dans des silos disciplinaires et développent des généralités sans connaître leur sujet. » une des personnes interviewées.</footnote>
outils, mise en place de formations, etc.) ont un impact sur les pratiques et leurs améliorations. D'où, la nécessité de tester et prouver que les changements apportés fonctionnent.

Cela implique des recherches interventionnelles avec, comme le précise Tim Errington, des protocoles s'inspirant des essais cliniques.

> « It's like in clinical trials, to suggest this vaccine is great we want to empirically test it, but we also [...] want to do observational studies to [assess whether] we are still seeing the benefit as the use increases, so I actually see [ongoing tests as] necessary in the process of a large policy system approach. » // « C'est comme dans les essais cliniques, pour suggérer que ce vaccin est excellent, nous voulons le tester de manière empirique, mais nous voulons aussi [...] faire des études observationnelles pour [évaluer] si nous constatons toujours les avantages au fur et à mesure que l'utilisation augmente, donc je vois en fait [les tests continus comme] nécessaires dans le processus d'une approche systémique de politique à grande échelle. » Tim Errington

S'appuyant sur les approches fondées sur les preuves (evidence based practices), on y retrouve la mise en œuvre de cas pilotes, d'essais randomisés (randomized trials) pour tester la pertinence de pratiques interventionnelles avant leur mise en œuvre plus formelle dans un système de recherche.

> « [Thanks to] randomized control trials, you can actually test interventions before they become ingrained within the system. » // « [Grâce aux] essais contrôlés aléatoires, il est possible de tester les interventions avant qu'elles ne soient intégrées dans le système. »
> 
> Tim Errington

## Quelques objectifs à visée systémique des recherches menées

* Améliorer la réplication et l'auto-correction pour ainsi accroître la fiabilité des résultats publiés

* Renforcer la relecture par les pairs avant et après publication

* Développer l'utilisation du pré-enregistrement d'études pour réduire les biais de déclaration

* Réduire les conflits d'intérêts

* Faire progresser l'utilisation de nouveaux critères de promotion et d'attribution des financements

* Créer de nouvelles mesures qui reflètent la qualité de la recherche, telles que la transparence des rapports, le partage des données, la reproductibilité et la valeur scientifique des résultats de recherche

## Exemples de projets

Plusieurs objets d'études sont explorés allant de l'évaluation du niveau de réplication et de reproductibilité d'études, à l'utilisation des *pre-print* et de pré-enregistrement d'essais cliniques jusqu'à l'impact des nouvelles incitations et récompenses pour transformer les comportements et pratiques. Ces derniers se basent sur des protocoles systématiques et différents cas d'étude et/ou cas pilotes afin de comparer et tester l'efficacité. Ils se construisent aussi avec d'autres acteurs (éditeurs, financeurs, etc.) pour transformer les normes éditoriales par exemple ou encore mieux communiquer les résultats de recherche pour une meilleure exploitation par les décideurs (*reporting*).

### repliCATS

> « L'objectif du projet est d'évaluer la crédibilité des recherches publiées dans huit domaines des sciences sociales : la recherche commerciale, la criminologie, l'économie, l'éducation, les sciences politiques, la psychologie, l'administration publique et la sociologie. »

https://replicats.research.unimelb.edu.au/

<figure><img src="image_37.png" /></figure>
* Systematizing Confidence in Open Research and Evidence (SCORE)

« un projet financé par la Defense Advanced Research Projects Agency (DARPA) du département de la Défense des États-Unis pour évaluer la confiance dans les articles de recherche en développant des outils automatisés. Ce projet est toujours en cours et son application est encore hypothétique. »

https://www.darpa.mil/program/systematizing-confidence-in-open-research-and-evidence

* TOP Guidelines

« Publiées dans Science en 2015, les directives de promotion de la transparence et de l'ouverture comprennent huit normes modulaires, chacune comportant trois niveaux de rigueur croissante. Les revues sélectionnent les huit normes de transparence qu'elles souhaitent mettre en œuvre et choisissent un niveau de mise en œuvre pour chacune d'elles. Ces caractéristiques offrent une certaine souplesse d'adoption en fonction des variations disciplinaires, mais établissent simultanément des normes communautaires. Les lignes directrices TOP ont été créées par des revues, des bailleurs de fonds et des sociétés pour aligner les idéaux scientifiques sur les pratiques. TOP fournit une série d'outils pour guider la mise en œuvre d'une recherche meilleure et plus transparente. » https://www.cos.io/initiatives/top-guidelines

* Brazilian Reproducibility Initiative

Les activités de l'Initiative se concentrent actuellement autour d'un projet de réplication de grande envergure, pour évaluer la reproductibilité des résultats publiés dans 60 articles scientifiques brésiliens depuis une vingtaine d'années. Les premiers retours sur cette expérience, dont la finalisation est prévue pour 2022, ont récemment été publiés et argumentent en faveur d'une réforme du système de publication scientifique, et d'une réorganisation du travail scientifique pour favoriser les collaborations<fnref n="37" />. https://www.reprodutibilidade.bio.br/home

Ces recherches sont souvent associées à de nouveaux centres, laboratoire ou réseaux savants.

## 3.3 Exemples de centres et réseaux dédiés : COS et AIMOS

### Le Center for Open Science (COS)

Le Center for Open Science (COS) est un exemple d'organisme qui combine à la fois recherche-conseil et développement d'infrastructures. Ainsi il structure ses activités autour de trois piliers : la recherche sur la recherche, un travail de conseil auprès de politiques publiques en interaction avec un écosystème d'acteurs (financeurs, journaux) et une activité de développement logiciel afin notamment de mettre en application les études qu'ils mettent en place autour de nouveaux objets (pre-print et pre-registration) (cf. encadré « Center for Open Science »).

> « [COS looks at] how research is conducted and disseminated but also investigates different incentives, structures, policies and changes to that incentive landscape to see if they increase efficiency or research openness, but also looking at the risks that come along with it. » // « [Le COS examine] la manière dont la recherche est menée et diffusée, mais étudie également les différentes mesures d'incitation, les structures, les politiques et les changements apportés à ce paysage d'incitations pour voir s'ils augmentent l'efficacité ou l'ouverture de la recherche, tout en examinant également les risques qui en découlent. » – Tim Errington

<figure><img src="image_38.png" /></figure>

<footnote n="37">37 « As a broad solution, more rigorous protocols and better descriptions of methods are important, but insufficient for reproducibility – and might not be feasible for every paper. Current requirements for wide-ranging experiments in a single article are part of the problem. To solve these issues, expectations placed on the scientific paper must change. » Olavo B. Amaral et Kleber Neves, « Reproducibility : Expect Less of the Scientific Paper », Nature 597, no 7876 (septembre 2021) : 329-31, https://doi.org/10.1038/d41586-021-02486-7.</footnote>
« We [at COS] also do some policy work that coordinates with funders, institutions, journals, trying to look at how to test out and shift that policy landscape. » // « Nous [au COS] effectuons également un travail politique en coordination avec les bailleurs de fonds, les institutions, les revues, en essayant de voir comment tester et modifier ce paysage politique. » – Tim Errington

Le COS a notamment développé l'Open Science Framework<fnref n="38" />, une plateforme pour inciter à la traçabilité et à la transparence des mécanismes de la recherche via des procédés de pré-enregistrement (pre-registration) des protocoles<fnref n="39" />. Des productions de tout type (protocoles de recherche, réponses d'appel à projets, pre-prints<fnref n="40" />, etc.) sont ainsi archivées de manière pérenne et sont des ressources pour les travaux de meta-research.

« We [COS] are also a software development company so we develop free tools [...] and the flagship product is Open Science Framework, a platform to allow for sharing the research process, not just the data, but we have other service products that help too like pre-prints and pre-registration and building registries. » // « Nous [COS] sommes aussi une société de développement de logiciels et nous développons donc des outils gratuits [...] et le produit phare est l'Open Science Framework, une plateforme permettant de partager le processus de recherche, pas seulement les données, mais nous avons d'autres produits qui aident aussi, comme les pré-publications et le pré-enregistrement et la construction de registres. » – Tim Errington

## • Center for Open Science (COS), États-Unis

« Notre mission est d'accroître l'ouverture, l'intégrité et la reproductibilité de la recherche. Pour que le COS puisse accomplir sa mission, nous devons faire évoluer la culture et les incitations qui régissent le comportement des chercheurs, l'infrastructure qui soutient leur recherche et les modèles commerciaux qui dominent la communication savante. Ce changement de culture nécessite un mouvement simultané des bailleurs de fonds, des institutions, des chercheurs et des fournisseurs de services au-delà des frontières nationales et disciplinaires. Notre vision est réalisable car l'ouverture, l'intégrité et la reproductibilité sont des valeurs partagées, la capacité technologique est disponible et il existe d'autres modèles économiques durables. » https://www.cos.io/about/mission

## Association for Interdisciplinary Meta-Research and Open Science (AIMOS)

Comme le souligne Jason Chin en paraphrasant Brian Nosek, co-fondateur du COS, la metasience serait l'évolution des études des sciences et technologies (STS) grâce à deux éléments 1/les méthodes de traitement de données massives et 2/ un engagement fort des communautés de recherche. L'AIMOS (Association for Interdisciplinary Meta-Research and Open Science) en partenariat avec le COS et d'autres centres représente clairement l'aspect communautaire et bottom up de ces mouvements formant de nouveaux réseaux et se mobilisant autour d'événements et de pratiques communes.

## • Association for Interdisciplinary Meta-Research and Open Science (AIMOS), Australie

« AIMOS cherche à faire progresser le domaine interdisciplinaire de la méta-recherche en rassemblant et en soutenant les

<figure><img src="image_39.png" /></figure>

<footnote n="38">38 https://osf.io/</footnote>

<footnote n="39">39 « Lorsque vous pré-enregistrez votre recherche, vous spécifiez simplement votre plan de recherche avant votre étude et le soumettez à un registre. Le pré-enregistrement sépare la recherche génératrice d'hypothèses (exploratoire) de la recherche de vérification d'hypothèses (confirmatoire). » https://www.cos.io/initiatives/prereg</footnote>

<footnote n="40">40 A ce sujet voir l'article de Darwin Y Fu et Jacob J Hughey, « Releasing a preprint is associated with more attention and citations for the peer-reviewed article », éd. par Peter Rodgers et Olavo Amaral, eLife 8 (6 décembre 2019) : e52646, https://doi.org/10.7554/eLife.52646.</footnote>
chercheurs dans ce domaine. La science a pour objectif de produire des connaissances solides et le concept d'expériences reproductibles est essentiel à cet égard. Cependant, la dernière décennie a été marquée par une « crise de la reproductibilité » dans le domaine scientifique. Dans un certain nombre de domaines scientifiques, tels que la psychologie et la médecine préclinique, les projets de réplication à grande échelle n'ont pas réussi à produire des preuves étayant les conclusions de nombreuses études originales. La méta-recherche s'attaque de front à ce défi. » https://aimos.community/

L'AIMOS se considère comme un réseau d'acteurs revendiquant les intérêts de la *metascience* en tant que nouveau champ de recherche. AIMOS participe ainsi à la structuration du champ et à son intégration et visibilité. Par exemple la création d'un numéro d'attribution propre pour le champ de recherche de la *metascience* est une action souhaitée pour faciliter des demandes de financements auprès d'organismes financeurs.

> « AIMOS has kind of operated like a professional society but for meta-research and open science. [...] One thing AIMOS is considering doing is advocating for [a funder-issued research code for metascience to facilitate applying for funding] because right now it's kind of hard for [metascience] researchers to know where to slot [themselves]. » //
> 
> « L'AIMOS a en quelque sorte fonctionné comme une société professionnelle, mais pour la métarecherche et la science ouverte. [...] L'AIMOS envisage notamment de plaider en faveur [d'un code de recherche pour les metasciences émis par les bailleurs de fonds afin de faciliter les demandes de financement], car il est actuellement difficile pour les chercheurs [en metasciences] de savoir où se placer. » Jason Chin

En tant qu'association professionnelle, un autre projet présenté par Jason Chin est la création d'une revue scientifique dédié à la *metascience* qui a l'ambition de structurer les connaissances produites par sa communauté (en plus de collections déjà existantes à ces sujets.)

## 3.4 Le rôle des fondations privées et la structuration d'un réseau de laboratoire et centres à l'international

L'étude des différents centres et laboratoires dédiés à la *metascience* fait apparaître que plusieurs sont financés aujourd'hui en partie par des fonds privés, notamment la Laura and John Arnold Foundation, qui joue un rôle important d'irrigation des travaux de *metascience*, comme l'a souligné en entretien Florian Naudet, ancien chercheur postdoctorant au METRICS (2015-2017)<fnref n="41" />. Au Brésil, le Brazilian Reproducibility Initiative (BRI) est financée par l'Institut Serrapilheira, une institution privée à but non lucratif destinée à promouvoir la science au Brésil.

Financé par les fondations Einstein et la Charité de Berlin, le laboratoire METRIC-B en Allemagne a été créé en 2019 et est hébergé par le QUEST Center for Responsible Research du Berlin Institute of Health (BIH). Ce centre est issu d'un des premiers laboratoires dédié à la *metascience* aux USA, dénommé METRICS. En entretien, il a été rappelé que les nouvelles communautés méta* collaborent régulièrement, par exemple sur la création d'indicateurs harmonisés.

> « These interactions are mostly on joint projects, like for the dashboards for example. In this case QUEST works with other centers who do similar things because if everyone has different metrics then it gets a bit tricky to create a core set of metrics. » // « Ces

<figure><img src="image_40.png" /></figure>

<figure><img src="image_41.png" /></figure>

<footnote n="41">41 Aux États-Unis, on peut aussi noter dans les autres sources de financement (public) la DARPA, le département de recherche et développement de la défense des États-Unis.</footnote>
interactions portent principalement sur des projets communs, comme les tableaux de
bord par exemple. Dans ce cas, QUEST travaille avec d'autres centres qui font des
choses similaires, car si chacun a des mesures différentes, il devient un peu difficile de
créer un ensemble de mesures de base. » Ulrich Dirnagl

* **Meta-Research Innovation Center at Stanford (METRICS), États-Unis**

« Lancé en avril 2014 grâce à une subvention initiale de la Fondation Laura et John Arnold, le Meta-Research Innovation Center at Stanford (METRICS) est un centre de recherche-action axé sur la transformation des pratiques de recherche afin d'améliorer la qualité des études scientifiques en biomédecine et au-delà. METRICS, un centre au sein de SPECTRUM, encourage les collaborations de recherche multidisciplinaires pour aider à produire des solutions qui augmentent l'efficacité et la valeur de la recherche scientifique. En servant de lentille qui concentre et amplifie l'impact des chercheurs, des décideurs et des autres personnes travaillant sur les questions de métarecherche, nous espérons améliorer le discours public et faire progresser le développement de politiques et de pratiques qui maximisent l'utilisation des meilleures pratiques de recherche. » https://metrics.stanford.edu/about-us

« *A science*
*reform* »

<figure><img src="image_42.png" /></figure>

« [...] in metascience and with
disciplinary, methodological,
and geographic diversity. The
group will build a cross-
discipline, cross-institution,
data-intensive,
methodologically diverse
research enterprise. We will
focus on Community-
building. »

— Center for Open Science,
HDR Institute: Institute for
Metascience, NSF 21-519
Grant Proposal, Open
Science Framework (2020)

Une approche meta* communautaire : la volonté de créer de nouvelles normes en science dans une visée universelle et agnostique

Qui sont-ils ?

Des personnes qui à la base voulaient améliorer leur discipline, notamment
dans le domaine biomédical (médecine et pscychologie)

* **Communautés / Instituts** : METRICS, AIMOS, COS, Brazilian Reproducibility Initiative...

* **Conférences et revues** : Conférence Metascience (2019, 2021) ; Collection *Meta-Research* de la revue *Elife* ; *PloSBiology*

- **Financements** : universitaires ; philanthropiques (Arnold Ventures, Sloan Foundation) ; militaires (DARPA)

Méthodes

Une approche fondée sur les preuves (evidence-based) → investiguer,
expérimenter, évaluer, prouver, rendre actionnable

En résumé, ce mouvement communautaire meta* est largement impulsé par des chercheurs et chercheuses de ces disciplines avec la volonté de changer les pratiques et la culture de la recherche. Ces derniers s’appuient sur les cadres épistémologiques et méthodologiques familiers (approche hypothético-déductive, protocoles expérimentaux, essais randomisés) qu’ils appliquent à l’étude de la recherche. Une autre approche, quant à elle, puise dans le courant des sciences humaines et sociales computationnelles et de l’analyse de Big Data où les données issues de la recherche représentent un « laboratoire géant » à analyser. C’est ce que nous allons voir avec la présentation de quelques travaux et acteurs associés aux approches « science of science ».

La « science de la science » fondée sur des méthodes
computationnelles en SHS

Les travaux regroupés sous le terme de « science de la science » (SciSci) s'attachent à analyser les relations structurelles qui sous-tendent la production scientifique. Le plus souvent regroupés au sein d'universités aussi bien aux États-Unis qu'en Europe (cf. « Exemples de centres et laboratoires »), les communautés de recherche associées mettent en œuvre des méthodes de sciences sociales
computationnelles, parmi lesquelles figurent les techniques de modélisation de causalité, d'analyse de
systèmes complexes, et d'analyse de réseaux. Un récent ouvrage *the Science of Science* publié par D.
Wang et A-L. Barabasi explicite cette démarche et présente plusieurs travaux :

« *SciSci* offers a deep quantitative understanding of the relational structure between scientists, institutions, and ideas because it facilitates the identification of fundamental mechanisms responsible for scientific discovery. » // « *SciSci* offre une compréhension quantitative approfondie de la structure relationnelle entre les scientifiques, les institutions et les idées, car elle facilite l'identification des mécanismes fondamentaux responsables de la découverte scientifique. »<fnref n="42" />

La « science de
la science »

Méthodes computationnelles et SHS

* Mégadonnées (Big Data) dans la lignée des innovation studies

* **Méthodes** : analyse de réseaux, analyse de systèmes complexes, modèles de causalité (causal modeling)

* **Instituts** : BarabasiLab, Center for the Science of Science and Innovation (Northwestern University)

<figure><img src="image_43.png" /></figure>

« It is based on a
transdisciplinary approach
that uses **large data sets to**
**study the mechanisms**
**underlying the doing of**
**science**—from the choice of a
research problem to career
trajectories and progress
within a field. »

— A.-L. Barabási et D. Wang,
*The science of science,*
Cambridge University Press,
2021

Review > Science. 2018 Mar 2;359(6379):eaao0185. doi: 10.1126/science.aao0185.

Science of science

Santo Fortunato ¹,², Carl T. Bergstrom ¹, Katy Börner ²,⁴, James A. Evans ⁵, Dirk Helbing ⁶,
Stela Milánez ⁷, Alexandro M. Petrenen ⁹, Filipó Radicchi ⁷, Roberta Simona ⁹, ¹⁰, ¹⁹,
Brian Utzi ⁵, ¹³, Alessandro Vespignani ¹¹, ¹⁴, ¹⁵, Ludo Woltman ¹⁶, Dashun Wang ⁵, ¹², ¹⁵,
Albert-László Barabási ¹⁷, ¹¹, ¹⁸

Barabási Lab

PUBLICATIONS
PROJECTS
JOBS
CONFERENCES
NETWORK SCIENCES

<figure><img src="image_44.png" /></figure>

How can Big Data help us understand human
behavior, social networks, and success?

<figure><img src="image_45.png" /></figure>

Dashun Wang is a Professor of Management and Operations centre
Kantong School of Management, and by his appointment the McCallum School
of Engineering, at Northwestern University. At Northwestern, he is the Planning
Director of the Center for the Science of Business and Innovation (CSBI),
which is a core faculty of the Northwestern Institute on Complex Systems.

CSBI, which current research focus on a science of science, is a quan-
titative, multi-disciplinary research group that studies the science of
business, and the science of innovation. It is a multi-disciplinary group
consisting of scientists and engineers with expertise in a wide range of
fields, from computer science and artificial intelligence to business
management and finance. The Science of Science and Innovation
Center is a research and development center for cutting-edge science and
innovation.

<figure><img src="image_46.png" /></figure>

Exemples de centres et laboratoires

* Barabási Lab, Northeastern University, États-Unis

« Le Center for Complex Network Research (CCNR), dirigé par le professeur Albert-László Barabási, a un objectif simple : penser les réseaux. Les recherches du centre se concentrent sur la manière dont les réseaux émergent, sur leur aspect et leur évolution, et sur l'impact des réseaux sur la compréhension des systèmes complexes. »
https://www.barabasilab.com/

* Center for the Science of Science and Innovation, Northwestern University, États-Unis

« Le Center for Science of Science & Innovation (CSSI) est une communauté multidisciplinaire pour les leaders d'opinion dans des domaines tels que les sciences sociales computationnelles, la science des réseaux, l'intelligence artificielle et les systèmes complexes. Plus que jamais, la science moderne joue un rôle essentiel dans la croissance et l'innovation des entreprises et des économies du monde entier. Notre équipe utilise cette prolifération de données pour comprendre les succès en matière d'innovation et de travail en équipe, tout en prédisant l'impact scientifique et la production de connaissances. » https://www.kellogg.northwestern.edu/research/science-of-science.aspx

* Science of Science and Computational Discovery Lab (SOS+CD), Syracuse University, États-Unis

« Le laboratoire SOS+CD s'efforce de comprendre les pratiques actuelles en science et de développer des méthodes semi-
automatiques pour extraire des connaissances scientifiques à partir de vastes ensembles de données non structurées de

<figure><img src="image_47.png" /></figure>

<footnote n="42">42 Dashun Wang et Albert-László Barabási, *The Science of Science*, 1st edition (Cambridge New York Port Melbourne New Delhi Singapore : Cambridge University Press, 2021).</footnote>
publications en texte intégral, de citations et d'images. Nous utilisons diverses techniques informatiques, notamment l'apprentissage profond, le traitement du langage naturel, l'analyse des graphes, le traitement des images et l'inférence causale. » https://scienceofscience.org/

• NEtwoRks, Data, and Society (NERDS), université IT de Copenhagen, Danemark

« Le groupe NEtwoRks, Data, and Society (NERDS), fondé en avril 2019, recherche des applications de la science des réseaux et des données aux systèmes sociaux. NERDS est composé de chercheurs interdisciplinaires qui se concentrent sur des projets quantitatifs à la frontière de la science des réseaux, de la science des données et des sciences sociales computationnelles, y compris la science de la science, les réseaux sociaux et la dynamique, les réseaux multiplex, la science du succès, la durabilité urbaine, la mobilité humaine, la visualisation des données et les questions fondamentales dans les systèmes complexes. » https://nerds.itu.dk/research/

Décrites ci-dessous par le RoRI, ces méthodes de traitement et d'analyse de méga-données sont considérées robustes et fiables pour évaluer la performance du système de recherche et mesurer l'impact de la recherche sur la société.

> « At its heart, research on research is about ensuring that we have the evidence we need to realise the full potential of research. It's about using robust methods to test interventions, and to generate and analyse data about the inner workings of the research system, and the impacts that research has in and on society ». // « La recherche sur la recherche consiste essentiellement à s'assurer que nous disposons des preuves dont nous avons besoin pour exploiter pleinement le potentiel de la recherche. Il s'agit d'utiliser des méthodes robustes pour tester les interventions et pour générer et analyser des données sur le fonctionnement interne du système de recherche et sur l'impact de la recherche dans et sur la société. »<sup>43</sup>

Néanmoins, plusieurs critiques ont été adressées suite à la sortie de l'ouvrage *The Science of Science* notamment de la part de chercheurs et chercheuses issues des STS et de la scientométrie incluant dans leurs travaux une approche réflexive sur la science ouverte, l'inclusivité et la diversité des pratiques de recherche.

### Exemples des thématiques abordées en science de la science

* l'amélioration du système des politiques publiques et de la recherche

* l'optimisation du système de relecture par les pairs

* l'intégrité de la recherche computationnelle

* les systèmes de recommandation pour la science

* la détection de biais en intelligence artificielle

# Démocratisation des données et « nouvelle garde » à la croisée des STS et de la scientométrie

## 3.1 Une nouvelle garde en STS et scientométrie : science ouverte, inclusivité, diversité comme objets d'étude et moteurs d'engagement

Le compte-rendu *Scientific success by numbers* 44 publié dans la revue *Nature* de l'ouvrage *Science of Science* apporte un regard critique sur la démarche mise en avant par les sciences sociales

<footnote n="43">43 Research onResearch Institute, « RoRI Phase 2 : invitation to partnership », juillet 2021.</footnote>

<footnote n="44">44 Cassidy R. Sugimoto, « Scientific Success by Numbers », Nature 593, no 7857 (3 mai 2021) : 30-31, https://doi.org/10.1038/d41586-021-01169-7.</footnote>
computationnelles. Ainsi, les pratiques décrites sont perçues comme réductrices, anachroniques et contre-productives malgré leur dimension quantitative car elles n'intègrent pas de références aux disciplines ayant historiquement étudié la science, ni les préoccupations d'inclusivité et de diversité des pratiques de recherche, portées des chercheurs et chercheuses à la croisée des études des sciences et technologies et de la scientométrie.

> « Decades of empirical evidence from sociology and scientometrics show the strong influence of social and demographic factors on scientific performance. To ignore this is to enjoin administrators, funders and hiring committees to look to past success as a chief indicator of future success, without considering systemic barriers. » // « Des décennies de preuves empiriques issues de la sociologie et de la scientométrie montrent la forte influence des facteurs sociaux et démographiques sur les performances scientifiques. Ignorer cela revient à enjoindre les administrateurs, les bailleurs de fonds et les comités d'embauche à considérer les succès passés comme un indicateur principal des succès futurs, sans tenir compte des obstacles systémiques. »<fnref n="45" />

Qualifiée de « nouvelle garde » lors d'entretiens, cette communauté apporte un regard réflexif sur ses propres pratiques de recherche, mais aussi sur le système de recherche et son fonctionnement. Des études sur le genre ou bien sur le rôle de l'open access lors de la crise de la covid-19 sont ainsi au cœur de ses travaux (cf, encadré ci-dessous). Les publications et les débats suscités sont autant de gages médiatiques du « manque d'alignement des valeurs » entre communautés effectuant des recherches sur la recherche, comme le faisait remarquer Vincent Larivière en entretien, et d'une volonté de démarcation des communautés sur fond de tensions systémiques comme le disait James Wilsdon :

> « In any disciplinary endeavor people are also fighting for resources, funding and status so that also inflects the narrative that they create around what they're doing. » // « Dans toute discipline, les gens se battent également pour obtenir des ressources, des fonds et un statut, ce qui influe sur le récit qu'ils créent autour de ce qu'ils font. » James Wilsdon

## Exemple de projet

* Covid-19 pre-print tracker

> « Ce site web présente les liens Preprint-Publication pour un corpus de 737 preprints relatifs à COVID-19 curés par le Centre de recherche en épidémiologie et statistique et Cochrane France. Le logiciel est développé dans le cadre du projet COVID-NMA. Récolte et consolidation des données à partir de ces API : bioRxiv, Crossref, Dimensions, PubPeer » https://www.irit.fr/~Guillaume.Cabanac/covid19-preprint-tracker

## Exemple d'article et d'ouvrage

* Chaoqun Ni et al., « The gendered nature of authorship », Science Advances 7, no 36 (s. d.) : eabe4639, https://doi.org/10.1126/sciadv.abe4639.

Extrait du résumé : « Cet article examine les pratiques sexuées en matière de communication sur la paternité, de désaccord et d'équité. Nos résultats montrent que les femmes sont plus susceptibles d'être confrontées à des désaccords sur la paternité d'un article et qu'elles y sont confrontées plus souvent. [...] Cette dévalorisation du travail des femmes dans les sciences crée des désavantages cumulatifs dans les carrières scientifiques. Une discussion ouverte sur les dynamiques de pouvoir liées au genre est nécessaire pour développer une distribution plus équitable du crédit pour le travail scientifique. »

* Lucy Montgomery et al., « Open Knowledge Institutions : Reinventing Universities », 3 août 2021,

<figure><img src="image_48.png" /></figure>

<footnote n="45">45 Sugimoto.</footnote>
Ces personnes adoptent également un regard critique quant aux modèles éditoriaux et à l'appropriation des données de la recherche par les éditeurs scientifiques qui se transforment en nouveaux fournisseurs de données. Par exemple, comme le raconte Guillaume Cabanac, cette tension a causé la démission d'une partie du comité éditorial du *Journal of Infometrics*, une revue sous abonnement, qui s'est reconstituée par la suite en comité éditorial de la revue *Quantitative Science Studies* créée au MIT Presse et fortement impliquée en faveur de l'accès ouvert.

## La « nouvelle garde »

<figure><img src="image_49.png" /></figure>

Une restructuration de **communautés STS et scientométrie** autour des enjeux d'ouverture, d'éthique, de transparence de diversité dans les institutions.

**Méthodes :**

Quantitatives et qualitatives en SHS, réflexions sur les métriques (Leiden Manifesto)

**Instituts :**

School of Public Policy (Georgia Tech), CRCTCS (Université de Montréal), CSI (Mines Paris Tech), CWTS (Leiden University)

**Conférences et revues :**

Conférence de l'ISSI, *Quantitative Science Studies* (ex-Board of *Journal of Infometrics*)

Le regard critique se porte aussi sur le volet scientométrique des travaux de recherche menés. La mise en place d'indicateurs et de métriques et leurs impacts sur le système de la recherche et les professionnels de la recherche sont des problématiques soulevées. Le Centre for Science and Technology Studies (CWTS) de l'université de Leiden aux Pays-Bas, très impliqué sur les sujets de la communauté « nouvelle garde », a créé son propre classement, le Leiden ranking, qui prend en compte des facteurs comme celui du genre pour un calcul plus fin de la production scientifique à l'échelle des universités.

> « The Leiden ranking that [CWTS] produces yearly details journalistic performance, but also covers open access statistics and gender statistics over productivity in a thousand different domains. » // « Le classement de Leiden que [le CWTS] produit chaque année détaille les performances journalistiques, mais couvre également les statistiques d'accès libre et les statistiques de genre sur la productivité dans un millier de domaines différents. » Vincent Traag
Dans le sillage du Leiden Manifesto<fnref n="46" />, qui appelle à la mise en place de bonnes pratiques en matière d'évaluation de la recherche basée sur les indicateurs, le CWTS travaille à la fois avec les grands groupes éditoriaux et les universités pour réformer le système d'évaluation de la recherche.

> « [The CWTS has] another website on journal indicators [that] has been developed in the context of Elsevier for developing the SNIP (source normalized impact per paper) indicator<fnref n="47" />. It has also been made available outside of the Scopus environment. » // « [Le CWTS dispose d'un autre site web sur les indicateurs de revues [qui] a été développé dans le cadre d'Elsevier pour le développement de l'indicateur SNIP (source normalized impact per paper)1. Il a également été mis à disposition en dehors de l'environnement Scopus. » Vincent Traag

L'existence d'indicateurs n'est pas perçu comme problématique en soi, mais il s'agit de pouvoir les affiner, former à leur utilisation, sensibiliser quant aux possibles erreurs d'interprétation, et surtout ne pas les considérer comme une fin, mais plutôt comme un moyen parmi d'autres.

> « It is essential to develop indicators related to the commons, rather than rankings linked to neo-liberal objectives. » // « Il est essentiel de développer des indicateurs relatifs aux biens communs, plutôt que des classements liés à des objectifs néo-libéraux. » Vincent Larivière

Les centres de recherche associés à la « nouvelle garde » jouent un rôle important à l'échelle des politiques institutionnelles grâce à leurs travaux sur les indicateurs, mais aussi par les activités de conseil qu'ils développent. Par exemple, comme le précise Vincent Traag, le CWTS est un centre de recherche qui exerce aussi une activité rémunérée de conseil et s'associe à la mouvance institutionnelle à l'échelle des politiques publiques de recherche sur la recherche<fnref n="48" />.

> « CWTS is a research institute on the one hand but it's also a company. Indeed there's consultancy being done which increases broader perspectives. » // « Le CWTS est un institut de recherche d'une part, mais c'est aussi une entreprise. Il y a en effet des activités de conseil qui permettent d'élargir les perspectives. » Vincent Traag

## Exemple de centres et de laboratoires

* **Center for Science and Technology Studies (CWTS), Université de Leiden, Pays-Bas**

> « Le Centre for Science and Technology Studies (CWTS) étudie la recherche scientifique et ses liens avec la technologie, l'innovation et la société. Nos recherches, nos outils bibliométriques et scientométriques et notre expertise en matière d'évaluation constituent une base solide pour soutenir l'évaluation de la recherche et la prise de décision stratégique et pour élaborer une politique scientifique. » https://www.cwts.nl/

* **School of Public Policy, Georgia Institute of Technology, États-Unis**

<figure><img src="image_50.png" /></figure>

<footnote n="46">46 Diana Hicks et al., « Bibliometrics : The Leiden Manifesto for Research Metrics », Nature 520, no 7548 (avril 2015) : 429-31, https://doi.org/10.1038/520429a.</footnote>

<footnote n="47">47 https://www.journalindicators.com/</footnote>

<footnote n="48">48 Néanmoins, le rôle de la scientométrie pour accompagner les politiques publiques n'est pas un phénomène nouveau (développement des Observatoires des Sciences et Techniques, etc.). Vincent Larivière explique par exemple en donnant son expérience du Québec que « les communautés de scientométrie ont toujours marché main dans la main avec les politiques scientifiques au Canada ».</footnote>
« Nos recherches et nos programmes d'études visent à comprendre l'impact global de la science, de la technologie et de l'innovation sur la société, et à former des leaders transdisciplinaires capables d'analyser et de prendre des décisions éclairées sur le plan éthique dans l'intérêt public. Reconnaissant la diversité vitale des perspectives dans une société culturellement et technologiquement en évolution, nous nous efforçons d'avoir un impact positif sur les questions humaines les plus difficiles de notre époque. » https://spp.gatech.edu/

* **Chaire de recherche du Canada sur les Transformations de la Communication Savante (CRCTCS)**

« Le programme de recherche de la Chaire de recherche du Canada sur les transformations de la communication savante s'intéresse : aux modes de production des connaissances ainsi qu'à leurs déterminants socio-démographiques, aux modes de diffusion et à l'usage des nouvelles connaissances et, à l'attribution du capital scientifique et aux valeurs qui y sont associées. Il vise à mieux comprendre l'évolution des pratiques de recherche et de diffusion à l'ère numérique et leurs effets sur la structure de la communauté scientifique, ce qui permettra d'éclairer l'élaboration des politiques publiques en matière de recherche scientifique et technologique. » https://crc.ebsi.umontreal.ca/a-propos/description/

Mais avant d'aborder ce point, une dernière dynamique reste à décrire, celle de la construction d'outils par et pour des communautés de recherche afin de se réapproprier les données et l'évaluation de la recherche.

## 3.2 Démocratisation des données et réappropriation des outils d'évaluation de la recherche

Aujourd'hui, les données de la recherche sont rendues davantage accessibles et réutilisables grâce aux développements de l'open access mais aussi l'application des principes FAIR (Findable, Accessible, Interoperable, Reusable) facilitant l'ouverture, la structuration et l'operability des données. Depuis une vingtaine d'années, des initiatives issues de l'édition scientifique comme Crossref et I40C aident à l'identification des objets numériques et à la standardisation des métadonnées des publications scientifiques, contribuant ainsi à une « démocratisation des données » de la recherche comme le nomme Vincent Larivière.

**Exemples d'initiatives menées dans le champ de l'édition scientifique :**

* **I40C**

« L'initiative pour les citations ouvertes (I4OC) est une collaboration entre des éditeurs, des chercheurs et d'autres parties intéressées pour promouvoir la disponibilité sans restriction des données de citation. L'initiative fait partie d'un mouvement plus large visant à promouvoir l'ouverture des métadonnées bibliographiques. En particulier, I4OC a une relation étroite avec l'Initiative for Open Abstracts (I4OA), une initiative sœur. » https://i4oc.org/

* **Crossref**

« Crossref permet de trouver, citer, lier, évaluer et réutiliser facilement les résultats de la recherche. Nous sommes une organisation à but non lucratif dont la raison d'être est d'améliorer les communications scientifiques. Nous rassemblons la communauté, marquons et partageons les métadonnées, gérons une infrastructure ouverte, jouons avec la technologie et créons des outils et des services – tout cela pour aider à mettre le contenu scientifique en contexte. »
https://www crossref org/about/

Les infrastructures ainsi créées sont le socle sur lequel s'appuient aujourd'hui de nouveaux projets portés par des communautés de recherche au sein de structures publiques ou privées, pour se réapproprier les données liées aux productions scientifiques et les mécanismes d'évaluation de la recherche. Open Knowledge Maps et Our Research présentées ci-dessous sont des projets qui se sont récemment structurées pour la découvrabilité des connaissances et leurs analyses.
## Exemples de projets pour la découvrabilité des connaissances

* Open Knowledge Maps : organisation à but non-lucratif soutenu par des dons d'organismes publics et privés, spin-off du KNOW Center, centre recherche public basé en Autriche.

« Nous construisons une interface visuelle qui augmente considérablement la visibilité des résultats de la recherche pour la science et la société. Nous sommes une organisation caritative à but non lucratif et nous pensons qu'une meilleure façon d'explorer et de découvrir les connaissances scientifiques sera bénéfique pour tous. »
https://openknowledgemaps.org/about

* Our Research : organisation à but non-lucratif soutenu par des fonds publics et privés, lancée par des chercheurs développant des outils pour leur communauté aux États-Unis.

« Nous créons des outils qui rendent la recherche plus ouverte. Nos outils gratuits et libres sont utilisés par des millions de personnes chaque jour, dans les universités, les entreprises et les bibliothèques du monde entier, pour découvrir, connecter et analyser les produits de la recherche. »
https://ourresearch.org/

## Exemples d'outils développés par Our Research :

* Unpaywall : une base de données ouverte d'articles scientifiques gratuits. https://unpaywall.org/

* Unsub : tableau de bord de désabonnement qui aide à les institutions à réévaluer la valeur de leurs contrat avec les éditeurs scientifiques et à comprendre leurs options d'annulation. https://unsub.org/

* ImpactStory : A researcher impact profile that highlights the impact of Open Science activities. https://profiles.impactstory.org/

* Get The Research : An academic search engine for people outside academia. https://gettheresearch.org/

Pour ces communautés, il est question de s'allier avec d'autres types d'acteurs et d'agir à différentes échelles contre les mésusages des indicateurs d'impact et pour le rééquilibrage de l'hégémonie exercée sur les données de la recherche notamment par des acteurs privés à but commercial.

« Les acteurs établis comme Scopus et Web of Science n'ont aucun intérêt à ce que de nouveaux acteurs comme Dimensions ou Lens proposent gratuitement des notices bibliométriques et des dashboards personnalisés. Il y a donc des tensions fortes entre les acteurs de l'ancienne garde et de la nouvelle garde qui vont par exemple tirer partie des données de Crossref (abstracts, citations...). » Guillaume Cabanac

Les enjeux de démocratisation des données, de science ouverte, d'éthique et de transparence donnent lieu aujourd'hui également à de nouvelles alliances entre centres de recherche, fournisseurs de données, organismes de financement et décideurs politiques qui voient par le biais de cette dynamique d'outillage de la recherche sur la recherche une manière de mieux orienter les politiques publiques et de les fonder sur des preuves. Aujourd'hui, de telles démarches s'associent à la notion de recherche sur la recherche dont l'objectif est d'améliorer l'efficacité des mesures prises par les politiques publiques de la recherche. Quelques instituts clefs et inspirants (RoRI et QUEST) serviront d'illustration au prochain chapitre.
# 4 | La « recherche sur la recherche » comme outil de conduite des politiques publiques

## Des politiques publiques fondées sur des preuves

La volonté d'amélioration de la science passe par un glissement des recherches portant sur les pratiques de recherche et leurs évaluations à l'échelle de disciplines ou de laboratoires vers des travaux portant sur l'efficacité, la transparence des systèmes de recherche. Les démarches s'inspirent des approches détaillées précédemment notamment en bio-médecine avec des pratiques fondées sur les preuves (*evidence based practices*) et le changement de culture (sur la base de nouvelles incitations et récompenses, etc.) mais cette fois-ci appliquées à l'échelle d'instituts de recherche, d'université ou de pays.

Pour les politiques publiques de recherche, il s'agit de développer des études prenant comme base les données du système de recherche et des productions scientifiques, de s'équiper d'outils d'aide à la découvrabilité de ces informations, de mettre en place des tableaux de bords pour mesurer l'impact de mesures prises (par exemple en faveur de la science ouverte) sur le temps ou de les comparer avec d'autres pays (cas d'étude et pilote). Pour les acteurs impliqués, la « recherche sur la recherche » offre la possibilité d'aider au changement de culture en apportant des preuves qui rendent les prises de décision en matière de politique publique plus fiables, transparentes et convaincantes s'appuyant le moins possible sur l'intuition subjective des individus.

> « Modeling helps people think through things with a bit more rigor, and in the long term, to try to make policies. Sometimes there's confusion between correlation and causation. This can be addressed in the policy, though it's not often done. » // « La modélisation aide les gens à réfléchir aux choses avec un peu plus de rigueur et, à long terme, à essayer d'élaborer des politiques. Il y a parfois confusion entre corrélation et causalité. Cela peut être pris en compte dans les politiques, bien que cela ne soit pas souvent le cas. » Vincent Traag

Un des axes important est celui du financement de la recherche : **comment mieux allouer les financements de recherche en évitant des biais ?** Faut-il développer une approche par loterie de l'allocation de fonds (cf. Research on Research Institute) ? La question **du gâchis généré par le financement de recherches non-reproductibles se pose.** Par exemple, la revue *The Lancet* publiait déjà en 2014 une série d'articles sur le gâchis dans le domaine de la recherche biomédicale, faisant part d'une perte chiffrée en centaine de millions de dollars du fait de recherches qui ne sont pas reproductibles.<fnref n="49" /> Pour Marin Dacos, ces travaux apportent un chiffrage financier compréhensible à l'échelle politique et transformable en politique publique.

<figure><img src="image_51.png" /></figure>

<footnote n="49">49 Sabine Kleinert et Richard Horton, « How Should Medical Science Change ? », The Lancet 383, no 9913 (janvier 2014) : 197-98, https://doi.org/10.1016/S0140-6736(13)62678-1.</footnote>
Les enjeux d'équité, de diversité, et d'inclusion en recherche 50 (equity, diversity, inclusion) associés en Europe à la notion de recherche et d'innovation responsable (RRI) 51 sont aussi au cœur des problématiques abordées. Cela implique de mieux comprendre l'évaluation des chercheurs, les enjeux de carrière, afin de former les nouvelles générations (early career researcher) pour impulser un changement de pratiques et de cultures.

Pour mener à bien ces recherches, de nouvelles alliances voient le jour dans plusieurs pays entre décideurs politiques, organismes de financement, centres de recherche universitaires, éditeurs et fournisseurs de données de recherche afin de faciliter la mise en œuvre de projets à des échelles nationales voir internationales

## De nouvelles alliances : centre de recherche, décideurs politiques et organismes de financement

L'apparition de ces nouvelles structures répond aussi aux besoins grandissants de contact, de dialogue et de médiation entre politiques publiques de la recherche et communautés de recherche dans les laboratoires ou centres universitaires, dans un contexte de changement systémique impulsé par la science ouverte. Deux centres ont fait l'objet d'une étude plus détaillée dans l'enquête sur la base de deux entretiens avec leurs responsables respectifs : le QUEST et le RoRI.

### QUEST Center for Responsible Research

En Allemagne, le centre QUEST (Quality-Ethics-openScience-Translation) pour une Recherche Responsable (QUEST Center for Responsible Research) allie l'Institut de Santé de Berlin (Berlin Health Institute 52), l'hôpital de la Charité de Berlin, et le ministère de l'Éducation et de la Recherche allemand pour accomplir des missions d'évaluation de la recherche en santé, dans une visée d'amélioration des pratiques et de la culture scientifiques en interne comme en externe avec leurs propres données de recherche. Le centre est financé en partie par l'Institut de Santé de Berlin, mais aussi par d'autres parties prenantes en fonction des projets et partenariats.

> « We [at QUEST] have a very specific research evidence-driven agenda. Most of what we are doing fits into a framework which is in principle a large-scale behavior intervention with the goal to change culture. » // « Nous [à QUEST] avons un programme de recherche très spécifique, fondé sur des preuves. La plupart de nos activités s'inscrivent dans un cadre qui est en principe une intervention comportementale à grande échelle visant à changer la culture. » Ulrich Dirnagl

L'équipe du centre regroupe une soixantaine de personnes provenant de disciplines variées, par exemple de neurosciences, médecine, psychologie, sociologie ou encore d'histoire des sciences. Pour,

<figure><img src="image_52.png" /></figure>

<footnote n="50">50 « Les exigences en matière d'équité, de diversité et d'inclusion et leurs considérations connexes sont évaluées en fonction de deux critères établis pour les concours du fonds Nouvelles frontières en recherche » du gouvernement canadien, qui a publié un guide à ce sujet pour les candidats au concours de financements. Voir https://www.sshrc-crsh.gc.ca/funding-financement/nfrf-fnfr/edi-fra.aspx#1</footnote>

<footnote n="51">51 « La Déclaration de Rome, un document rassemblant des conclusions et recommandations sur la notion de Recherche et d'Innovation Responsable (R.R.I.) a été élaborée dans le cadre de la conférence « S.I.S.-R.R.I. : Science, innovation et société », qui s'est tenue à Rome du 19 au 21 novembre 2014, sous la présidence italienne du Conseil de l'Union. » https://www.horizon2020.gouv.fr/cid84192/recherche-innovation-responsable-version-actualisee-de-la-declaration-de-rome.html ;</footnote>

<footnote n="52">52 https://www.bihealth.org/en/</footnote>
Ulrich Dirnagl la collaboration est facilitée en interne par une vision commune et partagée des objectifs et des valeurs du centre.

Le centre QUEST développe **en parallèle une activité de conseil** auprès d'organismes internationaux tels le National Institute of Health (NIH) aux États-Unis ou la European Molecular Biology Organization, et au niveau national auprès de décideurs en faveur de politiques publiques de la santé plus transparentes. Le centre est membre co-fondateur du German Reproducibility Network, un consortium trans-disciplinaire qui œuvre pour une meilleure transparence et fiabilité de la recherche scientifique fondé sur le modèle du UK Reproducibility Network, et qui vient s'ajouter aux structures européennes dédiées à la « recherche sur la recherche ».

## QUEST Center for Responsible Research, Allemagne

« Le centre QUEST s'efforce d'accroître la valeur de la recherche biomédicale au BIH et au-delà. De surmonter les obstacles à la médecine translationnelle : augmenter la fiabilité, l'utilité et l'éthique de la recherche biomédicale en maximisant la qualité, la reproductibilité, la généralisation et la validité de la recherche BIH. Faire prendre conscience de la nécessité de repenser la recherche biomédicale et d'initier un changement de culture dans la biomédecine universitaire. » https://www.bihealth.org/en/translation/innovation-enabler/quest-center/mission-approaches

## Un article synthétique du QUEST résumant la démarche et les projets menées :

Dans l'article « Improving the Trustworthiness, Usefulness, and Ethics of Biomedical Research through an Innovative and Comprehensive Institutional Initiative »<fnref n="53" />, les membres du QUEST partagent leurs expériences, approches et recommandations issues de l'activité du centre à l'égard des responsables administratifs et stratégiques des universités, laboratoires (faculty) aussi bien qu'aux chercheurs désireux d'améliorer leurs pratiques scientifiques. Un schéma (Fig1.) décrit notamment le cadre institutionnel du centre pour un changement culturel ou la méta-recherche et la bioéthique viennent nourrir l'ensemble de la structuration du QUEST, de la définition des principes clefs, aux processus mis en œuvre jusqu'aux services offerts.

<figure><img src="image_53.png" /><figcaption>Fig 1. The QUEST Center framework for institutional "culture change". Issu de l'article de Strech et al. (2020). Image mise à disposition en CC-BY</figcaption></figure>

<figure><img src="image_54.png" /></figure>

<footnote n="53">53 Daniel Strech et al., « Improving the Trustworthiness, Usefulness, and Ethics of Biomedical Research through an Innovative and Comprehensive Institutional Initiative », PLOS Biology 18, no 2 (11 février 2020) : e3000576, https://doi.org/10.1371/journal.pbio.3000576.</footnote>
Plusieurs recommandations sont aussi indiquées dans l'article, par exemple :

* changer les récompenses et incitations

* mettre en avant les recommandations officielles

* fournir des états des lieux des performances institutionnelles et nationales

* associer des approches top-down à un engagement bottom-up

## Research on Research Institute

Au Royaume-Uni, l'Institut de Recherche sur la Recherche (Research on Research Institute) est un partenariat international entre le fonds caritatif britannique Wellcome Trust, l'entreprise privée Digital Science & Research Solutions, l'université de Sheffield et le Center for Science and Technology Studies à l'université de Leiden aux Pays-Bas. Vincent Larivière indique qu'il s'agit « [d']un institut sans précédent car un organisme subventionnaire devient partie-prenante. » À travers un modèle de consortium, le RoRI souhaite produire des analyses indépendantes pour contribuer à l'amélioration du cycle de vie du système de la recherche depuis le financement jusqu'à l'évaluation en passant par le pilotage et la réalisation, au niveau international avec une dimension comparative :

> « We [at RoRI] believe more effort is needed to develop theoretical frameworks, standardize methods, strengthen networks, and test the transferability of approaches from one context to others. We are committed to translating ideas and evidence into practical 'real world' solutions to improve research culture and systems. » // « Nous [au RoRI] pensons qu'il faut davantage d'effort pour développer des cadres théoriques, normaliser les méthodes, renforcer les réseaux et tester la transférabilité des approches d'un contexte à l'autre. Nous nous engageons à traduire les idées et les preuves en solutions pratiques du « monde réel » pour améliorer la culture et les systèmes de recherche. » James Wilsdon

Depuis 2019, le RoRI a mis en place cinq projets pilote autour de l'évaluation par les pairs, la carrière des jeunes chercheurs, la « FAIRisation »<fnref n="54" /> des données de la recherche, l'attribution des financements en recherche, en particulier les systèmes de loterie, et les critères d'excellence en recherche. James Wilsdon considère que la présence de l'entreprise privée Digital Science, qui donne au RoRI accès à la base de données Dimensions concurrente de Scopus ou Web of Science<fnref n="55" />, offre à l'entreprise les bénéfices réputationnels de s'associer à une initiative non-commercial de bien public.

Dès sa création, l'Institut est organisé sur un modèle de consortium à visée européenne et internationale avec des partenaires effectuant des recherches sur la recherche dans plusieurs pays au niveau local.

> « The group is constituted of a lot of actors from different European countries (though not from France) with a mix of foundations such as the Volkswagen foundation, the Sloan foundation, the Chan Zuckerberg initiative in San Francisco, but also public funding agencies like Der Wissenschaftsfonds (FWF) from Austria, the Swiss National

<footnote n="54">54 FAIR est l'accronyme de Findable, Accessible, Interoperable and Reusable, et le terme employé depuis 2016 pour désigner les principes par lesquels rendre les données scientifiques conformes à un cadre de science ouverte. Pour plus d'information, consulter les principes FAIR sur le site de l'Initiative Go FAIR.</footnote>

<footnote n="55">55 Vivek Kumar Singh et al., « The Journal Coverage of Web of Science, Scopus and Dimensions : A Comparative Analysis », Scientometrics 126, no 6 (juin 2021) : 5113-42, https://doi.org/10.1007/s11192-021-03948-5.</footnote>
Science Foundation (SNSF), a funding agency in Norway, and UK Research and Innovation (UKRI). The idea was to try to unlock more of the potential to share data and do larger scale analysis across those organizations. It's a very co-productive model because the primary contribution is not money but actual participation in the projects. » // « Le groupe est constitué d'un grand nombre d'acteurs de différents pays européens (mais pas de la France), avec un mélange de fondations telles que la fondation Volkswagen, la fondation Sloan, l'initiative Chan Zuckerberg à San Francisco, mais aussi des agences de financement public comme Der Wissenschaftsfonds (FWF) d'Autriche, le Fonds national suisse de la recherche scientifique (FNS), une agence de financement en Norvège, et UK Research and Innovation (UKRI). L'idée était d'essayer d'exploiter davantage le potentiel de partage des données et d'analyse à plus grande échelle au sein de ces organisations. Il s'agit d'un modèle très co-productif, car la contribution principale n'est pas financière, mais consiste en une participation effective aux projets. » James Wilsdon

Afin de faciliter les actions transverses et le partage de données de la recherche entre pays, **il est question pour l'Institut de changer de statut administratif pour devenir une entité indépendante, et d'ouvrir la gouvernance à d'autres institutions membres**, qui passeraient de 4 à 8 dans les mois à venir.

« One option that [RoRI is] discussing with a number of its current partners is the creation of sort of network of different national labs. » // « Une option que [le RoRI] examine avec un certain nombre de ses partenaires actuels est la création d'une sorte de réseau de différents laboratoires nationaux. » James Wilsdon

« RoRI is also trying to [...] broaden the scope of its partnerships, as detailed in RoRI's Invitation to partnership propsectus. Instead of being four founding partners, they hope a bigger group of maybe eight or ten core partners could be co-owners of RoRI. They also want to set RoRI's legal status to be as a social enterprise, a community interest company in British law. One of the conclusions from the first pilot phase was that it would be helpful to have some kind of legally independent entity. It would make it easier to set up legal agreements. » // « RoRI essaie également [...] d'élargir la portée de ses partenariats, comme le précise le propsectus Invitation au partenariat de RoRI. Au lieu de quatre partenaires fondateurs, ils espèrent qu'un groupe plus important de huit ou dix partenaires principaux pourrait être copropriétaire de RoRI. Ils souhaitent également que le statut juridique de RoRI soit celui d'une entreprise sociale, une société d'intérêt communautaire en droit britannique. L'une des conclusions de la première phase pilote était qu'il serait utile d'avoir une sorte d'entité juridiquement indépendante. Cela faciliterait la mise en place d'accords juridiques. » James Wilsdon

## Research on Research Institute (RoRI), Royaume-Uni

« We can't unlock the full potential of investment in research systems, or fix problems in research cultures, unless we have the evidence and tools to understand them. » // « Nous ne pouvons pas libérer tout le potentiel des investissements dans les systèmes de recherche, ni résoudre les problèmes des cultures de recherche, si nous ne disposons pas des preuves et des outils nécessaires pour les comprendre. » (extrait site web RoRI)

« Au cours de la dernière décennie, l'engagement dans la recherche sur la recherche (RoR) s'est intensifié. Les décideurs politiques veulent utiliser ces méthodes pour garantir la conception et le fonctionnement efficaces des systèmes de R&D. Les bailleurs de fonds souhaitent mieux comprendre les impacts de leurs investissements et expérimenter de nouvelles
approches en matière d'allocation et d'évaluation. Les éditeurs cherchent à anticiper et à influencer l'évolution de la communication scientifique et des modèles d'évaluation par les pairs. Les chercheurs eux-mêmes produisent et utilisent de plus en plus de données de RoR pour informer et influencer les améliorations au sein des institutions et des cultures dans lesquelles ils travaillent. Le RoRI traduit les idées et les preuves en solutions pratiques et concrètes pour améliorer la culture et les systèmes de recherche. Pour ce faire, nous réunissons des personnes et des organisations qui s'intéressent à la recherche, recueillons des informations et développons des outils pour informer et améliorer la manière dont la recherche est financée, pratiquée, communiquée et évaluée. » https://researchonresearch.org/about

### Exemples de projets menés par le RoRI :

**PATHWAYS :** « Ce projet étudie la manière dont les données sont recueillies sur les carrières dans la recherche, afin de déterminer la meilleure façon de recueillir ces informations à l'avenir. Nous examinons les parcours de carrière dans la recherche dans six pays : Autriche, Canada, Danemark, Allemagne, Royaume-Uni et États-Unis. »
https://researchonresearch.org/projects#!/tab/273951116-4

**RANDOMISATION :** « Ce projet mène une série d'expériences pour tester le fonctionnement du financement de la recherche par loterie, afin de comprendre les avantages et les inconvénients de ces approches et la meilleure façon de les utiliser. »
https://researchonresearch.org/projects#!/tab/273951116-6

En résumé, les études sur la science aujourd'hui sont diverses et couvrent un grand nombre d'enjeux à différents niveaux. **La diversité des courants et approches décrites montre que certaines se centrent essentiellement sur des problématiques de communautés disciplinaires et adoptent une dynamique plus ascendante (bottom-up) standis que que d'autres s'intéressent à l'échelle des systèmes de recherche et s'impliquent au niveau des politiques de recherche.** Les démarches sont aussi variées, avec des approches plus descriptives et observationnelles qui font partie de la longue tradition d'études des sciences et de l'évaluation de la recherche, et une dynamique interventionnelle et prescriptive plus récente qui amène un changement de culture et une volonté de réforme au sein du monde de la recherche.

Les outils tout autant que les infrastructures utilisés ont un double enjeux. D'une part, en tant que nouveaux dispositifs de communication savante, il s'agit de comprendre leurs impact et effets sur les pratiques à l'œuvre (pre-print, pré-enregistrement, identifiant unique, open profile, etc.). D'autre part, puisque ces dispositifs et infrastructures produisent eux-mêmes des données qui servent de base à la recherche sur la recherche, une des problématiques est de savoir à qui elles appartiennent et quels modèles économiques et de gouvernance y sont associés. Ce dernier élément vient questionner notamment la place dans la science ouverte de l'ouverture des données et des infrastructures de recherche.

## Les enjeux de la « recherche sur la recherche » pour la science ouverte

La recherche sur la recherche et la science ouverte se développent en parallèle et partent d'un engagement normatif commun : celui d'améliorer le système de recherche actuel. Dans les deux cas, il s'agit d'observer la manière dont se pratique la recherche scientifique et la production de connaissances afin d'identifier les changements nécessaires à apporter pour une meilleure qualité des travaux de recherche. **Souvent, les axes d'amélioration identifiés par la recherche sur la recherche recoupent les champs d'intervention de la science ouverte, comme lorsqu'il s'agit des questions sur l'accessibilité et la transparence des données et des résultats de recherche.**

> « If you have a good open science/open research ecosystem and infrastructure then that is a very important enabling tool for good metascience. [...] there's a strong mutually reinforcing dynamic. » // « Si vous disposez d'un bon écosystème et d'une bonne infrastructure de science et de recherche ouvertes, il s'agit d'un outil très important pour

<figure><img src="image_55.png" /></figure>
une bonne *metascience*. [...] il existe une forte dynamique de renforcement mutuel. »
James Wilsdon

« It would be positive to have everything available on a public domain [...] where all data are always shared publicly including all improvements that are made over any source data, with public funding for it. » // « Il serait positif que tout soit disponible sur un domaine public [...] où toutes les données sont toujours partagées publiquement, y compris toutes les améliorations apportées aux données sources, avec un financement public. » Vincent Traag

### Infrastructure

Dispositifs de « communication savante » et leurs évolutions

* Pre-print, open peer-review

* Pre-registration

* Meta-analysis

* Plagiarism, retraction, negative results

### Disciplines et communautés de recherche

Pratique de la science et études des dérives (misconduct) dans les communautés de recherches (particulièrement en bio-médical)

* Crise de la réplicabilité, reproductibilité

* Biais

* Mésusages (*p-hacking*)

* Formation de jeunes chercheurs

* Éthique, intégrité

* Réseau scientifique, collaboration

### Politiques de recherche

évaluation des politiques publiques et prise de décisions fondés sur les preuves

* Incitations et récompenses

* Réduction du gaspillage

* Investissements financiers

* Inclusivité, diversité et carrières

### Exemples d'objets de recherche

communs entre la science ouverte et les études sur la science et la recherche (STS, SciSi, *metascience*, RoR, etc.)

D'autres thématiques abordées, qui sont davantage associées à la recherche et à l'innovation responsable (*Responsible Research and Innovation*), ne sont pas au cœur des politiques de la science ouverte, comme l'éthique, la diversité, et l'inclusion en recherche. Par ailleurs, science ouverte et recherche sur la recherche ne se recoupent pas forcément sur les choix faits autour des données de la recherche et des infrastructures composant le système de la recherche<fnref n="56" />.

Même si l'open access semble une pratique commune, la question se pose des positionnements par rapport à l'accès aux données servant de base à ces travaux de recherche. S'agit-il de se fonder sur des données et outils issus d'éditeurs et de fournisseurs privés ? De s'associer à de nouveaux entrants à l'instar du RoRI avec Digital Science ? Ou encore favoriser le développement d'infrastructures et de données ouvertes pour une réappropriation de la production scientifique mais aussi de son évaluation ?

Les mouvements décrits tout au long de ce rapport montrent différents avis, opinions et stratégies allant d'une vision pragmatique comme celle de Vincent Traag pour avoir accès à une exhaustivité des travaux scientifiques, à un engagement plus fort dans le soutien d'initiatives prônant des infrastructures ouvertes.

« It might be worth at least using traditional databases in some capacity in order to serve as a comparison basis. Then, if you have access to these databases, at least you can start building on something that compare new tools or new infrastructures to what was done before, and show how the new initiative is actually doing a better job. It's very useful to still have at least those databases on board in order to try to work your way around them. So I would be pragmatic with all of these choices about the level of openness and exclusivity. These databases might still be useful even though that they are not open access or they are not open. They can still have a value in this regard at least for getting things started. » // « Il pourrait être intéressant d'utiliser au moins les bases de données traditionnelles dans une certaine mesure afin de servir de base de

<figure><img src="image_56.png" /></figure>

<footnote n="56">56 Certains courants tels que la science de la science semble plus éloigner des enjeux de science ouverte comme le souligne Vincent Larivière. « Il est important de comprendre que la science ouverte et la science de la science sont deux notions distinctes. Il n'y a pas beaucoup de gens aux interstices de ces deux champs. » Vincent Larivière</footnote>
comparaison. Ensuite, si vous avez accès à ces bases de données, vous pouvez au moins
commencer à construire sur quelque chose qui compare les nouveaux outils ou les
nouvelles infrastructures à ce qui était fait auparavant, et montrer comment la nouvelle
initiative fait réellement un meilleur travail. Il est très utile d'avoir au moins ces bases de
données à bord afin d'essayer de les contourner. Je serais donc pragmatique avec tous
ces choix concernant le niveau d'ouverture et d'exclusivité. Ces bases de données
peuvent toujours être utiles même si elles ne sont pas en accès libre ou si elles ne sont
pas ouvertes. Elles peuvent encore avoir une valeur à cet égard, au moins pour démarrer
les choses. » Vincent Traag

Ces enjeux ont fait l'objet d'échanges et de discussion en toile de fond des entretiens dans le cadre des questions posées visant à recueillir de la part des personnes interrogées des conseils sur la mise en œuvre du LabSO.

<figure><img src="image_57.png" /></figure>

<figure><img src="image_58.png" /></figure>
# 5 | Recommandations pour la préfiguration du Lab de la science ouverte

Les entretiens ont été l'occasion de recueillir différentes recommandations quant à la mise en œuvre d'un Lab de la science ouverte. La diversité de profils interrogés venant de contextes géographiques (Royaume-Uni, Canada, États-Unis, Allemagne, Brésil, France) et d'institutions variés (centres de recherche dédié à la recherche sur la recherche, centre et chaire de recherche en sociologie, communication, scientométrie, laboratoires d'autres disciplines telles que l'informatique, le biomédical, etc.) ont permis de couvrir un certain nombre d'enjeux. Ces derniers se situent à deux niveaux :

* **à une échelle macro/meso :** positionnement stratégique (articulation avec d'autres acteurs/centres dédiés à l'international sur ces sujets, rapport aux fournisseurs de données), regard critique et réflexif sur les métriques et la mise en œuvre d'indicateurs.

* **à une échelle micro et interne au Lab :** mode d'organisation des membres du Lab, thématiques choisies et impact des travaux réalisés et de leur communication.

## Enjeux soulevés lors des entretiens

### Niveau macro/meso : positionnement stratégique

**Vision critique** sur les infrastructures, les indicateurs et les métriques

**Positionnement** par rapport aux acteurs privés : fournisseurs de données

**Dialogue** entre les différentes approches et mouvements

### Niveau micro : organisation et mise en œuvre de l'activité du LabSO

**Soutien d'approches thématiques et transversales** plutôt que disciplinaire

**Sensibilisation et diffusion** des connaissances vers différents publics cibles

**Mode de collaboration** entre les différents membres du LabSO
# Éléments de positionnement stratégique

## 5.1 Porter une attention sur la « fabrique » des indicateurs et sur l'usage des métriques

Une thématique clef revenant dans l'ensemble des entretiens concerne la **construction de politiques publiques sur la base de travaux quantitatifs et de construction d'indicateurs et de métriques.** Outre des risques et points de vigilance énoncés, des pistes de solutions ont aussi été formulées.

### La fabrique des indicateurs et métriques

Il a été rappelé tout d'abord qu'une prise de recul est nécessaire sur la fabrique d'indicateurs et la constitution de « tableaux de bords » afin de suivre la production scientifique (niveau national et institutionnel) et guider les décisions de politiques publiques. Un indicateur, comme le note David Pontille, est une représentation du réel toujours partielle, qui observe simplement une partie d'un phénomène. Les indicateurs sont le reflet de choix et de production définitionnelles de ce qui serait une « meilleure science », une « science ouverte », une « donnée ouverte », etc. Par exemple, une des personnes interrogées note qu'aujourd'hui ce qu'on appelle open access tend à survaloriser l'open access gold<fnref n="57" />. Quid des autres productions scientifiques ? Est-ce qu'un article sans licence ne sera pas compté comme de la science ouverte ? Les infrastructures et les outils de mesure incorporent en effet des normes, la plupart non-questionnées, qui ont un impact majeur sur les pratiques en recherche mais aussi les modèles économiques de la science ouverte (édition scientifique, etc.).

> Il est important de se questionner sur cette fabrique des indicateurs et quelles sont les normes et les modèles que ça favorise (gommage d'une diversité). une personne interviewée

Outre cet aspect relatif à la construction des indicateurs, un autre point soulevé lors des entretiens concerne **l'impact même des métriques sur les communautés et la production scientifiques.** Les effets de mésusages et de « gaming » amplifiés par une évaluation quantitative de la recherche sont connus (H-Index, impact factor) et s'illustrent par des contournements, tout autant que des cercles vicieux dans les pratiques. On peut citer par exemple, la course à la publication (plutôt que la recherche de qualité scientifique) ou encore un « forcage technique » imposant l'usage d'un outil plutôt qu'un autre. En ce sens, il ne faut pas que l'engouement de la mesure de la science mène à des indicateurs plus nocifs que ceux existants aujourd'hui. Les chercheurs et chercheuses-impliquées dans la construction d'indicateurs ou participant à leurs mises en œuvre sont souvent sensibilisées à ces enjeux et les considèrent avec précaution. Mais comme le remarquent Vincent Larivière et Guillaume Cabanac, ce n'est pas autant le cas du public de chercheur·e·s, décideur·e·s politiques, responsables stratégiques qui les reçoivent sous forme de représentation visuelle (graphique, carte dynamique, etc.). **Ainsi, ces chercheurs sont souvent amenés à apporter une perspective critique quant à ces métriques auprès de leur institution.** Ulrich Dirnagl précise également qu'il ne s'agit pas de

<figure><img src="image_59.png" /></figure>

<footnote n="57">57 La première version de l'Open Science Monitor développée par la Commission européenne et qui a été controversée prenait seulement en compte les publications dans des journaux open access, sans y intégrer les archives ouvertes.</footnote>
« croire aveuglement » à ces mesures même si celles-ci intègrent des principes FAIR.<fnref n="58" /> Concernant la science ouverte plus spécifiquement, Vincent Larivière apporte également un bémol en rappelant qu’à l’heure actuelle, outre des mesures concernant les publications scientifiques, les métriques sur les données ouvertes ne sont que faibles.

## Solutions et principes à mettre en œuvre

Les critiques et points de vigilance de la part de ceux qui réfléchissent à ce sujet s’accompagnent de propositions de principes à mettre en œuvre pour encadrer l’usage de ces métriques résumés ci-dessous. Il s’agirait ainsi de rendre les métriques et indicateurs discutables et révisables afin faciliter la compréhension de leur construction et de leur gouvernance, notamment en rendant plus transparents les codes source et les algorithmes. Un autre point serait de sensibiliser et de former les professionnel·les de la recherche aux usages des métriques et des indicateurs (vigilance quant au pouvoir de conviction des graphiques, part du qualitatif dans la construction et la révision de tableaux de bords multidimensionnels). Enfin, il s’agirait d’être prudent quant à la construction d’indicateurs à l’échelle individuelle afin d’éviter le renforcement du gaming et de la compétition possible.

Concernant les données produites par les chercheur·es à la base même de services d’analyse et de suivi de la production scientifique, une question soulevée lors des entretiens portait sur les organisations et entreprises qui détiennent ces données et qui ont la capacité de proposer des services et outils à destination des organismes de recherche.

## 5.2 Se positionner par rapport aux fournisseurs de données

La démocratisation des données de recherche par le biais d’organisations et d’outils/plateformes facilitant l’accès aux publications et données de la recherche et leur structuration (dans la mouvance des principes FAIR) participe au développement de la recherche sur la recherche. Comme illustré précédemment (cf. 3.2), plusieurs outils ont été développés par des acteurs de la recherche publique acec des initiatives telles qu’Our Research ou encore l’organisation à but non lucratif OpenKnowledgeMaps<fnref n="59" />)

La « recherche sur la recherche » implique également la constitution de bases de données communes. C’est le cas avec le funder data platform<fnref n="60" /> du RoRI. Cette plateforme est créée et gérée par une équipe de data scientists du Wellcome Trust. L’objectif est de proposer au consortium d’acteurs du RoRi une plateforme sécurisée pour partager des données et développer également des analyses quantitatives communes. Ces projets impliquent des alliances entre centres de recherche et laboratoire, financeurs et décideurs politiques et également de nouveaux acteurs se positionnant dans le champ des fournisseurs et analystes de données. Par exemple, l’entreprise Digital Science est un des membres co-fondateurs du consortium Research on Research Institute (RoRI) avec le Wellcome Trust et les universités de Sheffield et de Leiden du Research on Research Institute (RoRI) Ces « nouveaux entrants » proposent des alternatives en termes de données fournies et services d’analyse produits

<footnote n="58">58 Comme le concède Vincent Traag « even these best indicators are not something to be trusted blindly, especially in individual-level types of decisions. »</footnote>

<footnote n="59">59 Fondée en 2016, l’organisation à but non-lucratif Open Knowledge Maps est une spin-off du KNOW Center, un centre de recherche européen spécialisé en analyse de données et intelligence artificielle financé par des fonds publics pour la recherche. Open Knowledge Maps est soutenu par des dons d’organismes publics et privés.</footnote>

<footnote n="60">60 Pour en savoir plus : Dawn Duhaney, « The Funder Data Platform : Building Tools for Better Data Sharing in Science Funding », Wellcome Data (blog), 28 septembre 2021, https://medium.com/wellcome-data/the-funder-data-platform-building-tools-for-better-data-sharing-in-science-funding-Marin Dacos0e927fac76.</footnote>
(développement de tableaux de bords, IA). Ils diversifient la palette d'offres détenues jusqu'à présent par des éditeurs privés tels que Clarivate ou Elsevier, qui se sont repositionnés ces dernières années comme fournisseurs et analystes incontournables de la recherche scientifique et académique. **Un enjeu est de connaître les parties prenantes qui se positionnent sur l'analyse des données et veiller à un pluralisme de données et à des mécanismes d'accès ouvert et non propriétaire.** Comme le mentionne une personne interrogée « la construction d'infrastructures publiques partagées suivant des bonnes normes est cruciale afin d'éviter la reproduction d'erreurs déjà connues avec le facteur d'impact il y a 40 ans ». Néanmoins, pour un scientomètre comme Vincent Traag, il ne s'agit pas d'exclure des analyses faites avec certaines bases de données sur le principe qu'elles soient non-ouvertes, car ce serait prendre le risque de perdre en exhaustivité et en pertinence (cf.).

## 5.3 Dialoguer avec différentes approches et mouvements

Loin d'être un tout unifié, les recherches sur la recherche regroupent des acteurs, initiatives, approches, et objets d'étude distincts. Si certains projets concernent une communauté disciplinaire bien précise avec des pratiques spécifiques (réplication des études en psychologie, prise en considération de principes éthiques dans le champ biomédical) d'autres initiatives portent sur le système de recherche dans son ensemble (évaluation de la carrière, modes de financement des projets et évaluation). De plus, les paradigmes de recherche associés varient dans leur dimension épistémique et méthodologique. Ainsi, certaines approches de *metascience* s'effectuent dans une démarche de recherche interventionnelle et s'ancrent dans des protocoles expérimentaux randomisés et l'étude de cas pilotes. D'autres études scientométriques explorent de manière quantitative des réseaux de citations scientifiques. Enfin, certaines études se fondent sur une analyse qualitative dans une démarche d'anthropologie de laboratoires. Un des défis des travaux actuels sur la recherche **est de réussir à faire dialoguer ces différentes approches méthodologiques pour créer de la transversalité dans le partage des connaissances** afin d'éviter la création de silos.

Comme cela est souligné dans le sous-chapitre, le discours enthousiaste autour de l'émergence d'une nouvelle discipline de la *metascience* ou encore la mise en avant de l'efficacité de la recherche dans la perspective d'une « scientific reform » ont fait l'objet de critiques au sein des disciplines travaillant sur ces objets depuis de nombreuses décennies. Une crainte serait que les nouvelles initiatives ne s'appuient pas assez sur un important volume de connaissances notamment qualitatives issues de courant tel que la philosophie, l'histoire, la sociologie des sciences, les STS. Ces dernières disciplines donnent en effet une prise de recul sur les mécanismes de construction de normes, la structuration de communautés scientifiques, les enjeux économiques et politiques des savoirs. Ces points d'attention s'accompagnent néanmoins d'éléments encourageants par l'enrichissement méthodologique qu'apportent des démarches fondées sur les preuves issues du domaine biomédical ou des compétences liées au traitement et à l'analyse de données massives. Ainsi pour tirer le meilleur parti de cette diversité de démarches, il s'agit également d'éviter des bulles éditoriales séparées sans échange entre communautés, chacune ayant ses propres revues et conférences.

Un autre aspect soulevé en entretien porte sur la place des sciences humaines (*Humanities*) dans le cadre des projets de recherche étudiés. Les domaines des sciences et techniques médicales (STM) font l'objet d'une attention plus spécifique de par les budgets de recherche conséquents qui leur sont attribués. **Les sciences humaines ayant des cultures et pratiques de recherche différentes, il s'agit**
de les prendre en compte pour mieux les comprendre et ainsi éviter l'application de normes et pratiques inadaptées dans ces champs.

> « Le risque majeur dans ce genre d'étude est d'être trop généraliste. [...] On transpose souvent des paradigmes mais cela ne fonctionne pas forcément. » Marin Dacos

Ainsi tout l'enjeu est d'une part d'identifier et mettre en avant les valeurs et les normes qui rapprochent différents domaines de recherche sans gommer la diversité des pratiques.

Les conseils et retours énoncés ci-dessus restent à un niveau général sur la structuration des champs de recherche et leurs articulations avec les politiques publiques de recherche et leur impact. D'autres avis formulés lors des entretiens ont abordé le niveau « micro » de l'organisation interne d'un futur Lab et de la communication des connaissances futures qui y seraient produites.

## Organisation et mise en œuvre de l'activité du LabSO

La création d'un Lab de la science ouverte a suscité de l'enthousiasme et de la curiosité de la part des personnes interrogées **quant à sa forme organisationnelle, mais aussi quant aux thématiques qui y seront traitées.** Plusieurs suggestions ont été recueillies sur les thématiques possibles de travail du Lab de la science ouverte, le mode d'organisation et de communication du Lab

### 5.1 Soutenir les approches thématiques et transversales de « recherche sur la recherche »

Les travaux de metascience et de meta-research ont initialement pris comme objet de recherche les éléments défaillants dans les pratiques scientifiques et le système de recherche en science (p-hacking, crise de la reproductibilité, manque de réplication possible des études). Ensuite, la focale a été dirigée sur les pistes d'amélioration pour remédier à ces pratiques en se basant sur de nouveaux dispositifs, par exemple les pre-prints, le pré-enregistrement des essais cliniques, ou les nouvelles formations.

Aujourd'hui pour Ulrich Dirnagl, à l'échelle des instituts et des politiques publiques de recherche, il est plus opportun de se concentrer sur l'évaluation de ces nouveaux dispositifs pour changer la culture de recherche. Selon lui, il manque encore des études pour vérifier l'impact et l'efficacité des actions menées (incitations, récompenses, nouveaux outils, etc.) sur différentes communautés et la manière dont elles sont perçues et intégrées. Plus que de travailler sur des thématiques spécifiques à des communautés disciplinaires, un des axes soulignés lors des entretiens serait de développer une approche transversale. Le RoRI est à ce sujet une source d'inspiration dans les thématiques abordées et la construction des projets de recherche. Ces derniers associent différents centres de recherche et pays pour avoir une vision générale et des sources de comparaison internationales.

### 5.2 Favoriser la collaboration par un mode d'organisation en réseau et penser les publics cibles

Un mode d'organisation en réseau a été plébiscité pour faciliter les échanges avec d'autres réseaux en cours de structuration. C'est le cas par exemple du RoRI qui aujourd'hui regroupe 8
instituts et souhaite se développer. Un autre projet en structuration concerne également celui d'un
institut for metascience porté par le Center for Open Science (COS) pour un appel à projet de la
National Science Foundation (non financé) qui a identifié dans sa proposition initiale 29 institutions
(centres, laboratoires, départements) dans l'optique d'un projet interdisciplinaire, interinstitutionnel,
orienté vers les données (data-intensive) et méthodologiquement diversifié<fnref n="61" />. Plusieurs retours
précisent en ce sens le besoin de faciliter au sein même des membres du LabSO le croisement de
différentes approches aux méthodologies, théories et démarches distinctes. Comme le souligne Marin
Dacos, le but n'est pas qu'un paradigme l'emporte sur l'autre. À l'image du QUEST, la définition
d'objectifs communs est clef pour faciliter un travail interdisciplinaire en prenant en
considération les étapes de définition et de traduction nécessaires à la pleine participation de
toutes les parties prenantes. Par exemple, si les notions de p-value et donc de p-hacking peuvent
sembler triviaux pour des chercheurs dans le domaine bio-médical, ces notions sont souvent
nouvelles pour des chercheurs en philosophie des sciences, qui doivent se les approprier. Un autre
point souligné est l'importance de préparer et soigner les dispositifs d'interaction notamment à
distance pour faciliter la communication mais également des processus collaboratifs entre
participe·s.

Un dernier aspect qui ressort des remarques faites en entretien porte sur les connaissances produites
par le Lab et leur diffusion. Les enjeux de pédagogie et de sensibilisation ont été soulevés avec
l'importance de développer un travail d'éditorialisaiton des contenus pour différents publics
(journalistes, directeurs de recherche, politiques). Pour Marin Dacos le GIEC représente un modèle de
capitalisation des connaissances et d'explicitation de concepts, inspirant pour le LabSO.

> « Le Lab doit être une force de proposition pour les politiques publiques. Il a une énorme vocation de pédagogie. Il doit se doter d'une feuille de route de recherche mais également d'un référencement des enseignements d'études existantes ou qui seraient à construire. » Marin Dacos

<footnote n="61">61 Center for Open Science, « NSF 21-519 – HDR Institute – Institute for Metascience » (OSF, 22 avril 2020), https://osf.io/8km72/.</footnote>
# 6 | Conclusion : la « recherche sur la recherche » au cœur d'un système partagé de connaissances issues de la recherche

Dans le rapport *Progress on Open Science : Towards a Shared Research Knowledge System : Final Report of the Open Science Policy Platform*<sup>62</sup>, les parties prenantes de ce programme européen (OSPP) déployé de 2016 à 2020 dressent un bilan des actions menées et proposent des perspectives futures pour la science ouverte et plus généralement pour le système de la recherche en Europe. En effet, plus que la notion de science ouverte, celle de système partagé de connaissances produites par la recherche est employée (*shared research knowledge system*<sup>63</sup>). Cinq caractéristiques seraient clefs pour la construction d'un tel système d'ici 2030. Aux côtés de l'importance d'un système de recherche fiable et transparent, facilitant l'innovation et reconnaissant l'inclusivité et la diversité, un des attributs souligné est celui de politiques et de pratiques se fondant sur des preuves (*evidence-based policy and practice*). Pour y parvenir, **le financement et la création d'un programme de « recherche sur la recherche » est mis exergue afin d'identifier des priorités d'investigation pour les politiques publiques**. Un des objectifs mentionnés est d'« examiner et évaluer comment nos méthodes de travail peuvent avantager et/ou avoir des conséquences involontaires ou négatives pour la recherche et les communautés et la société qu'elle sert <sup>64</sup>». Le rapport datant de 2020 est représentatif d'une demande **forte des politiques publiques de s'intégrer dans une « culture de réflexivité et de robustesse de la recherche »<sup>65</sup>**, amenant à considérer la recherche sur la recherche comme la R&D des politiques publiques de recherche.

Cette étude exploratoire réalisée sur une durée courte a tenté d'illustrer aujourd'hui la diversité d'acteurs et d'approches prenant part à une démarche robuste et à un regard réflexif sur les pratiques scientifiques de différentes communautés tout autant que l'organisation et la gestion du système de recherche. Par cette étude, un paysage divers et dynamique a été dépeint. Différentes approches ont été décrites comme celles issues des traditions théoriques et méthodologiques (quantitative et qualitative) de la sociologie, de l'économie, des sciences politiques, de la philosophie, des sciences de l'information et des mesures (biblio/scientométrie), d'autres venant du champ des sciences sociales computationnelles, des *Big Data* ou encore des domaines bio-médicaux, et ce dans un contexte de politiques publiques favorables à la science ouverte. Si certaines de ces approches s'appuient sur des courants académiques (STS, sciences des mesures) établis depuis de nombreuses décennies, d'autres se sont structurées plus récemment avec une visée prescriptive et de changement se basant sur un engagement normatif d'une meilleure science et plus ouverte.

<footnote n="62">62 Directorate-General for Research and Innovation (European Commission), Rebecca Lawrence, et Eva Mendez, *Progress on Open Science : Towards a Shared Research Knowledge System : Final Report of the Open Science Policy Platform* (LU : Publications Office of the European Union, 2020), https://data.europa.eu/doi/10.2777/00139.</footnote>

<footnote n="63">63 Différentes traductions en français sont possibles, par exemple : « système de la recherche produisant des connaissances partagées » ou bien « système partagé de connaissances produites par la recherche ».</footnote>

<footnote n="64">64 « review and evaluate how the ways that we work can bring beneficts and/or unintedned or negative consequences for research and the communites and society that it serves » Directorate-General for Research and Innovation (European Commission), Lawrence, et Mendez, *Progress on Open Science*.(p.27.)</footnote>

<footnote n="65">65 « As the OSPP, we want to endorse such initiatives and work to embed a culture of reflection and robust 'research on research' as part of our collective Open Science future. » Ibid. (p.27)</footnote>
« Le point positif aujourd'hui de toutes ces approches est qu'il existe un réel intérêt pour la Science. Les fractures entre les « quanti » et les « quali » des années 90 est passée. Il y a un regain d'intérêt ce qui aboutit à des méthodes intéressantes qui se combinent par ailleurs avec une importante quantité de données. Tout ceci participe au développement d'une meilleure science de la science. » Vincent Larivière

Bien loin d'un paysage statique, l'étude fait ressortir des recherches en mouvement, des débats tout autant que des mises en garde afin que certains courants « ne réinventent pas la roue ». De nouvelles alliances entre centres de recherche et laboratoires, institutions subventionnaires, décideurs politiques et fournisseurs de données ont été repérées. Un des exemples les plus récents étant le RoRI, qui a récemment publié sa seconde feuille de route<fnref n="66" /> poussant notamment à la formation d'un réseau international d'instituts de recherche sur la recherche, fondé sur le partage et la mutualisation de données, de méthodes et d'outils.

Pour faciliter la compréhension de ce paysage diversifié et dynamique, l'étude a proposé une première grille de lecture des courants représentés tout en ayant conscience de l'effet « réducteur » face à un réseau beaucoup plus complexe et précis. Plusieurs acteurs concernés pourront se retrouver aux interstices de plusieurs catégories présentées au sein de ce rapport. **Néanmoins, l'enjeu était de faire ressortir des lignes de forces tout autant que les points de frictions en remettant notamment au centre le rôle joué par les infrastructures et les fournisseurs de données de la recherche (publications, données, métadonnées, citations, etc.) dans la structuration de ce paysage et les équilibres à trouver.** L'étude signale plusieurs points de vigilance, en se fondant sur la richesse des entretiens menés. Ces derniers soulignent l'importances échanges et discussions collectives sur l'évaluation de la recherche et l'usage des indicateurs, des métriques et de leurs impacts (fabrique des indicateurs et normes implicites incorporées, impact sur les comportements des professionnels de la recherche, gaming, mésusages). La sensibilisation à ces enjeux et la médiation que cela implique sont des pierres angulaires à considérer tout autant que le besoin de faire dialoguer différents paradigmes et méthodologies au sein des recherches menées (ou tout au moins prendre conscience de leur incommensurabilité).

Cette étude rappelle également que les travaux de « recherche sur la recherche » ne recoupent pas forcément une démarche de science ouverte. Ainsi, la question d'une démocratisation des données de la recherche et d'une réappropriation des outils d'évaluation, de découvrabilité et d'analyse de la production scientifique se pose. S'agit-il d'intégrer dans les projets de « recherche sur la recherche » une démarche volontariste de réappropriation des sources de données et de leur analyse par la recherche publique ou bien de composer avec l'offre de services et d'outils d'analyses par des fournisseurs privés de données ? Sans tomber dans une attitude manichéenne, le rôle des infrastructures et plateformes de communication académique est une problématique clef à ne pas omettre dans une perspective de science ouverte. Au-delà des axes forts de l'accessibilité et de la transparence de la recherche, les thématiques abordées au sein des recherches sur la recherche dépassent les sujets initiaux de la science ouverte (open access, données FAIR, compétences, différences disciplinaires, reproductibilité) pour y intégrer les problématiques d'intégrité, de diversité, d'inclusivité au sein des milieux académiques et scientifiques.

<figure><img src="image_60.png" /></figure>

<footnote n="66">66 Research onResearch Institute, « RoRI Phase 2 : invitation to partnership ». Document inédit consulté dans le cadre de la réalisation de cette étude.</footnote>
Pour conclure, en tentant de capturer un instantané d'un paysage en rapide évolution, **la présente enquête réalisée dans un temps court se veut une base de discussion et d'échange pour le Lab de la science ouverte.** Pour cela, même si elle n'est pas présente directement dans le contenu principal du rapport, une cartographie des différents acteurs repérés tout au long de la phase des entretiens a été établie. Celle-ci (détaillée en annexe) fait ressortir des communautés d'acteurs moins actifs dans les mouvements actuels de la *metascience* ou de la recherche sur la recherche, qui œuvrent aux politiques de recherche et à leur impact. La lecture du rapport et des annexes – par les questions et les commentaires qu'ils susciteront – participera, nous l'espérons, à développer **une « réflexivité » plus grande sur la science ouverte dans ses dimensions à la fois techniques, organisationnels tout autant que dans la diversité des approches** à mettre en œuvre et à articuler.

<figure><img src="image_61.png" /></figure>

<figure><img src="image_62.png" /></figure>
# 7 | Annexe 1 : Cartographie numérique : soutien à l'analyse qualitative

Le volet quantitatif de l'approche développée par Inno³ a consisté en une collecte automatisée de données pour créer un corpus constitué de pages web et de liens entre elles concernant les thématiques de « recherche sur la recherche », « metascience » et « meta-research ». Les références partagées en entretien ont permis de constituer une base de ressources bibliographiques<fnref n="67" />, mais aussi une liste d'acteurs et de projets impliqués. Cette liste comprend à la fois des noms d'institutions privées, d'organismes publics, d'outils, et d'infrastructures. Les URL des sites web associés aux acteurs répertoriés ont ensuite servi de point de départ pour une collecte de données numériques issues du Web à l'aide de l'outil Hyphe.

Les cartographies produites aident à repérer des acteurs qui n'étaient pas forcément visibles ou connus grâce au processus de curation itératif des liens récoltés à partir des différents pages web. Les images proposées sont complémentaires aux cartographies de publications scientifiques déjà existantes notamment les travaux menés actuellement par le CWTS avec le RoRI pour cartographier le paysage des publications scientifiques associées à la RoR (cf. ci-dessous)<fnref n="68" />. Outre la présence ou non d'acteurs particuliers, l'image du réseau de liens entre sites web permet de rendre compte des relations qu'il s'agirait de qualifier grâce à un travail supplémentaire de catégorisation concernant la nature des liens.

## Les publications scientifiques

Research on research in the landscape of science

<figure><img src="image_63.png" /></figure>

<figure><img src="image_64.png" /></figure>

Ludo Waltman, « The landscape of research on research », présentation au Innovation Studies Seminar, 2019. Cartographie réalisée pour le Research on Research Institute (RoRI).

Un regard cartographique des publications scientifiques

1

« La carte n'est pas le territoire »

* Carte construite sur la base de publications scientifiques

* D'autres représentations cartographiques possibles ? Réseaux entre entités web.

2

Analyse cartographique

* Équipement du regard qualitatif (questionnement)

* Avoir conscience de la narration des données

Exemple de la cartographie réalisée par le CWTS Ludo Waltman<fnref n="69" /> sur le paysage de la recherche sur la recherche (travail conjoint réalisé avec le RoRI).

En effet, le volet quantitatif est un projet encore en cours qui pourra faire l'objet d'itérations. Des pistes d'enrichissement ont été identifiées afin de pouvoir interpréter et exploiter les données de

<footnote n="67">67 Les références et leurs métadonnées ont été répertoriées à l'aide de l'outil Zotero dans une collection du nom de ce rapport rendue publique et accessible en ligne sur https://www.zotero.org/groups/4434045/inno_public/library.</footnote>

<footnote n="68">68 Les travaux du RoRI et du CWTS ont fait l'objet d'une présentation lors de la conférence *Metascience 2021*. Un article devrait être publié prochainement. Nous nous sommes basées pour le moment sur la présentation slideshare de Ludo Waltman de 2019 « *The Landscape of research on research* : https://www.slideshare.net/LudoWaltman/the-landscape-of-research-on-research</footnote>

<footnote n="69">69 Ludo Waltman, « The landscape of research on research » (Innovation Studies Seminar, Utrecht, Pays-Bas, 15 octobre 2019), https://www.slideshare.net/LudoWaltman/the-landscape-of-research-on-research.</footnote>
manière plus approfondie. La liste des URL ayant servi à la collecte automatisée avec l'outil Hyphe (cf. encadré « L'approche Inno³ ») et le détail du traitement des données sont accessibles sur le projet Gitlab public (https://gitlab.com/inno3/labso-meta-research-public) et un travail descriptif de pré-analyse est présenté à continuation.

## L'approche Inno³ ...

Première étape qualitative : collecter, répertorier, catégoriser, enrichir

<figure><img src="image_65.png" /></figure>

<figure><img src="image_66.png" /></figure>

Tableau de 78 sites web répertoriés et catégorisés qualitativement au fur et à mesure des entretiens

### Instituts et centres de recherche

RORI, AIMOS, Research Impact Canada, Our Research, CoSO, Knowledge Exchange, CWTS Leiden, METRICS Center Stanford, Center for Open Science, etc.

### Bases de données scientifiques et outils d'exploration / découvrabilité

Open Knowledge Maps, Crossref, PubMed, PaperBuzz, The Lens, Dimensions, etc.

### Entreprises et plateformes privées

Clarivate, Digital Science, Elsevier, Microsoft Academic

Dans la suite de cette annexe, nous présentons des compléments d'informations pour naviguer et comprendre les images cartographiques. En effet, les représentations visuelles peuvent amener aisément à des sur-interprétations. Il est donc important de rappeler la démarche donnant naissance à ces images et quelques détails sur ce que chaque lien et nœud repère et les limites des interprétations que l'on peut en tirer.

## ... focus sur le paysage web

<figure><img src="image_67.png" /></figure>

### Boîte à outil

<figure><img src="image_68.png" /></figure>

hyphe

Gephi

<figure><img src="image_69.png" /></figure>

GitLab

<figure><img src="image_70.png" /></figure>

<figure><img src="image_71.png" /></figure>

Réseau de 8505 pages web découvertes avec l'outil de moissonnage Hyphe à partir des 78 sites web pré-sélectionnés.

Intérêt d'une visualisation de réseaux orientées « entités web » :

* **Observer l'intégration des acteurs** étudiés dans un tissu de relations pondérées

* **Repérer des entités** qui n'avaient pas été identifiées

* **Replacer** les acteurs préalablement présentés dans un paysage plus large (essentiellement nord-américain / européen)

Approche mixte (qualitative-quantitative), caractérisée par une curation des données du web, moissonnées de manière automatisée.
## 7.1 Description et pré-analyse

Afin d'offrir une vision globale du paysage institutionnel numérique dans lequel le Lab de la science ouverte sera amené à se développer, le choix a été fait de s'appuyer sur une image de réseau de sites web en utilisant l'outil Hyphe développé par le medialab de Sciences Po. Une liste de 78 URL sourcese auprès d'experts interviewés pour cette étude a servi de point de départ pour créer un corpus de 8 505 pages web moissonnées par Hyphe. Suite au nettoyage dans l'interface de Hyphe et à la réduction de la dimension du réseau, le logiciel Gephi a été utilisé pour travailler l'aspect visuel du réseau, et pour détecter d'éventuelles « communautés » grâce au calcul de modularité et à l'algorithme de spatialisation d'assimilation de force Force Atlas 2 intégrés à cet outil.

> « Communautés détectées » : 6 communautés détectées après application d'un algorithme de modularité et d'un algorithme d'assimilation de force. Image produite avec Gephi et Inkscape, présentée lors du séminaire de préfiguration du Lab de la science ouverte, le 27 septembre 2021 au Centre Internet et Société du CNRS.

Ce que l'on voit sur l'image :

<figure><img src="image_72.png" /></figure>

1. Réseau « Science of Science » : approche computationnelle / IA, peu engagés dans les enjeux de science ouverte

2. Réseau d'acteurs de la méta* : recherche sur la recherche avec une forte coloration britannique

3. Réseau d'acteurs plus hétérogènes : plateformes de l'écosystème éditorial, fournisseurs de données, acteurs de la recherche sur la recherche et science ouverte

4. Des financeurs privés nord-américains (philanthropie) not. pour des centre meta*

Réseau des politiques de la recherche (évaluation, management, prise de décision politiques)

5. Réseau science, technologie, innovation et société
Sur cette image, les chiffres (de 1 à 6) et les couleurs correspondent aux communautés détectées suite à l'application d'un algorithme de spatialisation d'assimilation de force et d'un calcul de modularité. Les étiquettes ont été rajoutées à la main grâce à une analyse qualitative du corpus de pages web pour repérer les institutions connues représentant un intérêt pour cette étude.

<figure><img src="image_73.png" /></figure>

« Écosystème éditorial & science ouverte » : Image des nœuds représentant le cluster central des pages web moissonnées avec Hyphe. présentée lors du séminaire de préfiguration du Lab de la science ouverte, le 27 septembre 2021 au Centre Internet et Société du CNRS.

## Ce que l'on voit sur l'image :

* Des infrastructures à but non lucratif « science ouverte »

* Édition et diffusion de (pré)-publications scientifiques : Plos, Arxiv, Open Science Framework

* Structuration de l'open access/data (FAIR) : ORCID, Creative Commons, Europa, Wikipedia

* Des plateformes et services privés (éditeurs, répertoirs de données, codes sources, bases de données) :

* Grandes entreprises d'édition privées et universitaires : Wiley, T&F, Sage, Springer, Oxford Univ. Press

* Services et infrastructures gratuits issus d'entreprises privées : ResearchGate, Github, Figshare

* Revues et bases de données d'articles scientifiques à modalités payantes : Nature, Science Direct

Les images du réseau produites ont été un support descriptif d'aide à la réflexion et ont été croisées à l'analyse des informations qualitatives recueillies lors des entretiens et des recherches documentaires.
Ainsi l'étude a proposé une première grille de lecture des courants représentés tout en ayant conscience de l'effet « réducteur » de la complexité et finesse des réseaux de recherche sous-jacents. Plusieurs acteurs concernés pourront se retrouver aux interstices des catégories présentés au sein de ce rapport.

Afin de pouvoir exploiter l'image au mieux, plusieurs clefs de lecture sont rappelées ci-dessous.

## 7.2 Que représentent les cercles ?

L'outil Hyphe est conçu pour agréger des couches de données extraites du Web que l'utilisateur ou l'utilisatrice peut ensuite assembler en groupements thématiques, appelées entités. Sur l'image, les entités sont représentées par des cercles, aussi appelés « nœuds ».

**Bon à savoir : tout n'est pas crawlable**

Pour des raisons de sécurité et pour ne pas surcharger les serveurs inutilement, un dispositif d'authentification ou de gestion de droits est souvent nécessaire pour accéder au contenu de pages web appartenant à des bases de données, des revues, des entrepôts de données, d'autant plus si celles-ci sont commerciales.

Par exemple, même si un ensemble de pages associées au site web de l'entreprise Digital Science ont été répertoriées, la base de données de l'entreprise n'a pas été moissonnée pour autant.

Sans pour autant moissonner tout le contenu des sites sécurisés, Hyphe permet néanmoins de repérer ces pages et de les regrouper afin de faire figurer ces institutions sur la cartographie. A titre d'exemple, trois pages web dont l'URL est associée à l'université d'Oxford (Oxfordjournals.org, Oxfordclinicalpsych.com, Oup.com) figurent dans le corpus d'entités constitué pour cette étude. Celles-ci auraient pu être regroupées afin de faire apparaître un seul cercle libellé « Oxford University Press » sur l'image. Les liens qui y sont rattachés seraient alors la somme des liens entrants et sortants des trois pages web initiales.

## 7.3 Que représentent les traits ?

Sur l'image, les traits qui relient les cercles entre eux correspondent aux liens hypertextes sur les pages web moissonnées. Il est possible de distinguer trois types de liens dans le réseau : sortants, entrants et symétriques.

Par exemple, il y aurait 23 liens entrants au cercle Oup.com (Oxford University Press) qui correspondraient aux liens hypertextes entrant sur les trois pages web (Oxfordjournals.org, Oxfordclinicalpsych.com, Oup.com) provenant d'autres pages. Cela correspondrait à des « citations » de l'URL figurant sur d'autres pages web comme Wellcome.org, Biomedcentral.com, Cwts.nl, ou encore Crossref.org, pour ne donner quelques exemples.

**Bon à savoir : les liens ne sont pas contextualisés**

Sans aller voir la source, il est impossible de savoir la nature qualitative du lien entre deux nœuds, c'est-à-dire qu'il n'est pas possible de savoir si le lien présente sur un site est présenté dans un contexte positif ou négatif. Il est simplement possible de constater la direction des liens et leurs poids dans le cas où les liens entre entités seraient pondérés. Cette problématique rappelle celle des indicateurs d'évaluation des publications comme le H-Index qui comptabilise le nombre

<figure><img src="image_74.png" /></figure>
## 7.4 Le projet LabSO sur Gitlab : une source de données pour des explorations futures

Le projet Gitlab (https://gitlab.com/inno3/labso-meta-research-public) sert de dépôt pour différentes types de données numériques collectées au long de la phase exploratoire de l'étude et qui restent à exploiter. Dans une visée de science ouverte et participative, toutes sont mises à disposition dans le respect des licences prévues pour encourager d'éventuelles utilisations ultérieures. Un journal de bord situé dans le wiki du projet Gitlab documente les processus de collecte et les traitements effectués afin de faciliter la compréhension des données et leur éventuelle réutilisation.
# 8 | Annexe 2 : Trame des entretiens (fr/en)

## Version française

### Présentation de la personne interrogée et de l'organisation de rattachement

### Être acteur de la science ouverte

* Pouvez-vous nous indiquer quelles sont vos fonctions, votre rôle et à quelles organisations êtes-vous rattachées ?

* Quelles sont vos missions ?

* Quel est le nom de votre établissement de rattachement et son organisation (nombre de personnes, organisation publique, privée, financement) ?

* Quelle est son implication (ou votre implication spécifique) par rapport aux thématiques de science ouverte, recherche sur la recherche, meta-recherche ?

### Recherche sur la science ouverte et sur la recherche

Les thématiques de science ouverte génèrent aujourd'hui un important volume d'articles de discussion cherchant à la définir ou bien à apporter des retours sur quelques pratiques de recherche ouverte. On voit aussi depuis plusieurs années apparaître des centres de recherche sur la recherche (meta-research, research on research, etc.). Nous souhaitons mieux comprendre ce paysage et le cartographier pour voir si différentes approches en ressortent et différents courants disciplinaires ou vision même de la recherche et de la science ouverte.

### Paysage à dessiner

* Comment positionner ces différentes recherches aujourd'hui (recherche sur la science ouverte, research on research, meta-research) ?

* Quelles sont selon vous :

* leurs approches méthodologiques, leurs thématiques de recherche privilégiées, les champs disciplinaires y participant ;

* les personnes y participant ou les évènements associés, les organisations/centres représentatives de ses approches ?

* Quelles sont selon vous les éléments qui distinguent le plus ces approches ?

* Pouvez-vous citer :

* quelques publications majeures, rapports illustrant ces différentes approches ;

* les 10 personnes et/ou institutions les plus emblématiques à ce sujet dans un contexte international ?

* Quelles évolutions sur les dix dernières années sont les plus marquantes pour vous sur ces sujets, ces recherches ?

### Politiques publiques de science ouverte et études à ce sujet

Nous voyons le développement des observatoires de pratiques, des centres de Recherche sur la Recherche afin d'apporter des connaissances pour guider les politiques publiques de recherche. Le projet Widera Horizon Europe se positionne aussi dans cette direction.

* Comment ces connaissances s'articulent ou devraient s'articuler avec les prises de décisions politiques ? Comment sont-elles transmises au décideu.rs.ses ?

* Quels rôles jouent aujourd'hui les publications, études, ou articles à ce sujet sur les décisions prises en matière de politiques publiques de la recherche et de la science ouverte ? Avez-vous quelques exemples à nous citer ?

* Quels rôles jouent aujourd'hui des indicateurs ou devraient-ils jouer ?

* Quels seraient pour vous les indicateurs nécessaires à la prise de décisions politiques "éclairées" sur la science ouverte ?

* Quels avantages et risques quant à ces approches ?

* Avez-vous connaissance de modèles alternatifs de science ouverte, de meta-recherche, de research on research ?
# Structuration d'un laboratoire de la science ouverte

Le CoSO souhaite structurer un laboratoire de la science ouverte et également créer au plus long terme un observatoire de la science ouverte.

## Avis d'expert

* Comment devrait fonctionner un tel Lab ?

* Quelles sont les dynamiques à mettre en place ?

* Quels sont les écueils à éviter ?

* Comment un observatoire de la science ouverte devrait-il se structurer ?

* Avez-vous des exemples inspirants à nous proposer ?

# Étude exploratoire : enjeux méthodologiques

L'étude que nous menons se fait sur un temps court mais nous souhaitons préfigurer une méthodologie de recherche au long terme pour suivre les recherches à ce sujet et l'évolution de ces courants.

## Démarche réflexive

* Auriez-vous des conseils quant à la méthodologie, des éléments manquants ?

* Comment verriez-vous un projet sur le long terme se structurer ?

## Question ouverte

* Avez-vous d'autres points qui vous paraissent importants à soulever ?

# Version anglaise

## Brief introduction and professional affiliation

### Being an actor of open science

* Can you tell us what your job title is, to which organizations are you affiliated, and what work do you do there ?

* What is the name of your institution and how is it organized (number of people, public, private, funding) ?

* What is its involvement (or your specific involvement) with open science, research on research, meta-research ?

### Research on open science and research on research

Open science themes are generating a large volume of articles that seek to define it or to provide feedback on current open research practices. For several years now, we have also seen the emergence of research on research and meta-research centers that are concerned with these issues. We want to better understand this landscape and map it to see if different approaches emerge as well as different disciplinary currents or visions of research and open science.

## Landscape

* How are these different types of research positioned today (research on open science, research on research, meta-research) ?

* According to you, what are :
  — their methodological approaches, their preferred research themes, the disciplinary fields they involve ?
— the people involved or the associated events, the organizations/centers that are representative of these approaches ?

* What do you think are the elements that most distinguish these approaches ?

* Can you cite :

— some major publications, reports illustrating these different approaches ?

— the 10 most emblematic people or institutions on this subject in an international context ?

* What developments over the last ten years are the most significant for you on these subjects, these types of research ?

**Public policies on open science and studies on this subject**

We see the development of observatories of practices and research on research centers that provide knowledge to guide public research policies. The Widera Horizon Europe project also aims to do this.

* How does or should this knowledge be articulated with political decisions ?

* How is it transmitted to decision-makers ?

* What role do publications, studies, or articles play in shaping this subject today and the decisions taken in terms of public policies on research and open science ? What role do publications, studies, or articles play in shaping this subject today and the decisions taken in terms of public policies on research and open science ?

* Do you have some examples to cite ?

* What roles do or should indicators play today ?

* What are the benefits and risks of indicator-based approaches ?

* Do you know of any alternative ways of practicing open science, or other models of meta-research or research on research ?

**Structuring an open science laboratory**

The CoSO wishes to set up an open science laboratory and in the long term, also to create an open science observatory.

**Expert advice**

* How should such a Lab function ?

* What partnerships/alliances/synergies need to be in place ?

* What are the pitfalls to avoid ?

* How should an open science observatory be structured ?

* Do you have any inspiring examples to offer us ?

**Exploratory study : methodological issue**

The study we are conducting is done over a short period of time but we wish to conceive a long-term research methodology to follow the research on this subject and the evolution of these currents. We are conducting qualitative interviews as well as digital methods based on network analysis (actor mapping and citation mapping).

**Reflexive approach**

* Do you have any advice about which methodology to use, or any considerations that might be missing ?

* How would you see a long-term project being structured ?

**Open question**

* Do you have any other points or questions that you think are important to raise ?

<figure><img src="image_75.png" /></figure>