# Publication et Données Reproductibles de la Recherche :
Que Faire ?

Andrea Chiarelli, Lucia Loffreda, Rob Johnson, Jean-François Nominé, Manon Parrinello, Marc Rubio

► To cite this version:

Andrea Chiarelli, Lucia Loffreda, Rob Johnson, Jean-François Nominé, Manon Parrinello, et al. Publication et Données Reproductibles de la Recherche: Que Faire?: Soutenir et Encourager de Nouvelles Pratiques. Knowledge Exchange. 2023, 82 p. hal-04170637

HAL Id: hal-04170637

https://hal.science/hal-04170637

Submitted on 25 Jul 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution - NonCommercial - ShareAlike 4.0 International
License
# PUBLICATION ET DONNÉES
REPRODUCTIBLES DE LA
RECHERCHE : QUE FAIRE ?

SOUTENIR ET ENCOURAGER DE NOUVELLES PRATIQUES

<figure><img src="image_2.png" /></figure>

Un rapport de Knowledge Exchange

Mai 2023
## Remerciements

Cette étude a été réalisée grâce aux travaux du groupe de travail de Knowledge Exchange sur la publication de résultats de recherche reproductibles ci-après, animé par Juliane Kant et Anna Mette Morthorst et sous la hou-lette de Birgit Schmidt et Jeroen Sondervan en tant qu'experts pilotes :

* Anna Mette Morthorst (coopération danoise en matière d'e-infrastructure - DeiC).

* Birgit Schmidt (Université de Göttingen)

* Birte Christensen-Dalsgaard (Université d'Aarhus)

* Daniel Nüst (Université de Münster)

* Jeroen Sondervan (Université d'Utrecht)

* Juliane Kant (Deutsche Forschungsgemeinschaft - DFG)

* Matt Jaquiy (Université d'Oxford)

* Pierre-Carl Langlais (Paris Sorbonne-CELSA)

* Saskia Woutersen (Université de Leiden)

* Verena Heise (Chercheuse indépendante en science ouverte, formatrice et consultante)

* Yrsa Neuman (Université Åbo Akademi)

Nous remercions également Bas Cordewener et Sarah James du Bureau de Knowledge Exchange pour leur soutien, ainsi que Laura Fortunato (Université d'Oxford), qui a procédé à une révision critique de notre recherche et nous a aidés à nous orienter dans les complexités de ce domaine en pleine évolution. Enfin, nous exprimons notre reconnaissance aux 51 contributeurs sans lesquels cette étude n'aurait pas été possible, pour leurs précieuses idées et pour le temps qu'ils nous ont consacré pendant une période particulièrement turbulente. On trouvera une liste complète des intervenants qui se sont impliqués dans ce projet à l'annexe A.

## Version française :

Le présent ouvrage est la traduction du rapport original :

*The Art of Publishing Reproducible Research Outputs: Supporting emerging practices through cultural and technological innovation.*

rédigé par : Andrea Chiarelli, Lucia Loffreda, Rob Johnson (Research Consulting) email : andrea.chiarelli@research-consulting.com

et paru le 4/11/2021 : DOI: https://doi.org/10.5281/zenodo.5521077, tout le contenu publié peut être partagé (CC BY 4.0) creativecommons.org/licenses/by/4.0

La version française est une traduction de l'anglais post-éditée réalisée à l'aide du logiciel Deepl Pro, révisée et remaniée par les membres de l'équipe de Traduction de l'Inist-CNRS (UPA 076) :

* Jean-François Nominé (jean-francois.nomine@inist.fr - ID) pour les chapitres 3, 6 et 7, et la révision générale de l'ouvrage ;

* Manon Parrinello (manon.parrinello@inist.fr - ID) pour l'introduction, le chapitre 2 et les annexes ;

* Marc Rubio (marc.rubio@inist.fr) pour les chapitres 4 et 5.

Juillet 2023

Mêmes conditions que l'original (CC BY 4.0)

Crédit de page de couverture : © Vanessa CUSIMANO / IBCP / CNRS Images
# Résumé

## Introduction

<table><tr><td>Contexte et objectifs</td><td>Knowledge Exchange (KE) a commandé le présent rapport pour explorer les pratiques et les obstacles actuels dans le domaine de la reproductibilité de la recherche, en mettant l'accent sur la phase de publication et de diffusion. Nos conclusions visent à comparer et à inspirer les stratégies, les politiques et les pratiques opérationnelles et à mettre en commun les leçons tirées à partir d'un large éventail de groupes d'acteurs.</td></tr><tr><td>Définitions</td><td>Dans cet ouvrage, nous définissons la reproductibilité de la recherche comme les situations où les données et les procédures partagées par les auteurs d'une étude sont utilisées pour obtenir les mêmes résultats que dans leur travail original. Nous reconnaissons que d'autres concepts tels que la réplication, la robustesse et la généralisation des résultats de recherche sont des notions pertinentes dans un débat, mais nous avons considéré qu'ils dépassaient le cadre formel de notre recherche.</td></tr><tr><td>Méthodologie</td><td>Dans ce rapport, nous avons recueilli les points de vue d'organismes de financement de la recherche, d'institutions de recherche, de sociétés savantes, de chercheurs, d'éditeurs académiques et de fournisseurs d'infrastructures et de services dans le monde entier. Nous avons appliqué le modèle du Cadre de la science ouverte de Knowledge Exchange (Knowledge Exchange Open Scholarship Framework, ou KE OS Framework), qui permet d'aborder des aspects spécifiques de la science ouverte, afin d'étudier les pratiques reproductibles de publication : ce modèle a servi de base à la conception et à la réalisation de toutes les composantes de notre recherche, notamment une analyse documentaire complète et une série d'entretiens et de groupes de discussion avec un total de 51 contributeurs. Les résultats des entretiens et des groupes de discussion ont été transcrits et codés qualitativement pour une analyse thématique.</td></tr></table>

## Les tenants et aboutissants du discours sur la reproductibilité de la recherche

<table><tr><td>Les infrastructures actuelles en pleine expansion peuvent être un atout pour les pratiques de reproductibilité.</td><td>L'essor du numérique a entraîné d'importantes mutations dans le paysage de la recherche, notamment de nouveaux outils et services technologiques, de nouvelles approches de recherche et la multiplication d'infrastructures techniques interconnectées. Dans ce contexte, diverses solutions sont plus largement que jamais à disposition pour documenter, partager et analyser les données et les résultats, ouvrant ainsi la voie à la reproductibilité dans les flux de travail et les pratiques de publication. Les principaux avantages de la recherche reproductible sont une confiance accrue dans les conclusions et les résultats et la possibilité de poursuivre son propre travail (ou celui d'un autre) à l'avenir. Au niveau du système, les pratiques de recherche reproductibles peuvent conduire à une plus grande transparence, ouverture et confiance dans la science.</td></tr></table>
<table><tr><td>Certains obstacles peuvent entraver les pratiques reproductibles</td><td>Certains obstacles peuvent entraver la publication de résultats de recherche reproductibles, notamment les structures d'incitation actuelles dans l'univers académique, les différences de capacités techniques entre chercheurs, la faible connectivité entre les solutions techniques et l'incohérence des normes de communication. Les méthodes de recherche, qui ont tendance à varier en fonction des disciplines scientifiques, ont également une incidence sur les efforts déployés que le travail d'un chercheur devienne reproductible. Par exemple, il est relativement simple de mettre en place des méthodes de recherche généralement en lien avec des disciplines quantitatives de manière à ce qu'elles deviennent reproductibles. En revanche, cela devient plus complexe à mettre en œuvre dans des processus opératoires où un élément qualitatif important est présent.</td></tr></table>

## Acteurs, rôles et responsabilités

<table><tr><td>Au niveau micro : les chercheurs et les groupes de recherche ont un contrôle direct sur les pratiques quotidiennes.</td><td>Les chercheurs au niveau individuel et les groupes de recherche ont un rôle important à jouer, car c'est sur eux que repose la responsabilité de concevoir, réaliser et diffuser des travaux de recherche et ils sont les seuls à avoir facilement accès à tous les objets de recherche concernés. Ils peuvent favoriser les pratiques reproductibles de publication en encourageant et en mettant en place des phases de processus reproductibles et en intégrant les impératifs de reproductibilité lorsqu'ils évaluent les publications de leurs pairs.</td></tr><tr><td>Au niveau méso : les disciplines doivent afficher leurs exigences et les éditeurs doivent les mettre en œuvre.</td><td>Les communautés scientifiques et les disciplines peuvent influencer l'élaboration des politiques en devenir en définissant et en faisant connaître leurs approches de la reproductibilité à d'autres acteurs, tels que les éditeurs, qui ne souhaitent pas imposer de leur chef des prescriptions susceptibles de ne pas refléter les pratiques disciplinaires. Une fois que ces exigences sont claires, les éditeurs peuvent y contribuer en rendant obligatoire l'utilisation de listes de contrôle ou de directives appropriées auprès des réviseurs, des pairs examinateurs et des auteurs de sorte à encourager les pratiques reproductibles<fnref n="1" />.</td></tr><tr><td>Au niveau méso : les organismes de recherche n'ont pas pour habitude d'imposer des pratiques de publication reproductibles.</td><td>De nombreux organismes de recherche n'ont pas de politiques spécifiques orientées vers la reproductibilité de la recherche. Cependant, ils consentent des investissements importants quand des directives (ou mandats) émanant de financeurs de la recherche ou des politiques se mettent en place. Du fait que les pratiques de recherche reproductibles ne sont pas actuellement un impératif ferme, il se peut que les organismes de recherche endossent la reproductibilité de la recherche par des approches ad hoc, en fonction de la stratégie de leur institution et de leur population de chercheurs.</td></tr></table>

<footnote n="1">¹ Note de traduction (NdT): Pour lever toute ambiguïté dans la restitution d'une expression anglaise – *reproductible publishing practices* – dont la transposition pure et simple en français peut prêter à confusion, nous nous autorisons ce néologisme dans le présent ouvrage, pour ainsi marquer clairement l'objet de la reproductibilité : non la publication en tant qu'acte et objet en soi, mais les processus, méthodes, données qu'elle présente d'une manière qui autorise leur reproduction par les lecteurs. Si, pour des raisons stylistiques, l'expression de *pratiques reproductibles* pourra apparaître par la suite, le lecteur est invité à l'entendre dans le sens de cette « reproductibilité ».</footnote>
<table><tr><td>Au niveau macro : les organismes de financement de la recherche considèrent la reproductibilité comme se situant dans un débat plus large.</td><td>Peu d'organismes de financement de la recherche tiennent une position d'importance eu égard à la situation de la reproductibilité de la recherche. Celle-ci est souvent traitée dans le cadre de prescriptions plus larges telles que celles en lien avec les données, la science ouverte ou l'intégrité de la recherche. Tout comme les éditeurs, les organismes de financement de la recherche estiment qu'il est difficile de formuler des consignes de reproductibilité à des allocataires relevant d'un large éventail de disciplines, et ils ne ressentent pas d'urgence à développer de nouvelles politiques.</td></tr></table>

## Encourager et faciliter les pratiques de publication reprocompatibles

<table><tr><td>Les incitations et le soutien actuels aux pratiques de publication reprocompatibles sont limités</td><td>Les efforts envers la reproductibilité ne sont pas actuellement encouragés à l'intérieur du cycle de la recherche, et les pratiques de publication en ce sens sont généralement perçues comme des activités en plus, non reconnues. Il est nécessaire de revoir systématiquement les dispositifs d'incitation scientifique actuels pour récompenser de manière plus logique les comportements propices aux pratiques reprocompatibles dans les publications. Les organismes de recherche peuvent apporter un soutien à chaque chercheur en facilitant l'allègement de certaines contraintes de temps et en complétant ses compétences lorsqu'elles font défaut. Ce genre de soutien peut se matérialiser dans la création de nouvelles fonctions dans leurs institutions comme des intendants et des curateurs de données<fnref n="2" />, ainsi que des bibliothécaires de spécialité disciplinaire<fnref n="3" />.</td></tr><tr><td>De nouvelles filières de formation et de soutien se développent dans le monde entier.</td><td>Une série de filières de soutien et de formation, tant à l'intérieur qu'à l'extérieur des organismes de recherche, se développe dans le monde entier. Toutefois, un soutien plus structuré aux pratiques de publication reprocompatibles serait le bienvenu, car ces initiatives sont plus l'exception que la règle. On a observé que le statut de champions est un rouage important dans la sensibilisation, et des entretiens ont fait ressortir qu'il existe une marge d'amélioration de la formation à la reproductibilité dans les maquettes d'enseignements dispensés aux étudiants.</td></tr></table>

## Innovation technologique

<table><tr><td>Il existe déjà de nombreuses infrastructures numériques pour porter les pratiques de publication reprocompatibles.</td><td>Un large éventail d'outils et d'infrastructures numériques existe dans le paysage actuel de la recherche, et les chercheurs ont généralement connaissance de la manière dont ceux-ci peuvent être employés pour des pratiques de publication favorables à la reproductibilité. Cependant, tous ne sont pas formés au même niveau à l'utilisation de ces outils (ceci souvent en fonction des habitudes de la discipline et des approches en recherche en vigueur), et le manque d'opérabilité entre les infrastructures est considéré comme un obstacle matériel.</td></tr><tr><td>Les principes des données FAIR peuvent</td><td>Les problèmes décrits autour de la connectivité des services sont en partie reconnu dans le « I » des principes des données FAIR : trouvabilité, accessibilité, opérabilité et réutilisabilité. De manière plus générale, les principes</td></tr></table>

<footnote n="2">² NdT : Pour la préservation de la francophonie dans ce texte, nous restituons ainsi les vocables de data steward et data curator respectivement pour exprimer la hiérarchie entre deux fonctions aux champs d'intervention complémentaires.</footnote>

<footnote n="3">³ NdT : Même remarque que précédemment concernant le vocable anglais de subject librarian.</footnote>
<table><tr><td>sous-tendre ces pratiques dans la publication.</td><td>des données FAIR permettent la publication reproductible, car bon nombre des pratiques sous-tendues par la curation, le partage et la réutilisation des données favorisent également la reproductibilité.</td></tr></table>

## Comment financer les coûts des pratiques de publication reproductibles

<table><tr><td>Le coût des contrôles de reproductibilité varie en fonction du moment et des responsabilités.</td><td>Le financement du temps et des autres coûts liés aux efforts de reproductibilité est une considération essentielle pour l'avenir, et de nombreux acteurs ont un rôle à jouer pour que cela soit possible. Nos recherches ont mis en évidence la nécessité de couvrir différents types de coûts : le temps et les efforts des chercheurs dans le cadre d'un projet de recherche ; ceux du personnel de soutien à la recherche employé dans les organismes de recherche ; les contrôles de reproductibilité internes au processus de publication ; et les contrôles de reproductibilité post hoc. Le premier de ces éléments est considéré comme une condition nécessaire pour faire de la reproductibilité de la recherche une priorité, tandis que les autres font actuellement l'objet de discussions et d'expérimentations encore en cours.</td></tr><tr><td>Trois voies principales sont disponibles pour financer le coût des contrôles de reproductibilité</td><td>Dans le contexte du processus de publication, nous avons identifié trois voies pour mettre en œuvre les contrôles de reproductibilité. Nous avons constaté que les éditeurs ont la possibilité de créer des fonctions en leur sein, tels qu'éditeurs de données ou de reproductibilité, et que des prestataires extérieurs pourraient exercer un rôle de vérification de la reproductibilité dans les articles. En outre, les pairs examinateurs pourraient assumer des responsabilités supplémentaires en testant la reproductibilité des articles, des données et du code lorsque ceux-ci sont envisagés pour la publication ; toutefois, nous nous tons que la communauté des chercheurs peut être réticente à envisager cette approche, car elle nécessite du temps et des compétences que tous les chercheurs ne possèdent pas nécessairement.</td></tr><tr><td>Les financements des infrastructures numériques peuvent être bénéfiques pour piloter de nouvelles solutions</td><td>Notre recherche a révélé que deux domaines des infrastructures numériques pourraient bénéficier de financements supplémentaires ou nouveaux pour que les pratiques reproductibles soient mieux accompagnées dans les publications. Premièrement, étant donné qu'une augmentation des pratiques de recherche ouverte et du partage nécessitera des fonctionnalités et des capacités améliorées, les financements peuvent permettre de renforcer le rôle des infrastructures existantes. Deuxièmement, les financements publics peuvent être envisagés comme un moyen de développer et de piloter les infrastructures numériques ab initio qui fournissent des fonctionnalités associées à la reproductibilité dans l'ensemble du processus de recherche, et dans l'objectif d'élaborer des modèles économiques durables à moyen et long terme.</td></tr><tr><td>Le contrôle de la conformité est complexe dans la pratique</td><td>Plusieurs complications apparaissent lorsqu'il s'agit de contrôler la conformité aux exigences de reproductibilité. En particulier, il est difficile de parvenir à un accord sur la responsabilité de la conduite des contrôles de reproductibilité. Cela s'explique en partie par le fait qu'une telle activité comprend l'examen d'objets de recherche connectés, ce qui, à son tour, peut nécessiter une com-</td></tr></table>
préhension des normes, des méthodologies ou des domaines (sous-)disciplinaires dont tous les acteurs ne sont pas dotés pour y veiller et/ou les faire respecter.

## Conclusions

La reproductibilité fait partie de la vision de la science ouverte

Les pratiques reproductibles de publication évoluent dans le cadre d'un vaste processus de changement culturel dans le paysage de la recherche. Par conséquent, les progrès sont lents et s'étalent sur une période de temps considérable. D'autre part, l'innovation technologique progresse rapidement : le déséquilibre entre l'innovation technique et culturelle engendre un tableau complexe mais optimiste de l'avenir de la recherche reproductible. La grande majorité des chercheurs sont très exigeants : nous pensons qu'ils adopteront volontiers des pratiques de publication reprocompatibles, pour autant qu'un équilibre soit trouvé entre les attentes croissantes et les récompenses pratiques.

La diversité sera la clé d'un changement positif

Il est essentiel que l'accent mis sur la reproductibilité ne conduise pas à une « culture de la honte et du blâme », mais qu'il soit au contraire accueilli comme une occasion d'améliorer les pratiques de recherche. Le risque que les politiques et leur mise en œuvre laissent peu de place à la nuance existe. Pour certaines cultures épistémiques, la reproductibilité sera plus difficile à comprendre et à mettre en œuvre, ou ne sera peut-être même pas l'objectif ; dans d'autres cas, elle ne sera peut-être pas considérée comme la principale marque de qualité, mais simplement comme une option parmi d'autres. Il sera donc nécessaire de donner la priorité à la diversité lorsque nous repenserons les pratiques de recherche afin de préserver et de renforcer la confiance dans la science.
Cinq messages à retenir

<table><tr><td></td><td>La reproductibilité fait partie de la vision de la science ouverte, aux côtés de concepts tels que la réplication, la robustesse et la généralisation des résultats de recherche. Il est difficile de poursuivre un changement de culture en matière de reproductibilité sans tenir compte de ce contexte plus large.</td></tr><tr><td></td><td>La collaboration des acteurs est nécessaire pour continuer à développer des pratiques de publication reprocompatibles. Tous les acteurs, du chercheur individuel aux organismes nationaux et internationaux, ont un rôle à jouer, notamment dans le cadre de l'élaboration et de la mise en œuvre des politiques.</td></tr><tr><td></td><td>Les incitations aux pratiques favorables à la reproductibilité dans les publications sont actuellement limitées. Les organismes de recherche commencent à aider les chercheurs à répondre à leurs attentes croissantes en matière de reproductibilité et une demande croissante se fait jour en direction de nouveaux parcours de formation et de soutien dans ce domaine.</td></tr><tr><td></td><td>La gestion, la conservation et le partage des données et des méthodes de recherche sont des conditions nécessaires que les publications soient reprocompatibles. Il est essentiel que ces pratiques deviennent la norme pour faire avancer l'agenda de la reproductibilité, et certains rôles institutionnels dédiés, tels que les intendants des données, peuvent être nécessaires pour répondre à la demande de soutien.</td></tr><tr><td></td><td>Les pratiques de publication reprocompatibles nécessitent une série de solutions technologiques, mais la plupart des contributeurs s'accordent à dire que celles-ci sont déjà disponibles dans le paysage actuel de la recherche. La principale lacune technique semble être l'interopérabilité entre les outils et les flux de travail disponibles. Cependant, nous constatons également que les programmes de formation ne couvrent pas les solutions technologiques pour la reproductibilité actuellement.</td></tr></table>

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>
Table des matières

<table><tr><td>Résumé</td><td>3</td></tr><tr><td>Introduction</td><td>3</td></tr><tr><td>Les tenants et aboutissants du discours sur la reproductibilité de la recherche</td><td>3</td></tr><tr><td>Acteurs, rôles et responsabilités</td><td>4</td></tr><tr><td>Encourager et faciliter les pratiques de publication reproductibles</td><td>5</td></tr><tr><td>Innovation technologique</td><td>5</td></tr><tr><td>Comment financer les coûts des pratiques de publication reproductibles</td><td>6</td></tr><tr><td>Conclusions</td><td>7</td></tr><tr><td>Cinq messages à retenir</td><td>8</td></tr><tr><td>Table des matières</td><td>9</td></tr><tr><td>1. Introduction</td><td>11</td></tr><tr><td>Définitions</td><td>11</td></tr><tr><td>Méthodologie</td><td>12</td></tr><tr><td>Limitations</td><td>13</td></tr><tr><td>Structure du rapport</td><td>13</td></tr><tr><td>Données justificatives</td><td>13</td></tr><tr><td>3. Les tenants et aboutissants du discours sur la reproductibilité de la recherche</td><td>15</td></tr><tr><td>Comprendre l'importance de la reproductibilité de la recherche</td><td>15</td></tr><tr><td>La reproductibilité : difficile définition</td><td>16</td></tr><tr><td>Moteurs et avantages perçus</td><td>17</td></tr><tr><td>Obstacles potentiels</td><td>19</td></tr><tr><td>L'impact des différences disciplinaires</td><td>20</td></tr><tr><td>4. Acteurs, rôles et responsabilités</td><td>23</td></tr><tr><td>Exploration des rôles et des responsabilités</td><td>23</td></tr><tr><td>Niveau micro : chercheurs et groupes de recherche</td><td>23</td></tr><tr><td>Niveau méso : usages disciplinaires</td><td>24</td></tr><tr><td>Niveau méso : réseaux internationaux de reproductibilité</td><td>26</td></tr><tr><td>Niveau méso : attentes institutionnelles en matière de reproductibilité de la recherche</td><td>29</td></tr><tr><td>Niveau méso : le rôle des exigences de l'éditeur et leurs lignes directrices sur la reproductibilité</td><td>29</td></tr><tr><td>Niveau macro : le rôle des organismes de financement de la recherche dans la définition des politiques de reproductibilité</td><td>32</td></tr><tr><td>Niveau macro : l'intérêt croissant des pouvoirs publics</td><td>33</td></tr><tr><td>Contributions des niveaux micro, méso et macro dans le cadre de l'élaboration des orientations politiques</td><td>35</td></tr><tr><td>5. Encourager et faciliter les pratiques de publication reproductibles</td><td>38</td></tr></table>
<table><tr><td>Alléger les contraintes de temps pour que les pratiques de publication reprocompatibles se généralisent</td><td>39</td></tr><tr><td>Développer de nouvelles voies de soutien et de formation</td><td>40</td></tr><tr><td>6. Innovation technologique</td><td>43</td></tr><tr><td>Infrastructures numériques</td><td>43</td></tr><tr><td>Le déficit d'innovation : la connectivité des services</td><td>45</td></tr><tr><td>Évaluer et comparer les solutions techniques</td><td>47</td></tr><tr><td>L'impact potentiel des principes des données FAIR</td><td>47</td></tr><tr><td>Aperçu du discours sur la reproductibilité sur les réseaux sociaux</td><td>50</td></tr><tr><td>7. Comment financer les coûts des pratiques de publication reprocompatibles</td><td>52</td></tr><tr><td>Implications financières des flux de publications reproductibles</td><td>52</td></tr><tr><td>Financement du temps et des activités des chercheurs dans le cadre d'un projet de recherche</td><td>52</td></tr><tr><td>Financement du temps et des efforts du personnel d'appui à l'intérieur des organismes de recherche</td><td>53</td></tr><tr><td>Financement des contrôles de reproductibilité dans le cadre du processus de publication</td><td>54</td></tr><tr><td>Le coût des infrastructures numériques</td><td>59</td></tr><tr><td>Le contrôle du respect des préconisations et ses complexités</td><td>60</td></tr><tr><td>8. Conclusions</td><td>63</td></tr><tr><td>(Dés)équilibres entre infrastructures techniques et culturelles</td><td>63</td></tr><tr><td>Pratiques reprocompatibles de publication : quelle vision ?</td><td>64</td></tr><tr><td>Conduire le changement</td><td>65</td></tr><tr><td>9. Références</td><td>66</td></tr><tr><td>Données produites par l'étude de Knowledge Exchange</td><td>66</td></tr><tr><td>Bibliographie</td><td>66</td></tr><tr><td>10. Annexe A - Remerciements et participants</td><td>72</td></tr><tr><td>Tableau A1 : Groupe de travail de Knowledge Exchange sur la publication de résultats de recherche reproductibles</td><td>72</td></tr><tr><td>Tableau A2 : Contributeurs au projet</td><td>72</td></tr><tr><td>11. Annexe B - Structure des entretiens</td><td>77</td></tr></table>
# 1. Introduction

Ce travail a été commandé par Knowledge Exchange, un groupe d'organisations nationales de six pays européens qui souhaitent favoriser la science ouverte en créant une infrastructure d'information au niveau international. Dans cette étude, nous cherchons à examiner les pratiques et les obstacles actuels à la publication de résultats de recherche reproductibles et à déterminer comment les infrastructures techniques et sociales peuvent soutenir les développements futurs dans ce domaine.

## Contexte et objectifs

L'augmentation du nombre d'outils numériques dans le paysage actuel de la recherche offre plus que jamais la possibilité de documenter et d'ouvrir le processus de recherche et ses résultats<fnref n="4" />. En outre, les cultures de recherche ont évolué vers un désir de plus grande transparence, notamment dans le cadre de l'agenda de la science ouverte<fnref n="5" /> et des tendances actuelles de la communication savante. En particulier, la capacité à reproduire les résultats afin de confirmer leur fiabilité évolue pour devenir une part plus constante du processus de recherche : il est admis que les pratiques de recherche reproductibles peuvent permettre un développement scientifique continu et aider à garantir la qualité des résultats publiés.

Knowledge Exchange (KE) a donc lancé une activité intitulée « *Publishing Reproducible Research Output* » (Publier des résultats de recherche reproductibles), afin d'explorer les pratiques et les obstacles actuels dans ce domaine, et de déterminer comment les infrastructures techniques et sociales peuvent soutenir les développements futurs. Ce rapport fait partie du travail plus large de KE sur les infrastructures de recherche, la science ouverte et le libre accès : il cherche à comparer

et à donner des idées de stratégies, les politiques et les pratiques opérationnelles et à partager les leçons apprises par un large éventail de groupes d'acteurs.

## Définitions

Nous reconnaissons que « la reproductibilité, du moins dans de nombreuses disciplines et cultures de recherche, est l'un des piliers des pratiques de recherche responsables »,<fnref n="6" /> et qu'elle est souvent associée au concept voisin de « réplicabilité ». Dans ce rapport, la reproductibilité de la recherche est définie comme le cas où les données et les procédures partagées par les auteurs d'une étude sont utilisées pour obtenir les mêmes résultats que dans leur travail original (voir figure 1). Cela peut nécessiter, par exemple, une description détaillée des méthodes utilisées pour traiter et analyser les données, l'accès à tout ensemble de données pertinent et la possibilité d'obtenir et d'exécuter un code informatique, le cas échéant.

<footnote n="4">⁴ Breuer, C., & Trilcke, P. (2021). Expanding academic publishing practices alongside the digital turn. *Alliance of Science Organisations*. 1-15.
https://doi.org/10.48440/ALLIANZOA.042</footnote>

<footnote n="5">⁵ Dans le présent rapport, nous utilisons le terme "science ouverte" au sens large, pour désigner la recherche ouverte et les communications sur la recherche, quelle que soit la discipline.</footnote>

<footnote n="6">⁶ Tijdink, J. K., Horbach, S. P. J. M., Nuijten, M. B., & O'Neill, G. (2021). Towards a Research Agenda for Promoting Responsible Research Practices. *Journal of Empirical Research on Human Research Ethics*, 16(4), 450–460.
https://doi.org/10.1177/15562646211018916</footnote>
<figure><img src="image_8.png" /><figcaption>FIGURE 1. NOTRE DÉFINITION DE LA REPRODUCTIBILITÉ (CC BY THE TURING WAY COMMUNITY ; SCRIBERIA)<fnref n="7" /></figcaption></figure>

D'autre part, nous considérons que la réplica-
tion vise à valider la recherche, puisque de
nouvelles données sont collectées et, parfois,
de nouvelles analyses sont effectuées pour vé-
rifier si des résultats cohérents peuvent être
obtenus par rapport à l'étude en jeu. Cette
considération, ainsi que d'autres, connexes,
telles que la robustesse et la généralisation
des résultats de recherche, n'ont pas été au
cœur de notre recherche, mais sont mention-
nées tout au long du rapport lorsqu'elles sont
opportunes pour la discussion.

Méthodologie

Cette étude applique le Cadre Knowledge Ex-
change de la Science Ouverte (abrégé en KE OS
Framework) - un modèle permettant d'abor-
der des aspects spécifiques de la science ou-
verte - pour étudier les pratiques
reprocompatibles de publication (voir Figure
2). Le KE OS Framework comprend trois ni-
veaux (micro, méso, macro), quatre phases de
recherche (découverte, planification, phase de
projet, diffusion) et quatre domaines (poli-
tique, économique, social, technologique).

<figure><img src="image_9.png" /><figcaption>FIGURE 2. CADRE KNOWLEDGE EXCHANGE DE LA SCIENCE OUVERTE8</figcaption></figure>

Les dimensions ci-dessus ont été utilisées pour formaliser la conception et la réalisation d'une analyse documentaire complète, d'une série d'entretiens avec 41 parties prenantes du paysage de la recherche et de deux groupes de discussion, recueillant les points de vue de dix autres parties prenantes. Les résultats des entretiens et des groupes de discussion ont été transcrits et codés qualitativement à des fins d'analyse thématique.

Les groupes d'intervenants pris en compte
comprenaient les organismes de financement
de la recherche, les institutions de recherche,
les sociétés savantes, les chercheurs (qu'ils
soient établis ou en début de carrière), les édi-
teurs universitaires et les fournisseurs d'infras-
tructures et de services. Nos prises de contact
ont donné la priorité à la collecte des points
de vue des parties prenantes dans les pays re-
présentés dans le partenariat Knowledge Ex-
change, à savoir le Danemark, la Finlande, la
France, l'Allemagne, les Pays-Bas et le
Royaume-Uni. Au cours de ce travail, nous
avons également contacté des parties pre-
nantes d'autres pays d'Europe et d'Amérique
du Nord.

<footnote n="7">⁷ The Turing Way Community., & Scriberia. (2021). Illustrations from the Turing Way book dashes. Zenodo. https://doi.org/10.5281/ZENODO.4906004</footnote>

<footnote n="8">⁸ Knowledge Exchange. (2017). Open Scholarship Framework. https://bit.ly/30L9Sqv</footnote>
Enfin, notre étude comprenait une analyse des données Twitter portant sur une série de mots-dièse (hashtags) définis en collaboration avec le groupe d'experts de KE dédié à cette étude. Une méthodologie détaillée de cette analyse est disponible sous la forme d'un R notebook (voir les données justificatives), et des informations spécifiques sont incluses dans le rapport.

## Limitations

Nous reconnaissions que la présente étude est soumise aux limitations suivantes :

* Les participants à l'étude ont été recrutés via un échantillonnage de convenance, c'est-à-dire que nous avons interrogé des parties prenantes qui étaient à la fois disponibles et désireuses de participer.

* Nos interactions avec ces acteurs se sont concentrées sur une série de pays spécifiques. Par conséquent, il ne convient peut-être pas de généraliser les conclusions de cette étude aux cultures et contextes de recherche qui n'ont pas été consultés.

* Notre analyse s'appuie sur un codage thématique, qui repose sur une certaine dose d'interprétation subjective. Les données de recherche et leur analyse ont été ouvertement partagées afin de garantir la disponibilité de nos observations de fond à toute partie intéressée.

* Les données des réseaux sociaux sont un élément instantané à un moment donné, et nous notons que Twitter n'offre pas un échantillon représentatif de la population générale, et ne nous permet pas de tirer des conclusions définitives.

## Structure du rapport

Dans les parties qui suivent, notre rapport se structure ainsi :

* reproductibilité de la recherche : définitions du propos ;

* parties prenantes, rôles et responsabilités ;

* encouragement et soutien des pratiques de publication reproductibles ;

* innovation technologique ;

* couverture des coûts des pratiques reproductibles de publication ; et

* conclusions.

Toutes les sections ont été approvisionnées par les résultats de notre analyse documentaire et des interactions avec des parties prenantes. Des citations et des études de cas sont fournies tout au long du rapport pour illustrer les déclarations faites et les crédibiliser dans les observations recueillies.

## Données justificatives

Les informations complémentaires suivantes ont été mises à disposition au cours de ce projet, dans le but d'améliorer la transparence et la reproductibilité de notre travail :

* plan de gestion des données ;<fnref n="9" />

* sources documentaires et codage thématique ;<fnref n="10" />

* diaporama de l'analyse documentaire (rapport intermédiaire) ;<fnref n="11" />

* liste des personnes interrogées et questions d'entretien ;<fnref n="12" />

* résumés anonymes du codage des entretiens à partir de NVivo ; et<fnref n="13" />

* R notebook et données soutenant l'analyse des réseaux sociaux.<fnref n="14" />

<footnote n="9">⁹ Loffreda, L., & Chiarelli, A. (2021). Publishing Reproducible Research Outputs - Data Management Plan. Zenodo. https://doi.org/10.5281/ZENODO.4697399</footnote>

<footnote n="10">¹⁰ Loffreda, L., & Chiarelli, A. (2021). Publishing Reproducible Research Outputs - Literature sources and Thematic coding (Version 1) [Data set]. Zenodo. https://doi.org/10.5281/ZENODO.4748748</footnote>

<footnote n="11">¹¹ Chiarelli, A., Loffreda, L., & Johnson, R. (2021). Publishing Reproducible Research Outputs - Literature findings. Zenodo. https://doi.org/10.5281/ZENODO.4675457</footnote>

<footnote n="12">¹² Chiarelli, A., & Loffreda, L. (2021). Publishing Reproducible Research Outputs - Interviewees and interview questions (Version 1) [Data set]. Zenodo. https://doi.org/10.5281/ZENODO.5141665</footnote>

<footnote n="13">¹³ Loffreda, L. & Chiarelli, A. (2021). Publishing Reproducible Research Outputs - Thematic coding of interview findings (Version 1) [Data set]. Zenodo. https://doi.org/10.5281/zenodo.5512420</footnote>

<footnote n="14">¹⁴ Chiarelli, A. (2021). Publishing Reproducible Research Outputs - Text and data mining code (Version 2) [Computer software]. Zenodo. https://doi.org/10.5281/ZENODO.5512019</footnote>
Les éléments de cette étude faisant appel à
des personnes ont été soumis à l'aval du co-
mité d'éthique de la recherche de la *School of
Anthropology and Museum Ethnography*.
## 2. Les tenants et aboutissants du discours sur la reproductibilité de la recherche

L'essor des technologies numériques a donné naissance à toute une série d'options permettant de documenter, de partager et d'analyser les méthodologies, les données et les résultats de la recherche plus largement que jamais : ces options peuvent être adoptées par la communauté des chercheurs afin d'accroître la transparence et le partage, et de faciliter la réutilisation future des méthodologies, des données et des résultats. Certains obstacles culturels et pratiques subsistent, notamment le fait que l'effort de reproductibilité des flux de travail tend à varier selon la méthode et la discipline de recherche.

### Comprendre l'importance de la reproductibilité de la recherche

Le concept de reproductibilité de la recherche est connu et celui-ci fait l'objet de débats depuis longtemps dans la sphère académique<fnref n="15" />,<fnref n="16" /> car il est au cœur de ce que nous appelons les bonnes pratiques de la recherche.

Au fil du temps, l'évaluation par les pairs est devenue la principale modalité permettant de vérifier qu'une personne a mené ses recherches avec un niveau de qualité et conformément aux principaux usages et méthodologies disciplinaires. Cependant, à partir de l'avènement des ordinateurs modernes et des langages de programmation (comme Fortran dans les années 1950), de nombreuses disciplines se sont vues « propul-sées à une vitesse vertigineuse »,<fnref n="17" /> l'éventail des possibilités offertes pour documenter, partager et analyser des données et des résultats augmentant considérablement. Ce tour-nant numérique n'a pas seulement affecté la recherche traditionnellement informatique et quantitative, mais a également modifié la forme de nombreuses disciplines qualitatives,

notamment dans des activités comme le co-dage thématique, la numérisation de documents, les annotations et les enregistrements.

En outre, de nouvelles infrastructures de recherche interconnectées continuent d'émerger,<fnref n="18" /> tandis qu'au cours des dix dernières années, « les éditeurs scientifiques traditionnels se sont métamorphosés sous nos yeux, abandonnant leurs anciennes méthodes de travail et se lançant dans une entreprise de vaste réinvention de leurs tâches et leur vocation ».<fnref n="19" />

> « L'article traditionnel, en deux dimensions, ne suffit plus. De nos jours, vous ai-meriez avoir des graphiques dynamiques, des graphiques interactifs, peut-être même des données interactives lorsque vous allez plus en profondeur. » Un éditeur

La méthode de travail numérique d'aujourd'hui et l'éventail des moyens de partage et de connexion des objets de recherche (numériques) peuvent permettre à la reproductibilité de devenir une réalité, ce qui était impossible auparavant. Dans cette section, nous examinons les principaux moteurs et obstacles à l'aune de la reproductibilité de la

<footnote n="15">¹⁵ Popper, K. (2005; première édition 1934). The logic of scientific discovery. Routledge.</footnote>

<footnote n="16">¹⁶ Dewald, W. G., Thursby, J. G., & Anderson, R. G. (1986). Replication in empirical economics: The journal of money, credit and banking project. The American Economic Review, 76(4), 587-603. https://econpapers.repec.org/article/aeaae-crev/v_3a76_3ay_3a1986_3ai_3a4_3ap_3a587-603.htm</footnote>

<footnote n="17">¹⁷ Perkel, J. M. (2021). Ten computer codes that transformed science. Nature, 589(7842), 344–348. https://doi.org/10.1038/d41586-021-00075-2</footnote>

<footnote n="18">¹⁸ European Strategy Forum on Research Infrastructures (ESFRI). (2021). ESFRI announces new RIs for Roadmap 2021. https://www.esfri.eu/latest-esfri-news/new-ris-roadmap-2021</footnote>

<footnote n="19">¹⁹ The Scholarly Kitchen. (2021). Digital Transformation Requires Cultural Evolution. https://scholarlykitchen.sspnet.org/2021/07/14/title-digital-transformation-requires-cultural-evolution/</footnote>
recherche afin de préparer le terrain à l'analyse plus détaillée présentée dans le reste de notre rapport.

## La reproductibilité : difficile définition

La littérature académique et nos recherches montrent que, bien que la reproductibilité soit une question qui dépasse les frontières disciplinaires, l'éventail des termes et des interprétations utilisés est incohérent, qui plus est à des niveaux de maturité différents. Cela n'est pas surprenant, car le discours dans ce domaine s'est développé depuis le bas dans différentes communautés. Le paysage fragmenté de la reproductibilité de la recherche rend la communication plus difficile. Il rend également les efforts moins efficaces qu'espéré en raison de la confusion à propos de la définition du terme et d'un manque apparent de points communs entre les disciplines.

> « [La confusion autour des définitions] crée certainement des frictions dans le sens où elle ralentit la compréhension de ce que les gens veulent dire, et il y a donc beaucoup de terminologies qui sont générées, donnant l'impression que c'est plus compliqué que ça ne l'est... cette confusion complique tout bonnement le dialogue. » Un fournisseur d'infrastructure

Dans cette étude, nous avons tenu comme relevant de la reproductibilité de la recherche des situations où les données et les procédures partagées par les auteurs d'une étude sont utilisées pour obtenir les mêmes résultats que dans leur travail original. Cette définition, ainsi que notre intérêt spécifique pour la phase de publication et de diffusion du processus de recherche, ont permis aux contributeurs de comprendre immédiatement notre domaine d'intérêt et notre terminologie. Certains contributeurs ont souligné les avantages de disposer d'une définition pratique et spécifique de la reproductibilité, car celle-ci :

<figure><img src="image_10.png" /></figure>

est utile dans les actions de sensibilisation et d'enseignement ; et

<figure><img src="image_11.png" /></figure>

rend le concept plus compréhensible et les problèmes éventuels plus faciles à résoudre.

Cependant, de nombreux entretiens ont également permis de souligner que l'inclusivité est essentielle et qu'une définition trop étroite entraînera un désengagement dans certaines disciplines. En particulier, notre définition est plus parlante dans les sciences quantitatives que dans les sciences qualitatives, principalement parce que ces dernières peuvent s'appuyer sur une série de méthodologies qui font largement appel au jugement et à l'interprétation individuels. Dans ces cas, les concepts de « données » et d' « analyse » sont plus nuancés, et il existe une certaine résistance aux définitions universelles dans ce domaine de recherche.

> « La plupart des personnes travaillant dans des domaines [qualitatifs] n'auraient pas l'impression que [la définition de la reproductibilité] les concerne, car le processus analytique est, dans une certaine mesure, intrinsèquement subjectif. Ainsi, tout le concept de reproductibilité ne leur semble pas pertinent si elles se fient à cette définition, à tort ou à raison. » Un chercheur

En outre, certains interlocuteurs ont fait remarquer qu'il est difficile de séparer la reproductibilité de la réplication, de la robustesse et de la généralisation des résultats de recherche. Il est possible d'étudier ces concepts séparément en termes d'infrastructures, d'exigences et de politiques, mais tous s'accordent à dire que tout changement significatif dans les cultures de recherche devra tenir compte de ces considérations (et d'autres encore,
comme l'ouverture, la maturité FAIR,<fnref n="20" />
l'éthique, l'intégrité, la rigueur, la transpa-
rence) de manière concertée.

> « Que signifie la reproductibilité, et ne par-
> lons-nous pas en fin de compte d'intégrité
> et de fiabilité de la recherche ? Si nous
> nous attachons à une définition particu-
> lière de la reproductibilité (et nous pou-
> vons amener les auteurs à le faire), il
> resterait des problèmes conséquents qui
> n'ont pas été abordés. » Un éditeur

Un point important soulevé par plusieurs con-
tributeurs est que l'ouverture (comme le par-
tage des données et du code, le libre accès)
facilite la reproductibilité, mais ne la garantit
pas nécessairement. Par exemple, pour que la
recherche soit reproductible, toutes les don-
nées et tous les fichiers doivent être publiés
ouvertement, mais aussi clairement séparés,
étiquetés et documentés, en utilisant des ap-
proches automatisées autant que possible
pour (i) éviter l'intervention manuelle ; et (ii)
renforcer la standardisation.<fnref n="21" />

Bien que la promotion des meilleures pratiques sous l'égide de la science ouverte soit effectivement un point de départ important, nous soulignons la différence entre deux activités clés :

<figure><img src="image_12.png" /></figure>

► le partage des résultats de la recherche, p. ex., un article et les données, le code ou les logiciels sous-jacents (le cas échéant) et une méthodologie documentée détaillée ; et

<figure><img src="image_13.png" /></figure>

l'évaluation et le test de ces résultats quant à leur reproductibilité.

Cette distinction montre clairement que les
rôles et les responsabilités (voir section 3) ne
sont pas évidents lorsqu'il s'agit de pratiques
de publication reproductibles : p. ex., les cher-
cheurs peuvent s'efforcer de garantir que
leurs propres résultats sont reproductibles,
mais aussi vérifier les articles de quelqu'un

d'autre (p. ex., en tant que pairs examinateurs
ou réutilisateurs de données ou de code).

> « Si vous partagez un protocole et des données et que les deux sont totalement ouverts, alors il se peut qu'on ne puisse pas toujours reproduire l'étude... Vous ne pouvez pas tout mettre par écrit dans un protocole, c'est toujours une simplification de la réalité... Il y a des limites à ce qui peut être partagé, même si vous faites de votre mieux. » Un chercheur

Moteurs et avantages perçus

Au cours de la dernière décennie, un certain
consensus s'est dégagé sur le fait qu'une
bonne recherche doit être reproductible, ce
qui est considéré comme une exigence mini-
male pour la science plutôt que comme un ob-
jectif abstrait. Notre étude a révélé que, d'une
manière générale, il n'est pas toujours facile
de reconnaître ou d'expérimenter immédiate-
ment les avantages des pratiques de publica-
tion reprocompatibles, mais les contributeurs
s'accordent à dire que de nouveaux efforts
dans ce sens sont stratégiquement importants
pour l'avenir du monde de la recherche et
pour renforcer notre confiance envers elle.

> « Je pense que si l'on enseigne aux gens
> à mettre en place des flux de travail repro-
> ductibles, cela leur profite aussi en pre-
> mier lieu. Si je dois toucher au même
> projet trois ans plus tard, je risque d'avoir
> oublié ce que j'ai fait précisément, et s'il y
> a une bonne documentation, tout est là et
> je gagne beaucoup de temps. » Un cher-
> cheur

Parmi les chercheurs qui ont contribué à cette étude, la plupart sont motivés pour s'assurer que leur travail est reproductible par la conviction personnelle qu'il s'agit d'une caractéristique fondamentale de la recherche

<footnote n="20">20 FAIR data are data which meet principles of Findability, Accessibility, Interoperability, and Reusability. Voir : Go Fair. (n.d.). FAIR Principles. https://www.gofair.org/fair-principles/</footnote>

<footnote n="21">²¹ Fortunato, L., & Galassi, M. (2021). The case for free and open source software in research and scholarship. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 379(2197).
https://doi.org/10.1098/rsta.2020.0079</footnote>
universitaire. Il est toutefois largement re-
connu que l'investissement en temps exigé
par les pratiques de publication reproductibles
n'est pas encore couramment encouragé ou
récompensé : si cela ne devait pas changer, la
reproductibilité risque de rester une pratique
limitée et de n'intéresser qu'un petit sous-en-
semble de personnes motivées (voir section
4).

> « Je pense qu'il y a une incitation intrinsèque à vou-
> loir que votre travail soit correct. Mais à l'heure ac-
> tuelle, cela signifierait peut-être doubler le temps
> que nous consacrons à notre travail, et cela ne nous
> y encourage pas. » Un chercheur

« Cinq raisons égoïstes de travailler de manière reproductible » ont été émises comme hypothèses dans la littérature,<fnref n="22" /> et elles trouvent un écho dans les résultats de nos entretiens et groupes de discussion :

- la reproductibilité permet d' « éviter le désastre » : des flux de travail de recherche transparents et ouverts peuvent aider les chercheurs à éviter les erreurs d'analyse et d'interprétation des données ayant un impact, tant avant qu'après la soumission d'un article.

- La reproductibilité facilite la rédaction d'articles : un processus de recherche bien documenté signifie qu'il sera plus facile d'écrire à son sujet, car on aura davantage confiance en des chiffres, des figures et des tableaux entièrement à jour.

- La reproductibilité aide les évaluateurs à voir les choses avec le point de vue de l'auteur : en ayant accès à une gamme d'objets de recherche, les pairs examina-teurs peuvent comprendre pleinement ce que les auteurs ont fait, ce qui conduit à une meilleure appréciation des résultats et des conclusions d'une étude.

- La reproductibilité permet la continuité du travail : une bonne documentation des méthodes et des données et des codes de recherche devrait résister à l'épreuve du temps et aider les auteurs et les réutilisa-teurs à exploiter les résultats publiés.

- La reproductibilité permet d'asseoir sa ré-putation : bien qu'il existe peu d'exemples concrets à cet égard, on com-mence à penser que la publication de re-cherches reproductibles peut permettre à des chercheurs d'être reconnus au sein de certaines communautés disciplinaires.

Il est important de noter que les avantages
perçus énumérés ci-dessus s'appliquent au ni-
veau individuel pour le chercheur, mais que
leur impact positif potentiel va bien plus loin :
la disponibilité d'objets de recherche ouverts
et/ou FAIR, y compris la documentation détail-
lée, peut ouvrir les portes à des recherches
nouvelles et inattendues que les auteurs
n'avaient pas envisagées au départ<fnref n="23" />.<fnref n="24" /> Cela
peut s'appliquer aussi à l'utilisation de tech-
niques émergentes nécessitant de grandes
quantités de données en entrée, comme dans
le cas de l'intelligence artificielle et l'appren-
tissage automatique, qui se justifient par le
fait que « le système scientifique est en train
de passer d'un système de rareté de la donnée
à celui de données en saturation ».<fnref n="25" />

> « Si vous travaillez de manière reproductible, et que d'autres personnes dans votre domaine prennent ces données et montrent que vous travaillez de cette manière, ils vont davantage se fier à vos données. Cela peut se traduire par des offres de collaboration, peut conduire les gens à réutiliser vos données plus souvent que les données de quelqu'un d'autre... et dans ce cas, cela se traduira par plus de citations. » Un organisme de recherche

<footnote n="22">²² Markowetz, F. (2015). Five selfish reasons to work reproducibly. Genome Biology, 16(1). https://doi.org/10.1186/s13059-015-0850-7</footnote>

<footnote n="23">²³ European Commission. (n.d.). Facts and Figures for Open Research Data. https://ec.europa.eu/info/research-and-innovation/strategy/strategy/2020-2024/our-digital-future/open-science/open-science-monitor/facts-and-figures-open-research-data_en</footnote>

<footnote n="24">²⁴ Department for Business, Energy & Industrial Strategy. (2019). Realising the potential: Final report of the Open Research Data Task Force. https://assets.publis-hing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/775 006/Realising-the-potential-ORDTF-July-2018.pdf</footnote>

<footnote n="25">25 Burgelman, J. C., Pascu, C., Szkuta, K., Von Schomberg, R., Karalopoulos, A., Repanas, K., & Schouppe, M. (2019). Open Science, Open Data, and Open Scholarship: European Policies to Make Science Fit for the Twenty-First Century. Frontiers in Big Data, 2(43), 1-6. https://doi.org/10.3389/fdata.2019.00043</footnote>
<table><caption>TABLEAU 1. PRINCIPAUX OBSTACLES AUX PRATIQUES DE PUBLICATION REPROCOMPATIBLES.</caption><thead><tr><th></th><th></th></tr></thead><tbody><tr><td><strong>Récompenses et incitations</strong></td><td></td></tr><tr><td>► Les incitations actuelles ne sont pas propices à la recherche reprocompatible.</td><td></td></tr><tr><td>► Les mesures d'évaluation actuelles sont axées sur la quantité et l'impact plutôt que sur la qualité et la reproductibilité.</td><td></td></tr><tr><td><strong>Standards de publication et de rédaction de rapports</strong></td><td></td></tr><tr><td>► Le partage du code, des données et des méthodes n'est pas obligatoire.</td><td></td></tr><tr><td>► Les méthodes ne sont pas suffisamment détaillées, notamment en raison des limitations du nombre de mots/pages.</td><td></td></tr><tr><td>► Les normes de rédaction des rapports pour les auteurs et les pairs examinateurs sont insuffisants ou incohérents, y compris entre les disciplines.</td><td></td></tr><tr><td><strong>Compétences techniques et analytiques</strong></td><td></td></tr><tr><td>► La formation et le mentorat sont limités, notamment en ce qui concerne l'analyse informatique, le codage et les nouvelles techniques.</td><td></td></tr><tr><td>► Tous les chercheurs ne sont pas familiarisés ou compétents à un même niveau en informatique et en logiciels aptes à la reproductibilité.</td><td></td></tr><tr><td><strong>Infrastructure technique</strong></td><td></td></tr><tr><td>► La connectivité entre l'infrastructure de communication savante et les flux de travail et les outils des chercheurs est limitée.</td><td></td></tr><tr><td>► La collaboration et la communication entre les réservoirs de recherche et entre les entrepôts et les revues ne sont pas encore bien développées. Les outils permettant la connexion des objets de recherche ne le sont pas non plus.</td><td></td></tr><tr><td><strong>Obstacles pratiques et culturels</strong></td><td></td></tr><tr><td>► Certains auteurs peuvent être réticents (position individuelle) ou dans l'incapacité (obstacles pratiques ou juridiques) de partager des données pour de nombreuses raisons, notamment la propriété des données, leur caractère sensible, l'éthique et la confidentialité, la propriété intellectuelle ou la crainte d'une utilisation abusive.</td><td></td></tr></tbody></table>

## Obstacles potentiels

Nos travaux ont mis en lumière une série d'obstacles majeurs à la publication de résultats de recherche reprocompatibles (voir tableau 1). Bien que les chercheurs soient généralement conscients des attentes existantes en matière de qualité du travail scientifique et de pratiques de recherche ouvertes, ils sont confrontés à ces conflits de priorités et à un manque de temps et d'incitations pour porter leur attention sur les flux de travail de recherche reproductible. Les chercheurs interrogés ont souligné que, bien que les avantages de l'investissement dans les pratiques reproductibles soient appréciés et compris, leur mise en place est ralentie par la culture du « publish or perish » (publier ou périr), qui met les chercheurs sous pression pour publier régulièrement dans des revues savantes et pouvoir progresser dans leur carrière académique.

Cela les oblige souvent à donner la priorité au fait de publier rapidement, ce qui peut avoir pour conséquence de partager peu leurs données (voire pas du tout), donc de mettre à mal la reproductibilité des travaux en question.

> « Le principal obstacle à l'heure actuelle est probablement le manque de temps. Au départ, il faut beaucoup de temps pour mettre en place un cycle de recherche reproductible et pour préparer les matériaux de manière à ce qu'ils aient un sens pour les autres et soient partageables. D'après mon expérience personnelle, il faut investir son temps. » Un chercheur

Sans surprise, nos entretiens ont également montré que les articles publiés continuent d'être les débouchés de la recherche les plus récompensés, ce qui ne fait qu'augmenter les préoccupations énoncées dans le tableau 1. Des initiatives visant à remédier à ce problème
sont en cours d'élaboration, et nous en par-
lons plus en détail dans la section 4.

« Les incitations à la recherche restent in-
défectiblement l'article publié. Ainsi, le
comportement, les habitudes, au cours
des cent dernières années, ont consisté à
se concentrer sur la publication de l'article,
puis à passer à autre chose. Tant que l'on
continuera à accepter cela, je pense que
nos tentatives d'encourager la reproducti-
bilité ou nos efforts pour qu'elle se réalise
dans une énorme proportion de la littéra-
ture porteront peu. » Un éditeur

Sur le plan pratique, nous avons constaté que
les chercheurs ont des compétences variables
(souvent selon la discipline) lorsqu'il s'agit de
publier des recherches reproductibles. Ces
compétences se développent à des rythmes
différents (toujours selon les disciplines), gé-
néralement sous l'effet d'exigences méthodo-
logiques propres à chaque domaine.

L'adoption des outils et services numériques qui sous-tendent les pratiques de publication reprocompatibles varie considérablement, et nos constatations suggèrent que les chercheurs des disciplines quantitatives semblent plus familiers avec les produits existants car ils sont actuellement utilisés dans leur processus de recherche. Il convient de noter que les outils qui, en principe, peuvent permettre la reproductibilité tout au long du processus de recherche et au moment de la publication, ne sont pas toujours utilisés à ces fins. P. ex., GitHub peut servir de socle potentiel pour des cycles de recherche reproductibles, mais bien souvent il est utilisé comme une plateforme de collaboration plutôt que pour partager et vérifier ses données et son code au moment de la publication, parallèlement à l'intégration du dépôt de celle-ci dans Zenodo.<fnref n="26" /> Dans la section 5, nous explorons une gamme plus large de technologies qui peuvent faciliter les pratiques de publication reprocompatibles.

« Si vous faites de la recherche informa-
tique, les outils existent bien, mais ils sont
également dispersés et évoluent différem-
ment selon la discipline... Pour un autre
type d'étude, p. ex. en archéologie, la re-
cherche informatique est beaucoup moins
structurée à cause d'outils moins dévelop-
pés. C'est donc spécifique à chaque disci-
pline, mais la situation est définitivement
en train d'évoluer. » Un organisme de re-
cherche

Les difficultés liées au partage des données sont particulièrement importantes et ont des répercussions sur l'ensemble du cycle de vie de la recherche : l'absence de données (FAIR et, dans de nombreux cas, ouvertes) à la base des analyses constitue un obstacle à l'exécution des contrôles de reproductibilité et, plus largement, empêche la réutilisation. Dans certains cas, le partage des données est en effet complexe, p. ex. lorsque des considérations éthiques interviennent ou lorsque les données sont commercialement sensibles (voir section 2).

« Les données médicales présentent beaucoup plus d'obstacles à gérer. Certaines données dans certaines disciplines ne peuvent tout simplement pas être mises à disposition. Les données de différents domaines sont plus ou moins faciles à rendre reproductibles en raison de la dynamique des types de matériaux avec lesquels ils travaillent. » Un éditeur

L'impact des différences disciplinaires

Jusqu'à présent, notre discussion n'a fait que
survoler la question de l'impact potentiel des
différences disciplinaires sur la capacité d'un
chercheur à mettre en œuvre des pratiques de
recherche reproductible. Notre analyse docu-
mentaire et nos entretiens indiquent que nous
pouvons être en présence de différentes pro-
blématiques en fonction (i) des méthodes de

<footnote n="26">26 GitHub. (n.d.). Making your Code Citable. https://guides.github.com/activities/citable-code/</footnote>
recherche utilisées ; et (ii) de la discipline d'un chercheur (bien que les deux soient souvent étroitement liées).

> « La plupart de mes travaux sont quantitativs et consistent en des essais contrôlés randomisés, mais je comprends très bien les réticences de certains de mes collègues quand ils évoquent leurs recherches qualitatives. La rédaction de leurs travaux est extrêmement difficile, tout comme la préservation de l'anonymat tout en ménageant la transparence et en permettant aux autres de faire les mêmes déductions à partir de ces données. » Un chercheur

Nous avons constaté que certaines méthodes de recherche empirique se prêtent mieux aux flux de travail reproductibles,<fnref n="27" /> comme le développement de logiciels et les expériences standardisées ou semi-standardisées. Ces méthodes sont typiques des disciplines quantitatives, où les objets de recherche tels que les tableaux de données sont courants et peuvent être générés par des moyens semi- ou entièrement automatisés pour l'analyse, le partage, l'inspection et la réutilisation.

En revanche, avoir des flux de travail reproductibles devient plus complexe lorsqu'un élément qualitatif important est présent, lorsque la recherche n'est pas standardisée ou lorsqu'elle repose sur des matériaux rares, uniques, non-pérennes ou inaccessibles. Dans ces cas, la collecte, la conservation, la documentation et/ou le partage des données prendront plus de temps. Ainsi, des considérations comme la protection des données et l'éthique peuvent entrer en ligne de compte. Ainsi, un

des obstacles courants consiste à « dépersonaliser les données personnelles tout en [...] limitant la perte de richesse des informations fournies ».<fnref n="28" />

> « Dans mon domaine, nous devons faire preuve d'une grande prudence, car nous traitons des données provenant de personnes volontaires et, évidemment, nous les désidentifions autant que possible. Par exemple, un scanner cérébral peut identifier une personne de manière unique. Donc parfois, nous traitons des données qui sont intrinsèquement difficiles à anonymiser. » Une société savante

Nous reconnaissons que la présente section ne mentionne pas les méthodes non empiriques qui s'appuient sur des observations personnelles, des réflexions sur l'actualité, et/ou l'autorité ou l'expérience de l'auteur.<fnref n="29" /> Dans ces cas, les personnes interrogées se demandent si la reproductibilité de la recherche est même souhaitable ou applicable en première intention. Certains contributeurs ont notamment souligné qu'une approche unique de la reproductibilité n'est pas appropriée et qu'il est essentiel de tenir compte de la diversité des méthodes et des disciplines de recherche pour faire avancer ce débat.

> « Un article sur la religion ou la philosophie n'est pas nécessairement fondé sur des preuves ou des données spécifiques. L'auteur peut se contenter de partager sa nouvelle théorie et ne rien faire pour la prouver ou la réfuter. La signification du terme « reproductibilité » peut donc changer ou la question ne se pose même pas dans certains cas. » Un fournisseur d'infrastructure

<footnote n="27">²⁷ Penders, B., Holbrook, J., & de Rijcke, S. (2019). Rinse and Repeat: Understanding the Value of Replication across Different Ways of Knowing. Publications, 7(3), 52. https://doi.org/10.3390/publications7030052</footnote>

<footnote n="28">²⁸ Kurapati, S. & Teperek, M. (2019). What does reproducibility mean for qualitative research? https://openworking.wordpress.com/2019/02/11/what-does-reproducibility-mean-for-qualitative-research/</footnote>

<footnote n="29">²⁹ Dan, V. (2017). Empirical and Nonempirical Methods. The International Encyclopedia of Communication Research Methods. 1-3. https://doi.org/10.1002/9781118901731.iecrm0083</footnote>
Les investissements en infrastructure de données du Conseil de la recherche économique et sociale
(ESRC)

L'ESRC, qui fait partie de UK Research and Innovation, est la plus grande organisation publique du Royaume-Uni pour le financement de la recherche sur les sujets économiques et sociaux, centrée sur la recherche ayant un impact sur les entreprises, le secteur public et la société civile. L'une de ses missions est de « développer et soutenir l'infrastructure nationale de données qui sous-tend une recherche de haute qualité », ce qui se concrétise, notamment, dans des subventions accordées à un large éventail d'infrastructures de données.

L'ESRC a réalisé d'importants investissements dans des infrastructures de données (p. ex., l'Administra-
tive Data Research UK, le UK Data Service, l'Urban Big Data Centre et le Consumer Data Research
Centre), et celles-ci hébergent toutes des installations et des technologies qui protègent les identités et
permettent un accès sécurisé et contrôlé aux données.

Ces infrastructures sont essentielles pour permettre une publication reprocompatible dans toutes les disciplines où la sensibilité et la confidentialité des données sont un enjeu important pour les particuliers comme pour les entreprises. Dans le cadre de la Covid-19, le UK Data Service a mis en place des mesures supplémentaires (avec l'accord des propriétaires des données) pour permettre l'utilisation de ses installations Secure Lab à domicile. Cela démontre que, grâce à l'innovation, il existe des solutions pour que des utilisateurs puissent accéder à distance à des données sensibles et confidentielles tout en maintenant une protection renforcée. Autre exemple : l'Administrative Data Research UK, qui a investi dans SafePods - un réseau d'environnements sûrs indépendants pour assureur un accès à des données sécurisées.

De manière plus générale, l'ESRC impose également des règles en matière de partage des données à ses bénéficiaires, en partant du principe que « les données sont les éléments principaux du patrimoine de la recherche économique et sociale ». Ces prescriptions portent aussi sur la documentation et les métadonnées afin de « fournir aux utilisateurs secondaires les informations essentielles pour comprendre les données de manière indépendante, permettre la découverte et la réutilisation scientifique » - des comportements qui sont très favorables à la recherche reproductible et aux pratiques de publication.

Enfin, nous notons le rôle important que les bailleurs de fonds peuvent jouer en investissant dans des infrastructures dédiées pour soutenir les utilisateurs de données et promouvoir des comportements positifs en matière de pratiques de publication reproductibles : le UK Data Service a organisé l'événement « Love Your Code » dans le cadre de la semaine Love Data 2020, axé sur l'échange d'informations et de connaissances autour du partage de codes et de ses avantages.
## 3. Acteurs, rôles et responsabilités

Les rôles et les responsabilités pour la reproductibilité sont complexes, et la coopération entre acteurs est essentielle. Les chercheurs et les groupes de recherche peuvent concourir activement à des pratiques reprocompatibles de publication en adoptant des processus adaptés, en étant soutenus par leurs institutions et en utilisant les infrastructures de recherche qui se déploient. Les milieux de la recherche peuvent favoriser l'élaboration et la transmission de leurs usages aux revues et aux organismes de financement de la recherche, au sein desquels des orientations, y compris concernant la phase de publication, sont en train d'être définies actuellement.

### Exploration des rôles et des responsabilités

Dans le cadre de notre projet, nous avons tenté d'analyser les rôles et les responsabilités des différents acteurs en lien avec les pratiques de publication compatibles avec la reproductibilité. Le tableau 2 présente un récapitulatif de nos observations, et ce qui ressort de plus marquant, c'est la nécessité d'une large collaboration entre intervenants pour réaliser l'ensemble des activités identifiées.

Dans la présente partie, nous dressons un état des lieux des relations entre acteurs pour donner à voir les actions qu'ils pourraient entreprendre aux niveaux micro, méso et macro (selon le cadre de la Science ouverte de Knowledge Exchange) pour que la question de la reproductibilité aille au-delà du stade du discours.

### Niveau micro : chercheurs et groupes de recherche

Nos consultations nous ont livré le constat d'un large consensus autour du rôle clé que les chercheurs ont à jouer pour la reproductibilité des pratiques de publication. Cela s'explique simplement par le fait que ce sont eux qui exercent la responsabilité de conce-

voir, réaliser et diffuser les travaux de recherche, et qu'ils sont les seuls à avoir facilement accès à tous les objets de recherche concernés (et à les comprendre dans le détail).

Individuellement, ou avec leurs groupes de recherche, les chercheurs peuvent porter les pratiques de publication reprocompatibles en encourageant et en appliquant des cycles de travaux qui correspondent à cela. Cela peut comprendre notamment une gestion des données de recherche, leur collecte et leur conservation et celles des codes, ainsi que le partage en parallèle des objets de recherche qui se rapportent à leurs articles. Ils peuvent également jouer un rôle lorsqu'ils intervient en tant qu'évaluateurs entre pairs, p. ex. dans les cas où des revues affichent des consignes de reproductibilité (voir ci-dessous).<fnref n="30" />

Ainsi que nous l'abordons au terme de la présente section, les microacteurs peuvent également avoir une place essentielle quand s'élaborent des politiques : ils sont les seuls à pouvoir aider les acteurs de niveaux méso et macro à comprendre les impératifs spécifiques qui se présentent dans des disciplines et des contextes de recherche différents.

<footnote n="30">³⁰ Turkyilmaz-van der Velden, Y., Dintzner, N., & Teperek, M. (2020). Reproducibility Starts from You Today. Patterns. 1(6). https://doi.org/10.1016/j.patter.2020.100099</footnote>
> « Dans l'idéal, la responsabilité revient aux auteurs de s'assurer que leur travail est reproductible. Et c'est ce qu'ils devraient faciliter. Dans une certaine mesure, la situation veut que ce soit les auteurs qui soumettent leurs travaux et tout le monde tient pour acquis qu'ils ont fait leur métier comme il faut. » Un éditeur

## Niveau méso : usages disciplinaires

Nos entretiens ont fait ressortir la nécessité que les communautés de recherche et les disciplines s'approprient l'élaboration des prescriptions portant sur les pratiques reproductibles de publication. Il s'agit d'un aspect essentiel, car parmi nos contributeurs, éditeurs comme financeurs, partagent le

même sentiment de préoccupation à imposer d'en haut des injonctions qui ne correspondraient pas à des pratiques disciplinaires.

L'élaboration d'usages disciplinaires (à l'instar des initiatives issues des sociétés savantes), constitue un outil très puissant, car dans les faits ceux-ci font office d'orientations qui viennent de l'intérieur dans différents domaines de la recherche. Toutefois, pour qu'une discipline définisse de nouveaux usages, il faut que les avantages qui en découlent soient manifestes : en ce qui concerne la reproductibilité, identifier des avantages spécifiques et mesurables peut s'avérer difficile aux niveaux micro ou méso (voir section 2), ce qui peut entraver des avancées au sein des communautés disciplinaires.³¹³²³³

<table><caption>TABLEAU 2. RÔLES ET RESPONSABILITÉS POSSIBLES DANS LA PUBLICATION DE RÉSULTATS DE RECHERCHE REPRODUCTIBLES.</caption><thead><tr><td>Niveau</td><td>Groupes d'acteurs</td><td>Responsabilités détaillées découlant de notre consultation</td></tr></thead><tbody><tr><td>Micro</td><td>Chercheurs et groupes de recherche</td><td><ul><li>Favoriser et appliquer des flux de travail reproductibles, y compris la collecte et la curation de données et de codes</li><li>Partager des objets de recherche pertinents (numériques et physiques) parallèlement aux publications</li><li>Soumettre des articles à des tests de reproductibilité lorsque l'on intervient en tant que pair évaluateur (le cas échéant, notamment parce que les mécanismes de récompense actuels n'encouragent pas cette démarche)</li></ul></td></tr><tr><td rowspan="4">Méso</td><td>Communautés et disciplines</td><td><ul><li>Discuter, tester et affiner les coutumes et les standards disciplinaires relatifs aux pratiques de publication reproductibles</li><li>Faire connaitre les préconisations relatives à ces pratiques de publication aux acteurs de niveau supérieur</li></ul></td></tr><tr><td>Sociétés savantes</td><td><ul><li>Favoriser les forums de discussion sur la reproductibilité</li><li>Offrir une formation spécifique à la discipline afin de répondre aux attentes des éditeurs et des organismes de financement de la recherche</li></ul></td></tr><tr><td>Réseaux (inter)nationaux de reproductibilité</td><td><ul><li>Créer des passerelles entre les discussions qui se mènent entre membres de communautés (débats relativement récents et disparates d'une discipline à l'autre) et d'autres groupes d'intervenants</li><li>Favoriser la collaboration par-delà les frontières nationales</li><li>Pourvoir à un certain degré de coordination dans le contexte plus large des pratiques de science ouverte</li></ul></td></tr><tr><td>Opérateurs de recherche</td><td><ul><li>Définir des orientations politiques pour le personnel (p. ex. partage d'objets de données, étendue de la vérification attendue, différences disciplinaires) dans le contexte plus large des pratiques de science ouverte</li><li>Sensibiliser aux principales prescriptions découlant des attentes politiques</li></ul></td></tr></tbody></table>

<footnote n="31">³¹ Association for Computing Machinery (ACM). (2021). Practices Working Group Blog. https://reproducibility.acm.org/blog/</footnote>

<footnote n="32">³² The Academy of Medical Sciences. (n.d.) Reproducibility and reliability of biomedical research. https://acmedsci.ac.uk/policy/policy-projects/reproducibility-and-reliability-of-biomedical-research</footnote>

<footnote n="33">³³ National Academies of Sciences, Engineering, and Medicine. (2019). Reproducibility and Replicability in Science. The National Academies Press. https://doi.org/10.1016/j.patter.2020.100099</footnote>
<table><thead><tr><th>Niveau</th><th>Groupes d'acteurs</th><th>Responsabilités détaillées découlant de notre consultation</th></tr></thead><tbody><tr><td></td><td></td><td><ul><li>Apporter un soutien sous une forme associant de manière pertinente intendants de données, curateurs d'objets de recherche ou bibliothécaires de spécialité disciplinaire</li><li>Offrir une formation générale comme spécifique à la discipline (à l'intention des étudiants et du personnel) pour répondre aux attentes des éditeurs et des organismes de financement de la recherche</li><li>Offrir l'accès à une combinaison adéquate d'infrastructures numériques et physiques pour soutenir les flux de travail de recherche reproductibles</li><li>Financer les outils liés à la reproductibilité pendant leur phase de démarrage ou pilote</li><li>Élaborer et mettre en œuvre des mécanismes de récompense pour les pratiques de publication reprocompatibles en les inscrivant dans le cadre plus large des pratiques de science ouverte</li></ul></td></tr><tr><td></td><td>Éditeurs et revues académiques</td><td><ul><li>Définir des orientations et attentes destinées aux auteurs (p. ex., partage d'objets de données, étendue des vérifications requises, différences disciplinaires) dans le contexte plus large des pratiques de science ouverte</li><li>Sensibiliser aux principales prescriptions découlant des attentes politiques</li><li>Élaborer et mettre en œuvre des mécanismes de récompense pour les pratiques de publication reprocompatibles</li><li>Mettre en œuvre les orientations politiques, p. ex. au moyen de listes de contrôle, de lignes directrices et de standards relatifs à la reproductibilité de la recherche à l'intention des auteurs, des rédacteurs et des examinateurs</li><li>Donner des responsabilités pour le contrôle de la reproductibilité des manuscrits soumis ou acceptés aux personnels de rédaction en charge des données ou de la reproductibilité et les y former</li><li>Inciter les pairs examinateurs à définir des attentes claires concernant les rôles et les responsabilités</li><li>Collaborer avec les fournisseurs d'infrastructures pour mettre en œuvre des solutions pratiques (p. ex., intégration par des revues des carnets de recherche Binder ou Jupyter, le cas échéant)</li></ul></td></tr><tr><td></td><td>Fournisseurs d'infrastructures<sup>34</sup></td><td><ul><li>Inciter un plus grand nombre de disciplines à participer à l'élaboration d'un ensemble plus exhaustif d'outils et de flux de travail (p. ex., au-delà des disciplines fortement informatisées)</li><li>Procéder à des contrôles de reproductibilité en partenariat avec des auteurs, des éditeurs et des organismes de financement de la recherche</li><li>Élaborer des modèles économiques durables pour servir le marché académique, y compris, le cas échéant, avec des subventions de la part d'organismes de financement de la recherche et/ou d'opérateurs de recherche</li><li>Travailler avec les éditeurs et les revues pour mettre en œuvre des solutions pratiques (p. ex., faire en sorte que les revues utilisent des carnets de recherche Binder ou Jupyter, le cas échéant)</li></ul></td></tr><tr><td rowspan="2">Mai-cro</td><td>Organismes de financement de la recherche</td><td><ul><li>Soutenir les communautés de recherche dans la discussion, l'expérimentation et l'affirmation de prescriptions spécifiques en matière de reproductibilité de la recherche (p. ex., le développement d'instruments de financement à cet effet)</li><li>Définir des orientations à l'intention des bénéficiaires de subventions (p. ex., partage d'objets de données, étendue des vérifications requises, différences disciplinaires) dans le contexte plus large des pratiques de science ouverte</li><li>Sensibiliser aux principales prescriptions découlant des attentes politiques</li><li>Élaborer et mettre en œuvre des mécanismes de récompense pour les pratiques de publication reprocompatibles</li><li>Couvrir (une partie) des dépenses engendrées par des pratiques de publication reprocompatibles lorsque celles-ci sont en adéquation avec les orientations politiques</li><li>Opérer un suivi et une évaluation de la mise en œuvre des politiques</li><li>Financer les outils liés à la reproductibilité pendant leur phase de démarrage ou pilote</li></ul></td></tr><tr><td>Acteurs politiques</td><td><ul><li>Définir les orientations politiques au niveau systémique et coordonner les initiatives nationales dans le contexte plus large des pratiques de la science ouverte</li><li>Définir les infrastructures numériques et matérielles financées par les pouvoirs publics comme étant une priorité stratégique, afin d'assurer la durabilité à long terme et d'éviter la captivité commerciale auprès de fournisseurs</li></ul></td></tr></tbody></table>

<footnote n="34">34 Il convient de noter que les fournisseurs d'infrastructures sont examinés séparément dans la section 5.</footnote>
Pour autant, certaines disciplines vont déjà très loin dans la mise en œuvre de flux de travail reproductibles tout au long du processus de recherche, y compris dans le domaine de la publication. Ainsi, la physique des particules est à l'avant-garde de cette philosophie, et il est intéressant de comprendre les principales raisons de cette situation :

<figure><img src="image_14.png" /></figure>

Les infrastructures comme celles construites par l'Organisation européenne pour la recherche nucléaire (communement appelée le CERN) sont très coûteuses et donc partagées. Le partage des données est rendu obligatoire par les politiques des organismes et la vérification des travaux des autres est un mode de fonctionnement habituel.

<figure><img src="image_15.png" /></figure>

Les expériences exigent une large collaboration et une grande confiance, ce qui implique que la transparence en ce qui concerne le code, les données et les méthodes soit un point fort essentiel.

> « Une expérience pouvant solliciter plus de 5 000 physiciens implique des groupes qui manipulent les données et les traitent, ensuite nous n'avons plus qu'à utiliser tout ce matériau. Il y a tant de gens qui contribuent à différentes dimensions et qui partagent ouvertement leur travail : c'est une réalisation collaborative. » Un chercheur

Dans de nombreux autres domaines scientifiques, faire adopter des pratiques de publication reproductibles n'est pas chose aussi

facile : du moins pour certains, elles sont perçues comme exigeant un gros investissement sans aucun bénéfice immédiat. Bien que des champions isolés et de nombreuses communautés de pratique s'efforcent d'ouvrir la voie au changement culturel, leur essor est encore loin de se généraliser. C'est pourquoi les politiques qu'adoptent les éditeurs et les agences de financement de la recherche peuvent jouer un rôle essentiel pour créer un équilibre entre initiatives venant de la base et en local et pour instaurer des attentes fortes pour les acteurs à tous les niveaux.³⁵³⁶

> « Ces initiatives sont importantes, en ce sens qu'elles favorisent les activités ascendantes et voilà qui est très important, mais in fine, ce n'est pas que d'activités venant de la base dont nous avons besoin... le rôle de ces activités venant du bas, c'est d'en susciter qui viennent d'en haut. » Un chercheur

## Niveau méso : réseaux internationaux de reproductibilité

Comme nous l'avons déjà indiqué précédemment, la reproductibilité se présente sous des formes différentes selon les disciplines. En conséquence, non seulement les exigences varient, mais les débats n'en sont pas partout au même stade de maturité. En un sens, il est inévitable que ces discussions se déroulent en parallèle plutôt qu'en commun, mais des initiatives telles que les réseaux de reproductibilité en Grande-Bretagne<fnref n="37" />, Allemagne<fnref n="38" />,

<footnote n="35">³⁵ Willis, C., & Stodden, V. (2020). Trust but Verify: How to Leverage Policies, Workflows, and Infrastructure to Ensure Computational Reproducibility in Publication. Harvard Data Science Review, 2(4). https://doi.org/10.1162/99608f92.25982dcf</footnote>

<footnote n="36">³⁶ Westwood, S. (Twitter). (2021). I'm curious, what got you involved in Open Science/replication crises? https://web.ar-chive.org/web/20210708162443/https://twitter.com/westwoodsam1/sta-tus/1382694739644923915</footnote>

<footnote n="37">³⁷ UK Reproducibility Network. (n.d.). Welcome to the UK Reproducibility Network. https://www.ukrn.org/</footnote>

<footnote n="38">³⁸ Réseau allemand de reproductibilité. (n.d.). The German Reproducibility Network. https://reproducibilitynetwork.de/</footnote>
Suisse<fnref n="39" />, Australie<fnref n="40" />, Slovaquie<fnref n="41" /> et Italie<fnref n="42" />
pourraient ressortir comme déterminantes. La
plupart de ces réseaux sont relativement
jeunes et leur impact est difficile à évaluer
pleinement à ce stade, mais ils ont le poten-
tiel de pouvoir :

- créer des liens entre les débats qui se mènent entre membres de communautés (débats relativement récents et disparates d'une discipline à l'autre) et d'autres groupes d'intervenants ;

- favoriser la collaboration par-delà les frontières nationales ; et

- offrir un certain degré de coordination.

> « Certains [groupes d'intervenants] n'y travaillent pas du tout, simplement faute d'intérêt, d'autres sont très progressistes, et essaient vraiment d'entraîner les autres parce qu'ils voient ce que cela apporte d'essayer de s'y mettre. Ceux qui sont les plus actifs fonctionnent en mode collaboratif, en particulier ceux qui travaillent en interdisciplinarité. » Un fournisseur d'infrastructure

Dans ce contexte, nous constatons qu'une
ligne de pensée prend corps à des niveaux na-
tionaux comme internationaux ces toutes der-
nières années. C'est ainsi que des
contributeurs de projet ont souligné par leurs
commentaires combien il importe d'attirer
l'attention sur des tentatives de reproduction
qui auraient échoué dans certaines disci-
plines, dans une démarche de sensibilisation
dans des domaines où pareil aspect n'est pas
reconnu et pour y initier un débat sur la re-
productibilité.

Globalement, il convient de noter qu'il est dif-
ficile d'évaluer l'impact des activités axées sur
la reproductibilité indépendamment des
autres pratiques scientifiques ouvertes asso-
ciées : p. ex., la reproductibilité et le partage
de données (ouvertes et/ou FAIR) vont de
pair, et il serait très difficile de parler de l'une
sans aborder l'autre.

<footnote n="39">³⁹ Réseau suisse de reproductibilité. (n.d.). SWISSRN. https://www.swissrn.org/</footnote>

<footnote n="40">40 Réseau australien de reproductibilité. (n.d.). Welcome to the Australian Reproducibility Network. http://www.aus-rn.org/</footnote>

<footnote n="41">⁴¹ Réseau slovaque de reproductibilité. (2021). RNSK. https://www.slovakrn.org/</footnote>

<footnote n="42">42 Salvato, G. (Twitter). (2021) The Italian Reproducibility Network, a star is about to be born! Stay tuned for more information. https://twitter.com/gerardosalvato/status/1417078428285775878</footnote>
Le réseau britannique de reproductibilité

Le réseau britannique de reproductibilité (UK Reproducibility Network - UKRN) a été créé en mars 2019 pour rassembler et coordonner les efforts visant à améliorer la qualité de la recherche au Royaume-Uni. Sa structure se traduit en plusieurs composantes, distinctes mais en interaction, à savoir (i) les réseaux locaux de chercheurs ; (ii) les institutions membres ; et (iii) les acteurs externes comme les organismes de financement de la recherche, les éditeurs et d'autres organisations sectorielles. L'UKRN s'est développé rapidement : au moment de la rédaction de ces lignes, il regroupe des réseaux locaux d'une bonne cinquantaine d'institutions britanniques et 20 membres institutionnels.

Une caractéristique essentielle des activités de l'UKRN se matérialise dans le soutien qu'il apporte aux initiatives existantes, dont beaucoup ont été mises sur pied par des chercheurs en début de carrière. En effet, l'UKRN collabore avec les instigateurs de ces initiatives pour accroître leur audience et les promouvoir auprès de ses membres. D'autres réseaux de reproductibilité, sur le mo-dèle de l'UKRN, ont récemment vu le jour dans d'autres pays, et 11 d'entre eux ont été créés à ce jour ou sont en voie de l'être.

En septembre 2021, l'UKRN s'est vu attribuer 4,5 millions de livres sterling du fonds de développe-
ment pour la recherche (Research England Development - RED), « afin de permettre au réseau
d'accroître ses activités et d'accélérer l'adoption de pratiques de recherche ouvertes dans l'en-
semble du secteur ».<fnref n="43" />

<footnote n="43">43 UK Reproducibility Network. (2021). Major funding boost for UK's open research agenda. https://www.ukrn.org/2021/09/15/major-funding-boost-for-uk-open-research-agenda/</footnote>
## Niveau méso: attentes institutionnelles en matière de reproductibilité de la recherche

Les entretiens que nous avons eus avec les organismes de recherche ont montré qu'à l'heure actuelle, il n'est pas courant qu'ils affichent des orientations spécifiquement consacrées à la reproductibilité de la recherche. Il est toutefois de plus en plus fréquent que la reproductibilité soit mentionnée au passage, dans le contexte d'autres lignes politiques ou prescriptions institutionnelles (à l'instar des organismes de financement de la recherche, voir ci-dessous).

> « *En science ouverte, nous avons trois politiques différentes. D'abord, nous avons défini notre politique sur les données, puis nous avons adopté celle sur les publications, et ensuite, la dernière en date, celle sur la recherche ouverte. Celle-ci combine les deux autres, mais les associe sous l'angle du processus de recherche vu dans son ensemble. Par exemple, dans la politique de données, nous avons quelques principes FAIR, et c'est là que l'on y retrouve la notion de reproductibilité.* »
> 
> *Un organisme de recherche*

Les organismes de recherche sont portés à faire des investissements importants lorsque des prescriptions (mandats) sont formulées par les agences de financement ou au niveau politique : par exemple, c'était le cas au Royaume-Uni quand, en 2015, le conseil de recherche en sciences physiques et de l'ingénieur (Engineering and Physical Sciences Research Council - EPSRC) instituait de nouvelles prescriptions en matière de gestion des

données de recherche, ce qui a incité les universités à traiter ce domaine d'un point de vue plus stratégique.<fnref n="44" />

Plus loin dans cette section, nous relevons que, dans la plupart des cas, les pratiques de recherche reproductibles ne figurent pas parmi les prescriptions des agences de financement. Il en résulte qu'il se pourrait que les organismes de recherche continuent à surveiller le paysage et à aborder la question de la reproductibilité de la recherche par le biais d'approches ad hoc et en fonction de leurs stratégies propres et de leurs effectifs en chercheurs. On peut citer comme exemple le Luxembourg Centre for Systems Biomedicine (LCSB) de l'Université du Luxembourg qui a décidé de s'associer à SciCrunch pour améliorer son contrôle interne de la qualité, dans le cadre de son initiative de recherche responsable et reproductible (Responsible and Reproducible Research - R3).⁴⁵⁴⁶

## Niveau méso : le rôle des exigences de l'éditeur et leurs lignes directrices sur la reproductibilité

Les éditeurs jouent un rôle important dans l'économie de la réputation qui, pour une grande part, est le socle sur lequel repose l'univers académique. En particulier, ils agissent comme un passage obligé pour les auteurs avant qu'ils puissent faire état de leurs articles parus dans des revues, une monnaie d'échange particulièrement prisée : étant donné que ce sont les éditeurs, et plus particulièrement les revues, qui détiennent les clés de la réussite d'un chercheur, ils jouissent d'une position de force pour imposer leurs exigences et, encore plus important, être structurants.

<footnote n="44">⁴⁴ Jisc. (2018). Meeting the requirements of the EPSRC research data policy. https://www.jisc.ac.uk/guides/meeting-the-requirements-of-the-EPSRC-research-data-policy</footnote>

<footnote n="45">⁴⁵ Research Information. (2020). SciCrunch announces Luxembourg collaboration. https://www.researchinformation.info/news/scicrunch-announces-luxembourg-collaboration</footnote>

<footnote n="46">⁴⁶ Univeristé Du Luxembourg. (n.d). Responsible and Reproducible Research (R3) https://wwwen.uni.lu/lcsb/research/bioinformatics_core/responsible_and_reproducible_research_r3</footnote>
Les listes de contrôle ou lignes directrices à l'intention des rédacteurs de revues, des évaluateurs et des auteurs sont des « outils simples et néanmoins puissants » que les revues peuvent utiliser pour encourager des pratiques de publication reprocompatibles. Tous les acteurs concernés disposeraient ainsi d'un outil pour s'assurer qu'au moins un ensemble donné d'objets de recherche est disponible en parallèle d'un article de recherche, soit au moment de sa soumission, soit au moment de son acceptation. La principale difficulté est d'identifier à quoi ressemblerait un tel ensemble d'objets de recherche, et cela dépend en grande partie des disciplines.47 En outre, pareilles listes de contrôle et lignes directrices peuvent être plus ou moins strictement appliquées, selon les us et coutumes en vigueur dans la discipline et les options de la revue : ainsi, la non reproductibilité n'apparaît guère comme un motif légitime de rejet d'un article que dans un nombre restreint de revues. Dans la pratique, cela pourrait se présenter sous la forme d'une décision de la rédaction du type « à réviser et à soumettre à nouveau » après que la revue, le rédacteur de données, le pair réviseur ou des agences externes de vérification ne soient pas parvenus à reproduire les éléments soumis.4849

> « En fait, je suis défavorable aux listes de contrôle ou aux lignes directrices taillées sur mesure par chaque éditeur, parce que les choses seraient beaucoup plus faciles si on disposait de standards communautaires que tous pourraient adopter. »
> 
> Un éditeur

Les listes de contrôle et les lignes directrices possèdent également un intérêt pédagogique et peuvent concourir à la sensibilisation envers les pratiques de recherche chaque fois qu'elles sont mises en œuvre et partagées avec les futurs auteurs et d'autres intervenants dans le processus de publication.

Bien qu'il soit difficile d'évaluer l'impact des listes de contrôle et des lignes directrices au niveau systémique, nous notons que certaines initiatives progressent à grands pas dans la bonne direction :

<figure><img src="image_16.png" /></figure>

les lignes directrices TOP fournissent aux organismes de financement de la recherche, aux éditeurs et aux institutions de recherche des options personnalisables pour que ceux-ci élaborent de nouveaux standards correspondant à leurs objectifs, et ces préconisations sont appliquées par plus de 1 100 revues;505152

<figure><img src="image_17.png" /></figure>

le réseau EQUATOR comporte une base de données exhaustive et consultable de 470 lignes directrices de présentations des travaux et résultats dans le domaine de la recherche en santé;53

<figure><img src="image_18.png" /></figure>

les lignes directrices ARRIVE sont une liste de contrôle des informations qui doivent figurer dans les publications décrivant la recherche sur les animaux, afin de permettre aux lecteurs et aux réviseurs d'examiner les travaux de recherche de manière adéquate, d'évaluer leur rigueur méthodologique et d'en reproduire les méthodes ou les résultats.54

<footnote n="47">47 Goeva, A., Stoudt, S., & Trisovic, A. (2020). Toward Reproducible and Extensible Research: from Values to Action. Harvard Data Science Review, 2(4).
https://doi.org/10.1162/99608f92.1cc3d72a</footnote>

<footnote n="48">48 Office of the AEA Data Editor. (2021). Guidance on testing replicability of code.
https://aadataeditor.github.io/aea-de-guidance/reproducibility-checks</footnote>

<footnote n="49">49 GitHub (n.d.). ReScience C: Frequently Asked Questions. https://rescience.github.io/faq/</footnote>

<footnote n="50">50 Center for Open Science. (n.d). Top Guidelines. https://www.cos.io/initiatives/top-guidelines</footnote>

<footnote n="51">51 Center for Open Science. (n.d.). Sample Implementation of Guidelines for Transparency and Openness Promotion (TOP). Journal Policies and Practices.
https://osf.io/edtxm/</footnote>

<footnote n="52">52 Yeston, J.S. (2021). Progress in data and code deposition. https://blogs.science-mag.org/editors-blog/2021/07/15/progress-in-data-and-code-deposition/</footnote>

<footnote n="53">53 EQUATOR Network. (n.d.). Enhancing the QUALity and Transparency Of health Research. https://www.equator-network.org/reporting-guidelines/</footnote>

<footnote n="54">54 National Centre for the Replacement, Refinement & Reduction of Animals in Research. (n.d.). ARRIVE Guidelines.. https://arriveguidelines.org/about</footnote>
<figure><img src="image_19.png" /></figure>

Politique et protocole sur les vérifications par des tiers au sein de l'American Economic Asso-
ciation (AEA)

L'AEA est une association savante à but non lucratif qui se consacre à l'exposé et à la
publication de la recherche en économie. Ses revues suivent une politique stricte de dis-
ponibilité des données et des codes qui est indicative de sa volonté de « publier des art-
ticles uniquement si les données et les codes utilisés dans l'analyse sont documentés de
manière claire et précise et si l'accès aux données et aux codes n'est pas exclusif aux
auteurs ». L'AEA emploie également un rédacteur de données en interne, dont la mission
est de « concevoir et de superviser la stratégie des revues de l'AEA pour l'archivage et la
curation des données de recherche ainsi que la promotion des travaux de recherche re-
productibles ».<fnref n="55" />

Pour une part essentielle, l'AEA effectue les vérifications de reproductibilité par elle-même, mais elle peut aussi faire appel à des réplicateurs externes (https://bit.ly/3G5hNz6) lorsque, pour diverses raisons, ces vérifications ne peuvent être effectuées en temps opportun. L'AEA fournit des directives claires (https://bit.ly/3l8oisy) à l'intention de ses réplicateurs, internes comme externes, qui se composent des étapes suivantes :

* télécharger ce que l'on appelle « l'archive de réplication » de l'auteur ;

* suivre une liste de contrôle pour effectuer une vérification de la reproductibilité ;

* rédiger un compte-rendu à partir des résultats de la vérification précitée (voir un exemple : https://bit.ly/3l8opEu) ;

* transmettre le rapport au rédacteur de données.

Les réplicateurs sont tenus d'émettre une appréciation claire et fondée sur des preuves de la re-productibilité d'un article, qui peut aller de « reproduction complète » à « impossible de repro-duire la plupart ou la totalité des résultats » : ceci va éclairer les décisions du rédacteur de données de l'AEA, qui peut exiger que le ou les auteurs effectuent des modifications et soumet-tent à nouveau leur travail jusqu'à ce que ladite « archive de réplication » soit acceptée.

En particulier, un rapport d'acceptation découlant du processus de vérification de la reproducti-
bilité que nous venons de présenter constitue l'étape obligatoire pour lancer le processus d'édi-
tion qui mène à la publication finale.

Remarque : les formulations de l'AEA tendent à utiliser indifféremment « réplication » et « repro-
ductibilité », mais, dans la pratique, ses préconisations utilisent la définition de la « reproductibi-
lité » adoptée dans le présent rapport.

<footnote n="55">55 Vilhuber, L. (2021). Report by the AEA Data Editor. AEA Papers and Proceedings, 111: 808-17. https://doi.org/10.1257/pandp.111.808</footnote>
Certaines revues sont également réputées pour promouvoir le changement dans le domaine de la reproductibilité, et nous mettrons en avant, p. ex. :

* les consignes en la matière de l'American Economic Association;<fnref n="56" />

* la présence d'une rubrique « résultats reproductibles » dans le Journal of Water Resources Planning and Management (qui fait partie de l'American Society of Civil Engineers, ou ASCE);<fnref n="57" />

* la création d'un nouveau type d'article appelé « Verification Reports » (rapports de vérification) dans la revue Cortex, dont la ligne est l'évaluation des faits avancés dans une recherche publiée grâce à une réanalyse des données originales d'une étude;⁵⁸⁵⁹

* les recommandations sur la reproductibilité et sur les carnets de recherche Jupyter établies à destination des auteurs qui publient dans des revues de l'American Geophysical Union;<fnref n="60" />

* la revue Image Procession ON Line (IPOL), où chaque article contient un passage sur un algorithme et son code source révisé par des pairs, avec une démonstration contrôlée en ligne;<fnref n="61" />

* la revue ReScience a lancé un « Défi de reproductibilité décennale » (Ten Years Reproducibility Challenge) pour encourager les auteurs à vérifier les résultats produits grâce à du code développé par le passé, et même à s'assurer si celui-ci

peut s'exécuter sur du matériel ou du logiciel d'aujourd'hui et s'il retourne toujours exactement les mêmes résultats ; et<fnref n="62" />

* la mise au point d'articles de recherche exécutables (Executable Research Articles - ERA) par eLife and Stencila, qui offrent à des auteurs la possibilité de publier des articles comportant des travaux reproductibles informatiquement qui utilisent des images Docker optimisées (V. section 5).⁶³⁶⁴

## Niveau macro : le rôle des organismes de financement de la recherche dans la définition des politiques de reproductibilité

Nombre de nos interlocuteurs considèrent les prescriptions des financeurs comme l'instrument essentiel pour faire avancer le dossier de la reproductibilité de la recherche : les agences de financement ont entre leurs mains un pouvoir considérable et, dans la plupart des cas, les chercheurs ne peuvent pas travailler sans leur soutien. Dans ce domaine, l'exemple le plus connu à émaner d'un financement est le programme « Études de réplication » (Replication Studies) mis en place par le Conseil néerlandais de la recherche (également connu sous le nom de NWO) de 2016 à 2019 et qui accordait des subventions à des études de réplication et de reproduction, sans

<footnote n="56">⁵⁶ American Economic Association. (n.d). Policy and Protocol on Third-Party Verifications. https://www.aeaweb.org/journals/data/policy-third-party</footnote>

<footnote n="57">⁵⁷ Rosenberg, D. E., Jones, A. S., Filion, Y., Teasley, R., Sandoval-Solis, S., Stagge, J. H., Abdallah, A., Castronova, A., Ostfeld, A., & Watkins, D., Jr. (2021). Reproducible Results Policy. Journal of Water Resources Planning and Management, 147(2). https://doi.org/10.1061/(asce)wr.1943-5452.0001368</footnote>

<footnote n="58">⁵⁸ Chambers, C. D. (2020). Verification Reports: A new article type at Cortex. Cortex, 129, A1–A3. https://doi.org/10.1016/j.cortex.2020.04.020</footnote>

<footnote n="59">⁵⁹ Elsevier. (n.d). Verification Reports – Guide for Authors. https://www.elsevier.com/_data/promis_misc/VR_GuideForAuthors.pdf</footnote>

<footnote n="60">⁶⁰ Advancing Earth and Space Science. (n.d.). Data and Software for Authors https://www.agu.org/Publish-with-AGU/Publish/Author-Resources/Data-and-Software-for-Authors</footnote>

<footnote n="61">⁶¹ Image Processing On Line (IPOL). (n.d.). Image Processing On Line. https://reproducibilitynetwork.de/</footnote>

<footnote n="62">⁶² ReScience C. (n.d.). Ten Years Reproducibility Challenge. https://rescience.gi-thub.io/ten-years/</footnote>

<footnote n="63">⁶³ eLife. (2021). eLife and Stencila announce roadmap for bringing reproducible publishing to more authors. https://elifesciences.org/for-the-press/2b653a68/elifeland-stencila-announce-roadmap-for-bringing-reproducible-publishing-to-more-authors</footnote>

<footnote n="64">⁶⁴ Stencila. (n.d.). Executable document pipelines. https://stenci.la/</footnote>
que l'on puisse pour autant le ranger parmi
les injonctions politiques.⁶⁵⁶⁶

Au sein des organismes de financement de la
recherche, le sujet de la reproductibilité vient
s'inscrire actuellement dans des politiques et
des positions plus larges, et ce thème n'est
pas toujours explicitement mentionné. Ainsi,
les orientations portant sur d'autres aspects
de la recherche ouverte (p. ex., les données
ouvertes) peuvent y faire référence. En effet,
des contributeurs à des projets ont relevé que
les prescriptions de reproductibilité devraient
être intégrées dans d'autres choix voisins, car
la publication reproductible est un sujet cha-
peauté par les thèmes plus larges de la
science ouverte et des pratiques de recherche
ouvertes. D'autres orientations associées,
comme celles liées à l'intégrité de la re-
cherche, peuvent également mentionner la
reproductibilité aux côtés de la rigueur et de
la transparence.

> « De notre côté, nous avons des guides de « bonnes pratiques de la recherche », nous essayons donc d'y intégrer presque tout. Cela passe par l'accès ouvert, la gestion des données, tout ce que nous voulons que les gens pratiquent. Cela nous dispense d'une théorie de volets d'orientations différents, comme c'était le cas par le passé. » Un organisme de recherche

Nos interlocuteurs dans le secteur du finance-
ment de la recherche n'ont pas perçu la né-
cessité d'une action immédiate au niveau
macro-économique en ce qui a trait à la re-
productibilité de la recherche. Ils ont évoqué
que cela était dû en partie à la difficulté de
fixer des exigences envers des bénéficiaires de
subventions relevant d'une diversité de disci-
plines, mais beaucoup ont également reconnu

que l'objectif primordial est la science ou-
verte, la reproductibilité y étant l'une des di-
verses préoccupations. C'est ainsi qu'on ne
sait pas très bien qui doit financer les activités
de curation et de partage des données. Il
s'agit en l'espèce d'une condition nécessaire
(mais non suffisante) pour une publication re-
procompatible, mais sur laquelle les acteurs
de l'enseignement supérieur et de la re-
cherche doivent encore se positionner.<fnref n="67" />

Niveau macro : l'intérêt crois-
sant des pouvoirs publics

À ce jour, les acteurs politiques ne se sont
guère impliqués de manière significative dans
les débats autour de la reproductibilité de la
recherche. Toutefois, leur intérêt dans ce do-
maine prend de plus en plus d'importance
consécutivement à des engagements géné-
raux en faveur des pratiques de science ou-
verte.

C'est le cas, par exemple, du deuxième Plan
national pour la science ouverte élaboré par la
France qui élargit le champ des engagements
antérieurs du pays autour de la science ou-
verte et « s'inscrit résolument dans une ambi-
tion européenne » à cet égard. Le plan
comporte des allusions aux pratiques repro-
compatibles dans la publication, notamment
en ce qui concerne l'ouverture et la promo-
tion des codes sources, et reconnaît qu'il
s'agit là d'une obligation importante pour as-
surer la reproductibilité et permettre le par-
tage des connaissances.<fnref n="68" />

<footnote n="65">⁶⁵ Conseil néerlandais de la recherche (NWO). (n.d.). Replication Studies. www.nwo.nl/en/researchprogrammes/replication-studies</footnote>

<footnote n="66">⁶⁶ Conseil néerlandais de la recherche (NWO). (2020). Replication Studies third round: repetition of important research. https://www.nwo.nl/en/news/replication-studies-third-round-repetition-important-research</footnote>

<footnote n="67">⁶⁷ Digital Science, Hahnel, M., Borrelli, L. M., Hyndman, A., Baynes, G., Merce Crosas, Nosek, B., Shearer, K., Selm, M. V., Goodey, G., & Nature Research. (2020). The State of Open Data 2020. https://doi.org/10.6084/M9.FIGSHARE.13227875.V2</footnote>

<footnote n="68">68 Ouvrir la Science. (n.d.). Deuxième Plan national pour la science ouverte. https://www.ouvrirlascience.fr/deuxième-plan-national-pour-la-science-ouverte/</footnote>
## Programme d'études de réplication de NWO

Entre 2016 et 2019, l'agence de financement NWO a mené un programme pilote intitulé « Études de réplication », comprenant des volets « reproduction-réplication à l'aide de données existantes » et « réplication à partir de données nouvelles », le tout doté d'un budget total de 3 millions d'euros à distribuer par le biais de trois appels à propositions. Le programme s'est concentré pour commencer sur la répétition de travaux « piliers » (dits « cornerstone »), c'est-à-dire des recherches publiées qui ont eu un rejaillissement significatif sur la science, la politique ou le débat public. Lors de son dernier cycle, ce programme ne finançait plus que la répétition de travaux recherche (c'est-à-dire leur réplication), bien que les études portant sur la reproduction restaient éligibles. Ce programme est désormais en cours d'évaluation après achèvement de son dernier cycle.

Les objectifs stratégiques de NWO étaient les suivants : « acquérir une expérience qui permette de comprendre comment la recherche par réplication peut être intégrée efficacement dans les programmes de recherche » et « déboucher sur un éclairage et une réflexion sur les prescriptions que NWO applique à la recherche dans les domaines de la méthodologie et de la transparence ». Tout cela montre combien il importe d'établir des éléments probants et des impératifs auprès de la communauté scientifique et d'examiner attentivement comment ceux-ci peuvent être mis en œuvre dans le contexte des orientations prescrites par un financeur de la recherche.

Nos échanges avec NWO ont souligné que ce type de mécanisme de financement revêt son importance pour sensibiliser, en particulier à court et à moyen terme, et ce alors que les pratiques continuent d'évoluer dans différentes disciplines. Toutefois, il est à prévoir qu'un financement spécifique à la reproductibilité et la réplication devienne superflu à long terme, au fur et à mesure que ces activités se généraliseront et pourront recevoir un soutien par le biais des subventions attribuées aux projets de recherche.

Au Royaume-Uni, la feuille de route pour la recherche et le développement (UK Research and Development Roadmap) couvre les pratiques de publication reproductibles et adopte une position très similaire, prenant l'engagement de rendre la publication ouverte obligatoire et d'encourager le partage ouvert des données, « afin que la reproductibilité soit possible et que les connaissances soient partagées et diffusées de manière collaborative ». Il convient également de relever que la commission science et technologie du Parlement britannique (Science and Technology Committee) a récemment lancé une enquête sur la reproductibilité et l'intégrité de la recherche

afin d'examiner ces questions en profondeur et d'évaluer le rôle potentiel de l'agence UKRI (UK Research and Innovation).⁶⁹⁷⁰

Ces deux exemples font ressortir que les décideurs peuvent influer sur la façon dont l'entreprise de recherche développe des pratiques liées à la reproductibilité. Compte tenu de leur éloignement du travail scientifique au quotidien, les acteurs politiques se concentrent principalement sur la formulation d'attentes de haut niveau et le soutien de leur mise en œuvre via un financement stratégique aux organisations de recherche, aux

<footnote n="69">⁶⁹ Department for Business, Energy & Industrial Strategy. (2021). UK Research and Development Roadmap. https://www.gov.uk/government/publications/uk-research-and-development-roadmap/uk-research-and-development-roadmap</footnote>

<footnote n="70">⁷⁰ Parlement britannique. (n.d.). Reproducibility and research integrity. https://committees.parliament.uk/work/1433/reproducibility-and-research-integrity/</footnote>
programmes scientifiques et aux infrastruc-
tures numériques clés.

Contributions des niveaux mi-
cro, méso et macro dans le
cadre de l'élaboration des
orientations politiques

Sur le plan politique, le discours autour de la reproductibilité de la recherche, y compris au stade de la publication, en est actuellement à une phase d'élaboration. Le « cycle politique » est un outil qui peut servir à mieux comprendre les étapes nécessaires pour faire avancer le débat. Il peut se décomposer en deux volets principaux, l'un qui opère entre

disciplines et l'autre à l'intérieur de celles-ci
(voir la figure 3) :<fnref n="71" />

<figure><img src="image_20.png" /></figure>

le cycle interdisciplinaire se déroule aux niveaux méso et macro et va de la définition d'un problème à l'élaboration d'une politique visant à y remédier, puis à sa mise en œuvre, son application et son évaluation ;

<figure><img src="image_21.png" /></figure>

d'autre part, les échanges de vues au sein
des disciplines se déroulent au niveau mi-
cro, et comprennent la conceptualisation
de solutions politiques possibles, la col-
lecte des données, la vérification ou la
validation et l'expérimentation, jusqu'à
ce qu'une position politique appropriée
soit atteinte.

<figure><img src="image_22.png" /><figcaption>FIGURE 3. LE DISCOURS SUR LA REPRODUCTIBILITÉ DE LA RECHERCHE VU SOUS L'ANGLE DU CYCLE POLITIQUE.</figcaption></figure>

<footnote n="71">71 Janssen, M., & Helbig, N. (2018). Innovating and changing the policy-cycle: Policy-makers be prepared! Government Information Quarterly, 35(4), S99-S105.
https://doi.org/10.1016/j.giq.2015.11.009</footnote>
Nous pouvons affirmer que l'étape de la « dé-
finition de la problématique » dans le cycle
des politiques a été franchie dans tous les do-
maines, mais que très peu de disciplines ont
franchi le pas qui les mène à l'étape de l'« éla-
boration de politiques ». Notre propos ici fait
ressortir le rôle important que les us et cou-
tumes disciplinaires peuvent jouer dans l'en-
couragement de pratiques de publication
reprocompatibles, et le cycle politique montre
que les acteurs au niveau micro peuvent exer-
cer une influence dans l'élaboration des lignes
politiques. Aujourd'hui, pareille chose se pro-
duit avec lenteur et, souvent, en silos, ce qui
freine les avancées aux niveaux méso et ma-
cro (avec quelques exceptions notables,
comme nous l'avons déjà évoqué). En consé-
quence, le discours sur la reproductibilité
reste quelque peu enlisé à l'intérieur de ce
cycle politique.

« Des efforts sont déployés, comme dans
le cas du Réseau britannique de repro-
ductibilité, pour rassembler plusieurs ini-
tiatives afin d'harmoniser ou de faire
converger des idées. Mais je pense que,
pour le moment, [le paysage] est un peu
flou. » Une société savante

Pour plus de clarté, il est intéressant de procé-
der à une comparaison entre les politiques en
matière d'accès libre et celles relatives aux
données ouvertes (voir la figure 4). En ce qui
concerne le libre accès, toutes les étapes du
cycle des politiques ont été franchies à ce jour
et, sans doute, de multiples cycles ou itéra-
tions d'orientations en la matière ont été ac-
complis. On peut observer une grande part
d'expérimentations en matière de politiques
d'accès ouvert et de modèles économiques,
en partie parce que des financements impor-
tants y sont consacrés. En revanche, la discus-
sion va moins loin pour ce qui est des
données ouvertes et FAIR. Certes, des orienta-
tions ont été préconisées dans certaines disci-
plines et par certains financeurs, mais elles
sont rarement appliquées. Bien que nous ve-
nions de brosser un tableau simplifié à l'excès
et que nous n'avons pas tenu compte de diffé-
rences entre pays, disciplines et autres, il n'est
pas surprenant que le discours sur la repro-
ductibilité soit moins élaboré que ces élé-
ments de comparaison - notamment parce
qu'il est porté par une culture de la science
ouverte qui n'a pas encore atteint sa pleine
maturité.
<figure><img src="image_23.png" /><figcaption>FIGURE 4. COMPARAISON ENTRE LES SITUATIONS DES POLITIQUES DE LA SCIENCE OUVERTE.</figcaption></figure>
## 4. Encourager et faciliter les pratiques de publication repro-compatibles

Les efforts de reproductibilité ne sont actuellement pas encouragés à l'intérieur du processus de recherche, et les pratiques de publication favorable à la reproductibilité sont généralement perçues comme des activités additionnelles sans contrepartie. Pour réduire la pression d'attentes toujours plus grandes envers les chercheurs, les organismes de recherche peuvent créer des postes pour soutenir la reproductibilité et faciliter la formation et le développement de compétences dans ce domaine. Incitations à la publication reprocompatible

Dans un monde idéal, « le travail de reproductibilité serait intégré au processus de recherche, de sorte que l'effort qu'il nécessite ne se distingue pas du travail de recherche en lui-même »<fnref n="72" />. Ce n'est pas le cas dans la situation actuelle, et les pratiques de recherche qui favorisent la publication reprocompatible sont perçues par les chercheurs comme un travail qui vient se surajouter aux tâches qu'implique classiquement un projet. Fort de ce que notre analyse fait ressortir jusqu'ici, il est clair que la reproductibilité ne peut pas être cet espèce d'« équipement en option » qui vient s'ajouter au moment de la publication, car elle recouvre un ensemble de pratiques qui imprègnent tout le processus de recherche : pour que la reproductibilité prenne une place plus importante, un changement culturel important est nécessaire.

À long terme, le meilleur bénéfice serait de passer d'une appréciation purement symbolique des efforts de reproductibilité (p. ex., promotions, augmentations de salaire, distinctions, citations) à une reconnaissance plus large pour que les travaux scientifiques soient reproductibles par défaut. Toutefois, nos interlocuteurs ont indiqué que les incitations actuelles à la publier de manière reproductible sont limitées et peu efficaces, sauf à se présenter sous la forme de consignes imposées par la revue que l'on choisit (ce qui constitue

cependant un moyen de pression extrinsèque plutôt qu'une motivation intrinsèque).

> « Et une fois que [la reproductibilité] deviendra possible, une fois qu'elle deviendra facile et une fois qu'elle deviendra normative, alors il n'y aura plus aucune raison de ne pas la pratiquer. Et cela devrait certainement, en principe, améliorer la qualité de nos résultats de recherche, améliorer l'efficacité avec laquelle nous générons des connaissances qui peuvent bénéficier à la société. » Un chercheur

Il est donc essentiel d'identifier de nouveaux moyens d'encourager et de récompenser les comportements propices à la reproductibilité, et deux suggestions principales ont été avancées par nos interlocuteurs :

<figure><img src="image_24.png" /></figure>

* rendre les étapes de travail et les contrôles associés à la reproductibilité aussi faciles que possible pour les chercheurs, en réduisant au minimum les obstacles à l'entrée, afin de garantir que toute nouvelle attente soit satisfaite avec un minimum d'efforts supplémentaires ; et

<figure><img src="image_25.png" /></figure>

* redonner la priorité aux pratiques de science ouverte dans les commissions de recrutement et d'avancement, comme les attributions de subventions (en tenant compte, mais sans s'y limiter, de la

<footnote n="72">⁷² Association for Computing Machinery. (n.d.). Reproducibility PRINCIPLES: Taking the pulse. https://reproducibility.acm.org/2021/04/08/reproducibility-principles-taking-the-pulse/</footnote>
reproductibilité), afin de les intégrer par-
rallèlement aux indicateurs traditionnels
ou autres.

> « Je crois que cela relève des pratiques d'embauche et de financement, et un certain nombre d'activités sont en cours pour essayer de faire reconnaître les données, le code informatique et d'autres résultats dans le système d'évaluation de la recherche. » Un éditeur

Plusieurs acteurs du paysage de la recherche ouverte travaillent déjà dans ces directions, comme :

<figure><img src="image_26.png" /></figure>

la Déclaration de San Francisco sur l'éva-
luation de la recherche (DORA)<fnref n="73" /> et le
Manifeste de Leyde sur les indicateurs de
la recherche<fnref n="74" /> ont contribué à promou-
voir des pratiques plus équilibrées dans
l'évaluation de la recherche (p. ex., les or-
ganismes de financement britanniques
Wellcome et UKRI<fnref n="75" />,<fnref n="76" /> font une promo-
tion active de DORA et celle-ci a été si-
gnée par d'autres agences de
financement comme la DFG en Alle-
magne) ;<fnref n="77" />

<figure><img src="image_27.png" /></figure>

le Conseil européen de la recherche (ERC), qui a récemment interdit toute mention du facteur d'impact des revues dans ses appels à projets ;<fnref n="78" /> et

<figure><img src="image_28.png" /></figure>

L'université d'Utrecht, qui a décidé d'ex-
clure le facteur d'impact dans les déci-
sions de recrutement et de promotion. <fnref n="79" />
Quoi qu'il en soit, à l'heure où nous écrivons
ces lignes, le paradigme « publier ou périr »
reste très vivace, ce qui influence grandement

les choix des chercheurs quand ils doivent dé-
finir leurs priorités dans leurs pratiques et
phases de travail au quotidien.

En outre, le processus de recherche et l'en-
semble des attentes des chercheurs devien-
nent de plus en plus complexes dans de
nombreuses disciplines, ce qui laisse peu de
latitude pour mettre toute la panoplie d'acti-
vités requises pour une recherche reproduc-
tible : pour tenir compte des nouvelles
pratiques, il faudra gérer avec discernement
les pressions subies par les chercheurs, p. ex.
en ralentissant le rythme dans les projets de
recherche ou en leur apportant un soutien.

> « Pour les scientifiques, c'est vraiment une grande frustration. On leur demande de faire dix mille tâches différentes. Bien qu'on explique aux chercheurs comment faire ces tâches, on ne pense jamais qu'ils ont déjà trop de travail sur les bras. Et cela ne tient pas debout ». Un éditeur

Alléger les contraintes de temps
pour que les pratiques de publi-
cation reprocompatibles se gé-
néralisent

Bien que notre définition de la reproductibilité soit relativement simple, les compétences requises pour réexécuter le code de quelqu'un d'autre ou évaluer la qualité d'un jeu de données sont loin d'être répandues. P. ex., un chercheur (à titre personnel ou en tant que pair examinateur) peut être un expert de premier plan dans son domaine, mais ne pas

<footnote n="73">73 Déclaration sur l'évaluation de la recherche (DORA). (s.d.). Signer DORA. https://sfdora.org/</footnote>

<footnote n="74">⁷⁴ Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics : Le manifeste de Leyde pour les métriques de la recherche. Nature, 520(7548), 429-431. https://doi.org/10.1038/520429a</footnote>

<footnote n="75">⁷⁵ Wellcome. (n.d.). Guide pour les organismes de recherche sur la façon de mettre en œuvre des approches responsables et équitables pour l'évaluation de la recherche. https://wellcome.org/grant-funding/guidance/research-organisations-how-implement-responsible-and-fair-approaches-research</footnote>

<footnote n="76">⁷⁶ UKRI. (n.d.). Research integrity. https://www.ukri.org/our-work/supporting-healthy-research-and-innovation-culture/research-integrity/</footnote>

<footnote n="77">77 DORA (Twitter). (2021). La Fondation allemande pour la recherche ( @dfg_public ) a signé DORA. https://twitter.com/DORAassessment/status/1402273251502571531</footnote>

<footnote n="78">78 Matthews, D. (2021). Le Conseil européen de la recherche interdit le facteur d'impact des revues dans les appels d'offres. Times Higher Education. https://www.timeshighereducation.com/news/european-research-council-bans-journal-impact-factor-bids</footnote>

<footnote n="79">79 Woolston, C. (2021). Facteur d'impact abandonné par une université néerlandaise dans les décisions d'embauche et de promotion. Nature, 595(7867), 462-462. https://doi.org/10.1038/d41586-021-01759-5</footnote>
avoir les compétences nécessaires pour effec-
tuer un contrôle de reproductibilité.

« Nous devons nous assurer que les gens aient la possibilité d'étudier un manuscrit reproductible et d'en tirer quelque chose. Je doute que la plupart des gens soient polyvalents au point que vous puissiez leur mettre n'importe quelle analyse sous les yeux et qu'ils voient de quoi il en re-tourne. Il se peut même qu'ils ne codent pas dans ce langage ». Un chercheur

Le soutien que les organismes de recherche apportent à leurs chercheurs peut contribuer à les soulager de certaines contraintes de temps et les aider à compléter leurs compétences là où ils en manquent. Les organismes de recherche sont bien placés pour aider leurs agents grâce à de nouveaux personnels d'appui comme des intendants et curateurs de données, des ingénieurs en logiciels de recherche ou les bibliothécaires de spécialité disciplinaire, car ceux-ci peuvent les conseiller et offrir un soutien technique tout au long de l'avancement des projets de recherche,<fnref n="80" />,<fnref n="81" />,<fnref n="82" /> et nous observons que les situations d'intervention de cet appui tendent à varier selon l'institution.

Nos entretiens ont fait ressortir que les ac-
tions visant à soutenir les pratiques de publi-
cation reprocompatibles sont souvent
difficiles à financer (voir section 6), car elles
nécessitent un engagement stratégique en fa-
veur des pratiques de recherche ouverte et
que l'importance de la curation des données
et d'autres pratiques soient plus largement
appréciées. Les choses sont toutefois en train

de changer dans plusieurs organismes de re-
cherche,<fnref n="83" />,<fnref n="84" />,<fnref n="85" /> même si le processus de chan-
gement culturel dans cette direction a été
lent.

Développer de nouvelles voies
de soutien et de formation

Un rapport de la Research Data Alliance<fnref n="86" /> se
penche davantage sur le rôle potentiel des or-
ganismes de recherche et déclare qu’une aug-
mentation des formations sur la
reproductibilité serait souhaitable. Dans le
même temps, nos entretiens ont mis en évi-
dence les dangers d’une approche monoli-
thique et trop standardisée pour soutenir les
pratiques de publication reprocompatibles, ce
qui montre l’importance de reconnaître la di-
versité quand on développe de nouveaux mé-
canismes dans ce domaine.

Une série d'opérations de soutien et de for-
mation, tant au sein qu'en dehors des orga-
nismes de recherche, fleurissent actuellement
dans le monde entier, et nous en présentons
quelques exemples dans le tableau 3. Toute-
fois, il convient de noter que ces exemples
sont l'exception plutôt que la règle, et plu-
sieurs contributeurs ont souligné qu'un sou-
tien plus structuré aux pratiques
reproductibles de publication serait le bien-
venu

<footnote n="80">80 Kurapati, S. (2019). Devenir un gardien des données. LSE Impact Blog.
https://blogs.lse.ac.uk/impactofsocialsciences/2019/04/30/becoming-a-data-ste-
ward/</footnote>

<footnote n="81">81 Teperek, M., & Plomp, E. (2019). Le rôle et la valeur des intendants de données dans les universités : une étude de cas de TU Delft sur l'intendance des données, https://doi.org/10.5281/ZENODO.2684278.</footnote>

<footnote n="82">82 Collège impérial de Londres. (s.d.). Subject Support. https://www.impe-
rial.ac.uk/admin-services/library/subject-support/</footnote>

<footnote n="83">83 Plomp, E., Andrews, H., Love, J., den Heijer, K., Dintzner, N., Ilamparuthi, S., Wang, Y., & Turkyilmaz-van der Velden, Y. (2021). Communicating Open Science at</footnote>

<footnote>TU Delft. Open Working. https://openworking.wordpress.com/2021/03/31/data-ste-
wardship-at-tu-delft-2020-report/</footnote>

<footnote n="84">84 Rice, R. (2021). Bienvenue aux Research Data Stewards : un nouveau rôle. L'Uni-
versité d'Édimbourg. https://www.ed.ac.uk/information-services/about/news/wel-
come-to-research-data-stewards-a-new-role</footnote>

<footnote n="85">85 Université de Maastricht. (n.d.). Services de gérance des données. https://li-
brary.maastrichtuniversity.nl/research-support/data-stewardship/</footnote>

<footnote n="86">86 Peer, L., Arguillas, F., Honeyman, T., Miljković, N., Gehlen, K. & CURE-FAIR WG Subgroup 3. (2021). Les défis de la conservation des résultats de recherche reproducibles et FAIR. Research Data Alliance. https://doi.org/10.15497/RDA00063</footnote>
« *En médecine, p. ex., ils sont assez investis dans la promotion de la science ouverte, de la reproductibilité et de la réplicabilité, mais ils ont tendance à le faire de manière assez monolithique, en partant du principe qu'ils n'ont en leur sein qu'une et une seule culture épistémique.* »
Un chercheur

Nos entretiens ont également porté sur le rôle potentiel des champions de la reproductibilité issus de la communauté universitaire, qui peuvent assurer la sensibilisation, la formation et le soutien au changement culturel dans des domaines spécifiques relevant de leur expertise disciplinaire.

## Étude de cas : l'approche de l'Université de New York (NYU) pour soutenir les chercheurs en matière de reproductibilité de la recherche

La NYU offre un large éventail de services de gestion des données, comme de nombreuses universités dans le monde. Mais ce qui rend son approche originale, c'est la nomination d'un bibliothécaire spécialisé dans la gestion des données de recherche (DOR) et la reproductibilité, un poste présent dans peu d'autres universités (voire aucune).

Le poste de bibliothécaire DOR et reproductibilité de cette université est actuellement occupé par Vicky Rampin - la seule personne à occuper ce poste à l'université de New York, et la première bibliothécaire au monde à avoir la reproductibilité explicitement formulée dans l'intitulé et la description de son poste. Dans ses fonctions uniques dans leur genre, plusieurs domaines de responsabilité lui incombent : le conseil (p. ex., des interventions individuelles ou de groupe pour résoudre des problèmes spécifiques), la formation (p. ex., des ateliers, des sessions intégrées ou à la demande dans des cours, pour des départements et des programmes spécifiques), la sensibilisation (p. ex., lors de manifestations, sur des médias sociaux, des actions de proximité auprès d'utilisateurs), la création d'infrastructures (p. ex., soutien à l'université dans le développement d'une offre de services adaptée) et la recherche (p. ex., étude directe sur des sujets tels que la reproductibilité, la préservation des logiciels, les flux de travail de recherche). La bibliothécaire chargée de la gestion des données de recherche et de la reproductibilité travaille en étroite collaboration avec le bibliothécaire chargé de la gestion des données de recherche, en partant du principe qu'il existe un chevauchement important entre ces deux domaines.

Les conseils en matière de gestion des données fournis par l'université de New York couvrent également des solutions logicielles spécifiques qui permettent des pratiques reproductibles de publication, telles que l'Open Science Framework (https://bit.ly/3oY8DOy), les carnets Jupyter (https://bit.ly/3FE47uS), GitHub, GitLab (https://bit.ly/3ApOeEt) et ReproZip (https://bit.ly/2Z8hh2P) (voir la section 5 pour plus d'informations à ce sujet). Ce type de conseils n'est actuellement pas courant dans les organismes de recherche et manifeste un engagement fort envers la reproductibilité de la recherche vis-à-vis de la communauté universitaire locale.
Plus largement, la formation des étudiants aux pratiques de publication reprocompatibles pourrait également être améliorée dans les universités, notamment dans le cadre de modules existants. Dans certaines disciplines, les compétences en matière de reproductibilité sont déjà enseignées très tôt : p. ex., en physique des hautes énergies et dans certaines branches de l'économie et des sciences de la vie, il n'est pas rare de travailler avec des jeux de données et du code réels au niveau L/Mastère. Toutefois, la reproductibilité n'est pas un enseignement que l'on retrouve classiquement dans les cursus destinés aux étudiants.

« À ma connaissance, nous avons eu un cours obligatoire qui portait sur l'intégrité de la recherche, y compris le plagiat et la tricherie... Nous n'avons des cours obligatoires que lorsque c'est lié à des recours judiciaires... Pour cette problématique plus normative, cela ne se produira pas. » Un chercheur

<table><caption>TABLEAU 3 : EXEMPLES D'OPÉRATIONS DE SOUTIEN ET DE FORMATION</caption><thead><tr><td>Objet/intitulé/dénomination de la formation</td><td>URL</td><td>Typologie</td></tr></thead><tbody><tr><td>Bonne pratiques et écriture de code reproductible (Best Practices for Writing Reproducible Code)</td><td>https://bit.ly/3aZEM01</td><td>Cours et ateliers</td></tr><tr><td>Centre de compétences numériques (Digital Competence Centre)</td><td>https://bit.ly/3Ab3eWp</td><td>Offre de formation institutionnelle</td></tr><tr><td>Gain de compétences en science ouverte et reproductibilité de la recherche (Increasing Openness and Reproducibility in Research)</td><td>https://bit.ly/3lfX9Ux</td><td>Offre de formation institutionnelle</td></tr><tr><td>Entraînement à la science ouverte et aux pratiques scientifiques reproductibles (Openness and Reproducibility Research Practices Training)</td><td>https://bit.ly/3C64JqW</td><td>Offre de formation commerciale</td></tr><tr><td>La reproductibilité pour tous (Reproducibility for Everyone)<fnref n="88" /></td><td>https://bit.ly/3G6ofG6</td><td>Guides/ateliers animés par des pairs, une communauté</td></tr><tr><td>ReproducibiliTea</td><td>https://bit.ly/2XwCYZo</td><td>Sessions ou séquences communautaires</td></tr><tr><td>Reproducibility Hub</td><td>https://bit.ly/3iB1YpL</td><td>Offre de formation institutionnelle</td></tr><tr><td>ReproHacks</td><td>https://bit.ly/3acWjBK</td><td>Sessions ou séquences communautaires</td></tr><tr><td>Monter un plan de rigueur scientifique et de reproductibilité (Rigor and Reproducibility Planning)</td><td>https://bit.ly/2Ynbllu</td><td>Offre de formation institutionnelle</td></tr><tr><td>Entraînement à la vérification de la reproductibilité (Training For Reproducibility Verification)</td><td>https://bit.ly/3iCU13d</td><td>Guides/ateliers animés par des pairs, une communauté</td></tr><tr><td>Manuel Turing Way (Turing Way Handbook)</td><td>https://bit.ly/3iA7fhc</td><td>Guides/ateliers animés par des pairs, une communauté</td></tr></tbody></table>

<footnote n="87">87 Silver, A. (2017). Collaborative software development made easy. Nature. 550, 143-144. https://doi.org/10.1038/550143a</footnote>

<footnote n="88">88 Auer, S., Haeltermann, N. A., Weissberger, T. L., Erlich, J. C., Susilaradeya, D., Julkowska, M., Gazda, M. A., Schwessinger, B., Jadavji, N. M., Abitua, A., Niraulu, A., Shah, A., Clyburne-Sherinb, A., Guiquel, B., Alicea, B., LaManna, C., Ganguly, D., Perkins, E. & Jambor, H. (2021). A community-led initiative for training in reproducible research. eLife. https://doi.org/10.7554/elife.64719</footnote>
# 5. Innovation technologique

On dispose d'un ensemble de solutions techniques établies et innovantes permettant de mettre en œuvre des pratiques reproductibles de publication dans le paysage de la recherche, y compris auprès de fournisseurs, non-commercialaux comme commerciaux. De nombreux acteurs connaissent les outils et les services existants, mais leur utilisation varie selon la discipline et dépend souvent de l'équilibre entre la part de travail qualitatif et quantitatif dans la recherche de chacun.

## Infrastructures numériques

Dans cette section, nous examinons une série de solutions technologiques disponibles dans le paysage actuel de la recherche qui peuvent avoir un impact sur les pratiques reproductibles de publication. Nos entretiens ont mis en évidence une opinion partagée selon laquelle un grand nombre des outils nécessaires pour travailler et, en particulier, publier de manière reproductible, sont déjà disponibles. Les personnes interrogées n'ont pas le sentiment que quelque chose en particulier manque actuellement dans le paysage de la reproductibilité, mais elles constatent que des niveaux variables d'expertise technique parmi les utilisateurs et un manque de connectivité (entre les outils eux-mêmes, mais aussi entre les outils et les flux de travail de recherche) entravent les efforts.

> « On a besoin de beaucoup d'innovation dans le paysage des infrastructures. Il ne s'agit pas d'inventer quelque chose de nouveau, il s'agit d'améliorer ce qui existe déjà... et de baisser la barre d'entrée pour des personnes à différents niveaux de connaissances... »
> 
> *Un fournisseur d'infrastructure*

Compte tenu du nombre de (sous-)disciplines différentes, le consensus est qu'il n'est pas souhaitable de limiter la gamme d'outils utilisés par les chercheurs. Cela signifie également qu'il faut accepter que les outils commerciaux

aient un rôle à jouer au service de la communauté des chercheurs. Toutefois, nos entretiens ont indiqué que l'équilibre entre les infrastructures commerciales et les infrastructures financées par des fonds publics devrait être surveillé conformément aux principes de l'infrastructure universitaire ouverte POSI<fnref n="89" />, afin d'éviter la captivité commerciale (le « vendor lock-in ») et d'autres obstacles tels que l'accès réduit à des outils coûteux dans les pays où les budgets de recherche sont limités.

> « Nous voulons empêcher la captivité commerciale et une façon d'y parvenir est de construire des standards ouverts afin qu'il y ait toujours concurrence, qu'il y ait toujours d'autres acteurs qui puissent venir sur ce marché et élaborer un meilleur service avec ce standard minimal. »
> 
> *Un chercheur*

La connaissance et l'adoption des outils et services axés sur la reproductibilité varient selon la discipline, et la maturité des pratiques au sein d'une discipline est influencée par (i) l'équilibre entre la recherche qualitative et quantitative, (ii) la mesure dans laquelle les approches informatiques sont utilisées, et (iii) la mesure dans laquelle une discipline travaille avec des « données » numériques ou physiques. En particulier, les chercheurs qui écrivent du code dans le cadre de leur travail ont tendance à reconnaître plus rapidement les objets de recherche qui pourraient rendre

<footnote n="89">⁸⁹ POSI (2020). The Principles of Open Scholarly Infrastructure. https://openscholarlyinfrastructure.org/</footnote>
leurs résultats publiés reproductibles, car ils font déjà partie de leurs pratiques quotidiennes (bien que, dans de nombreux cas, leur curation n'est pas suffisante pour permettre la reproductibilité) : il n'est donc pas surprenant que de nombreux outils et services que nous avons identifiés dans cette étude concernent la reproductibilité *informatique*.<fnref n="90" /> Nos conversations ont souvent porté

sur l'utilisation d'outils tels que Docker, Jupyter Notebooks, Binder et, plus largement, sur les environnements reproductibles (voir le tableau 4 pour plus d'informations sur ces outils). Au-delà de la reproductibilité informatique, nous notons également l'importance croissante des agents d'homologation par badges ou certificats, comme *Cascad* (particulièrement axé sur l'économie), qui pourraient jouer un rôle croissant à l'avenir.

<table><caption>TABLEAU 4. EXEMPLES D'OUTILLAGES EN APPUI À LA RECHERCHE.</caption><thead><tr><td>Outil ou service</td><td>URL</td><td>Fonctionnalité principale</td></tr></thead><tbody><tr><td>CASCaD</td><td>https://bit.ly/3nwsAtR</td><td>Vérification de la reproductibilité</td></tr><tr><td>CODECHECK<sup>91</sup></td><td>https://dockr.ly/3aW723R</td><td>Exécution indépendante des calculs sur les-<br>quels reposent des articles de recherche</td></tr><tr><td>Docker</td><td>https://bit.ly/3oGCWcz</td><td>Conteneurisation de logiciels</td></tr><tr><td>eLife ERA</td><td>https://bit.ly/3pkCqRW</td><td>Articles de recherche exécutables</td></tr><tr><td>ISA Framework</td><td>https://bit.ly/2Z8Ay4b</td><td>Totalité d'un processus de recherche<br>(sciences de la vie)</td></tr><tr><td>Jupyter Notebooks</td><td>https://bit.ly/2Yw4SoX</td><td>Partage du code et documentation</td></tr><tr><td>Binder</td><td>https://bit.ly/3vAU3hA</td><td>Environnements interactifs et reproductibles</td></tr><tr><td>Code Ocean</td><td>https://bit.ly/3GiRyFF</td><td>Plateforme de recherche informatique</td></tr><tr><td>Gigantum</td><td>https://bit.ly/3G7Jlse</td><td>Plateforme de recherche informatique</td></tr><tr><td>LabArchives</td><td>https://bit.ly/3jolLsW</td><td>Cahier de laboratoire électronique</td></tr><tr><td>LabFolder</td><td>https://bit.ly/3C6nESu</td><td>Cahier de laboratoire électronique</td></tr><tr><td>Octopus<br>(en développement)</td><td>https://bit.ly/3ixJypO</td><td>Totalité d'un processus de recherche (partage<br>et documentation des objets de recherche au<br>fur et à mesure de l'évolution des travaux)</td></tr><tr><td>Observable<sup>92</sup></td><td>https://bit.ly/3piFrSO</td><td>Plateforme de recherche informatique</td></tr><tr><td>ReproZip</td><td>https://bit.ly/3m2Ftfs</td><td>Logiciel de « colisage/empaquetage » pour ar-<br>chiver des données scientifiques reproduc-<br>tibles associées dans un « compendium »<br>(corpus des données d'une même recherche).</td></tr><tr><td>Whole Tale</td><td>https://bit.ly/2Z7J6rF<br>https://bit.ly/3BdU8Jj</td><td>Logiciel de « colisage/empaquetage » pour ar-<br>chiver des données scientifiques reproduc-<br>tibles associées dans un « compendium »<br>(corpus des données d'une même recherche)</td></tr><tr><td>R Markdown et R Notebooks</td><td>https://bit.ly/2YqDojW</td><td>Partage du code et documentation</td></tr><tr><td>R-Squared</td><td>https://bit.ly/3DWuf24</td><td>Vérification de la reproductibilité</td></tr><tr><td>Renku (voir aussi l'étude de<br>cas page 46)</td><td>https://bit.ly/3m3lnS8</td><td>Processus de recherche complet (science des<br>données collaborative)</td></tr><tr><td>Stencila</td><td>https://bit.ly/3nwsAtR</td><td>Articles de recherche exécutables et pipelines<br>de documents exécutables</td></tr></tbody></table>

<footnote n="90">⁹⁰ Obels, P., Lakens, D., Coles, N. A., Gottfried, J., & Green, S. A. (2020). Analysis of Open Data and Computational Reproducibility in Registered Reports in Psychology. Advances in Methods and Practices in Psychological Science, 3(2), 229-237. https://doi.org/10.1177/2515245920918872</footnote>

<footnote n="91">⁹¹ Nüst, D. & Eglen S, J. (2021). CODECHECK : an Open Science initiative for the independent execution of computations underlying research articles during peer review</footnote>

<footnote>to improve reproducibility [version 2 ; peer review : 2 approved]. F1000Research, 10(253). https://doi.org/10.12688/f1000research.51738.2</footnote>

<footnote n="92">⁹² Perkel, J. M. (2021). Reactive, reproducible, collaborative: computational notebooks evolve, 593(7857), 156-157. https://doi.org/10.1038/d41586-021-01174-w</footnote>
Le champ d'observation du tableau 4 est limité et ne couvre pas les entrepôts en ligne (p. ex. Zenodo (https://bit.ly/3nfdLLR), figshare (https://bit.ly/30HxRqt), OSF (https://bit.ly/3C4IFg7) (voir aussi l'étude de cas page 46), re3data, Dryad (https://bit.ly/3vzJX0s), le portail Open Data du CERN) (https://bit.ly/2XwkF6A)), les services d'hébergement d'entrepôts de code source (p. ex. Git Hub (https://bit.ly/3DYDn6z), Bitbucket (https://bit.ly/3jpGFYJ)), d'autres logiciels permettant de mettre en œuvre des pipelines analytiques reproductibles (p. ex. Travis CI (https://bit.ly/3AWSzzf)) et les infrastructures générales globales sur lesquelles reposent de nombreux outils et services en ligne (p. ex. Amazon Web Services (https://goAWS/3DYDzmj), Microsoft Azure (https://bit.ly/3vx79fy), Google Cloud (https://bit.ly/3pp2JGI)) : ces éléments sont importants pour faciliter les pratiques de publication compatibles avec la reproductibilité, mais leurs objectifs et leurs motivations sont différents sur le plan stratégique. C'est particulièrement le cas des entrepôts parce qu'ils peuvent servir dans un grand nombre de cas d'usage où les exigences de partage des données pour permettre pareilles publications sont simples - p. ex., celui où il peut suffire de mettre en commun un tableau ou un ensemble de fichiers multimédias (p. ex., des images, des documents audio, des vidéos), et le principal intérêt est de veiller à ce qu'ils soient hébergés sur une plateforme ayant une stratégie de curation numérique.

> « Parce que j'ai beaucoup utilisé les ressources librement disponibles en ligne, je veux aussi promouvoir autant que possible la recherche ouverte dans mon propre travail, car je vois que les avantages sont énormes. » Un chercheur

Nous reconnaissons que les entrepôts physiques et numériques ont un rôle à jouer pour assurer la reproductibilité de la recherche. Cependant, nous n'abordons pas séparément les entrepôts physiques dans notre analyse : en effet, les contacts que nous avons eu avec les acteurs et notre analyse documentaire n'ont pas permis d'identifier la publication de résultats de recherche reproductibles comme une priorité généralisée dans les disciplines qui reposent sur des objets de recherche non numériques.

## Le déficit d'innovation : la connectivité des services

Bien qu'il existe un large éventail d'outils et de services permettant de mettre en œuvre la reproductibilité dans les pratiques de publication, nombre de commentaires de la part de nos contributeurs ont fait ressortir le problème de la connectivité et de l'interopérabilité des services. En bref, il s'agit du fait que les chercheurs travaillent à l'aide d'un large éventail de solutions technologiques et de logiciels, mais que ceux-ci ne se « parlent » guère entre eux.

C'est dans ce domaine que l'innovation est la plus attendue et, dans certains cas, les fournisseurs d'infrastructures viennent à la rescousse en proposant des moyens de connecter les objets de recherche tout au long du processus de recherche ou a posteriori. Dans un scénario simple (et très courant) où les problèmes de connectivité découlent de la nécessité de rassembler des résultats provenant de différentes sources, des solutions comme OSF Projects<fnref n="93" /> ou Zenodo Communities<fnref n="94" /> peuvent apporter quelque chose. La seconde solution mentionnée ci-dessus consiste essentiellement à enregistrer toutes les informations qui concernent un projet sur une seule page.

<footnote n="93">93 Bowman, S. (2020). Create a Project (OSF Projects). https://help.osf.io/hc/en-us/articles/360019737594-Create-a-Project</footnote>

<footnote n="94">94 Zenodo. (s.d.). Communities. https://zenodo.org/communities/</footnote>
> « C'est un chaos absolu, ces technologies. Une désorganisation désastreuse, une décentralisation catastrophique et sans mise en forme correcte... La seule chose qui m'intéresse, c'est de pouvoir trouver les choses dont j'ai besoin rapidement, en un seul endroit, sans devoir sauter d'un truc à l'autre ou à m'inscrire sur trente-six sites différents. Donc ça, c'est un énorme problème. » Un éditeur

Dans les disciplines à forte intensité de calcul, il est important non seulement de partager les

données et le code, mais aussi de « préserver la filiation »<fnref n="95" /> de ses travaux entre eux. Cela inclut le contrôle des versions, les environnements de calcul et, potentiellement, les différents langages de programmation dans le contexte d'une même étude. Partager toutes ces informations pour qu'il soit possible d'opérer des contrôles de reproductibilité est plus compliqué et nécessite des approches plus spécifiques, appuyées par l'utilisation d'outils nouveaux comme Renku.

## Étude de cas : approches visant à améliorer la connectivité des objets numériques

Si certaines des infrastructures techniques décrites dans cette section peuvent être considérées comme des outils autonomes, d'autres s'attachent à permettre et à améliorer la connectivité entre les objets numériques et les solutions techniques. L'une des principales caractéristiques de ces solutions est l'intégration avec des services et des outils externes tels que les services d'hébergement d'endربôts de données et de codes sources, les carnets Jupyter, protocols.io, docker et les gestionnaires de références tels que Zotero et Mendeley. Cela leur permet (i) de minimiser les complications pour les collaborateurs ou les réutilisateurs potentiels ; et (ii) de renforcer la confiance dans le processus de recherche en permettant la transparence.

### Exemple 1 : Open Science Framework

L'Open Science Framework (OSF) réalise ce qui précède au moyen de projets. Ceux-ci permettent aux utilisateurs de rassembler des objets de recherche provenant de différentes sources (ou de les télécharger directement sur OSF) et comprennent différentes sections, p. ex. un Wiki, un journal des activités récentes, des enregistrements et des analyses. Par défaut, les projets sur OSF utilisent des URL pérennes, mais la plateforme propose également la génération d'identifiants d'objets numériques (DOI). Un exemple de projet créé par l'équipe d'OSF peut être consulté ici.

### Exemple 2 : Renku

Renku est centré sur la reproductibilité informatique et est une plateforme open source auto-hébergée reliant un dépôt git en ligne à un environnement d'enregistrement et d'exécution de flux de travail et de carnets interactifs (Jupyterhub) ; il améliore la connectivité entre les objets numériques en se concentrant sur les étapes informatiques du processus scientifique. La plateforme cherche à conserver, enregistrer et utiliser la filiation des résultats générés par un projet et crée un graphe de connaissances sur la base duquel des étapes individuelles ou des pipelines entiers peuvent être répétés, recherchés et réutilisés.

OSF et Renku sont tous deux des logiciels en open source et misent fortement sur la collaboration et le partage et l'accessibilité des travaux » Il est important de noter que ces solutions permettent la création de projets privés ou à accès contrôlé (ou même de sous-ensembles de projets, dans le cas d'OSF), ce qui signifie qu'elles sont susceptibles de convenir à l'analyse et au traitement d'informations sensibles ou autrement confidentielles.

Enfin, les questions de connectivité sont également abordées par les compendiums de recherche, qui aident les chercheurs en informatique et fournissent « un moyen standard et facilement reconnaissable d'organiser

les matériaux numériques d'un projet pour permettre à d'autres d'inspecter, de reproduire et d'étendre la recherche ».<fnref n="96" /> En substance, les compendiums de recherche sont des dossiers structurés comprenant tous les

<footnote n="95">⁹⁵ RENKU. (n.d.). Collaborative Data Science. https://renkulab.io/</footnote>

<footnote n="96">⁹⁶ Nüst, D, Boettiger, C, Marwick, B. (2018). How to Read a Research Compendium. arXiv. https://arxiv.org/pdf/1806.09525.pdf</footnote>
matériaux, le code et la documentation nécessaires pour reproduire et réutiliser le travail de quelqu'un d'autre. On peut en trouver des exemples sur Zenodo<fnref n="97" /> ou GitHub.<fnref n="98" />

## Évaluer et comparer les solutions techniques

Étant donné que les pratiques de publication à visée reproductible dépendent des représentations disciplinaires, il est difficile de développer des critères généraux pour évaluer et comparer l'utilité et l'exhaustivité de différentes infrastructures techniques. L'équipe de Gigantum s'est efforcée de développer un schéma de haut niveau pour réaliser ce qui vient d'être énoncé, en se concentrant en particulier sur la reproductibilité informatique. Leur approche de l'évaluation des solutions de reproductibilité comprend quatre dimensions clés<fnref n="99" /> :

* la personne ou le groupe qui a créé les objets de recherche à reproduire, y compris tout code et toute donnée de recherche pertinents (le « producteur »);

* l'ensemble des objets de recherche nécessaires pour reproduire les résultats et les méthodes ou procédures pour y parvenir (« le projet »);

* l'équipement, le stockage de données et les autres infrastructures numériques nécessaires à la reproduction du résultat (« l'infrastructure »); et

* la personne ou le groupe qui tentera d'effectuer le contrôle de reproductibilité (« le consommateur »).

À partir de ces dimensions, il est alors possible de formuler certaines questions pour évaluer et comparer les solutions, p. ex. :

* Est-il facile pour le producteur de créer un projet reproductible ?

* Dans quelle mesure est-il facile pour le consommateur de reproduire le projet ?

* Quelle est la flexibilité de l'infrastructure en termes d'emplacement, de configuration et de contrôle ?

* Combien de fois le consommateur doit-il réexécuter pour vérifier que les choses fonctionnent ?

* Jusqu'à quel point est-il facile pour le consommateur de réutiliser ou réadapter le projet ?

La principale limite de cette approche est qu'elle est subjective et peut conduire des personnes différentes à des conclusions différentes. Cependant, les auteurs de ce schéma potentent à juste titre que les relations entre les quatre dimensions sont moins subjectives, et nous pensons qu'elles ont leur utilité pour informer sur le développement et l'optimisation des produits et aider à expliquer les choix des utilisateurs.

Dans ce contexte, nous soulignons également que les disparités économiques peuvent peser dans la comparaison entre différentes solutions techniques. Les disparités peuvent se manifester différemment dans le monde et entre groupes d'acteurs, et peuvent devenir plus visibles en termes d'accès (ou de non-acès) aux composantes des infrastructures.

## L'impact potentiel des principes des données FAIR

Ce que nous avons appelé le « problème de la connectivité » est en partie contenu dans la lettre « I » des principes de données FAIR (facile à trouver, accessible, interoperable et réutilisable). Plus largement, nous notons que les principes FAIR sont très propices aux pratiques de recherche reprocompatibles, et le portail Open Research Europe énonce que

<footnote n="97">⁹⁷ Zenodo. (n.d.). Research Compendium. https://zenodo.org/communities/research-compendium?page=1&size=20</footnote>

<footnote n="98">⁹⁸ GitHub. (n.d.). research-compendium. https://github.com/topics/research-compendium</footnote>

<footnote n="99">⁹⁹ Whitehouse, T., Clark, D., & Tsang, E. (2019). Rebooting reproducibility: From re-execution to replication. eLife. https://elifesciences.org/labs/6fb86e9c/rebooting-reproducibility-from-re-execution-to-replication</footnote>
« par extension, les mêmes pratiques qui permettent la réutilisation des données favorisent également la reproductibilité ». <fnref n="100" />

À l'instar des pratiques de publication à visées reproductibles, la mise en œuvre des principes FAIR tend à être liée à des considérations disciplinaires sur le plan pratique : nous nous attendons à ce que les progrès dans la globalité dans ce domaine suivent également le cycle politique, notamment en ce qui concerne la contribution que les différentes disciplines devront apporter dans l'analyse et la communication de leurs besoins (voir figure 3). Dans certaines disciplines, des progrès significatifs sont en cours, p. ex. dans le cas de la ressource développée pour les sciences de la vie, le FAIR Cookbook<fnref n="101" />.

> « Nous savons que l'European Open Science Cloud est axé sur les principes FAIR. Nous savons que la Research Data Alliance en fait de même. Nous savons que les principes FAIR évoluent vers des éléments comme les méthodes logicielles. Les groupes d'intérêt commun convergent donc largement sur ces questions. » Un fournisseur d'infrastructure

En outre, la réflexion autour des principes FAIR évolue, faisant ressortir que « la planification de la gestion des données devrait être soutenue tout au long du cycle de vie de la recherche afin que les données puissent naître FAIR et rester suffisamment FAIR au fil du temps »<fnref n="102" /> - un concept qui pourrait être étendu à la reproductibilité de la recherche. Bien que la « FAIRitude » et la reproductibilité présente dans les publications relèvent de pratiques distinctes, cela renforce ce que nous affirmions plus haut comme quoi tout comportement impliquant la gestion, la documentation et le partage des données ou du code

ne peut être considérée comme une simple option apportée au processus de recherche, même si nous ne nous intéressons ici qu'à l'étape de la publication.

> « Nous parlons aujourd'hui de données qui sont nées FAIR ou FAIR par conception. La mesure dans laquelle vous pouvez rendre vos données ou vos résultats analytiques FAIR dès le début du processus va conduire à des niveaux de reproductibilité beaucoup plus élevés. » Un chercheur

Par rapport aux principes FAIR, il faut également citer l'European Open Science Cloud (EOSC). Cette initiative vise à construire « un réseau de données FAIR et de services associés »,<fnref n="103" /> qui réduira la fragmentation en fédérant les infrastructures de recherche existantes et améliorera leur interoperabilité. Il est toutefois important de reconnaître que l'écosystème EOSC est toujours en cours de développement au moment de la rédaction du présent rapport et qu'il n'est donc pas sur un pied d'égalité avec les autres infrastructures numériques examinées dans ce rapport (voir également l'étude de cas page 44).

<footnote n="100">100 Commission européenne. (s.d.). Open Research Europe. https://open-research-europe.ec.europa.eu/for-authors/data-guidelines/</footnote>

<footnote n="101">101 Rocca-Serra, P. & Sansone, S, A. (2021). The FAIR Cookbook - a guide for your data FAIRification journey. https://www.oerc.ox.ac.uk/news/the-fair-cookbook-a-guide-for-your-data-fairification-journey/</footnote>

<footnote n="102">102 FairsFair. (2020). FAIRsFAIR Tables Preliminary Recommendations on Data Policy https://fairsfair.eu/news/fairsfair-tables-preliminary-recommendations-data-policy</footnote>

<footnote n="103">103 Luyben, K. (2021). EOSC: A Web of FAIR Data. https://beopen-project.eu/storage/files/parti-2-eosc-a-web-of-fair-data-k-luyben.pdf</footnote>
## Étude de cas : les principes de données FAIR et l'European Open Science Cloud (EOSC)

En juin 2021, la Commission européenne (CE) et l'association EOSC nouvellement formée ont établi un protocole d'accord marquant le début du partenariat européen coprogrammé sur l'EOSC dans le cadre du programme-cadre Horizon Europe.

L'EOSC est considéré comme l'infrastructure habilitante qui soutiendra « un processus de recherche plus ouvert et solide grâce au nu- mérique non seulement pour les chercheurs, mais aussi pour la société dans son ensemble ». Le mémorandum note que les objets de recherche qui sont nés FAIR « assureront une véritable capacité à l'échelle européenne et un leadership mondial pour contribuer aux objectifs de développement durable (SDG), pour atteindre l'ambition de l'UE pour le Green Deal et pour mettre en œuvre d'autres poli- tiques nationales ou sectorielles » : cela montre l'impact potentiel de la FAIRitude et l'importance significative accordée à cela au niveau de la politique européenne.

Selon l'agenda stratégique de recherche et d'innovation de l'EOSC, « l'EOSC offrira un environnement de recherche qui favorise la science ouverte et augmente la confiance et la reproductibilité des résultats de la recherche ». Ils notent en particulier que cet écosys- tème en développement « offrira une infrastructure soutenue et stable pour la recherche, avec une multitude de jeux de données et d'outils de recherche facilement disponibles, encourageant ainsi les chercheurs à développer leur propre environnement de recherche sur cette plateforme, en réutilisant les composants existants, plutôt que de construire des outils uniques et non réutilisables dans leur espace informatique personnel ». Cela devrait favoriser les pratiques reproductibles de recherche et de publication.

Le mémorandum signé comprend une série d'« objectifs spécifiques » (SO4, SO5) et d'« objectifs opérationnels » (O05, O06, O08) qui traitent des principes des données FAIR et visent principalement à :

* augmenter le nombre de données de recherche financées par le secteur public qui sont FAIR par conception ;

* améliorer l'interopérabilité entre les objets de recherche ;

* travailler avec les communautés pour élaborer des exigences et des pratiques ;

* fournir des indicateurs et des outils pour mesurer l'adoption des principes FAIR ; et

* lco-concevoir et adopter des récompenses et des systèmes de reconnaissance appropriés pour la mise en œuvre des pratiques de données ouvertes.
Aperçu du discours sur la reproductibilité sur les réseaux sociaux

Dans le cadre de cette recherche, nous avons étudié les données Twitter entre novembre 2020 et juin 2021. Les objectifs de cet exercice étaient (i) de mesurer comment le discours autour de la reproductibilité de la recherche et des bonnes pratiques de recherche se développe en ligne ; et (ii) d'évaluer si des différences notables sont apparues entre les résultats de nos entretiens et les conversations en ligne. Au cours de la période susmentionnée, nous avons recueilli plus de 10 000 tweets en utilisant les hashtags répertoriés dans notre R notebook et dans les notes de bas de page.¹⁰⁴¹⁰⁵

Notre analyse des médias sociaux montre que les contributeurs les plus fréquents des discours sur le réseau social en ligne à propos de la reproductibilité se situent au niveau micro : sur plus de 30 comptes ayant tweeté plus de 20 fois, 12 appartenaient à des individus et cinq à des initiatives communautaires (p. ex., des réseaux de reproductibilité, des initiatives de formation et de sensibilisation-promotion). Il est intéressant de noter que six des comptes les plus prolifiques étaient des robots (bots), et qu'un seul appartenait à un organisme de recherche (la bibliothèque de l'Université de Leyde). Cela semble confirmer les conclusions de notre analyse documentaire et le fait que l'intérêt récent pour la reproductibilité de la recherche prend son essor principalement comme un mouvement partant de la base.

D'autre part, si on examine les comptes dans le jeu de données (c'est-à-dire les comptes qui ont tweeté au moins une fois en utilisant l'un des hashtags surveillés) avec le plus grand nombre d'abonnés, ils comprennent un éventail d'entités décisionnaires (p. ex. la DG Recherche et innovation de l'UE, l'Institut national américain des normes et de la technologie, Research en Allemagne), des revues et des éditeurs (p. ex., Science Magazine, British Medical Journal, Nature Biotechnology), des sociétés savantes (p. ex., Association for Computing Machinery, Microbiology Society) et des organes d'information (p. ex., Phys.org, LSE Impact Blog). Cela suggère que les groupes d'acteurs aux niveaux méso et macro sont effectivement attentifs, mais ne mènent pas la discussion - p. ex., les trois comptes les plus suivis n'ont eu qu'un tweet chacun dans notre jeu de données, alors que leur audience combinée était de près de 3,5 millions d'abonnés.

Le tableau 5 présente les hashtags inclus dans les discussions liées à la reproductibilité. Il est à noter que ce tableau inclut à la fois les hashtags que nous avons surveillés directement (p. ex. #reproducibility et #reproducibleresearch) et d'autres hashtags partagés dans les tweets que nous avons récoltés à côté d'un hashtag surveillé (p. ex. #openscience). Le fait que #openscience - un hashtag que nous n'avons pas surveillé - figure si haut dans la liste suggère que la reproductibilité et la science ouverte sont considérées comme faisant partie d'un même ensemble sur les médias sociaux, ce qui confirme une fois de plus les résultats de nos échanges avec les acteurs.

<footnote n="104">104 Les hashtags surveillés dans cet exercice comprenaient : #Reproducibility, #Replicability, #ReproducibleScience, #ResearchReproducibility, #ReproducibleResearch, #ResearchCredibility, #GoodResearchPractices, #RegisteredReports, #GoodScience, #ResearchCompendium, #ResearchCompendia, #ReproducibilityCrisis, #ReplicabilityCrisis, #ReplicationCrisis et #TuringWay.</footnote>

<footnote n="105">105 Chiarelli, A. (2021). Publishing Reproducible Research Outputs - Text and data mining code (Version 2) [Logiciel]. Zenodo. https://doi.org/10.5281/ZENODO.5512019</footnote>
<table><caption>TABLEAU 5. HASHTAGS UTILISÉS ET OCCURRENCES DANS LE JEU DE DONNÉES. (†=HASHTAG SURVEILLÉ)</caption><thead><tr><td>Hashtag</td><td>Occurrences dans le jeu de données</td><td>Classification</td></tr></thead><tbody><tr><td>#reproducibility†</td><td>4,148</td><td>hashtag clé dans les discussions sur la reproductibilité</td></tr><tr><td>#reproducibleresearch†</td><td>1,568</td><td>hashtag clé dans les discussions sur la reproductibilité</td></tr><tr><td>#openscience</td><td>1,182</td><td>hashtag clé dans les discussions sur la reproductibilité</td></tr><tr><td>#methodsmatter</td><td>854</td><td>hashtag généré par robot</td></tr><tr><td>#registeredreports†</td><td>481</td><td>Principalement associé à la réplication</td></tr><tr><td>#rrid</td><td>350</td><td>hashtag généré par robot</td></tr><tr><td>#accelerateopenscience</td><td>297</td><td>hashtag généré par robot</td></tr><tr><td>#stmpublishing</td><td>270</td><td>hashtag généré par robot</td></tr><tr><td>#research</td><td>204</td><td>Hashtag générique</td></tr><tr><td>#science</td><td>159</td><td>Hashtag générique</td></tr></tbody></table>

Notons que notre exercice de fouille de données avait une portée assez large et incluait également des hashtags liés à la réplication. Le seul d'entre eux à figurer dans le top 10 est #registereports, tandis que d'autres, tels que #replicability et #replicationcrisis, n'ont été utilisés que 121 et 109 fois, respectivement. Il est à noter que le top 10 comprend également quatre hashtags générés par des robots : le plus souvent, ils ne sont pas tweetés par des humains et, dans une certaine mesure, ils faussent artificiellement la discussion (mais ils sont tout de même moins fréquents que les trois premiers). Certains hashtags génériques sont également inclus dans le tableau 5, mais nous pensons qu'ils seront plus efficaces lorsqu'ils seront utilisés en combinaison avec d'autres hashtags axés sur la reproductibilité.

Enfin, il est intéressant de commenter les comptes<fnref n="106" /> les plus mentionnés dans notre jeu de données, car cela peut donner une indication du leadership intellectuel et de l'impact potentiel (voir tableau 6). La bibliothèque de l'université de Leyde arrive en tête de liste en raison d'un séminaire de formation sur la reproductibilité de la recherche qu'elle a organisé avec Elsevier. Le UK Reproducibility Network figure également en haut de la liste, tandis que d'autres réseaux de reproductibilité apparaissent en bas de la liste, probablement en raison de leur récente existence. Il est intéressant de constater un nombre relativement important d'acteurs de niveau méso dans le tableau 6, notamment en raison des événements de formation et de sensibilisation-promotion, leur rôle en tant qu'infrastructures de reproductibilité et des annonces générales autour des hashtags que nous avons surveillés.

<table><caption>TABLEAU 6. COMPTES LES PLUS MENTIONNÉS (NOTE : RESEARCH CONSULTING, L'AUTEUR DU RAPPORT, EST RESSORTI EN TANT QUE 9ᵉ DANS LA LISTE ET A ÉTÉ RETIRÉ DE CE TABLEAU).</caption><thead><tr><td>Compte</td><td>Occurrences dans le jeu de données</td><td>Type</td></tr></thead><tbody><tr><td>@ubleiden</td><td>43</td><td>Bibliothèque universitaire</td></tr><tr><td>@ukrepro</td><td>38</td><td>Initiative communautaire</td></tr><tr><td>@ElsevierConnect</td><td>30</td><td>Éditeur</td></tr><tr><td>@repro4everyone</td><td>24</td><td>Initiative communautaire</td></tr><tr><td>@CodeOceanHQ</td><td>23</td><td>Fournisseur d'infrastructure</td></tr><tr><td>@OSFramework</td><td>19</td><td>Fournisseur d'infrastructure</td></tr><tr><td>@SciReports</td><td>19</td><td>Éditeur</td></tr><tr><td>@protocolsIO</td><td>16</td><td>Fournisseur d'infrastructure</td></tr><tr><td>@SwissRN</td><td>14</td><td>Initiative communautaire</td></tr><tr><td>@GermanRepro</td><td>13</td><td>Initiative communautaire</td></tr></tbody></table>

<footnote n="106">106 Twitter. (s.d.). À propos des réponses et des mentions. https://help.twitter.com/en/using-twitter/mentions-and-replies</footnote>
## 6. Comment financer les coûts des pratiques de publication reprocompatibles

Il est essentiel de déterminer les mécanismes de financement pour subvenir aux investissements en temps et en travail qu’impliquent les pratiques reproductibles de publication. Quatre activités peuvent entraîner des coûts sur l’ensemble d’un projet de recherche : la curation, la préparation et le partage d’objets de recherche par les chercheurs ; l’appui apporté par le personnel des organismes de recherche ; les contrôles de reproductibilité effectués dans le cadre du processus de publication ; et tout contrôle de reproductibilité a posteriori.

### Implications financières des flux de publications reproductibles

Tous les groupes d’intervenants consultés sont d’avis que la reproductibilité de la recherche devrait être une affaire dont s’empare chaque chercheur au premier chef, en grande partie parce que ce sont les chercheurs qui conçoivent, distribuent et publient leurs travaux. Nos entretiens ont souligné le fait qu’il est extrêmement difficile (si ce n’est impossible) d’examiner la question de la reproductibilité seulement à l’étape de la publication et de la diffusion : cela indique que, pour publier de manière reproductible, les chercheurs devraient intégrer un éventail de pratiques et de comportements sur tout le spectre du processus de recherche.

Dans cette section, nous présentons une série de mécanismes de financement destinés à soutenir les efforts de reproductibilité des travaux et les contrôles associés, en portant l’esentiel de l’attention sur les moyens pour couvrir les dépenses occasionnées par :

* le temps et les efforts déployés par les chercheurs dans le cadre d’un projet de recherche ;

* les ressources en temps et moyens du personnel d’appui dans les organismes de recherche ;

* les contrôles de reproductibilité dans le contexte du processus de publication ;

* les contrôles de reproductibilité a posteriori.

Le premier de ces points est considéré comme une nécessité pour que la reproductibilité de la recherche devienne un sujet d’attention plus prioritaire : pour qu’il rencontre un niveau d’attentes plus fort, il faut que les chercheurs reçoivent reconnaissance et soutien de la part de leurs organismes. Sans cela, la reproductibilité de la recherche risque de rester une activité spécifique à un domaine ou une niche. Par ailleurs, il est nécessaire de poursuivre les échanges et les expérimentations du côté des activités de contrôle et de vérification, y compris les questions de rôles et de responsabilités, ainsi que de phasage (voir section 3).

Il convient de noter qu’en raison de la nature évolutive du discours sur la reproductibilité, les mécanismes abordés dans cette section sont quelque peu expérimentaux par nature, et que l’on dispose de très peu d’informations pour comparer leur efficacité.

### Financement du temps et des activités des chercheurs dans le cadre d'un projet de recherche

Un moyen simple de soutenir financièrement la reproductibilité de la recherche consiste à abonder directement le temps et les autres dépenses associées (par exemple, d'infrasstructure, d'abonnements à des outils logiciels
ou à des services) dans le cadre de subventions de recherche. C'est ce que font déjà certains financeurs pour la gestion des données de recherche¹⁰⁷¹⁰⁸, et des mécanismes de financement similaires pourraient être imaginés pour soutenir la reproductibilité. Certains de ceux que nous avons interrogés ont bel et bien reconnu qu'il importe de financer les efforts de reproductibilité, et si aucun mécanisme de ce type n'est actuellement en place, il est admis que des attentes accrues devraient être assorties de financements supplémentaires.

> « Les fondations acceptent que ces [activités de reproductibilité] constituent une dépense future potentielle - c'est même une dépense aujourd'hui... La seule chose que nous avons exigée, c'est que celles-ci ne peuvent pas être rangées au titre de frais généraux non identifiés et vagues. » Un financement de la recherche

Il est difficile d'estimer avec précision le temps nécessaire à la réalisation des activités liées à la reproductibilité (de la conception du projet à la publication), car celles-ci ne peuvent être dissociées de façon artificielle des autres bonnes pratiques de recherche (comme l'éthique, l'intégrité) et à ce qui touche par ailleurs à son ouverture (partage ouvert et FAIRisation des données, du code et des articles). En outre, les choses se compliquent encore si l'on prend en compte les différences d'investissements en temps et activités motivées par les us et coutumes disciplinaires et leur philosophie de la recherche. Cela donne à penser qu'il faudra faire preuve d'empirisme avant qu'un « outil de calcul des coûts de reproductibilité » semblable ou complémentaire à celui dont on dispose pour la gestion des données de recherche<fnref n="109" /> puisse

être envisagé, d'autant plus que les deux pratiques sont étroitement liées.

Enfin, nous observerons que le financement de chercheurs ou de projets de manière individualisée par le biais de subventions de recherche ne tient pas compte de la nature à long terme de certains aspects de la reproductibilité. Par exemple, les infrastructures numériques et la préservation des données nécessitent des mécanismes de financement différents, car elles sont d'une durée de vie qui dépasse celle d'un projet et servent généralement un public beaucoup plus large.

## Financement du temps et des efforts du personnel d'appui à l'intérieur des organismes de recherche

Certaines des personnes interrogées ont estimé peu probable que les activités de reproductibilité mobilisent nécessairement un équivalent temps plein (ETP) ou même un demi-ETP sur toute la durée d'un projet : par conséquent, les chercheurs principaux se trouveront le plus souvent dans l'impossibilité d'embaucher du personnel spécialisé dans ce domaine. C'est pourquoi il serait utile que certaines activités liées à la reproductibilité soient prises en main par le personnel d'appui employé par les organismes de recherche (voir la section 4).

> « Il est très difficile pour un projet de recruter quelqu'un à 0,1 ou 0,2 ETP. Et qui va se présenter à ce genre d'emploi ? Disons que ce n'est pas une perspective intéressante pour une personne qui dispose de bonnes compétences dans les données que de choisir un poste comme ça, sauf situation particulière. » Un organisme de recherche

<footnote n="107">107 OpenAIRE. (n.d.). How to identify and assess Research Data Management (RDM) costs. https://www.openaire.eu/how-to-comply-to-h2020-mandates-rdm-costs</footnote>

<footnote n="108">108 University College London (UCL). (n.d.). Costing Research Data Management. https://www.ucl.ac.uk/library/research-support/research-data-management/policies/costing-research-data-management</footnote>

<footnote n="109">109 UK Data Services. (2015). Outil de calcul des coûts. https://www.ukdata-service.ac.uk/media/622368/costingtool.pdf</footnote>
Si une certaine responsabilité se voit assignée aux organismes de recherche, il est important de songer que les budgets des universités<fnref n="110" /> (et des bibliothèques<fnref n="111" />) sont en butte à des pressions croissantes, notamment en raison de la pandémie de COVID-19. Au cours de notre consultation, il est apparu clairement que financer durablement du personnel de soutien à la recherche est certes difficile, sans être impossible pour autant. Ainsi, les organismes de recherche peuvent entreprendre de financer une partie des ETP d'une équipe d'intendants et de curateurs de données ou de bibliothécaires spécialisés (par exemple 20 %), et projeter que le reste (par exemple 80 %) soit couvert par financements de projets. Ce faisant, les organismes de financement de la recherche subventionneraient bel et bien ces postes et traduiraient de la sorte leurs vo-lontés politiques (le cas échéant) en faveur de bonnes pratiques et de la reproductibilité dans la recherche. Pour que pareils investisse-ments soient satisfaisants pour les organismes de recherche, il faut un engagement stratég-gique fort de la part de la hiérarchie et une volonté de lancer des programmes pilotes pour évaluer ce qui fonctionne dans leur con-texte et leurs combinaisons de disciplines.

« L'université a financé un certain nombre de postes au niveau central faculté par fa-culté. On pensait en fait qu'en l'espace de trois ans, on en récupérerait entièrement les coûts grâce à des appels à projets soumis au sein de la faculté [...]. Je pense qu'il faudrait récupérer 80 % des salaires correspondants de manière régulière pour

que ces postes soient prolongés.” *Un or-ganisme de recherche*

Financement des contrôles de reproductibilité dans le cadre du processus de publication

Il existe plusieurs façons de mettre en œuvre des contrôles de reproductibilité, correspon-dant à différentes étapes du processus de pu-blication (voir Figure 5). Notre consultation a notamment mis en évidence les trois trajec-toires suivantes :

<figure><img src="image_29.png" /></figure>

les évaluateurs scientifiques pourraient assurer des responsabilités supplémen-taires, en testant la reproductibilité dans les articles, les données et le code soumis pour publication ;

<figure><img src="image_30.png" /></figure>

les éditeurs pourraient mobiliser du per-ssonnel interne tel que des éditeurs de données ou de reproductibilité ;¹¹²¹¹³

<figure><img src="image_31.png" /></figure>

des prestataires indépendants pourraient être chargés de vérifier la reproductibilité des articles par les auteurs, les revues ou les bailleurs de fonds.

La première de ces trois options est la moins susceptible de réussir, notamment parce que l'examen par les pairs est actuellement une responsabilité non financée et non écrite des chercheurs. La communauté de la recherche peut être défavorable à l'ajout de tâches ou de consignes liées à la reproductibilité à la

<footnote n="110">110 Banque Mondiale. (2020). Under Pressure: Covid 19 and funding European Higher Education. https://blogs.worldbank.org/education/under-pressure-covid-19-and-funding-european-higher-education</footnote>

<footnote n="111">111 Brinton, J. (2021). The impact of COVID-19 on the UK publishing industry: Fin-dings and opportunity. Learned Publishing, 34(1), 43-48.
https://doi.org/10.1002/leap.1363</footnote>

<footnote n="112">112 Office of the AEA Data Editor. (2021). Office of the AEA Data Editor. https://aadataeditor.github.io/</footnote>

<footnote n="113">113 Twitter. (2021). Ben Greimer Extrait de ses tweets.</footnote>

<footnote>https://web.ar-chive.org/web/20210708161656/https://twit-ter.com/bgreiner_tweets/status/1383070111544774661</footnote>
fonction d'évaluateur, car cela implique un in-
vestissement en temps que tous les cher-
cheurs ne peuvent assumer, ainsi qu'une
expertise supplémentaire (p. ex. les questions
de code) qui peut ne pas être à la portée de
tous.

« Pour ce qui est du travail d'évaluation en tant que pair, essentiellement, on ne dispose pas souvent de beaucoup de temps pour le faire. Je pense donc que compter sur l'examineur pour qu'il vérifie vraiment si tout coche bien les cases sur le plan informatique dans un manuscrit, c'est un peu trop charger sa barque. » Un chercheur

En revanche, les deuxième et troisième points
ménagent un meilleur équilibre entre les res-
ponsabilités des acteurs de la recherche et, à
ce titre, passent généralement pour plus ac-
ceptables.

Certains éditeurs ont fait remarquer que des
revues craignent peut-être d'ajouter des exi-
gences de reproductibilité au processus de
soumission, mais nos investigations ont mon-
tré que certaines ont mis en place des vérifi-
cations de cet aspect dans leurs flux de travail
(voir la section 3). Dans ces cas, le rôle des
personnels de rédaction en charge des don-
nées ou de la reproductibilité est essen-
tiel¹¹⁴¹¹⁵¹¹⁶, et cela s'appliquera probablement
à un éventail de responsabilités qui portent
sur la conformité aux lignes directrices rela-
tives à la reproductibilité, un contrôle des

données de recherche et une analyse du code.
La manière dont ces activités sont financées
en interne par les revues ne ressort pas tout à
fait clairement, mais nous avons constaté que
ces responsabilités peuvent être mises en
commun par un éditeur entre différents titres,
notamment sous la forme de petites équipes
spécialisées dans les données de recherche et
la reproductibilité.

« Dans la recherche aujourd'hui, il y a beaucoup, beaucoup d'articles où vous traitez des données qui sont d'une telle taille, et si multidisciplinaires, qu'il n'est pas nécessairement pertinent que ce soit les pairs examinateurs qui le fassent [effectuer des contrôles de reproductibilité]. Vous ne pouvez en fait examiner ce type d'informations que si vous réutilisez les données vous-même. » Un éditeur

Enfin, les chercheurs, les éditeurs ou d'autres
parties prenantes peuvent souhaiter externa-
liser les contrôles de reproductibilité. Cela dif-
fère quelque peu des autres mécanismes, car
cela réduit une partie de la charge de travail
attendue de la part des chercheurs, de leurs
institutions et de leurs éditeurs et la déplace
vers d'autres fournisseurs de services. Bien
entendu, cela a un coût, que l'un des acteurs
concernés devra supporter.

<footnote n="114">¹¹⁴ American Statistical Association (ASA). (n.d.). JASA Editors Talk Reproducibility. https://www.amstat.org/ASA/Publications/Quick-and-As/JASA-Editors-Talk-Reproducibility.aspx</footnote>

<footnote n="115">¹¹⁵ Elsevier. (n.d.). Information Systems. https://www.journals.elsevier.com/information-systems/editorial-board</footnote>

<footnote n="116">¹¹⁶ Biometrical Journal. (n.d.). Consignes aux auteurs de Biometrical Journal. https://onlinelibrary.wiley.com/page/journal/15214036/homepage/forauthors.html</footnote>
## Le programme Régie des données de l'université de technologie de Delft (TU Delft)

En 2017, la bibliothèque de la TU Delft a lancé un projet pilote de régie des données afin de répondre aux nécessités inhérentes à leur gestion dans l'ensemble de l'université. Cette action s'appuyait sur le constat qu'« assurer un changement culturel durable, n'est pas seulement une question de technologie et d'expertise, mais aussi, et ce qui est peut-être plus important, de communication et de confiance. Les relations entre les chercheurs et ceux qui les conseillent sur les pratiques de gestion des données doivent être développées au fil du temps et en permettant aux gens de se connaître et de travailler en étroite collaboration. » Ce projet de régie des données a été financé au niveau central grâce à une ligne budgétaire du conseil d'administration de l'Université et placé sous la houlette du coordonnateur régisseur des données qui intervenait depuis la bibliothèque de la TU Delft.

Quatre ans plus tard, ce projet pilote est devenu une ressource importante pour l'université, et les responsabilités en matière de finance-ment ont été transférées aux différentes facultés. Les postes de régisseur des données ont été pérennisés par les facultés, reconnaissance du rôle important qu'ils jouent dans le traitement des demandes de gestion des données dans l'ensemble de l'établissement.

Entre 2020 et 2021, cette équipe de régisseurs a affiché un certain nombre de résultats à son profit :

* la prise en charge de plus de 800 demandes de la part de chercheurs ;

* l'organisation et la prestation d'actions de formation en gestion des données propres à chaque faculté ;

* l'élargissement des interventions au niveau de l'institution entière, par exemple en offrant un atelier bénévole d'initiation aux données génomiques, un atelier de perfectionnement au code et un autre atelier bénévole d'introduction aux données en sciences sociales;

* la mise au point de programmes de gestion des données propres aux facultés et l'apport de conseils localisés et spécifiques aux chercheurs.

Dans l'ensemble, le projet de régie de données a fait le constat que « la construction collective est une composante essentielle pour une mutation donnée peuvent interagir efficacement au sein de leur faculté, avec la bibliothèque centrale, les services centraux et individuellement auprès « étant donné qu'un régisseur de données ne peut être au fait de toutes les pratiques disciplinaires spécifiques en présence au sein de leur faculté »

Le cadre stratégique de la TU Delft pour la régie des données énonce qu'« une bonne activité de régie - assurant [...] la collecte, la documentation, le partage, la publication et la conservation - des données est essentielle pour garantir que l'argumentation scientifique et ses résultats soient reproductibles, et pour que la TU Delft soit perçue comme un partenaire digne de confiance autant par les organisations publiques que commerciales. »

Quantifier ce que peuvent coûter des contrôles de reproductibilité externalisés est une affaire complexe, car ceux-ci ne seront pas forcément les mêmes en fonction des exigences et des approches disciplinaires. Cependant, un document de travail publié en collaboration avec l'agence de certification française cascad est d'un bon secours<sup>117</sup> : elle a modélisé l'impact des économies d'échelle

réalisées sur le coût des contrôles de reproductibilité et a fait part de conclusions précieuses (voir tableau 7) <sup>118</sup>.

Les analyses menées par cette agence ont abouti au chiffre de 320 € par article contrôlé, et cette estimation diminue à 155 € par article à mesure que le nombre de contrôles augmente et/ou que les dépenses d'infrastructure sont amorties sur une période plus

<footnote n="117"><sup>117</sup> Cascad. (n.d.) cascad - Certification agency for scientific code & data. https://bit.ly/3B2YzGw</footnote>

<footnote n="118"><sup>118</sup> Hurlin, C., & Perignon, C. (2019). Reproducibility Certification in Economics Research. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.3418896</footnote>
longue (dans ce modèle, les coûts varient selon le nombre d'« équipes de vérification », et les chiffres ici se réfèrent à un cas impliquant une seule équipe).

<table><caption>TABLEAU 7. ESTIMATION DES COÛTS À LA MISE EN PLACE ET RÉCURRENTS (INFRASTRUCTURE ET TEMPS) POUR EFFECTUER DES CONTRÔLES DE REPRODUCTIBILITÉ (CASCAD).</caption><thead><tr><td>Catégorie</td><td>Nature</td><td>Estimation (€)</td></tr></thead><tbody><tr><td>Infrastructure informatique</td><td>Préparation</td><td>50 K</td></tr><tr><td>Coût d'accès aux données (estimation prudente)</td><td>Préparation</td><td>5 K</td></tr><tr><td>Main d'œuvre (10 heures par vérification)</td><td>Récurrent</td><td>150 par vérification</td></tr></tbody></table>

Notons que *cascad* opère principalement dans le domaine de l'économie, et les chiffres présentés ci-dessous reflètent cette orientation. C'est ainsi que les auteurs reconnaissent que le temps d'examen à *cascad* peut être supérieur à la moyenne en raison de la nécessité d'accéder à des données confidentielles.

Bien qu'il ne soit pas possible de généraliser les coûts indiqués dans le tableau 7, « les coûts de la reproductibilité vérifiée [en externe] sont loin d'être négligeables, mais tout de même gérables si l'on s'efforce de réduire les dépenses de mise en œuvre et si l'on trouve le bon modèle économique ».<fnref n="119" />

Financement des contrôles de reproductibilité a posteriori.

Les organismes de financement de la recherche peuvent proposer des mécanismes permettant de vérifier la reproductibilité de recherches publiées (voir par exemple le passage sur les « études de réplication » de NWO dans la section 3).

Il importe de reconnaître que le financement direct de ces contrôles n'est pas perçu comme une solution durable à long terme, mais comme un outil de sensibilisation visant à populariser l'idée de reproductibilité et à la

mettre sous les projecteurs. Sur le long terme, les agences de financement sont davantage susceptibles (et désireuses) de consentir des montants de subventionnements plus modestes destinés à assumer le coût supplémentaire encouru pour la prise charge de la reproductibilité, tant tout au long du déroulement des travaux de recherche qu'au moment de leur publication.

> « Dans la plupart de nos appels, nous permettons déjà aux gens de prévoir un budget spécifique pour la publication en libre accès. Et je pense que [les pratiques de reproductibilité] sont quelque chose qui pourrait également en faire partie. À l'avenir, nous espérons fonctionner avec un système de financement dans lequel il existe des modules que vous pouvez demander pour différents aspects de votre publication, et [la reproductibilité] pourrait simplement être un de ceux-là. » Un organisme de financement de la recherche

Ce qui précède ne veut pas dire qu'il n'y a pas de place pour la vérification a posteriori, mais simplement que cela ne semble pas être une stratégie pratique pour les financeurs de la recherche. Par exemple, les chercheurs qui cherchent à réutiliser les travaux publiés par d'autres peuvent décider de vérifier s'ils sont reproductibles avant de passer à l'étape suivante, mais dans le cadre des phases du déroulé de leurs propres travaux (et, éventuellement financées).

Enfin, au moins en principe, les organismes de financement pourraient eux-mêmes exercer un rôle de contrôle, en se concentrant sur la reproductibilité des travaux publiés en lien avec leurs subventions. Toutefois, au vu des difficultés importantes rencontrées pour vérifier le respect des politiques appliquées aux données de recherche<fnref n="120" />, il est peu probable que cette stratégie soit poursuivie.

<footnote n="119">¹¹⁹ Hurlin, C., & Perignon, C. (2019). Reproducibility Certification in Economics Research. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.3418896</footnote>

<footnote n="120">¹²⁰ Couture, J. L., Blake, R. E., McDonald, G., & Ward, C. L. (2018). A funder-imposed data publication requirement seldom inspired data sharing. PLOS ONE, 13(7), e0199789. https://doi.org/10.1371/journal.pone.0199789</footnote>
<figure><img src="image_32.png" /><figcaption>FIGURE 5. INVESTISSEMENTS FINANCIERS, EN TEMPS ET MODÈLES DE FINANCEMENT DE LA RECHERCHE.</figcaption></figure>
## Le coût des infrastructures numériques

Il peut paraître surprenant que notre propos n'ait pas abordé jusqu'à présent le coût des infrastructures numériques permettant d'exercer des pratiques de publication scientifique reprocompatibles. Notre étude a montré que les chercheurs utilisent déjà la plupart des outils dont ils auraient besoin pour publier de la sorte, tels que des entrepôts de codes et de données ou des logiciels spécialisés, et que l'accès à ces outils est soit gratuit à la source<fnref n="121" />, soit payé par des subventions de recherche ou les organismes de recherche. En outre, l'équilibre entre les infrastructures commerciales et publiques n'est pas considéré comme un problème, tant que les chercheurs disposent des outils dont ils ont besoin pour mener à bien leurs travaux et que le risque de captivité commerciale est limité (voir section 5).

> « Si vous pouvez d'une manière ou d'une autre garantir que la captivité commerciale est évitée, ou du moins que le marché n'est pas verrouillé par un acteur en particulier, alors je pense que nous pouvons, d'une certaine manière, ne pas nourrir d'inquiétude envers le rôle du secteur privé. Je ne pense pas que nous voulons éliminer ces acteurs ; je pense que pour finir ils vont nous fournir les solutions les plus robustes de toute façon. » Un chercheur

Toutefois, les infrastructures numériques pourraient bénéficier d'un financement accru ou nouveau dans deux domaines :

<figure><img src="image_33.png" /></figure>

► les efforts visant à renforcer et à améliorer la capacité des infrastructures existantes nécessaire au stade de la publication : nous avons constaté que les outils disponibles dans le paysage sont souvent adaptés à l'objectif, mais qu'une

plus grande généralisation des pratiques de recherche ouvertes et du partage nécessaire des améliorations fonctionnelles et de capacités (p. ex. stockage des données, rapidité d'accès, préservation numérique) ;

<figure><img src="image_34.png" /></figure>

► les développements d'infrastructures numériques supplémentaires offrant des fonctionnalités liées à la reproductibilité sur l'ensemble du processus de recherche, notamment en améliorant l'interopérabilité et en intégrant mieux les solutions dans les flux de travail existants : ce type de solution est actuellement conçu et testé dans différents domaines disciplinaires, l'accent étant mis sur le suivi et la description des objets de recherche au fur et à mesure de l'évolution d'un projet.

Bien que le deuxième point dépasse légèrement le cadre du présent rapport, il mérite d'être examiné plus en détail. La question de la reproductibilité étant encore à un stade précoce de son évolution et en raison de son caractère fortement expérimental, les actions visant à la soutenir tout au long de la vie d'un projet ne sont pas encore financièrement viables, même si elles sont perçues comme telles et souhaitables par certaines communautés disciplinaires<fnref n="122" />. Dans ces scénarios, les agences de financement et les organismes de recherche peuvent jouer un rôle par l'apport d'un soutien financier à court et à moyen terme pour s'assurer que des flux de recherche novateurs axés sur la reproductibilité et la transparence soient imaginés et mis en œuvre. C'est le cas, par exemple, du modèle de financement adopté par Renku, qui est porté par le Swiss Data Science Center (une initiative commune de l'EPFL et de l'ETH de Zurich), et par le projet CONQUAIRE (Continuous Quality Control for Research Data to Assure Reproductibility) de l'Université de Bi-

<footnote n="121">121 Nous notons que de nombreux services sont gratuits au moment de la rédaction de ces lignes, par exemple Zenodo, l'OSF ou GitHub. Toutefois, leurs modèles de financement pourraient nécessiter un examen plus approfondi à l'avenir pour assurer leur viabilité à long terme.</footnote>

<footnote n="122">122 Black, S., Gardner, D. G., Pierce, J. L., & Steers, R. (2019). Organizational Behavior. https://opentextbc.ca/organizationalbehavioropenstax/</footnote>
lefeld, qui a été soutenu par l'agence de finan-
cement allemande, la DFG, et dont le but a
été de développer des services et des outils
que les chercheurs peuvent employer lors de
la création, la collecte ou le versionnage de
données et pour les rendre réutilisables<fnref n="123" />. Un
exemple plus récent s'offre à nous avec la
plate-forme Octopus, à laquelle UKRI a attri-
bué un financement de 650 000 livres sterling
et dont l'objectif est « de proposer une nou-
velle ressource d'archivage primaire des tra-
vaux de recherche » destinée à collecter et
évaluer les travaux scientifiques « au fil de
l'eau ».
<fnref n="124" />

Enfin, nous faisons ressortir combien il est
avantageux de faciliter les discussions et
échanges entre projets à l'initiative du monde
académique et des personnes ou organisa-
tions qui possèdent un savoir-faire commer-
cial (sauf à ce que les deux se confondent).
Les premiers disposeront d'une connaissance
et d'une compréhension approfondies de leur
public et de ses points névralgiques, alors que
les seconds sauront apporter des stratégies de
déploiement à grande échelle, de croissance
viable des activités et d'adaptation au marché
des produits. Pareilles discussions sont impor-
tantes, qu'un outil ou un service soit déve-
loppé avec un but lucratif ou non, en
particulier dans les cas où la subvention n'a
été accordée que pour la phase de démarrage
ou pilote et qu'aucun plan à long terme n'a
été mis en place.

Comme nous l'avons mentionné plus haut,
nous n'avons pas enquêté sur les infrastruc-
tures non numériques. Nous recommandons
toutefois de surveiller leurs besoins à l'avenir,
car des exigences de financement peuvent ap-
paraître à mesure que le discours sur la repro-
ductibilité continue à prendre de l'ampleur.

Le contrôle du respect des pré-
conisations et ses complexités

Bien qu'une large panoplie de solutions tech-
nologiques soit en place pour porter les pra-
tiques de publication reprocompatibles et
qu'un éventail de modèles économiques
existe, cela ne signifie pas que le contrôle et
l'application des prescriptions de reproducti-
bilité seront simples.

Il est utile de tirer parti de l'expérience ac-
quise dans le paysage des données ouvertes
et FAIR, où plusieurs exigences sont fixées par
les financeurs et, dans une moindre mesure,
les éditeurs.125 Dans ces cas précis, on est en
présence de lacunes importantes du côté des
applications. En effet, malgré l'existence de
politiques et de flux de travail (voir la figure 6
pour un exemple de flux de travail qui intègre
l'examen des données), le coût de leur appli-
cation et celui du suivi de leur observance
sont souvent trop élevés pour être réalistes.
Procéder à un contrôle des prescriptions de
reproductibilité nécessite un examen encore
plus complexe des objets de recherche asso-
ciés, y compris une compréhension des ques-
tions (sous-)disciplinaires : par conséquent, il
peut être difficile pour les financeurs d'assu-
mer une responsabilité de suivi de ce type.

<footnote n="123">123 Ayer, V., Wiljes, C., Cimiano, P., Pietsch, C., Vompras, J., Schirrwagen, J., & Jahn, N. (2017). Conquaire: Towards an Architecture Supporting Continuous Quality Control to Ensure Reproducibility of Research. D-Lib Magazine, 23(1/2).
https://doi.org/10.1045/january2017-ayer</footnote>

<footnote n="124">124 Anderson, R. (2021). “Positively Disrupt(ing) Research Culture for the Better”: An Interview with Alexandra Freeman of Octopus. The Scholarly Kitchen.</footnote>

<footnote>https://scholarlykitchen.sspnet.org/2021/08/18/positively-disrupting-research-culture-for-the-better-an-interview-with-alexandra-freeman-of-octopus/</footnote>

<footnote n="125">125 Stodden, V., Seiler, J., & Ma, Z. (2018). An empirical analysis of journal policy effectiveness for computational reproducibility. Proceedings of the National Academy of Sciences, 115(11), 2584–2589.
https://doi.org/10.1073/pnas.1708290115</footnote>