# Un workflow d'open peer review possible pour les revues INRAE (revues scientifiques et de transfert avec évaluation par les pairs)

Marianne Peiffer

► To cite this version:

Marianne Peiffer. Un workflow d'open peer review possible pour les revues INRAE (revues scientifiques et de transfert avec évaluation par les pairs). Réunion du groupe projet "transition et valorisation des revues INRAE" (2020-2024), Sabine Arbeille; Erwin Dreyer, Nov 2021, Paris (France), France. 10.17180/whbx-cp70. hal-04096967

HAL Id: hal-04096967

https://hal.inrae.fr/hal-04096967

Submitted on 14 May 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
INRAE

<figure><img src="image_2.png" /></figure>

# Un workflow d'open peer review possible pour les revues INRAE

## Revues scientifiques et de transfert avec évaluation par les pairs

Marianne Peiffer

Présentation INRAE - 8 novembre 2021

Réunion du groupe projet Transition et valorisation des revues INRAE
> Quelles revues pourraient installer ce workflow d'open peer review (OPR) ?

Il suffit que :

* 1. l'évaluation par les pairs soit libre d'être publiée par le comité éditorial (pas d'opposition par des clauses contractuelles).

* 2. un éditeur INRAE accède au contenu du manuscrit avec possibilité de modification du texte (quel que soit le système de production des manuscrits acceptés, avec sous-traitance ou non).

<figure><img src="image_3.png" /><figcaption>Figure 1: représentation schématique du workflow de base pour l'évaluation par les pairs traditionnelle et la production d'articles.</figcaption></figure>

<figure><img src="image_4.png" /></figure>
> Comment pourrait-on ouvrir l'évaluation par les pairs ?

1. Construire un Portable Peer Review report (PPR report);

2. Utiliser des entrepôts publics (Zenodo, ou DataInrae) pour publier le PPR report et attribuer un doi (voire une plateforme comme PCI);

3. Citer le PPR report dans la section « Références » de l'article accepté;

4. Utiliser Hal pour archiver le PPR report au même endroit où sont archivés les articles des revues (au sein des collections qui existent déjà pour beaucoup de revues). Un transfère des références du PPR report entre Hal et Orcid est réalisé automatiquement.

<figure><img src="image_5.png" /><figcaption>Figure 2: Représentation de modules technologiques ajoutés au workflow de base permettant à une revue de mettre en œuvre de l'Open Peer Review.</figcaption></figure>

<figure><img src="image_6.png" /></figure>
> Des modules technologiques supplémentaires peuvent être ajoutés pour faire apparaître l'évaluation par les pairs à côté de la version du manuscrit évalué :

L'évaluation par les pairs peut apparaître à côté de la version du manuscrit évalué :

1. lorsque le manuscrit est publié par la revue;

2. pour chaque version du manuscrit (si c'est souhaité par la revue);

3. lorsque le manuscrit est rejeté par la revue (si c'est souhaité par la revue).

<figure><img src="image_7.png" /></figure>
> Comment publier l'évaluation par les pairs à côté de la version du manuscrit correspondant à cette évaluation ?

**5** Utiliser une plateforme de preprint associée à Hypothes.is comme BioRxiv (hébérgée par le Cold Spring Harbor Laboratory, CSHL).

BioRxiv propose un service « clé en main » qui permet de lier l'évaluation par les pairs à côté de la version correspondant au manuscrit évalué. Ce service s'appelle TRiP.

L'alternative pour les revues scientifiques qui ne sont pas en science du vivant ou pour les revues de transfert serait qu'une implémentation de Hypothes.is soit réalisée sur une autre plateforme fonctionnant comme un serveur de preprint (Hal ?)

<figure><img src="image_8.png" /><figcaption>Figure 3: Représentation de modules technologiques ajoutés au workflow d'évaluation par les pairs ouverte afin de publier le PPR report à côté de la version évaluée du manuscrit</figcaption></figure>

<figure><img src="image_9.png" /></figure>

INRAE
> Comment faire pour que l'OPR soit optionnel (pour l'auteur, le reviewer, le handling editor) 1/2

6 La revue fait un appel à soumissions (call for papers) d'articles qui seront évalués en OPR et constitueront un numéro spécial dans la revue. Les manuscrits soumis en dehors de cet appel à soumissions sont évalués avec la procédure habituelle (aveugle ou double aveugle).

- Un auteur qui soumet est donc un auteur qui a choisi l'OPR puisqu'il a choisi de soumettre via l'appel à soumission (alors qu'il aurait pu soumettre le ms à la revue via la procédure d'évaluation standard), Figure 4.

<figure><img src="image_10.png" /><figcaption>Figure 4: Représentation du workflow d'évaluation par les pairs ouverte et d'un appel à soumissions d'articles en OPR qui permet de séparer les manuscrits évalués en OPR des autres ms évalués dans la revue, en respectant le choix du mode d'évaluation décidé par l'auteur.</figcaption></figure>
> Comment faire pour que l'OPR soit optionnel (pour l'auteur, le reviewer, le handling editor) 2/2

- Un reviewer invité à évaluer le ms sera averti dès le mail d'invitation et sera invité à lire les « Instructions aux reviewers » (Figure 5 représente un exemple type d'instructions aux reviewers)

- Les noms des éditeurs de la revue qui acceptent de gérer des ms en OPR figurent sur l'appel à soumissions (cela peut conduire à ajouter un filtre de thématiques scientifiques au numéro spécial).

Guidelines for reviewers of the special Issue Open Peer Review Laboratory

* <u>Single blind peer review</u> is set by default. As reviewer, you will know the authors' names during the peer review process, but your name will not be shared except if you choose the SPR option described below.

* <u>Transparent peer review (TPR)</u> is mandatory. Usually the review report appears in the editorial decision letter where it can be read by the authors and other reviewers. With TPR the journal will provide a visibility to the report. Your name will remain anonymous except if you choose the SPR option described below. Both reviewers may have made a different choice about anonymity.

* <u>Signed Peer Review option (SPR)</u> is available for the reviewer. You can choose to sign with your name the review.

* <u>Portable peer review (PPR)</u>. Your review report get wrapped up in a Portable Peer Review report (<b>PPR report</b>) and transferred to consecutive venues after doi registration. The <b>PPR report</b> format is conform to quality standards from the journal [Name of the Journal] and is a citable document.

Figure 5: Exemple possible d'instructions aux reviewers pour le numéro special "Open Peer Review Laboratory"
> La transition vers le bon modèle d'OPR pour une revue dépend de sa communauté : collecter les commentaires sur une plateforme pourraient être bénéfique

7 Les retours des auteurs/reviewers/éditeurs sur la procédure d'OPR testée pourraient être collectés afin d'être analysés. On peut émettre l'hypothèse que cela pourrait contribuer à accélérer l'innovation. Par exemple, pour les manuscrits rejetés, choisir de publier les rapports d'évaluation pourrait être expérimenté pendant un certain temps si de nombreux retours mettent en avant le gain de temps pour la communauté malgré les réticences qui existent.

<figure><img src="image_11.png" /><figcaption>Figure 6: Un environnement modulaire pour mettre en œuvre un workflow d'évaluation par les pairs ouverte, à la carte.</figcaption></figure>

<figure><img src="image_12.png" /></figure>
> En guise de conclusion : une analyse SWOT du workflow (WF) d'OPR présenté

## STRENGTHS (+)

* Avec ce WF la communauté scientifique d'une revue contribue à faire évoluer les modalités de l'évaluation par les pairs et les standards d'éthique.

* Tester/évaluer des modèle d'OPR est une pratique reconnue de la communauté scientifique. Par ex un congrès sur l'évaluation et la publication scientifique affiche comme thème d'intérêt : « Assessment and testing of models of peer review and editorial decision-making and workflows used by journals, publishers, funders, and research disseminators » http://doi.org/10.1001/jama.2021.16596

* Ce WF participe au développement de l'écosystème des infrastructures de la science ouverte au niveau national (Hal, DataInrae, PCI) ou Européen (Zenodo).

## WEAKNESSES (-)

* Charge de travail augmentée pour les éditrices, procédure avec interventions humaines nombreuses (pas d'automatisation). Risque d'augmenter le délai de publication.

* Poste ou recrutement de cdd indispensable.

* Les bonnes pratiques par rapport aux infrastructures de la Science Ouverte sont à developer et les liens entre revues et Infrastructures à renforcer.

## OPPORTUNITIES (+)

* Ce WF est une opportunité pour fédérer les revues qui s'engagent dans l'action pour aller vers l'OPR au niveau INRAE voire au niveau National.

* Ce WF est une opportunité pour envisager de co-construire avec un fournisseur d'outils de publication avec code source ouvert un workflow automatisé. Exemple : envisager un partenariat avec Coko (Collaborative Knowledge Foundation) pour peut-être #PublierAutrement en 2027?

## THREATS (-)

* Les publishers proposent des solutions d'OPR "clé en main" qui ne demandent pas que le développement soit porté par les éditrices INRAE. Le publisher peut apparaître comme le chemin vers l'OPR où la revue bénéficie de l'accompagnement le plus réaliste par rapport aux moyens dont la revue dispose.
> Fin !

Merci pour votre attention

<figure><img src="image_13.png" /></figure>