# L'évaluation par les pairs des travaux de recherche : un processus essentiel, mais imparfait et mal-aimé
## Peer Review of Research Papers: Essential but Imperfect and Unappreciated

Sylvie Cossette and Mélina Bernier

<figure><img src="image_1.png" /></figure>

Volume 5, Number 1, 2022

URI: https://id.erudit.org/iderudit/1090526ar

DOI: https://doi.org/10.7202/1090526ar

See table of contents

Publisher(s)

Réseau de recherche en interventions en sciences infirmières du Québec
(RRISIQ)

ISSN

2561-7516 (digital)

Explore this journal

Cite this document

Cossette, S. & Bernier, M. (2022). L'évaluation par les pairs des travaux de recherche : un processus essentiel, mais imparfait et mal-aimé. *Science of Nursing and Health Practices / Science infirmière et pratiques en santé*, 5(1), 1-9.
https://doi.org/10.7202/1090526ar

<figure><img src="image_2.png" /></figure>
ÉDITORIAL

EDITORIAL

L'évaluation par les pairs des travaux de recherche : un
processus essentiel, mais imparfait et mal-aimé

Peer Review of Research Papers: Essential but Imperfect and Unappreciated

**Sylvie Cossette** https://orcid.org/0000-0001-5840-9122, Ph. D., inf., Professeure associée, Faculté des sciences infirmières, Université de Montréal, Centre de recherche de l'Institut de cardiologie de Montréal, Rédactrice en chef, *Science of Nursing and Health Practices* – *Science infirmière et pratiques en santé*, Réseau de recherche en interventions en sciences infirmières du Québec, Québec, Canada

Mélina Bernier, M.A., Coordonnatrice de rédaction et de production, *Science of Nursing and Health Practices* – *Science infirmière et pratiques en santé*, Faculté des sciences infirmières, Université de Montréal, Réseau de recherche en interventions en sciences infirmières du Québec, Québec, Canada

Correspondance | Correspondence:

Sylvie Cossette, Ph. D., inf.

sylvie.cossette.inf@umontreal.ca
L'évaluation par les pairs (peer review) comme nous la connaissons aujourd'hui, qui consiste à soumettre des manuscrits pour examen à un groupe d'experts externes à l'équipe éditoriale, tient son origine de la mi-19ᵉ siècle (Spier, 2002). Elle vise à en assurer du mieux possible la fiabilité scientifique et éthique. Le recours à l'évaluation par des pairs, dans divers formats (Baillot et al., 2022), est encore le mode privilégié d'évaluation de la plupart des revues scientifiques.

Il est généralement admis que ce processus est essentiel et se doit d'être réalisé avec minutie et diligence. L'évaluation permet, dans la mesure du possible, d'éviter de diffuser des travaux manquant d'intégrité scientifique (incluant la qualité scientifique) ou dont l'originalité ou la découverte sont évaluées trop faibles pour en justifier leur diffusion à large échelle. S'attardant à l'originalité et à la pertinence de la présentation des travaux, l'évaluation permet d'éclairer judicieusement les décisions subséquentes en ce qui a trait aux futures recherches à mener. Au bout du processus, cet examen aura peut-être contribué aux décisions politiques au su de ces nouvelles connaissances fondées scientifiquement. Ce processus permet aussi de rectifier certains aspects de la présentation des travaux qui parfois ne peuvent être détectés que par l'analyse d'une personne autre que l'auteur ou l'autrice. Il demeure que le processus est imparfait : il peut entraîner un refus de publication alors que la recherche était fondée et valide, mais trop inédite ou la présentation trop différente de ce que l'on conçoit habituellement; il peut aussi mener à des publications qui peut-être n'auraient

pas dû l'être, comme cela arrive lorsqu'un article est retiré à la suite de manquements graves.

Recevoir les évaluations de ses travaux pour un auteur ou une autrice, lorsqu'elle est louangeuse, est gratifiant puisque la valeur des travaux est reconnue par les pairs. Il arrive aussi que de recevoir une évaluation menant à une demande de révision importante, voire à un refus, suscite de la déception. Reconnaissons que les efforts incommensurables pour la création de la recherche expliquent une partie de ce phénomène. Une revue scientifique doit adopter des standards élevés de clarté des idées présentées afin que les résultats de la recherche et ses implications soient intelligibles.

Les enjeux touchent également les pairs qui examinent les manuscrits. En effet, ce processus fonctionne en grande partie grâce à la contribution volontaire et bénévole de personnes expertes qui acceptent de réaliser ces évaluations. Les motifs pour le faire sont très personnels, puisque peu de reconnaissance officielle existe. Parmi les motifs, on retrouve la perception de l'évaluateur ou de l'évaluatrice que cela fait partie de son rôle ou encore le désir de contribuer à la diffusion d'une science fiable.

Les modalités des évaluations varient selon les disciplines et ont grandement évoluées avec le temps dans le domaine de la santé. On observe maintenant un spectre de modes; du mode d'évaluation à double insu (actuellement celui de la revue *Science infirmière et pratiques en santé*) jusqu'à un mode complètement ouvert et continu où les deux parties collaborent et discutent des éléments d'amélioration souhaités pour déterminer le contenu et la forme de la publication. Peu importe le format de
l'évaluation, le texte original est souvent modifié pour sa publication finale.

La revue *Science infirmière et pratiques en santé* a introduit des moyens pour reconnaître l'apport des évaluateurs et évaluatrices : 1) donner l'information de chacune des évaluations (anonymes), 2) fournir l'information de la décision finale, 3) fournir la liste des évaluations faites durant la dernière année pour cumul dans leur porte-folio. Un récent sondage en ligne piloté par la revue indique que ces deux premières actions sont considérées (moyennement et très) comme importantes par 30-70% des répondants et répondantes (n=69). D'autres moyens seront mis en place telle la publication annuelle des noms des personnes qui ont évalué dans le numéro de fin d'année de la revue.

L'évolution des formes d'évaluation par les pairs se poursuivra certainement dans les prochaines années d'où l'importance pour la communauté scientifique de s'impliquer dans les voies à privilégier. Très concrètement, comment faire reconnaître cette contribution essentielle à sa juste valeur dans la trajectoire de carrière en recherche? Comment inclure ce travail d'érudition dans la formation étudiante, autant pour préparer les futurs chercheurs et chercheuses à recevoir des évaluations que pour les préparer en tant qu'évaluateurs et évaluatrices? Ce domaine est en transformation et il existe des outils de formation en évaluation (voir par exemple FOSTER Platform). C'est en discutant et en proposant de nouvelles avenues que les communautés de la recherche peuvent contribuer à aiguiller ce processus.

Nous tenons à remercier les personnes qui contribuent à ce travail essentiel, processus parfois mal-aimé et trop peu reconnu par les mécanismes d'appréciation

et de reconnaissance de la production scientifique.

****************

Le présent numéro informe les pratiques en santé dans trois domaines : la santé des femmes et des familles (Leblanc et Lemire; Lavallée et al.; Pariseau-Legault et al.), la santé mentale (Pelosse et Pariseau-Legault) et l'organisation des soins et des services (Rapin et al.) Voici un résumé des articles par ordre d'apparition des collections.

## ARTICLES DE RECHERCHE EMPIRIQUE

1) Nancy Leblanc et Rachelle Lemire s'attardent à la perception maternelle de la qualité de vie d'un enfant né extrêmement prématuré. Cette étude révèle que le fonctionnement physique constitue la dimension de la qualité de vie la plus optimale, alors que le fonctionnement émotionnel représente la dimension la moins optimale. L'étude démontre, de façon globale et selon la perception maternelle, que la qualité de vie de ces enfants est considérée comme bonne, malgré leur vulnérabilité à la naissance.

2) Comment l'obligation de signalement aux services de protection de l'enfance est-elle intégrée à la pratique infirmière en soins primaires? L'article de Pierre Pariseau-Legault et son équipe décrit le rôle perçu par les infirmières à l'égard de la prévention de la maltraitance auprès des enfants. Par ses travaux de recherche, cette équipe explore le processus de mise en œuvre de l'obligation de signalement aux services de protection de l'enfance. Une analyse situationnelle et cartographique d'entrevues semi-dirigées auprès d'infirmières a permis de constater que l'élément déterminant ce processus de signalement relève de l'exercice d'un contrôle sur la situation et sur
ses conséquences anticipées par le personnel infirmier.

## ARTICLES DE MÉTHODOLOGIE ET DISCUSSION THÉORIQUE

3) Andréane Lavallée et son équipe rapportent le processus de développement d'une nouvelle intervention infirmière. Leur méthode est fondée sur des lignes directrices reconnues pour le développement et l'évaluation d'interventions complexes en santé. L'intervention, qualifiée de « participation guidée », vise à améliorer la sensibilité maternelle et le développement neurologique des nouveau-nés prématurés à l'unité de soins intensifs néonatals.

4) Par la présentation d'une méthode d'opérationnalisation de mesures de la performance sensibles aux soins infirmiers à partir de données de routine et d'un entrepôt de données, Joachim Rapin et collègues proposent une approche systématique et transparente pour produire ce type de mesures. En effet, l'opérationnalisation de ces mesures varie et elles sont parfois sous-optimales et difficiles d'accès pour les gestionnaires et le personnel infirmier, lit-on dans cet article, dont les travaux sont issus d'un processus rigoureux, itératif et collaboratif au Centre Hospitalier Universitaire Vaudois de Lausanne en Suisse. Ainsi, la présentation de cette méthode pourrait permettre à d'autres équipes de bonifier l'opérationnalisation de telles mesures.

## ARTICLE DE PROTOCOLE DE RECHERCHE

5) David Pelosse et Pierre Pariseau-Legault présentent le protocole d'une recherche visant à comprendre l'expérience de la coercition et des pratiques de soutien à l'exercice des droits en soins psychiatriques selon la perspective des personnes vivant

avec une problématique de santé mentale. Une analyse phénoménologique interprétative permettra de documenter le soutien à l'exercice des droits et contribuera à la compréhension des pratiques infirmières du point de vue des personnes concernées.

## Éditorial invité

Nous avons le privilège de présenter l'éditorial de Vincent Larivière, pionnier international dans le monde de l'édition numérique. Son engagement envers la diffusion de connaissances scientifiques contribue de façon remarquable à l'évolution de ces pratiques, particulièrement dans le monde du numérique (Larivière 2020; Larivière et Sugimoto, 2019; Larivière et al., 2015) et de la diffusion des connaissances en français (Larivière et Riddles, 2021).

## À venir dans un prochain numéro spécial

La revue *Sciences infirmières et pratiques en santé* est enchantée du partenariat établi avec le *Secrétariat international des infirmières et infirmiers de l'espace francophone (SIDIIEF)*, qui tient son 8e congrès international en octobre 2022 à Ottawa en partenariat avec l'Institut du Savoir Montfort. Cet événement de premier plan unit des milliers d'infirmières et d'infirmiers de partout dans le monde. Il s'agit d'une plateforme francophone pour le partage des savoirs sur les pratiques en santé. Cet événement est unique par cette contribution et la présence d'acteurs et d'actrices incontournables autour des avancées de la profession infirmière. La revue publiera des abrégés de cette conférence dans un numéro spécial du congrès.

*Pour conclure*, le monde a changé, disons-le encore une fois, car le changement ne cesse depuis que le monde est monde. Depuis 2020, nous avons été mis face à des
enjeux qui étaient pour la plupart mis de
côté ou sous la couverte. L'année 2022-23
sera-t-elle une année charnière de la
publication numérique? Dans le monde du
soin numérique? Dans le monde de la
publication et du financement du libre
accès? Les défis sont multiples et des
investissements doivent être rendez-vous
pour assurer la pérennité et la qualité des
revues en libre accès dans le domaine des
pratiques en santé.

Notre prochain rendez-vous : la publication
d'abrégés sélectionnés qui seront présentés
au congrès du SIDIIEF !

EDITORIAL

The peer review process as we know it
today — submitting manuscripts for scrutiny
to a group of experts outside the restricted
circle of the editorial team — dates back to
the mid-19th century (Spier, 2002). The
purpose is to ensure that papers published
are scientifically and ethically trustworthy.
Peer review, in a variety of models (Baillot et
al., 2022), remains the method of
assessment favoured by most scientific
journals.

It is generally acknowledged to be an
essential process that must be carried out
meticulously and diligently. Peer review is
aimed at preventing, as far as possible, the
publication of papers lacking scientific
integrity or scientific quality, and those
whose originality or discoveries are deemed
too weak to justify wide dissemination. The
process — which also considers papers'
originality and the relevance of their
presentation — enables judicious decisions

to be made about future research. At the
end of the process, this scrutiny could
contribute to political decisions in light of the
new scientifically valid knowledge. The
process also makes it possible to rectify
certain aspects of the way research is
presented, which can sometimes be
detected only by someone other than the
author. Nevertheless, the process is
imperfect: it can result in a paper being
rejected for publication when the research is
valid and substantiated, but unprecedented,
or presented in a way that is too divergent
from the norm. It can also lead to the
publication of papers that should have been
rejected, as in the case of articles that are
subsequently withdrawn because of serious
flaws.

For authors, it is gratifying to receive
reviews that praise their work, since they
indicate that the value of their research is
recognized by their peers. But reviews can
lead to disappointment when accompanied
by requests for substantial revision, or even
a rejection. In either case, the authors'
response is partly due to the immeasurable
effort involved in creating research. A
scientific journal must adopt high standards
for the clarity of ideas presented so that
research results, and their implications, are
intelligible.

The peers who examine manuscripts
are also an important factor. The process
largely works thanks to the voluntary, unpaid
contribution of the experts who agree to
conduct reviews. Their reasons for doing so
are highly personal, because there is little
official recognition. Among these reasons is
the reviewer's perception that this work is
part of their role, or a desire to contribute to
the dissemination of reliable science.

The conditions under which reviews are
conducted vary depending on the discipline,
and in the field of health sciences they have
changed greatly over time. We now see a
spectrum of models ranging from the
double-blind review (currently used by the
journal *Science of Nursing and Health
Practices*) to a completely open, continuous
model in which both parties collaborate and
discuss desired improvements to determine
the paper's form and content. Regardless of
the type of review, the original text is often
amended for final publication.

*Science of Nursing and Health Practices* has introduced ways of recognizing the contribution of reviewers: 1) providing information on each (anonymous) review, 2) providing information on the final decision, 3) providing a list of reviews carried out during the past year for filing in their portfolio.

A recent online survey conducted by the
journal found that the first two methods are
seen as (moderately and very) important by
30-70% of respondents (n=69). Other
methods will be introduced, such as annual

publication of the names of reviewers in the
journal's end-of-year issue.

Models of peer review will certainly
continue to change in the coming years,
underlining the importance for the scientific
community of getting involved in the best
methods adapted to contexts of publications
and fields of research. Very specifically, how
can the essential contribution made by
reviewers be given full credit in a
researcher's career path? How can this
erudite work be covered in student training
to prepare future researchers both to
receive reviews and to act as reviewers
themselves? The field is changing and there
are tools for reviewer training (see for
example FOSTER Platform). Research
communities can contribute to guiding this
process by discussing and proposing new
avenues.

We wish to thank those who contribute
to this vital work — a process that is often
underappreciated and gets insufficient
credit through the channels for recognizing
scientific production.

****************

**This issue** provides information on
practice in three fields of healthcare:
women's and families' health (Leblanc &
Lemire; Lavallée et al.; Pariseau-Legault et
al.), mental health (Pelosse & Pariseau-
Legault) and the organization of care and
services (Rapin et al.) Here is a brief
description of the articles in order of
appearance of the issue summary.

EMPIRICAL RESEARCH ARTICLES

1) Nancy Leblanc and Rachelle Lemire look at mothers' perception of the quality of life of children born extremely prematurely. Their study found that physical functioning is the most optimal dimension of the quality of
life, whereas emotional functioning is the
least optimal dimension. The study shows
that, overall and as perceived by mothers,
these children's quality of life is considered
good, despite their vulnerability at birth.

2) How is the obligation to report to child protection services built into primary nursing care practice? The article by Pierre Pariseau-Legault and his team describes how primary care nurses see their role in the prevention of child abuse. The team's research explores the process of implementation of the duty to report cases to child protection services. A situational analysis and a qualitative mapping of semi-directed interviews with nurses found that the determining factor in this process of reporting involves the exercise of control over the situation and its expected consequences by nursing staff.

## THEORETICAL DISCUSSION AND METHODOLOGY ARTICLES

3) Andréane Lavallée and her team report on the development process of a new nursing intervention. Their method is based on guidelines for the development and assessment of complex healthcare interventions. The intervention, termed “guided participation,” is designed to improve maternal sensitivity and the neurological development of premature newborns in the neonatal intensive care unit.

4) By presenting a method of operationalizing nurse-sensitive performance measures based on routine data and a data warehouse, Joachim Rapin and his colleagues propose a systematic, transparent approach for producing such measures. Operationalization of these measures varies and they are sometimes suboptimal and difficult to access for

managers and nursing staff, as we learn from
the authors, whose research was the result
of a rigorous, iterative collaborative process
at the *Centre Hospitalier Universitaire
Vaudois* in Lausanne, Switzerland. Their
presentation of this method could enable
other teams to improve operationalization
of such measures.

## RESEARCH PROTOCOL ARTICLE

5) David Pelosse and Pierre Pariseau-Legault present a research protocol aimed at understanding the experience of coercion and practices to support the exercise of rights in psychiatric care from the perspective of persons living with mental health problems. An interpretative phenomenological analysis is used to document support for the exercise of rights and will contribute to the understanding of nursing practices from the point of view of the persons concerned.

## Guest Editorial

It is our privilege to feature an editorial by Vincent Larivière, an international pioneer in the world of digital publishing. His dedication to the dissemination of scientific knowledge has made a remarkable contribution to the developments, particularly in the digital world (Larivière 2020; Larivière & Sugimoto, 2019; Larivière et al., 2015) and in the dissemination of knowledge in French (Larivière & Riddles, 2021).

## In an Upcoming Special Issue

*Science of Nursing and Health Practices* is delighted with the partnership it has established with the *Secrétariat international des infirmières et infirmiers de l'espace francophone (SIDIIEF)*, which is holding its 8th world congress in Ottawa in October 2022, in partnership with the
Institut du Savoir Montfort. This top-tier event brings together thousands of nurses from all over the world. It is a French-speaking platform for sharing knowledge about healthcare practices and research. This fact, together with the presence of essential actors focusing on advances in the nursing profession, makes the event unique. The journal will publish abstracts from the conference in a special issue of the congress.

In conclusion, the world has changed. (Of course, the world has never stopped changing since the beginning of time, but the observation is relevant in the current context.) Since 2020, we have been brought face-to-face with issues that had hitherto mostly been set aside or swept under the carpet. Will 2022-23 mark a turning point in digital publication? In the world of digital healthcare? In the world of the open-access publishing and financing? The challenges are many, and investments will be needed to ensure the survival and the quality of open-access journals in the field of health practices.

Next up: publication of select abstracts from the SIDIIEF congress!

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>
Baillot, A., Pecqueux, A., Poivret, C., Barthonnat, C. et Julie Giovacchini. (2022, 10 février). *Comment l'évaluation ouverte renouvelle-t-elle la conversation scientifique? Chamboulé par la pandémie, le modèle de publication dans le monde académique actuel s'ouvre à de nouvelles possibilités.* https://www.affairesuniversitaires.ca

FOSTER Platform. *Open Peer Review.* This course will introduce you to Open Peer Reviewing and let you know how you can get started with it. https://www.fosteropenscience.eu/learning/open-peer-review/#/id/5a17e150c2af651d1e3b1bce

InterAcademy Partnership. (2022). *Lutte contre les revues et les conférences scientifiques prédatrices. Rapport de synthèse, 1-27.* https://www.interacademies.org/sites/default/files/2022-03/6.%20Summary%20report%20-%20French%20.pdf

Larivière, V. (2020). Éditorial : le contrôle corporatif nuit à la diffusion des connaissances en sciences de l'éducation. *Revue des sciences de l'éducation, 46*(3), 1-6. https://doi.org/10.7202/1075985ar

Larivière et Riddles. (2021, 19 novembre). Langues de diffusion des connaissances : quelle place reste-t-il pour le français? *Magazine de l'Acfas*. https://www.acfas.ca/publications/magazine/2021/11/langues-diffusion-connaissances-quelle-place-reste-t-il-français

Larivière, V., Sugimoto, C.R. (2019). The Journal Impact Factor: A Brief History, Critique, and Discussion of Adverse Effects. Dans Glänzel, W., Moed, H.F., Schmoch, U., Thelwall, M. (dir.), *Springer Handbook of Science and Technology Indicators* (p. 3-23). Springer. https://link.springer.com/content/pdf/10.1007/978-3-030-02511-3_1.pdf

Larivière V, Haustein S et Mongeon P. (2015). The Oligopoly of Academic Publishers in the Digital Era. *PLoS ONE* 10(6): e0127502, 1-15. https://doi.org/10.1371/journal.pone.0127502

Spier, Ray. (2002). The history of the peer-review process. *TRENDS in Biotechnology, 20*(8), 357-358. https://doi.org/10.1016/S0167-7799(02)01985-6