# Éditorial. Face aux enjeux de l'évaluation scientifique

Editorial. Facing the Challenges of Scientific Evaluation

<figure><img src="image_1.png" /></figure>

## Édition électronique

URL : https://journals.openedition.org/revuehn/3602

ISSN : 2736-2337

## Éditeur

Humanistica

## Référence électronique

« Éditorial. Face aux enjeux de l'évaluation scientifique », *Humanités numériques* [En ligne], 7 | 2023, mis en ligne le 01 juillet 2023, consulté le 14 juillet 2023. URL : http://journals.openedition.org/revuehn/3602

<figure><img src="image_2.png" /></figure>
<figure><img src="image_3.png" /></figure>

# Éditorial. Face aux enjeux de l'évaluation scientifique

## Editorial. Facing the Challenges of Scientific Evaluation

### Entrées d'index

MOTS-CLÉS : humanités numériques

KEYWORDS: digital humanities

1

« A-t-on encore besoin de l'évaluation par les pairs ? » se demandait en mai dernier Vincent Larivière dans une conférence présentée au congrès de l'ACFAS. Le débat sur l'évaluation scientifique – ses protocoles, ses usages, et son principe même – n'est pas nouveau : pour ses partisans, le travail d'évaluation est un gage de scientificité et de sérieux, garantissant la qualité des contenus publiés par l'éditeur. Pour ses détracteurs, il s'agit d'un exercice convenu et faillible, sur lequel les revues s'appuient pour asseoir leur légitimité, sans plus se soucier de mettre en place les conditions d'une conversation savante entre pairs, ce qui est pourtant la fonction que les premières revues scientifiques avaient l'ambition d'assumer. En tant qu'acteurs et actrices de l'édition et de la recherche, nous nous trouvons en réalité pris dans des injonctions contradictoires, prompts à relever et déplorer les échecs de l'évaluation, mais incapables de nous en passer, faute de voir une autre solution véritablement viable. Aussi avons-nous décidé de lui consacrer cet éditorial, où nous exposons notre politique en matière d'évaluation, les défis que suscite cette étape essentielle du processus éditorial, les expérimentations lancées pour améliorer aussi bien la qualité de nos publications que l'interface, humaine et technique, offerte aux auteurs et aux évaluateurs – et, oui, aux autrices et évaluatrices, qui sont au moins aussi nombreuses, même si la langue française demande encore quelques ruses pour allier la lisibilité à la réalité.
2

Cependant, avant d'entrer dans le vif de ce sujet, il nous revient l'agréable devoir de remercier les éditeurs invités de ce troisième numéro thématique, Sylvain Laubé et Muriel Guedj. Si les questions traitées sont déjà intervenues dans de précédents articles de la revue, elles sont ici liées pour ouvrir une passionnante réflexion sur le devenir numérique du patrimoine matériel et culturel à l'âge des images, souvent en libre accès, et des référentiels ou ontologies, couramment interconnectés. Nous vous recommandons d'entrer dans ce recueil en vous laissant guider par son introduction, « Pratiques de modélisation du patrimoine : constats et perspectives ». Comme à l'accoutumée, nos collègues invités ont partagé avec nous la responsabilité de choisir les textes et les personnes qui les ont lus, d'un regard critique, pour nous aider à constituer un tel numéro. Voici comment ce processus s'organise.

3

## L'évaluation, d'étape en étape

Au sein de notre rédaction, le travail d'évaluation – car il s'agit bien de cela : un travail, sans doute insuffisamment reconnu, qui demande à la fois rigueur et disponibilité – commence dès la réception d'une proposition d'article sur notre plateforme OJS. Une première lecture est effectuée par un membre du comité de direction, qui deviendra le « référent» du texte et en assurera le suivi jusqu'à la publication. Le référent a pour tâche de contrôler la recevabilité de l'article : adéquation au champ de la revue et conformité minimale avec les usages scientifiques (présence de références à des travaux antérieurs, perspective analytique et non seulement descriptive ou narrative, etc.). Assisté par le reste du comité, il lui revient ensuite de trouver des experts capables d'évaluer le texte, tout en évitant les conflits d'intérêts. C'est à cette étape que l'on essuie parfois de nombreux refus, courtois ou tacites, tant le travail d'expertise est devenu écrasant pour l'ensemble de la communauté scientifique, dans toutes les disciplines : il faut en général contacter cinq ou six personnes pour recevoir deux évaluations – mais il nous est arrivé d'atteindre et d'attendre dix demandes ! Le problème s'accentue quand on s'efforce, comme c'est le cas pour la revue *Humanités numériques*, d'équilibrer les points de vue technique et disciplinaire – car les articles que nous recevons sont bien souvent de nature mixte, à cheval entre des considérations épistémologiques et technologiques, et cherchent à établir des résultats ou à proposer des démarches adéquates dans un champ d'activité ou pour un corpus spécifique.

4

Or, tout particulièrement dans une communauté où le retour d'expérience constitue un genre à part entière, la forme des articles proposés peut parfois dérouter les évaluateurs et les évaluatrices que nous sollicitons, d'autant plus que le champ des humanités numériques est parfois mal connu de collègues dont l'expérience scientifique est pourtant précieuse. Ainsi sommes-nous confrontés à un déséquilibre entre le nombre d'experts possibles, le temps dont ils disposent, décroissant, et le nombre d'articles à évaluer, croissant. Enfin, comme toutes les revues savantes – et peut-être d'autant plus ici, en raison de l'équilibre recherché entre une lecture disciplinaire et une lecture plus technique –, il n'est pas rare que nous recevions des expertises diamétralement opposées. Le
5

comité de direction opère alors un choix fondé sur l'enracinement dans
le champ des humanités numériques, ou demande un troisième avis
extérieur.

Que font les experts ?

Pour notre revue, qui s'adresse à la communauté francophone des hu-
manités numériques, relativement réduite malgré son dynamisme, le
système d'évaluation en double aveugle se révèle souvent artificiel : nous
nous côtoyons toutes et tous, sans parler du fait que les articles sont
couramment ancrés dans un projet cité d'emblée, référencé dans la bi-
bliographie et présenté en ligne. C'est pour cette raison notamment que
nous avons opté dès la création de la revue pour un système d'évaluation
en simple aveugle, ce qui peut surprendre certains de nos pairs, actifs
dans des disciplines où l'anonymat complet est la norme. Comme
d'autres revues, Humanités numériques a constitué ces dernières années
ses propres listes d'experts, en partie composées d'anciens auteurs et au-
trices, en partie de collègues appartenant aux réseaux internationaux
des institutions du champ. Cette solution pratique n'est cependant pas
sans inconvénient : à nous cantonner à un cercle de proches, d'amis in-
tellectuels, ne courons-nous pas le risque de produire des numéros trop
homogènes et consensuels ? La pertinence de la revue est ainsi large-
ment tributaire de la vivacité de notre communauté. Sur ce point, le ré-
cent colloque de l'association Humanistica, organisé cette année à
Genève, nous a donné de l'espoir : de nombreux jeunes chercheurs et
chercheuses ont participé et nous y avons rencontré des collègues qui
n'ont pas encore contribué à cette aventure collaborative mais paraissent
des interlocuteurs tout désignés. Du reste, en parcourant la liste des per-
sonnes qui ont participé à l'évaluation depuis 2020, nous constatons avec
plaisir que la diversité des profils, des institutions et des lieux d'exercice
est réelle.

6

Qu'attendons-nous d'une experte ou d'un expert ? Évidemment, une
compétence éprouvée dans son domaine, mais également un esprit d'ou-
verture qui puisse s'accommoder d'une méthode nouvelle, d'un point de
vue singulier. L'évaluation n'est pas une correction, ni une normalisa-
tion : elle suppose d'identifier dans un texte le point pertinent, l'avancée,
l'originalité – mais aussi le sérieux, la maîtrise d'un cadre de savoir préa-
lable, la rigueur dans le raisonnement et dans la manipulation des don-
nées. Dans le formulaire d'évaluation, nous posons un certain nombre de
questions techniques – dont la liste est disponible dans nos indications
en ligne sur la procédure de sélection et d'évaluation –, mais faisons la
part belle à deux rubriques ouvertes : les « points forts » et les « points
faibles », dont chacune et chacun s'empare à sa façon pour étayer sa re-
commandation et contribuer à améliorer le texte. Il est toujours pos-
sible, du reste, de joindre à l'évaluation un fichier commenté.
# Retour au comité

7

Quel est, à l'inverse, le rôle de la revue par rapport à l'expert et à l'autreur du texte évalué ? Il consiste d'abord à mettre en relation des chercheurs, en suscitant des rencontres par lecture interposée. La revue se doit de contrôler le travail des évaluateurs, au même titre que les modifications apportées par l'auteur. Elle se doit d'écouter les uns et les autres et, parfois, de faire preuve de diplomatie. Au sein de notre comité de direction, nous discutons les évaluations reçues. Car, si les comités des revues ne peuvent prétendre à une expertise universelle et doivent donc s'appuyer sur les évaluations pour prendre leurs décisions, ils doivent le faire avec suffisamment de recul pour avoir un regard critique : tel rapport est-il honnête, sérieux, juste, assez précis et, tout simplement, utile ? Telle experte a-t-elle compris la ligne de la revue ? Dans une version révisée (une « version 2 », voire une « version 3 »), les auteurs ont-ils vraiment tenu compte des demandes des experts ? Nous nous assignons donc un rôle de garant de la bienveillance à l'égard des auteurs en atténuant d'éventuelles formulations trop incisives. Si la critique doit être nette, surtout quand il s'agit de rendre compréhensible, voire utile, un refus, l'agressivité est inacceptable. Cependant, les surprises désagréables sont plutôt rares et l'étape de la « synthèse » vise surtout à mettre en relief les éléments que le comité estime prioritaires ou qu'il considère devoir ajouter aux évaluations reçues.

8

Peut-être faudrait-il, pour relever sereinement le défi de l'évaluation au sein de nos revues savantes contemporaines – typiquement des revues numériques, arrimées à des plateformes qui ajoutent des contraintes au protocole d'évaluation –, commencer par réfléchir collectivement aux défauts de l'armure. Comment gérer les expertises qui se passent mal ? Comment les revues et les comités peuvent-ils lisser l'évaluation, pondérer, compenser une évaluation mal faite ? Sommes-nous déjà habitués à l'usage d'une interface, d'un CMS, capable d'assurer la gestion complète du flux éditorial ? Quelles sont les conséquences du fait de déléguer le rôle éditorial à des éditeurs invités ? Les conversations informelles que nous pouvons avoir entre éditrices et éditeurs font penser qu'il y a là matière à rédiger un véritable livre noir de l'évaluation, qui serait aussi le moyen d'un discours réaliste.

9

Dans un tel contexte, le principe de l'évaluation en double ou simple aveugle constitue-t-il une protection ? Et une protection pour qui, finalement ? Pour l'autrice qui sera évaluée en toute impartialité, sans risque de vengeance, représailles ou conflit d'intérêts futur ? S'agit-il également de protéger l'experte, qui peut se permettre une sévérité et une rigueur plus importantes que si elle risquait d'être identifiée par son réseau de travail ? Mais, dans ce cas, n'est-ce pas lui conférer un pouvoir trop important, puisque l'anonymat peut donner un sentiment d'impunité qui justifiera des écarts de langage, voire des manquements déontologiques ? Notre monde universitaire fourmille de témoignages amers sur le trop célèbre expert prodigue en formules assassines, tantôt excessive-ment sévère, tantôt libéral lorsque l'on cite ses publications. C'est alors le rôle de l'équipe éditoriale de contrebalancer ce pouvoir considérable donné aux pairs, dans un exercice d'équilibre délicat.
Renouer avec la conversation scientifique

10

Dans le cadre du projet REGOSO, *Humanités numériques* s'était engagée à expérimenter la chaîne éditoriale Stylo pour le traitement de quelques articles, depuis leur dépôt jusqu'à la préparation de copie, en passant par l'évaluation par les pairs. Comme nous le mentionnions dans notre *précédent éditorial*, ce volet de l'expérimentation n'a pas rencontré le succès escompté. Nous avions laissé le choix à nos évaluateurs de passer par Stylo pour annoter directement le texte de l'auteur, ou bien de remplir notre formulaire habituel. Tous ont complété le formulaire, aucun n'a investi Stylo à cette étape.

11

De même que nous n'avons pas souhaité contraindre nos évaluateurs, nous n'avons pas non plus enquêté sur les raisons qui ont poussé ces derniers à privilégier ce système d'évaluation plus traditionnel. Il faudrait partager des expériences diverses et nombreuses pour aller au-delà de l'anecdote ou des hypothèses. Nous pensons cependant que l'absence de grille d'évaluation est un avantage : le processus gagne en richesse ce qu'il perd en facilité. Bien que notre formulaire d'évaluation habituel soit peu directif, nous l'avons dit, il semble clair qu'une annotation libre rend mieux justice aux textes, qu'ils soient eux-mêmes typiques ou sortent un peu des sentiers battus de la communication scientifique. Dans une procédure si souple, nous n'aurions pas pu rencontrer le cas récent d'un article dont un évaluateur a reconnu la qualité, mais a recommandé en réponse à une question préliminaire la publication... dans une autre revue. Tout en reconnaissant les avantages de la standardisation – gain de temps et économie cognitive qui allègent la tâche des évaluateurs –, nous voyons l'intérêt d'un dispositif qui favorise, si l'on joue le jeu, un engagement plus autonome avec le texte commenté.

12

Loin de nous décourager, nous avons donc relancé l'expérimentation Stylo, sans transmettre cette fois à nos évaluateurs le formulaire d'évaluation. Nous avons encouragé les relecteurs à annoter le texte sur la page de prévisualisation des articles grâce à l'outil Hypothesis, pour lequel nous leur avions préalablement créé des comptes dédiés afin de conserver leur anonymat, conformément à notre système d'évaluation en simple aveugle. En plus d'un travail d'annotation au fil du texte, nous avons demandé à nos évaluateurs de rédiger un avis général argumenté via la fonctionnalité « Page notes » d'Hypothesis. Le résultat de cette seconde expérimentation s'est révélé bien plus concluant : les évaluateurs ont pleinement investi l'outil, et n'ont pas rencontré de difficulté notable, que ce soit sur le plan technique ou méthodologique. Mais si l'expérience est intéressante, c'est aussi parce qu'elle a permis, en s'émancipant de la traditionnelle grille de lecture et de sa médiation, de rétablir un dialogue plus spontané entre le texte et les premières personnes qui y réagissent. Une piste intéressante, en somme, pour renouer avec un idéal de conversation scientifique qui est au cœur de l'artisanat de la revue.
Le comité de direction et l'éditrice de la revue : Clarisse Bardiot, Aurélien Berra, Emmanuel Château-Dutier, Florence Daniel, Julie Giovacchini, Servanne Monjour, Sébastien Poublanc, Nicolas Thély

## Droits d'auteur

<figure><img src="image_4.png" /></figure>

Creative Commons - Attribution 4.0 International - CC BY 4.0

https://creativecommons.org/licenses/by/4.0/