# Un plan d'action pour l'édition Diamant

Lidia Borrell-Damián
Science Europe

Johan Rooryck
cOAlition S

**Lidia Borrell-Damián** : Nous avons eu l'idée d'un Plan de soutien¹ basé sur une étude commandée par cOAlition S, financée par Science Europe, et gérée par OPERAS (cf. *infra*), car il nous a semblé que le moment était venu de constituer une communauté pour renforcer le modèle du libre accès (LA) Diamant. Nous souhaitons aider cette communauté à mettre en œuvre un système mieux organisé, coordonné et financé de manière durable pour soutenir les chercheurs dans leurs efforts de diffusion. En outre, nous souhaitons fournir au modèle Diamant les moyens de développer son plein potentiel dans le contexte de la communication savante en général et de la science ouverte en particulier.

Il nous semble en outre que le moment est venu, sur le plan pratique, de développer cette communauté afin de mettre au point un ensemble commun d'actions visant à mieux définir l'écosystème de communication scientifique dans lequel évoluent les chercheurs, à aider davantage les revues et plateformes en LA Diamant qui partagent des mêmes principes, des mêmes lignes directrices et des mêmes normes de qualité, et à accroître la capacité de ces revues et plateformes à fournir des services plus nombreux et de meilleure qualité. Il s'agit d'une initiative globale qui, selon nous, est parfaite pour faire avancer la communication savante.

La voie Diamant du libre accès suppose la gratuité pour les auteurs comme pour les lecteurs. Il s'agit d'une initiative communautaire, dirigée et détenue par le monde académique, et dépourvue de toute barrière tarifaire, offrant ainsi un accès équitable à tous, ce qui est d'une importance capitale pour les résultats de la recherche. Elle implique également le concept de bibliodiversité, encore en cours de développement et prend en compte toutes les communautés savantes multilingues et multicultures, à grande et petite échelle.
Nous en savons maintenant beaucoup plus, mais c'est dans cet esprit qu'il y a environ un an, Science Europe a lancé un appel d'offres pour réaliser une étude sur le LA Diamant, afin de mieux en connaître le paysage. Nous voulions en savoir plus sur ce système qui est si fragmenté et donc si difficile à envisager dans sa globalité, de manière à offrir un espace et une voix cohérents à tous les acteurs concernés par les progrès de l'édition savante. C'est un consortium dirigé par OPERAS² qui en est sorti vainqueur. Je vais mentionner quelques résultats clés de cette étude très approfondie³.

Cette étude a porté sur 1 619 revues, et piloté des groupes de discussion et des entretiens, qui ont fait état de l'existence de 17 000 à 29 000 revues en LA Diamant. 60% d'entre elles relèvent des sciences humaines et sociales, 17 % de la médecine et 22 % d'autres disciplines scientifiques. Il est également important de noter que selon cette étude, environ 44 % des articles publiés en libre accès le sont selon le modèle Diamant, ce qui représente une taille non négligeable, à savoir 8 à 9 % du volume total des publications scientifiques, contre 10 % pour les articles en libre accès avec frais de publication. C'est un chiffre considérable, qui signale l'importance d'un secteur habituellement sous-estimé, d'autant plus que, comme Pierre Mounier l'a lui-même reconnu, son étude est loin d'être exhaustive. Peut-être la réalité est-elle donc encore plus encourageante, car nous savons que les chercheurs sont toujours plus nombreux à s'engager sur cette voie.

L'étude a permis d'identifier quatre principaux défis. Le premier d'entre eux est purement technique, nous y reviendrons plus tard. Un autre concerne la gestion. Le troisième est celui de la visibilité, que nous venons d'aborder, et le quatrième est celui de la durabilité, que certains de mes collègues ont également abordé.

Bon nombre de recommandations peuvent aider à relever ces défis. L'une des principales est que nous avons besoin de davantage d'échanges et de discussions entre les chercheurs, les bailleurs de fonds, les organismes de recherche, les bibliothèques universitaires, les presses et éditeurs universitaires, les sociétés savantes et les ministères, pour toutes les raisons présentées par Arianna Becerril. C'est sur cette base que nous avons organisé il y a deux jours la réunion d'un groupe d'experts, avec le soutien du ministère de l'Enseignement supérieur, de la Recherche et de l'Innovation français, pour donner précisément forme à ces quatre défis.

**Johan Rooryck** : Nous nous sommes en effet réunis il y a quelques jours pour discuter d'un plan d'action pour le libre accès Diamant, et la discussion était spécifiquement axée sur quatre éléments centraux.
Tout d'abord, l'efficacité. Les revues et plateformes en LA Diamant gagneraient à partager un certain nombre de ressources communes. Cela signifie qu'il faut aligner les standards qualité, de manière flexible bien sûr, car il faut tenir compte des différentes traditions disciplinaires et culturelles, ainsi que de la variété des cultures de recherche. Nous devons créer de la durabilité et des liens de confiance entre toutes les parties prenantes par le biais de normes, de politiques et de d'infrastructures partagées, ainsi que grâce à des flux de financement. Cela signifie également rendre les services techniques plus accessibles, plus interopérables et plus rationnels. Nous savons que les moyens techniques des revues Diamant existantes varient beaucoup d'une revue à l'autre et c'est un point sur lequel nous aimerions aider les éditeurs et les revues.

Nous aimerions aussi, bien sûr, créer des synergies entre les revues Diamant, notamment quand elles concernent une même discipline, une même langue ou un même lieu géographique, en fonction de leurs besoins, et via les organisations, groupes et sociétés qui existent déjà. En somme, nous souhaitons fédérer et aligner de manière flexible, sans imposer de normes extérieures, mais en invitant tout le monde à participer et à co-créer de nouvelles normes.

Le deuxième élément central est celui des standards qualité. L'application de ces standards doit bien sûr être flexible. Il ne s'agit pas d'imposer une norme unique à tous. Cependant, il est essentiel de spécifier des critères qualité pour les composantes essentielles de certaines opérations et services éditoriaux. Cela concerne, par exemple, les politiques d'examen par les pairs ou les consignes à l'intention des auteurs, ou encore ce qu'un rapporteur peut attendre, ce qu'un lecteur peut attendre, ce qu'un auteur peut attendre lorsqu'il soumet un article à une revue en LA Diamant. Nous devrions au moins disposer d'un certain socle de directives communes à toutes les disciplines et à toutes les langues, à enrichir ensuite de manière flexible. C'est pourquoi nous voulons que les normes non techniques, les normes non technologiques et les bonnes pratiques de publication en libre accès soient alignées au sein de ce que nous avons appelé provisoirement une Norme de qualité européenne pour la publication institutionnelle. Nous souhaitons également développer un outil d'autoévaluation pour permettre aux revues et aux éditeurs d'avoir un regard critique sur les standards qualité appliqués en leur sein, de façon à progresser vers le respect de cette norme.

Troisièmement, il est nécessaire de renforcer les compétences de chacun. Nous souhaitons notamment améliorer les compétences éditoriales et de gestion dans les différentes disciplines, langues et pays en créant des outils pour l'édition en LA Diamant, du matériel de formation pour les éditeurs académiques et les prestataires de
services, des normes de qualité pour les revues, auteurs et processus d'évaluation par les pairs, qui seront tous disponibles à partir d'un point d'accès central. À cette fin, nous aimerions créer un centre de ressources pour l'édition en LA Diamant, qui fournisse des services techniques, financiers et de formation pour ces revues et plateformes.

Enfin, se pose la question de la durabilité, à savoir qu'il est nécessaire de se pencher sur les flux financiers, le statut juridique et la gouvernance des revues et des plateformes en LA Diamant. Tout cela doit être pérennisé. Nous devons par exemple veiller à ce que les coûts opérationnels de l'édition Diamant soient pris en charge par un réseau d'acteurs institutionnels, semblable à ce qu'a pu évoquer Arianna Beceril. Nous devons développer des modes de financement coordonnés qui fourniront diverses ressources, tant au futur centre de ressources commun qu'aux revues, infrastructures et plateformes individuelles. Nous devons nous assurer que le statut juridique de ces différentes revues précise clairement qu'elles sont dirigées, détenues et gérées par des universitaires et que leurs titres sont légalement protégés. Cela impliquera également de mieux comprendre ce que coûte le LA Diamant, et de promouvoir la transparence des pratiques financières et administratives, de façon à informer toutes les parties prenantes. Il est clair que nous ne parlons pas seulement ici d'accès ouvert, mais de gouvernance ouverte.

En conclusion, comme mentionné précédemment, ce plan d'action a été élaboré par les participants à l'atelier du 2 février. Cet atelier a été organisé par Science Europe en collaboration avec la cOAlition S⁴, OPERAS et l'ANR⁵. Il a été sponsorisé par le ministère français de l'Enseignement supérieur, de la Recherche et de l'Innovation dans le cadre de cette conférence européenne sur la science ouverte.

Ce qui est important et encourageant, c'est que nous avons récemment appris qu'un consortium de 23 organisations s'est vu attribuer une subvention de soutien aux compétences de 3 millions d'euros dans le cadre d'Horizon-Widera⁶, afin de développer l'édition académique et l'édition Diamant en Europe. Cela contribuera certainement à la réalisation de ce plan d'action.

Cependant, nous avons bien sûr besoin d'une participation beaucoup plus importante de la part de toutes les organisations de recherche, non seulement à travers l'Europe, mais aussi à travers le monde, et c'est pourquoi nous lancerons dans les prochaines semaines un appel pour signer ce plan d'action aux organisations et revues qui seraient prêtes à le soutenir, parce que nous avons besoin de travailler ensemble à travers le monde pour faire avancer ce plan d'action pour le LA Diamant. Une prochaine conférence aura lieu en juin 2022 pour discuter de sa mise en œuvre.
Pour aller plus loin

« Notre agenda pour les deux prochaines années est de constituer un réseau solide de centres de recherche, de bailleurs de fonds, de chercheurs, d'infrastructures de recherche et de prestataires de services désireux de contribuer à la consolidation du libre accès Diamant en tant qu'option très saine pour l'édition académique. » (L. Borrell-Damián)

« Nous souhaitons également obtenir une meilleure vue d'ensemble de toutes les revues scientifiques qui existent, de leurs critères de qualité, de la manière dont elles sont subventionnées et de leur fonctionnement, de façon à mieux comprendre ce paysage complexe. » (J. Rooryck)

« Une revue certifiée de qualité est avant tout une revue gérée et détenue par les chercheurs, qui ne demande pas d'argent, ni aux lecteurs ni aux auteurs. Certains services tels que le DOAJ peuvent fournir une évaluation plus précise de ces revues. »
(J. Rooryck)

« Toutes les disciplines sont concernées par le LA Diamant. Il s'agit simplement pour les chercheurs de changer leur façon de penser à la diffusion de leurs travaux, et de s'approprier cette diffusion. » (L. Borrell-Damián)

Références

1. Zoé Ancion et al., « Action Plan for Diamond Open Access », 2 mars 2022, https://doi.org/10.5281/zenodo.6282403.

2. « Operas », OPERAS, consulté le 4 septembre 2017, http://operas.hypotheses.org/.

3. Jeroen Bosman et al., « OA Diamond Journals Study. Part 1: Findings » (Zenodo, 9 mars 2021), https://doi.org/10.5281/zenodo.4558704 ; Becerril, Arianna et al., « OA Diamond Journals Study. Part 2: Recommendations » (Zenodo, 9 mars 2021), https://doi.org/10.5281/ZENODO.4562790.

4. « cOAlition S », consulté le 16 mars 2022, https://www.coalition-s.org.

5. « Agence nationale de la recherche », consulté le 16 mars 2022, https://anr.fr.

6. « Horizon-Widera », consulté le 16 mars 2022, https://ec.europa.eu/info/funding-tenders/opportunities/portal/screen/opportunities/topic-details/horizon-widera-2021-access-03-01.
<figure><img src="image_28.png" /></figure>
Évaluation de la recherche –
Première session
<figure><img src="image_29.png" /></figure>
Les intersections entre DORA,
science ouverte et équité

Stephen Curry
Imperial College London et DORA

En 1969, la BBC a diffusé une série télévisée historique intitulée *Civilisation*¹. C'était l'une des premières séries télévisées à être diffusées en couleur et l'historien de l'art Kenneth Clark y retraçait l'essor de la civilisation de l'Europe occidentale à travers l'examen de son art au fil des siècles. Dans l'un des premiers épisodes, il remarque qu'à trois ou quatre reprises dans l'histoire, l'évolution humaine a connu une accélération impensable en temps normal. L'Europe du XIIe siècle, notamment, a connu une accélération de ce type, avec un sursaut de créativité architecturale ayant donné naissance à des trésors comme Notre-Dame. Il observe également que ces accélérations sont favorisées par une confiance accrue en l'avenir, nécessaire pour faire aboutir un projet à long terme. Sans vouloir y attacher trop d'importance, je pense que nous nous trouvons à un moment similaire de l'histoire en ce qui concerne l'évaluation de la recherche et la science ouverte.

Le développement de cette opportunité à laquelle il me semble que nous sommes
aujourd'hui confrontés, et dont cette conférence discute, a été identifié dès 1999
dans un article de Michael Gibbons qui analysait les interactions entre la science,
l'industrie et le gouvernement². Il reconnaissait déjà à l'époque qu'un nouveau
contrat était nécessaire pour faire en sorte que les connaissances scientifiques
soient à la fois robustes d'un point de vue social et pertinentes pour la société,
ce qui exigeait que leur production soit à la fois transparente et participative.
Ce document a été publié avant que les termes « accès ouvert » ou « science
ouverte » ne passent dans le langage courant, mais en réalité, l'ensemble du
document est imprégné de cette idée d'ouverture, et il me semble que c'est la
réalisation de cette vision que nous essayons aujourd'hui de faire avancer.

Les idées dont Gibbons a parlé ont commencé à entrer dans le développement
des politiques publiques. Depuis, un certain nombre de documents clés ont
parlé de l'évaluation de la recherche et de la science ouverte. Au départ, et la
Déclaration de San Francisco sur l'évaluation de la recherche (DORA)³ a été l'une
des premières à le faire, la politique et les recommandations qui portaient sur
l'évaluation de la recherche ne parlaient pas explicitement de la science ouverte. Celle-ci n'est pas vraiment mentionnée dans DORA, ni dans le Manifeste de Leiden⁴, ni par le mouvement *Metric Tide*⁵, ni, je crois, dans les Principes de Hong Kong⁶. Cependant, c'est dans des déclarations et des documents politiques plus récents, comme dans un document destiné au *Global Research Council*, que le rapport d'orientation de la Commission européenne⁸ a aidé à planter le décor de cette conférence. Dans les recommandations de l'Unesco sur la science ouverte⁹, dont nous avons entendu parler ce matin, le lien étroit qui unit évaluation de la recherche et science ouverte est considéré comme essentiel. Je pense que nous devons développer une nouvelle vision de l'évaluation de la science si nous voulons aller de l'avant.

Pour parler de ce que nous apprécions dans la science, il me semble intéressant de prendre en compte la pensée du philosophe Michael Sandel¹⁰. Dans une conférence qu'il a donnée en 2018, il s'interroge principalement sur la politique et la société telles qu'elles sont aujourd'hui, mais il a observé, à juste titre à mon avis, que le fait que de nombreux gouvernements confient certaines de leurs politiques publiques à des organisations commerciales, comme cela a pu être particulièrement le cas dans les années 1980 au Royaume-Uni et aux États-Unis, et comme cela se reflète à mon avis peut-être aussi dans le projet européen, a conduit à un affaiblissement de l'idée de bien public ainsi qu'à une perte de foi ou une perte de vue de la responsabilité collective en vue du bien-être collectif. Il me semble que nous voulons voir revenir ces idées, non seulement dans la société dans son ensemble, mais aussi au sein des universités.

Nous avons vu que tout ce qui peut se monnayer dans le monde académique est désormais fortement influencé par différentes métriques, et qu'on observe une infiltration de concepts commerciaux dans les politiques publiques d'enseignement supérieur et de recherche. Les gouvernements et les financeurs publics exigent légitimement que les scientifiques leur rendent des comptes, mais cette exigence s'est retrouvée liée à une multiplication excessive des métriques dans l'évaluation de la recherche, qui a entraîné de nombreux effets involontaires et néfastes. L'environnement hypercompétitif actuel est un frein à la publication, qui peut conduire à des biais vraiment importants dans les analyses d'essais cliniques, et qui relègue à l'arrière-plan de nombreuses activités académiques. Il en résulte un stress pour les chercheurs. L'accent est mis sur le quoi, et non sur le qui, le comment ou le pourquoi, et le système incite à la fraude, ce qui sape la confiance du public. Il est donc très important de contrer ces dérives.
Au sein de DORA, nous avons une vision différente de ce à quoi devraient ressembler
les valeurs de la recherche et je pense qu'elles sont largement partagées, car nous
avons entendu de nombreuses expressions similaires, et l'on constate que ces valeurs
résonnent très fortement avec ce que nous avons lu dans le rapport de l'Unesco.
Nous voulons une recherche fiable, rapidement communiquée, de haute qualité, qui
transforme notre compréhension du monde et peut le faire évoluer pour le mieux, des
chercheurs qui collaborent, qui ressentent un devoir d'attention envers les membres
de leur communauté et un système de recherche qui valorise les personnes qui le
composent, qui se soucie de leur qualité de vie et qui recherche la vigueur créative de
la diversité. Il s'agit là d'une vision très ambitieuse. Le plus difficile est de réfléchir à
la manière de mettre en œuvre cette vision et c'est là que je vois l'intersection entre
l'évaluation de la recherche et la science ouverte. Je pense et je crois personnelle-
ment que nous devons discuter de la manière dont la science ouverte peut devenir
une science meilleure, comme l'ont déjà souligné de nombreux intervenants.

Lors de la dernière session, nous avons entendu parler des preprints. Je suis un grand fan des preprints. Ils permettent une communication plus rapide. Ils se concentrent sur le contenu, et non sur le contenant. L'accès ouvert, les données ouvertes et le partage de code permettent de toucher une audience mondiale. Ils maximisent le bien public à l'intérieur et à l'extérieur du monde académique, et ont le potentiel d'augmenter le contrôle et la fiabilité des données. Ces innovations soulèvent des questions. Ce ne sont pas des solutions magiques, ce ne sont pas des remèdes miracles, comme l'ont montré les précédentes interventions qui posaient des ques- tions sur la fiabilité et l'utilisation abusive des preprints, ou sur la meilleure façon d'assurer un accès équitable à la publication pour les auteurs dans la session sur le libre accès Diamant.

En général, et je pense que c'est la position du rapport de la Commission européenne
et du rapport de l'Unesco, la science ouverte convient mieux à notre monde en muta-
tion, en rendant la science meilleure et plus pertinente pour plus de gens. Au sein de
DORA, nous jouons un rôle dans ce domaine et de plus en plus, bien que notre objec-
tif soit principalement l'évaluation de la recherche, nous devons reconnaître que nous
opérons dans un paysage complexe et qu'il y a des intersections avec la science
ouverte et son écosystème. Bien que la science ouverte ne soit pas mentionnée dans
la déclaration DORA, l'accent que nous mettons sur la reconnaissance d'un éventail
plus large de contributions à la connaissance scientifique dans le cadre des activités
de recherche et à la société dans son ensemble résonne beaucoup avec la philo-
sophie de l'érudition ouverte, et nous devons ouvrir les yeux sur les biais qui sous-
tendent l'évaluation de la recherche et continuent à propager des inégalités et des
stéréotypes historiques qui, encore aujourd'hui, excluent les femmes, les personnes
issues de minorités ethniques et les chercheurs handicapés du monde académique. De même, les considérations d'équité et d'inclusion interagissent avec l'ouverture de l'écosystème de la science ouverte en nous obligeant à nous demander à qui le monde académique est ouvert, et à l'heure actuelle il n'est pas suffisamment ouvert à tous.

Il est important de nous doter d'un plan d'action pour relever ces défis, mais nous devons être réalistes et ne pas fermer les yeux sur les pressions exercées sur le monde académique pour en fausser le système de récompense, au point parfois de décou-rager les bonnes pratiques, ainsi que sur les difficultés liées à la pression temporelle et financière imposée par certains acteurs académiques. Nous devons interagir avec les bailleurs de fonds, les gouvernements, les universités et nos chercheurs. Nous devons être très ouverts au dialogue, pour entendre leurs préoccupations concernant ces changements de paradigme. Le changement entraîne de nombreux défis variés, mais qui ne doivent pas nous faire perdre de vue notre projet, et j'entends déjà dans de nombreuses contributions précédentes la volonté de retrousser nos manches et de nous atteler à cette tâche difficile.

DORA s'associe très largement à cet effort. Notre organisme existe depuis relative-ment longtemps. Nous avons reçu un important coup de pouce financier en 2017, ce qui nous a permis d'avoir un profil beaucoup plus international. Notre financement est multiétatique et notre comité de pilotage est entièrement international, parce que nous savons que les discussions doivent se faire à l'échelle mondiale. DORA a trois priorités dans sa stratégie : promouvoir la Déclaration, en étendre la portée géogra-phique et disciplinaire, mais aussi et surtout, développer et promouvoir de bonnes pratiques. Nous souhaitons apporter une contribution très pratique à cet effort. Il ne s'agit pas seulement de critiquer les gens qui font un mauvais usage des facteurs d'impact ou d'autres indicateurs composites. Nous voulons participer à la recherche de solutions viables aux problèmes auxquels nous sommes confrontés.

Parmi les ressources développées au fil des ans, on peut citer des notes d'informa-tion, des réunions et ateliers, des webinaires, ou encore des articles. Le site web de DORA rassemble et conserve également tout un ensemble de bonnes pratiques provenant d'universités et d'organisations du monde entier. En collaboration avec SPARC Europe¹¹ et l'Association des universités européennes (EUA)¹², nous avons lancé l'année dernière une série d'études de cas. Je crois fermement à la phil-sophie selon laquelle rien ne réussit mieux que le succès. Il me semble que dans ce domaine, on constate une grande volonté d'adopter la science ouverte, mais également une grande hésitation à sauter le pas, aussi devons-nous identifier et promouvoir les acteurs les plus avant-gardistes, qui sont prêts à expérimenter, à
tirer des leçons et à partager ces leçons avec le reste de la communauté, afin de pouvoir tous avancer ensemble.

Notre organisation est extrêmement petite. Nous employons deux personnes à plein temps et un stagiaire. Ce sont des gens fantastiques qui font un excellent travail pour DORA, mais nous avons besoin de collaborer avec beaucoup d'autres organismes pour renforcer notre impact, par exemple avec la Royal Society pour travailler sur les CV narratifs¹³. Nous avons d'ailleurs organisé récemment un atelier qui s'est penché sur les CV narratifs avec un regard très critique, parce que, une fois encore, il n'y a pas de solution miracle dans ce domaine et nous devons nous méfier de tout danger introduit par la réforme des pratiques d'évaluation de la recherche, même si l'objectif est évidemment de les rendre beaucoup plus robustes et mieux adaptées à leur objectif. Nous avons contribué à l'élaboration d'une politique au sein du Wellcome Trust¹⁴ et travaillé avec l'Institut de recherche sur la recherche¹⁵.

Le projet TARA¹⁶ est l'une de nos initiatives les plus récentes et les plus passionnantes. Il est financé par Arcadia¹⁷, un fonds caritatif de Lisbet Rausing et Peter Baldwin. Il s'agit en grande partie d'un projet de développement d'infrastructures. Sa composante la plus importante est la mise au point d'un tableau de bord en ligne grâce auquel nous voulons suivre l'adoption et la mise en œuvre de pratiques responsables d'évaluation de la recherche dans le monde entier. Ce faisant, nous espérons mieux identifier et promouvoir ceux qui mettent réellement en œuvre cette réforme de l'évaluation de la recherche et les pratiques de science ouverte associées, afin d'encourager les autres. Dans l'idéal, lorsque ce système sera lancé, et une première version sera lancée cette année, nous espérons initier une intense discussion à l'échelle mondiale, et j'espère vraiment que les gens frapperont à nos portes pour nous parler des bonnes pratiques à l'œuvre dans leurs institutions qu'ils souhaitent nous voir intégrer dans ce tableau de bord.

Nous sommes très intéressés par une collaboration avec d'autres institutions, notamment la Commission européenne, et soutenons tout à fait l'avancée que représente l'Appel de Paris, mais nous reconnaissions, comme cela a été souligné auparavant, qu'il existe une résistance au changement. Nous l'avons déjà constaté avec l'annonce du Plan S, ainsi qu'avec l'annonce de changements et de réformes à l'université d'Utrecht, par exemple. Nous avons entendu dire que le Plan S est trop risqué, injuste et qu'il constitue une violation de la liberté académique¹⁸, tandis que les professeurs Poot et Mulders sont obsédés par le facteur d'impact et craignent que cela ne nuise à la science néerlandaise¹⁹. Il me semble que ces craintes sont exagérées et mal fondées, mais il est néanmoins très important que nous les entendions. Elles représentent à mon avis une véritable préoccupation de la qualité de la science en Europe
et dans le monde, et nous devons être prêts à entamer le dialogue. Je crois, comme Atul Gawande²⁰, que c'est en parlant aux gens que l'on peut faire évoluer les normes mondiales, et c'est en grande partie ce que nous faisons ici aujourd'hui.

Pour en revenir à ce par quoi j'ai commencé ma présentation, une métaphore de la mise à jour et de la trajectoire de l'histoire dont nous parlons aujourd'hui, il y a un an ou deux, la BBC a refait la série *Civilisation* qu'elle avait diffusée pour la première fois il y a 50 ans, mais elle l'a fait d'une manière beaucoup plus ouverte. Plutôt que de se concentrer uniquement sur la civilisation occidentale, la série a embrassé l'ensemble de la civilisation humaine et s'intitule donc *Civilisations*²¹ – au pluriel – et a été présentée non pas du point de vue d'un seul homme blanc mais de celui d'un large éventail d'experts, ce qui a donné beaucoup plus de valeur à ce documentaire. Cela a créé une série plus riche et beaucoup plus pertinente pour un public international. Nous devons nous inspirer de cette leçon. C'est la promesse incluse dans la science ouverte, que nous devons atteindre par le biais d'une réforme de l'évaluation de la recherche. En fin de compte, ce que nous essayons de faire ici et ce que nous espérons faire, c'est créer un *nouveau* « nouveau contrat social », pour faire référence au texte de Michael Gibbons. J'espère que, grâce à l'Appel de Paris annoncé lors de cette conférence, nous pourrons commencer à rédiger ce contrat social.

## Pour aller plus loin

« Malgré son très jeune âge, DORA a déjà acquis une importance telle qu'on la considère désormais comme la nouvelle norme en matière d'évaluation de la recherche. La déclaration a été signée par plus de 18 000 individus et 2 500 organisations. »

« La liberté académique consiste à pouvoir publier ce que l'on souhaite, en toute liberté de conscience et d'expression. Elle n'implique cependant pas forcément de pouvoir choisir la revue dans laquelle on publie, et toute recherche financée sur fonds publics entraîne la responsabilité morale de devoir rendre les résultats de cette recherche accessibles à tous, de façon à en maximiser l'impact et à agir de la manière la plus éthique possible. »

« Il est délicat de demander à des chercheurs de faire preuve (ou de ne pas faire preuve) d'innovation dans leurs travaux. En revanche, il est fondamental de placer la robustesse des travaux de recherche au premier plan de l'évaluation. »

« Nous devons nous rappeler que même les citations basées sur des chiffres sont subjectives, et non objectives. Les pratiques de citation sont biaisées. »
« Les chercheurs américains semblent moins enclins à vouloir signer DORA, car certains d'entre eux estiment avoir un bon système d'évaluation de la recherche, contrairement aux Européens qui seraient obsédés par les métriques. Il n'est pas certain que ce soit vrai, car certains témoignages de jeunes chercheurs américains ne vont pas dans ce sens. Le projet TARA, notamment, se penchera sur cette question. Les agences nationales de financement, en tout cas, doivent s'interroger sur le rôle de levier qu'elles peuvent jouer pour promouvoir les bonnes pratiques, et ne doivent pas avoir peur de donner des indications sur ce à quoi une recherche de qualité est censée ressembler. »

« Le facteur d'impact est un bon moyen d'évaluer les revues, mais ce n'est pas un bon moyen d'évaluer les articles eux-mêmes ou les chercheurs en tant qu'individus. Il est nécessaire que les individus et leur travail soient évalués, mais ils ne doivent pas l'être par le biais d'un chiffre simpliste et souvent biaisé. On constate d'ailleurs qu'il n'y a pas de réelle corrélation entre l'importance que les gens attachent à leur travail et les facteurs d'impact des revues dans lesquelles ils publient. »

« Si l'on fait une évaluation de la recherche basée sur des chiffres, c'est certes rapide, mais ce n'est pas efficace. Cela ne permet pas d'évaluer de nombreuses autres activités académiques importantes qui ne sont pas prises en compte dans un système qui repose indûment sur les chiffres. Nous devons réfléchir à la charge de travail que cela implique, car les chercheurs sont très occupés. Je pense que le format du CV narratif, que nous avons contribué à promouvoir, est une solution très prometteuse, car il offre un moyen structuré et concis de permettre aux individus de rendre compte de la variété des activités qu'ils ont menées au sein de l'université, et pas seulement de leurs facteurs d'impact. »

Références

1. BBC One, *Civilisation*, 1969, https://www.bbc.co.uk/programmes/b00dtjbv.

2. Michael Gibbons, « Science's New Social Contract with Society », *Nature* 402, n° S6761 (décembre 1999): C81-84, https://doi.org/10.1038/35011576.

3. American Society for Cell Biology, « Declaration on Research Assessment (DORA) », DORA, 2012, https://sfdora.org/.

4. Diana Hicks *et al.*, « Bibliometrics: The Leiden Manifesto for Research Metrics », *Nature News* 520, n° 7548 (23 avril 2015): 429, https://doi.org/10.1038/520429a.

5. James Wilsdon et al., « The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management », juillet 2015, https://responsiblemetrics.org/wp-content/uploads/2019/02/2015_metadata.pdf.
6. David Moher *et al.*, « The Hong Kong Principles for Assessing Researchers: Fostering Research Integrity », *PLOS Biology* 18, n° 7 (16 juillet 2020): e3000737, https://doi.org/10.1371/journal.pbio.3000737.

7. Stephen Curry *et al.*, « The Changing Role of Funders in Responsible Research Assessment: Progress, Obstacles and the Way Ahead », report (Research on Research Institute, 18 novembre 2020), https://doi.org/10.6084/m9.fishshare.13227914.v1.

8. Commission européenne, *Towards a Reform of the Research Assessment System: Scoping Report* (LU: Publications Office of the European Union, 2021), https://data.europa.eu/doi/10.2777/707440.

9. Unesco, « Recommandation de l'Unesco sur une science ouverte », 24 novembre 2021, https://unesdoc.unesco.org/ark:/48223/pf0000379949.

10. Michael Sandel, *A New Politics of Hope*, 2018, https://www.youtube.com/watch?v=LCZhA_1n4E.

11. « Scholarly Publishing and Academic Resources Coalition Europe », consulté le 16 mars 2022, https://sparceurope.org.

12. « European University Association », consulté le 16 mars 2022, https://eua.eu.

13. « Résumé for Researchers », The Royal Society, consulté le 16 mars 2022, https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/.

14. « Guidance for Research Organisations on How to Implement Responsible and Fair Approaches for Research Assessment », Wellcome Trust, 2021, https://wellcome.org/grant-funding/guidance/open-access-guidance/research-organisations-how-implement-responsible-and-fair-approaches-research.

15. Stephen Curry *et al.*

16. « Project TARA », *DORA* (blog), 2021, https://sfdora.org/project-tara/.

17. « Arcadia », consulté le 16 mars 2022, https://www.arcadiafund.org/.

18. Richard Van Noorden, « Arguments over European Open-Access Plan Heat Up », *Nature*, 12 novembre 2018, https://doi.org/10.1038/d41586-018-07386-x.

19. Dalmeet Singh Chawla, « Scientists at Odds on Utrecht University Reforms to Hiring and Promotion Criteria », *Nature Index* (blog), 9 août 2021, https://www.natureindex.com/news-blog/scientists-argue-over-use-of-impact-factors-for-evaluating-research.

20. Atul Gawande, « Spreading Slow Ideas », *The New Yorker*, 22 juillet 2013, http://www.newyorker.com/magazine/2013/07/29/slow-ideas.

21. BBC, *Civilisations*, 2018, https://www.bbc.co.uk/iptayer/episodes/p05xxp5j/civilisations.
La science ouverte n'a pas besoin
de martyrs, mais nous devons
reconnaître la nécessité
d'une réforme

Toma Susi
Université de Vienne

Mon point de vue sera avant tout celui d'un chercheur. Je suis professeur associé. Je fais de la recherche. Je dirige un petit groupe de recherche, mais je fais égale-ment du travail politique pour la plateforme Initiative pour la science en Europe¹. On pourrait dire que le titre de mon exposé est un peu provocateur. Il provient d'une interview que j'ai récemment donnée pour le magazine du Conseil européen de la recherche². Tant que les incitations en recherche scientifique ne vont pas dans le sens de la robustesse, la transparence et la reproductibilité de la science, faire ce genre de travail n'est pas un avantage de carrière. Chaque individu se situe à l'inté-rieur d'un système très compétitif. Les chiffres varient d'un pays à l'autre et d'un domaine à l'autre, mais on peut dire qu'environ 10 % des titulaires d'un doctorat finissent par obtenir un poste permanent. La concurrence est très rude, et je pense que tous ceux qui réussissent dans ce système savent comment se conformer à ses règles. Nous ne devrions donc pas attendre des individus qu'ils mettent com-plètement de côté leur intérêt propre et, dans le pire des cas, qu'ils se sacrifient et renoncent à leur carrière. Au lieu de cela, nous devons modifier le système d'éva-luation afin que les intérêts des personnes et les intérêts de la science convergent beaucoup mieux qu'aujourd'hui.

Nous avons déjà entendu beaucoup de choses sur ce qu'est la science ouverte
et ce pourquoi nous désirons y parvenir. La déclaration de l'Unesco³ est un jalon
très important à cet égard. En tant que chercheur, je me concentre sur la partie
« connaissances scientifiques ouvertes », et j'entends par là une diversité de pra-
tiques, pas seulement à propos de la publication, mais aussi des données, des
codes, des méthodes, etc. Tous ces éléments contribuent à rendre la publication
scientifique et les connaissances scientifiques beaucoup plus robustes et réutili-
sables. Par conséquent, ils cristallisent beaucoup d'aspirations et de déclarations
politiques. En particulier, la Commission européenne a encouragé très activement
la science ouverte dans ses programmes de financement.

Depuis de nombreuses années, des déclarations très appuyées affirment que la
science ouverte doit être intégrée à tous les niveaux de l'activité scientifique et
que toutes les parties prenantes doivent en assumer la responsabilité. Tout cela
est bien beau, mais le fait est que les chercheurs sont toujours embauchés et
promus, dans une large mesure, en fonction du nom des revues dans lesquelles
ils publient. J'ai personnellement expérimenté les processus de recrutement de
quatre universités européennes différentes au cours des cinq dernières années
et pas une seule ne m'a récompensé pour mes travaux de science ouverte, tandis
qu'il était explicitement fait référence aux métriques d'impact des revues et à de
nombreuses publications. Je suis parvenu à réussir dans ce système. J'ai également
réussi à agir en faveur de l'ouverture des publications et des données, mais il m'a
toujours fallu trouver un équilibre entre ces aspects et le fait de jouer le jeu de la
carrière avec succès.

Certains signes montrent que la situation évolue lentement. Par exemple, l'Associa-
tion des universités européennes a déclaré que 34 % des institutions européennes
n'avaient mis en place aucune dimension de la science ouverte⁴, ce qui signifie
que le reste d'entre elles l'avait fait. Je suis d'ailleurs surpris que ce chiffre soit
aussi élevé car, d'après mon expérience personnelle, les carrières sont toujours
très fortement dépendantes du prestige des revues, comme je l'ai dit. Il s'agit d'un
problème systémique, et le souci est que les gouvernements distribuent des fonds
publics aux instituts de recherche et aux universités sur la base de classements et
d'indicateurs composites, ce qui oriente bien sûr les stratégies de ces institutions
car elles veulent recevoir des financements et en ont besoin. Ces institutions de
recherche utilisent ensuite des métriques telles que le facteur d'impact des revues,
les classements par quartile et les indices h pour établir leur politique de gestion
des ressources humaines, et ces métriques se répercutent ainsi jusqu'aux cher-
cheurs eux-mêmes dont elles déterminent le recrutement et la promotion.

En un sens, il s'agit là d'un système très facile à utiliser et qui permet une bonne
gestion à grande échelle, mais il présente un certain nombre de graves défauts que
DORA et d'autres ont mis en évidence depuis longtemps. De mon point de vue per-
sonnel, et je pense que DORA l'a également reconnu, le problème le plus pernicieux
est l'utilisation abusive des mesures d'impact basées sur les revues, et le prestige
qu'elles confèrent aux chercheurs en tant qu'individus. Je me dois de préciser ici :
ce type de point de vue individuel n'est pas irrationnel. Si j'écris une publication
prestigieuse, cela a vraiment de l'importance pour ma carrière personnelle, et non
quelque chose de complètement illusoire. Chercher à publier ce type de travaux est finalement un choix de carrière très rationnel. C'est donc cela qu'il faudrait changer, pour que l'ensemble du système soit capable d'évoluer.

C'est un problème difficile pour les chercheurs, notamment en début de carrière. Beaucoup d'entre nous sommes assez idéalistes. Nous avons envie d'ouvrir nos données, nos méthodes et nos logiciels, d'essayer différentes choses et de beaucoup collaborer, mais si nous sommes toujours embauchés et promus en fonction de la rapidité et du prestige de nos publications, il est évident que des incitations aussi peu en accord avec nos aspirations ne donneront pas les résultats souhaités au niveau du système scientifique dans son ensemble. C'est pourquoi nous devons vraiment réformer l'évaluation de la recherche et changer la culture qui l'accompagne.

Ces dernières années, j'ai travaillé sur des questions de politique scientifique, notamment à la Young Academy of Europe⁵. Nous avons collaboré avec d'autres organisations de chercheurs, à savoir Eurodoc⁶ et la Marie Curie Alumni Association⁷. Au début de l'année dernière, nous avons publié une note d'opinion⁸ qui a beaucoup fait parler d'elle, dans laquelle nous soulignions le fait que si nous voulons faire carrière, nous resterons prisonniers de ce système. J'ai fait remarquer que même si je suis moi-même titulaire, j'ai des stagiaires, des post-docs et des doctorants. Je dois me soucier de leurs carrières, je ne peux pas œuvrer en accord avec mes idéaux, au risque de voir leurs carrières en pâtir. Dans cette note d'opinion, nous avons essayé de réfléchir aux moyens de changer le système. La toute première chose que nous devons faire est d'être très réalistes et honnêtes quant au système de promotion actuel et à ses failles, même si nous avons été embauchés et promus au sein même de ce système. Nous devons tenir compte de ce en quoi consiste précisément cet environnement et, dans un certain sens, à quel point il est absurde.

Au-delà des exemples d'évolutions au sein des pratiques actuelles, et il y a de bons exemples à souligner, DORA fait d'ailleurs un travail important à ce sujet, il doit y avoir une discussion beaucoup plus pressante, un dialogue au sein de la communauté des chercheurs et entre ses différents groupes sur ce que nous voulons nous donner comme incitations, et comment nous voulons évaluer les gens. Le statu quo n'est tout simplement plus acceptable et il est temps de commencer à faire des propositions très concrètes sur la manière de changer le système.

À cette fin, l'Initiative pour la science en Europe a dirigé un groupe de travail sur la science ouverte. Nous avons organisé un atelier virtuel en mars 2021 avec des participants aux profils très variés, et nous avons essayé de réfléchir ensemble à la manière dont nous pourrions réformer le système. Le projet de rapport qui en est
issu vient d'être mis en ligne°. Ce rapport comporte plusieurs points. Le principal est que les chercheurs doivent vraiment être au centre de la réforme de l'évaluation de la recherche. Il est temps d'agir. Le rapport explore les voies qui pourraient être empruntées, les niveaux auxquels le changement pourrait intervenir et les mesures que les différents acteurs pourraient prendre pour parvenir à un changement global tout en respectant des spécificités légitimes, par exemple entre les différentes disciplines. L'évaluation en chimie et en histoire médiévale n'est probablement et ne devrait certainement pas être exactement la même, et ces différences doivent être prises en compte.

Nous proposons un certain nombre de mesures politiques aux différents types d'acteurs. Pour ce qui concerne les communautés de recherche elles-mêmes : nous insistons sur le fait qu'il est urgent que vous commenciez à discuter de ces questions. Vous auriez dû le faire il y a des années, mais mieux vaut tard que jamais, et vous devez faire des propositions concrètes. Il est clair que vous ne pouvez pas continuer à utiliser les facteurs d'impact. Qu'allez-vous utiliser concrètement à la place ? Vous devez prendre une décision, car si vous ne le faites pas, ces mesures d'impact continueront à être utilisées à mauvais escient ou, comme cela semble de plus en plus probable en Europe du fait de l'activité de la Commission et d'autres bailleurs de fonds, de nouveaux indicateurs vous seront imposés sans vous demander votre avis. Vous devez donc vraiment vous impliquer de manière très concrète dès maintenant.

Nous identifions également quatre principes essentiels, le plus important étant que les chercheurs doivent être impliqués dans toutes les décisions concernant les modifications de l'évaluation de la recherche, et que toutes les parties prenantes doivent les impliquer dès le départ dans leurs processus décisionnels. Par chance, les chercheurs sont déjà bien représentés dans le groupe de travail principal de l'initiative de la Commission européenne visant à réformer l'évaluation de la recherche.

Nous devons mettre fin à l'utilisation de métriques inappropriées. DORA le dit depuis 10 ans, il est temps maintenant de passer à l'action. Honnêtement, il n'y a aucune raison valable de retarder davantage ce processus. Bien sûr, le problème est que nous savons depuis longtemps ce que nous ne voulons pas, mais pas ce que nous voulons à la place, c'est donc cela qu'il faut décider à présent. Nous devons nous mettre d'accord sur les moyens appropriés d'évaluer la recherche et les chercheurs, en accord avec les pratiques de chaque discipline. Un équilibre approprié entre évaluation qualitative et évaluation quantitative est nécessaire. Certaines mesures peuvent être bonnes et pas d'autres, de même pour les indicateurs. Il est donc nécessaire d'évaluer chacun d'entre eux séparément, dans le contexte de chaque discipline.
Enfin, ceci s'adresse davantage aux décideurs politiques, aux universités et aux bailleurs de fonds, nous devons tous reconnaître que la réforme de l'évaluation nécessite des ressources. Nous devrons peut-être mettre au point de nouveaux systèmes. Il se peut que nous ayons simplement besoin de plus de temps pour l'évaluation, par conséquent peut-être devons-nous également nous demander si toutes les formes actuelles d'évaluation sont nécessaires ou si nous pourrions, par exemple, mettre en commun les évaluations menées par différents programmes de financement, etc.

Bien sûr, nous avons vu que le changement est très compliqué, notamment pour faire évoluer des états d'esprit bien ancrés. J'ai une anecdote personnelle qui illustre à quel point c'est difficile. L'année dernière, notre projet du CER nous a permis de mettre au point un texte très intéressant que nous avons publié en accès libre, avec des données ouvertes, et nous avons ensuite essayé de le soumettre à une revue très prestigieuse, avec une belle aura. Ils ont estimé que ce n'était pas assez nouveau. Bien, c'est leur jugement subjectif et ils ont peut-être raison. Nous avons donc fini par publier dans une revue respectée, une revue solide, mais pas aussi prestigieuse. Même moi, je me suis surpris à penser que cela ne valait probablement pas la peine de faire un communiqué de presse, parce que la revue n'était pas aussi impressionnante. J'ai dû me reprendre et me rendre compte que j'étais victime du même genre d'a priori que les autres, alors que j'aurais vraiment dû me méfier de ce genre de réaction. Puis je me suis dit que le communiqué de presse porterait de toute façon sur exactement la même recherche et les mêmes résultats dans les deux cas. L'université ayant publié l'article a donné son accord, et nous avons eu une bonne publicité au sujet de ce travail.

Il est difficile d'évoluer, et il faudra du temps pour transformer notre culture. Je ne sais pas si nous parviendrons à rallier tout le monde à notre cause, mais il est certain que nous devons essayer. Cependant, il est vraiment temps d'arrêter de nous infliger cela. Contrairement à la publication, l'évaluation est en grande partie réalisée par et pour la communauté des chercheurs elle-même. Bien sûr, les gouvernements ont leur rôle à jouer, mais d'où viennent les idées des gouvernements sur la manière d'évaluer ? Elles viennent en fin de compte de la communauté scientifique. La communauté de la recherche dispose d'un pouvoir considérable pour faire évoluer la situation, et c'est vraiment le moment de commencer à le faire. Je suis très heureux de voir naître l'Apel de Paris, l'effort de la Commission européenne et les déclarations de différents groupes universitaires. La dynamique est forte et je pense que nous avons vraiment une chance d'y parvenir.
Pour aller plus loin

« Les chercheurs de haut niveau qui occupent des postes de décision, qui sont à la tête de sociétés scientifiques, qui font partie d'académies des sciences, jouissent d'un grand prestige et devraient vraiment utiliser ce prestige et ce pouvoir pour contribuer à changer l'ensemble du système.

La meilleure forme de gouvernement est la démocratie, donc la meilleure forme d'évaluation est l'examen par les pairs. Dans notre propre discipline, nous seuls avons la capacité d'expertise pour savoir ce qui est une bonne science et ce qui ne l'est pas. »

« Le but de DORA n'est pas de contraindre, mais d'inspirer et de motiver. La proposition de la Commission européenne de former une coalition pour réformer l'évaluation de la recherche sera basée sur une série de promesses. Les signataires s'engageront et il y aura une certaine forme de suivi. La forme des mesures à prendre ensuite fait partie de ce qui est encore en discussion. Cependant, l'idée est d'aller plus loin qu'une aspiration et qu'une déclaration incitative. »

« Ce qui a peut-être empêché DORA et la réforme de l'évaluation de la recherche d'aboutir, c'est que l'accent a longtemps été mis sur le libre accès. Le libre accès à la recherche est vraiment important. Il y a des questions à résoudre, il y a du travail à faire, mais je pense que l'attention de beaucoup de gens s'est maintenant portée sur l'évaluation, parce que changer l'évaluation va aussi débloquer beaucoup plus d'innovation dans la sphère de l'édition. Cela déclenchera probablement aussi une sorte de nouvelle vague d'accès libre. »

« Nous pourrions avoir besoin d'un usage équilibré de certains indicateurs, mais des indicateurs plus responsables, plus transparents et plus utiles, pour mettre ensuite de plus en plus l'accent sur l'évaluation qualitative par les pairs. Cela peut prendre du temps. »
Références

1. « Initiative for Science in Europe », consulté le 16 mars 2022, https://initiative-se.eu/.

2. Toma Susi, « Open Science needs no martyrs, but we must recognize the need for reform », *ERC: European Research Council* (blog), 26 octobre 2021, https://erc.europa.eu/news-events/magazine/open-science-needs-no-martyrs-we-must-recognize-need-reform.

3. Unesco, « UNESCO Recommendation on Open Science », 2021, https://unesdoc.unesco.org/ark:/48223/pf0000379949.

4. Association des universités européennes et al., « Open Science in university approaches to academic assessment », décembre 2021, https://www.eua.eu/resources/publications/999:open-science-in-university-approaches-to-academic-assessment.html.

5. « Young Academy of Europe », consulté le 16 mars 2022, https://yacadouro.org/.

6. « Eurodoc », consulté le 16 mars 2022, https://eurodoc-net.com/.

7. « Marie Curie Alumni Association », consulté le 16 mars 2022, https://www.mariecurialumni.eu.

8. Véronique De Herde, Mattias Björnmalm, et Toma Susi, « Game over: Empower Early Career Researchers to Improve Research Quality », *Insights* 34, n° 1 (9 juin 2021): 15, https://doi.org/10.1629/uksg.548.

9. Toma Susi et al., « Centrality of researchers in reforming research assessment », janvier 2022, https://initiative-se.eu/paper-research-assessment/.
<figure><img src="image_30.png" /></figure>
# De quelle manière les jeunes chercheurs sont-ils les précurseurs du changement ?

Cherifa Boukacem

Université Lyon-1

Le travail présenté ici est une recherche au long cours, qui a été initiée grâce à une étude commanditée par l'Europe, dans laquelle nous avons enquêté sur les pratiques des jeunes chercheurs autour des réseaux sociaux¹. Cette étude nous a donné la possibilité de découvrir une démographie à part entière, désignée par le mot clé dédié « *early career researchers* » en anglais, que l'on peut utiliser tel quel pour des recherches bibliographiques. Cette catégorie démographique, c'est celle des *digital natives* qui ont des pratiques numériques très développées, ainsi que des trajectoires, des évolutions de carrière qui se retrouvent au cœur des attentions de différents acteurs du monde académique comme les grands groupes d'éditeurs scientifiques, les agences de moyens, mais aussi les plateformes de réseaux sociaux par exemple.

C'est une catégorie sociale à part entière dans le monde académique, qui est sur des statuts et une position particulière, toujours dans un entre-deux : entre les seniors et les tout jeunes, entre différentes communautés, en devenir en termes de carrière, mais aussi à la charnière de deux mondes. Et c'est autour de cette communauté que nous avons lancé un projet de recherche qui a été financé par la Sloan Foundation et le Publishing Research Consortium sur une longue période, entre 2016 et 2022, et qui comprend d'ailleurs la pandémie actuelle et se penche sur plusieurs pays dans le monde : la France bien sûr, la Grande Bretagne, l'Espagne, les États-Unis, la Chine, la Russie et la Malaisie. L'étude a constitué un observatoire autour duquel nous avons retenu 168 jeunes chercheurs, avec lesquels nous avons réalisé des entretiens semi-directifs pendant toute cette période, tous les ans, et depuis la pandémie tous les six mois. Vingt-trois thèmes ont été explorés en profondeur, puisque les entretiens pouvaient durer jusqu'à trois heures, en exploitant leurs CV et leurs comptes sur les réseaux sociaux académiques. Ces chercheurs se répartissent entre les domaines des sciences de la vie, des sciences dures et des sciences sociales, mais pas les sciences humaines.
Alors que les résultats montrent des différences entre les pays, entre les chercheurs et entre les disciplines, là où tous les résultats convergent de manière particulièrement significative, c'est qu'il y a un alignement très important des pratiques et des représentations des chercheurs autour des questions d'évaluation de la recherche. Cet alignement vient du fait qu'il y a un culte et une culture de la production scientifique autour de l'article dans les revues à fort facteur d'impact, très tôt dans la carrière des jeunes chercheurs, dès le master. Comme l'a souligné Toma Susi, la carrière commence très tôt, et il arrive que des étudiants de Master 2 soient impliqués dans des travaux de recherche et soient auteurs d'articles. Dès le master, les étudiants sont impliqués dans cette logique de soumettre des articles, de raisonner en termes d'articles, et de produire des articles dans les meilleures revues, les mieux classées, ce qu'on appelle les revues de rang A avec les facteurs d'impact les plus importants, pour constituer une forme de distinction qui leur permettra d'embrayer sur une carrière de chercheur.

Il y a une véritable culture du facteur d'impact dans la manière dont on forme les jeunes chercheurs, et cette culture se négocie parfois entre jeunes chercheurs et seniors : est-ce que je vais soumettre cet article dans cette revue qui a un facteur d'impact élevé, ou avoir une stratégie plus *safe* et soumettre dans une revue avec un moindre facteur d'impact, ou le contraire ? Ces stratégies, qui se retrouvent d'un jeune chercheur à l'autre, d'un pays à l'autre, sont véritablement structurées autour du facteur d'impact et les bases de données internationales, je pense au Web of Science, à Scopus, qui sont là pour enraciner et justifier cette stratégie.

On peut parler de culture en termes de production scientifique, avec le « *Publish or Perish* » et cette focalisation sur l'article dans les revues à fort facteur d'impact, parce qu'il y a une terminologie commune, des configurations absolument similaires et des principes normatifs qui véritablement mobilisent les mêmes pratiques, les mêmes actions et les mêmes stratégies chez tous les jeunes chercheurs que nous avons pu interroger sur toutes ces années, stratégies qui s'exacerbent d'ailleurs avec le temps. Quand on leur donne la parole, les jeunes chercheurs disent que « l'on est ce que l'on publie ». Cet intitulé n'est qu'un verbatim de jeune chercheur interrogé. Au cœur de cette représentation, le papier, le fameux article, est une quête infinie puisque les collaborations construites, les visites, les séjours scientifiques, les mobilités, les post-docs que l'on va faire dans différents pays, les méthodes que l'on apprend, les protocoles que l'on développe, ont une destinée commune : être publiés dans une revue à fort facteur d'impact. Il y a aussi un phénomène particulièrement intéressant qui est le papier zombie, l'article zombie, qui est tout le temps en retard, qu'on essaie toujours de finir, et quelle que soit la durée, on va le trimballer dans ses bagages. Il est possible de terminer un contrat, d'enchaîner sur un autre financement de recherche,
et malgré ça, de continuer à essayer de le finir, parce que ce papier va devoir justifier
d'une ligne dans le CV.

Un autre point réside dans les dérives que cela peut amener, à savoir le « *Publish and be wrong* », au sens où à force de vouloir publier vite, facilement, on cible parfois une mauvaise revue, qui n'est pas forcément une revue de qualité, ou alors des résultats qui ne sont pas consolidés. C'est-à-dire qu'on ne va pas prendre le soin de s'assurer que les résultats positifs que l'on a eus une première fois se répètent, se confirment, et on va publier trop vite des résultats qui finalement s'invalident.

Un autre sujet concerne ce qu'on peut appeler la mythologie dans les CV, portée par cette injonction que les jeunes chercheurs doivent absolument faire preuve d'une longue liste de publications dans des revues à facteur d'impact. Lorsqu'ils s'alignent tous sur cette stratégie, et qu'ils se présentent ensuite face au comité de recrutement, qu'est-ce qui fait la différence ? Lorsqu'ils ont tous le même CV finalement, ayant tous réussi à publier dans les bonnes revues, avec les bonnes personnes, ayant fait les post-docs aux bons endroits prestigieux, qu'est-ce qui fait la différence ? C'est un aspect qui remet vraiment en question ces stratégies.

Il y a aussi toutes ces tâches, toutes ces activités, toutes ces choses que l'on réalise autour du cycle de travail d'un chercheur et qui ne sont pas mentionnées dans un CV, qui ne sont pas prises en compte.

Il faut également signaler que lorsque le jeune chercheur développe un profil interdisciplinaire, pluridisciplinaire, et qu'il est amené ensuite à publier, il se retrouve souvent dans la difficulté de trouver des revues à facteur d'impact important qui soient capables d'accueillir des recherches qui véhiculent cette interdisciplinarité. La logique qui consiste à valoriser la pluridisciplinarité d'un côté, et à ne pas toujours lui trouver un lieu de publication adéquat, prestigieux, à gros facteur d'impact, est parfois problématique, et cela produit des inégalités épistémiques entre chercheurs. Et puis il y a le fameux effet Matthieu, cette loi des avantages cumulés qui dit que lorsqu'on a publié une première fois dans une revue prestigieuse avec des auteurs prestigieux, on a plus de chances ensuite de publier dans d'autres revues prestigieuses et d'être intégré dans des collectifs prestigieux. C'est un mécanisme que les jeunes chercheurs intègrent très vite, sans en connaître particulièrement le nom ou le principe.

Comment changer les règles ? Comment affronter les pairs ? Comment remettre en question ces règles, alors même qu'avec ces pairs, il y a l'image des deux grimpeurs encordés qui escaladent une paroi en étant raccordés par une solidarité certaine.
Les seniors veillent aux intérêts des juniors et par exemple leur recommandent de publier dans des revues prestigieuses parce que c'est comme ça qu'on entre dans le système. Ils se considèrent comme les gardiens du temple et tiennent à maintenir cette tradition, cette manière de fonctionner, et souhaitent que les jeunes chercheurs la reproduisent, finalement. Et de fait, ce que les résultats du projet Harbinger nous montrent, en particulier aujourd'hui, c'est que la révolution va se faire nécessairement sans les pairs, sans les seniors, parce qu'il faut prendre des risques, il faut saisir les opportunités, les serveurs de preprints en sont la preuve. Il faut favoriser des activités, un travail qui n'est pour le moment pas suffisamment valorisé, comme le travail qui est fait autour des données. La pandémie a aussi montré à quel point il était important de s'occuper des données, de les valoriser et de les partager. Je fais un parallèle avec une œuvre littéraire du XVIIIe siècle, *Carl Von Carlsberg*, un roman qui raconte l'histoire d'un jeune assistant à l'université en Allemagne qui n'arrivait pas à avoir un poste pérenne, et qui au bout d'un moment se confie à l'un de ses pairs qui lui répond : « Tu n'as qu'à épouser l'une de nos filles, puisque nous avons de nombreuses filles. Donc si tu veux rejoindre le cercle, il faut le rejoindre en épousant une de nos filles. » Le roman est connu pour cela, et le parallèle me semble particulièrement intéressant.

Un autre point sur lequel je voudrais passer rapidement est que cette injonction de publier beaucoup d'articles dans des revues à facteur d'impact élevé, puisqu'il y a un focus très important sur les articles, peut créer de la confusion et des malentendus, que les plateformes de réseaux sociaux ont très bien su exploiter puisque les pratiques numériques des jeunes chercheurs font qu'ils naviguent sur le web, sur des plateformes, et qu'ils perdent parfois leurs repères entre ces plateformes et les différences qu'il y a entre elles. Il n'est pas rare de voir de jeunes chercheurs qui sont très heureux d'utiliser des réseaux sociaux comme ResearchGate pour aller chercher de la visibilité, pour aller chercher du capital social, pour aller aussi observer la manière dont les communautés fonctionnent puisqu'ils retrouvent leurs pairs et leurs collègues sur ces plateformes, jusqu'à confondre ces plateformes de réseaux sociaux avec des archives ouvertes. À côté de cela, si on prend le phénomène SciHub, certains chercheurs le justifient en disant clairement qu'ils participent à une forme d'ouverture de la publication scientifique, puisqu'elle est fermée et qu'il faut bien l'ouvrir, et que SciHub y contribue. Cela amène donc à ces confusions, qui sont finalement de véritables obstacles à des modèles légitimes et officiels de l'accès ouvert et de la science ouverte.

Comment ouvrir le jeu ? D'abord, à l'échelle individuelle et à l'échelle collective, ces jeunes chercheurs avec lesquels nous nous sommes entretenus au fil des années ne croient pas au facteur d'impact. Ils jouent avec, comme ils le disent, ils sont obligés
de composer avec, mais ils n'y croient pas et ils ne partagent pas la logique du facteur d'impact. Ils la remettent en question, et sont très conscients que ni le facteur d'impact ni les nouveaux indicateurs ne sont la solution au système. Certains jeunes chercheurs interrogés sont des gamers, qui disent très bien savoir comment « gamer » le système, comment fonctionnent les indicateurs et comment jouer avec. De fait, les arguments qu'ils avancent sont les arguments de DORA, sans mentionner DORA qu'ils ne connaissent pas forcément. Donc on est dans un alignement d'ailleurs très troublant quand on en est à analyser les entretiens, parce qu'ils sont déjà compliant avec ce que nous revendiquons, mais sans vouloir le nommer.

Je vais finir avec un point extrêmement important, à savoir les résultats de la période pandémique de l'étude, qui a montré à quel point la pandémie a modifié de manière très significative les pratiques, les représentations et les stratégies des jeunes chercheurs que nous connaissions jusque-là ou qui ont rejoint l'étude. De nouvelles trajectoires émergent. La pandémie a montré à cette génération à quel point la science était dans une tour d'ivoire éloignée de la société. Ils ont été très mobilisés, très attentifs et très intéressés à observer la manière dont l'information autour du virus a circulé dans les médias, la manière dont le débat autour des vaccins occupe notre quotidien, et le débat qu'ils font c'est qu'à force de courir après les publications, de courir après les facteurs d'impact, la science a oublié finalement de s'adresser à la société, aux citoyens. La question du débat de la science en société, de la diffusion des savoirs vers la société, devient pour certains l'urgence absolue, à tel point qu'ils ont changé de trajectoire et qu'ils ne souhaitent pas rejoindre le monde académique, mais plutôt le monde de la diffusion des savoirs et de la médiation scientifique. Nous sommes face à une génération qui est en train de changer d'objectif de carrière, et qui dit que la science devrait avoir la possibilité, le droit de se tromper, et de recréer le débat scientifique parce que le système tel qu'il fonctionne aujourd'hui ne permet pas de débat, il permet juste de publier dans des revues à haut facteur d'impact pour prouver qu'on a raison. Ils souhaitent finalement que la manière dont la science communique s'adapte au monde d'aujourd'hui, pour laisser davantage de diversité aux formes de savoir, aux nouveaux savoir-faire qui peuvent aujourd'hui être valorisés, et aux nouvelles formes de valeur qui permettent de prendre en compte la complexité de la science aujourd'hui, qui n'est pas celle du début du xxᵉ siècle, pas celle de Pierre et Marie Curie en tout cas.

Pour terminer, je souhaiterais citer un chercheur qui a quitté le système en disant qu'il ne se reconnaissait plus dans ce jeu, qu'il voulait « arrêter de jouer » parce que la pandémie a montré sur une échelle mondiale, globalisée, que le but ultime de la science est quand même de faire avancer les savoirs, ce n'est pas de faire avancer les égos, les indicateurs, les chiffres ou les chiffres d'affaires.
Pour aller plus loin

« La publication scientifique ne doit pas se limiter aux revues et aux articles. Il s'agit de savoir comment valoriser d'autres ensembles de compétences et d'autres domaines d'expertise qui ne débouchent pas nécessairement sur la publication d'un article. »

« Dans le changement de paradigme vers une évaluation de la recherche davan-
tage basée sur la qualité, on permet aux chercheurs de participer activement à cette
évaluation. On leur demande quels domaines de recherche et quelles activités de
recherche ils considèrent comme les plus importants sur une période donnée. On
obtient ainsi des indicateurs basés sur les opinions des chercheurs plutôt que ceux
fournis par des bases de données très coûteuses appartenant à des acteurs commer-
ciaux hégémoniques. »

Références

1. CIBER Research, « Harbingers », consulté le 16 mars 2022, http://ciber-research.com/harbingers.html.
# Évaluation de la recherche –
Deuxième session
<figure><img src="image_31.png" /></figure>
Science ouverte et évaluation académique dans un monde pluriel

Fernanda Beigel

CONICET National University of Cuyo-Mendoza, Argentine

Je souhaiterais commencer par rappeler que le projet Science ouverte existe depuis des décennies, même si nous pouvons dire qu'il est entré depuis quelques années dans une phase de consolidation. La Recommandation de l'Unesco pour une science ouverte² va d'ailleurs en ce sens. Elle fournit un cadre général, une définition qui tend vers un consensus global, un ensemble de principes et de valeurs ainsi que, finalement, une liste d'actions à mener. Parmi ces dernières, il importe de mentionner la nécessité d'aligner tous les moteurs de l'évaluation de la recherche avec les progrès de la science ouverte. Comment promouvoir la science ouverte en lien avec l'évolution des modes d'évaluation de la recherche ?

Parmi les différents points concernés, il est fondamental de prendre en compte l'ensemble des missions des universités, au-delà des activités de publication, que nous assimilons à l'activité de recherche. Je fais allusion à la mission d'enseignement, et à ce que nous appelons en Amérique latine la extensión universitaria (notre troisième mission). En travaillant sur la Recommandation de l'Unesco, les experts se sont rendu compte qu'il n'existait pas de consensus général autour de la promotion et de la reconnaissance de la science ouverte dans l'évaluation de la recherche. Il est donc essentiel de reconnaître la pluralité des moteurs existants, et de les envisager dans leur contexte.

Les pays membres de l'Unesco qui ont participé à la mise au point de cette recommandation ont également discuté un obstacle critique sur la route de la science ouverte : les inégalités. Il existe en effet aujourd'hui des inégalités visibles entre ce qu'on appelle couramment le Nord et le Sud, entre des pays que l'on pourrait qualifier de périphériques ou semi-périphériques et des pays centraux. On observe une importante fracture numérique, en particulier en termes d'infrastructure. L'accroissement de ces inégalités s'observe aussi dans la transition vers l'accès ouvert telle qu'elle se déroule actuellement au sein des revues européennes, en lien notamment avec le passage au modèle des APC. En Amérique latine en effet, ce modèle représente une difficulté énorme, du fait de montants très élevés. La Recommandation défend également le multilinguisme, car l'anglais est malheureusement souvent le seul code d'interopérabilité entre et à travers les bases de données.
Je voudrais également mentionner une autre asymétrie qui a son importance pour la transformation vers une plus grande ouverture de l'évaluation de la recherche, à savoir la notion même d'excellence. J'ai essayé de représenter dans un schéma la manière dont la vision différenciée du Nord et du Sud peut être vue dans les relations de pouvoir du système académique. Au sommet, on retrouve l'excellence académique, aussi appelée de manière plus appropriée « qualité de la recherche », et qu'on assimile généralement à la science mainstream, elle-même assimilée aux circuits traditionnels de la publication scientifique. Tout en bas de la hiérarchie, on retrouve la science dite périphérique, c'est-à-dire tout ce qui sort du circuit de ce qui est récompensé dans le système traditionnel d'évaluation de la recherche. En parallèle de cela, on observe différents circuits transnationaux (notamment le système latino-américain), qui sont directement nés en accès ouvert, avec une volonté d'ouvrir le dialogue académique, ainsi que des circuits nationaux, qui continuent à exister. Dans ces pays périphériques ou semi-périphériques du Sud, sont donc nés différents niveaux de prestige conférés par la publication : un niveau de prestige national (que j'observe ici principalement pour l'Amérique latine), régional ou international, avec différentes cultures d'évaluation pour chacun.

<figure><img src="image_32.png" /><figcaption>Fig. 7 : Représentation traditionnelle du système</figcaption></figure>

Source : Beigel, "Research Evaluation in the Southern Road to Open Science", support utilisé lors de la présentation (disponible sur le site de la conférence) et Fernanda Beigel, "Circuits and fields. The multi-scale process of academic prestige-building", in Keim, W. et al., Handbook On The Circulation of Academic Knowledge. À paraître.
Il existe une frontière entre les différentes cultures d'évaluation, qui distingue notamment un prestige qu'on pourrait qualifier de national, mais qui n'est en fait reconnu qu'au sein de l'institution d'origine et dans un pays particulier, et un pres- tige dit international, mais qui, du fait des inégalités entre pays, est en fait ramené à l'échelle de prestige propre au pays concerné. On observe également en Amérique latine un certain type de prestige international, qui est véritablement partagé au sein d'un ensemble de pays, et qu'on peut donc qualifier de régional, en lien avec un cir- cuit éditorial bien particulier.

La flèche de gauche sur mon schéma représente le fait que lorsqu'on demande ce qu'est l'excellence académique, on demande en fait quelle est la meilleure science : celle qui a le plus d'impact ? Étant donné que cette notion n'est pas originaire de cette région du monde, c'est ainsi que l'excellence académique a été définie dans les pays du Sud. Je l'ai représentée à part du schéma, car elle est en partie imposée par l'extérieur, du fait de l'internationalisation du système de recherche académique développé depuis les années 1990. La science ouverte pose un défi précis à cette inégalité en termes de définition autonome d'un agenda de recherche.

Mentionnons le cas de la Chine, en lien avec la notion d'une excellence imposée. Dans les réformes actuellement en cours en Chine, on reconnaît les effets pervers que ce type d'imposition hétéronome peut avoir, au travers notamment des capacités d'adaptabilité très rapide dont ont fait preuve les chercheurs chinois, avec la géné- ralisation de l'usage de l'anglais et l'avènement d'une fracture entre préoccupations de la recherche et préoccupations sociétales, le tout au nom de « l'impact », qui s'in- carne finalement dans le facteur d'impact. Il est donc important de souligner que la réforme en cours en Chine montre la nécessité de soutenir les politiques nationales pour aider la publication scientifique locale.
<figure><img src="image_33.png" /><figcaption>Fig. 8 : Paysage des archives ouvertes</figcaption></figure>

Source : Beigel, "Research Evaluation in the Southern Road to Open Science".
D'après des données extraites de re3data.org - Registry of Research Data Repositories. https://doi.org/10.17616/R3D, consulté en janvier 2022.

Si nous examinons maintenant les autres préoccupations pertinentes des experts et des États membres lors de l'élaboration de la recommandation pour la science ouverte, nous constatons qu'elles étaient essentiellement liées aux inégalités mondiales en matière d'accès aux ressources et aux infrastructures. Pour aller plus loin dans cette étude des inégalités mondiales, penchons-nous sur le paysage mondial des archives ouvertes scientifiques dans les pays du Sud. On observe dans la figure 8 que ces plateformes d'archives ouvertes ne sont pas encore très nombreuses en Afrique, mais que l'Amérique latine fait partie des pays du Sud le mieux équipés. En revanche, si on observe la figure 9 qui aborde la question des données ouvertes, on observe une différence flagrante du nombre d'entrepôts entre le Nord et le Sud, y compris en Amérique latine, même si c'est encore avec l'Afrique que le contraste est le plus fort.
<figure><img src="image_34.png" /><figcaption>Fig. 9 : Paysage des entrepôts de données</figcaption></figure>

Source : Beigel, "Research Evaluation in the Southern Road to Open Science".
D'après des données extraites de re3data.org - Registry of Research Data Repositories. https://doi.org/10.17616/R3D, consulté en janvier 2022.

D'autres inégalités peuvent être observées dans la répartition mondiale actuelle des systèmes d'information recherche ou CRIS (Current Research Information System), qui permettent d'administrer de manière totalement intégrée toutes sortes d'informations qui sont pour l'instant gérées de manière indépendante au sein des pays du Sud, à savoir des interfaces de gestion des politiques scientifiques, des ressources humaines ou des projets de recherche d'un côté, des archives ouvertes ou des entrepôts de données ouverts de l'autre. Les systèmes CRIS permettent de relier entrepôts et bases de données informationnelles, fournissant sur la science ouverte des données très interconnectées et interopérables. On compte environ 950 CRIS répartoriés dans EuroCRIS³, dont la plupart sont implantés en Europe et dans les pays du Nord.

Il existe encore un autre type d'inégalité, lié aux publications, visible lorsqu'on se penche sur la répartition entre revues en libre accès (LA) Diamant et revues en libre
accès avec frais de publication (*Article Processing Charges*, APC). On constate en effet que l'Amérique du Sud compte 2 612 revues en LA Diamant référencées dans le DOAJ, et seulement 130 revues avec APC, ce qui est une singularité très propre à cette région. L'Europe occidentale compte près de 4 300 revues, dont 1 907 sont en LA avec APC. Ces dernières sont généralement les plus prestigieuses, et donc celles qui sont le plus recherchées par les scientifiques des pays du Sud. Mais comment vont-ils faire, chacun à leur échelle, pour s'acquitter des 2 000 $ qui sont en moyenne nécessaires pour publier un article ?

Je voudrais maintenant me concentrer davantage sur le pan linguistique des inégalités mondiales en science. Il existe un certain nombre d'initiatives tangibles autour des principaux défis auxquels notre continent est confronté, à savoir le multilinguisme et l'hypercentralité de l'anglais. On peut relever des initiatives comme celle d'Helsinki⁴, le Forum latino-américain pour l'évaluation de la recherche⁵, qui a lancé le CLACSO, ou l'Appel de Jussieu⁶, qui insiste sur le fait que pour avoir un vrai impact sur la société, la recherche doit être multilingue. Arrêtons-nous un instant sur les forces et les faiblesses propres à l'Amérique latine en matière de bibliodiversité et de libre accès. Il existe notamment un régionalisme historique très fort depuis les années 1950, avec la mise au point très tôt de systèmes nationaux de gestion de l'information même si, comme dit précédemment, ces systèmes étaient déconnectés d'autres bases telles que les archives ouvertes. Ont également été mis en place des systèmes régionaux d'indexation, permettant ainsi de professionnaliser des milliers de revues en LA Diamant. L'Amérique latine peut aussi compter sur une industrie de l'édition très forte et dynamique, avec des ouvrages publiées depuis les années 1930, et sur une très longue tradition de libre accès non-commercial.

S'ajoutent à ces atouts une législation en faveur de l'ouverture des publications et des données au sein de plusieurs pays, ainsi qu'une fédération d'entrepôts rassemblant plus de 790 institutions dans plus de 10 pays différents. Une initiative menée par CLACSO, qui recense les différentes actions menées en Amérique latine, rassemble des données intéressantes sur cette thématique, et précise notamment qu'il existe 57 instruments relatifs à des politiques de science ouverte, dont la majorité s'appuie sur des infrastructures collaboratives. Je souhaite également aborder rapidement une importante tradition de science citoyenne et participative, la fameuse extensión universitaria (ou third mission, troisième mission des universités en anglais), qui bénéficie d'une longue histoire de co-production des connaissances scientifiques en collaboration avec le secteur social. Toutes ces interactions doivent être mises en évidence dans les systèmes d'évaluation de la recherche, mais aussi réévaluées dans le cadre de la transition vers la science ouverte.
L'un des points clés à cet égard est le multilinguisme. Le caractère hypercentral de l'anglais ne fait désormais absolument aucun doute dans le monde de la recherche. Cependant, bien que l'anglais soit une réalité dominante, il n'est pas l'unique réalité, et en Amérique du Sud, nous disposons d'un certain nombre de voies de circulation des connaissances qui passent outre l'usage de l'anglais. En interrogeant par exemple Scopus ou le Web of Science, les articles en espagnol ou en portugais représentent une part marginale. Par contraste, la base de données OLIVA⁷, qui réunit les entrées de SciELO et de Redalyc, compte 345 391 entrées en espagnol, soit plus que le Web of Science (270 632 entrées) et quasiment autant que Scopus (373 419 entrées). On peut faire le même constat dans BIBLAT⁸ et dans LA Referencia⁹ cette dernière base comportant énormément plus de références en portugais que Scopus et le Web of Science.

Eh bien maintenant, dans quelle mesure les récompenses promues par les systèmes d'évaluation de la recherche en Amérique latine sont-elles « alignées » sur ces forces ? Nous pouvons observer une contradiction, voire une forme d' « aliénation » entre ces atouts régionaux pour la science ouverte et les orientations menées par les politiques évaluatives concernant les carrières individuelles, l'accréditation institutionnelle et le financement de la recherche. Il existe en effet une certaine dichotomie entre des infrastructures publiques robustes et très développées et un système d'évaluation qui s'appuie largement sur le facteur d'impact et d'autres critères imposés par le Nord, mais qui sont censés représenter une norme universelle, celle des grandes revues grand public. En effet, la classification nationale des chercheurs et les agences nationales de financement utilisent le facteur d'impact ou le h-index pour attribuer des postes ou des ressources. Il est nécessaire de commencer à changer notre perspective. Nous avions l'habitude de représenter notre flèche comme allant du Nord vers le Sud : allons maintenant de bas en haut, en nous concentrant sur la qualité de la recherche et sa pertinence pour la société. Nous pouvons commencer à voir qu'il existe différents circuits de production et de circulation possibles, qui favorisent la recherche et l'interaction avec la société, et peuvent contribuer à la science citoyenne. C'est sur toute cette diversité de pratiques que doit se pencher l'évaluation de la recherche.
<figure><img src="image_35.png" /><figcaption>Fig. 10 : Inverser le processus de définition de la qualité de la recherche</figcaption></figure>

Source : Beigel, "Research Evaluation in the Southern Road to Open Science" et Beigel, "Circuits and fields. The multi-scale process of academic prestige-building"

En fin de compte, l'un des principaux défis en Amérique du Sud est d'inverser de manière autonome le processus de définition de la qualité de la recherche, en s'appuyant sur un écosystème public doté d'une infrastructure solide et de ressources hautement développées, qui soutient des revues Diamant, ainsi que de nombreux circuits alternatifs, notamment à l'échelle locale. Le système d'évaluation actuel pousse les chercheurs à vouloir se rapprocher de critères mainstream, et les éloigne des écosystèmes régionaux de production et de communication scientifiques. C'est la raison pour laquelle nous devons nous doter d'un CRIS régional, comme il en existe déjà au Pérou, au Brésil et en Argentine. Les sources de données constituent un enjeu fondamental pour élargir le paysage de la production scientifique en cours d'évaluation, tout comme la nécessité de stimuler réellement le multilinguisme des productions locales en leur donnant plus de visibilité dans les bases de portée internationale, comme SciELO, Redalyc ou BIBLAT.

Il existe en Amérique du Sud des revues très artisanales, éditées par de petites équipes de recherches ou de petites universités. À l'opposé du spectre, les bases de données bibliographiques mainstream comportent très peu de revues latino-américaines. Mais entre les deux, il existe énormément de revues indexées dans nos bases régionales. Latindex, SciELO, Redalyc et BIBLAT montrent qu'il est possible de publier des revues de qualité, avec un niveau d'excellence défini collectivement par la communauté académique à partir d'un équilibre nécessaire entre les normes locales
et les critères internationaux, équilibre qui doit être poursuivi grâce à une collaboration horizontale et non par une pression verticale.

Références

1. Fernanda Beigel, « Research Evaluation in the Southern Road to Open Science », https://www.canal-u.tv/sites/default/files/medias/fichiers/2022/02/4.1%20Evaluation.%20Beigel.pdf.

2. Unesco, « Recommandation de l'Unesco sur une science ouverte », 24 novembre 2021, https://unesdoc.unesco.org/ark:/48223/pf0000379949.

3. « euroCRIS | The international organisation for research information », consulté le 16 mars 2022, https://eurocris.org/.

4. Federation Of Finnish Learned Societies et al., « Helsinki Initiative on Multilingualism in Scholarly Communication », 2019, https://figshare.com/articles/Helsinki_Initiative_on_Multilingualism_in_Scholarly_Comunication/7887059.

5. « FOLEC - Foro Latinoamericano Sobre Evaluación Científica », CLACSO (blog), consulté le 16 mars 2022, https://www.clacso.org/en/folec/.

6. Serge Bauin et al., « Appel de Jussieu pour la Science ouverte et la Bibliodiversité », 10 octobre 2017, https://jussieucall.org/jussieu-call/.

7. Fernanda Beigel et al., « OLIVA: una mirada transversal a la producción científica indexada en América Latina. Diversidad disciplinar, colaboración institucional y multilingüismo en SciELO y Redalyc » (SciELO Preprints, 19 juillet 2021), https://doi.org/10.1590/SciELOPreprints.2653.

8. « Biblat - Bibliografía latinoamericana », consulté le 16 mars 2022, https://biblat.unam.mx/fr.

9. « LA Referencia », consulté le 16 mars 2022, https://www.lareferencia.info/es/.
<figure><img src="image_36.png" /></figure>
# Science ouverte et évaluation de la recherche. Tendances et état des lieux en Europe

Pastora Martinez Samper

Universitat Oberta de Catalunya - UOC

Je suis très heureuse de participer à la discussion sur l'importance de changer et de réformer l'évaluation de la recherche afin de faire de la science ouverte une réalité. Cependant, permettez-moi de souligner un point dans l'autre sens : la science ouverte est également le principal moteur de cette nouvelle façon d'évaluer les chercheurs, en permettant d'évaluer une recherche plus complète, qui nous pousse vers une meilleure science. C'est le mouvement de la science ouverte qui nous rassemble aujourd'hui, nous devons le reconnaître.

Je souhaite vous proposer un aperçu de la place actuelle de la science ouverte dans l'évaluation de la recherche institutionnelle, en me concentrant sur les universités européennes. Pour ce faire, je vais vous présenter les résultats du travail que nous avons effectué au sein d'un groupe d'experts sur la science ouverte de l'Association des universités européennes (EUA). Nous suivons les tendances et l'évolution de la science ouverte depuis environ dix ans et notre groupe d'experts a lui-même évolué pour mieux suivre ces différentes tendances. Nous venons de publier notre nouvelle vision et nos nouvelles priorités pour les années à venir, et l'évaluation de la recherche en est un élément clé.

Nous avons suivi cette évolution à travers différentes enquêtes, en demandant aux universités si elles mettaient en œuvre la science ouverte. Ces enquêtes elles-mêmes ont également évolué avec le temps : nous avons commencé en 2014, en posant simplement des questions sur le libre accès aux publications, puis nous avons intégré les données FAIR, et en 2017, nous avons inclus l'évaluation de la recherche. Je vais m'appuyer ici sur une combinaison des deux derniers rapports et enquêtes de l'EUA¹. Il convient de noter que les réponses à ces enquêtes ont été transmises par des dirigeants d'université ou par des unités ou départements en charge de la science ouverte au sein des universités, il ne s'agit donc pas d'une approche bottom-up qui témoignerait de la façon dont les personnels des universités conçoivent les choses, mais du point de vue top-down de ceux qui sont à la tête de ces établissements. L'autre
chose que je tiens à souligner est que tous ces résultats et toutes ces enquêtes ont été réalisés juste avant que la Commission européenne n'entame de discussion avec les parties prenantes, il sera donc très intéressant de voir ce qui se passera après le débat que nous menons actuellement.

Commençons par la science ouverte. La bonne nouvelle est que la science ouverte est de plus en plus présente dans les priorités stratégiques des universités européennes, et qu'une grande majorité d'entre elles se sont même dotées de politiques institutionnelles spécifiques en matière de science ouverte ou sont en train d'en élaborer. Cependant, en entrant dans le détail de l'organisation de ces politiques de science ouverte, on constate d'importantes différences d'un domaine de science ouverte à l'autre. Par exemple, le libre accès aux publications se voit accorder le plus haut niveau d'importance et de mise en œuvre, alors que l'évaluation n'est pas considérée comme importante.

<figure><img src="image_37.png" /><figcaption>Fig. 11 : Le rôle limité de l'OS dans les approches d'évaluation académique des universités</figcaption></figure>

Source : Association des universités européennes et al., « Open Science in university approaches to academic assessment », décembre 2021, https://www.eua.eu/resources/publications/999:open-science-in-university-approaches-to-academic-assessment.html.

Cela se reflète également dans le rôle limité que présente la science ouverte dans les évaluations académiques menées par les universités. Lorsque nous avons
interrogé sur ce sujet, la plupart des répondants ont apporté des éléments de réponse plutôt liés au libre accès aux articles et aux livres. Pire, près de la moitié des répondants n'ont pas du tout intégré les aspects de la science ouverte dans leurs pratiques d'évaluation. Lorsque nous avons posé des questions spécifiques sur l'évaluation des carrières des chercheurs, les réponses obtenues ont montré que la science ouverte et le libre accès forment les aspects les moins importants de ce type d'évaluation, alors que les publications scientifiques et l'obtention de financement occupent respectivement les première et deuxième places du podium.

Lorsque nous avons demandé quels méthodologies étaient utilisées pour évaluer les carrières des chercheurs, nous avons identifié deux critères les plus habituels: les métriques basées sur le nombre de publications et de citations, et l'évaluation par les pairs. Les principales métriques utilisées sont le facteur d'impact des revues et l'indice h. Elles représentent la réalité des universités européennes à l'heure actuelle, car il y a un décalage entre leur stratégie de science ouverte et l'intégration de la science ouverte dans l'évaluation de la recherche. En outre, la principale difficulté réside dans le fait que les dirigeants et les administrateurs des universités semblent attachés à l'approche de l'évaluation de la recherche basée sur ces paramètres. Si l'on s'attarde sur cette difficulté, on constate que la plupart des problèmes qu'elle entraîne sont d'ordre pratique, car les dirigeants et administrateurs se rendent très bien compte que la réforme de l'évaluation de la recherche est une question complexe, qu'ils n'ont pas la capacité institutionnelle de mener à bien. Ils s'inquiètent également de l'augmentation des coûts. Un autre point très important à souligner est que les universités perçoivent une résistance à la réforme de la part des chercheurs. Or, il est absolument essentiel de faire participer les chercheurs à la conversation. Nous ne pouvons pas nous contenter d'une approche descendante. Nous avons au contraire besoin d'une approche ascendante pour créer et faire avancer toutes les réformes nécessaires.

Permettez-moi de partager avec vous les difficultés que nous rencontrons, et que je rencontre moi-même en tant que vice-présidente d'une université, quand nous essayons de changer les choses et de trouver un équilibre entre ce qui est souhaitable et ce qui est possible. Ce dilemme est omniprésent. Il est difficile de bien prendre en compte le contexte particulier, l'environnement complexe dans lequel nous nous trouvons, le manque d'incitations, le manque de directives, le manque de politiques différenciées, les disparités entre pays et entre disciplines, ainsi que la question de savoir comment nous, en tant qu'universitaires, allons pouvoir agir sans nuire aux chercheurs, en particulier aux chercheurs en début de carrière. Cependant, lorsque nous posons des questions sur l'avenir, la plupart
des répondants affirment que la science ouverte sera de plus en plus présente, y compris dans l'évaluation universitaire.

De nombreuses organisations travaillent à repenser la manière dont nous pouvons améliorer l'évaluation académique et je vais m'attarder sur certaines d'entre elles. Je vais commencer par le niveau institutionnel, avec trois exemples d'universités qui ont commencé à travailler sur ces questions il y a quelques années. Tout d'abord, l'université de Gand, qui a publié un plan d'action en 2016² pour chercher à mettre en place un système d'évaluation plus complet. Ce plan a permis la refonte et le remaniement du système d'évaluation du personnel académique, désormais davantage considéré comme un processus de développement professionnel et non plus seulement de contrôle et d'évaluation. Il existe un autre très bon exemple à l'université d'Utrecht³, où la faculté de médecine a adopté une stratégie de science ouverte qui intègre un inventaire plus qualitatif et descriptif de ce qui peut être pris en compte pour évaluer chercheurs et unités de recherche.

Je vais également vous expliquer un peu ce que nous faisons à l'université ouverte de Catalogne avec notre propre plan d'action pour la connaissance ouverte que nous avons approuvé en 2018⁴. Nous avons décidé d'y considérer l'évaluation de la recherche comme un moyen d'avancer vers la science ouverte. Dans un premier temps, nous avons mis en place un groupe de travail pour chercher à savoir si nous serions en mesure de respecter les préconisations de DORA⁵ en n'utilisant pas le facteur d'impact des journaux pour évaluer les chercheurs et la recherche. Après cela, nous avons signé cette déclaration et commencé à adopter des rapports et des procédures plus narratifs dans nos évaluations, en écartant le facteur d'impact des revues dans notre fonctionnement interne.

On peut également mentionner de très bonnes initiatives nationales, comme aux Pays-Bas, qui ont imaginé une manière très intéressante de tenir compte de l'asymétrie dans l'évaluation⁶. En Finlande, il y a quelques années, le réseau Responsible Research a publié une belle série de recommandations soulignant la nécessité de faire évoluer l'évaluation pour prendre en compte de nouvelles manières de produire et de communiquer dans le domaine scientifique⁷. De même, des universités norvégiennes ont proposé une nouvelle version de la matrice d'évaluation de la carrière scientifique ouverte⁸. La manière dont elles l'ont fait est très intéressante, car elle tient compte des différentes disciplines et d'une approche ascendante et inclut une boîte à outils avec quelques indicateurs, tant quantitatifs que qualitatifs, ainsi qu'une réflexion à ce sujet.
Tous ces exemples sont également présents dans le travail effectué par DORA, l'EUA et SPARC Europe⁹. Ce sont ces initiatives individuelles qui nous ont permis d'être entendus par la Commission européenne, nous permettant ainsi de prendre l'élan nécessaire pour convaincre tous les acteurs que ces changements doivent être mis en place. Il est très important que le nouvel agenda politique de l'Espace européen de la recherche pour les années à venir comporte une action spécifique en vue de la réforme de l'évaluation de la recherche. Le rapport de la Commission¹⁰ est également un jalon important. Nous travaillons maintenant tous ensemble à ce processus, avec la Commission comme facilitateur, afin de générer la masse critique dont nous avons besoin.

Permettez-moi de conclure en disant que le changement est à portée de main. Nous avons la possibilité de lancer de plus en plus d'actions afin de passer à une méthode plus complète, plus transparente et plus équitable d'évaluation de la recherche universitaire, pour une science meilleure, et je pense que l'opportunité est là.

## Pour aller plus loin

« La Commission européenne travaille à la préparation d'un accord global sur la réforme de l'évaluation de la recherche, et a lancé à ce sujet un appel à manifestation d'intérêt auprès des institutions susceptibles de prendre part à cette réflexion. Plus d'une centaine d'entre elles se sont déjà portées volontaires, dans le but de corédiger une liste d'actions spécifiques à mener, et de mesures destinées à soutenir ces actions. »

« Nous savons ce que nous ne voulons pas, mais nous sommes aussi à peu près conscients que la science ouverte ne sera pas une solution universelle pour tous. Elle doit être adaptée au contexte, au pays, à l'université, aux chercheurs et aux disciplines. À l'UOC, nous avons commencé modestement et nous avançons pas à pas, avec un apprentissage par l'action conjointe entre toutes les universités et toutes les parties prenantes. C'est pourquoi ces recommandations de l'UNESCO sont si importantes, parce que l'échelle mondiale est très, très importante si nous voulons donner un réel élan. Le libre accès aux publications de recherche est plus facile parce que nous discountons du libre accès aux articles depuis de nombreuses années, et nous savons comment les intégrer et comment ouvrir cet accès. Nous devons maintenant apprendre à faire autre chose. »

« Tout le monde n'est pas conscient des limites des métriques de la recherche telles que l'indice h au sein de la communauté universitaire. Nous devrions ouvrir davantage ce débat, sensibiliser et faire participer tout le monde, afin d'en faire connaître tous les inconvénients. »
Références

1. Association des universités européennes et al., « Open Science in university approaches to academic assessment », décembre 2021, https://www.eua.eu/resources/publications/999:open-science-in-university-approaches-to-academic-assessment.html.

2. « Vision Statement for Evaluating Research at Ghent University », 8 novembre 2016, https://www.ugent.be/en/research/research-strategy/evaluation/research-evaluation-principles.pdf.

3. « Recognition and Rewards », Utrecht University, consulté le 16 mars 2022, https://www.uu.nl/en/research/open-science/tracks/recognition-and-rewards.

4. Universitat Oberta de Catalunya, « Open Knowledge Action Plan », mai 2019, https://www.uoc.edu/portal/en/coneixement-obert/pla-accio/index.html.

5. American Society for Cell Biology, « Declaration on Research Assessment (DORA) », DORA, 2012, https://sfdora.org/.

6. VSNU et al., « Room for Everyone's Talent », novembre 2019, https://www.nwo.nl/en/position-paper-room-everyones-talent.

7. Working group for responsible evaluation of a researcher, « Good Practice in Researcher Evaluation: Recommendation for the Responsible Evaluation of a Researcher in Finland », 2020, https://doi.org/10.23847/isbn.9789525995282.

8. Universities Norway, « NOR-CAM – A toolbox for recognition and rewards in academic careers », 1er juin 2021, https://www.uhr.no/en/front-page-carousel/nor-cam-a-toolbox-for-recognition-and-rewards-in-academic-careers.5780.aspx; original matrix: Working group on rewards under Open Science, « Evaluation of Research Careers fully acknowledging Open Science Practices Rewards, incentives and/or recognition for researchers practicing Open Science », juillet 2017, https://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport_final.pdf.

9. Saenen, Bregt, Anna Hatch, Stephen Curry, Vanessa Proudman and Ashley Lakoduk, *Reimagining Academic Career Assessment: Stories of innovation and change*, Janvier 2021, https://eua.eu/resources/publications/952:reimagining-academic-career-assessment-stories-of-innovation-and-change.html.

10. Commission européenne, *Towards a Reform of the Research Assessment System: Scoping Report* (LU: Publications Office of the European Union, 2021), https://data.europa.eu/doi/10.2777/707440.
# Faire de la place pour les talents de chacun

Kim Huijpen

Association des Universités des Pays-Bas

Hier s'est déroulé aux Pays-Bas le *Recognition & Rewards Festival*. C'était un événement très inspirant pendant lequel tous nos collègues impliqués dans notre programme national, ainsi que, je suis heureux de le dire, certains de nos collègues à l'international, ont mis en commun leurs bonnes pratiques. Nous nous sommes donné de l'inspiration les uns aux autres, au cours d'un tronc commun en assemblée plénière et de 17 ateliers, créés conjointement avec les personnes avec lesquelles je travaille tous les jours. Je suis très heureuse d'avoir pu me joindre à vous ici à Paris, et de pouvoir expliquer un peu comment nous aimons Faire de la place aux talents de chacun (*Room for everyone's talent*) aux Pays-Bas.

Car telle est notre ambition. Nous souhaitons mettre en place un environnement sain et stimulant pour notre personnel universitaire, au sein duquel tous les talents seraient valorisés – l'enseignement, la recherche, l'impact, les soins aux patients et un bon leadership dans le monde universitaire – et nous espérons mettre cela en place non seulement aux Pays-Bas, mais dans le monde entier.

Ce que je vais partager avec vous aujourd'hui, ce sont les raisons pour lesquelles nous pensons que ce changement est nécessaire, ce que nous voulons changer et comment nous pensons pouvoir réaliser ce changement aux Pays-Bas et au-delà, mais aussi comment vous pouvez contribuer à cette évolution de l'évaluation des carrières universitaires.

Pourquoi pensons-nous qu'un changement est nécessaire ? Nous constatons qu'au sein du monde académique, nous sommes investis d'une vaste mission en tant qu'universités, instituts de recherche et hôpitaux universitaires, mais nous ne récompensons nos membres qu'en fonction de leurs résultats de recherche et de leurs publications, voire que d'un tout petit nombre d'indicateurs.
<figure><img src="image_38.png" /><figcaption>Fig. 12 : Reconnaissance et récompenses pour la science ouverte</figcaption></figure>

Source : Utrecht University, Open Science Recognition and Rewards, https://www.uu.nl/en/research/open-science/tracks/recognition-and-rewards (consulted on 15 May 2022). CC BY-SA 4.0.

Nous constatons donc un décalage, que l'université d'Utrecht a représenté par cette belle visualisation comparant un pied à coulisse sophistiqué avec un instrument de mesure beaucoup plus simple prenant en compte uniquement la recherche académique, qui constitue actuellement l'objectif principal de l'évaluation de la science. Notre ambition est de faire en sorte que cet instrument de mesure devienne un peu plus sophistiqué, afin que nous puissions mesurer tous les aspects de ce que fait un universitaire, un savant ou un scientifique, et pas seulement ses activités de recherche, mais aussi son enseignement et son impact. Nous avons également besoin de bons leaders dans le monde universitaire.

Que voulons-nous changer ? Notre document de synthèse de 2019 intitulé « De la place pour les talents de chacun » (*Room for everyone's talent*) porte sur cinq aspects essentiels :
* la diversification des parcours professionnels ;

* l'équilibre entre les individus et le collectif ;

* l'accent sur la qualité ;

* la stimulation de la science ouverte, ;

* la stimulation d'un leadership de qualité dans le monde universitaire.

Nous souhaitons diversifier les parcours professionnels dans le monde universitaire, de sorte que vous puissiez faire carrière si vous savez faire de la recherche et publier dans les bonnes revues, mais aussi si vous avez du talent pour l'enseignement et pour la collaboration avec d'autres organismes, avec la société et avec l'industrie. Nous espérons pouvoir travailler avec vous au sein d'équipes (dont certaines existent déjà) qui rassemblent ces différents types de talents dans le monde académique, mais nous voulons vraiment qu'ils obtiennent tous la reconnaissance qu'ils méritent.

Nous pensons qu'il devrait y avoir un meilleur équilibre entre l'individu et l'équipe, et nous nous efforçons de développer encore davantage l'esprit d'équipe et le travail collaboratif. Il me semble que nous devrions nous concentrer davantage sur la qualité du travail. Car une bonne recherche scientifique accroît les connaissances scientifiques et contribue à résoudre les défis de la société, et c'est précisément ce que nous souhaitons. Bien sûr, nous voulons stimuler la science ouverte. Nous sommes en pleine Journée européenne sur la science ouverte, et nous savons tous que si nous voulons stimuler la science ouverte, nous devons vraiment récompenser les scientifiques qui publient dans des revues en libre accès, qui travaillent sur la gestion des données de recherche et qui partagent leurs données, leurs logiciels ou leurs matériaux. Le cinquième élément de notre approche est que nous aimerions stimuler un leadership de bonne qualité dans le monde universitaire, et nous pensons que c'est également la clé pour porter ce changement dans l'évaluation des carrières universitaires.

Comment pensons-nous être en mesure de réaliser ce changement ? Nous avons mis en place un programme commun aux Pays-Bas, nous travaillons ensemble et nous partageons les bonnes pratiques. Nous partageons nos expériences et construisons une communauté en ligne pour rendre cela possible, même si nous le faisions déjà lors de réunions conjointes. Chaque université, institut de recherche et financeur de la recherche a mis en place un comité de reconnaissance et de récompense et nous réunissons les présidents de ces comités, notamment lors des *Recognition & Rewards Festivals*, où nous partageons de bonnes pratiques et créons ensemble de nouveaux travaux. L'enseignement mutuel est également un élément clé de notre approche. Les comités eux-mêmes traduisent notre prise de position nationale, « Place aux
talents de chacun », en plans d'actions personnels adaptés à leur propre contexte et aux missions de leurs organisations². Notre approche est donc à la fois ascendante et descendante, car nous pensons qu'il est vraiment important de faire participer les chercheurs à la conversation. Nous ne pouvons pas opérer ce changement s'il n'y a pas de dialogue avec le personnel universitaire lui-même. Toutefois, nous impliquons également les principaux leaders du monde universitaire aux Pays-Bas, car c'est important pour avoir des ambassadeurs de ce mouvement de changement.

Les principes directeurs de notre approche sont les suivants. Nous pensons que nous travaillons à un changement de culture, c'est-à-dire à un changement fondamental de convictions et pas seulement à un changement des règles du jeu. Ce dont nous avons donc besoin, c'est aussi de patience pour opérer ce changement. Cela ne se fera pas du jour au lendemain. Nous avons besoin d'un dialogue global au sein du monde académique et nous devons impliquer la communauté scientifique pour nous assurer qu'elle est capable de décider par elle-même de la manière dont elle est évaluée. Nous devons partager nos bonnes pratiques. Il va être nécessaire de trouver un équilibre entre le fait de donner de la place aux idées et le fait de les rassembler, et pour réaliser ce changement, un bon leadership dans le monde universitaire est vraiment, vraiment nécessaire.

Nous devons travailler ensemble, aussi est-il nécessaire de prêter attention à toutes les initiatives internationales (et il y en a beaucoup ces jours-ci – je suis d'accord pour dire que nous gagnons du terrain) et de partager nos propres expériences lors de conférences comme celle-ci. Nous partageons tous une même vision et nous nous efforçons d'établir un changement de culture, mais nous avons besoin de diversité dans les approches, nous avons besoin de communication et nous avons besoin de partager nos bonnes pratiques pour rendre ce changement possible.

Je voudrais vous donner un aperçu des leçons que nous avons tirées jusqu'à présent aux Pays-Bas, car nous n'avons pas encore atteint notre objectif. Nous veillons vraiment à ce que les scientifiques soient impliqués. Nous ne voulons pas aller trop vite. Il est très important que certaines personnes poussent à la roue, mais il est également très important d'être patients, car nous ne voulons pas de nouveaux outils qui aboutiraient aux mêmes pratiques consistant à cocher des cases. Nous voulons vraiment un changement qui soit fondamental.

Enfin, comment pouvez-vous vous impliquer ? J'espère que vous allez entamer un dialogue dans votre environnement personnel de travail, et écouter les préoccupations de vos collègues et de vos pairs. Peut-être pouvez-vous même lancer vous-même une petite expérience ? Je suis très fière d'un petit groupe de doctorants de l'université
d'Utrecht qui s'est lancé dans ce type d'action, en partant simplement d'un formulaire qu'ils n'aimaient pas, qui ne correspondait pas à leur façon de concevoir l'évaluation des carrières académiques, et a proposé de modifier ce formulaire. Je pense que ces petites expériences sont vraiment essentielles pour que ce changement se produise.

En conclusion, nous avons besoin d'un meilleur équilibre dans la façon dont nous reconnaissions et récompensons les universitaires pour nous aider à atteindre l'excellence en matière d'éducation, de recherche, d'impact et de leadership, ainsi que le plus haut niveau de soin des patients dans nos hôpitaux universitaires. Cependant, nous ne pouvons pas changer l'évaluation de la recherche académique par nous-mêmes. Nous devons travailler ensemble en Europe et au-delà pour changer la façon dont nous reconnaissions et récompensons les scientifiques.

## Pour aller plus loin

« L'approche nationale néerlandaise de l'évaluation de la recherche est plus large que l'approche science ouverte, car elle inclut également l'enseignement, le leadership, la pertinence sociétale ou l'impact sociétal. C'est très important car un scientifique, un savant, est plus qu'un chercheur. L'enseignement est une mission clé des universités, il est donc fondamental d'investir dans la qualité des enseignants et de leur donner la possibilité de se développer dans le monde académique et d'avoir également un plan de carrière. »

« Aux Pays-Bas, certains chercheurs et même l'ECRS ont écrit des lettres ouvertes pour revenir à l'ancien système d'évaluation. Nous avons considéré que ces préoccupations refléraient celles de toute la communauté universitaire, et qu'il était donc important de vraiment impliquer la communauté universitaire et d'entamer un dialogue. Nous l'avons fait en invitant l'une de ces personnes, le premier auteur d'une de ces lettres, à une table ronde lors de notre *Recognition & Rewards Festival* d'hier. Nous avons eu un très, très bon dialogue avec lui et avec les membres du conseil impliqués dans notre initiative. Je comprends vraiment que beaucoup de chercheurs, beaucoup de scientifiques, sont inquiets pour leur carrière. Nous sommes en train de tenter des expériences. Nous ne savons pas à quoi le système ressemblera dans quelques années. Il me semble donc que nous devrions vraiment prendre ces préoccupations au sérieux, entamer un dialogue, maintenir ce dialogue et nous assurer que nous le faisons tous au niveau national et au niveau des universités, des facultés ou des unités de recherche. »
Références

1. VSNU et al., « Room for everyone's talent », novembre 2019, https://www.nwo.nl/en/position-paper-room-everyones-talent.

2. Cf. exemples à l'université de Leiden (https://www.universiteitleiden.nl/en/news/2021/01/academia-in-motion-a-different-form-of-recognition-and-reward), à l'université de Maastricht (https://www.maastrichtuniversity.nl/about-um/recognition-rewards), à l'université de Tilburg (https://www.tilburguniversity.edu/current/news/more-news/program-recognition-and-rewards), à l'université de Rotterdam (https://www.eur.nl/en/about-eur/vision/recognition-rewards/what-recognition-rewards/eur-programme) ou à l'université d'Utrecht (https://www.uu.nl/en/research/open-science/tracks/recognition-and-rewards).
Science ouverte, évaluation de
la recherche et SHS (sciences
humaines et sociales)

Emanuel Kulczycki
Université Adam Mickiewicz de Poznań

Dans mon exposé, je souhaite montrer comment relever efficacement l'un des principaux défis de la science ouverte et de l'évaluation de la recherche, à savoir le multilinguisme. La perspective des sciences humaines et sociales me permettra de montrer que le soutien au multilinguisme est un des fondements de l'impact de la recherche.

Près de la moitié des Européens ne sont pas en mesure de parler une langue étran-
gère suffisamment bien pour tenir une conversation. Seul un peu plus d'un tiers
est capable de le faire en anglais, la langue étrangère la plus parlée. Ainsi, si la
recherche est communiquée exclusivement en anglais, elle est intrinsèquement limi-
tée. Ce constat a été rendu évident par la pandémie de COVID-19 en Europe et dans
le monde. Nous constatons un besoin généralisé de communication savante, non
seulement entre chercheurs, mais aussi pour permettre à la recherche d'atteindre
les décideurs, les professionnels et les citoyens. Le problème est que nous avons
rendu les publications ouvertes, mais nous constatons que nos sociétés ne sont pas
pleinement capables de les utiliser. Cela n'est possible que si la recherche est com-
muniquée dans plusieurs langues, y compris celles qui sont réellement utilisées loca-
lement dans la parole et l'écriture.

Au sein de la réforme en cours du système d'évaluation de la recherche, le multi-
linguisme fait figure de parent pauvre. Pour que la science soit réellement ouverte,
il faut promouvoir une recherche diversifiée, multilingue et pertinente, accessible à
différents publics. La traduction automatique n'est pas un substitut à la publication
des résultats de recherche en plusieurs langues à l'intention de différents publics.
Cela s'explique principalement par le fait que les grandes entreprises et les éditeurs
ciblent les langues comptant le plus grand nombre d'utilisateurs et traduisent prin-
cipalement de l'anglais vers d'autres langues. Les langues ayant moins d'utilisateurs
sont trop souvent négligées et deviennent donc invisibles. Il en va exactement de
même pour les publications dans des langues autres que l'anglais au sein des plus
grands index de citations. Par conséquent, la science ouverte et l'évaluation de la recherche doivent aider les chercheurs à publier leurs travaux dans plusieurs langues.

Toutes les publications locales n'ont pas besoin d'être traduites en anglais, et toutes les publications en anglais n'ont pas besoin d'être traduites dans les langues locales. L'appel en faveur du multilinguisme n'est pas un appel à donner la priorité aux langues locales sur l'anglais. C'est un appel à reconnaître que la qualité de la recherche ne dépend pas du fait que la recherche soit ou non communiquée en anglais. Dans les sciences humaines et sociales, nous étudions les sociétés et les analysons en utilisant leurs propres mots et leurs propres concepts. Ainsi, les langues locales sont nécessaires pour rendre compte de l'ensemble d'une culture et d'un patrimoine historique. En outre, dans de nombreuses sciences dites dures, comme la physique ou la chimie, la recherche peut être exprimée avec moins de mots qu'en histoire ou en sociologie, car une grande partie du travail est effectuée à l'aide de chiffres, de graphiques et de formules. Ce n'est pas le cas des sciences humaines, où la diversité linguistique joue un rôle essentiel.

Je construis mon discours sur la communication savante à travers le prisme des chercheurs en SHS. Quand nous parlons de science ouverte, nous la réduisons régulièrement au libre accès aux publications et oublions les chercheurs qui sont à la fois véritables créateurs et sujets de la science ouverte. Je me concentre par conséquent sur les différents moyens de publier les résultats de la recherche, en soulignant que la communication par le biais de livres, de publications et de journaux locaux est cruciale pour les chercheurs en SHS. Les chercheurs qui publient des livres et des articles dans des langues locales sont confrontés à des défis différents de ceux des chercheurs des domaines dits STEM, des sciences naturelles et techniques, entre autres. Si nous réorientons notre attention des publications vers les chercheurs qui les produisent, nous nous rendrons compte que le multilinguisme et les préjugés linguistiques sont des défis cruciaux pour la science ouverte et l'évaluation de la recherche. C'est là le message clé de l'Initiative d'Helsinki sur le multilinguisme dans la communication savante¹, qui vise à dépasser le non-problème que représente la langue dans l'évaluation de la recherche. En voici une preuve, basée sur les modèles de publication adoptés par les chercheurs en Europe. Je m'appuie sur des études récentes du Réseau européen d'évaluation de la recherche en SHS.

Des données provenant de huit pays européens² montrent que la base de données du Web of Science ne couvre qu'une petite partie de toutes les publications évaluées par les pairs en sciences humaines. La publication de monographies est un moyen important de communiquer la recherche, mais celles-ci sont invisibles dans le Web of Science ou dans Scopus. Par exemple, seuls 15 % de toutes les publications des
chercheurs polonais en SHS sont indexées dans le Web of Science et seulement un peu plus de 50 % de celles des chercheurs danois. Heureusement, depuis plus d'une décennie, divers pays européens utilisent actuellement des systèmes nationaux d'information de recherche, grâce auxquels nous pouvons obtenir une bonne image de l'ensemble du paysage de la publication dans le monde académique.

Une étude a été réalisée sur le pourcentage de publications de SHS évaluées par les pairs publiées en anglais, dans les langues nationales et dans d'autres langues dans huit pays européens. Dans cette étude, nous avons pris en compte tous les types de publications et les résultats ne se limitent pas aux publications indexées dans les plus grandes bases de données de citations. Dans les pays nordiques, la plupart des publications sont en anglais, mais dans les pays d'Europe centrale et orientale, la langue locale est dominante. La taille du pays, la diversité des disciplines et la taille du marché des publications universitaires ne sont pas des facteurs explicatifs suffisants. Les facteurs historiques et culturels jouent encore un rôle majeur.

<figure><img src="image_39.png" /><figcaption>Fig. 13 : Pourcentage de publications évaluées par des pairs en anglais, dans la ou les langues locales et dans d'autres langues en sciences sociales et humaines en 2014</figcaption></figure>

Source : Emanuel Kulczycki et al., "Publication Patterns in the Social Sciences and Humanities: Evidence from Eight European Countries", Scientometrics 116, no 1 (July 2018): 463-86, https://doi.org/10.1007/s11192-018-2711-0.
Cette image se concentre sur la communication savante à travers le prisme des publications. On peut dire que les chercheurs de Pologne ou de République tchèque sont moins internationalisés, c'est-à-dire qu'ils publient moins en anglais, que leurs collègues du Danemark ou de Norvège. Cependant, comme je l'ai dit plus tôt, nous devons inverser ce point de vue et considérer la communication académique du point de vue des chercheurs.

<figure><img src="image_40.png" /><figcaption>Fig. 14 : Modèles linguistiques de publication d'articles au niveau des chercheurs dans les différents pays</figcaption></figure>

Source : Emanuel Kulczycki et al., « Multilingual publishing in the social sciences and humanities: A Seven-country European study », Journal of the Association for Information Science and Technology 71, n° 11 (novembre 2020): 1371-85, https://doi.org/10.1002/asi.24336.

Tournons-nous maintenant vers les résultats d'une étude axée sur la publication multilingue d'articles de revues dans sept pays européens. Ce tableau est construit du point de vue des chercheurs individuels, et non de leurs publications. Sur une période de trois ans, plus de la moitié des chercheurs polonais, tchèques et slovènes ont publié dans au moins deux langues. Certains d'entre eux ont même publié dans trois, quatre langues et plus au cours de cette période. Comme le montrent d'autres études, la publication multilingue ne concerne pas seulement les articles mais aussi les livres.
Les bases de données Web of Science et Scopus ne couvrent qu'un quart de tous les articles de revues évalués par les pairs publiés par les chercheurs des pays analysés, et seulement une part infime des articles publiés dans les langues locales. Ainsi, des priorités linguistiques intentionnelles ou involontaires dans l'évaluation peuvent conduire à une sous-évaluation systémique de la recherche et des chercheurs en SHS. L'exemple le plus clair de ce biais linguistique quotidien est fourni par l'évaluation par les pairs des manuscrits, où il est fréquemment rapporté que les évaluateurs jugent la recherche sur la base de la qualité d'écriture des personnes dont l'anglais n'est pas la langue maternelle plutôt que sur le contenu du manuscrit. De cette façon, l'excellence de la recherche est trop souvent assimilée aux publications en langue anglaise, en particulier celles publiées dans des revues ayant un facteur d'impact.

Que pouvons-nous faire pour améliorer cette situation ? L'un des principaux objectifs de l'Initiative d'Helsinki sur le multilinguisme dans la communication savante est de faire apparaître clairement le lien entre le multilinguisme et l'évaluation. Cette initiative encourage la diversité linguistique dans les systèmes d'évaluation et de finance-ment de la recherche. Idéalement, la langue ne devrait pas être un problème dans l'évaluation et les chercheurs devraient être reconnus et récompensés en fonction de leurs résultats et de l'impact de leurs recherches. Les évaluations fondées sur des métriques, tout comme celles fondées sur l'appréciation d'experts, sont entachées de préjugés linguistiques. C'est pourquoi tous les acteurs impliqués dans l'évaluation de la recherche doivent s'assurer que, dans le processus d'évaluation par les pairs, la recherche de haute qualité est valorisée indépendamment de la langue de publication ou du canal de publication. En outre, lorsque des systèmes basés sur des métriques sont utilisés, les publications de revues et de livres dans toutes les langues doivent être prises en compte de manière appropriée. La sélection d'évaluateurs aux compétences linguistiques adéquates devrait être une préoccupation pertinente dans l'évaluation.

Il y a plusieurs décennies, nous avons confié, en tant que chercheurs, la publication de revues et de livres à de petits éditeurs commerciaux. Cette relation a longtemps fonctionné correctement, mais aujourd'hui, 75 % des dépenses européennes pour les revues scientifiques sont destinées à cinq grands éditeurs. En plus de cela, nous pouvons voir de nouveaux méga-éditeurs émerger grâce au nouveau modèle du libre accès auteur-payeur. Ces méga-éditeurs considèrent principalement la publication de la recherche comme un moyen de multiplier leurs profits. Ce faisant, ils ont démoli l'idée de science ouverte, pour n'en faire qu'un moyen supplémentaire d'augmenter leur chiffre d'affaires. Dans un tel modèle économique, le multilinguisme n'est qu'un obstacle, car il est plus facile de publier et de maintenir une infrastructure uniquement en anglais. Les perdants sont à la fois les scientifiques et les citoyens.
Par conséquent, la reconquête des canaux de communication et leur réappropriation
par la communauté universitaire et les sociétés savantes est une étape cruciale
pour maintenir et atteindre les objectifs de la science ouverte. Ce n’est que de cette
manière que nous pourrons ouvrir totalement les publications et les métadonnées
utilisées dans l’évaluation de la recherche.

Pour parvenir à une science totalement ouverte, nous devons, entre autres, nous
assurer que les revues et les éditeurs nationaux sont protégés dans leur transition
vers l'accès ouvert. Les décideurs politiques et la communauté universitaire doivent
s'assurer que les revues et les maisons d'édition à but non lucratif disposent à la
fois des ressources suffisantes et du soutien nécessaire pour maintenir des normes
élevées de contrôle de la qualité et d'intégrité de la recherche. Compte tenu de tous
les arguments présentés, il est fondamental de souligner que le multilinguisme fait
partie intégrante de l'accessibilité et devrait faire partie de la réforme de l'évaluation
de la recherche européenne.

Pour aller plus loin

« Il est crucial de décrire, discuter et parler dans diverses langues si nous voulons atteindre différents publics, leur montrer qu’ils sont analysés et compris dans leur propre langue. L’anglais ne suffit pas. »

« Notre objectif n’est pas de reconstruire la Tour de Babel. Il s’agit de reconnaître que les chercheurs publient déjà dans de nombreuses langues. L’objectif de l’Initiative d’Helsinki n’est pas de forcer les chercheurs à apprendre de nouvelles langues et à publier dans davantage de langues – bien sûr, ce serait formidable s’ils le faisaient – mais de reconnaître dans les systèmes actuels existants que les chercheurs publient en réalité dans de nombreuses langues. Par exemple, lorsque nous avons analysé les données de l’actuel système national d’information sur la recherche en Pologne, nous avons constaté que les chercheurs en sciences humaines avaient publié en sept ou huit langues différentes sur une période de six ans. Il ne s’agit pas de traductions. Ils publient dans autant de langues parce qu’ils analysent divers textes de littérature classique et d’histoire ancienne. L’idée n’est donc pas de pousser à publier dans de nombreuses langues et à traduire leurs textes dans diverses langues, mais d’utiliser, par exemple, la traduction automatique pour faciliter la lecture. »
Références

1. Federation Of Finnish Learned Societies et al., « Helsinki Initiative on Multilingualism in Scholarly Communication », 2019, https://figshare.com/articles/Helsinki_Initiative_on_Multilingualism_in_Scholarly_Communication/7887059.

2. Emanuel Kulczycki et al., « Publication Patterns in the Social Sciences and Humanities: Evidence from Eight European Countries », *Scientometrics* 116, n° 1 (juillet 2018): 463-86, https://doi.org/10.1007/s11192-018-2711-0.
<figure><img src="image_41.png" /></figure>
# Table ronde :
## Évaluation de la recherche

### Participants à la table ronde :

* Jean-Éric Paquet, Directeur général de la direction générale de la recherche et de l'innovation, Commission européenne

* Maria Leptin, Présidente du Conseil européen de la recherche - ERC

* Marc Schiltz, Président de Science Europe et secrétaire général du Fonds national de la recherche du Luxembourg - FNR

* Michael Murphy, Président de l'Association des universités européennes - EUA

* Bert Overlaet, au nom du président de la Ligue des universités de recherche européennes - LERU

* Thierry Coulhon, Président du Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur - Hcéres

**Animateur :** Paul de Brem, journaliste scientifique

**Animateur :** Nous sommes d'accord sur les principes de l'accès ouvert, de la transparence et de l'intégrité, et il y a un besoin énorme de faire évoluer l'évaluation de la recherche, mais comment mettre cela en œuvre dans le monde réel, étant donné qu'il existe des milliers d'institutions scientifiques en Europe et dans le monde ?

Il y a quelques mois, l'accès ouvert est devenu une exigence légale pour tous les projets financés par Horizon Europe¹. Il y a trois mois, la Commission européenne a publié un rapport intitulé « Vers une réforme du système d'évaluation de la recherche² ». Un mois plus tard, la Commission européenne a publié un appel à manifestation d'intérêt³ afin de créer une coalition sur la réforme de l'évaluation de la recherche. Jean-Éric Paquet, combien de signataires avez-vous obtenu ?

**Jean-Éric Paquet :** C'est toujours en cours, mais nous avons largement dépassé les 160 en quelques semaines. Je m'attends à ce que cela augmente maintenant et que nous en ayons beaucoup plus. Nous espérons rallier le plus grand nombre
possible d'acteurs en Europe autour de cet appel, et ce dans tous les domaines. Nous voulons que des chercheurs, des organisations qui les représentent, des universités, des acteurs de l'évaluation au plan national, des centres de recherche et des bailleurs de fonds de la recherche, soient parties prenantes. Nous avons besoin de participations dans tous les domaines, et nous avons déjà un large éventail d'acteurs parmi les plus de 160 signataires à ce jour, donc cela s' annonce vraiment favorablement. Nous avons déjà quelques pays non-membres de l'UE, mais nous avons aussi la plupart des États membres de l'Union européenne représentés. Nous ne les avons pas encore tous, mais je pense que nous sommes à plus de 22 sur 27. Je ne doute pas que nous y arriverons.

La science ouverte bénéficie d'un formidable élan. L'évaluation de la recherche, l'évaluation des organismes de recherche et l'évaluation des chercheurs eux-mêmes sont au cœur d'un changement systémique des pratiques de la science ouverte, d'où son importance. Au-delà de cela, nous avons vu dans la gestion de la pandémie que la science ouverte est une nécessité absolue. L'impact que la science ouverte a eu sur les scientifiques du monde entier, et plus particulièrement en Europe, pour faire la différence, a été étonnant. La Commission, en collaboration avec le Laboratoire européen de biologie moléculaire, l'EMBL, et d'autres organisations, a créé une plateforme de données grâce à laquelle des milliers de chercheurs ont partagé leurs données et des séquences virales. Cela a accéléré le partage des connaissances autour de la COVID-19. De plus, les publications normalement en accès payant ont été mises à disposition en accès libre immédiat. Grâce à la science ouverte, le monde a avancé remarquablement vite dans la gestion de la pandémie, et le vaccin en est un exemple. C'est donc une nécessité, mais c'est aussi un processus qui date de plusieurs décennies. Le manque d'action a suscité beaucoup de frustration, car la science ouverte est un effort systémique avec de nombreuses composantes différentes qui doivent large- ment évoluer ensemble pour être pertinentes et avoir un impact, ce qui explique pourquoi cela a été si difficile. La Commission européenne peut avoir un impact en termes de cadres politiques et de financement, mais pas en restant isolée. L'élan d'aujourd'hui a vraiment commencé avec la cOAlition S⁴ pour le libre accès aux publications, ce qui a créé une dynamique y compris pour l'évaluation de la recherche.

L'élan a pu commencer lorsque les ministres ont convenu que l'espace européen de la recherche a besoin d'une nouvelle dynamique. Pour les gouvernements, la science ouverte est un élément clé et, dans ce contexte, ils ont identifié l'évaluation de la recherche comme un moteur essentiel. Il est très clair que l'évaluation de la recherche ne consiste pas seulement à examiner et à noter des scienti-
fiques, des laboratoires ou des institutions. Il s'agit d'examiner fondamentalement et différemment la manière dont nous produisons la science et dont nous nous organisons pour le faire. La Commission s'est penchée en profondeur sur la question au cours de l'année 2021 et a produit en fin d'année dernière un rapport⁵ présentant les éléments clés d'un processus qui pourrait nous amener collectivement à changer réellement la façon dont la recherche est évaluée. Ce rapport a ensuite servi de base à un appel que nous avons lancé le 16 décembre 2021 et qui a désormais une réelle dynamique.

L'idée derrière ce travail collectif est de produire un accord de coalition afin de faire des propositions de réformes concrètes de l'évaluation de la recherche, auquel l'appel de Paris contribue directement. Il invite les organisations à se réunir et à s'engager en faveur de la réforme de l'évaluation de la recherche, ainsi qu'à nous aider à produire cet accord de coalition. Nous utiliserons le rapport de l'année dernière comme un point de départ solide et nous travaillons actuellement avec Science Europe et l'Association européenne des universités pour commencer à élaborer un texte commun, dont l'Appel de Paris sera un élément clé. Nous rendrons bien sûr ce travail disponible au fur et à mesure de son avancement et il s'agira d'un travail de co-création auquel participeront de nombreux acteurs. J'espère que nous l'aurons d'ici l'été 2022 et que nous aurons alors une base très solide pour commencer à agir.

Cette coalition s'ouvrira certainement à des participants au-delà de l'Europe, ce qui serait pleinement conforme à la Recommandation de l'Unesco sur la science ouverte⁶ publiée il y a quelques mois. Le travail difficile commence avec des acteurs européens partageant les mêmes idées, mais nous sommes ouverts à l'adhésion d'acteurs clés du monde entier. C'est logique, car la science est mondiale. Il ne fait aucun doute qu'il est nécessaire de faire appel à des acteurs non européens. Je pense que notre travail sera suffisamment solide pour attirer des acteurs importants en dehors de l'Europe, notamment grâce à notre processus de mise en œuvre, concret et pratique, étape par étape.

Nous proposerons sans aucun doute des jalons concrets. Il ne s'agit pas seulement d'une déclaration de principe. Nous devons passer de cette étape à une véritable mise en œuvre, ce qui constitue un défi car l'effort est très vaste. Il entraînera des perturbations et modifiera les pratiques, les habitudes et les positions des acteurs. Ce n'est pas du tout quelque chose d'anodin. Il s'agit d'une profonde perturbation pour le mieux, mais elle exige que nous créions une large coalition et une véritable appropriation par les acteurs de cette coalition, et que nous disposions ensuite de véritables outils pratiques pour avancer, avec des étapes bien planifiées.
fiées et un fort élan, le tout dans un délai raisonnable. Horizon Europe jouera son rôle en modifiant la manière dont nous évaluons les propositions. Nous allons en particulier nous éloigner de l'usage des facteurs d'impact des revues scientifiques, et nous intéresser davantage au contenu de la recherche.

**Animaliste** : Maria Leptin, l'essence de votre organisation, le Conseil européen de la recherche (CER)7, est de sélectionner d'excellents chercheurs qui obtiendront des subventions fantastiques sur une période de plusieurs années et ils pourront créer leurs propres équipes et poursuivre leurs propres idées scientifiques. Je suppose que tous les scientifiques du monde aimeraient bénéficier d'une bourse du CER et j'imagine que vous devez relever le défi, en tant qu'organisation, de savoir comment évaluer ces candidats et le travail qu'ils ont accompli ?

**Maria Leptin** : C'est en effet un défi. Tout d'abord, un défi logistique, parce qu'il y a des milliers de demandes qui arrivent chaque année et seulement 10 à 15 % d'entre elles peuvent être financées, donc le choix est très difficile. Le CER s'appuie sur des experts de haut niveau dans tous les domaines de la pensée et de la recherche universitaires, nous avons donc besoin d'un grand nombre d'experts. Le défi consiste bien sûr à identifier les meilleurs. Nous nous appuyons sur des experts qui examinent les données scientifiques. Ils y consacrent beaucoup de temps. Ils lisent les subventions en détail. Nous recevons également des évaluations externes, des avis d'experts sur des détails. Ils se réunissent pour en discuter et se réunissent à nouveau pour interviewer les candidats de la liste restreinte. Il s'agit d'une énorme quantité de travail et d'un apport intellectuel considérable.

Le CER s'intéresse vraiment au contenu et pas tellement aux métriques. Le CER est signataire de DORA8 depuis l'année dernière. Nous avons complètement interdit l'utilisation des facteurs d'impact des revues scientifiques, qui avait commencé par être découragée pendant un certain temps. Nous demandons aux comités de ne pas tenir compte de certains paramètres tels que le fait que les chercheurs travaillent dans des institutions prestigieuses ou qu'ils aient un indice h élevé. Ils sont vraiment encouragés à s'intéresser à l'essence du travail. Il existe un certain nombre de paramètres importants qui n'ont pas été abordés dans certaines discussions. Par exemple, le fait que le facteur d'impact de la revue dans laquelle vous publiez, mais aussi le contexte global de production scientifique peuvent varier considérablement en fonction de l'endroit où vous vous trouvez. Si vous appartenez à un énorme centre de recherche très actif, il vous est plus facile que si vous vous trouvez dans un endroit plus petit d'être productif et de former de bons éléments,
car les bons éléments affluent dans ces endroits. Nous demandons instamment à nos équipes de prêter attention à cela, et elles le font.

Notre Conseil scientifique, qui compte 22 chercheurs de toute l'Europe et qui représente tous les domaines, peut surveiller la manière dont nos équipes évaluent ces chercheurs en assistant à leurs réunions et en les écoutant. Ils ne sont pas auto-risés à dire quoi que ce soit, ni à influencer les équipes. Ils sont présents, observent et collectent des informations. Ils recueillent ainsi des éléments de preuve qu'ils rapportent ensuite pour discussion et examen, ce qui nous permet de faire notre autocritique et d'obtenir en permanence des retours terrain. Il arrive que certaines personnes tombent dans des pièges, mais nous mettons en place des rappels pour essayer d'éviter cela. Nous utilisons des CV narratifs. Les chercheurs sont autori-sés à choisir les articles qu'ils souhaitent mettre en avant et à dire aux panels et aux arbitres ce qu'ils doivent privilégier. Mais il y a encore matière à de nouvelles réformes. En tant que chercheur moi-même, je ne pourrais jamais dire que ce que je fais est parfait et achevé. Ce n'est jamais le cas. Il faut toujours évoluer.

Il y a encore beaucoup à faire dans une organisation comme la nôtre pour l'évaluation de la recherche. Lorsque nous parlions de ce sujet jusqu'à présent, nous parlions du libre accès. Aujourd'hui, nous parlons d'évaluation de la recherche. C'est très diffé-rent. Ce qui se passe actuellement, et je m'en réjouis vraiment, c'est que nous avons des retours sur ce que nous ne faisons pas bien et sur ce que nous pouvons amé-liorer. Nous sommes sur le point de mettre en place un groupe de travail au sein du conseil scientifique du CER pour étudier de près ces questions. En ce qui concerne le libre accès, auquel je souscris pleinement, le CER l'exige. En d'autres termes, tout travail financé par l'ERC doit être publié en accès libre. Cependant, l'ensemble de la communauté doit encore chercher des solutions additionnelles.

J'ai salué hier la mise à l'honneur de la publication en libre accès Diamant. Le LA Dia-mant est défini comme une méthode où le chercheur ne paie pas pour publier et le lecteur ne paie pas pour lire, ce qui signifie que quelqu'un d'autre doit payer. Il existe de très bons exemples de cette méthode, mais ils sont réservés à des chercheurs financés par des organismes particuliers. Qu'en est-il de tous les autres articles ? Si nous voulons un accès libre mondial, nous devons trouver un moyen de le faire. Ce sont des questions importantes qui restent à résoudre, mais il est bon de voir qu'une impulsion est donnée dans cette direction. Je ne sais pas comment les choses se passeront avec ce que nous et la communauté proposerons en termes de recommandations pour l'évaluation de la recherche, mais je suis sûre qu'il y aura des problèmes logistiques de ce type, et peut-être aussi des problèmes financiers.
Si le Conseil scientifique le décide, il serait possible pour le CER de répondre favorablement à l'Appel de Paris et de rejoindre la coalition, comme nous avons déjà signé DORA. Nous avons commencé à lancer une taskforce, qui n'est pas encore totalement formée, mais qui s'est réunie pour préparer ces journées. Nous allons examiner ce qu'en pense le Conseil scientifique, partir des retours fournis par nos panels sur ce qui est nécessaire et fonctionne pour le CER. Une fois que nous nous serons fait une idée de la meilleure façon d'aller de l'avant, nous espérons prendre la tête de la mise en œuvre des réformes qui découleront de la consultation de la communauté.

**animateur** : Qu'en est-il de la science ouverte et du partenariat entre le secteur universitaire et le secteur privé ? En d'autres termes, comment concilier la science ouverte avec l'incitation à déposer des brevets par certains instituts de recherche ?

**Maria Leptin** : Je dirais simplement que ce n'est pas au CER de répondre à cette question. Les chercheurs du CER sont libres de publier quand ils veulent et ce qu'ils veulent. Ils sont également encouragés à envisager de déposer des brevets et de faire passer leurs recherches au niveau d'application suivant. Je pense que la curiosité humaine est le moteur de la découverte et de l'invention. Il n'est pas nécessaire d'aller vers certaines applications. Cependant, nous encourageons les chercheurs à y penser et nous les aidons à le faire. Il existe des subventions spécifiques qui aident les gens à obtenir des brevets. Par ailleurs, mentionnons l'EIC⁹ : la preuve du concept se fait au sein du CER, mais c'est une autre agence, le Conseil européen de l'innovation, qui passe à l'étape suivante.

**animateur** : Marc Schiltz, Science Europe¹⁰ est une association qui regroupe de nombreuses agences de financement. Vous comptez 38 organisations membres de 29 pays. Vous m'avez dit que lorsqu'il s'agit de réformer le système d'évaluation, nous savons ce que nous ne voulons plus, mais le plus difficile est de savoir par quoi nous voulons le remplacer, car la question est très complexe et parce que nous essayons d'évaluer des personnes engagées dans des activités très diverses. Comment allez-vous comparer toutes ces personnes ?

**Marc Schiltz** : Je pense que nous ne devrions pas et que nous ne remplacerons pas un modèle d'évaluation étroit, simpliste et monolithique par un autre. La question n'est pas tant de savoir quel sera notre nouveau système d'évaluation. Je ne pense pas que nous devrions opter pour un nouveau système d'évaluation unique. À mon avis, ce n'est pas la bonne question. On peut faire une comparaison avec l'accès libre : avec cOAlition S, l'une des raisons pour lesquelles nous avons commencé à
travailler sur ce sujet était que nous souhaitions libérer la communauté scientifique d'un modèle de publication monolithique, sans imposer de nouveau modèle. Nous avions besoin d'être libérés de ces chaînes et, comme nous l'avons entendu hier, cela a créé de l'innovation dans le secteur éditorial. C'est la même chose pour l'évaluation de la recherche. Nous devons être clairs sur ce que nous ne voulons pas et sur ce que nous souhaitons abandonner.

Là où nous pouvons nous mettre d'accord, et c'est ce qui est décrit dans l'Appel de Paris, c'est qu'il est nécessaire de reconnaître que les activités des chercheurs, tant au niveau des individus que des institutions, sont bien plus diverses que ce qui est mesuré par les étroites métriques actuelles. C'est un principe fondamental. Par exemple, dans la crise du COVID-19, de nombreux chercheurs ont conseillé les gouvernements et de nombreux scientifiques sont passés à la télévision et à la radio. Cette sensibilisation du public et cette communication scientifique sont soudainement devenues extrêmement importantes. Ce n'est là qu'un exemple de l'élargissement de la vision de ce que font les chercheurs et de ce qui doit être valorisé.

Ce dont nous avons également besoin, c'est de ce que l'on appelle la recherche sur la recherche. Il me semble en effet que si nous voulons introduire de nouvelles méthodes d'évaluation, nous devons nous donner les moyens d'évaluer ces nouvelles méthodes et ces nouvelles approches, afin de ne pas introduire de nouveaux biais. Nous devons être très prudents. Nous savons que notre système actuel est forte- ment biaisé, mais nous devons veiller à ce que nos futurs nouveaux systèmes ou méthodes d'évaluation impliquent une auto-réflexion critique. Mon agence de finan- cement, le Fonds National de la Recherche du Luxembourg, a commencé à avoir recours aux formes narratives de CV, comme d'autres, mais nous sommes en train de recueillir des commentaires à ce sujet. Nous devons évaluer l'impact et l'effet de ces CV narratifs, pour nous assurer que nous n'aggravons pas la situation. Nous devons expérimenter, car je ne pense pas qu'il y aura une méthode d'évaluation unique. Les différentes institutions l'adapteront à leurs besoins. Nous avons ici l'occasion de faire preuve de créativité, mais c'est la communauté elle-même qui devra s'approprier ces propositions. La principale question est de savoir ce que nous valorisons dans la science, et qui va au-delà de la simple publication. Nous devons prendre soin de notre écosystème scientifique en le rendant ouvert, en partageant les résultats et en prenant soin les uns des autres, notamment par le biais de la formation, du mento- rat et de l'évaluation. Les institutions individuelles savent plus ou moins ce qu'elles veulent, mais nous devons nous débarrasser de ces chaînes que nous nous sommes imposées. Le CER a adopté un très bon modèle qui permet de ne pas se contenter de mesures simplistes, et sa participation à la coalition serait la bienvenue.
**Jean-Éric Paquet** : Il est nécessaire d'insister sur la diversité des activités de recherche, que Marc a évoquée. Ce qu'il faut vraiment valoriser et récompenser davantage, c'est le travail que les scientifiques font sur les données, ce qui inclut aussi les logiciels, pour ensuite les mettre à disposition de la communauté. Ce travail n'est jamais pris en compte. Or il prend beaucoup, beaucoup de temps, il nécessite beaucoup de ressources, et si nous ne le récompensons pas et ne l'évaluons pas, nous n'atteindrons jamais le niveau souhaité par la science ouverte.

**Animateur** : À votre avis, est-il possible de pérenniser le phénomène d'ouverture accrue des communications savantes que nous avons constaté pendant la pandémie ? Y a-t-il une volonté politique à ce sujet ?

**Marc Schiltz** : Il existe très certainement une forte volonté du côté des bailleurs de fonds. Le projet politique est de tout rendre immédiatement disponible en accès libre. Les éditeurs, même les plus historiques d'entre eux, ont accepté que ce soit le cas pour tout ce qui concerne la COVID-19. On peut alors se demander pourquoi seulement pour la COVID-19 ? La recherche sur le cancer n'est-elle pas aussi importante ? Pourquoi la recherche sur le cancer devrait-elle être cadenassée en accès payant pendant 12 mois ? Il me semble que les éditeurs ont en quelque sorte admis leur défaite, car ce qui vaut pour un sujet vaut nécessairement pour l'autre. Nous ne pouvons pas proposer de hiérarchie artificielle. Nous verrons bien ce qui se passera, mais il est certain que les financeurs de la cOAlition S ont toujours soutenu le libre accès immédiat et sans embargo pour toute production scientifique, et pas seulement celle sur la COVID-19. Nous persisterons donc dans cette voie.

**Jean-Éric Paquet** : Les bailleurs de fonds ne permettent plus aux publications de ne pas être immédiatement accessibles. Dans le cadre d'Horizon Europe, toute recherche financée devra être en accès ouvert dès sa publication.

**Animateur** : Michael Murphy, avez-vous le sentiment que les universités sont prêtes à réfléchir et à créer ce système d'évaluation de la recherche que nous recherchons, un système flexible bien sûr, pas un système monolithique ? Avez-vous le sentiment qu'elles sont impatientes de voir un tel système réformé ?

**Michael Murphy** : En effet, car nous avons de nombreux arguments pour justifier cette réforme. L'EUA et les regroupements spécialisés d'universités, dont la plupart font également partie de l'EUA, travaillent sur cet agenda science ouverte depuis plus de dix ans et ont suivi l'évolution de l'application de la science ouverte dans le secteur. En discutant de cela ces derniers jours, on peut constater le consensus entre les différents acteurs de la société représentés ici et l'enthousiasme que suscite ce
programme. La science ouverte est une sorte d'acte de foi, quelque chose que nous faisons non pas parce que c'est facile, mais parce que c'est quelque chose que notre espèce doit faire, même si c'est difficile.

C'est la société dans son ensemble qui se lance sur la voie de la durabilité. Les objectifs de développement durable (ODD) des Nations unies¹¹ résument effective-ment nos objectifs sociétaux et sectoriels et la science ouverte est un outil essentiel pour atteindre ces objectifs.

L'adoption des principes et pratiques de la science ouverte doit être une des contri-butions du secteur aux ODD de l'ONU d'ici 2030. Je pense que l'une des raisons de notre échec, à ce jour, est que nous avons peur de fixer des objectifs. Nos objectifs doivent être réalistes, c'est pourquoi j'envisage l'horizon 2030. Oui, les universités s'investissent, nous mettons en place des stratégies et, dans la plupart des institu-tions, nous nous dotons de politiques, mais c'est sur l'écart entre ces stratégies et leur mise en œuvre que nous devons maintenant nous concentrer.

La question qui se pose maintenant est de savoir comment combler ce fossé entre nos aspirations et nos moyens. Nous travaillons collectivement, avec tous les par-tenaires sociétaux qui ont une influence sur notre secteur, à adopter une approche collective pour réformer l'évaluation de la recherche de façon à ouvrir la science. L'Appel de Paris en est un merveilleux exemple. Il nous reste du pain sur la planche, du fait de la complexité de la question. Il est essentiel que, dans notre travail avec le partenaire clé qu'est la Commission, nous parvenions à des principes d'implémen-tation communs à tous les acteurs et que nous soyons réalistes dans les délais que nous adopterons.

En plus de tenir compte de cette complexité, nous devons tenir compte de la diversité des pratiques existantes. Les besoins des diverses disciplines ne sont pas les mêmes en ce qui concerne l'évaluation de la recherche. Quels que soient les cadres que nous adoptons, nous devons être sensibles à cette diversité. Si nous voulons récom-penser les individus de manière juste, nous devons nous assurer que nos méthodo-logies apparaissent comme équitables, ce qui sera très difficile car les métriques des STEM peuvent être très différentes de celles des SHS. Malgré cela, bon nombre des mesures que nous souhaitons utiliser seront communes. Nous devrons également tenir compte du fait que tous les pays ne sont pas dans la même situation en termes de ressources disponibles, de cadres réglementaires et d'opportunités de démontrer leur leadership.
Il y a quelques jours, l'EUA a publié un nouvel agenda science ouverte pour 2022-2025¹². Il présente nos priorités stratégiques et couvre également la question de la réforme de l'évaluation. Il commence par approuver la définition de la science ouverte de l'Unesco, ce qui est très important car l'application de notre agenda science ouverte concerne le monde entier. Les défis que nous essayons de relever sont mondiaux, et supposent que nous fassions appel à des talents partout dans le monde pour ce faire. Il est donc très important qu'un organisme comme l'Unesco soit en phase avec ce que nous essayons de réaliser en Europe. Certains pays et certaines institutions ont été plus courageux que d'autres dans les mesures qu'ils ont prises. De notre côté, en tant qu'organismes mondiaux, ou au moins organismes pan-continentaux, avons la responsabilité de veiller à ce que l'écart entre ces têtes de pont et les autres acteurs ne devienne pas un facteur dissuasif pour les premiers. Il est essentiel que nous restions tous engagés ensemble.

**Animateur : Bert Overlaet, vous êtes l'auteur principal d'un article publié récemment¹³. Qu'en dites-vous ?**

**Bert Overlaet** : La LERU s'intéresse depuis un certain temps à l'évaluation de la recherche, et essaie d'aller de l'avant. Nous avons mis en commun toutes les expériences et les nouvelles idées que nous avions à ce sujet et les avons transformées en une sorte de nouveau cadre décrit dans le document qui a été publié la semaine dernière. C'est une façon d'essayer d'imaginer l'avenir de l'évaluation des chercheurs. Nous ne critiquons pas ce que nous faisions auparavant. Si nous voulons aller de l'avant, nous devons adopter une perspective multiforme et beaucoup plus large en matière d'évaluation, ce qui signifie que nous devons nous éloigner des mesures uniques et très étroites souvent utilisées aujourd'hui. C'est l'un des éléments clés de notre texte, qui décrit la complexité et la variété des tâches d'un chercheur aujourd'hui dans une université.

L'ERC est représenté aujourd'hui, mais une autre grande institution européenne est l'Institut européen d'innovation et de technologie¹⁴, qui rassemble des réseaux de parfois 400 partenaires qui essaient de faire avancer la recherche dans le contexte européen. Nous avons besoin de chercheurs capables de travailler au sein de ce type de coalitions. La mise en réseau devient très importante. À l'ère de la COVID-19, il devient évident que le leadership, la collaboration et l'innovation sont des sujets qui passent beaucoup plus souvent au premier plan. Il ne suffit plus d'être un bon chercheur. On attend également de vous que vous soyez un bon enseignant dans les universités, car nous ne produisons pas seulement des brevets et des articles. Plus important encore, nous produisons des personnes. Nous produisons des jeunes gens formés à la recherche, qui sont bien formés pour jouer un rôle dans la société. Cette
diversité est donc décrite dans notre texte, de même que les expériences que nous menons au LERU.

Certaines universités utilisent le CV narratif depuis 15 ans, mais nous continuons à y travailler, à y apporter des modifications et à essayer d'en améliorer le format, car chaque format a ses avantages et ses inconvénients et il est difficile de trouver le bon équilibre. L'objectif est d'être précis, efficace et non exclusif. Si les CV narratifs sont trop longs, on se plaint qu'ils prennent trop de temps à remplir. S'ils sont courts et concis, le risque est que ceux qui ont un profil typique soient plus facilement remarqués par les jurys que ceux qui ont un profil atypique. Au cœur de notre texte et de nos efforts, nous voulons reconnaître et récompenser toutes les différentes contributions que les gens apportent aujourd'hui dans le domaine de la recherche, et qui vont bien au-delà de la simple publication. Nous voulons des personnes qui stimulent le progrès dans leur domaine de travail et qui peuvent y contribuer de tant de façons différentes.

**Animateur :** Comment contourner concrètement le classement des universités qui nous ramène à une monoculture ?

**Bert Overlaet** : L'université de Gand a été mentionnée plus tôt. Gand est la plus proche concurrente et collègue de l'université de Louvain. La différence entre les deux est qu'à un moment donné, Gand a décidé que les critères quantitatifs de financement utilisés par le gouvernement flamand devaient se traduire dans l'évaluation des chercheurs eux-mêmes et qu'ils recevraient un bonus pour chaque publication, comme ils recevaient des bonus du gouvernement. C'est le principe du ruissellement qui a été appliqué là-bas. C'est quelque chose que Louvain n'a jamais fait. Il y a un rempart infranchissable entre les financements de l'université et l'évaluation des chercheurs. Nous ne voulons pas appliquer les mêmes critères. À un moment donné, Gand a mis en place une réforme pour revenir à leur ancienne façon de faire, parce qu'ils en sont venus à considérer que l'effet de ruissellement était destructeur pour la qualité de la science ainsi que pour leur culture et leur organisation. Je suis sûr que si vous avez un bon processus d'évaluation, vous parviendrez à une forme collective d'excellence qui vous accordera de bons financements, mais je pense que c'est une stratégie dévastatrice de les coupler directement, comme cela a été démontré dans certains endroits.

**Michael Murphy** : Les classements sont comme la mort et les impôts sur les revenus. Ils sont inévitables. Il est regrettable que ceux qui ont le plus d'influence contribuent à donner de l'importance aux métriques que nous essayons maintenant d'abandonner
dans notre programme de réforme. Il est essentiel qu'en tant que secteur, les universités contribuent à faire évoluer un ou des systèmes de classement qui favorisent la science ouverte ainsi que notre programme plus large. Il en existe un, qui remonte à la dernière présidence française et financé par l'UE, l'U-Multirank¹⁵, qui est, selon moi, le plus proche de cet objectif, même s'il doit lui aussi évoluer. Il nous incombe de travailler pour soutenir et faire évoluer cette méthodologie, afin de nous aider à réaliser notre programme de science ouverte.

**Marc Schiltz** : En ce qui concerne les classements, nous devons également faire attention à ne pas nous retrouver dans une situation, comme avec la science ouverte, où nous fournissons nos données très précieuses aux entités qui établissent ces classements. C'est ainsi que cela se passe à l'heure actuelle : nous cédons toutes ces données, alors qu'elles seraient bien mieux utilisées par nos propres équipes à des fins de recherche.

**Bert Overlaet** : Il y a une dimension que je voudrais mentionner également, qui est développée dans notre texte et qui a déjà été mentionnée par Maria précédemment. Il s'agit de la contextualisation. Aujourd'hui, les classements, les évaluations individuelles des chercheurs et les métriques sont envisagés hors de tout contexte. Si vous êtes dans un très bon environnement, il est plus facile de produire des publications que si vous appartenez à une autre institution. Nous avons évité jusqu'à présent d'avoir à contextualiser nos travaux, et l'un des éléments sur lesquels nous aimerions nous concentrer davantage dans notre évaluation de la recherche à l'avenir est de savoir comment gérer cette contextualisation sans nous retrouver dans une situation où il n'est plus possible de prendre aucune décision. Or, nous aurons toujours des décisions à prendre sur des questions de recrutements ou de promotions, mais comment pouvons-nous intégrer ce contexte plus que nous ne le faisons aujourd'hui ?

**animateur** : Thierry Coulhon, vous êtes président du Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur (Hcéres¹⁶). C'est un organisme public français indépendant, chargé d'évaluer les institutions, les universités, les organismes nationaux de recherche, etc., mais pas les individus. Comment les principes de la science ouverte s'appliquent-ils à une organisation comme la vôtre ?

**Thierry Coulhon** : Le monde change en ce qui concerne la recherche. Il y a un mouvement au niveau européen. Il y a aussi un mouvement français et nous y adhérons pleinement. En quoi sommes-nous concernés ? Comme vous l'avez dit, nous n'évaluons pas seulement la recherche. Nous évaluons également les institutions et les programmes d'études. Cela signifie que nous pouvons demander aux institutions si elles ont une politique de libre accès, si elles ont une politique éditoriale, si elles ont
des entrepôts et ainsi de suite. Par ailleurs, comme vous l'avez dit, nous n'évaluons
ni les individus et ni les projets de recherche. Néanmoins, je pense que nous devons
être cohérents avec les évolutions des agences de financement et des institutions qui
embauchent et promeuvent.

Comment travaillons-nous ? Nous évaluons ex post. C'est la première chose. Nous évaluons chaque entité sur une base quinquennale, le pays étant divisé en cinq vagues par zones géographiques. Nous établissons des lignes directrices pour chaque catégorie d'entités, à savoir les institutions, les universités et les organismes de recherche nationaux. Il existe des lignes directrices pour les programmes d'études et pour les équipes de recherche. Sur la base de ces lignes directrices, nous posons des questions sur la stratégie de science ouverte de l'entité. Ensuite, les entités rédigent un rapport d'autoévaluation. Enfin, nous mettons en place un comité et ce dernier rédige un rapport indépendant.

Comment se conformer au mouvement de la science ouverte ? D'abord, nous faisons
la chasse au facteur d'impact pour lui substituer une appréciation de la qualité des
revues et des productions. Ce n'est pas la partie la plus difficile. Outre cela, nous
nous efforçons de couvrir tous les aspects de l'activité de recherche. Bien sûr, nous
enquêtons sur les résultats de la recherche, mais sur tous les types et toutes les caté-
gories de résultats possibles. Nous cherchons aussi des informations sur les liens
avec la société, le rayonnement et ainsi de suite. Nous tenons également à prendre
en compte la diversité des disciplines. Pour chaque ensemble de disciplines, nous
nous basons sur un guide des produits et activités des résultats de la recherche. Ces
guides sont élaborés par les communautés elles-mêmes, et dépendent fortement de
la discipline concernée. Enfin, nous nous efforçons de passer des données quanti-
tatives à l'analyse qualitative. Bien sûr, nous réclamons des données quantitatives,
mais nous les utilisons pour bâtir une évaluation par les pairs. Nous avons récem-
ment commencé à le faire pour la vague actuelle. Nous demandons aux équipes
de recherche de nous fournir un portefeuille de résultats de recherche qu'elles sou-
haitent mettre en avant, et les experts les lisent et les évaluent.

Permettez-moi d'insister, enfin, sur deux choses. D'une part, nous avons pour mission de nous pencher, par le biais d'un bureau spécifique, sur la question de l'intégrité scientifique. Il est juste de dire que la France a pris du retard sur cette question et que nous essayons de le rattraper. Nous accueillons au sein du Hcéres l'Office français de l'intégrité scientifique¹⁷, qui dispose d'un conseil scientifique. Cet Office s'efforce de diffuser de bonnes pratiques et d'animer dans les différentes institutions une communauté autour de l'intégrité scientifique. D'autre part, je voudrais insister sur le fait que nous ne renonçons pas à l'analyse quantitative quand elle se fait à un niveau
approprié, et ce niveau approprié est le niveau agrégé. Au sein du Haut Conseil, nous disposons d'un Observatoire des sciences et des techniques¹⁸, qui a récemment publié un document sur la position scientifique de la France¹⁹. À ce niveau-là, il est possible de comptabiliser les publications et étudier les profils scientifiques, etc.

L'effort doit devenir collectif pour permettre à la réforme du système d'évaluation de la recherche d'avoir lieu. Tous les acteurs français ont été rassemblés par le ministère de l'Enseignement supérieur et de la recherche, qui a fait un travail formidable sur cette question. Nous avons élaboré ensemble l'Appel de Paris. Ensuite, au niveau européen, il y a une forte pression de la part de la Commission, avec qui nous avons discuté. Tout cela se passe en même temps. Nous devons être cohérents. Ce n'est pas le Haut Conseil qui a le rôle le plus difficile. Le plus difficile, c'est de recruter et d'accorder des promotions, c'est là qu'il faut absolument éviter de choisir la solution de facilité qui consiste à compter et à examiner des métriques faciles. Lorsque nous évaluons ceux qui recrutent et promeuent, nous devons être cohérents avec cela. C'est ce que j'entends quand je parle d'avancer tous ensemble, mais peut-être pas au même rythme. Je suis assez optimiste sur la question.

Nous nous trouvons au début d'un retournement de paradigme. Je dois dire que c'est aussi une question d'âge. J'ai vécu la majeure partie de ma carrière dans un monde où l'on regardait l'indice h et le nombre de publications sans se poser de questions, et je dois dire qu'il y a quelques années, j'étais encore sceptique sur certaines choses. Le modèle de diffusion de la connaissance scientifique allait bouger, mais on ne savait pas quand et comment. De même, le système d'évaluation allait évoluer, et il a évolué, comme on peut aujourd'hui l'observer au niveau français et au niveau européen. C'est maintenant inévitable. C'est en train de se faire.

**animateur** : Votre travail consiste à évaluer les infrastructures de recherche. Il y a des acteurs clés dans la mise en œuvre concrète de la science ouverte, comme les infrastructures de recherche. Pouvez-vous nous dire quelques mots sur votre ambition concernant leur évaluation ?

**Thierry Coulhon** : Permettez-moi d'insister sur le fait que c'est relativement nouveau pour nous. Jusqu'ici nous n'étions pas en charge de l'évaluation des infrastructures de recherche, alors que la récente loi sur la recherche nous donne cette mission. Nous avons déjà évalué des infrastructures de recherche au niveau européen au sein d'un consortium appelé ERIC²⁰. Je ne peux pas donner beaucoup de détails car notre travail est actuellement en cours, mais nous sommes conscients de son extrême importance, car les infrastructures de recherche collectent beaucoup de données dont les enjeux d'ouverture des données sont cruciaux.
**animateur** : Une question de Tunisie pour M. Paquet : « Nous sommes une unité de recherche en ingénierie des données et en sémantique à l'université de Sfax en Tunisie. Nous souhaiterions faire évoluer l'évaluation de la recherche en utilisant des graphes de connaissances ouverts. Pouvons-nous dès à présent mettre nos idées en commun avec celles de la coalition ?

**Jean-Éric Paquet** : Le système de recherche et d'innovation tunisien interagit déjà très étroitement avec nous. Vous êtes absolument les bienvenus et tout instrument vaut certainement la peine d'être examiné. Oui, consultez donc l'appel à manifestation d'intérêt, qui se trouve sur le site de la Commission européenne, puis rejoignez l'effort collectif !

**animateur** : Le public qui s'exprime dans les commentaires apporte son soutien à l'initiative Open Research Europe²¹. Pouvez-vous expliquer cette initiative ?

**Jean-Éric Paquet** : Il s'agit essentiellement d'une plateforme de publication mise en place par la Commission européenne pour aider les chercheurs des programmes Horizon 2020 et Horizon Europe à se conformer à l'obligation de rendre leurs publications immédiatement open access (en libre accès). Nous n'imposons pas à ces derniers de vecteur de publication - certains voudront continuer à publier auprès d'éditeurs traditionnels qui proposent des journaux excellents mais pas en libre accès. Les chercheurs peuvent toujours publier dans ces journaux, mais ils doivent aussi rendre leurs articles disponibles en libre accès. Publier via la plate-forme ORE leur facilite la tâche, dans la mesure où c'est une plateforme conçue pour publier en libre accès. De plus, nous avons également l'ambition d'utiliser notre plateforme pour toutes ses autres fonctions de la science ouverte. Au fur et à mesure que nous avançons, notre plateforme pourrait ainsi devenir un outil soutenant les réformes de l'évaluation de la recherche.

**animateur** : Nous avons vu hier que le biais de publication, c'est-à-dire la non-publication de résultats négatifs, est un problème de longue date en science. Comment l'évaluation des chercheurs pourrait-elle s'emparer du problème ?

**Bert Overlaet** : Une piste que nous explorons déjà dans certaines de nos universités est de demander aux candidats à une promotion ou à un recrutement de nous parler d'un de leurs échecs, car ils ont peut-être déjà tenté des choses qui ont échoué. Quelles leçons en ont-ils tirées, comment cela a-t-il pu affecter leurs autres projets scientifiques ? Comment cela les a-t-il affectés en tant que scientifiques ? Les capacités d'innovation, dont j'ai parlé plus tôt, ne sont pas assez
prises en compte. Nous examinons le passé et les résultats qui ont été obtenus dans le passé, pour lesquels il est possible d'élargir notre champ d'action et faire tout ce que vous voulez, mais il est surtout indispensable d'examiner le potentiel de la personne pour l'avenir. C'est sur cela que nous fondons nos décisions.

**Maria Leptin** : Je pense que c'est une merveilleuse initiative, toutes ces sortes d'évaluations différentes sont formidables et j'en prends note, mais les résultats négatifs ne sont pas des échecs. Ils sont issus de travaux ayant fourni des résultats pertinents, et s'ils ont de l'importance, il n'y a pas de raison pour qu'ils ne soient pas reconnus. Ils devraient être publiés, il existe des entrepôts pour cela. Bien sûr, il est rare qu'ils soient publiés dans un journal à forte visibilité, mais ils doivent être mis dans des entrepôts et cités. C'est évident.

**Michael Murphy** : À cet égard, les dirigeants universitaires ont la responsabilité de s'assurer qu'au sein de leurs institutions, il existe un dispositif de suivi des obligations de pré-enregistrement des études et de publication des protocoles. Les comités d'éthique au sein des universités doivent également assurer le suivi de toutes les études qu'ils ont examinées du point de vue de la conformité éthique, afin de s'assurer que ces publications ont bien lieu. La publication de tous les résultats de recherche est exigence éthique, nécessaire à la bonne conduite de la science.

**Animateur** : Monsieur Schiltz, vous avez partagé votre intérêt pour la recherche sur la recherche. Le moment n'est-il pas venu de mettre en place une initiative sur ce thème ? L'institut Research on Research²² a fait un excellent travail en évaluant l'impact du COVID-19 sur la science ouverte.

**Marc Schiltz** : Nous sommes membres du Research on Research Institute, comme un certain nombre d'autres bailleurs de fonds et membres de Science Europe. Par exemple, le Fonds national suisse²³ et le Fonds autrichien pour la recherche scientifique²⁴ sont membres depuis la première phase du projet. Il y aura maintenant de nouveaux membres, comme le Fonds national luxembourgeois pour la recherche²⁵, qui fait partie de la phase 2. À l'échelle européenne, il s'agit probablement de l'initiative la plus importante pour aller de l'avant, car là encore, il s'agit de partager nos expériences et nos données. Prenons à nouveau le projet de CV narratif, que les financeurs ont, dans une certaine mesure, mis en place et testé de manière indépendante, mais qui repose en grande partie sur le modèle de CV narratif publié par la Royal Society²⁶. La plupart d'entre nous l'avons adopté en l'adaptant à nos propres besoins. Cependant, maintenant que nous avons fait l'expérience de ce modèle pendant un ou deux ans, nous devrions tous nous réunir pour discuter des leçons que nous en tirons.
C'est même plus que cela. L'initiative « Recherche sur la recherche » a pour but de mener des recherches, c'est-à-dire de lancer des projets dans lesquels nous testons de nouvelles méthodes d'évaluation, mais d'une manière scientifique, afin que tout ce processus et ces méthodes soient davantage basés sur des preuves. Il faut garder en tête que nous sommes des scientifiques, mais que lorsqu'il s'agit de nos propres méthodes d'évaluation et d'examen par les pairs, nous ne nous fondons pas vraiment sur des preuves scientifiques. Il n'existe pratiquement aucune preuve que des éléments tels que le facteur d'impact des revues scientifiques constituent réellement une méthode d'évaluation valable et correcte, et pourtant nous continuons à les utiliser. Dans un sens, il s'agit presque d'une croyance religieuse, dont nous devons donc absolument nous éloigner.

**Animateur : Qu'est-ce qu'un CV narratif ? Qu'en attendez-vous ?**

**Marc Schiltz** : Le CV narratif est un document dans lequel nous demandons au chercheur de décrire de manière très large ses contributions, non seulement au domaine scientifique, mais aussi à la communauté scientifique, parce que c'est quelque chose qui a de la valeur. On peut citer par exemple le mentorat, le partage des données, la participation à des initiatives scientifiques ouvertes, la relecture par les pairs, qui sont des services rendus à la communauté scientifique. Un troisième pilier réside également dans les contributions à la société. Comment vous engagez-vous dans ce domaine ? Bien sûr, c'est plus important dans certaines disciplines que dans d'autres. Si vous êtes dans le domaine de la recherche médicale, vous devez vous engager auprès des patients et des associations de patients. Si vous êtes impliqué dans la physique théorique, c'est peut-être moins important, mais il y a quand même d'autres aspects. Il ne s'agit pas seulement de solliciter la société. Il s'agit aussi de communiquer. Je parle ici des interactions avec le public, de la communication sur la science, de l'enseignement du grand public. Les insti-tuts de recherche sont entièrement libres de décider de ce qu'il faut mettre dans un CV narratif. Il ne s'agit pas seulement d'une longue liste de publications. Nous avons probablement tous eu sous les yeux des CV de 60 pages avec de longues listes de publications, que personne n'a probablement lus.

**Bert Overlaet** : L'avantage de ce récit est qu'il est ouvert. Il n'est pas contraignant. Il ne vous dit pas de faire ceci ou cela. Nous avons commencé par demander aux gens de choisir leurs cinq publications les plus importantes. C'était il y a 30 ans. Maintenant, nous demandons aux gens quelles sont leurs cinq réalisations les plus importantes. Ces réalisations peuvent être des choses totalement différentes, qui permettent aux gens de se concentrer immédiatement sur leurs points forts. Cela signifie également qu'il n'est pas nécessaire d'avoir 60 critères que le comité doit
tous évaluer pour chaque candidat. Le principal avantage est que chaque candidat peut se vendre de la meilleure façon possible.

**Marc Schiltz** : Le COVID-19 peut à nouveau servir d'exemple. Notre gouvernement a décidé à un moment donné de mettre en place une structure de conseil scientifique et, au-delà, une véritable taskforce chargée de fournir des modélisations et des simulations. Certains scientifiques y ont passé la majeure partie de leur temps et, à un moment donné, ils ont posé des questions : j'ai mis de côté mes recherches habituelles et ce que je fais maintenant n'aboutira probablement pas à une publication de haut niveau, est-ce que cela va nuire à ma carrière ? C'est le genre de questions que nous ne voulons plus voir poser. Si en tant que scientifique, vous pouvez contribuer à un sujet aussi important qu'une pandémie, vous ne devriez pas avoir à vous demander si cela va nuire à votre carrière parce que vous avez mis de côté vos autres recherches.

**Michael Murphy** : Lorsqu'on examine un CV ou une demande de subvention, on recherche des preuves d'excellence. Mais on doit également rechercher des preuves de ce que fait une personne ou un groupe pour défendre cette excellence, et les preuves qu'ils apportent pour la renforcer.

**animateur** : L'une des recommandations de l'Initiative pour la science en Europe²⁷ (ISE) est de faire participer les chercheurs à toutes les décisions concernant les changements à apporter à l'évaluation de la recherche. Comment pouvons-nous faire cela ? Est-ce que l'Europe le souhaite également ? Dans l'Appel de Paris, il est dit à la fin que toutes les organisations de chercheurs devraient être impliquées.

**Maria Leptin** : Je souscris entièrement à cette idée. Nos carrières sont derrière nous, et l'endroit où mes prochains articles seront publiés n'a pas d'importance. Cela n'a vraiment pas d'importance pour nous, mais cela en a pour les jeunes. Nous sommes assis ici à pontifier. Nous devons nous engager. J'encouragerai donc le groupe de travail du CER à parler aux communautés scientifiques telles que Eurodoc²⁸, l'ISE ou la Young Academy of Europe²⁹. Tous ces groupes devraient réfléchir à la question et nous transmettre leurs conclusions. Non seulement ils devraient contribuer à notre page web, mais nous les écouterons spécifiquement.

**Jean-Éric Paquet** : Ils font partie de la coalition maintenant. La structure même de la coalition englobe les associations de chercheurs. Sans les chercheurs, il ne serait pas possible de travailler correctement. Nous avons besoin d'appropriation et de contributions, nous avons besoin que les scientifiques individuels et les associations au niveau national et au niveau disciplinaire se joignent à la coalition.
**Marc Schiltz** : Cherifa Boukacem m'a beaucoup inspiré par l'étude qu'elle a menée sur les chercheurs en début de carrière. Il est très clair qu'ils ont le sentiment de devoir jouer le jeu actuel des facteurs d'impact des revues scientifiques et ainsi de suite, mais ils y sont fondamentalement opposés, ou du moins cela ne correspond pas à leurs propres valeurs. Cela me rend très optimiste en un sens, car je pense que nous pouvons et devons nous appuyer sur eux.

**Michael Murphy** : Juste une réflexion : jusqu'à présent, notre discussion ne porte que sur les mesures positives à prendre pour parvenir à une science ouverte. Un sujet que nous n'avons pas abordé est qu'il faudra aussi éviter l'apparition de nouveaux obstacles à la science ouverte. Il est très important que les gouvernements nationaux, les agences de régulation et la Commission intègrent la science ouverte dans leurs nouvelles législations ou réglementations. Un exemple auquel je pense en ce moment est le Règlement sur les services numériques³⁰ (Digital Services Act). Ce règlement court le risque de créer de nouvelles barrières à ce que nous essayons d'atteindre, il est donc vraiment important que cette loi soit passée au crible de la science ouverte au cours des prochaines semaines de travail.

**Bert Overlaet** : Il est important que nous évitions les mécanismes qui conduisent à toutes sortes de formulaires bureaucratiques avec cases à cocher. L'une des choses qui me frappe toujours est que si vous vous penchez sur ces 15 à 20 dernières années, nous avons fait beaucoup de progrès, jusqu'à récemment inclure des plans généraux d'égalité dans les formulaires de candidature à Horizon Europe. Ce sont tous des pas en avant. Cependant, il arrive que même si vous obtenez finalement un audit financier de votre projet et que vous avez investi dans la formation de vos jeunes chercheurs, votre demande soit rejetée parce qu'elle ne concerne pas des activités de recherche à proprement parler. Nous devons nous assurer que les institutions reçoivent un soutien suffisant, sous différentes formes, pour tous les efforts qu'elles déploient pour expérimenter de nouvelles méthodes d'évaluation des chercheurs. La LERU souhaite appeler la Commission à s'impliquer davantage dans son rôle de facilitateur que ce qui était prévu initialement. Si nous voulons que de nouveaux outils soient développés, nous avons besoin d'un soutien européen, afin d'éviter que ces outils ne tombent entre les mains d'acteurs commerciaux. Il y a encore beaucoup de travail à faire dans ce domaine et nous demandons un soutien plus fort de la Commission européenne à cet égard.

**Jean-Éric Paquet** : Maintenant que la coalition émerge progressivement, la Commission se positionne comme un facilitateur. Tel est son rôle maintenant. Au fur et à mesure que la coalition avancera et que nous progresserons dans la rédaction de notre accord de coalition et dans sa mise en œuvre, nous passerons en mode exécutif également.
**animateur** : Monsieur Coulhon, la France a publié un décret sur l'intégrité scientifique³¹. Le Haut Conseil, que vous présidez, abrite également l'Office français de l'intégrité scientifique (OFIS). Cet Office est-il également lié à la science ouverte ?

**Thierry Coulhon** : Je le disais tout à l'heure, il est très utile d'avoir cet Office français de l'intégrité scientifique au sein du Haut Conseil car il a une influence sur nos tra vaux. Cette institution pourrait être et sera probablement indépendante un jour, mais nous l'accueillons, la développons et l'entretenons en attendant. Elle nous influence dans une direction positive.

**animateur** : M. Paquet, avez-vous le sentiment que l'Europe prend actuellement la tête de la science ouverte ?

**Jean-Éric Paquet** : Oui en effet. Il me semble que nous sommes à la pointe de la science en général, mais aussi à la pointe de la science ouverte. Nous avons commencé avec la cOAlition S, nous passons maintenant à l'évaluation de la recherche avec une mise en œuvre pratique et rapide, en bénéficiant bien sûr des cadres mon diaux, qui constituent une base très solide. Nous sommes à l'avant-garde, mais nous ne pourrons évidemment y rester que si nous nous rassemblons vraiment derrière ce fer de lance, alors, pour la troisième fois, rejoignez-nous. Nous sommes tous d'acc ord, nous devons maintenant nous engager et consacrer du temps, des ressources et de l'attention à ce projet. Il reste du chemin à parcourir. Vous avez demandé tout à l'heure à Thierry si un changement de paradigme était en train de se produire. Je pense que c'est effectivement le cas. Nous ne le voyons pas encore, mais c'est le cas, et c'est pourquoi la Commission consacrera des ressources très importantes pour soutenir la création de notre nouvelle coalition, puis ce que nous allons construire ensemble.

**animateur** : Êtes-vous tous convaincus que les principes de la science ouverte pourront être largement mis en pratique ?

**Michael Murphy** : Tous les acteurs du système doivent avoir une bonne compréhen sion de l'objectif de la science ouverte, de la manière dont cela va se passer, de la façon dont ils peuvent contribuer et de l'impact que cela aura sur eux. Il y a beaucoup de travail à faire sur la communication, l'information et le développement du leadership. Nous devons définir tous ensemble un calendrier réaliste et nous lancer.

**Marc Schiltz** : Dans une certaine mesure, c'est un véritable changement de culture que nous mettons en œuvre. Ces changements de culture ne peuvent pas être impo sés. Je suis très optimiste, mais les renversements culturels prennent du temps.
Nous devons discuter, discuter et encore discuter avec toutes les personnes concer-
nées. Les changements de culture sont réussis s'il y a des leaders, mais ils doivent
être co-créés par ces leaders, et c'est de cette façon que nous devons nous engager
dans cette voie.

Animateur : La co-création est vraiment un objectif, et nous pouvons voir ici, dans ce panel et plus largement, que les parties prenantes se serrent les coudes, se lèvent et travaillent ensemble afin de proposer un processus de mise en œuvre concret. Une partie du destin de la science est en train de se jouer ici, et je comprends que l'échec n'est pas une option.

Références

1. « Horizon Europe », consulté le 16 mars 2022, https://ec.europa.eu/info/research-and-innovation/funding/funding-opportunities/funding-programmes-and-open-calls/horizon-europe_en.

2. Commission européenne, *Towards a Reform of the Research Assessment System: Scoping Report* (LU: Publications Office of the European Union, 2021), https://data.europa.eu/doi/10.2777/707440.

3. Commission européenne, « Call for Interest - Towards an Agreement on Reforming Research Assessment », 16 décembre 2021, https://ec.europa.eu/info/news/call-interest-towards-agreement-reforming-research-assessment-2021-dec-16_en.

4. « cOAlition S », consulté le 16 mars 2022, https://www.coalition-s.org.

5. Commission européenne, *Towards a Reform of the Research Assessment System*.

6. Unesco, « UNESCO Recommendation on Open Science », 2021, https://unesdoc.unesco.org/ark:/48223/pf0000379949.

7. « Conseil européen de la recherche », consulté le 16 mars 2022, https://erc.europa.eu/.

8. American Society for Cell Biology, « Declaration on Research Assessment (DORA) », DORA, 2012, https://sfdora.org/.

9. « European Innovation Council », consulté le 16 mars 2022, https://eic.ec.europa.eu/index_en.

10. « Science Europe », consulté le 16 mars 2022, https://www.scienceeurope.org/.

11. Unesco, « The 17 Goals - Sustainable Development », consulté le 16 mars 2022, https://sdgs.un.org/goals.

12. Association des universités européennes, « The EUA Open Science Agenda 2025 », février 2022, https://www.eua.eu/downloads/publications/eua%20os%20agenda.pdf.

13. Bert Overlaet, « A Pathway towards Multidimensional Academic Careers - A LERU Framework for the Assessment of Researchers », janvier 2022, https://www.leru.org/publications/a-pathway-towards-multidimensional-academic-careers-a-leru-fra-
mework-for-the-assessment-of-researchers.

14. « Institut européen d'innovation et de technologie », consulté le 16 mars 2022, https://eit.europa.eu/.

15. « U-Multirank », consulté le 16 mars 2022, https://www.umultirank.org/.

16. « Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur », consulté le 16 mars 2022, https://www.hceres.fr/.

17. « Office français de l'intégrité scientifique (OFIS) », Hcéres, consulté le 24 mars 2022, https://www.hceres.fr/fr.

18. « Observatoire des Sciences et Techniques (OST) », Hcéres, consulté le 24 mars 2022, https://www.hceres.fr/fr.

19. Observatoire des sciences et des techniques, « La position scientifique de la France dans le monde et en Europe, 2005-2018 », février 2021, https://www.hceres.fr/fr.

20. « European Research Infrastructure Consortium (ERIC) », European Commission, consulté le 24 mars 2022, https://ec.europa.eu/info/research-and-innovation/strategy/strategy-2020-2024/our-digital-future/european-research-infrastructures/eric_en.

21. Commission européenne, « Open Research Europe », novembre 2020, https://open-research-europe.ec.europa.eu/.

22. « Research on Research Institute », consulté le 24 mars 2022, https://researchonresearch.org.

23. « Fonds national suisse (FNS) », Fonds national suisse (FNS), consulté le 24 mars 2022, https://www.snf.ch/undefined/fr/fr.

24. « Fonds autrichien pour la recherche scientifique », consulté le 24 mars 2022, https://www.ffw.ac.at/en/.

25. « FNR - Luxembourg National Research Fund », FNR - Luxembourg National Research Fund, consulté le 24 mars 2022, https://www.fnr.lu/.

26. « Résumé for Researchers », The Royal Society, consulté le 16 mars 2022, https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/.

27. « Initiative for Science in Europe », consulté le 16 mars 2022, https://initiative-se.eu/.

28. « Eurodoc », consulté le 16 mars 2022, https://eurodoc-net.com/.

29. « Young Academy of Europe », consulté le 16 mars 2022, https://yacadouro.org/.

30. Proposition de règlement du Parlement européen et du Conseil relatif à un marché intérieur des services numériques (Législation sur les services numériques) et modifiant la directive 2000/31/CE (2020). 15 décembre 2022. https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=CELEX:52020PC0825.

31. « Décret n° 2021-1572 du 3 décembre 2021 relatif au respect des exigences de l'intégrité scientifique par les établissements publics contribuant au service public de la recherche et les fondations reconnues d'utilité publique ayant pour activité principale la recherche publique - Légifrance », Pub. L. No. Décret n° 2021-1572 du 3 décembre 2021 (2021), https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000044411360.
Le pilier logiciel de la
science ouverte
<figure><img src="image_42.png" /></figure>
Construire le pilier logiciel de la
science ouverte

Roberto Di Cosmo
Software Heritage/Inria/Université de Paris

Merci beaucoup de m'accueillir ici aujourd'hui. C'est un réel plaisir d'ouvrir cette session sur la place des logiciels dans la science ouverte. Permettez-moi de commencer par vous présenter un peu le contexte. Si nous regardons autour de nous, nous voyons des logiciels partout. Ils alimentent notre industrie, nourrissent les innovations et sont essentiels à la recherche universitaire. Ils sont le tissu qui lie nos vies numériques et professionnelles. C'est grâce aux logiciels que nous sommes aujourd'hui en mesure de participer à cette conférence alors que nous sommes en pleine pandémie. Cependant, lorsque nous parlons de logiciels, nous oublions parfois qu'ils ne sortent pas du néant. Ce ne sont pas simplement des morceaux de données qui sortent d'un instrument. Les logiciels sont écrits par des êtres humains sous la forme d'un code source, qui est une forme précieuse de connaissance. Il s'agit en fait d'une forme de connaissance très unique, car elle est conçue pour être comprise par des humains et exécutée par des machines. Comme le professeur Abelson du MIT l'a écrit dans un beau livre en 1985, « les programmes doivent être écrits pour que les gens les lisent, et seulement accessoirement pour que les machines les exécutent¹ ».

Que voulait-il dire en disant cela ? Peut-être est-ce plus facile à comprendre si nous
pensons à certains exemples particuliers de code source de logiciel. Regardons par
exemple un fragment du code source utilisé sur le module d'atterrissage lunaire de
la mission Apollo 11, qui nous a permis d'envoyer un homme sur la lune, est assez
ancien. Une partie de ce code source est peu lisible, car il s'agit du langage machine
pour les tout premiers ordinateurs des années 1960. Cependant, à côté du langage
machine, nous trouvons des commentaires écrits en anglais qui décrivent ce que le
logiciel est censé faire. C'est un message d'humain à humain. Ce n'est pas seulement
un message pour une machine. Plus récemment, si vous regardez les programmes
écrits avec un langage de programmation de plus haut niveau, comme le C, vous
pouvez trouver de beaux morceaux de logiciels où le langage a évolué au fil du temps.
Vous avez un nom pour la variable, un nom pour la fonction, mais là encore, vous avez
besoin de commentaires pour comprendre ce qui se passe, bien que parfois, même
avec les commentaires, ce ne soit pas si facile.
Len Shustek, président fondateur émérite du Computer History Museum, a joliment déclaré dans son article fondateur de 2006 sur la conservation des logiciels : « L'ac-cès au code source nous donne une vue de l'esprit du concepteur.² » Il est très important de le savoir car, une fois encore, c'est l'ingéniosité humaine qui produit tout cela. Ce n'est pas seulement un outil. C'est bien plus que cela. L'histoire du logiciel est assez courte, contrairement à celle de nombreuses autres disciplines. Dans les années 1960, nous avons pu envoyer un homme sur la lune, et nous avons pu le faire, soit dit en passant, grâce à une femme : Margaret Hamilton. Elle a dirigé l'équipe d'ingénieurs qui a développé les 60 000 lignes de code utilisées dans la mission. Ces 60 000 lignes de code étaient alors suffisantes pour envoyer un homme sur la lune et l'en ramener. Aujourd'hui, quelque 50 ans plus tard, un noyau Linux de plus de 20 millions de lignes de code n'est que l'un des nombreux composants des téléphones que nous avons dans nos poches et qui nous permettent d'envoyer un smiley à un ami ou un message à quelqu'un.

Une raison de cette croissance fulgurante est bien sûr le fait que les logiciels transfor-
ment le monde dans lequel nous vivons, mais aussi la naissance il y a plus de 30 ans
du mouvement des logiciels libres. Cette naissance a conduit à un incroyable effort
collaboratif entre des dizaines de millions de développeurs du monde entier, qui ont
travaillé ensemble pour construire l'incroyable infrastructure logicielle que nous utili-
sons tous aujourd'hui. Un vieil adage dit que nous devrions construire sur les épaules
des géants, et c'est ce que nous faisons en réutilisant encore et encore de nombreux
composants de précédents travaux réalisés par d'autres dans ce même esprit de
science ouverte, même si ce mouvement a commencé bien avant que l'expression
« science ouverte » ne devienne un sujet d'actualité.

J'insiste particulièrement sur ce point, car on trouve encore parfois des personnes
qui pensent qu'un logiciel n'est qu'un ensemble de données, une séquence de
zéros et de uns. Ce n'est pas le cas. C'est bien plus que cela. C'est très spécial, très
différent. Les projets de logiciels évoluent dans le temps. Certains projets de logi-
ciels peuvent durer des décennies. L'histoire du développement d'un logiciel, c'est-
à-dire comment nous l'avons modifié, qui l'a modifié, quoi, quand et comment,
est essentielle à sa compréhension. Les logiciels que nous utilisons aujourd'hui
présentent par différents aspects une incroyable complexité. Un logiciel peut être
complexe parce qu'il est énorme et comporte des millions de lignes de code. Il peut
être complexe car même un programme minuscule dépend parfois, pour remplir sa
fonction, d'un large éventail d'autres sous-composants et sous-routines, chacune
devant parfois à son tour être développée par un grand nombre d'autres personnes.
Nous devons garder à l'esprit qu'en réalité, un logiciel que nous utilisons dans
le cadre de nos recherches n'est qu'une mince couche par-dessus un incroyable
ensemble de composants logiciels développés par de nombreuses communautés de développeurs dans le monde.

Pour conclure sur ce point, je dirai que les logiciels sont le fruit de l'ingéniosité humaine. Vous ne pouvez pas comparer le code source d'un logiciel à une simple série de chiffres que vous avez obtenus avec l'un de vos instruments. C'est le fruit d'un travail collectif ! Du point de vue juridique, les logiciels sont protégés par le droit d'auteur, contrairement aux données.

Maintenant que nous avons une vue d'ensemble, penchons-nous sur l'importance des logiciels pour la science. On commence à se rendre compte de combien les logiciels sont aujourd'hui indispensables, dans toutes les disciplines. Cela ne concerne pas seulement l'informatique : la plupart des logiciels de recherche ne sont pas développés par des informaticiens. Ils sont développés par des collègues de nombreuses autres disciplines. Aujourd'hui, je pense qu'il est important de faire savoir que lorsque nous parlons de science ouverte, il faut absolument reconnaître qu'il existe au moins trois piliers essentiels : bien sûr, le libre accès aux articles publiés par nos collègues, ainsi que l'accès sans entrave aux données utilisées dans nos expériences, mais cela ne serait pas complet sans un troisième pilier essentiel, qui est le code source des logiciels utilisés pour manipuler, créer et conserver ces données. C'est le pilier logiciel de la science ouverte.

Le logiciel de recherche est un objet aux multiples facettes. Il peut s'agir d'un outil utilisé par quelqu'un pour créer et analyser des données. Il peut s'agir du résultat d'un effort de recherche en tant que preuve d'un résultat ou parce qu'il incarne de nouveaux algorithmes ou des structures de données révolutionnaires. Il peut encore constituer en lui-même un objet de recherche, lorsqu'on cherche à savoir comment un logiciel est construit correctement. Peu importe notre angle d'approche, nous avons besoin d'accéder au code source du logiciel : *l'open source*, que l'on pourrait définir par l'accès ouvert au code source, même si cette pratique est bien plus ancienne que cela, est alors indispensable. Il faut éviter de réinventer la roue, et accélérer la découverte scientifique, et pour cela nous devons conserver l'historique de tous les codes sources construits, afin de favoriser la reproductibilité des résultats de la recherche. Cela facilite également l'acceptation de ces résultats, en permettant l'accès aux outils utilisés pour les obtenir.

Si nous regardons le monde académique, quels types de besoins pouvons-nous identifier autour des logiciels et du code source ? En fonction de votre profil – chercheur, chef d'équipe ou responsable d'un laboratoire, ou encore dirigeant d'un grand organisme de recherche –, vous aurez besoin de disposer d'endroits où archiver et
référencer le logiciel que vous citez dans un article, pour vous assurer que quelqu'un d'autre pourra trouver exactement le même résultat que vous. Vous voudrez bien sûr être crédité de ce que vous avez fait si quelqu'un utilise votre logiciel. Vous pourriez avoir besoin de reproduire le résultat obtenu par un collègue, ou de l'approfondir. Toutes ces pratiques vous sont nécessaires si vous faites de la recherche. Si vous êtes à la tête d'un laboratoire ou d'une équipe, vous devez en outre produire des rapports, savoir sur quels logiciels vous travaillez, maintenir une page web et suivre des contributions logicielles. Si vous êtes un organisme de recherche, vous devez savoir quels logiciels vous utilisez et à quels logiciels vous contribuez. Il est important de mesurer votre transfert de technologie afin d'avoir une idée de votre impact sur la société, car les logiciels construits dans le cadre de la recherche, comme nous le verrons plus tard, ne servent pas uniquement à la recherche. Ils ont parfois un impact direct sur la société. Ces indicateurs sont également nécessaires pour établir une stratégie de financement et pour l'évaluation de la carrière.

Pour satisfaire tous ces nombreux besoins, il y a beaucoup, beaucoup de choses à faire. Je voudrais commencer par ce que l'on pourrait appeler la partie facile. Nous avons bien sûr besoin d'un entrepôt, un endroit où vous pouvez archiver des logiciels en vous assurant que vous pourrez les récupérer plus tard. Vous ne pourrez pas faire cela en utilisant une plateforme d'hébergement de code classique, comme celles que l'on utilise pour développer des logiciels. De telles plateformes ne sont pas des archives : les projets qui y sont stockés vont et viennent, et même les plateformes elles-mêmes vont et viennent, ce ne sont pas des archives.

Nous avons besoin d'un moyen de citer exactement, précisément, l'artefact logiciel que nous souhaitons exécuter, pour être sûrs que lorsque nous l'exécuterons à nouveau, nous pourrons reproduire un résultat. Nous devons également fournir une description et des métadonnées appropriées pour faciliter la découverte et la réutilisation de ces artefacts. Enfin, et c'est un point plus délicat parce qu'il est lié à l'évaluation, nous devons trouver la bonne manière de créditer les contributions de ceux qui contribuent aux logiciels de recherche, ce qui n'est pas la même chose que de simplement citer un logiciel.

Si nous voulons faire cela, le point de départ est d'examiner le type d'infrastructures dont nous avons besoin pour soutenir ce type d'usages des logiciels de recherche. Les logiciels sont partout, il y a donc de nombreux écosystèmes impliqués dans ces outils. Il y a un écosystème académique, celui qui nous intéresse aujourd'hui, mais également beaucoup d'autres impliquant, par exemple, l'industrie, l'administration publique, le patrimoine culturel et ainsi de suite. Comme l'a analysé un rapport publié en 2020³, après six mois de travail d'un groupe de travail européen très large, vous