# Éditorial

## Évaluer la recherche : quand l'excellence occulte le regard critique

La question de l'évaluation de la recherche est ancienne et légitime. Comment émettre un jugement sur le travail des chercheurs, quels critères de performance pour une activité essentiellement intellectuelle qui peut porter sur une grande diversité de contenus, de thématiques, d'approches, d'intérêts ? D'autant que les prolongements de cette activité ne sont pas toujours immédiats ou se traduisent dans des résultats opérationnels difficiles à apprécier.

Depuis plusieurs années maintenant, ce sont donc les publications qui sont évaluées ; mais, comme il est difficile de mesurer, par leur lecture intégrale, l'intérêt des milliers d'articles et d'ouvrages qui circulent au sein de la communauté scientifique, la qualité d'une recherche s'apprécie au nombre de ses citations par les pairs : comment ceux-ci jugent-ils le travail de leurs collègues en s'y référant ? Plusieurs méthodes – et outils – ont ainsi été produits ces dernières années : *impact factor* (IF), *Eigenfactor*, *h-index*, etc. Nous n'y reviendrons pas, puisqu'ils ont fait l'objet de nombreuses réflexions portant aussi bien sur leurs limites que sur les effets pervers induits, liés entre autres à l'ambiguïté des métrologies : monopoles de certains systèmes de comptage comme l'IF du *Journal Citation Report* (JCR) de Thomson Reuters, accessible via le *Web of Science*, ou l'Eigenfactor de l'Université de Washington, diversité des formes de citation (mentions du travail de collègues dont on s'inspire, rappel des propres œuvres de l'auteur, citation négative de textes délibérément provocateurs, travaux de synthèse...), marqueurs d'une compétition mondiale (classement de Shangai...). La question n'est plus celle de l'intérêt et de l'originalité des contenus ou de la qualité des échanges et des controverses, elle se réduit au comptage des publications référencées. Nous ne reviendrons pas non plus sur les inégalités entre domaines scientifiques et revues spécialisées ou généralistes... Tout cela a été dit et excellentment décrit.

Face à cette simplification extrême, des réflexions de plus en plus approfondies ont été conduites sur l'évaluation de la pertinence des travaux et de leur utilité dans le

débat intellectuel comme dans la dynamique de nos sociétés. C'est ce dont témoigne Élisabeth de Turckheim dans l'entretien qu'elle nous a accordé dans ce numéro, où elle s'exprime au nom d'un groupe de travail qu'elle a animé, constitué par des organismes de recherche conscients des limites de ce seul système de comptage pour rendre compte de l'activité de leurs chercheurs, de la qualité de leurs équipes et de la façon dont ces organismes répondent aux missions qui leur ont été confiées. Ces réflexions – débouchant sur une nouvelle batterie de critères – ont été intégrées dans les procédures de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) et continuent à être menées et développées dans le cadre de l'Observatoire des sciences et des techniques (OST).

Récemment en France, un nouveau terme est apparu, celui de l'excellence. P. Buttgen et B. Cassin l'avaient commenté ainsi en décembre 2010, dans un billet à *Libération* :

> « L'"excellence" est en train de tuer la science. Primes d'excellence, chaires d'excellence, équipements d'excellence, laboratoires d'excellence, initiatives d'excellence, périmètres d'excellence, pôles d'excellence. Attention, un "laboratoire d'excellence" n'est pas un laboratoire, c'est un monceau de laboratoires qui obéit à une logique de pouvoir maquillée en logique scientifique : la logique d'excellence. La manière forte a échoué ; ce dont le pouvoir ne voulait plus est toujours là. La manière douce va peut-être réussir. On finance, on arrose, en perpendiculaire aux anciennes structures, et on empile. »

Voici donc un nouveau critère universel de performance : l'excellence, qui, sans métrologie bien identifiée, repose sur la seule procédure suivante : « Les candidatures, qui seront évaluées par un jury international de très haut niveau, devront faire la démonstration de leurs forces actuelles, mais également de leur niveau d'ambition pour l'avenir et de leur capacité à mettre en œuvre leur stratégie. » Autrement dit, le très haut niveau du panel suffit à garantir la qualité et le caractère juste de l'évaluation. Nous n'avons pas fini d'en parler, tant
les conséquences de la procédure des Investissements d'avenir est susceptible de marquer le paysage français de l'enseignement supérieur et de la recherche... et d'appeler à de justes réajustements !

Mais n'oublie-t-on pas dans tout cela la première fonction attendue de la recherche, en particulier dans les sociétés marquées par les technosciences comme peu- vent l'être les sociétés occidentales (non sans effets sur les autres sociétés de la planète) : la réflexivité et le regard critique sur les connaissances produites, ainsi que leur traduction de plus en plus frappante en termes de politiques publiques, à différents niveaux d'organisa- tion ? L'économie de la connaissance, qui se donne pour objectif d'orienter la politique de l'Union européenne depuis ces dernières années, les grandes conventions internationales (changement climatique, diversité biolo- gique, désertification), dont nous venons de célébrer le 20ᵉ anniversaire au sommet Rio + 20, sont en grande partie bâties sur la production scientifique au nom de laquelle elles visent en partie à régir la vie des hommes. D'autres questions essentielles pour l'humanité reposent également sur la manière dont les sciences contribuent à les informer et à les objectiver, si ce n'est même à les for- muler, comme la sécurité alimentaire, la maîtrise des grandes épidémies et épizooties, l'émergence de nou- velles pathologies infectieuses ou chroniques, les nou- velles vulnérabilités issues des transformations écono- miques et sociales ou environnementales. Et récemment, en mai dernier, s'est même tenu le Sommet mondial sur l'évaluation scientifique (Global Summit on Merit Review) au siège de la National Science Foundation, afin d'amé- liorer les standards de qualité de la production scienti- fique mondiale et de renforcer les collaborations dans ce domaine.

Comment évalue-t-on les travaux engagés par les chercheurs pour identifier leurs apports et leurs respon- sabilités au regard de la mise à l'agenda politique des grandes alertes soulevées par la science et informées à partir des métrologies élaborées par la recherche ? Face à l'évolution et à la médiatisation de ces problématiques, quels moyens se donne-t-on pour actualiser les dé- marches et les métrologies qui les alimentent, dans un contexte politique évolutif bien souvent sensible à d'autres sirènes plus pragmatiques ? À quels conflits d'intérêt les chercheurs ne risquent-ils pas alors d'être ex- posés ? Quels moyens, quelle distanciation, se donnent- ils pour s'en protéger ? S'il est essentiel d'assurer ce rôle de veille et d'alerte vis-à-vis de problèmes posés comme

cruciaux pour la survie de l'humanité et d'en anticiper l'avènement, n'est-il pas aussi essentiel de se donner les moyens de maintenir un regard critique sur le rôle que, par leurs analyses et leurs méthodes, les chercheurs jouent dans leur construction, leur formulation, leur mise en politique et leur implémentation plus ou moins réussie sur le terrain, dans différentes parties du monde ? N'est-il pas crucial de renforcer cette capacité réflexive sur des problématiques scientifiques dans les- quelles les politiques et les différents lobbys de la société civile (monde des entreprises, mais aussi associations de solidarité) cherchent les justifications de leurs propres actions ? N'est-il pas indispensable de les revisiter avec des efforts équivalents à ceux qui ont présidé à leur émergence ? N'est-ce pas de notre responsabilité pre- mière que de rester attentifs au devenir de nos propres productions ? D'être vigilants au sein de nos propres communautés, mais également lors des négociations sur l'avenir de la planète et de nos sociétés, ainsi que cela a pu être expérimenté une fois de plus à l'occasion du som- met Rio + 20 ?

Ainsi, cette dimension mériterait tout autant d'être évaluée que les performances en termes de publication ou d'utilité sociale. La capacité réflexive de la recherche est indispensable au fonctionnement de sociétés comme les nôtres, si étroitement imbriquées dans les développe- ments scientifiques et technologiques. Elle doit faire l'objet d'une évaluation aussi sérieuse que le nombre d'articles dans des revues prestigieuses ! Car il s'agit tout simplement de l'évaluation de la fonction sociale de la recherche, qui ne saurait se réduire à sa seule « utilité ».

Cette préoccupation a été présente dans notre revue dès sa création, mais la multiplication des appels à la recherche, à la technologie et à l'innovation doit avoir pour corollaire le renforcement de nos propres capacités critiques, sans nous contenter de rejeter sur le politique le dévoiement de nos productions intellectuelles, comme si celles-ci étaient socialement neutres. En réduire l'appré- ciation en termes d'« excellence » ne peut pas suffire à un développement harmonieux d'une science en société, en toute responsabilité ! Et c'est bien à nous de concevoir et de proposer des procédures alternatives... La revue s'y engage, en particulier par un travail collaboratif avec les représentants de la société civile, mais elle attend égale- ment une contribution active de ses lecteurs !

Bernard Hubert