# Vie de la recherche

## « Evaluation of inter- and transdisciplinary research. Experiences and reflections on best practice »

### Compte rendu de conférence (Berne, 14-16 septembre 2011)

Claude Millier

Biomathématicien, président de NSS-Dialogues, 92000 Nanterre, France

**Mots-clés :**

interdisciplinarité ;
transdisciplinarité ;
évaluation ; td-net ;
projets

**Résumé** – La qualité et le processus de l'évaluation inter- ou transdisciplinaire deviennent cruiaux dans la montée en puissance de l'ID ; la conférence de Berne organisée par le réseau td-net a permis d'analyser en profondeur les différentes dimensions de l'évaluation de projets interdisciplinaires, ainsi que les domaines dans lesquels des questions de recherche découlent des insuffisances actuelles. Outre les difficultés pour dégager des indicateurs d'évaluation, la grande diversité des projets interdisciplinaires interdit d'espérer une solution normative telle qu'elle existe dans les recherches disciplinaires.

**Keywords:**

interdisciplinarity;
transdisciplinarity;
evaluation; td-net;
projects

**Abstract** – “Evaluation of inter- and transdisciplinary research. Experiences and reflections on best practice”. Conference report (Bern, 14-16 september 2011). Quality and process of inter- or transdisciplinary evaluation are becoming crucial with the rise of interdisciplinarity. The Bern conference organized by the td-net network of the Swiss Academies of Arts and Sciences analyzed in depth the various aspects of the evaluation of interdisciplinary projects, as well as areas in which research questions are generated by current shortcomings. In addition to the difficulties in identifying evaluation indicators, the wide variety of interdisciplinary projects does not allow to expect a normative solution as it exists in disciplinary research.

Le réseau td-net (réseau pour la recherche transdisciplinaire<fnref n="1" />), placé sous la tutelle des Académies suisses des sciences, a organisé entre 2008 et 2011 un cycle de quatre conférences annuelles (td-conference) qui a parcouru tout le processus de production d'une recherche interdisciplinaire et transdisciplinaire.

Après trois premières conférences dédiées au cadrage des recherches, à l'intégration et à l'implémentation, dont NSS a rendu compte<fnref n="2" />, la conférence de

2011 s'est concentrée sur l'évaluation pour terminer ce cycle<fnref n="3" />.

Elle s'est tenue du 14 au 16 septembre 2011 à l'Université de Berne. Plus d'une centaine de participants ont suivi cette manifestation anglophone, qui mixait avec bonheur interventions plénières et ateliers parallèles : 58 Suisses, 23 Allemands et Autrichiens, 6 Américains, 4 Australiens,

<footnote>collective concepts, methods and practices – changing structures », *Natures Sciences Sociétés*, 18, 3, 322-328 ; conférence de 2010 : Darbellay, F., Paulsen, T., 2011. « Implementation in inter- and transdisciplinary research, practice and teaching, *Natures Sciences Sociétés*, 19, 3, 293-296.</footnote>

<footnote n="3">³ Le programme, les résumés des interventions ainsi que la plupart des présentations sont disponibles sur le site internet http://www.transdisciplinarity.ch/e/Network/international/2011.</footnote>

<footnote>Auteur correspondant : claude.millier@agroparistech.fr</footnote>

<footnote n="1">¹ www.transdisciplinarity.ch.</footnote>

<footnote n="2">² Conférence de 2008 : Hubert, B., 2009. « Problem framing in inter- and transdisciplinary research », *Natures Sciences Sociétés*, 17, 3, 305-306 ; conférence de 2009 : Bouleau, G., 2010. « Integration in inter- and transdisciplinary research: forging</footnote>
3 Sud-Africains, 2 Canadiens ; les Français étaient au nombre de 2⁴ ainsi que les Anglais, l'Europe du Nord comptait 12 représentants ; on notait l'absence du monde latin et des pays émergents ou en voie de développement. L'interdisciplinarité est donc actuellement une affaire de pays riches : un prototype à généraliser ou, au contraire, simple hypertrophie d'une question locale ?

## Évaluation par les agences de financement de la recherche

Avant que la parole ne soit donnée aux animateurs et praticiens de l'interdisciplinarité<fnref n="5" />, des responsables en charge de la politique de recherche sont intervenus pour décrire les dispositifs mis en place pour rendre « équitable » les évaluations ex ante des projets ID, preuve que cette question de l'évaluation de l'ID a une importance décisive pour tous les acteurs de la recherche ; il s'agissait de Dieter Imboden, président du Conseil scientifique du Fonds national suisse de la recherche scientifique (FNS), de Laura Raaska de l'Academy of Finland et de Signe Martišūne-Schwagrowski-Buyse, ancienne attachée scientifique de la Lettonie à l'Union européenne. On pourra noter que l'agence suisse en charge du financement de la recherche a mis en place une commission spéciale pour traiter les projets ID (qui auparavant étaient évalués de façon très négative), que l'agence finlandaise a instauré un fonctionnement de l'évaluation en panel (c'est-à-dire construite collectivement, au-delà d'évaluations individuelles souvent biaisées) alors que la fonctionnaire européenne en reste au discours habituel (même si elle considère dans le cadre de l'économie de la connaissance, que l'impulsion de l'ID est une nécessité). D. Imboden a plaidé pour l'inapplicabilité des métriques d'évaluation sur ce type de projet mais pense qu'une évolution profonde ne sera guère possible tant que les évaluations disciplinaires elles-mêmes se polariseront sur des quantifications trop abstraites.

## Les critères du réseau td-net

L'équipe de td-net animée par Christian Pohl et Pasqualina Perrig-Chiello<fnref n="6" /> a présenté un document de

travail pour préparer les débats dont les éléments ont plus été repris et éclairés que contestés pendant la conférence :

– L'identification du niveau d'ID recherché dans le projet devrait influer sur le mode d'évaluation (composition du panel d'experts et choix des évaluateurs, processus et critères d'évaluation) ; l'évaluation disciplinaire fonctionne sur un mode normé via un examen par les pairs, alors que l'évaluation de l'ID exige des interactions entre les membres du panel (le document de td-net va même jusqu'à proposer des discussions associant proposants et évaluateurs ! On est loin de l'évaluation en double aveugle).

– Les critères d'évaluation doivent incorporer de nouveaux items liés à la nécessité de « mesurer » l'intégration et la synergie entre disciplines : la « largeur » du projet (couverture de disciplines, de niveaux d'approche, de liens avec les acteurs), l'intégration et la synergie visées, la capacité de réflexion (« slow science » ?) et de contrôle dynamique du projet (ajustements au fur et à mesure), la pertinence de la résolution du problème, la gestion de la recherche proprement dite.

– Ces critères et les questions concrètes qu'ils soulèvent varient en pondération suivant les différents types d'ID envisagés ; on peut donc difficilement envisager un encadrement normatif de l'évaluation de l'ID.

Le lecteur, en particulier celui engagé par les opérations d'évaluation ex ante, appréciera l'écart avec la réalité – pour être concret – française ; les évaluations ex post, souvent négligées, sont ici réhabilitées en mettant en forme les outils qui permettront de qualifier la pertinence des résultats.

## Le cas des revues scientifiques

Ces remarques s'appliquent pleinement à l'édition de revues dédiées à l'interdisciplinarité (cette question a fait l'objet d'un atelier séparé auquel avait été invitée NSS<fnref n="7" />) ; différents angles de vue sont nécessaires au cours du processus de relecture, d'où un choix d'évaluateurs, qui sont, d'une part, des spécialistes disciplinaires, et d'autre part, des habitués de l'interdisciplinarité. Quant à la chaîne de relecture elle-même, NSS a privilégié un fonctionnement séquentiel (un rapporteur interne au comité de rédaction, puis des lecteurs extérieurs, puis à nouveau le rapporteur), alors que la revue GAIA, par exemple, a adopté une évaluation parallèle entre les lecteurs et le « Gegenleser » (« contre-lecteur »). On notera que ce terme est plus engagé, plus conflictuel que celui de « rapporteur », assez neutre.

<footnote n="4">⁴ Claude Millier et Chantal Pacteau (GIS Climat Environnement Société, CNRS Paris).</footnote>

<footnote n="5">⁵ On ne s'attardera pas sur la délimitation des catégories (interdisciplinarité, transdisciplinarité, transépistémie) ; on utilisera par facilité l'acronyme ID pour ces trois catégories, sauf en cas de comparaison entre elles.</footnote>

<footnote n="6">⁶ Cf. Pohl, C., Perrig-Chiello, P. et al., 2010. Questions to evaluate inter- and transdisciplinary research proposals, working paper proposed by td-net.</footnote>

<footnote n="7">⁷ Les revues invitées étaient NSS, GAIA, *Mountain Research and Development* (revue de l'International Mountain Society) et *Journal for Artistic Research* (JAR, Suède).</footnote>
## Le point de vue des Américains

Les Américains, très présents pendant la conférence, ont développé des approches très variées depuis le souci de traduire l'interdisciplinarité par des métriques sophistiquées jusqu'à des évaluations très qualitatives en passant par une analyse fine des critères d'évaluation.

Daniel Stokols (University of California at Irvine<fnref n="8" />) a essayé de confronter des mesures de plus-value transdisciplinaire et d'intensité innovatrice au coût du travail collectif ; on est donc dans un objectif très quantitatif ; touthefois, si les deux volets sont encore hors d'atteinte, on notera que, dans les coûts, Stokols inclut aussi bien le travail consommé par les acteurs – chercheurs et autres – que les coûts dus aux frictions institutionnelles et aux ajustements comportementaux des partenaires des projets.

Robert Frodeman et Britt Holbrook (CSID<fnref n="9" /> – University of North-Texas<fnref n="10" />) ont fait une analyse qui sollicite des recherches en épistémologie de la pertinence : puisque la production ID est considérée comme pertinente, comment évaluer dans le cadre de systèmes définis de manière floue cette pertinence : « *If it is countable, it may not count; if it counts, it may be not countable* ». Il faut donc à la fois se méfier des métriques trop classiques et faire un effort pour traduire des évaluations trop qualitatives.

Julie Thompson Klein (Wayne State University<fnref n="11" />), qui est souvent la référence de base de ces auteurs (y compris dans le réseau td-net), a plaidé pour une évaluation fondée sur sept principes génériques : largeur des objectifs, choix des critères et indicateurs, niveau d'intégration, qualité de la collaboration cognitive et sociale, gestion du projet, transparence explicite dans la conduite dynamique et adaptative des projets, impact ; de façon nette, l'évaluation classique n'intervient que très marginalement.

Veronica Boix Mansilla (Harvard Graduate School of Education<fnref n="12" />) a souhaité apprécier la qualité du travail ID par une plateforme partagée « socio-emotional-cognitive » qui apporte deux nouvelles dimensions à celle de

l'approche cognitive « intellectuelle » : l'intervention de l'affectif dans le fonctionnement des équipes ID et l'interaction sociale.

Les lieux où ces chercheurs exercent leurs recherches reflètent un infléchissement intéressant : philosophie, « humanities », sciences de l'éducation, « écologie sociale » (pour Stokols) ; dans ce mouvement, les sciences biotechniques deviennent quasiment invisibles (malgré l'accent mis sur l'ingénierie de projet) ; sciences politiques et sociales perdent leur rôle d'animation ; on pourra mettre en relation cette tendance avec l'extension des questions de « design<fnref n="13" />» dans le domaine des recherches sur l'environnement et sur le développement durable (conception de services, y compris en France).

Cet affaiblissement des frontières disciplinaires introduit de nouveaux acteurs de la recherche et de l'enseignement dans le jeu des recherches interdisciplinaires.

## Les ateliers

Les ateliers ou sessions parallèles ont permis de produire des cas d'étude dans de multiples domaines ; ils ont montré une convergence entre ces cas empiriques et les autres présentations plus théoriques ; par ailleurs, l'élaboration d'outils d'évaluation a fait l'objet d'interventions de la part de chercheurs allemands (initiative « Sustainable land management » du ministère de la recherche allemand).

Un atelier particulier a traité de l'évaluation de l'enseignement ID (par exemple, « do we teach what we preach? » de Katja Brundiers et Arnim Wiek, Arizona State University) ; on notera des expériences originales : création à l'Université d'Auckland d'une faculté de design (voir plus haut) et de technologies créatives à partir de départements d'« art and design », de mathématiques, de communication et d'ingénierie pour le développement d'un diplôme de « creative technologies ».

## Et après ?

En conclusion, cette conférence a permis d'établir une cartographie des différentes composantes de l'évaluation et a tracé un cadre assez consensuel bien traduit dans les 7 principes de J.T. Klein.

Quant au cycle des quatre conférences, il a été visiblement une réussite : il a permis de fortifier un réseau helvético-austro-allemand en préservant des positionnements subtilement différents, même si la base commune est large avec, d'une part, l'application du mode 2 de

<footnote n="8">⁸ Cf. Stokols, D. et al., 2003. Evaluating transdisciplinary science, *Nicotine & Tobacco Research*, 5, suppl 1, 21-39.</footnote>

<footnote n="9">⁹ Center for the study of interdisciplinarity, http://www.csid.unt.edu.</footnote>

<footnote n="10">¹⁰ Cf. Holbrook, B., 2010. Peer review, in Frodeman, R., Klein, J.T., Mitcham, C. (Eds), *The Oxford Book of Interdisciplinarity*, Oxford, Oxford University Press, 321-332.</footnote>

<footnote n="11">¹¹ Cf. Klein, J.T., 2006. Afterword: the emergent literature on interdisciplinarity and transdisciplinarity, *Research Evaluation*, 15, 1, 75-80 ; Klein, J.T., 2008. Evaluation of interdisciplinary and transdisciplinary: a literature review, *American Journal of Preventive Medicine*, 35, suppl 2, 116-123.</footnote>

<footnote n="12">¹² Cf. Boix Mansilla, V., Feller, I., Gardner, H., 2004. Quality assessment in interdisciplinary research and education, *Research Evaluation*, 15, 1, 69-74.</footnote>

<footnote n="13">¹³ au sens de conception de produits, mais restreint ici essentiellement à la conception de services.</footnote>
production de connaissance scientifique de Gibbons et Nowotny dans le cadre de l'économie de la connaissance<fnref n="14" />, et, d'autre part, la consolidation des concepts de transdisciplinarité et de transépistémie (des savoirs scientifiques aux savoirs profanes).

Des liens importants ont été construits avec les communautés nord-américaines, notamment avec les sociétés savantes américaines, l'Association for Integrative

Studies (AIS<fnref n="15" />) et le CSID. L'AIS, le CSID et td-net ont d'ailleurs pris l'initiative de créer le réseau INIT (International Network for Interdisciplinarity and Transdisciplinarity<fnref n="16" />) en 2010. L'une des actions de ce réseau a été de lancer en février 2012 sur la plateforme www.interdisciplines.org un séminaire virtuel qui se terminera en février 2013 : « Inter- and Transdisciplinary Horizons. INIT Purposes and Approaches ».

<footnote n="14">¹⁴ Cf. Gibbons, M., Nowotny, H., Limoges, C., Schwartzman, S., Scott, P., Trow, M., 1994. *The Next Production of Knowledge. The Dynamics of Science and Research in Contemporary Societies*, London, Sage ; Nowotny, H., Scott, P., Gibbons, M., 2001. *Re-thinking Science: Knowledge and the Public in an Age of Uncertainty*, Cambridge, Polity Press.</footnote>

<footnote n="15">¹⁵ http://www units.muohio.edu/aisorg</footnote>

<footnote n="16">¹⁶ http://www.inidtd.org</footnote>