Actualités de la recherche

# « Retour réflexif sur l'évaluation du développement durable : l'expérience d'une école chercheurs »

## Compte rendu d'école chercheurs (Sainte-Foy-lès-Lyon, 19-21 mars 2008)

Hélène Rey-Valette<fnref n="1" />, Olivier Clément<fnref n="2" />, Isabelle Avelange<fnref n="3" />

Les pratiques, les techniques, les systèmes de production ou de gestion, les collectifs de consommation qui se réclament du développement durable sont l'objet d'une attention croissante de la part aussi bien de la société que de la communauté scientifique. De multiples projets de recherche étudient les conditions dans lesquelles la « durabilité » peut être construite, mise en œuvre et assimilée par les acteurs, compte tenu des transformations qu'implique ce nouveau référentiel. C'est le cas du programme de l'Agence nationale de la recherche (ANR) intitulé Agriculture et développement durable (ADD).

L'évaluation du développement durable est au cœur de ce type de projet. Elle peut être abordée sous au moins deux angles. Le premier est celui de l'évaluation de la prise en compte de ce développement dans les diverses opérations qui s'en réclament. Le second est celui de l'utilisation, pour l'évaluation, d'indicateurs dont le choix même révèle le contenu donné au développement durable. Dans ce contexte, le comité stratégique du programme ADD a organisé une école chercheurs<fnref n="1" />. Il a choisi ce moyen car il était soucieux de stimuler les interactions entre les équipes de recherche et, ainsi, de faciliter les apprentissages<fnref n="2" />. L'école s'adressait en fait à tous les chercheurs et

les ingénieurs de différentes disciplines impliqués dans ces questions, quel que soit le cadre de leurs travaux, ainsi qu'aux institutionnels concernés. Elle se proposait d'offrir une vision d'ensemble des connaissances actuelles en matière d'évaluation du développement durable, depuis ses objectifs et ses principes jusqu'à ses outils et ses démarches qui rendent compte des questions nouvelles et des dimensions particulières introduites par le développement durable. Il s'agissait non seulement d'évaluer le développement durable du point de vue de la durabilité des écosystèmes et des « sociosystèmes », mais aussi d'évaluer les politiques et les dispositifs mis en œuvre pour accompagner ces évolutions.

## Pourquoi se poser la question de l'évaluation du développement durable ? Et comment l'aborder ?

Alors même que l'on note un foisonnement d'expériences et d'outils proposant des indicateurs ou des grilles d'évaluation du développement durable, la question de

aux côtés des organismes financeurs du programme (ANR, Ademe, Cemagref, Cirad, Ifremer et Inra). L'école s'est tenue du 19 au 21 mars 2008 à Sainte-Foy-lès-Lyon, dans la banlieue lyonnaise. Elle a été réalisée par un collectif qui comprenait, outre les auteurs du présent compte rendu, Philippe Girardin et Chantal Rabolin (Inra, Colmar), ainsi que Cécile Tournu et Françoise Werdenberg (FormaSciences).

<footnote n="1">¹ Économiste, Université Montpellier 1, Faculté de sciences économiques, UMR 5474, Laboratoire montpelliérain d'économie théorique et appliquée (LAMETA), 34960 Montpellier cedex 2, France</footnote>

<footnote n="2">² Agronome, INRA, Pôle d'hydrobiologie, UMR Nutrition, Aquaculture, Génomique (NUAGE), 64310 Saint-Pée-sur-Nivelle, France</footnote>

<footnote n="3">³ Phytopathologiste, INRA, Unité support ANR, 75338 Paris cedex 07, France</footnote>

<footnote>Auteur correspondant : H. Rey-Valette,
helene.rey-valette@univ-montp1.fr</footnote>

<footnote n="1">¹ Cf. http://www.inra.fr/les_partenariats/programmes_anr/agriculture_et_developpement_durable/evaluation_du_developpement_durable</footnote>

<footnote n="2">² D'où la participation de FormaSciences (l'organisme de formation permanente de l'Inra) à l'organisation de cette école,</footnote>
savoir de quelle évaluation il s'agit, et ce qui est évalué, est assez peu appréhendée en tant que question de recherche ou objet spécifique pour l'action publique. Sans lui être spécifique, cela vaut particulièrement pour la France, pays dans lequel la culture de l'évaluation est peu partagée. Aussi, le souci affiché de l'école était de dépasser l'aspect strictement technique de la question pour développer chez les participants une attitude réflexive sur le développement durable, à travers ses outils d'évaluation. Il ne s'agissait pas seulement de chercher à tirer profit d'un bilan des connaissances sur la conception et la mise en œuvre d'outils d'évaluation, mais de s'interroger sur leurs finalités, leurs objectifs. Autrement dit, il s'agissait d'analyser l'utilité de l'évaluation, au sens de l'usage qui en est fait, non seulement en termes de suivi, mais aussi en termes d'aide à la décision et de vecteur de changement. Ainsi conçu, le programme de l'école devait rendre la notion de développement durable plus lisible pour chacun et donc en faciliter l'appropriation.

Le choix d'une telle démarche conduit en arrière-plan à s'interroger, dans un registre plus épistémologique, sur la place de la recherche dans les actions de développement durable et, de façon plus générale, sur les conditions d'élaboration et de mise en œuvre des dispositifs, des processus et des outils de l'évaluation. Se pose en particulier la question du bénéfice attendu des mécanismes de sa coconstruction. Dès lors, les outils ne sont plus seulement caractérisés par leur contenu technique, ils le sont aussi par les objectifs et les modalités d'une démarche de participation.

Se placer dans ces perspectives soulève des questions de fond sur les postures qui s'offrent à la recherche face au développement durable. O. Godard et B. Hubert<fnref n="3" /> en distinguent trois, plus ou moins radicales selon que le développement durable est considéré comme : 1) un simple nouveau référent pour des politiques scientifiques se situant à l'interface entre société et recherche, dont l'intérêt est uniquement de déboucher sur l'identification de problèmes ; 2) un véritable nouvel objet de recherche spécialisé qui pourrait déboucher sur une nouvelle spécialité scientifique ; 3) une question transversale qui conduit à faire de la recherche « autrement », en s'appuyant sur des dispositifs de recherche finalisée et transdisciplinaire et sur de nouvelles modalités d'articulation avec les groupes sociaux.

Dans la même veine, P. Legrand<fnref n="4" /> identifie trois attitudes plus ou moins volontaristes : une, minimaliste, dans laquelle le développement durable reste un objet mineur (on parlera d'une recherche sur le développement

durable); une, plus active, où il devient un champ de recherche reconnu et légitime en soi (on parlera d'une recherche pour le développement durable); une, enfin, plus globale, où il est reconnu comme un enjeu et une composante déterminante des problématiques, mais aussi de l'orientation, de la programmation et de l'évaluation de la recherche dans son ensemble (on parlera d'une recherche adaptée au développement durable).

On voit donc que le thème de l'école conduisait à préciser les enjeux pour la société – et pour la recherche elle-même – d'une recherche « sur » ou d'une recherche « pour » le développement durable. Mais il n'était bien évidemment pas question que l'école situe d'entrée le débat à ce niveau de généralité. Il s'agissait, par contre, de permettre l'identification des différentes postures en présence et leurs conséquences en termes de choix d'objets et de méthodes, de façon à stimuler l'attitude réflexive des participants et à les aider à clarifier, en tant que chercheurs, leur positionnement face au développement durable. L'objectif principal était de faire prendre conscience de la nécessité de dépasser une pure vision d'expert et une conception de l'évaluation simplement centrée sur une production et une offre scientifiques d'indicateurs élaborés de façon cloisonnée ; cet objectif devait ainsi montrer qu'il est indispensable de s'interroger systématiquement sur l'utilité et l'usage de ces indicateurs de façon à renouveler les méthodes de travail sur ces questions, voire, à moyen terme, les postures. Il est clair que les pratiques et les savoirs ne pourront évoluer suffisamment pour faire de la recherche « autrement » qu'à l'issue d'un processus d'apprentissage progressif et itératif.

La méthode de travail choisie visait à créer ce processus, d'où l'accent mis sur les interactions entre participants et entre participants et intervenants dans une logique de coconstruction progressive de connaissances (notamment à travers des ateliers de travail collectif divisés en sous-groupes pour favoriser l'interactivité et les débats) ; d'où aussi un souci de favoriser un recul critique constant par rapport au déroulement de l'école (notamment à travers l'intervention d'un « grand témoin » chargé de proposer une réflexion finale).

## L'évaluation du développement durable : un champ et une démarche

Le programme de l'école était composé de cinq modules et de quatre ateliers. Ce découpage et cet assemblage constituent en eux-mêmes une proposition de définition du champ d'analyse de l'évaluation du développement durable. Le découpage des modules et des ateliers couvrait en effet l'ensemble du processus d'évaluation, en collant à ses trois temps forts : explicitation des objectifs de l'évaluation et de son ancrage sociétal (modules 1 et 2) ; choix et mise en œuvre des outils techniques et des

<footnote n="3">³ Godard, O., Hubert B., 2002. *Le Développement durable et la recherche scientifique à l'INRA : rapport à madame la Directrice générale de l'INRA. Rapport intermédiaire de mission*, 23 décembre 2002, INRA, Paris.</footnote>

<footnote n="4">⁴ Legrand, P., 2002. Au-delà du Cap de Bonne Espérance, *Le Courrier de l'environnement de l'INRA*, 47, 100-102.</footnote>
méthodes (modules 3 et 4) ; évaluation de l'utilité de ses résultats (module 5).

Le premier module, à caractère introductif, ouvrait sur les enjeux et les concepts-clés de l'évaluation du développement durable. Il comportait deux conférences : l'une, donnée par un sociologue-démographe (P.-M. Boulanger, Institut pour un développement durable [IDD], Bruxelles), traitait des enjeux sociétaux de l'évaluation et des indicateurs ; l'autre, tenue par un économiste (E. Plottu, Société française d'évaluation), examinait les référentiels et les pratiques de l'évaluation et les spécificités de l'évaluation du développement durable. On peut aussi rattacher à ce module l'intervention, en soirée, de C. Comeliau (économiste, Institut universitaire d'études du développement [IUED], Genève, et École des hautes études en sciences sociales [EHESS], Paris) sur les enjeux et le sens du développement, composante majeure et trop souvent oubliée du développement durable.

Le second module abordait la question de la prise en compte du développement durable dans les projets et les politiques publiques. Il consistait en une table ronde de praticiens faisant état de leurs expériences<fnref n="5" />, ainsi qu'en une présentation (par A. Boutaud, consultant) d'une analyse de trente-trois dispositifs utilisés par des collectivités territoriales et appréhendés comme étant des « outils de questionnement et d'analyse du développement durable » (OQADD).

Le troisième module présentait un panorama des démarches et des itinéraires de l'évaluation du développement durable, faisant ainsi ressortir leur grande diversité. Trois entrées ont été successivement utilisées : le niveau du territoire et des collectivités (Y. Lazzeri, économiste, CNRS, Aix-Marseille), le secteur agricole (P. Girardin, agronome Inra, Colmar) et l'exemple particulier d'organisations dans lesquelles l'évaluation participative revêt une fonction stratégique explicite d'appropriation du développement durable (M. Capron, sciences de gestion, Laboratoire d'études et de recherche sur la gestion des organisations [Lergo], Université Paris 8).

Le quatrième module était de caractère plus technique. Il portait sur les indicateurs et sur les techniques utilisées pour les modéliser, les agréger, les pondérer, les synthétiser. Une conférence a offert un aperçu des indicateurs de durabilité utilisés dans le domaine de l'agriculture (C. Bockstaller, Inra, Colmar). Mais l'essentiel de ce module consistait en un travail d'atelier visant à permettre une approche pratique de ces questions. Il était complété par un retour d'expérience du chargé de mission développement durable de la région Rhône-Alpes (J. Duverger),

qui a présenté une « méthode d'appréciation de l'intégration du développement durable dans les politiques et les actions régionales ». Celle-ci, systématiquement appliquée dès qu'un projet sollicite un soutien financier de la région, est conçue de façon à favoriser l'attitude réflexive et l'apprentissage, ce qui en fait un outil non seulement d'évaluation, mais aussi de délibération. Elle constitue, dans le même temps, une sorte de labellisation des projets, ce qui lui permet d'être socialement bien acceptée.

Le dernier module conduisait à un retour réflexif sur la production et l'usage des indicateurs et fermait ainsi la boucle avec le premier, en revenant sur les enjeux du développement durable. Il était constitué d'une conférence sur la construction des indicateurs synthétiques et leur évaluation (F. Jany-Catrice, économiste, Université Lille 1, Centre lillois d'études sociologiques et économiques [Clersé], CNRS).

Des ateliers accompagnaient le déroulement des modules. Ayant comme objectif de mettre les participants en posture d'appropriation personnelle d'une démarche d'évaluation, ils étaient centrés sur les quatre premiers d'entre eux.

Le premier atelier est intervenu en ouverture. Son but était surtout d'initier une dynamique collective en permettant aux participants d'évoquer leur représentation des propriétés du développement durable. Quelques cadrages ont été proposés par les animateurs. Il ressort notamment du survol de la littérature consacrée à l'évaluation du développement durable que celle-ci doit répondre à cinq grandes exigences : l'interdisciplinarité, la capacité d'adopter une perspective à long terme, la prise en compte des interactions entre niveaux territoriaux, le traitement de l'incertitude et la participation des parties prenantes (et notamment des acteurs faibles, des savoirs locaux...). En complément, quelques propriétés ou qualités recensées dans différentes définitions du développement durable ont été énoncées : transparence, transversalité, intégration, participation et attitude réflexive. Il s'agissait ensuite, par petits groupes, de lister les composantes et les propriétés paraissant essentielles et conditionnant la définition et l'évaluation du développement durable. En conclusion de l'atelier, les animateurs ont diffusé une liste éclectique d'une dizaine de définitions du développement durable témoignant de la diversité des notions qu'il re couvre et conduisant à l'appréhender tantôt comme un prisme d'analyse<fnref n="6" />, tantôt comme un projet de société<fnref n="7" />,

<footnote n="5">⁵ J. Dedieu (haut fonctionnaire au développement durable du ministère de l'Agriculture et de la Pêche [MAP]), N. Vicq-Thépot du MEEDDAT et Y. François, agriculteur, qui ont respectivement présenté la stratégie de développement durable du MAP, celle de l'évaluation des Agendas 21 locaux et une expérience imagée en agriculture.</footnote>

<footnote n="6">⁶ Zaccaï, E., 2004. Délimitations impossibles, dynamiques réelles et enjeux futurs, in Da Cunha, A., Ruegg, J. (Eds), *Développement durable et aménagement du territoire*, Lausanne, Presses polytechniques et universitaires romandes, 47-63.</footnote>

<footnote n="7">⁷ Dubois, G., Céron, J.-P., 2004. Construire et communiquer les indicateurs de développement durable, in Offredi, C. (Ed.), *La Dynamique de l'évaluation face au développement durable*, Paris, L'Harmattan / Limoges, Société française de l'évaluation, 43-57.</footnote>
tantôt comme un référentiel ou un ensemble cohérent de normes, de conduites et de pratiques<fnref n="8" />.

Le second atelier était centré sur l'analyse de la prise en compte du développement durable dans un plan d'action ou dans un projet de recherche. À partir de plusieurs exemples de grille d'évaluation présentés par les animateurs, l'objectif proposé était de réfléchir collectivement sur ce que pourrait être une grille d'évaluation de la prise en compte du développement durable dans un projet de recherche. Il ne s'agissait pas d'élaborer une grille aboutie, mais de rassembler réflexions et éléments utiles pour éclairer la question. L'utilité de réfléchir à une telle grille n'est pas forcément de parvenir à évaluer un projet ou d'imaginer un label de « durabilité » d'une recherche, mais plutôt de donner à un groupe de chercheurs des pistes et un outil pour l'aider dans l'élaboration d'une vision opérationnelle du développement durable, pour créer les conditions d'une réelle prise en compte du développement durable dans les programmes de recherche, pour aider à réfléchir à de nouvelles formes d'expertise. Afin de faciliter les réflexions, les animateurs avaient introduit les trois postures possibles de la recherche face au développement durable, dont il a été fait état plus haut.

Le troisième atelier visait à réfléchir sur les types de démarche d'élaboration des indicateurs et sur leurs propriétés en tant qu'outils d'un processus d'apprentissage collectif contribuant à l'appropriation du développement durable. Il était introduit par un exposé des animateurs et par un examen des modalités de « démocratie technique » concernant la construction d'indicateurs pour la cogestion adaptative de la biodiversité (H. Levrel, économiste, Ifremer, Brest). À partir de ces rappels, les participants ont été invités à concevoir un protocole d'élaboration d'indicateurs de développement durable pour un cas virtuel de durabilité de l'agriculture sur un petit territoire. Il s'agissait d'identifier et d'expliciter la nature et l'articulation des différentes phases et actions à mettre en œuvre.

Le quatrième et dernier atelier, animé par F. Angevin (modélisatrice, Inra, Versailles) et B. Colomb (systématcien, Inra, Toulouse), était de caractère plus technique. Il abordait les questions d'agrégation, de pondération et de modélisation des indicateurs de développement durable. Son objectif précis était de proposer et de discuter des méthodes de coconstruction d'un outil d'évaluation basé sur une approche multicritères. Un modèle d'évaluation des systèmes de culture a servi de base à la réflexion. Ce modèle, reposant sur le logiciel Dexi, se présente comme une alternative à la modélisation quantitative. Il permet de faire le tri entre divers scénarios en s'aidant d'indicateurs agrégés, coconstruits et pondérés, figurant dans une

arborescence permettant d'en dresser une traçabilité. Cet atelier a permis une réflexion sur le passage d'un tableau de bord d'indicateurs à des indicateurs composites et sur l'information donnée par ces derniers.

## Les grandes lignes de réflexion

Quatre enseignements majeurs concernant l'évaluation du développement durable peuvent être tirés des réflexions qui ont parcouru l'ensemble de l'école.

### De forts particularismes

L'évaluation du développement durable présente de forts particularismes par rapport à la culture et aux outils traditionnels du domaine.

Elle relève certes du champ de l'évaluation des politiques publiques, mais elle suppose que soit reconsidérée la façon dont cette dernière est actuellement conçue. En effet, bien qu'encore peu généralisée et intégrée dans les mentalités, et très diverse dans ses pratiques, cette évaluation n'en tend pas moins, ainsi que l'a rappelé E. Plottu, à privilégier l'aspect coûts-avantages. Le panel commun d'outils et de techniques auquel elle a recours donne une large place aux méthodes de monétarisation des effets. Or, cette pratique restreint le champ de l'évaluation d'une politique publique en posant de multiples questions de péri-mètre de référence et, par son importante technicité, nuit à l'appropriation et à la participation des populations. Dans les faits, elle est le plus souvent centrée sur une logique d'évaluation *ex post* des impacts, sans questionnement du bien-fondé des objectifs. L'évaluation du développement durable oblige donc à reconsidérer les techniques, mais aussi les pratiques, de cette conception de l'évaluation. Mettre l'accent sur l'explicitation des objectifs nécessite une démarche plus distanciée de l'évaluateur ; il doit sortir de la logique techniciste de l'évaluation. Cela suppose, par ailleurs, une implication plus forte des politiques et des acteurs dès le début du processus, pour rendre compte du pluralisme des représentations, des priorités et des intérêts. D'autre part, la pluralité des dimensions à intégrer et le caractère intrinsèquement qualitatif de certains critères font que l'évaluation du développement durable doit recourir préférentiellement, et de façon interdisciplinaire, à une multiplicité d'indicateurs, et non pas à la seule analyse coûts-avantages telle qu'elle est pratiquée par les économistes. Les modalités de synthèse ne passent alors plus systématiquement par la monétarisation. Mais cette ouverture soulève la question de l'agrégation et de la production d'indices synthétiques, ainsi que celle de la standardisation des évaluations qualitatives à dire d'expert. Enfin, en raison de la place de l'incertitude et du long terme dans l'appréciation du développement durable, une évaluation en la matière implique des temps

<footnote n="8">⁸ Loinger, G., 2006. Leçons des expériences récentes d'élaboration d'indicateurs territorialisés du développement durable dans le champ de la gouvernance locale, in Offredi, C. (Ed.), *La Dynamique de l'évaluation face au développement durable*, Paris, L'Harmattan / Limoges, Société française de l'évaluation, 29-42.</footnote>
et des outils spécifiques nécessitant des apprentissages et des changements de référentiel, ce qui risque, il est vrai, comme cela a été dit par un intervenant, d’accentuer le déphasage entre les temporalités de l’évaluation et celles de la décision.

## L'identification des objectifs

Le cœur de l'évaluation du développement durable est l'identification des objectifs.

Il ressort de l'ensemble des retours d'expériences et des présentations de grilles d'évaluation qu'il convient de s'interroger sur les finalités attendues avant de se demander comment évaluer. Comme le montre l'expérience de la région Rhône-Alpes, la question des objectifs implique la nécessité d'avoir au départ un référentiel commun, de façon à éviter la confrontation des référentiels particuliers, qui rend la décision arbitraire ou, plus précisément, fortement dépendante de la composition du groupe d'évaluation. Le caractère multidimensionnel du développement durable oblige à des compromis entre dimensions et objectifs ; il nécessite donc que ces compromis soient établis de façon collective pour assurer une plus grande transparence et pour bénéficier de la prise de conscience qu'apporte le partage des points de vue. Ainsi, l'évaluation du développement durable fait apparaître une notion-clé qui est celle du compromis, lequel intervient à deux niveaux.

Il intervient en premier lieu au niveau des préférences et des valeurs requises pour assurer les arbitrages au sein des rapports de force introduits par la participation d'acteurs très divers. C'est là le préalable indispensable pour parvenir à une intégration entre les différentes dimensions du développement durable, et donc pour assurer la transversalité de la démarche. Les indicateurs relèvent d'une logique constructiviste et institutionnaliste, ils ont un caractère normatif et n'ont de sens que relativement aux projets de société et aux définitions implicites du développement durable. C'est dire combien ils relèvent de la construction politique d'un consensus. Cette construction se situe initialement à des échelles très globales, puis se décline en cascade à différentes échelles plus locales. Dès lors que les fonctions multiples des indicateurs sont reconnues, l'évaluation constitue une étape à part entière de la définition de consensus politique. Cela conduit à conclure à la nécessité d'une plus grande implication des politiques dans le processus, ce qui entraîne autant de modifications dans la façon de concevoir la « gouvernance ». On retrouve ici ce point, trop méconnu, du rapport Brundtland : l'idée que les objectifs à se fixer doivent tenir compte de l'état des techniques et de l'organisation sociale – ce qui justifie l'existence de plusieurs acceptions de l'expression « développement durable »<fnref n="9" />.

Des compromis sont aussi à faire autour de la question des indicateurs en raison de l'incertitude et du flou de l'information disponible et accessible aux acteurs, de la complexité des interactions à prendre en considération et du caractère qualitatif de certains paramètres. Il faut revoir les critères de qualité des indicateurs en admettant autour de ces derniers l'existence d'espaces d'incertitude<fnref n="10" />. Dans un souci de satisfaire aux conditions d'une démocratie technique de l'évaluation de la durabilité, a été proposée une grille d'évaluation des indicateurs qui donne un poids important à des démarches d'apprentissage et de coconstruction ; en outre, des critères d'évaluation différents y sont retenus, selon que l'on se situe au niveau de l'organisation des processus (ouverture et qualité) ou dans le cours de la mise en œuvre des procédures (égalité des conditions d'accès, transparence et traçabilité, clarté des règles). Dans le même esprit, a été présentée une grille d'évaluation de la qualité des indicateurs structurée autour de quatre axes renvoyant : le premier, à des aspects techniques de leur mode de construction ; le deuxième, à des aspects techniques concernant les variables et les dimensions prises en compte ; le troisième, à des critères sociotechniques relevant de l'usage ; le quatrième, à des critères strictement sociaux relevant de l'aide à la décision et de l'usage politique.

L'articulation entre l'identification des objectifs et le choix des critères à partir desquels l'évaluation est menée nécessite une démarche d'emboîtement permettant de passer des logiques aux outils. De fait, cet emboîtement se retrouve dans la plupart des démarches. Il peut être formalisé de différentes façons. Il existe néanmoins une sorte de structure standard bâtie sur un schéma-plan dans lequel finalités, thèmes, sous-thèmes et critères sont organisés et hiérarchisés en arborescence. Cette forme d'organisation permet d'avoir une approche non fractale<fnref n="11" /> du développement durable, sachant que les objectifs et les propriétés qui doivent être privilégiés ne sont pas forcément les mêmes à chaque niveau d'emboîtement.

<footnote n="9">⁹ Ce développement s'inspire tout particulièrement des interventions de P.-M. Boulanger et A. Boutaud.</footnote>

<footnote n="10">¹⁰ C'est dans ce sens que sont allées les interventions de H. Levrel et F. Jany-Catrice. Cette dernière s'est référée à l'ouvrage qu'elle a coécrit avec J. Gadrey en 2005 (Gadrey, J., Jany-Catrice, F., 2005. *Les Nouveaux Indicateurs de richesse*, Paris, La Découverte).</footnote>

<footnote n="11">¹¹ La notion de fractal (Mandelbrot, B., 1995. *Les Objets fractals : forme, hasard et dimension*, Paris, Flammarion) désigne le caractère homothétique d'un objet qui suppose une structure en cascade, où l'on observe la stricte répétition de configurations similaires en tout point quelle que soit l'échelle d'observation. Le développement durable s'oppose par essence à cette logique, car il s'appuie, au contraire, sur la logique d'emboîtement « penser global, agir local », c'est-à-dire que seuls les principes généraux sont communs, leur déclinaison selon les échelles et les contextes donnant lieu à des configurations et des recompositions multiples et spécifiques.</footnote>
## Nécessité d'un mode de gouvernance adapté

Une des fonctions de l'évaluation du développement durable est d'organiser le débat et de favoriser l'approvision des résultats auxquels il aboutit, d'où la nécessité d'un mode de gouvernance qui lui soit adapté.

Divers intervenants ont rendu compte de leurs analyses, réalisées sur un grand nombre de démarches d'évaluation du développement durable<fnref n="12" />. D'autres ont évoqué des approches ou des grilles d'évaluation spécifiques. Les animateurs, en introduction d'un des ateliers, ont présenté un essai de typologie des principaux types de démarche. Il ressort de la plupart de ces présentations, outre la diversité des approches, que, si les résultats atteints en termes d'usage et de lisibilité des outils utilisés sont souvent peu significatifs, en revanche la mise en œuvre même de la démarche a le plus souvent produit, dès lors qu'elle était faite de façon collective, des résultats positifs en termes de coordination. L'évaluation constitue, en effet, une opportunité de débat, permet de rendre plus lisible et plus concret le développement durable, facilite le positionnement stratégique des structures institutionnelles et des politiques, et amorce une plus grande proximité des acteurs autour de valeurs et d'objectifs partagés. Elle a donc une fonction de médiation et peut constituer une opportunité pour la définition collective d'une stratégie. Dès lors, l'important est plus la dynamique qu'elle permet de créer, l'itinéraire suivi, que le point d'arrivée. L'évaluation s'avère alors un mode d'appropriation d'objectifs ; elle devient un outil-clé aux stades de la conception et de la mise en œuvre des politiques et pas seulement lors du suivi et de l'évaluation *ex post* des impacts. Cette propriété vaut quel que soit le collectif concerné, qu'il soit propre à une organisation ou à un territoire. Elle est d'autant plus marquée que les démarches se situent à des échelles locales où les enjeux et les objectifs sont déclinés en tenant compte des spécificités du contexte.

## Choisir entre une logique substantielle ou procédurale

L'évaluation du développement durable soulève un dilemme, en donnant à choisir entre une logique substantielle ou procédurale.

Ce choix s'exprime de multiples manières. Ainsi, plusieurs intervenants ont souligné que la quête de soulesplese et de diversité qui préside aux mises en œuvre locales d'un développement durable peut générer des tensions importantes dans la recherche d'un équilibre

entre les particularismes que l'on veut respecter (choix d'une logique procédurale) et les exigences d'universalité auxquelles renvoie le développement durable (choix d'une logique substantielle). Outre cette adaptation aux situations et aux groupes mettant en œuvre l'évaluation, qui explique la diversité dans l'espace, les retours d'expériences ont fait ressortir une diversité en fonction du temps : ils soulignent l'importance des apprentissages progressifs, qui conduisent à une amélioration continue des démarches et des grilles.

C'est, en effet, ce genre de démarche qui préside à la conception des grilles et des processus d'évaluation. Des divers exemples présentés, il ressort qu'ils ont en commun d'être conçus sur la base de familles de critères accompagnés d'exemples quant aux questions à poser pour les appréhender. Ces critères sont avant tout pensés comme des appuis à des évaluations collectives, leur utilité étant surtout d'aider au partage de connaissances. Il ne s'agit donc pas de référentiels figés, mais plutôt de listes de références ou de check-lists, ou encore de pense-bêtes. Dans la plupart des cas, le nombre de critères est important et hétérogène. À noter que ces familles ont des entrées thématiques qui ne recouvrent pas strictement le découpage en dimensions du développement durable. Dans l'esprit d'un pense-bête ou d'une check-list, ce nombre élevé de critères n'est pas directif et est nécessairement adaptable en fonction des situations. Les grilles construites sur ces bases visent pour la plupart à évaluer ponctuellement un projet ou un programme. Elles échappent ainsi à la contrainte de la règle de parcimonie des indicateurs, qui s'impose, par contre, lorsque l'on se situe dans une logique de suivi d'impacts nécessitant une mesure périodique des indicateurs. Dans ce dernier cas, ce souci de parcimonie doit présider à la construction des indicateurs, domaine dans lequel le plus est l'ennemi du bien. Les retours d'expériences présentés témoignent qu'une profusion d'indicateurs est néfaste non seulement à l'évaluation, mais aussi à la lisibilité et à la pérennité des systèmes de suivi.

Mais cette quête de parcimonie pose la question de l'agrégation. Au-delà de la recherche d'une unité commune, agréger introduit la question du choix des pondérations, laquelle renvoie, d'un point de vue politique, à un ordre de priorité des finalités, d'un point de vue scientifique, à une connaissance hypothétique des contributions relatives des facteurs d'impact au sein d'un système complexe. Ainsi, l'atelier sur les méthodes d'agrégation des indicateurs a permis tout à la fois d'expliciter les enjeux de cette démarche et de mettre à disposition des participants des protocoles, voire des logiciels, facilitant et standardisant les opérations d'agrégation.

Toutes ces observations inscrivent clairement les procédures d'évaluation du développement durable dans une logique procédurale.

<footnote n="12">¹² Outre A. Boutaud, dont l'intervention (qui portait sur trente-trois « outils de questionnement et d'analyse du développement durable ») a déjà été évoquée, ce fut le cas d'Y. Lazzeri, qui a analysé dix-neuf expériences nationales et vingt-sept approches territoriales, et de P. Girardin, qui a rendu compte de deux cent soixante-dix démarches d'évaluation propres à l'agriculture.</footnote>
Un pas vers la constitution
d'une communauté épistémique

Un autre enseignement à tirer de cette école a trait à son public et à la façon dont celui-ci l'a reçue. Par leur diversité, tant du point de vue des statuts, des disciplines que des structures d'appartenance (pas moins d'une douzaine), les profils des participants attestent d'une réelle ouverture de l'école sur la communauté scientifique mais aussi sur le monde institutionnel<fnref n="13" />. L'apport des intervenants institutionnels en faisant partie montre que leur pratique a valeur d'expérience et que cela leur donne une place centrale aux côtés des chercheurs dans la construction de ce domaine en pleine phase d'expérimentation sociale.

Autre point à souligner tout particulièrement : alors que l'évaluation environnementale est jusqu'à maintenant un domaine de prédilection des sciences de la nature, une bonne moitié des participants venait des sciences sociales<fnref n="14" />. En outre, alors que l'apport de ces dernières en la matière se limite souvent à celui des économistes, c'est un large éventail de celles-ci qui était ici représenté (économie, géographie, urbanisme, sociologie, science politique). C'est là un atout en termes d'ouverture, mais c'est aussi un challenge en termes de partage des connaissances. D'où l'intérêt de la formule de l'école chercheurs, qui répond bien (et qui, en l'occurrence, de l'avis des participants, a bien répondu) aux attentes en matière d'échanges et de mise en réseau.

Il est par ailleurs frappant qu'en dépit de la diversité de leurs profils, les participants aient exprimé, au-delà d'un besoin d'échanges – qui traversait tous leurs souhaits –, des attentes assez homogènes. C'est là un indice de l'émergence d'une problématique partagée, et donc d'une communauté épistémique naissante autour du développement durable. Les questions soulevées sont de deux ordres. Elles sont en premier lieu d'ordre général sur le développement durable : que met-il en jeu, à quelles valeurs le rapporter (des valeurs de progrès, d'éthique, de conservation) ; de quelle façon l'aborder, compte tenu de son caractère intégré et transversal et de l'articulation entre les multiples thématiques qu'il recouvre (quelle intégration, quels compromis) ; quelle vision pluridisciplinaire, voire interdisciplinaire, faut-il en avoir (comment la concevoir, la pratiquer et la renforcer) ; à quelle échelle le saisir (quelle est la plus pertinente), quelles postures

adopter pour coconstruire l'évaluation (comment conce-
voir celles, nouvelles, que le développement durable rend
indispensables). Les questions sont en second lieu d'ordre
plus technique et concernent les outils : quels indicateurs
choisir et comment ; à quelles échelles les appréhender ;
entre tableaux de bord détaillés et indices synthétiques,
quelles options privilégier. Près des deux tiers des par-
ticipants ont fait part de leur volonté de réfléchir à de
nouveaux indicateurs intégrant l'ensemble des dimen-
sions du développement durable.

On notera au passage que ces deux axes recouvrent
la partition trop fréquente évoquée par Landais<fnref n="15" /> – et
qu’il convient de méditer – entre un débat de société
centré sur les fins et un débat de techniciens centré sur les
moyens. Une des caractéristiques majeures de l’école – et
un de ses grands mérites – est d’avoir instauré un débat
qui permettait de dépasser cette coupure, contradictoire
avec le sens même de ce que doit être une évaluation du
développement durable.

Quels apprentissages pour une recherche
visant à l'évaluation du développement
durable ?

Des observations faites a posteriori par les participants sur le contenu de l'école, on peut tirer des enseignements sur ce qui fait la qualité de ce type d'initiative et sur les types de prolongements possibles<fnref n="16" />. Ainsi, les apports en termes de cadrage méthodologique, la transversalité disciplinaire sur laquelle le programme était bâti, l'approfondissement des démarches de coconstruction ont été tout particulièrement appréciés. Les participants disent sortir de l'école sensibles aux opportunités d'innovations méthodologiques, que le caractère flou du développement durable offre tout en les rendant nécessaires. Ils ont été sensibles aussi à sa logique non fractale et à ce qui en résulte pour la construction des indicateurs. Ils ont enfin perçu l'importance de l'entrée territoriale dans le développement durable.

Interrogés sur les prolongements souhaités, ils men-
tionnent diverses demandes d'approfondissement de
connaissances, somme toute classiques (animation de
réseau, séminaires réguliers, mise en commun de travaux
et échanges d'expérience, etc.). Sans nier l'intérêt de ces
propositions, on peut se demander toutefois si elles sont à
la hauteur de l'enjeu lorsque l'on parle de développement
durable. Répondre aux exigences de la mise en œuvre

<footnote n="13">¹³ L'école a été suivie par vingt-neuf chercheurs et huit responsables institutionnels. L'encadrement était composé de sept animateurs, de seize intervenants et d'un « grand témoin ». Elle a donc rassemblé soixante et une personnes, ce qui est un maximum pour respecter l'objectif d'interactivité de ce genre de rencontre.</footnote>

<footnote n="14">¹⁴ Dix-sept représentants des sciences sociales et quatorze des sciences de la nature. Fait notable, six des participants se réclament de la double appartenance sciences de la nature et sciences sociales.</footnote>

<footnote n="15">¹⁵ Landais, É., 1998. Agriculture durable : les fondements d'un nouveau contrat social, *Le Courrier de l'environnement de l'INRA*, 33, 5-22.</footnote>

<footnote n="16">¹⁶ Plus de la moitié des participants se sont prêtés à l'exercice d'évaluation de l'école. Le dépouillement de leurs réponses témoigne dans l'ensemble d'un taux très élevé de satisfaction, tant sur le plan logistique et de l'accueil que sur celui du contenu.</footnote>
d'un tel développement suppose en effet des changements profonds des logiques et des méthodes de recherche. Il s'agit bien de construire une communauté épistémique et de pratiques qui renvoie à des savoir-faire difficiles à transmettre. Cela passe nécessairement par des actions de formation méthodiques et continues. De ce point de vue, les programmes de recherche offrent un cadre tout indiqué dans la mesure où leurs objectifs supposent la formation adéquate. Le programme ADD illustre bien ce couplage. L'école chercheurs dont il est question ici constituit un moment d'une série d'évènements scientifiques jalonnant son déroulement<fnref n="17" />. Il n'en est pas moins significatif que la plupart des critiques ou des réserves des participants aient porté sur la densité et le rythme de l'école. Il est clair que le choix de privilégier une approche globale et pluridisciplinaire, à la fois des finalités et des outils, est antinomique avec celui d'approfondir les questions spécifiques aux différentes dimensions du développement durable, ce qui peut engendrer quelques frustrations. Les animateurs-organisateurs en avaient bien conscience en préparant le programme de l'école, ce qui les avaient amenés à une réflexion sur les modalités d'apprentissage spécifiques qu'appelle une question telle que celle du développement durable ; c'est cette réflexion qui a orienté leurs choix pédagogiques.

Les travaux de sciences de gestion sur l'apprentissage et l'innovation leur ont fourni les cadres de référence. Ainsi, Argyris et Schön<fnref n="18" />, dans leur ouvrage sur l'apprentissage organisationnel, distinguent les changements relatifs aux pratiques ou à des actions simples (qui appellent un apprentissage « en simple boucle ») et ceux qui portent sur les systèmes de valeurs et les référentiels qui orientent les actions (qui appellent un apprentissage en

« double boucle »). Cette approche a été prolongée récemment avec l'introduction de la notion d'apprentissage « en triple boucle » pour des apprentissages sociétaux au sein de groupes instables. Ce concept se rapproche de celui de social learning, développé par les sciences politiques pour désigner ce que mettent en jeu les modifications de politiques et de gouvernance<fnref n="19" /> et pour analyser comment un forum d'acteurs peut produire de l'apprentissage à un niveau sociétal.

En dépit de leurs réserves sur certains aspects de ce type d'approche, les organisateurs en ont tiré l'idée qu'il était primordial d'inscrire l'école dans une démarche globale partant des finalités qui sont à l'arrière-plan des indicateurs et de l'ensemble des fonctions qu'ils jouent (et pas seulement celle d'être des instruments de mesure). Cela afin d'éviter d'enfermer l'école dans le registre trop spécialisé – mais aussi plus facile, plus convenu, plus « rassurant » – des méthodes et des techniques. L'objectif affiché n'était pas de transformer des participants en spécialistes d'une approche, mais de leur donner des éléments de réflexion pour choisir, adapter et construire un dispositif cohérent et partagé pour évaluer la durabilité. Et cela tout en choisissant en connaissance de cause, parmi les postures possibles, celle qui leur convient. Un tel objectif ne peut assurément pas être atteint en trois jours, surtout si l'on se situe dans la perspective d'un changement de paradigme.

Le développement durable est porteur d'une grande ambition en termes d'apprentissage pour les chercheurs. Constituer une communauté épistémique exige un dispositif d'apprentissage conçu dans la durée et donnant une large place aux échanges et aux retours d'expériences, du fait du caractère souvent tacite et local des savoirs et des modalités de mise en œuvre des démarches (d'où l'importance de l'apport des praticiens). Une expérience comme cette école chercheurs, respectant les contraintes des agendas et des pratiques actuelles de recherche et de formation, est loin du compte. On peut certes penser que le chemin se fera ainsi, en marchant, que le changement sera progressif, à condition que les objectifs visés et les exigences qui en découlent pour la formation soient régulièrement rappelés. On peut aussi se demander si les contraintes auxquelles doit obéir une école chercheurs sont compatibles avec l'objectif de faire de la recherche autrement.

## Un dernier retour sur le cadrage général

Parce qu'elle était conçue de manière à englober les réflexions sur les outils dans celle sur les finalités, l'entrée

<footnote n="17">¹⁷ D'autres réunions ont en effet été régulièrement programmées ; une première a mis en commun les thématiques des projets retenus (lancement du programme à Paris en avril 2006), une autre s'est tenue autour des méthodes et des premiers résultats (séminaire à mi-parcours de 2007) ; au cours de ces deux réunions, de multiples ateliers collectifs ont permis des échanges d'expériences et de points de vue. Un séminaire final de restitution est prévu. Outre ces manifestations institutionnelles, un séminaire de recherche a été organisé en juin 2007 à Montpellier de façon spontanée par un collectif de chercheurs du programme. Il a permis de réunir une centaine de chercheurs autour de la question spécifique de la prise en compte des acteurs et de leurs représentations dans le développement durable. Enfin, cette école chercheurs faisait suite à une autre école (7-11 mars 2006, Chaussy), intitulée « Comment répondre aux enjeux de l'environnement et du développement durable ? Conception et utilisation d'outils d'évaluation », plus centrée sur les questions techniques de l'évaluation. L'ensemble des supports et des programmes détaillés de ces manifestations est disponible sur le site du programme ADD : http://www.inra.fr/add.</footnote>

<footnote n="18">¹⁸ Argyris, C., Schön, D., 1996. *Organizational Learning, II : Theory, Method and Practice*, Reading (Mass.), Addison Wesley. Trad. fr. : *Apprentissage organisationnel : Théorie, méthode et pratique*, Bruxelles, Paris, De Boeck Université, 2002.</footnote>

<footnote n="19">¹⁹ Turcotte, M.F., Antonova, S., Clegg, S.R., 2007. *Managing Learning Societally, Cahier de la Chaire de responsabilité sociale et de développement durable*, coll. Recherche, Vol. 14, Montréal, Université du Québec.</footnote>
par l'évaluation s'est avérée un bon choix pour aborder la question du développement durable de façon globale. Cette démarche a conduit à un changement de regard sur le processus d'évaluation qui est à la base de toute action se recommandant du développement durable. Elle a montré qu'il compte autant par son déroulement même que par ce qu'il produit, d'où le souci des deux intervenants chargés de conclure de revenir sur son cadrage général. Ainsi, l'école se terminait, comme le programme sur lequel elle était bâtie, par un bouclage sur ses fondements.

Pour A. de Montmollin, responsable du service Développement durable de l'Office fédéral suisse de la statistique, très investi dans l'Observatoire du développement durable suisse et invité comme « grand témoin », le développement durable est un ensemble de dilemmes qu'il faut apprendre à gérer. De ce point de vue, il est indispensable de se donner un cadre de référence initial, car c'est un élément essentiel de la démarche ; il en exprime les fondements et c'est lui qui indique ce que l'on va mesurer. À ce propos d'ailleurs, peut-être vaut-il mieux se concentrer sur ce qui se passe entre les dimensions du développement durable qu'approfondir chacune d'elles et avoir bien du mal par la suite à faire des synthèses. D'où l'attention particulière à accorder aux articulations entre indicateurs et au système qu'ils forment. Tout se joue alors autour des indicateurs : ce sont des balises qui marquent l'espace de réflexion, qui signalent les écueils et qui mettent à nu les lacunes de nos constructions. Dans la façon de les élaborer, il importe de bien avoir présentes à l'esprit leurs multiples fonctions. Ce sont, bien sûr, tout d'abord des outils permettant d'extraire de données brutes une information dotée d'une signification, mais ce sont aussi des passeurs de frontières entre les diverses disciplines scientifiques, et encore entre science, politique et société. Ce sont enfin des outils de communication. Les indicateurs qualitatifs sont particulièrement riches et attendrent l'attention sur la subjectivité des démarches. Outre le fait que la coconstruction est un enrichissement partagé entre les acteurs concernés, elle induit aussi leur forte implication, ce qui est un bon moyen d'avancer rapidement au milieu des dilemmes auxquels il faut faire face.

Même retour au cadrage général dans les propos de conclusion de B. Hubert<fnref n="20" />, représentant du programme ADD et initiateur de l'école. Celui-ci souligne trois dimensions majeures du développement durable : une dimension stratégique et politique (qui renvoie aux enjeux politiques des transformations sociales) ; une dimension normative (un choix de système de valeurs) ; une dimension analytique (celle de la mesure et de l'évaluation), sur laquelle les chercheurs sont en particulier attendus. Aborder la question du développement durable, c'est se situer au carrefour de ces trois dimensions qui sont intrinsèquement liées. C'est aussi, à travers elles, s'inscrire

dans l'histoire des idées – qui sont aussi des projets de société – qu'elles portent. La notion de développement est relativement récente (elle date de l'époque où Truman était président des États-Unis ; elle est un produit de la Seconde Guerre mondiale). Elle a succédé à la notion strictement économique de croissance, en y ajoutant une vision des conséquences sociales inégalitaires de celle-ci. Depuis les années 1970, les effets environnementaux se sont ajoutés à ces dimensions économiques et sociales, d'abord à travers la notion d'écodéveloppement, puis avec l'ajout de la référence aux besoins des générations futures du rapport Brundtland. Il convient donc de souligner que ces adjonctions successives ne sont pas de simples additions : chacune d'elles intervient dans une conception d'ensemble du développement, autrement dit, s'intègre dans le concept. Construire des indicateurs pour un développement « durable » ne consiste donc pas simplement à en ajouter autour d'un « pilier » environnemental aux côtés de ceux des « piliers » économique et social. Il s'agit, bien au contraire, de s'interroger sur la manière dont la prise en considération des questions environnementales conduit à revoir la conception des paramètres économiques et sociaux du développement et donc les critères et les indicateurs identifiés pour informer ces dimensions. La notion de développement durable n'a de sens que si les interactions entre ses trois dimensions sont prises en compte. Il est clair, par exemple, que la question du changement climatique oblige à revoir les raisonnements et les modèles économiques dominants, avec toutes les conséquences tant sociales qu'éthiques que cela ne peut manquer d'entraîner. Se confirme ainsi l'importance à accorder aux interactions entre indicateurs. Cette intégration des facettes du développement, en vue de l'action qui est au cœur de la conception d'un développement durable, constitue un nouveau challenge pour les chercheurs. Ils sont certes capables de produire des diagnostics, mais ils sont désormais attendus sur plus que cela, à savoir sur la production de connaissances permettant d'aboutir à certaines situations et d'en éviter d'autres. Cela suppose de clarifier la place de l'action dans l'analyse (et donc le concept d'action lui-même) et, par voie de conséquence, la place de la recherche dans l'action. Ce sont là les enjeux qui sous-tendent la notion de développement durable. Il faut donc que la recherche se donne pleinement les moyens de relever le défi.

Signalons enfin, pour les lecteurs intéressés, qu'un DVD reprenant les vidéos des principales conférences de cette école chercheurs est disponible sur demande auprès du service de formation de l'Inra (FormaSciences) ou d'Isabelle Avelange, coordinatrice du programme ADD.

## Remerciements

Les auteurs tiennent à remercier vivement Marcel Jollivet pour son apport dans la mise en forme du texte et son recul éclairé pour en souligner les faits marquants.

<footnote n="20">²⁰ Bernard Hubert, directeur de recherche à l'Inra, est membre du Comité stratégique du programme ADD.</footnote>