<figure><img src="image_1.png" /></figure>

# Guide pour mieux connaître les impacts des projets de REDD+ sur la subsistance des populations

Pamela Jagger

Erin O. Sills

Kathleen Lawlor

William D. Sunderlin
<figure><img src="image_2.png" /></figure>
# Guide pour mieux connaître les impacts des projets de REDD+ sur la subsistance des populations

**Pamela Jagger**

Université de Caroline du Nord à Chapel Hill
CIFOR

**Erin O. Sills**

Université de l'État de Caroline du Nord
CIFOR

**Kathleen Lawlor**

Université de Caroline du Nord à Chapel Hill

**William D. Sunderlin**

CIFOR
Document Occasionnel 73

©2011 Center for International Forestry Research

Tous droits réservés

ISBN 978-602-8693-70-7

Jagger P., Sills, E.O., Lawlor, K. et Sunderlin, W.D. 2011 Guide pour mieux connaître les impacts des projets de REDD+ sur la subsistance des populations. Document occasionnel 73, CIFOR, Bogor, Indonésie.

Traduction de : Jagger P., Sills, E.O., Lawlor, K. and Sunderlin, W.D. 2010 A guide to learning about livelihood impacts of REDD+ projects. Occasional paper 56. CIFOR, Bogor, Indonesia.

Photographie de couverture : Deux habitants des forêts rentrent chez eux après le ramassage du bois de feu dans le district de Ketapang, à Kalimantan Ouest, Indonésie (© Andini Desita Ekaputri/CIFOR)

CIFOR
Jl. CIFOR, Situ Gede
Bogor Barat 16115
Indonesia

T +62 (251) 8622-622

F +62 (251) 8622-100

E cifor@cgiar.org

www.cifor.org

Les opinions exprimées dans cette publication sont celles des auteurs. À ce titre, elles ne reflètent pas nécessairement le point de vue du CIFOR, ni celui des institutions auxquelles appartiennent les auteurs, ni celui des commanditaires de cette publication.
# Table des matières

<table><tr><td>Liste des figures, tableaux et encadrés</td><td>iv</td></tr><tr><td>Liste des abréviations</td><td>v</td></tr><tr><td>Remerciements</td><td>vii</td></tr><tr><td>Résumé</td><td>ix</td></tr><tr><td>Préface</td><td>xiv</td></tr><tr><td>1 Tirer les enseignements de la REDD+ : un exercice nécessaire</td><td>1</td></tr><tr><td>1.1 Pourquoi est-il nécessaire de tirer les enseignements des projets de REDD+ ?</td><td>1</td></tr><tr><td>1.2 Pourquoi faut-il évaluer l'impact des projets sur le bien-être économique et social ?</td><td>5</td></tr><tr><td>1.3 Quels projets faut-il évaluer ?</td><td>7</td></tr><tr><td>1.4 Tirer les enseignements du passé</td><td>9</td></tr><tr><td>1.5 Comment s'y prendre</td><td>10</td></tr><tr><td>2 Utiliser le raisonnement contrefactuel pour mieux connaître les projets de REDD+</td><td>11</td></tr><tr><td>2.1 Choix de la méthodologie de recherche : hypothèses fondamentales</td><td>13</td></tr><tr><td>2.2 Choix d'une méthodologie de recherche : questions fondamentales</td><td>15</td></tr><tr><td>2.3 Choix d'une méthodologie de recherche : options fondamentales</td><td>16</td></tr><tr><td>2.4 Mise en œuvre de la méthodologie de recherche</td><td>23</td></tr><tr><td>3 Comprendre les phénomènes de causalité reliant les interventions de REDD+ aux résultats</td><td>27</td></tr><tr><td>3.1 Comprendre « l'objet » et « les raisons » de l'évaluation d'impact</td><td>27</td></tr><tr><td>3.2 Situer l'élaboration du modèle de causalité dans la conception de l'évaluation d'impact</td><td>29</td></tr><tr><td>3.3 Représenter et mettre à l'épreuve les modèles de causalité</td><td>30</td></tr><tr><td>4 Aspects pratiques à prendre en compte pour mieux comprendre les impacts de la REDD+ sur le bien-être économique et social</td><td>39</td></tr><tr><td>4.1 Budgets et capacités d'évaluation</td><td>39</td></tr><tr><td>4.2 Aspects éthiques</td><td>40</td></tr><tr><td>5 Faire avancer la réalisation de la REDD+ : principes pour mieux connaître les impacts sociaux</td><td>43</td></tr><tr><td>Bibliographie</td><td>46</td></tr><tr><td>Glossaire</td><td>57</td></tr><tr><td>Annexes</td><td></td></tr><tr><td>A Fiches techniques</td><td>61</td></tr><tr><td>B Bibliographie analytique</td><td>97</td></tr><tr><td>C À propos des recommandations techniques et des instruments d'enquête</td><td>111</td></tr></table>
# Liste des figures, tableaux et encadrés

## Figures

<table><tr><td>1</td><td>Répartition mondiale des projets de carbone forestier</td><td>2</td></tr><tr><td>2</td><td>Arbre décisionnel pour le choix d'une méthodologie de recherche</td><td>17</td></tr><tr><td>3</td><td>Attribution erronée d'une baisse du bien-être à un projet REDD+ suite à une comparaison avant-après</td><td>20</td></tr><tr><td>4</td><td>Attribution erronée d'une baisse du bien-être économique à un projet de REDD+ suite à une comparaison témoin-intervention sans appariement</td><td>21</td></tr><tr><td>5</td><td>Niveaux de participation des populations à la recherche</td><td>42</td></tr></table>

## Tableaux

<table><tr><td>1</td><td>Possibilités de méthodologies de recherche ayant pour objectif l'évaluation d'impact ex post fondée sur l'évidence empirique</td><td>15</td></tr><tr><td>2</td><td>Éléments pour la représentation de la chaîne causale</td><td>31</td></tr></table>

## Encadrés

<table><tr><td>1</td><td>Répartition mondiale des projets de REDD+</td><td>2</td></tr><tr><td>2</td><td>Pourquoi il est possible de tirer les enseignements des projets de REDD+</td><td>3</td></tr><tr><td>3</td><td>Normes et systèmes de certification pour les projets de REDD+</td><td>4</td></tr><tr><td>4</td><td>Étude comparative mondiale du CIFOR sur la REDD+</td><td>6</td></tr><tr><td>5</td><td>Le problème du raisonnement contrefactuel contrefait</td><td>20</td></tr><tr><td>6</td><td>Comparaison des modèles de causalité reliant les interventions et leurs résultats</td><td>28</td></tr><tr><td>7</td><td>Étude de la mise en œuvre de projet dans le cadre de la GCS-REDD+</td><td>33</td></tr><tr><td>8</td><td>Hypothèses fondamentales posées par l'étude GCS-REDD+</td><td>35</td></tr></table>
## Liste des abréviations

3E+ Efficacité, efficience, équité et co-bénéfices

ACR Registre américain du carbone
American Carbon Registry

ASP Appariement par score de propension

ATE Effet moyen du traitement
Average treatment effect

ATT Effet moyen du traitement sur les traités
Average treatment effect on treated

BACI Comparaison avant-après/contrôle-intervention
Before-after/control-intervention

BAG Guide de l'évaluation de base
Basic Assessment Guide

BNS Enquête sur les besoins fondamentaux
Basic Necessities Survey

BR Boisement/reboisement

CCBA Alliance Climat, Communauté et Biodiversité
Climate, Community and Biodiversity Alliance

CCNUCC Convention-cadre des Nations Unies sur les changements climatiques

CIFOR Centre de recherche forestière internationale

CMED Cadre des moyens d'existence durables

COP 13 13ème Conférence des Parties

CPS Changement le plus significatif

DCP Document de conception de projet

EIP Étude d'impact participative

EP Évaluation des porteurs de projet

EPMR Évaluation participative en milieu rural

FIDA Fonds international de développement agricole

FPIC Consentement libre, préalable et éclairé
Free, prior and informed consent

GCS Global Conservation Standard

GCS-REDD+ Étude comparative mondiale du CIFOR sur le programme REDD+
Global Comparative Study on REDD+

GIEC Groupe d'experts intergouvernemental sur l'évolution du climat
<table><tr><td>HLSA</td><td>Analyses de la sécurité des moyens d'existence des ménages<br>Household Livelihood Security Assessment</td></tr><tr><td>IDH</td><td>Indice de développement humain</td></tr><tr><td>IFRI</td><td>Programme international de recherche sur les institutions et les ressources forestières<br>International Forestry Resources and Institutions</td></tr><tr><td>IMC</td><td>Indice de masse corporelle</td></tr><tr><td>LOAM</td><td>Méthode d'évaluation des situations paysagères<br>Landscape Outcomes Assessment Methodology</td></tr><tr><td>LSMS</td><td>Étude de mesure du niveau de vie<br>Living Standards Measurement Study</td></tr><tr><td>M&E</td><td>Surveillance et évaluation<br>Monitoring and evaluation</td></tr><tr><td>MDP</td><td>Mécanisme pour un développement propre</td></tr><tr><td>MNV</td><td>Mesure, notification et vérification<br>Monitoring, reporting and verification</td></tr><tr><td>NER</td><td>Niveau d'émission de référence</td></tr><tr><td>NONIE</td><td>Initiative du Réseau des réseaux pour l'évaluation d'impact<br>Network of Networks Impact Evaluation Initiative</td></tr><tr><td>OCDE</td><td>Organisation de coopération et de développement économiques</td></tr><tr><td>ONU</td><td>Organisation des Nations Unies</td></tr><tr><td>PEN</td><td>Réseau pauvreté et environnement<br>Poverty Environment Network</td></tr><tr><td>PNUD</td><td>Programme des Nations Unies pour le développement</td></tr><tr><td>PSE</td><td>Paiements pour services environnementaux, paiements pour services écosystémiques</td></tr><tr><td>REDD</td><td>Réduction des émissions liées à la déforestation et à la dégradation des forêts</td></tr><tr><td>REDD+</td><td>Réduction des émissions liées à la déforestation et à la dégradation des forêts et<br>renforcement des stocks de carbone forestier</td></tr><tr><td>SAPA</td><td>Évaluation sociale des aires protégées<br>Social Assessment of Protected Areas</td></tr><tr><td>SPI</td><td>Étude de la mise en œuvre de projet<br>Survey of project implementation</td></tr><tr><td>SUTVA</td><td>Hypothèse d'absence d'effets de diffusion du traitement<br>Stable unit treatment value assumption</td></tr><tr><td>VCS</td><td>Norme de compensation volontaire de carbone<br>Voluntary Carbon Standard</td></tr><tr><td>VCU</td><td>Unités de crédit carbone volontaires<br>Voluntary Carbon Units</td></tr><tr><td>WCS</td><td>Wildlife Conservation Society</td></tr></table>
# Remerciements

Nous sommes redevables à un grand nombre d'organisations et de personnes d'avoir apporté leur contribution au contenu et à la structure de ce guide, ainsi qu'à sa réalisation. Ces travaux ont été soutenus par l'Agence norvégienne de coopération pour le développement, l'Agence australienne d'aide au développement international, le ministère britannique du Développement international, la Commission européenne, le Département finlandais pour la coopération au développement international, la Fondation David et Lucile Packard, le Programme sur les forêts (PROFOR), l'Agence américaine pour le développement international, ainsi que le Service des forêts du Département de l'agriculture aux États-Unis. Nous remercions vivement RTI International de nous avoir accordé une subvention ayant permis malgré sa taille modeste, de soutenir un groupe de travail et un séminaire interuniversitaire consacré à la REDD+. L'Université de Caroline du Nord à Chapel Hill (UNC-CH) et l'Université de l'État de Caroline du Nord (NCSU) ont apporté un soutien institutionnel. Nous tenons notamment à remercier Megha Karmalkar de l'UNC-CH et Liwei Lin de la NCSU pour l'appui qu'ils ont apporté au projet en leur qualité d'assistants de recherche, le premier dans le cadre du premier cycle d'études universitaires et le second dans le cadre des cycles supérieurs. L'attachée de recherche postdoctorale à la NCSU, Katrina Mullen, a apporté une aide précieuse en ce qui concerne la qualité des données de rétrospection. Nos familles, et en particulier Adam Lowe et Subhrendu Pattanayak, nous ont fourni un soutien logistique et moral tout au long de la rédaction de ce guide.

Nous avons eu la chance de profiter des propositions avancées à l'occasion de différents

forums, utiles tant pour le fond que le plan de ce guide. Nos réflexions initiales se sont structurées pendant la rédaction du chapitre 22 de l'ouvrage *Réaliser la REDD+* (Jagger et al. 2009) coécrit avec Stibniati Atmadja et Subhrendu Pattanayak. Alors que nos idées prenaient forme, nous avons bénéficié des commentaires très utiles d'Arild Angelsen. Un atelier intitulé « l'Étude comparative mondiale du CIFOR sur la REDD+: bilan des méthodes et des meilleures pratiques pour l'évaluation des projets de REDD+ » s'est tenu en Caroline du Nord en janvier 2010. Les discussions que nous avons eues avec les participants à cet atelier ont été très productives. Citons notamment Soeryo Adiwibowo, Andre Rodrigues Aquino, Stibniati Atmadja, Simone Bauch, Rizaldi Boer, Miguel Calmon, Susan Caplow, Mariano Cenamo, Paul Ferraro, Alain Karsenty, Anirudh Krishna, Liwei Lin, Erin Myers Madeira, Will Makin, Subhrendu Pattanayak, Mustofa Agung Sardjono, Frances Seymour, Satyawan Sunito, Peter Vaughan, Jeff Vincent et Sven Wunder. Nous avons également profité des commentaires extrêmement précieux suite à la première présentation de nos idées lors d'un atelier organisé par l'Alliance Climat, Communauté et Biodiversité en mai 2010 et intitulé « Atelier sur l'évaluation des impacts sociaux et environnementaux des projets liés au carbone dans le sol ».

Ce guide s'est construit grâce aux nombreux apports collectés lors de conversations et d'échanges de courriels au sujet de la REDD+ et des évaluations d'impact, que nous avons eus avec de nombreux collègues, dont Arild Angelsen, Amy Duchelle, Joanna Durbin, Paul Ferraro, Cecilia Luttrell, Erin Myers Madeira, Steve Panfil, Subhrendu Pattanayak, Daju Resosudarmo, et Michael Richards. Les réactions du groupe de travail Triangle sur la REDD+, de Brian Murray et des étudiants ayant
participé au séminaire interuniversitaire ont été très
utiles pour la formulation de notre pensée. Nous
avons par ailleurs bénéficié de la révision perspicace
d'Andrew Wardell, de deux pairs universitaires
anonymes, ainsi que de la lecture critique de
deux praticiens anonymes. Leurs contributions
ont énormément renforcé la qualité de ce guide.
Nous tenons à remercier les nombreuses personnes
qui ont apporté leur concours appréciable aux
instruments de recherche de l'Étude comparative
mondiale du CIFOR sur la REDD+ (GCS-REDD+),
inclus dans ce document.

Enfin, la réalisation de ce travail a été soumise à de
fortes contraintes de temps. Plusieurs collaborateurs
du Groupe des services d'information du CIFOR
ont travaillé sans relâche à l'élaboration de ce guide
dont le lancement était prévu à la Conférence
2010 de la CCNUCC sur les changements
climatiques de Cancún au Mexique. Nous sommes
particulièrement reconnaissants à Beth Varley,
Hélène Piantone, Imogen Badgery-Parker, Vidya
Fitrian, Edith Johnson, Glen Mulcahy, Andri
Novianto, Handi Priono et Gideon Suharyanto.
# Résumé

Dans ce guide, nous cherchons à comprendre les impacts des projets de REDD+ de première génération sur les conditions de vie des populations. Ces projets ont été programmés et financés par tout un ensemble d'acteurs, dans le but de mettre en œuvre des interventions très diverses visant à réduire la déforestation et la dégradation des forêts, agir en faveur de la conservation et de la gestion durable des forêts et renforcer les stocks de carbone forestier. C'est vers ces projets que se tourne la communauté internationale lorsqu'il s'agit de mieux comprendre et de s'orienter dans la conception de la REDD+. Il est évident que les moyens de mise en œuvre de la REDD+ au plan infranational sont limités, ainsi que les résultats qu'elle peut obtenir. Par conséquent, il ne faut pas s'attendre à ce que notre expérience des projets déjà mis en œuvre apporte les réponses à toutes nos questions relatives à la REDD+. Cependant, par l'utilisation de méthodologies de recherche rigoureuses et la représentation des chaînes de causalité des projets, nous pouvons recueillir des informations très utiles sur l'influence des interventions de REDD+ sur le bien-être économique et social dans les régions forestières. Ce guide fournit une synthèse de ces méthodologies.

Sa partie centrale est axée sur les composantes d'une méthodologie de recherche et d'un travail rigoureux de représentation causale. Nous défendons la thèse que le mieux pour tirer les enseignements de projets est de recourir à une approche méthodologique mixte d'évaluation d'impact des plus rigoureuses, avec pour objectif de quantifier et d'interpréter les impacts à la lumière d'une théorie du changement. Ce guide comprend une série de fiches techniques (Annexe A), ainsi qu'une bibliographie analytique comprenant des

boîtes à outils, des méthodes et des résultats de recherche pertinents pour l'étude des impacts des projets de REDD+ sur le bien-être économique et social (Annexe B).

Le Centre de recherche forestière internationale (CIFOR) met en place une base de données scientifiques sur le programme REDD+ via l'Étude comparative mondiale du CIFOR sur la REDD+ (GCS-REDD+). Cette étude s'attache à étudier la REDD+, tant à l'échelle nationale qu'à celle du projet, en fonction de son efficacité à réduire les émissions de carbone et du respect des critères d'efficience, d'équité et des co-bénéfices (les 3E+). Ce guide est accompagné d'un CD contenant également les instruments de recherche GCS-REDD+ assortis de recommandations techniques qui sont utilisées pour examiner les conséquences des projets de REDD+ sur le plan du bien-être économique et social. Axé sur les projets de REDD+, ce guide jette néanmoins des bases théoriques et propose des méthodes empiriques qui seront valables dans toute une gamme d'interventions dans les domaines de la conservation et du développement.

Pour savoir si l'évolution observée du bien-être économique et social peut être attribuée à des interventions dans le cadre de projets, diverses approches méthodologiques de recherche peuvent être utilisées. Le choix de la méthodologie dépendra du calendrier du projet, des ressources humaines et financières et de l'influence de l'équipe d'évaluation (cf. Tableau 1). Ce guide décrit ces diverses approches méthodologiques en s'appuyant sur la littérature récente et de plus en plus abondante consacrée à l'évaluation rigoureuse de l'impact des projets de conservation et de développement durable. Nous fournissons un glossaire et une fiche technique (Fiche technique 1) expliquant
<table><caption>Tableau 1. Possibilités de méthodologies de recherche ayant pour objectif l'évaluation d'impact ex post fondée sur l'évidence empirique</caption><thead><tr><td>Commencement avant le lancement du projet ?</td><td>Intérêt suscité/ budget pour la collecte de données de contrôle ?</td><td>Capacité d'influer sur la conception du projet ?</td><td>Méthodologie de recherche</td><td>Élaboration de scénarios contrefactuels en...</td><td>Nécessité d'utiliser des techniques d'appariement ?</td></tr></thead><tbody><tr><td>Oui</td><td>Oui</td><td>Oui</td><td>Randomisation (Fiche technique 3)</td><td>Allocation aléatoire des sites de projet et de contrôle</td><td>Peut-être</td></tr><tr><td>Oui</td><td>Oui</td><td>Non</td><td>Avant-après/ contrôle- intervention (BACI) (Fiche technique 4)</td><td>Données d'observation aux sites de contrôle avant et après l'intervention</td><td>Oui</td></tr><tr><td>Oui</td><td>Non</td><td>Non</td><td>Avant-après (BA) + projection de la situation contrefactuelle (Fiche technique 5)</td><td>Modèles, souvent fondés sur les tendances historiques</td><td>Peut-être</td></tr><tr><td>Non</td><td>Oui</td><td>Non</td><td>Appariement des unités de contrôle- intervention (CI) (Fiches techniques 5 et 7)</td><td>Données d'observation (et aussi souvent recueil de souvenirs) aux sites de contrôle après l'intervention</td><td>Oui</td></tr><tr><td>Non</td><td>Non</td><td>Non</td><td>Autoréférentielle ou rétrospective (Fiche technique 6)</td><td>Estimation des « changements dus au projet » à partir d'opinions et/ou de souvenirs</td><td>Non</td></tr></tbody></table>

la terminologie utilisée dans le domaine de l'évaluation d'impact, dans le but d'accroître l'accessibilité de cette discipline à ceux qui travaillent dans le champ de la REDD+. Parmi les concepts essentiels, on peut citer la notion de « situation contrefactuelle », qui s'apparente à l'idée du niveau de référence *business-as-usual* dans le domaine de la REDD+. Ce concept est central dans les deux domaines : que ce soit pour analyser l'impact causal des projets ou leur additionnalité, il faut comprendre ce qui se serait passé sans projet.

La situation contrefactuelle risque d'être mal définie par une simple comparaison avec les conditions antérieures au projet (parce que d'autres facteurs auraient conduit à des changements même si

le projet n'avait pas eu lieu) ou avec des zones ou des usagers de la forêt situés en dehors de la zone du projet (parce qu'ils n'ont probablement pas été inclus dans le projet pour des raisons liées à des caractéristiques fondamentales qui les différencient des autres). Ces comparaisons ont d'ailleurs été dénommées « situations contrefactuelles contrefaites ». Afin d'éviter de faire des analyses contrefactuelles contrefaites, la solution est d'incorporer une méthodologie « expérimentale » dans les projets, en échelonnant les interventions dans le temps et dans l'espace, de manière à ce que la répartition des interventions soit indépendante d'autres facteurs, généralement par la randomisation sous une forme ou une autre. Lorsque c'est possible, on élimine ainsi fort bien les
explications contradictoires susceptibles de justifier les impacts observés pour ne retenir que ceux qui peuvent être attribués au projet. On peut également recourir aux méthodes « quasi-expérimentales » (dites BACI, BA et CI dans le tableau ci-après), qui reposent sur un plan d'échantillonnage raisonné.

L' « appariement » est un outil important dans les méthodes quasi-expérimentales. Il s'agit de sélectionner pour les comparer des sites ou des usagers de la forêt qui seront semblables à ceux du projet pour ce qui est de facteurs fondamentaux affectant tant l'inclusion dans le projet que les critères de jugement considérés. Ces facteurs sont appelés « facteurs de confusion », parce qu'ils peuvent porter à confusion en faussant ou en occultant les impacts. Par exemple, si un porteur de projet choisit de travailler avec des villages relativement vulnérables aux changements climatiques (sécheresse ou inondations par ex.). Cette vulnérabilité plus importante peut se traduire, même après le projet, par un bien-être économique et social plus faible que celui d'un échantillon aléatoire de villages avoisinants. Ainsi, au lieu d'utiliser un échantillon aléatoire, nous aurions intérêt à comparer les villages de l'intervention à un échantillon comparable, dont la vulnérabilité initiale aux changements climatiques (avant le projet) est équivalente. Ces observations de « contrôle » seraient intéressantes pour l'élaboration du scénario contrefactuel.

Dans la pratique, il est difficile de mettre en évidence et de mesurer tous les facteurs de confusion ayant une influence sur les zones retenues dans les projets et les résultats des projets dans ces zones. C'est pourquoi la méthode quasi-expérimentale privilégiée est BACI, qui consiste à recueillir des données avant et après le projet, dans des sites de contrôle et d'intervention comparables. Les variations auxquelles sont soumis les critères de jugement peuvent ensuite être comparées d'un site apparié à l'autre, ce qui revient à éliminer l'influence de conditions initiales différentes (puisque seuls les changements depuis le début du projet sont pris en compte) et de changements externes se produisant en même temps que le projet, tels que de nouvelles mesures nationales ou des anomalies climatiques (celles-ci affectant à la fois les sites d'intervention et de contrôle). L'étude

GCS-REDD+ en cours utilise la méthode BACI. Celle-ci demande des ressources importantes pour les prospections sur le terrain, les données quantitatives devant être recueillies avant le projet et sur les sites de contrôle (et non simplement après le projet sur le site d'intervention, conformément à ce qui se pratique habituellement). Il faut également consacrer des ressources à la collecte de données qualitatives pour répertorier tout changement externe affectant seulement les sites d'intervention ou seulement les sites de contrôle et découlant par exemple de facteurs variables dans le temps non pris en compte dans le plan d'échantillonnage, tout comme il faut également allouer des ressources à la représentation de la chaîne causale (abordée ci-après).

Même si ce guide laisse à penser que les méthodologies de recherche peuvent classer les sites et les usagers de la forêt en catégories clairement définies (contrôle ou intervention ou bien avant ou après), la réalité est bien souvent plus complexe. De nombreux projets de REDD+ s'inscrivent dans le prolongement d'initiatives de conservation précédentes. Il est donc important d'en donner une description et d'en mesurer l'influence sur les conditions antérieures au projet. C'est la raison pour laquelle il est difficile de définir une date de début de projet. Pour résoudre ce problème, on peut partir du principe que de nombreux projets de REDD+ sont en fait des paquets d'interventions et axer l'évaluation sur une composante particulière de ce paquet, mise en place ou élargie grâce à un financement étroitement lié à la réduction des émissions nettes de carbone. L'évaluation des impacts relatifs des différentes composantes de ce paquet peut également être utile (différentes manières de mettre en œuvre les incitations à l'intention des usagers de la forêt par ex.), plutôt que de se concentrer uniquement sur l'impact global du projet entier.

Par définition, les groupes de contrôle ne doivent pas subir l'influence du projet, c'est-à-dire que la participation d'autres sites forestiers à un projet de REDD+ ne devrait avoir aucune incidence sur les critères de jugement de l'intervention mesurés au niveau des sites de contrôle. Cependant les sites de contrôle doivent être identiques aux sites du projet. C'est pourquoi on recherchera en priorité
les sites de contrôle dans l'aire la plus proche du projet qui ne présente pas d'interactions avec les usagers de la forêt du site du projet. Entre ces deux endroits se trouveront probablement des usagers de la forêt qui subiront les répercussions indirectes des interventions réalisées dans le cadre du projet. Si l'on dispose de suffisamment de ressources pour l'évaluation, ces usagers intermédiaires pourraient être constitués en un troisième groupe d'échantillonnage, qui pourrait servir à analyser les retombées ou les fuites du projet. Il faudrait au minimum que les usagers de la forêt dans le site du projet soient interrogés sur les activités susceptibles d'avoir des répercussions sur les usagers de la forêt dans d'autres zones, telles que les achats de terres ou les migrations saisonnières de main-d'œuvre.

Dans ce guide, nous tentons de démontrer de manière convaincante la nécessité de collecter des informations sur le processus de mise en œuvre des projets en associant des méthodes qualitatives et quantitatives et en élaborant une chaîne causale (démarche consistant à formuler une théorie du changement). La quantification de la nature et de l'ampleur des impacts sur le bien-être économique et social est nécessaire, mais elle ne suffit pas si l'on veut tirer les enseignements du programme de REDD+. Nous devons également comprendre les phénomènes à l'œuvre sous-tendant les résultats observés et évaluer leurs coûts. Formuler une théorie du changement (mais aussi comprendre celle du porteur de projet) peut fournir un éclairage précieux sur les phénomènes de causalité à l'origine des résultats observés. Le chiffrage des coûts administratifs (liés à la mise en œuvre mais aussi aux coûts de transaction) des projets de REDD+ est essentiel si l'on veut dégager des enseignements de l'analyse des impacts de ces projets. C'est pourquoi il est crucial de faire à chaque fois le lien entre l'objet de notre observation (à savoir le résultat observé) et « pourquoi » on l'observe (à savoir les causes du résultat observé).

La représentation des chaînes causales est une approche itérative. Nous en dégageons les cinq étapes constituantes et les illustrons à l'aide d'exemples. Ce sont : (1) le recensement des caractéristiques du site de REDD+ sur le plan démographique, socioéconomique, biophysique et institutionnel ; (2) la description de l'intervention,

en indiquant si sa mise en œuvre s'est déroulée comme prévu ; (3) élaboration d'hypothèses vérifiables en s'appuyant sur la littérature théorique et empirique, et les connaissances des conditions du site ; (4) la détermination des besoins en données quantitatives et qualitatives, nécessaires pour éprouver les hypothèses ; (5) la vérification des hypothèses et le réexamen des suppositions de départ faites au sujet des liens de causalité existant entre la mise en œuvre du projet de REDD+ et les changements quantifiables du bien-être économique et social. La représentation des chaînes de causalité exige de consentir un effort considérable pour comprendre ce qui s'est vraiment passé sur le terrain lors de l'intervention REDD+ et l'influence des activités de REDD+ sur différents indicateurs du bien-être économique des usagers de la forêt, que ce soient des acteurs modestes ou de grands propriétaires terriens. Nous fournissons également des règles pour expliquer l'hétérogénéité des impacts sur les différents usagers de la forêt du site REDD+. Une vision claire de la chaîne causale permet d'expliquer les répercussions contrastées des projets de REDD+ pour les usagers, dont certains tirent des bénéfices sur le plan de leur bien-être économique et d'autres se trouvent au contraire lésés.

Les acteurs du programme de REDD+ doivent prendre en compte plusieurs aspects pratiques lors de la planification de l'évaluation d'impact. Il s'agira donc de respecter des principes d'éthique lors de la recherche en veillant notamment à impliquer les communautés locales dans la conception et le recueil des données, de fournir des informations aux communautés et aux particuliers sur la finalité de la recherche et ses bénéfices potentiels, et de rendre compte des conclusions aux parties prenantes locales. Ils devront également prévoir des crédits suffisants et développer les capacités des ressources humaines dont elles disposent pour l'évaluation d'impact et l'analyse des phénomènes de causalité. Nous soulignons l'importance d'intégrer, avant le lancement du projet, l'évaluation des impacts sociaux dès la conception et la préparation de sa mise en œuvre. L'approche d'évaluation n'en sera que plus souple, et la probabilité que des moyens financiers y soient effectivement consacrés n'en sera que plus grande. Le coût de l'estimation des impacts sociaux se
justifie par le fait que la viabilité politique et sociale du programme REDD+ et le caractère durable de son rôle dans l'atténuation des changements climatiques dépendent fortement des impacts de ce programme sur les conditions d'existence des populations.

Les projets de REDD+ se déroulent à des niveaux très variés et dans des cadres extrêmement divers. Ils reposent aussi sur toute une gamme d'interventions. Dès lors, il est évident qu'une seule méthode ne pourra être satisfaisante pour analyser les quelque 150 projets de REDD+

proposés ou prévus. Si elle pose des problèmes méthodologiques non négligeables, la variation nous offre la possibilité d'apprendre. Si nous consacrons du temps et des ressources à l'évaluation d'un échantillon représentatif de projets de REDD+ par les procédés les plus avancés, l'application d'une méthodologie de recherche rigoureuse et d'une approche mixte de mise en évidence des chaînes de causalité, et si nous communiquons les conclusions de cette recherche dans les projets et les régions, nous pourrons réellement avoir une influence sur les orientations politiques futures de la REDD+ grâce aux enseignements que nous aurons tirés.

<figure><img src="image_3.png" /><figcaption>Femmes du village de Galinggang dans le Kalimantan-Centre participant à un entretien de groupe dans le cadre de GCS-REDD+
(© Yayan Indriatmoko/CIFOR)</figcaption></figure>
# Préface

Ce guide a été conçu à l'usage des acteurs impliqués dans les projets de REDD+, qui sont désireux de s'informer sur les interventions et les conditions susceptibles d'apporter des résultats positifs afin que leurs projets puissent contribuer à améliorer la conception des systèmes de REDD+ au plan mondial. Il vise tout particulièrement ceux qui souhaitent comprendre les répercussions de la REDD+ sur les conditions d'existence dans les forêts tropicales par l'étude des effets de causalité des projets de REDD+ sur le bien-être économique et social. Les informations contenues dans ce guide devraient intéresser les organismes multilatéraux et bilatéraux et les autres donateurs qui financent des projets de REDD+ sous forme de démonstrations et de pilotes. Ces projets n'atteindront leur but que si une évaluation d'impact rigoureuse est adoptée de manière anticipée, prise en compte dès la conception des projets, et financée intégralement. Le public que nous ciblons comprend également les autorités nationales et régionales qui financent et pilotent les programmes de REDD+, les porteurs de projets, les organisations non gouvernementales et de la société civile qui s'intéressent de près aux impacts de ces projets, ainsi que la communauté scientifique internationale.

Le Centre de recherche forestière internationale (CIFOR), acteur de cette communauté, emploie les méthodes rigoureuses présentées dans ce guide pour tirer les enseignements d'un échantillon de projets de REDD+ répartis sur trois continents : l'Afrique, l'Asie et l'Amérique latine. L'Étude comparative mondiale du CIFOR sur la REDD+ (GCS-REDD+) porte sur 20 sites de projets de REDD+ et son objectif est d'examiner si les projets de REDD+ satisfont aux critères 3E+ (efficacité, efficience, équité et co-bénéfices). Ce projet de

recherche englobe toutes les facettes de la mise en œuvre des projets de REDD+, qu'elles soient de nature socioéconomique ou biophysique.

Nous espérons qu'avec ce guide l'impulsion soit donnée pour que d'autres organisations financent, réalisent ou apportent leur concours à des initiatives de recherche similaires, afin de constituer une base de données scientifiques sur la REDD+ à l'échelle internationale. Nous prévoyons qu'une nouvelle version de ce guide rendra compte des pratiques d'excellence en matière d'évaluation, telles qu'elles auront été développées et éprouvées par l'étude GCS-REDD+ du CIFOR et des travaux menés actuellement par d'autres pour quantifier l'impact causal des projets. C'est avec plaisir que nous recueillerons les réactions à ce guide des parties prenantes engagées dans la mise en œuvre, le financement ou la conduite de telles initiatives

L'objet de ce guide concerne les méthodologies de recherche de l'évaluation d'impact *ex post* rigoureuse et empirique. Les leçons tirées de ces analyses relèvent du domaine public international ; les connaissances générées actuellement serviront directement à améliorer les projets de REDD+ existants et à venir, et à guider par l'expérience qu'elles permettent d'acquérir l'élargissement du programme de REDD+ aux échelons infranational et national. Si l'étude GCS-REDD+ du CIFOR mesure tant les effets socioéconomiques que biophysiques de la mise en œuvre de la REDD+, ce guide se penche uniquement sur les résultats relatifs au bien-être économique et social, et ce pour deux raisons. D'une part, nous sommes convaincus qu'il existe peu de données dans ce domaine pour alimenter le débat public, surtout comparativement aux recherches actuelles beaucoup plus conséquentes ayant trait au carbone. D'autre part,
nos méthodes de mesure des résultats biophysiques sur les sites des projets de GCS-REDD+ sont encore au stade de la mise au point et que de ce fait, il est trop tôt pour leur consacrer une place importante dans ce guide.

Nous laissons à d'autres le soin de traiter de la question importante de l'évaluation des impacts sur la biodiversité et les services écosystémiques au plan local, qui pourraient être abordés en tant qu'éléments à part entière dans les systèmes de mesure, notification et vérification du carbone. Les synergies entre les évaluations de projet, quels que soient les résultats étudiés (effets sur le carbone ou la subsistance des populations), sont évidentes, puisque les résultats dans ces deux domaines dépendent de décisions et de comportements relatifs à l'usage de la forêt. Or, les impacts sur les moyens de subsistance ne sont en général pas étudiés dans le même cadre, ni avec la même rigueur que ceux qui ont une incidence sur l'utilisation du sol ou le carbone.

Nous ne remettons pas du tout en cause le bien-
fondé d'étudier les résultats carbone de projets
dont la finalité est justement d'atténuer les
changements climatiques et qui ont été conçus
et financés dans cette optique. Cependant nous
croyons que la viabilité politique et sociale de la
REDD+ tient à une meilleure compréhension et
gestion des arbitrages et des synergies à favoriser
entre la réduction des émissions et l'amélioration
du bien-être économique et social. Notre approche
est validée par la popularité dont jouissent les
normes pour la conception de projets se rapportant
au climat, aux communautés et à la biodiversité
(standards CCB) et par l'intérêt suscité par les
nouvelles normes sociales et environnementales
de la REDD+, portées par l'Alliance Climat,
Communautés et Biodiversité (CCBA) et CARE.

À notre avis, le rôle des projets et programmes de REDD+ dans l'étude des impacts sociaux doit être reconnu, outre leur finalité affichée. Ils permettent en effet de conduire des recherches dans lesquelles auront été intégrées des méthodologies d'évaluation expérimentale et quasi-expérimentale et de financer la collecte de données en satisfaisant aux critères les

plus exigeants s'agissant de la recherche de preuves
de causalité. En plus de l'évaluation des résultats sur
le plan du bien-être collectif, nous formulons des
recommandations pour représenter l'enchaînement
des causes et des effets reliant l'intervention de
REDD+ à ses résultats. Par la quantification des
impacts et l'étude de leurs causes, les évaluateurs
peuvent développer notre compréhension
relativement limitée des facteurs qui favorisent des
résultats sociaux positifs dans le cadre d'initiatives
de conservation et de développement telles que
la REDD+. Ceci permettra ensuite d'inspirer
et de compléter les travaux parallèles consacrés
aux méthodes de validation et de vérification des
projets par rapport aux référentiels des marchés
volontaires et de tout futur marché d'engagements
contraignants.

Pour résumer, ce guide est surtout pertinent pour
les acteurs de la REDD+ qui sont :

* attachés à l'utilisation de plans expérimentaux et de méthodes de recherche rigoureux pour mieux connaître les résultats des projets de REDD+ sur le plan du bien-être économique et social ;

* disposés à analyser les impacts causaux *ex post* des projets de REDD+ comparativement à ce qui se serait passé en l'absence de ces projets (scénario parfois distinct des projections de niveaux de référence pour l'attribution de crédits) ;

* intéressés par la comparaison et la mise à l'épreuve d'approches différentes en matière d'analyse des impacts sociaux (méthodes généralement utilisées pour la vérification dans le cadre des normes de compensation de carbone sur les marchés volontaires, telles que le référentiel CCBA), afin d'en dégager la validité commune ;

* sensibilisés à l'intérêt de mieux comprendre s'il existe un arbitrage à faire ou des synergies à exploiter entre l'amélioration du bien-être économique et social au plan local et la réduction des émissions de carbone au plan mondial, et si oui dans quels domaines ;

* prêts à affecter des ressources afin de contribuer au capital mondial de connaissances sur la mise en œuvre des projets de REDD+.
<figure><img src="image_4.png" /></figure>
# 1 Tirer les enseignements de la REDD+ : un exercice nécessaire

## 1.1 Pourquoi est-il nécessaire de tirer les enseignements des projets de REDD+ ?

Depuis la Conférence des Parties de Bali (COP 13) en décembre 2007, environ 150 projets ont été prévus qui ont pour objectif la réduction des émissions dues à la déforestation et à la dégradation des forêts et la promotion de la conservation, de la gestion durable des forêts et du renforcement des stocks de carbone forestier dans les pays en développement ; ces projets sont communément appelés les « projets de REDD+ » (cf. Encadré 1).<fnref n="1" /> L'affectation de crédits et de ressources supplémentaires à la REDD+, et en particulier à ces projets, constitue l'un des rares résultats concrets de la COP 15, réunie à Copenhague en 2009 (Climate Funds Update 2010 ; Coria et al. 2010). La réputation de la REDD+ comme un moyen relativement rapide, facile et à bas coût de ralentir les changements climatiques est à l'origine de ce succès, ainsi que l'atteste la formule souvent répétée « nous savons comment NE PAS couper les arbres ». De plus, la REDD+ suscite aussi l'adhésion parce qu'elle est perçue comme un moyen d'attirer des crédits de financement pour la conservation des forêts tropicales riches

en biodiversité et de générer un nouveau flux de revenus dans ces régions pour les populations pauvres vivant en milieu rural.

Mais le programme de REDD+ (au niveau national et du projet) est toujours loin de faire l'unanimité, ses détracteurs craignant qu'il fournisse une échappatoire se traduisant par moins de réductions d'émissions nettes dans le monde, accentue les inégalités existantes, fragilise les droits déjà précaires des populations dépendantes des forêts les plus démunies, et détourne une partie des financements dont aurait pu bénéficier la biodiversité (Sunderlin et al. 2009; Springate-Baginski et Wollenberg 2010).

Les projets de REDD+ peuvent fournir des preuves pour informer ces débats.<fnref n="2" /> Ils offrent l'occasion unique de mieux comprendre les répercussions des différentes formes d'interventions sur les

<footnote n="1">1 Nous avons répertorié des propositions ou des plans correspondant à environ 300 projets de carbone forestier. Environ la moitié d'entre eux semblent être axés uniquement sur le boisement/reboisement. Parmi les 150 projets restants qui pourraient devenir des projets REDD+, beaucoup n'en sont qu'aux toutes premières étapes de planification. Cependant, des dizaines de projets avancent sur la voie de la mise en œuvre, notamment au Brésil, au Pérou et en Indonésie (Sills et al. 2009 ; Wertz-Kanounnikoff et Kongphan-apirak 2009).</footnote>

<footnote n="2">2 Les projets ne constituent qu'un des moyens de rassembler des preuves et d'accroître nos connaissances. Comme le montrent Angelsen et al. (2008) et Angelsen et al. (2009), les projets de REDD+ ne permettent pas de tirer tous les enseignements : par exemple, ils ne peuvent pas montrer quels sont les impacts des changements de politiques nationales. De plus, les problèmes de mesure et de fuites inhérents à l'approche de projet (Richards et Andersson 2001) constituent une source d'imprécision quand il s'agit de déterminer les retombées sur la forêt et le bien-être économique dans les évaluations d'impact des projets. Cela limite la portée des enseignements qui ne peuvent être transposés aux programmes nationaux couvrant un territoire plus étendu. Comme le souligne l'encadré 4, l'Étude comparative mondiale du CIFOR sur la REDD+ comporte des volets axés sur les systèmes et stratégies politiques nationales et sur la modélisation et le suivi des niveaux de références nationaux, parallèlement à l'étude des projets de REDD+ et de leurs acquis.</footnote>
## Encadré 1. Répartition mondiale des projets de REDD+

Depuis la COP 13 de la CCNUCC, les projets visant à réduire les émissions liées à la déforestation et à la dégradation des forêts (REDD) suscitent un regain d'intérêt. Ces projets mettent à profit les résultats antérieurs de projets de « déforestation évitée » (Caplow et al. sous presse). Ils comprennent des initiatives bilatérales ayant pour objectif de renforcer les capacités et de réformer les politiques nationales dans les pays hôtes. Ils cherchent aussi à générer des crédits carbone réels, additionnels et vérifiables, afin de les mettre en vente sur le marché volontaire. Certains poursuivent sur la lancée des projets de séquestration du carbone par le boisement/reboisement (B/R), développés initialement dans le cadre du Mécanisme pour un développement propre (MDP) et les marchés de compensation volontaires, de sorte qu'en pratique, il n'y a pas de différence nette entre les projets de REDD+ (comprenant la gestion et la restauration) et les projets de BR. Leurs interventions varient notamment de paiements versés directement et individuellement à des propriétaires forestiers et usagers (cas plus fréquent en Amérique latine) à la prévention de la déforestation ou de la conversion en plantations à grande échelle (cas plus courant en Indonésie) en passant par la gestion communautaire des forêts (souvent dans les projets africains). De nombreux projets de REDD+ poursuivent les activités de conservation antérieures dans des endroits particuliers. Certains projets visent aussi à améliorer l'aménagement de l'espace dans

de vastes paysages et sa mise en application, souvent en collaboration avec les collectivités locales. Toute cette palette de projets de REDD+ nous offre l'occasion d'apprendre à tirer parti du potentiel d'atténuation des changements climatiques des forêts. Dans ce guide nous entendons par « projet de REDD+ » toute initiative visant à réduire, de manière directe et quantifiée, les émissions de carbone nettes issues d'une région forestière ou d'un paysage infranational définis. Comme le montrent Sills et al. (2009) et Cerbu et al. (2009), ces projets ont une distribution géographique très étendue, mais inégale d'une région boisée à l'autre dans les pays en développement (cf. Figure 1). Le Brésil et l'Indonésie en particulier accueillent un grand nombre de projets en raison de leurs stocks importants de carbone forestier. En revanche, du côté de l'Afrique, la République démocratique du Congo possède peu de projets malgré la taille de son stock de carbone forestier. La Tanzanie, quant à elle, compte un nombre croissant de projets, financés principalement par l'État norvégien (Norvège 2010). Les porteurs de projet dans toutes les régions cherchent à faire certifier leurs projets, selon des référentiels de carbone, tels que la Norme de compensation volontaire de carbone et les Standards de conception de projets climat, communautés et biodiversité (CCB), dont les critères exigent la preuve de l'existence de co-bénéfices pour la biodiversité et les communautés locales. Le succès engrangé et le prix plus élevé obtenu par la certification CCB (Ecosecurities 2010) justifient l'importance accordée à l'analyse des résultats des projets de REDD+ sur le plan du bien-être économique.

<figure><img src="image_5.png" /><figcaption>Figure 1. Répartition mondiale des projets de carbone forestier</figcaption></figure>
## Encadré 2. Pourquoi il est possible de tirer les enseignements des projets de REDD+

Les projets de REDD+ fournissent l'occasion inégalée d'exploiter les acquis, et ce pour les raisons suivantes :

* répartition mondiale et calendrier relativement synchrone des projets ;

* allocation de ressources financières considérables pour l'élaboration, la mise en œuvre, le suivi et l'évaluation ;

* objectif clairement affirmé de capitalisation des acquis fixé par les négociateurs internationaux ;

* accent mis sur la « conditionnalité » et l'« additionnalité », critères qui correspondent à ceux des systèmes d'évaluation d'impact, et qui de ce fait facilitent cette dernière ;

* mise en œuvre des projets concentrée dans certaines régions bien définies géographiquement, ce qui rend possible la comparaison entre régions (mais qui est plus difficile dans le cas des politiques nationales) ;

* probabilité que de nombreuses questions non résolues portant sur les synergies et arbitrages éventuels entre le carbone et les impacts sur les moyens d'existence se manifestent à l'échelle du projet ;

* possibilité de tirer parti des progrès rapides récents réalisés dans le domaine des méthodes d'évaluation d'impact et des analyses de causalité, développées et appliquées pour la plupart dans d'autres secteurs politiques, mais qui sont transférables aux projets et programmes de conservation, tels que la REDD+.

forêts, mais également sur les populations qui y vivent, les gèrent et en dépendent. Les projets de REDD+ ressemblent aux initiatives antérieures de conservation des forêts à de nombreux points de vue (Blom et al. 2010), mais ils s'en démarquent aussi par les nouvelles perspectives et les nouveaux défis créés, et en particulier par leur orientation sur les résultats (Encadré 2). Les porteurs de projet s'attendent et se préparent à surveiller et évaluer les changements d'utilisation des terres et d'émission de carbone, qui sont étroitement liés à leur financement, mais qui ont aussi des conséquences réelles pour les populations locales. Il existe donc à la fois le besoin et l'opportunité de réaliser une analyse rigoureuse des causes des impacts sur les moyens d'existence. Nous disposons donc d'un créneau limité, mais décisif, pour jeter les bases d'un travail d'évaluation répondant à ces exigences, par le choix d'un concept expérimental, la description approfondie de la sélection des sites et des autres décisions relatives à la mise en œuvre et la collecte de données initiales à partir d'échantillons rigoureusement sélectionnés de participants et de non participants. En appliquant une méthodologie de recherche rigoureuse à de nombreux projets obéissant à des stratégies diverses et qui sont réalisés dans des conditions différentes, nous serons en mesure de voir ce qui marche et ce qui ne marche pas, et d'orienter le développement de nouveaux projets de REDD+: au final, nous serons en meilleure posture pour élargir ou inclure les projets de REDD+ dans les systèmes nationaux et régionaux.

Les projets de REDD+ présentent bon nombre de points communs avec les projets de conservation et de développement qui tentent d'influencer ou de contenir le comportement des usagers des ressources forestières, quelle que soit leur taille, avec pour objectif l'amélioration des conditions environnementales. Dans le cas de la REDD+, l'objectif clairement affiché est de réduire la déforestation et la dégradation des forêts, ou de favoriser la restauration, la réhabilitation et la conservation de façon à diminuer en même temps les émissions nettes de carbone. Pour y parvenir, les projets se dotent d'un plan, « la représentation de la chaîne de causalité », qui exige habituellement des populations locales qu'elles modifient la façon dont elles subviennent à leurs besoins, soit parce que les scieries offriront moins d'emplois ou que de nouvelles pratiques agricoles seront adoptées qui ne recourent pas aux feux de brousse pour le défrichement de nouvelles terres (cf. Annexe B.4 qui présente une liste sélective de textes publiés sur les moteurs de la déforestation et de la dégradation). Dans de nombreux projets de REDD+, ces changements ont pour but d'avoir des effets positifs nets sur le « développement » ou les conditions d'existence dans la localité du projet. En outre, nombreux sont les porteurs de projet qui souhaitent chiffrer et recevoir des crédits pour leur contribution au renforcement des moyens de subsistance des usagers locaux des forêts via la certification conformément aux référentiels élaborés par des organisations comme l'Alliance Climat, Communautés et Biodiversité (CCBA) ou
Encadré 3. Normes et systèmes de certification pour les projets de REDD+

Le marché volontaire de compensation de carbone est le seul lieu de vente des crédits carbone générés par les projets de REDD+. Ce « marché » comprend en réalité toute une gamme de bourses, de courtiers et d'acheteurs directs. Hamilton et al. (2010) font état de 2846 ktCO₂e de crédits de REDD+ échangés en 2009, total nettement supérieur aux 730 ktCO₂e de 2008, mais qui ne représente toujours qu'une part de marché très faible. Les acheteurs sont souvent motivés par la responsabilité sociale d'entreprise ou souhaitent se positionner sur les futurs marchés d'engagements contraignants. Quoi qu'il en soit, ils recherchent des garanties que les crédits achetés réduisent réellement les émissions nettes de carbone, sans répercussions négatives pour la biodiversité et les moyens d'existence des populations locales. On dénombre à l'heure actuelle plus d'une douzaine de référentiels et systèmes de certification élaborés pour fournir ces garanties. Seuls certains d'entre eux certifient les projets de REDD+ (CORE 2010) : ils s'attachent à apporter des solutions aux questions d'additionnalité, de permanence et de fuite qui continuent de se poser s'agissant de la REDD+, tout en examinant les impacts sur la population locale et l'environnement.

Le référentiel dominant est la Norme de compensation volontaire de carbone (VCS), dont se réclamait plus d'un tiers du total des crédits échangés sur le marché volontaire en 2009 (Hamilton et al. 2010, VCS 2010). Ce référentiel est axé sur l'intégrité des réductions d'émissions, comprend une analyse de risques indépendante et exige le versement de crédits dans un compte tampon commun. L'association VCS a mis en place des partenariats avec trois registres qui suivent l'évolution des VCU (Unités de crédit carbone volontaires) vérifiées par son intermédiaire. De nombreux projets de REDD+ ont l'intention de faire certifier leurs crédits selon le référentiel VCS (Ecosecurities 2010). Dans ce but, ils sont tenus d'élaborer, puis d'obtenir un double agrément, pour les méthodologies qu'ils souhaitent mettre en place visant à déterminer des niveaux de référence, tenir compte des fuites, et surveiller, faire rapport et vérifier les activités liées au sol et les émissions. L'agrément des méthodologies s'est avéré être un

goulet d'étranglement non négligeable. En août 2010, l'association n'avait approuvé qu'une seule méthodologie avec pour objet la déforestation programmée évitée, de nombreuses autres relatives à la déforestation et à la dégradation non programmées dans les zones frontalières et dans les mosaïques étant toutefois en phase d'examen. Le registre américain du carbone (ACR) a lui aussi proposé une méthodologie de REDD+, soumise à l'examen et aux commentaires du public en août 2010 (ACR). L'Alliance Climat, Communautés et Biodiversité (CCBA 2010) développe également des référentiels faisant autorité qui régissent les projets de REDD+. La CCBA gère un registre de projets certifiés conformément à ses référentiels, mais ne délivre pas de crédits d'émissions certifiés. La CCBA n'approuve pas de méthodologies particulières, mais a participé à la création d'un nouveau manuel qui fournit des informations sur les méthodes peu onéreuses pour l'analyse des bénéfices sociaux des projets de carbone forestier (Richards et Panfil 2010). À l'origine, les standards CCB ont été conçus pour permettre de faire ressortir les projets de qualité respectant les droits des populations locales et leur apportant des bénéfices, tout en préservant la biodiversité. Ils sont devenus essentiels depuis pour l'accès au marché et la crédibilité des projets ; ainsi, de nombreux porteurs de projets REDD+ se donnent pour objectif de satisfaire aux critères des standards CCB, sans nécessairement avoir l'intention de vendre des crédits (Madeira et al. 2010). Selon une étude de marché récente, de nombreux acheteurs sont prêts à payer plus cher les projets possédant les deux certifications, VCS et CCB (Ecosecurities 2010).

L'alliance CCBA travaille également avec CARE au développement et au pilotage des Standards sociaux et environnementaux de REDD+, destinés aux programmes nationaux de REDD+ cherchant à faire la preuve de leurs « co-bénéfices » sociaux et environnementaux.

Il existe aussi d'autres normes conçues pour s'ajouter aux normes de comptabilité du carbone, telles que le référentiel Social Carbon, mais leur couverture est beaucoup plus limitée. Enfin, certaines normes cherchent à traiter aussi bien de la comptabilité du carbone que des bénéfices sociaux ; c'est le cas de la norme Plan Vivo.
Plan Vivo (Encadré 3). Le défi pour les spécialistes de la REDD+ est le même que celui auquel doit faire face le milieu plus vaste de la conservation et du développement : comment savoir si les changements qui s'opèrent dans l'environnement (carbone) ou le bien-être sont le résultat direct de l'intervention dont ils ont eu l'initiative ? Quand peuvent-ils s'attribuer la paternité de la réussite du projet ou au contraire la responsabilité de son échec ?

L'évaluation REDD+ est fréquemment réalisée à l'aide du cadre de référence des 3E+, qui s'articule autour des critères d'efficacité, d'efficience, d'équité et des co-bénéfices (Angelsen 2009). Les efforts méthodologiques les plus importants semblent avoir été consacrés à la mesure du premier «E», c'est-à-dire la détermination des impacts sur les émissions nettes de carbone ; cf. l'Annexe B.5 qui répertorie les références et les ressources portant sur la mesure, la notification et la vérification (MNV) du carbone. D'autres initiatives s'attachent à utiliser les résultats de la MNV du carbone pour en déduire les impacts sur les autres services écosystémiques et la biodiversité (Teobaldelli et al. 2010). Ce guide étudie les méthodes de mesure de l'impact des projets de REDD+ sur les deux autres E, c'est-à-dire les impacts (coûts et bénéfices) sur les populations locales qui sont imputables aux projets. Nous nous concentrons sur les méthodes d'évaluation d'impact et les plans expérimentaux rigoureux qui fournissent des preuves empiriques pour appuyer leurs analyses contractuelles ; ces analyses permettent de se faire une idée *ex post* de ce qu'aurait été l'évolution du bien-être économique et social si l'intervention REDD+ n'avait pas eu lieu.

Le Centre de recherche forestière internationale (CIFOR) a lancé l'Étude comparative mondiale sur le programme de REDD+ (GCS-REDD+), qui s'est donné comme objectif de relever le défi de l'analyse rigoureuse des projets de REDD+ (cf. Encadré 4). Ce guide expose la méthodologie et les outils de recherche utilisés dans le « Volet 2 » de l'étude GCS-REDD+ pour quantifier les impacts des projets sur le bien-être collectif, espérant ainsi favoriser et faciliter la reprise de cette approche parmi les autres acteurs de la REDD+ afin de contribuer à la construction de la base internationale de données scientifiques sur la REDD+. Ce guide présente en

même temps une gamme de méthodologies de recherche avec différentes exigences en matière de collecte de données et d'analyse statistique. Nous examinons le raisonnement qui caractérise chacune des méthodologies, les données nécessaires, ainsi que les questions budgétaires, de ressources humaines et d'éthique qu'elles posent.

L'évaluation d'impact quand elle est rigoureuse<fnref n="3" /> permet de quantifier l'importance des effets de causalité d'un projet de REDD+, en nous informant non seulement sur ce qui se passe du fait d'un projet, mais aussi sur les raisons expliquant ce que nous observons. Les méthodes qualitatives, comprenant des observations et des entretiens très poussés sur le terrain sont importantes pour le choix des critères de jugement et l'interprétation des effets estimés. Il est également essentiel de chiffrer les coûts administratifs des projets (coûts de mise en œuvre et d'opération) si l'on veut tirer les enseignements des impacts des projets. Dans ce guide, nous présentons une approche reposant sur une méthodologie mixte permettant d'élaborer et de mettre à l'épreuve « une représentation de la chaîne de causalité » des impacts des projets de REDD+ sur le plan du bien-être économique et social.

## 1.2 Pourquoi faut-il évaluer l'impact des projets sur le bien-être économique et social ?

Le plan d'action de Bali comporte une exigence de mesure des changements d'émissions nettes de carbone résultant des activités des projets de REDD+. La communauté scientifique et les initiateurs de projets se sont donc vus obligés de se familiariser avec la notion des scénarios contrefactuels (généralement appelés « niveaux de référence » dans le milieu de la REDD+, comme l'explique la Fiche technique 1). L'estimation de l'évolution des émissions de carbone si le projet

<footnote n="3">3 Si dans ce guide nous utilisons le terme « évaluation » au sens large, l'expression “évaluation d'impact” fait référence à un ensemble bien précis de plans expérimentaux et de méthodes permettant d'analyser et de comprendre les résultats de politiques, de programmes et de projets. L'évaluation d'impact, également appelée évaluation de programme, s'attache à quantifier les effets et à déterminer dans quelle mesure ces effets peuvent être imputés au programme et non à d'autres causes (Khandker et al. 2010). Se reporter à la Fiche technique 1 pour une présentation détaillée de la terminologie utilisée dans le cadre de l'évaluation d'impact et de la REDD+.</footnote>
## Encadré 4. Étude comparative mondiale du CIFOR sur la REDD+

Des informations actualisées sur cette étude comparative sont disponibles sur le site www.forestsclimatechange.org.

La réalisation de la REDD+ demande de nouvelles connaissances et de nouvelles compétences.

* Étant donné l'urgence due aux changements climatiques et la nécessité de fournir rapidement des informations, le CIFOR analysera les politiques et les pratiques de REDD+ et en diffusera les données à un public international.

* Le CIFOR entend créer des outils efficaces et efficients pour œuvrer à la réduction des émissions de carbone forestier et à la production de co-bénéfices tels que le soulagement de la pauvreté et la préservation de la biodiversité.

* L'objectif de cette étude est d'influer sur la conception des projets de REDD+ à trois niveaux :

- Local : projets sur site et paysage, la surveillance étant assurée par la population.

- National : formulation de politiques, y compris de scénarios de niveaux de référence nationaux.

- International : architecture de la REDD+ dans le cadre de l'accord post-2012 sur la protection du climat.

Le CIFOR travaille avec un vaste réseau de partenaires : porteurs de projets, décideurs et négociateurs, qui bénéficieraient de recommandations et de réflexions relatives à leurs propres activités et à celles entreprises dans le cadre d'autres projets dans le monde.

* Tout au long des quatre années que durera cette initiative, le CIFOR fournira des informations utiles à la conception des projets REDD+ dans la période précédant 2012 et à leur mise en œuvre à partir de cette année charnière.

* Ce travail est divisé en quatre volets interdépendants et sera mené dans neuf pays répartis en Amérique latine, en Asie et en Afrique. Des conférences et des ateliers seront organisés chaque année pour favoriser les échanges d'idées et faire le bilan. Des publications seront diffusées afin d'assister la mise en œuvre de la REDD+.

### Volet 1 : Processus et politiques de REDD+ au plan national

* Analyse des processus de la REDD+ de première génération en utilisant des stratégies rigoureuses, comprenant notamment l'analyse des discours médiatiques, l'étude des réseaux liés aux politiques et l'évaluation par score des stratégies employées, afin de garantir la qualité des résultats

* Analyse de la prise en compte des différents intérêts à tous les niveaux dans les processus nationaux de formulation des politiques de REDD+

* Vérification du respect du principe des critères 3E+ dans les résultats de ces processus

### Volet 2 : les sites des projets de REDD+

* Collecte de données avant et après la mise en œuvre des interventions dans 20 sites de projets de REDD+, couvrant des villages directement concernés et des villages témoins

* Création d'une base de données internationale en ligne sur la REDD+ à partir des résultats de cette campagne ambitieuse de collecte de données

* Production d'un manuel du praticien ayant pour thème le bilan de la REDD+ après la première année d'étude afin de satisfaire au mieux aux critères de 3E+

### Volet 3 : Surveillance et niveaux de référence

* Perfectionnement des méthodes de détermination des niveaux d'émission de référence pour aider les pays à calculer au mieux leurs fourchettes futures d'émissions

* Mise à disposition d'un plus grand nombre de facteurs d'émissions pour la mise en œuvre des méthodes du GIEC pour la comptabilisation nationale des gaz à effet de serre

* Elaboration de méthodes adaptées pour que les mesures puissent être réalisées par les populations

### Volet 4 : Partage des connaissances

* Préparation d'une stratégie de partage des connaissances

* Mise en place d'une communauté en ligne souhaitant approfondir ses connaissances par la création d'un site Web interactif

* Echange d'informations à l'occasion d'événements et de conférences de grande portée

* Utilisation novatrice des médias afin d'intéresser les journalistes d'horizons divers
n'avait pas eu lieu est déterminante pour savoir
si ce projet a été à l'origine d'une réduction
supplémentaire des émissions de carbone. Le
fonctionnement de la REDD+ repose sur des
incitations : cette approche contrefactuelle est donc
nécessaire pour comprendre les répercussions des
projets sur les taux de carbone.

Nous partons du principe que les impacts sur les émissions de carbone doivent être remis à leur juste place en les associant à une estimation non moins rigoureuse des impacts dans les autres domaines, en particulier le bien-être des populations vivant et travaillant dans la zone du projet. Il est en effet crucial d'analyser les impacts sur le bien-être économique des populations locales si l'on veut comprendre les conséquences sociales plus larges de la REDD+ et sa viabilité politique à longue échéance. Dans un avenir plus immédiat, les porteurs de projet, donateurs et organismes de certification tels que la CCBA et l'association de la Norme de compensation volontaire de carbone (VCS) doivent connaître les résultats des projets qu'elles certifient et les compromis effectués entre la conservation et les conditions d'existence des populations pour obtenir ces résultats. Nous pensons que la réussite ou l'échec de la REDD+ à tous les niveaux dépendra de notre aptitude à concevoir des interventions qui, dans le pire des cas, ne portent pas préjudice aux populations locales, mais qui, dans le scénario de réussite, conduisent à des résultats favorables tant sur le plan des réductions d'émissions de carbone que sur celui des conditions d'existence en milieu rural.

Dans ce guide, nous définissons le « bien-être économique et social » comme comprenant tout un ensemble de facteurs influant sur le bien-être humain. La méthode de l'étude GCS-REDD+ est axée sur les revenus des ménages (comprenant les revenus en liquide et en nature), leur composition (part des revenus d'origine agricole, forestière ou autre), la description et les raisons de leur évolution. Pour expliquer pourquoi l'on observe ou non certains impacts, l'étude GCS-REDD+ porte une attention particulière à la possibilité pour les populations locale d'avoir voix au chapitre et de prendre en main leur destin (leur participation plus ou moins grande dans les processus d'autorisation, de conception et de mise en œuvre de la REDD+),

aux connaissances (dans la mesure où celles-ci
sont déterminantes pour le critère précédent), au
rôle joué par les différences hommes-femmes (les
revenus et possibilités d'emploi et de subsistance,
les droits de propriété ainsi que les possibilités
d'expression et les connaissances étant conditionnés
par l'appartenance sexuelle dans la plupart des
cultures), et au régime foncier (les droits de
propriété sur les terres et les ressources influant
largement sur l'issue positive ou négative des
interventions de la REDD+).

Pour quantifier les impacts des projets sur le bien-
être collectif et éliminer les explications d'une autre
nature ou contradictoires, les plans expérimentaux
les plus intéressants consistent à collecter des
données antérieures et postérieures au projet, à
l'intérieur et à l'extérieur des sites de ces projets.
Cette démarche a un coût plus élevé que l'approche
permettant de satisfaire les critères actuels des
référentiels du marché volontaire du carbone. Pour
l'étude GCS-REDD+, ces coûts seront largement
amortis par les connaissances relatives à la
REDD+ en général et aux projets de REDD+ en
particulier qu'elle permet de générer. L'évaluation
d'impact rigoureuse fournira des preuves tangibles
permettant de mettre un terme aux controverses
à propos des conséquences de la REDD+ sur les
conditions d'existence des populations. Appliquée
à une gamme d'interventions dans des conditions
très différentes et associées à une méthodologie
mixte d'analyse des causes et des effets, l'évaluation
d'impact permettra de perfectionner les projets
actuels et de déterminer les meilleures pratiques
à appliquer dans le cadre des projets à venir.
En outre, l'évaluation d'impact pourra servir à
valider et affiner les méthodes ex ante de prévision
des résultats dans les zones des interventions et
correspondant aux niveaux de référence, tout
en fournissant des intrants plus fiables pour la
modélisation des impacts de la REDD+ à très
longue échéance.

1.3 Quels projets faut-il évaluer ?

L'évaluation d'impact rigoureuse, surtout celle
qui s'appuie sur les méthodologies optimales de
recherche a un coût élevé en raison du travail de
conception important, du budget nécessaire pour
la collecte des données et des compétences en
statistique requises pour l'analyse de ces dernières. Il ne faut donc pas nécessairement soumettre tous les projets de REDD+ à ce type d'évaluation dans le but d'estimer leurs impacts sur le bien-être collectif. Mais alors, qui doit investir dans de telles analyses et quels projets doivent être retenus pour l'évaluation ?

Pour certains porteurs, ces méthodes seront utiles pour assurer la surveillance et la gestion de leur portefeuille de projets ou de programmes régionaux (par ex. les initiatives officielles infranationales créées pour satisfaire les critères des normes sociales et environnementales de la REDD+). Des preuves concrètes des effets de causalité éviteront aux porteurs de projet de porter le chapeau pour des résultats qui ne sont pas la conséquence de leurs projets ou d'avoir à faire face à des attentes dépassant le cadre des projets. Ils pourront ainsi mieux se concentrer sur les résultats (bons ou mauvais) qui sont vraiment de leur ressort, car effectivement causés par les interventions de REDD+. L'évaluation d'impact rigoureuse s'appuyant sur des méthodes à validité interne élevée fournit des bases solides pour rendre compte des projets et des programmes de REDD+ et les perfectionner.

Cependant, elle offre surtout la possibilité de tirer les enseignements de chaque projet pour contribuer à la conception des systèmes de REDD+ futurs. De manière plus évidente, l'évaluation rigoureuse des premiers projets permettra de décider des interventions les plus aptes à un élargissement infranational ou national, en évitant ainsi d'investir des ressources supplémentaires en interventions infructueuses (ou néfastes sur le plan du bien-être économique et social). La base de données scientifiques tirée de l'évaluation rigoureuse des premiers projets pilotes et de démonstration peut permettre de s'armer face aux attentes et servir de base pour les ajustements. Cela évitera peut-être ainsi à la REDD+ de tomber dans l'écueil de la promotion cyclique exagérée en vogue dans les milieux de la conservation et du développement, qui suscite des attentes irréalistes (cf. Skutsch et McCall 2010). C'est pourquoi l'évaluation rigoureuse des projets de REDD+ se situe en parfaite adéquation avec la mission que se sont donné diverses organisations bilatérales,

multilatérales et internationales, laquelle consiste à élaborer des stratégies efficaces d'atténuation des changements climatiques.

Dans le but d'atteindre cet objectif plus général, les projets de REDD+ doivent aussi posséder une certaine validité externe en générant des enseignements transférables. On suppose donc que l'évaluation doit d'abord privilégier les interventions susceptibles de subir un élargissement à des zones représentatives d'un paysage entier ou des groupes représentatifs de la population générale. De plus, les évaluations de projets dont les porteurs communiquent volontiers leurs coûts de mise en œuvre seront les plus utiles quand il s'agira d'analyser les arbitrages et les complémentarités dans tous les domaines couverts par les critères des 3E+. Enfin, les porteurs de projet disposés à recourir à un plan expérimental, à une mise en œuvre progressive et à la vérification des différentes options sur des sous-échantillons sélectionnés indépendamment de leurs autres caractéristiques, sont susceptibles de pouvoir faire preuve d'une validité interne et externe élevée ; ceci, à condition cependant que les interventions ou les options de mise en œuvre vérifiées aient une portée générale et que « les expériences » puissent être répétées dans d'autres projets.

Les donateurs et programmes de financement soutenant un grand nombre de projets de REDD+ pourraient jouer un plus grand rôle dans cette capitalisation des acquis en définissant les points essentiels qui caractérisent les interventions et les conditions favorables à l'obtention de résultats positifs pour le bien-être, puis en assurant un appui financier suffisant (assorti d'un mandat) à la collecte de données nécessaire à l'évaluation rigoureuse et cohérente de ces interventions menées dans des conditions différentes (cf. Baker *et al.* 2010). L'étude GCS-REDD+ du CIFOR (Encadré 4) fournit un exemple du type de programme d'évaluation recherché qui vise à obtenir des résultats avec une validité interne et externe élevée par l'emploi de méthodes cohérentes et rigoureuses appliquées à toute une gamme de projets. Des porteurs de projet répartis en Afrique, en Asie et en Amérique latine ont accepté de collaborer à l'étude GCS-REDD+ pour contribuer à l'enrichissement des connaissances mondiales relatives à la REDD+.
## 1.4 Tirer les enseignements du passé

La littérature qui évalue les réformes politiques concernant la gestion et la conservation des ressources naturelles nous livre des leçons importantes pour l'analyse des projets de REDD+. La première est que les méthodes d'évaluation d'impact rigoureuses quantifiant les changements qui se seraient produits en l'absence d'intervention ont rarement été appliquées aux investissements relatifs à la conservation (Ferraro et Pattanayak 2006, Schreckenberg et al. 2010). Par exemple, la plupart des évaluations publiées en matière de paiements pour services écosystémiques (PSE) sont des études de cas qualitatives, qui s'appuient sur la documentation produite par des organismes publics et des organisations non gouvernementales, des revues de la littérature grise, des entretiens avec des informateurs privilégiés et des évaluations rapides sur le terrain (Pattanayak et al. 2010). C'est également le cas des premiers projets de déforestation évitée (Caplow et al. sous presse).

Les initiatives d'application de méthodes rigoureuses d'évaluation d'impact aux interventions dans le domaine de la conservation sont en augmentation. Ainsi, le Fonds pour l'environnement mondial a financé un projet à concept expérimental pour analyser les impacts de PSE en Ouganda (FEM 2010). De même, la Wildlife Conservation Society a recueilli des données abondantes sur les conditions initiales dans les communautés situées à distance variable de nouvelles aires protégées au Gabon (Wilkie et al. 2006). Toutefois, dans le domaine de la conservation, l'évaluation d'impact est en général fondée sur la collecte de données ex post, relatives aux unités « traitées » et aux unités « témoins ou de contrôle ». Il peut s'agir par ex. de ménages ou de bassins hydrographiques situés à l'intérieur et à l'extérieur d'un site de projet de REDD+. Si l'effectif de l'échantillon est suffisamment important et que les données présentent une variabilité suffisante, différentes sortes d'analyses statistiques peuvent être possibles.

La procédure classique consiste à faire une régression des résultats par rapport à un indicateur de « traitement » de l'unité par le projet et tout facteur de confusion potentiel (estimation d'un modèle de régression du revenu des ménages

en fonction de leurs caractéristiques et de leur appartenance ou non au projet de REDD+). Cependant, cette approche est critiquée parce qu'elle risque de trop dépendre de suppositions relatives à la distribution et de l'extrapolation à des unités traitées et non traitées très différentes. Les méthodes « d'appariement », mises au point pour contrecarrer ces difficultés sont de plus en utilisées pour évaluer les résultats de politiques liées aux ressources naturelles et à la conservation. L'approche scientifique la plus récente consiste à combiner l'appariement et la régression pour obtenir des estimations d'impact deux fois plus solides.

La littérature récente consacrée à l'évaluation d'impact examine diverses interventions et leurs résultats et notamment l'impact causal :

* des quotas individuels transférables sur l'effondrement des pêches du monde entier (Costello et al. 2008);

* des moratoires sur le développement aux États-Unis (Bento et al. 2007);

* des aires protégées sur le couvert forestier au Costa Rica (Andam et al. 2008), à Sumatra (Gaveau et al. 2009a) et au plan mondial (Nelson et Chomitz 2009);

* des PSE sur le couvert forestier au Costa Rica (Arriagada 2008, Pfaff et al. 2008);

* de la gestion décentralisée sur le couvert forestier en Inde (Somanathan et al. 2009);

* de la décentralisation de la gestion des forêts sur le revenu des ménages tiré des forêts au Malawi (Jumbe et Angelsen 2006) et en Ouganda (Jagger 2008);

* des projets intégrés de conservation et développement sur les moyens d'existence des ménages (Weber et al. sous presse);

* des aires protégées sur la réduction de la pauvreté (Bandyopadhyay et Templo 2009, Andam et al. 2010, Sims 2010).

Quels que ce soient la méthode précise et le thème des évaluations d'impact, il y aurait tout intérêt à s'appuyer sur des données relatives aux conditions précédant le lancement de l'intervention : souvenirs des ménages, informations reconstituées au moyen de la télédétection ou de données secondaires ou,
(de préférence), enquêtes préalables. Certaines études antérieures ont été confrontées à la difficulté d'éliminer les explications autres pour justifier les impacts observés en raison de l'insuffisance des données relatives à la période précédant l'intervention. Les données de l'avant projet permettent de comparer la variation des critères de jugement pour des échantillons appariés d'unités de contrôle et de traitement, ces unités pouvant être appariées en fonction de leurs caractéristiques avant qu'elles ne soient affectées par l'intervention : cette démarche permet de mettre en évidence les facteurs connus par des observations de terrain pour avoir une influence sur la sélection des sites et l'inclusion des participants dans le projet.

## 1.5 Comment s'y prendre

Le reste de ce guide s'articule comme suit : Dans la section suivante, nous discutons du rôle central du raisonnement contrefactuel dans l'évaluation des projets de REDD+, en présentant plusieurs méthodologies de recherche qui permettent de réaliser une évaluation *ex post* des impacts sur le bien-être économique et social. Nous étudions les conditions et facteurs déterminant le choix de la méthodologie de recherche, ainsi que certains des aspects techniques liés à la mise en œuvre de ces méthodologies. Dans la Section 3, nous préconisons l'élaboration de modèles de causalité et de théories du changement pour expliquer les raisons pour lesquelles l'intervention de REDD+ est supposée avoir une influence sur le bien-être économique,

physique, psychologique des usagers de la forêt et des principaux acteurs. Nous soulignons l'utilité d'une méthodologique mixte, analysons les modalités de mise en œuvre des projets de REDD+ et fournissons une interprétation des conclusions des évaluations d'impact rigoureuses. Dans la Section 4, nous formulons des recommandations sur les facteurs pratiques à prendre en considération lorsqu'il s'agit de concevoir des évaluations rigoureuses de projets de REDD+: budgets, capacités nécessaires et aspects liés à l'éthique. Cet exposé est accompagné d'une série de fiches techniques (Annexe A) dans lesquelles nous présentons la terminologie employée, le choix et la mesure des variables, ainsi que des informations plus techniques sur les méthodologies de recherche et les analyses de répartition possibles. Ce guide se penche donc sur les méthodologies de recherche pour l'évaluation d'impact ; les autres questions centrales dans ce domaine (telles que la mise au point et la mesure d'indicateurs) sont en effet bien décrites dans les autres ressources présentées en Annexe B. Tout au long de ce guide, nous nous servons de méthodes et d'éléments tirés de l'étude GCS-REDD+ du CIFOR (Encadré 4), car elle constitue un exemple de mise en œuvre d'un des plans expérimentaux les plus fiables présentés dans ce guide : le plan « avant-après/contrôle-intervention » (BACI). L'Annexe C fournit les recommandations techniques et les questionnaires employés pour la collecte de données sur des sites de projets REDD+ en Afrique, en Asie et en Amérique latine.

<figure><img src="image_6.png" /><figcaption>Deux habitants des forêts rentrent chez eux après le ramassage du bois de feu dans le district de Ketapang, à Kalimantan Ouest, Indonésie (© Andini Desita Ekaputri/CIFOR)</figcaption></figure>
2

Utiliser le raisonnement
contrefactuel pour mieux
connaître les projets de REDD+

Le débat concernant la REDD+ est alimenté en partie par la diversité des lieux, suppositions, échelles et méthodes employées pour étudier ses répercussions sur le carbone, la biodiversité et les moyens de subsistance. Dans bien des cas, les divergences d'opinions sont dues aux suppositions très différentes qui sont faites à propos d'éventuelles solutions de rechange : à quoi ressemblerait la planète, ou une région donnée sans la REDD+ ? Ce manque d'homogénéité mais aussi de réflexion clairement articulée sur les scénarios contrefactuels contribuent à attiser la polémique et ne permettent guère d'analyser de manière systématique les caractéristiques et conditions associées aux arbitrages ou aux complémentarités. Même s'il n'est pas toujours possible ni souhaitable d'harmoniser les méthodes appliquées dans les différents projets, nous insistons sur la nécessité d'avoir des principes communs s'agissant d'évaluer les pilotes de REDD+ de première génération. L'un de ces principes est que toute évaluation doit établir et préciser la situation contrefactuelle correspondante. Dans cette section, nous étudions les différentes approches du raisonnement contrefactuel appliqué à la MNV du carbone et à l'évaluation d'impact. La fiche technique 1 compare les terminologies utilisées dans ces deux domaines.

L'importance de la surveillance et de l'évaluation
(M&E) est unanimement reconnue par tous
les porteurs de projet dans le domaine de la
conservation, du développement et a fortiori de
la REDD+. La M&E comprend la définition des
résultats ou objectifs souhaités (augmentation de
la richesse des ménages et de la préservation de

la biodiversité par ex.) (Fiche technique 2) et de
modèles de concept pour représenter les liens de
causalité reliant le projet et les résultats souhaités
(Fiche technique 8). Dans la REDD+, les méthodes
de comptabilisation du carbone (ou MNV) ont
été au cœur des préoccupations, et à juste titre
puisqu'une comptabilité fausse remettrait en cause
l'objectif fondamental de la réduction des émissions
de gaz à effet de serre. Comme souvent en M&E,
les efforts les plus importants ont été consacrés
à la définition et à la mesure des résultats, parmi
lesquels figurent les émissions par hectare selon les
catégories d'utilisations du sol, et les changements
de surface en fonction de ces catégories (par ex.
*Global Observation for Forest and Land Cover
Dynamics* (GOFC/GOLD) 2009).

Il existe également une littérature abondante et
de nombreuses propositions (Parker et al. 2009)
et modèles différents (Hertel et al. 2009 par ex.)
consacrés à la définition de scénarios contrefactuels
d'utilisation du sol pour répondre au besoin de base
de référence pour l'attribution de crédits de REDD+
dans un système de REDD+ international. Moins
abondante est la littérature publiée (Brown et al.
2007 par ex.) qui traite de l'estimation des situations
contrefactuelles d'utilisation du sol dans les projets
ayant pour objectif de générer des crédits carbone
(cf. Annexe B.5) ; les méthodes et recommandations
pratiques qui l'accompagnent sont toutefois en
plein développement. Ces méthodes portent
sur les modalités de définition d'une situation
contrefactuelle *ex ante* crédible (niveau de
référence) et de fixation d'objectifs *ex ante* crédibles
(c'est l'additionnalité, dont la nécessité est attestée
par les résultats financiers insuffisants, les barrières institutionnelles et l'insuffisance d'adoption antérieure). L'évaluation *ex post* des résultats à l'intérieur de la zone du projet fait partie de la surveillance et de la vérification. Cependant, la plupart des méthodologies (dont le boisement/reboisement dans le cadre du Mécanisme pour un développement propre (MDP) et les méthodes de REDD+ proposées par l'association VCS et le Registre américain du carbone (ACR)) n'exigent pas la surveillance ni la vérification continues dans des zones de contrôle ou de référence situées en dehors du projet.

Ces méthodologies exigent en général que les niveaux de référence (ou situations contrefactuelles) soient régulièrement réévalués et actualisés. Dans le cadre de cette réévaluation, les informations relatives aux émissions réelles dans des zones de référence deviennent pertinentes pour l'établissement d'une nouvelle situation contrefactuelle *ex ante*. L'Alliance CCBA exige également l'analyse des impacts *ex ante* d'un projet sur les moyens d'existence et la biodiversité par rapport à la situation contrefactuelle, ainsi que la vérification périodique de ces estimations. L'évaluation *ex post* quantitative et empirique que nous préconisons dans ce guide est très semblable à la démarche de vérification de projet comprenant la réévaluation (la révision) du niveau de référence.

La différence principale entre les méthodes présentées dans ce guide et la MNV du carbone provient du fait que les porteurs de projet se concentrent généralement sur l'élaboration de scénarios de niveaux de référence *ex ante* définissant les crédits pouvant être attendus si les résultats prévus se réalisent dans la zone du projet, tandis que les méthodes présentées ici s'attachent à s'approcher le plus possible de ce qui se serait passé dans la situation contrefactuelle en partant d'informations *ex post*. L'autre différence entre la comptabilité carbone et l'évaluation des impacts sur les moyens de subsistance des populations concerne la mesure des résultats, opération plus ou moins délicate. Dans le cas du carbone, la reconstitution d'un historique de données relatives à la couverture terrestre est généralement possible grâce à la télédétection et peut servir de base tant aux projections *ex ante* du niveau de référence du

carbone et qu'à l'analyse des émissions de carbone *ex post* dans la zone du projet. En revanche, les données de source secondaires concernant les conditions socioéconomiques sont généralement beaucoup plus limitées, ce qui veut dire que les porteurs de projet ou les chercheurs doivent recueillir les données primaires eux-mêmes en commençant avant le lancement du projet. Comme nous l'indiquons dans la Fiche technique 6, ces données peuvent être obtenues en faisant appel aux souvenirs des personnes interrogées concernant les conditions antérieures au projet, mais cette approche a ses limites.

La comptabilité carbone d'un projet et la recherche design (*design-based research*) dans le domaine des impacts sociaux, dont il est question ici, sont apparentées sur certains grands points. Ainsi, ces deux domaines de travail :

1. reposent sur une estimation crédible de la situation contrefactuelle (appelée « niveau de référence » dans la littérature consacrée au carbone) ;

2. sont axés sur la mesure fiable de critères de jugement pertinents (changements d'utilisation du sol et émissions par rapport au revenu, à la consommation et au niveau de richesse) ;

3. cherchent à déterminer si les résultats apparentes sont imputables au projet (appelés « tests d'additionalité » dans les référentiels du marché du carbone volontaire, et « effets du traitement » en évaluation d'impact) ;

4. se préoccupent des retombées et des fuites (en définissant par ex. un périmètre de fuites qui sera contrôlé dans le cas des référentiels du marché volontaire du carbone, et en vérifiant la «SUTVA» ou l'hypothèse d'absence d'effets de diffusion du traitement dans le cas des évaluations d'impact).

En pratique, si un projet conduit à une rétention de carbone (additionnalité), c'est qu'il aura sûrement influé sur le comportement et le bien-être humains, ce qui aura probablement créé des fuites, les hommes réagissant toujours en tentant de maximiser l'utilité lorsqu'ils se trouvent confrontés à des contraintes. Si l'additionnalité dans la zone du projet a été obtenue au détriment du bien-être économique (par réduction de la
production par ex.), des fuites vers d'autres zones ont toutes les chances de se produire ; lesquelles se traduiront par une augmentation du bien-être (par augmentation de la production par ex.). Cette constatation concorde bien avec l'inquiétude exprimée fréquemment selon laquelle les fuites sont susceptibles de conduire à plus d'émissions de carbone (c'est-à-dire qu'elles s'inscrivent négativement au bilan du carbone). Ainsi, la vraie question en matière d'impacts socioéconomiques de la REDD+ est peut-être celle de la répartition de ces impacts plus que celle du total net des impacts sur le bien-être. Cette question est abordée dans la Fiche technique 9 qui traite des impacts sur la répartition du bien-être, et plus loin dans cette section, lorsque nous définissons les zones et usagers de la forêt à « traiter » et ceux qui serviront de témoins. Même si les impacts de projet peuvent s'étendre à un périmètre beaucoup plus important, il reste essentiel d'étudier les impacts socioéconomiques « locaux » pour un certain nombre de raisons, liées aux droits et revendications locales relatives aux ressources forestières, au rôle direct des acteurs locaux dans la détermination de l'avenir de la forêt (et par conséquent la permanence des crédits de carbone) et la condition relativement défavorisée de ces acteurs locaux, méritant à ce titre une attention spéciale.

## 2.1 Choix de la méthodologie de recherche : hypothèses fondamentales

Dans ce guide, nous décrivons une série de méthodes d'évaluation d'impact pour les projets de REDD+ qui sont des activités infranationales mises en œuvre dans une zone géographique définie et/ou faisant intervenir un sous-ensemble d'« usagers de la forêt », comprenant des ménages mais aussi éventuellement des entreprises, qui sont propriétaires de la forêt, la gèrent ou en utilisent les ressources. Les méthodes décrites peuvent également servir à estimer les impacts dans le cadre de la participation à des programmes nationaux (par ex. les PSE au Costa Rica et au Mexique), si toutefois il y a bien une variation au niveau de la couverture du programme, c'est-à-dire si l'on dispose de données sur des participants et des non participants (si tous les usagers de la forêt qui sont éligibles ne participent pas par ex.).

Ces projets et programmes se caractérisent par le fait que l'impact global dépend de la proportion de population concernée (régions retenues, catégories d'usagers de la forêt choisies pour participer par ex.) et de l'effet de causalité de l'intervention sur cette population. Les méthodes présentées dans ce guide visent principalement à estimer l'effet de causalité sur la population concernée. En évaluation d'impact, cet effet est appelé l'effet du « traitement ». Comme nous le verrons plus loin dans cette section, un « traitement » peut correspondre à des interventions différentes, allant du propriétaire forestier pouvant se lier par un contrat PSE de sa propre initiative, aux répercussions des changements de gestion dans une concession forestière sur les populations dépendantes des forêts situées à proximité.

Les méthodes d'évaluation d'impact présentées dans ce guide se fondent sur l'analyse statistique de preuves empiriques, à savoir d'observations (obtenues par enquête, télédétection ou données secondaires) de résultats dans le monde réel. Ces méthodes sont appliquées dans les conditions de traitement suivantes :

1. Il faut des régions ou des usagers de la forêt recevant le traitement, et d'autres qui ne le reçoivent pas. Le corollaire de cette condition est qu'il faut pouvoir imaginer qu'une région ou des usagers de la forêt traités puissent ne pas avoir reçu le traitement. Ainsi, ces méthodes ne peuvent être appliquées dans le cas d'une politique nationale affectant toute la population d'un pays ou d'une certaine catégorie, comme une loi concernant tous les groupes autochtones.

2. Les participants doivent être nombreux pour que l'estimation de l'effet moyen du traitement ait un sens (il pourra s'agir de l'effet moyen sur les traités ou sur toute la population). Par exemple, ces méthodes ne peuvent pas convenir pour estimer les impacts sur une seule grande entreprise d'exploitation forestière dans un pays où quelques entreprises de cette nature uniquement exerceraient cette activité.

Lorsque des usagers de la forêt en nombre suffisant sont affectés par un projet sans pour autant recevoir le traitement dans leur totalité, les méthodes
présentées dans ce guide peuvent être employées
pour évaluer les impacts suivants :

1. Evaluation *ex post* d'impacts réalisés, donc des impacts que le projet a causés. Cet exercice se rapproche fortement du processus de vérification mené dans l'optique des normes actuelles du marché volontaire du carbone, consistant à réévaluer et à actualiser le niveau de référence du projet. Il diffère des projections *ex ante* exigées dans le cadre de la validation de projet par rapport aux référentiels de ce marché. La plupart des méthodes présentées dans ce guide diffèrent également de la vérification de ce qui s'est produit dans la zone du projet par rapport au niveau de référence projeté, souvent exigée pour la vérification initiale de projet. Juger d'un projet par rapport à un niveau de référence projeté réduit l'incertitude relative aux crédits d'émission de carbone attendus, puisque ces crédits ne dépendraient alors que des résultats du projet comparativement au niveau de référence projeté, et non de tous les facteurs indépendants du projet, susceptibles d'avoir une influence sur la situation contrefactuelle. En mesurant les impacts d'un projet par rapport à une situation contrefactuelle représentative de ce qui se serait passé si le projet n'avait pas eu lieu, les méthodes présentées dans ce guide n'apportent pas tellement la certitude souhaitée par les investisseurs. Elles apportent plutôt des informations favorisant *la capitalisation de l'expérience* pour l'avenir, plus que *le jugement* des performances passées d'un projet.

2. Evaluation des impacts attendus dans un créneau temporel pertinent pour la formulation de politiques. Pour que l'évaluation d'impact permette d'éclairer les débats politiques sur la REDD+, les résultats d'évaluation doivent être disponibles en temps utile. Or, ce délai est trop court pour permettre l'observation empirique des impacts à long terme de la REDD+, en supposant que les décisions relatives aux stratégies d'atténuation des changements climatiques seront adoptées avant que les impacts à long terme ne soient constatés (à l'horizon de 10 ans). Cependant, comme l'explique la Fiche technique 8, les résultats observés pourraient être les étapes

intermédiaires d'un modèle de causalité
rendant compte du long terme. Ainsi, des
changements affectant la détention des actifs
ou les fluctuations des migrations saisonnières
qui peuvent être observés pourraient devenir
des variables essentielles pour la modélisation
de l'augmentation du bien-être et de l'évolution
de l'utilisation du sol à long terme. Il est certain
que les impacts des projets de REDD+ à longue
échéance ont une importance capitale pour
l'atténuation des changements climatiques.
Nous pouvons avoir plus confiance en des
projections à long terme qui reposent sur des
hypothèses concordant avec les conclusions
d'évaluations empiriques *ex post* d'impacts
intermédiaires, auxquelles on a abouti
en appliquant des méthodes rigoureuses
ayant permis d'éliminer les *explications
contradictoires*.

3. Evaluation des impacts *directs* du traitement. Tout au long du guide, nous avons effectué la simplification consistant à considérer que le traitement est *binaire* : un usager de la forêt est soit « traité », soit « non traité » par un projet. Cela ne veut pas nécessairement dire qu'il habite à l'intérieur des limites du projet, comme le veut la définition dans le cadre de la comptabilisation du carbone. Par exemple, le traitement pourrait se baser sur la résidence (au début du projet) dans la zone élargie du projet qui comprend les communautés adjacentes, comme c'est le cas dans les référentiels CCB. Il est évident cependant que la réalité est beaucoup plus nuancée, la plupart des projets de REDD+ ayant des dimensions et des niveaux de participation multiples, comme des répercussions directes et indirectes sur les ménages et les entreprises. Nous étudions ci-après les difficultés posées par la définition de la participation, ou traitement, ainsi que les différentes variantes possibles.

Le Tableau 1 peut aider à choisir une méthodologie
de recherche permettant de mesurer l'impact des
projets de REDD+, si les conditions décrites ci-
dessus sont respectées. Si elles le sont, les méthodes
proposées peuvent servir à analyser l'impact de
tout type d'intervention de projet de REDD+
en fonction de critères de jugement mesurables,
comme le couvert forestier, la biodiversité et le
<table><caption>Tableau 1. Possibilités de méthodologies de recherche ayant pour objectif l'évaluation d'impact ex post fondée sur l'évidence empirique</caption><thead><tr><td>Commencement avant le lancement du projet ?</td><td>Intérêt suscité/ budget pour la collecte de données de contrôle ?</td><td>Capacité d'influer sur la conception du projet ?</td><td>Méthodologie de recherche</td><td>Élaboration de scénarios contrefactuels en...</td><td>Nécessité d'utiliser des techniques d'appariement ?</td></tr></thead><tbody><tr><td>Oui</td><td>Oui</td><td>Oui</td><td>Randomisation (Fiche technique 3)</td><td>Allocation aléatoire des sites de projet et de contrôle</td><td>Peut-être</td></tr><tr><td>Oui</td><td>Oui</td><td>Non</td><td>Avant-après/ contrôle-intervention (BACI) (Fiche technique 4)</td><td>Données d'observation aux sites de contrôle avant et après l'intervention</td><td>Oui</td></tr><tr><td>Oui</td><td>Non</td><td>Non</td><td>Avant-après (BA) + projection d'un scénario contrefactuel (Fiche technique 5)</td><td>Modèles, souvent construits à partir de tendances historiques<sup>a</sup></td><td>Peut-être</td></tr><tr><td>Non</td><td>Oui</td><td>Non</td><td>appariement des unités de contrôle-intervention (CI) (Fiches techniques 5 et 7)</td><td>Données d'observation (et aussi souvent recueil de souvenirs) aux sites de contrôle après l'intervention</td><td>Oui</td></tr><tr><td>Non</td><td>Non</td><td>Non</td><td>Autoréférentielle ou rétrospective (Fiche technique 6)</td><td>Estimation des « changements dus au projet » à partir d'opinions et/ou de souvenirs</td><td>Non</td></tr></tbody></table>

a Les données d'« avant-après » relatives au projet peuvent également être combinées à des modèles de simulation de scénarios contrefactuels, ou à des analyses qualitatives de situations contrefactuelles réalisées en récoltant les points de vue des populations. Cette approche présente de grandes similitudes avec l'élaboration de scénarios contrefactuels de déforestation/ dégradation dans le cadre des projets de REDD+ : consulter la Fiche technique 8.

bien-être économique et social. Dans le cas de la dimension bien-être, les critères de jugement et indicateurs possibles sont nombreux. Bien entendu, le choix des indicateurs doit découler d'une décision bien pensée (cf. Fiche technique 2), mais il ne dépend pratiquement pas du plan expérimental choisi, sauf dans le cas de la méthodologie dans laquelle les participants doivent se souvenir des conditions antérieures au projet (ou imaginer ce que seraient les conditions sans projet). Dans ce cas alors, l'évaluation se limitera aux types de critères et au niveau de précision des souvenirs que l'on peut raisonnablement espérer de la part des personnes interrogées (cf. Fiche technique 6).

## 2.2 Choix d'une méthodologie de recherche : questions fondamentales

Cinq plans expérimentaux d'évaluation des impacts d'un projet de REDD+ sont présentés dans le Tableau 1. Le choix du plan est conditionné par les réponses apportées à trois questions (dans les colonnes de gauche du Tableau 1), détaillées ci-après. Ce tableau et ces questions ont été formulées dans l'optique de la question d'évaluation la plus simple possible, à savoir : quel est l'impact du projet ? (À la section 3, nous reparlerons de l'évaluation de l'impact de la mise en œuvre d'un projet)
**Q1. La conception de l'évaluation d'impact précède-t-elle l'intervention de REDD+ à évaluer ?** Le plus souvent, les évaluations d'impact sont lancées après la conception et la mise en œuvre de l'intervention, toutes les ressources dont on dispose au début du projet étant consacrées à la mise en œuvre, c'est-à-dire à la mise en place de l'intervention. Cependant, les estimations *ex post* des impacts de projet seront plus crédibles si un concept expérimental est intégré au projet et/ou si des données sont collectées *ex ante*, avant que l'intervention ne commence. Nous étudierons plus avant dans cette section la question de savoir comment définir le point de départ du projet.

**Q2. L'évaluation bénéficie-elle de ressources et d'une mobilisation suffisantes pour développer la collecte d'informations relatives aux usagers de la forêt qui ne sont pas inclus dans le projet ?**
Il s'agit d'une tâche nécessitant un investissement allant au-delà des exigences des référentiels des marchés volontaires du carbone (VCS ou CCBA par ex.). La définition d'un niveau de référence pour la validation demande en général une analyse des événements se produisant dans la région dans son ensemble, mais non la collecte d'informations continue en dehors de la zone du projet. De la même façon, la surveillance et la vérification concernent la zone du projet, et le cas échéant, un « périmètre de fuite » ou zone tampon. Le renouvellement de la période prise en compte pour l'attribution de crédits de REDD+ exige en général l'analyse des changements d'utilisation du sol dans la région de référence (située au-delà de la zone du projet) dans le but de définir un autre niveau de référence pour la période de comptabilisation suivante. Cette analyse s'appuie souvent sur la télédétection accompagnée d'informations recueillies auprès des usagers de la forêt au moyen de méthodes participatives ou qualitatives. La collecte de données sur les usagers de la forêt en dehors de la zone du projet au moyen d'enquêtes n'est pas une pratique courante dans les projets de REDD+, ni dans les initiatives de conservation (cf. Wilkie et al. 2006 qui présentent une exception).

**Q3. Si la conception de l'évaluation est effectuée avant la mise en œuvre et qu'il y a suffisamment de ressources pour collecter des données sur les non participants, la troisième question à se poser**

est la suivante : l'intervention elle-même peut-elle être conçue pour faciliter l'évaluation ? Plus précisément, les évaluateurs peuvent-ils avoir une influence sur le choix des personnes ou des zones qui recevront l'intervention et sur le moment de cette intervention? La réponse à cette question dépendra à la fois de la relation entre l'évaluateur et le porteur de projet et de la nature de l'intervention à évaluer.

Elle dépend également de son échelle : les évaluateurs ne pourront probablement pas (et ne souhaiteront sans doute pas) influer sur le choix de l'état ou de la province où sera mis en œuvre un projet ; en revanche, à l'autre extrême au regard de l'échelle, les PSE constituent des échanges fondés sur le volontariat : à ce titre, la participation de chaque ménage ou de chaque exploitation agricole ne doit pas reposer sur la contrainte, mais la localisation initiale du programme de PSE (villages particuliers par ex.) pourrait être choisie de manière à faciliter l'évaluation *ex post* de l'impact de ce programme.

## 2.3 Choix d'une méthodologie de recherche : options fondamentales

Il est aussi possible de répondre aux trois questions du Tableau 1 en commençant par la dernière, comme le montre la Figure 2. Cette démarche met en évidence la décision essentielle de l'intégration d'un concept expérimental dans l'intervention. Pour utiliser un tel concept pour mesurer l'impact d'un projet dans sa globalité, la conception de l'évaluation doit être réalisée avant l'intervention, et de plus, il faut des ressources pour collecter les données sur les témoins des groupes de contrôle. Si ces conditions sont réalisées, sur la partie supérieure du schéma de la Figure 2, les réponses aux questions Q1, Q2 et Q3 seront toutes « oui ». Dans un tel cas, le traitement peut être randomisé (allocation aléatoire comme dans un tirage au sort), ce qui permet d'assurer qu'en moyenne, les usagers de la forêt inclus dans le projet seront semblables aux usagers non inclus du point de vue de leurs caractéristiques observables, telles que la taille de leur famille, mais aussi de caractéristiques non observables, telles que leur préférence pour le travail en forêt. Comme ni les usagers de la forêt, ni les administrateurs d'un programme
<figure><img src="image_7.png" /><figcaption>Figure 2. Arbre décisionnel pour le choix d'une méthodologie de recherche</figcaption></figure>

ne décident qui sera inclus dans le projet, cette décision résultant d'un procédé de randomisation indépendant, il n'existera aucun lien entre le traitement et d'autres facteurs susceptibles d'influer sur les résultats. Il n'y aura donc pas de biais de sélection (cf. Fiche technique 3). Cette procédure fournit les estimations d'impact causal les plus crédibles. Dans d'autres domaines, elle permet d'élargir et de diffuser des modèles politiques prouvés efficaces (on attribue par ex. à l'évaluation d'impact rigoureuse du programme de transfert monétaire conditionnel au Mexique la mise en place de programmes équivalents dans d'autres pays (Banque mondiale 2009).

La randomisation peut s'effectuer de diverses manières. Par exemple, lorsqu'un projet est souscrit (lorsque le nombre de ménages qui souhaitent des contrats de PSE ou des emplois dans le cadre du projet dépasse les fonds disponibles), les participants pourraient être sélectionnés de manière aléatoire dans un pool de candidats. Dans le cas d'un lancement de projet par étapes, les premières zones de mise en œuvre du projet pourraient être choisies aléatoirement. La possibilité de participer à un contrat de PSE pourrait d'abord être donnée aux usagers de la forêt dans un groupe de villages choisis de manière aléatoire, puis, trois années après, à un autre groupe sélectionné aussi de manière aléatoire.

Pour tirer des conclusions sur les impacts causaux, des données doivent être collectées sur les usagers de la forêt inclus (à savoir les traités) et ceux non inclus dans le projet (à savoir les témoins), l'inclusion ou la non inclusion étant déterminée de manière aléatoire. Si le projet permet aux usagers de la forêt d'en tirer des bénéfices (comme dans le cas des PSE), il pourrait être opportun pour des raisons politiques ou éthiques de proposer aux usagers du groupe de contrôle de participer au projet à une date ultérieure. Ce principe cadre bien avec les contraintes financières et les plans d'intensification de la mise en œuvre qui sont souvent associés aux projets, mais il est plus difficile à appliquer dans les cas où le financement n'est garanti que pour une courte durée.

Les données relatives aux usagers de la forêt inclus et non inclus doivent être recueillies de préférence avant et après la mise en œuvre du projet, de manière à vérifier qu'ils présentent une distribution initiale de caractéristiques équivalente (à effectuer avant le projet) et à comparer les résultats obtenus (à effectuer après le projet). (Il faut au moins que les données relatives aux caractéristiques et résultats du traitement soient collectées après l'intervention.) Si l'on s'attend à ce que les échantillons du groupe d'usagers de la forêt traités et du groupe de contrôle soient similaires du fait de la randomisation, chaque opération d'allocation aléatoire peut produire
des échantillons présentant des différences de caractéristiques initiales significatives sur le plan statistique. Dans ce cas, les méthodes d'ajustement, présentées ci-après, peuvent être utilisées pour définir et attribuer des coefficients de pondération à des sous-échantillons définis dans le groupe de contrôle.

Même si la Figure 2 présente deux ramifications principales, il existe une troisième éventualité, qui se produit lorsque les porteurs de projet intègrent de manière fortuite un élément aléatoire dans le choix des usagers de la forêt inclus dans le projet, créant ainsi « une expérience dans les conditions naturelles ». Prenons un exemple dans lequel des sites de projet sont choisis en fonction de l'emplacement de certaines parcelles correspondant à un ancien inventaire botanique. Si la position de ces parcelles ne correspond plus aux conditions biophysiques et socioéconomiques actuelles, elle pourrait être utilisée comme « variable instrumentale » de la participation au projet. Pour que cette approche soit utile pour l'évaluation, il faut que l'élément aléatoire soit un déterminant puissant d'inclusion dans le projet mais qu'il ne présente aucun lien avec les résultats. Ce type d'élément aléatoire apparaît rarement dans les projets, mais quand il est présent, il est particulièrement intéressant de réaliser une approximation du concept expérimental via la méthode des variables expérimentales (Angrist et Pischke 2009) en recueillant des données sur cet élément.

Dans le cas où l'on ne pourrait mettre en place un concept expérimental (ou une « expérience dans les conditions naturelles »), la Figure 2 conduit à une matrice de méthodologies de recherche « quasi-expérimentales ». La méthodologie la plus couramment employée par les porteurs de projet est BA, qui compare les résultats dans la zone du projet « avant » et « après » l'intervention (souvent complétée par la modélisation de résultats contrefactuels). En revanche, la méthodologie la plus fréquemment évoquée dans la littérature scientifique traitant de l'évaluation d'impact *ex post* est CI, qui compare les résultats dans les zones de contrôle et d'intervention. La méthodologie quasi-expérimentale qui donne les estimations d'impact les plus crédibles, mais dont la mise en œuvre est

aussi la plus délicate et la plus coûteuse, est BACI ou « avant-après/contrôle-intervention ». Enfin, si on ne dispose d'aucune information antérieure au projet et si la collecte de données auprès de non participants au cours du projet n'est pas possible (en raison de contraintes budgétaires ou autres), il reste la solution consistant à demander aux participants d'évaluer eux-mêmes l'impact du projet ou de se souvenir des conditions antérieures à celui-ci. Même si le recueil des points de vue et des idées des participants à l'aide d'enquêtes doit faire partie de toute évaluation globale sérieuse (volet qualitatif ou participatif dans une approche méthodologique mixte par ex.), les données ainsi recueillies ne peuvent constituer des preuves « d'observation » substantielles. Par conséquent, cette solution est à considérer en dernière extrémité.

Si l'évaluation est lancée avant l'intervention (à savoir si la réponse à la question Q1 est « oui »), les données initiales collectées doivent porter sur :

1. les modalités d'inclusion des usagers de la forêt dans le projet, souvent appelées « procédé d'inclusion » (y compris des informations relatives aux candidats refusés, le cas échéant) ;

2. la valeur initiale des critères de jugement utilisés, tels que revenu, patrimoine, et dépendance à la forêt ;

3. les caractéristiques relatives aux ménages, exploitations agricoles ou villages ayant une influence sur (1) et (2).

Ces informations doivent être recueillies *au moins* pour les usagers de la forêt inclus dans le projet, afin de pouvoir utiliser la méthode BA (Fiche technique 5). Cette opération devrait s'intégrer sans trop de difficultés à la collecte de données initiales nécessaires pour concevoir un projet et obtenir la validation de celui-ci dans le cadre du marché volontaire du carbone. Afin de pouvoir mettre en œuvre les plans expérimentaux BA ou BACI dans leur intégralité, les données doivent être enregistrées de telle façon que les mêmes villages et ménages puissent être revisités dans la phase d'« après » (les informations doivent concerner des usagers de la forêt précis et non seulement des moyennes, de manière à pouvoir constituer une série de données de panel). En cas d'impossibilité, les méthodes d'ajustement (décrites ci-après)
permettent de définir des cohortes de ménages semblables dans les phases de l'avant et de l'après projet (Shadish et al. 2002).

Même si le plan expérimental BA s'intègre généralement bien aux plans de collecte de données des porteurs de projet, il ne permet pas d'analyser clairement les impacts causaux du projet. Pour surmonter ce problème, on peut supposer que les conditions seraient restées constantes si le projet n'avait pas eu lieu, mais la réalité sera sûrement différente. On peut également faire une extrapolation à partir de tendances observées dans la période antérieure au projet (par ex. si les personnes interrogées rapportent une diminution des emplois et des revenus, on peut supposer que cette diminution se serait poursuivie). Cependant, les résultats obtenus pour les usagers de la forêt « traités » par le projet ont toutes les chances de dépendre non seulement des tendances antérieures et du projet, mais aussi de changements qui se produisent au même moment (concomitants). Les variations macroéconomiques, des changements politiques et réglementaires, des événements climatiques exceptionnels et des programmes et politiques n'ayant rien à voir avec les projets sont autant de facteurs susceptibles d'influer sur les résultats, en occultant ou exacerbant l'effet de l'intervention si les conditions antérieures au projet et les tendances passées sont prises comme « situation contrefactuelle contrefaite » (cf. Encadré 5 qui donne la définition de cette expression et des exemples). Dans les méthodologies élaborées pour le marché volontaire du carbone, on surmonte généralement ce problème en faisant une projection du résultat contrefactuel à l'aide d'un modèle (cf. Fiche technique 5).

La neutralisation empirique des effets éventuels de changements concomitants (par l'observation plutôt que par la modélisation) nécessite de récolter des données sur les non participants, c'est-à-dire les témoins du groupe de contrôle, ce qui signifie que la réponse à la question Q2 doit être « oui ». Pour estimer l'effet du traitement, il faut que les témoins soient semblables aux usagers de la forêt du projet au regard de toutes leurs caractéristiques susceptibles d'avoir une influence sur l'inclusion dans le projet, ainsi que sur les résultats de celui-ci (cf. Fiche technique 10 consacrée aux variables).

Il s'agit d'une condition nécessaire pour les deux méthodologies CI et BACI. Or, tout village, tout ménage possède des caractéristiques qui lui sont propres ; dans la réalité, les usagers « témoins » ne peuvent donc ressembler parfaitement aux usagers du projet. C'est également valable pour la randomisation dans laquelle les non participants du groupe de contrôle et les participants au projet sont sélectionnés de manière aléatoire. Néanmoins, en toute probabilité, et en moyenne, les participants des deux groupes présenteront des similitudes, puisqu'ils proviennent de la même population dans laquelle ils ont été choisis de manière aléatoire. Les méthodes quasi-expérimentales cherchent à reproduire ce protocole en sélectionnant un groupe de témoins, qui en toute probabilité et en moyenne, ressemblera au groupe traité : on dit alors que les échantillons de traités et de témoins sont « équilibrés ».

L'appariement, présenté dans la Fiche technique 7, s'utilise souvent pour définir des échantillons équilibrés de traités et de témoins. Avant la collecte de données, on procédera éventuellement à un pré-appariement en fonction de caractéristiques facilement observables : l'échantillon ainsi défini pourrait ainsi comprendre des témoins potentiels qui habitent dans la même zone écologique ou le même bassin versant que les usagers de la forêt traités dans le cadre du projet. Ce processus de pré-appariement pourrait également être réalisé en fonction de critères secondaires plus complexes. Par exemple, les villages témoins les plus semblables aux villages traités pourraient être sélectionnés par appariement statistique : on obtient ainsi un jeu de villages traités et témoins « appariés », parmi lequel on sélectionne aléatoirement les usagers de la forêt dans la dernière étape d'échantillonnage. Des programmes économétriques comme STATA et R sont couramment utilisés : ils proposent en effet des progiciels ou des modules d'automatisation de l'appariement et produisent notamment des indicateurs de répartition « équilibrée » des caractéristiques entre les deux échantillons. Il est surtout important d'obtenir une répartition équilibrée des caractéristiques qui sont potentiellement des facteurs de confusion, c'est-à-dire des facteurs qui conditionnent l'inclusion dans le projet et qui influent sur les critères de jugement utilisés pour évaluer les résultats.
## Encadré 5. Le problème du raisonnement contrefactuel contrefait

La simple comparaison des conditions postérieures au projet avec les conditions antérieures ou celles d'un autre site, suivie de l'imputation au projet de toute variation observée des critères de jugement, ne permet pas d'éliminer les explications contradictoires sur le plan du bien-être économique. C'est pourquoi ces comparaisons avant-après et avec-sans sont souvent appelées « raisonnements contrefactuels contrefaits ». Ces démarches inadaptées ont conduit à l'élaboration des approches d'évaluation d'impact étudiées dans ce guide dont la randomisation et la méthodologie de recherche BACI (Khandker et al. 2010). Des comparaisons simples avant-après et avec-sans ont souvent été utilisées pour estimer les impacts des interventions dans le domaine de la conservation. Parmi les exemples les plus caractéristiques figurent Bruner et al. (2001) et Oliveira et al. (2007) qui s'appuient sur des comparaisons avec-sans pour estimer l'impact des aires protégées sur la biodiversité et le recul de la forêt, respectivement. Les exemples suivants illustrent comment ces « analyses contrefactuelles contrefaites » peuvent conduire à attribuer à un projet de REDD+ des résultats erronés sur le plan du bien-être.

Imaginons qu'un projet de REDD+ a été lancé dans une région boisée située non loin de la capitale dans un pays X. Des données détaillées relatives au bien-être économique sont recueillies parmi les populations dans la zone du projet, juste avant que ne débutent les activités, puis de nouveau cinq années plus tard (cf. Figure 3). Les données collectées mettent en évidence une dégradation moyenne considérable du bien-être économique. L'évaluation du projet attribue cette dégradation du bien-être au projet de REDD+, à la grande déception des porteurs du projet, des bailleurs de fonds et du gouvernement du pays X. Or, il se trouve qu'au moment où débutait le projet, le pays X dévaluait sa monnaie et la fonction publique subissait des baisses importantes d'effectifs et de salaires, entraînant une période de déclin du bien-être économique de plusieurs années. Les catégories de la population fortement dépendantes des revenus de la fonction publique et ayant de nombreux échanges commerciaux dans l'économie de marché ont été les plus touchées. Même si le site du projet de REDD+ n'a pas été épargné par cette dégradation du bien-être économique, les recettes tirées du carbone ont en fait permis aux populations de mieux conserver leur niveau de vie qu'elles n'auraient pu le faire en l'absence du projet de REDD+. Cependant la comparaison simple avant-après est passée à côté de cet impact.

<figure><img src="image_8.png" /><figcaption>**Figure 3.** Attribution erronée d'une baisse du bien-être à un projet REDD+ suite à une comparaison avant-après</figcaption></figure>

Imaginons maintenant une comparaison simple avec-sans au même endroit (cf. Figure 4). Le bien-être économique est mesuré une fois, cinq années après le début du projet, auprès de la population ayant bénéficié du projet de REDD+, et aussi dans des localités situées dans la même province, mais en dehors de la zone du projet de REDD+. Les données mettent en évidence un écart important de bien-être moyen entre le site du projet et le site de contrôle, celui-ci paraissant mieux loti. L'évaluation conclut également que le projet de REDD+ a été préjudiciable aux populations sur le plan économique. Cependant, lorsque les effectifs de la fonction
publique ont été réduits, les emplois des fonctionnaires appartenant au même groupe ethnique que le président ont été épargnés. Or, ce groupe ethnique était majoritaire dans la population du groupe de contrôle, mais non dans la population du projet de REDD+. Du fait que les sites de contrôle et d'intervention n'ont pas été appariés en fonction de leur composition ethnique, la comparaison simple avec-sans attribue de manière erronée la baisse de bien-être au projet de REDD+.

<figure><img src="image_9.png" /><figcaption>**Figure 4.** Attribution erronée d'une baisse du bien-être économique à un projet de REDD+ suite à une comparaison témoin-intervention sans appariement</figcaption></figure>

L'appariement statistique est également utilisé après la collecte de données pour mettre en évidence les témoins les plus adaptés parmi tous les sondés. Une méthode répandue consiste à réaliser une estimation de modèle d'inclusion dans le projet (modèle de régression probit ou logit) à partir d'un grand nombre de variables recueillies par sondage, puis de réaliser un appariement selon le « score de propension » obtenu, ou la probabilité d'inclusion. L'appariement *ex post* est souvent effectué « avec remise », ce qui signifie que le même témoin peut être sélectionné plusieurs fois. De cette façon, les usagers de la forêt inclus dans le projet peuvent être appariés à un sous-échantillon de témoins de taille assez réduite, qui se compose des usagers les plus semblables. Ces sous-échantillons appariés servent ensuite soit à comparer directement les résultats (test t des différences de revenu moyen par ex.), soit à les calculer par des modèles de régression à variables multiples (revenu en fonction de caractéristiques des ménages et des exploitations agricoles et comme indicateur de participation au

projet). Puisque c'est le sous-échantillon obtenu par appariement qui est utilisé dans le calcul de la régression, les résultats sont obtenus sans extrapolation à partir de groupes d'usagers de la forêt traités et témoins très différents.

Dans la méthodologie CI, si des données secondaires relatives à la situation antérieure au projet (issues par ex. d'un recensement ou de la télédétection) peuvent être utilisées pour sélectionner un échantillon de villages à sonder, les enquêtes pour la collecte de données relatives aux ménages sont réalisées après l'intervention. De ce fait, il est ardu de sélectionner, avant le lancement du projet, des témoins qui soient semblables aux usagers de la forêt traités, du point de vue de facteurs confusionnels ayant une influence tant sur les résultats que sur l'inclusion dans le projet, sans être eux-mêmes affectés par le projet. L'appariement dans cette méthodologie repose souvent sur des données de rétrospection (détention d'actifs avant le projet par ex.) ou des
caractéristiques « invariables » (origine du chef de ménage par ex.), comme l'illustre la Fiche technique 7. C'est l'inconvénient potentiel majeur de la méthodologie CI : l'absence de données relatives aux facteurs de confusion principaux, qui peut provenir des difficultés liées à la reconstitution des conditions d'avant le projet ou, ce qui porte plus à conséquence, liées à l'observation de facteurs comme les préférences des ménages ou la configuration spatiale précise d'une exploitation agricole. L'Encadré 5 présente des exemples de situation contrefactuelle pouvant résulter d'un appariement inadapté entre les témoins et les traités.

Si les caractéristiques non observées des usagers de la forêt sont inchangées au cours du temps, leur influence peut être neutralisée en utilisant le plan expérimental BACI (Fiche technique 4), laquelle prévoit la sélection d'un échantillon de témoins avant l'intervention qui seront interrogés lors de la collecte des données de référence. Lors de cette phase initiale, on mesure les valeurs des critères de jugement et des facteurs confusionnels, de manière à réduire encore, le cas échéant, les effectifs de l'échantillon de contrôle. On mesure à nouveau les critères de jugement « après » le projet. Par ce procédé, on mesure deux « différences » : la variation des critères de jugement entre l'avant et l'après projet, et la comparaison de cette variation entre le groupe de contrôle et le groupe traité. Cette « différence des différences » représente l'impact du projet réel, non brouillé par des différences non observées, à condition cependant que ces différences soient invariables dans le temps. Les méthodes mixtes complémentaires seront donc utiles (observation directe et entretiens sur le terrain par ex.) pour déterminer les facteurs variables dans le temps mal pris en compte par les données. L'étude GCS-REDD+ du CIFOR suit une démarche BACI : les annexes de ce guide sont une mine d'informations pour ceux qui souhaitent mettre en œuvre cette méthode sur le terrain.

Pour mettre en œuvre l'approche BACI, il faut en général concevoir l'évaluation de manière anticipée, c'est-à-dire avant l'intervention ; mais dans certains cas, des données d'autres provenances (administrations, statistiques, organismes ou études) permettent d'adopter une méthodologie

approchante. Comme dans le cas des expériences dans les conditions naturelles, ces données sont rarement disponibles, mais il ne faut pas négliger de les rechercher et de les exploiter. Certains projets sont mis en œuvre sur un territoire relativement vaste (ou dans une population d'usagers de la forêt assez importante) de telle sorte que des données secondaires d'enquête sont représentatives, telles que celles produites par les recensements démographiques et sanitaires (DHS, pour *Demographic and Health Surveys*), les Études de mesure des niveaux de vie (LSMS), ou des enquêtes propres à certains pays telles que la *Pesquisa Nacional por Amostra de Domicílios* (PNAD) au Brésil ou l'enquête indonésienne sur la vie de famille (IFLS ou *Indonesia Family Life Survey*). Ces enquêtes peuvent être utilisées :

1. si elles ont lieu avant la mise en œuvre du projet et à une date ultérieure ;

2. si elles comprennent des questions sur les facteurs de confusion et les critères de jugement pertinents.

Pour des raisons liées à l'intensité d'échantillonnage et à la confidentialité, les résultats de ce genre font normalement l'objet de comptes rendus sous forme de données plus ou moins agrégées, qui peuvent être utiles pour les très gros projets. Pour les projets de taille plus réduite, les évaluateurs peuvent parfois avoir accès à des données désagrégées de manière confidentielle. Il est également possible que la région d'implantation d'un projet soit comprise dans une aire géographique où d'autres chercheurs ont déjà collecté des données sur les usagers de la forêt. Si ces chercheurs disposent de données sur les facteurs de confusion et les critères de jugement, et sont disposés à les communiquer, la méthodologie BACI pourrait être utilisée en revisitant les mêmes ménages pour les interroger dans la phase postérieure au projet.

L'approche d'évaluation de projet *ex post* la plus répandue est l'analyse rétrospective ou autoréférentielle qui est réalisée uniquement à partir de données relatives aux usagers de la forêt inclus dans le projet et uniquement après la mise en œuvre de celui-ci. Cette approche est celle qui est la plus diplomatique parce qu'elle ne cherche à obtenir des informations que de personnes ayant eu la possibilité de participer et donc de tirer
profit de la mise en œuvre du projet. L'analyse de l'impact de projet s'appuie dans ce cas sur les comptes rendus rétrospectifs d'usagers de la forêt concernant les critères de jugement avant le projet, comparativement à l'état actuel de ces critères après le projet, ou encore, sur leur propre évaluation des impacts du projet, telle qu'ils en font état. Les comptes rendus rétrospectifs peuvent être triangulés par l'utilisation de méthodes combinées, associant des entretiens auprès des ménages à des méthodes participatives et de groupe ; mais ils sont plus particulièrement adaptés aux critères de jugement mesurant le sens d'une variation, des événements ponctuels de grande ampleur ou des biens (indicateurs d'actifs plutôt que mesures de la consommation ou du revenu par ex.) ; cf. Fiche technique 6. Une autre approche consisterait à utiliser les techniques de préférences déclarées à partir d'évaluations non marchandes permettant de reconstituer la valeur ou le coût de l'autre hypothèse (si le projet n'avait pas eu lieu).

Même si l'approche rétrospective ou autoréférentielle est courante et pratique, les preuves qu'elle fournit relatives aux impacts ne sont pas aussi convaincantes que les méthodes utilisant des données obtenues avant l'intervention et/ou issues de témoins ne recevant pas l'intervention. Elle ne répond guère aux besoins d'une formulation des politiques fondée sur des faits démontrés et ne permet pas de résoudre les controverses soulevées par l'appréciation des impacts de la REDD+ au plan local. Dans les projets de pilotage ou de démonstration de la REDD+, nous devons nous attacher à collecter des preuves et à générer des informations sur les impacts à moyen terme de manière plus rigoureuse. Ces estimations d'impact seront essentielles à la projection des impacts à longue échéance et à grande échelle qui sont l'objectif de l'atténuation des changements climatiques sur le plan international.

## 2.4 Mise en œuvre de la méthodologie de recherche

### 2.4.1 Définition de l'« avant » et de l'« après »

De nombreux projets de REDD+ sont la continuation d'initiatives de préservation et de développement antérieures ; il est donc difficile

de leur attribuer un point de départ bien défini. Le début d'un projet peut être défini par la date de commencement de la période prise en compte pour l'attribution de crédits de REDD+ (pour le marché volontaire du carbone par ex.), mais il peut aussi être antérieur à cette date si l'on estime que les activités préparatoires ont eu un impact non négligeable sur le bien-être économique ou l'utilisation du sol. Pour résoudre ce problème, la date de début de projet peut définie de telle sorte qu'elle coïncide avec le début d'une intervention particulière telle qu'un système de PSE ou de surveillance et de contrôle d'exécution en temps réel, et en privilégiant l'évaluation de l'impact de cet élément particulier par rapport à celle d'autres impacts d'activités passées et en cours. Dans le cas des méthodologies de recherche BA ou BACI, cette date permettra de déterminer la période de collecte des données antérieures au projet qui se rapportent aux critères de jugement étudiés. Dans le cas des autres méthodologies, elle influera sur la collecte des données rétrospectives.

De préférence, les données rétrospectives pour l'appariement ou l'estimation des impacts doivent concerner la période située immédiatement avant le début du projet. L'utilisation de données postérieures au lancement du projet pour la définition du niveau de référence risque de conduire à une sous-estimation des effets du projet (méthode rétrospective) et d'être à l'origine d'un biais lors de la sélection des témoins (méthode contrôle-intervention). En revanche, l'utilisation de données trop anciennes par rapport au début du projet conduira à réduire la précision des estimations, mais ne créera pas de biais. Comme le montre la Fiche technique 6, le choix de la période d'obtention des données rétrospectives dépend également de facteurs pratiques : des événements notables (sécheresse, élections par ex.) peuvent améliorer l'acuité du souvenir.

La phase d'« après » peut être encore plus difficile à définir que celle d'« avant ». De par leur nature, les projets de REDD+ sont dotés d'horizons très lointains (à savoir que pour recevoir des crédits carbone découlant d'une modification de la déforestation et de la dégradation des forêts, il faut faire la preuve de la « permanence » des projets). Or, si l'on veut tirer les enseignements des projets
pilotes de REDD+, il est irréaliste de supposer que l'on peut attendre 20 ou 30 ans pour évaluer les impacts biophysiques ou sociaux des interventions. La représentation de la chaîne de causalité décrite dans la section 3 peut être utile pour situer dans l'échéancier du projet la date à laquelle les impacts devraient pouvoir être observés. Il est préférable de collecter les données relatives aux critères d'évaluation en campagnes successives afin de comprendre l'évolution des impacts au fil du temps et de changer de cap si les résultats escomptés ne sont pas observés. Cependant en raison de la nécessité d'orienter les décisions politiques à partir d'informations vérifiées, les données relatives aux résultats seront plutôt collectées assez tôt après la mise en œuvre et reflèteront de ce fait les impacts à court terme. Par exemple, l'étude GCS-REDD+ prévoit d'analyser les impacts sociaux deux années après la mise en œuvre, délai qui correspond à la période minimale d'apparition de ce type d'effet.

## 2.4.2 Définition des groupes de contrôle et d'intervention

Le Tableau 1 et la Figure 2 fournissent des repères pour l'évaluation des impacts des projets de REDD+ dans leur globalité, en supposant que les usagers de la forêt puissent être classés en participants (soumis directement aux impacts) et en non participants (non soumis aux impacts). Dans cette partie, nous étudions l'application de ces concepts à d'autres situations, en particulier à des projets consistant en de nombreuses interventions, se déroulant à des échelles très différentes, ou causant des impacts indirects ou des fuites. Pour illustrer notre propos, nous nous appuierons sur un exemple de contrats de PSE souscrits par des agriculteurs s'engageant à préserver la portion boisée de leurs exploitations, sachant que les concepts présentés peuvent être généralisés à d'autres interventions (création d'emplois locaux pour restaurer la forêt publique par ex.) et à d'autres catégories d'usagers de la forêt (ménages ramassant du bois pour la cuisine et le chauffage par ex.). Nous conclurons cette partie en recommandant des points de départ d'évaluation qui permettront de s'adapter à ces situations.

Dans le cas de projets comprenant des interventions multiples, des traitements « multiples » peuvent être définis. Par exemple, des agriculteurs ayant conclu des contrats de PSE avec le porteur de projet

formeront un groupe de traitement, tandis que ceux recevant de l'assistance technique en formeront un second. Ces groupes pourront être comparés entre eux et par rapport à un troisième groupe de non participants, possédant des caractéristiques semblables mais ne recevant aucun des traitements. Même si nous nous sommes penchés sur une définition binaire du traitement pour des raisons de clarté de l'exposé, toutes les méthodes du Tableau 1 pourraient être utilisées pour évaluer des variantes d'interventions. Dans certains cas, la question n'est pas tant de connaître l'ampleur exacte de l'impact d'un projet, mais plutôt de savoir comment un projet peut parvenir à créer un impact maximal. Les méthodes expérimentales ou quasi-expérimentales permettent de répondre à cette question. Par exemple, les différentes catégories d'avantages conditionnels envisagées dans le cadre d'un projet (paiement en numéraire des ménages ou bien paiement en nature des populations) pourraient être allouées aléatoirement à différents villages dans la zone du projet. Les méthodes quasi expérimentales permettraient quant à elles de constituer des échantillons appariés d'usagers de la forêt ayant connu ces différentes options de mise en œuvre de projet. Il faut des techniques statistiques différentes pour analyser les traitements multiples et continus, mais de nombreux programmes économétriques intègrent de plus en plus ces techniques à des modules d'estimation des effets des traitements.

Dans de nombreux projets de REDD+, il existe différents degrés de traitement à des échelles différentes. Pour reprendre le même exemple, le traitement le plus « intensif » pourrait correspondre aux contrats conclus avec certains agriculteurs qui reçoivent les paiements incitatifs, participent à des programmes de formation et d'éducation et font l'objet d'une surveillance et d'un contrôle de l'exécution de leurs contrats et de l'application des lois sur la forêt. Les programmes de formation et d'éducation pourraient concerner des villages entiers (comprenant mais ne se limitant pas aux agriculteurs sous contrats), tandis que le contrôle d'exécution renforcé pourrait être étendu à toute la région (du fait de la conception du traitement ou par le biais des « retombées » de la mise en œuvre, découlant du traitement d'images de télédétection et de l'envoi de personnel de lutte
contre les infractions dans la région pour procéder
à la vérification des propriétés sous contrat). Dans
cet exemple, les unités « traitées » pourraient
être les agriculteurs sous contrats, les villages
auxquels ils appartiennent, ou la région de mise
en œuvre du projet. Le choix dépendra en partie
de la définition du « projet » à évaluer : souhaite-
t-on évaluer l'impact des contrats de PSE dans le
cadre d'un renforcement plus ou moins grand de
l'information et de la lutte contre les infractions ?
Ou bien préfère-t-on évaluer le paquet intégral
d'interventions, comprenant les contrats PSE,
l'information et la lutte contre les infractions ?

Les méthodes d'évaluation présentées dans ce guide sont fondées sur l'hypothèse que les autres usagers de la forêt ne sont pas affectés par le traitement des usagers inclus dans le projet (appelée en statistique « absence d'effets de diffusion du traitement » ou SUTVA). Selon la littérature traitant de l'utilisation du sol et des « fuites » de carbone, cette hypothèse est souvent démentie (cf. Annexe B.5.). En effet, les contrats de PSE qui entraînent une véritable modification de l'utilisation de la forêt et du sol chez les agriculteurs sont également susceptibles de changer les besoins de ces agriculteurs en moyens (main-d'œuvre et équipement par ex.) ainsi que leur production (cultures et élevage par ex.). Ces changements provoqueront à leur tour des répercussions chez d'autres lorsque ces personnes interagissent avec les agriculteurs participants par l'intermédiaire des marchés locaux. Les projets, en général de grande ampleur comparativement aux marchés locaux, influent aussi sur les prix ; ainsi, une intervention qui réduirait l'offre de produits agricoles provenant de la zone du projet conduirait à une hausse des prix, qui inciterait à son tour les consommateurs à passer à des produits et des producteurs de substitution dans d'autres endroits pour relancer l'offre.

En général, si un projet réduit l'activité économique et la déforestation dans la zone du projet, mais qu'il provoque des fuites de l'activité économique et de la déforestation vers les régions voisines, il en résultera une surestimation de l'impact du projet du fait de la comparaison entre l'activité dans la zone du projet et l'activité dans la région voisine. En revanche, si les bénéfices du projet conduisent à conférer à la préservation de la forêt une valeur d'option

dans les zones situées à proximité, en incitant par
exemple les propriétaires forestiers voisins à se
positionner pour avoir aussi accès à ces bénéfices,
la comparaison entre les deux zones conduira à une
sous-estimation de l'impact du projet.

Afin de faire un tri entre les différentes manières de
définir le « traitement » administré par un projet
et d'envisager ses impacts directs et indirects, nous
recommandons d'initier l'évaluation en tenant
compte systématiquement des points suivants :

1. **Unité d'analyse.** Dans la plupart des cas, les projets s'attachent à changer le comportement des ménages. Par conséquent, l'unité d'analyse doit être le ménage, y compris ses terrains et ses activités, même si une seule parcelle seulement fait l'objet d'un contrat PSE, ou si une seule personne seulement est employée par le projet. La plupart des projets de REDD+ sont mis en œuvre dans des régions où les marchés de ressources et de produits ne sont pas complets. Dans cet environnement, les ménages ont toutes les chances de réagir à une intervention en adaptant leurs activités au sein du ménage ; par exemple, lorsqu'un ménage diminue la déforestation et la production dans un endroit donné, il sera tenté de compenser cela à un autre endroit, ce qui réduit d'autant les impacts nets sur le carbone et sur le bien-être économique (cf. Alix-Garcia et al. 2010). La prise en compte de tout le ménage dans l'analyse permet d'internaliser ces « fuites » dans l'analyse. Certains projets de REDD+ ciblent des villages entiers, en améliorant le service public en contrepartie de la préservation des forêts publiques avoisinantes. Dans ces situations, l'unité d'analyse logique est le village ; et l'effectif de l'échantillon pour l'évaluation d'impact est exprimé en nombre de villages plutôt qu'en nombre de ménages.

2. **Traitement.** Dans la plupart des cas, la question essentielle concerne l'impact du paquet entier d'interventions constituant le projet. Ainsi, dans la plupart des cas, le « traitement » se définit de préférence par le paquet d'interventions pour lequel il a été prévu un financement global et un élargissement simultané de tous les éléments qui le composent. Si l'on s'intéresse plus
particulièrement à l'efficacité respective de modalités différentes de mise en œuvre de l'intervention, il faudra prévoir d'augmenter les ressources allouées à l'évaluation ou les effectifs de l'échantillon, ou bien l'évaluateur devra choisir entre l'estimation de l'impact total de l'intervention et la comparaison de l'efficacité de chacune des modalités de mise en œuvre. Ces priorités influent sur le choix des usagers de la forêt à retenir pour former les échantillons de traitement d'une part et de contrôle d'autre part.

3. **Témoins (groupe de contrôle).** Les témoins du groupe de contrôle, qui ne sont pas traités directement par le projet, doivent de plus être choisis dans des villages et des zones n'interagissant pas avec les usagers de la forêt traités par le projet ; par exemple, ils ne doivent pas être susceptibles de se vendre ou de s'acheter des terrains entre eux, ni se partager ou se louer de la main-d'œuvre, ni se vendre des produits ou se transmettre des informations ou du savoir-faire. Cela signifie que les ménages du même village ou de villages limitrophes ne seront probablement pas de bons témoins, même s'il faut aussi tenir compte de la structure des réseaux sociaux et des transports locaux. Les témoins devant être semblables, notamment en ce qu'ils doivent être confrontés aux mêmes conditions biophysiques et commerciales, la recherche de témoins doit concerner en priorité les zones les plus proches du projet telles que ces témoins n'interagissent pas directement avec les usagers de la forêt traités.

4. **Effets indirects.** De nombreux projets auront au moins quelques effets indirects (fuite ou retombées). Les évaluations doivent analyser ces effets de manière anticipée, soit (1) par

l'emploi d'une approche méthodologique mixte et la réalisation d'une analyse qualitative, soit (2) par un plan d'échantillonnage et/ou (3) soit par l'utilisation d'indicateurs obtenus par des enquêtes auprès des usagers de la forêt traités. Premièrement, il faut repérer tous les cas possibles de fuites dans le cadre de l'évaluation de la mise en œuvre du projet. Par exemple, un projet proposant des contrats de PSE en contrepartie de l'arrêt complet des coupes aura des conséquences sur le plan des fuites (déplacement de la demande vers d'autres zones et produits par ex.) différentes de celles d'un projet proposant des contrats de PSE en contrepartie de l'adoption de techniques d'exploitation forestière à impact réduit (adoption de ces techniques en retombée du projet par ex.). Deuxièmement, l'échantillonnage pourrait être élargi pour englober des usagers de la forêt non traités qui vivent ou travaillent dans la zone du projet, ou selon un gradient de distance par rapport au projet, ou encore qui sont situés dans le « périmètre de fuite », telle que défini par le porteur de projet dans le cadre de la certification pour le marché volontaire du carbone, ce qui permettrait de rechercher des signes d'effets indirects à certaines échelles géographiques (village par ex.) ou à certaines distances (cinq km du projet par ex.). Troisièmement, les questionnaires d'enquête peuvent aider à mettre en évidence des effets indirects parce qu'ils interrogent les usagers de la forêt traités sur les mécanismes de fuite susceptibles de provoquer des achats de terrains ou des migrations saisonnières en dehors de la zone du projet.<fnref n="4" />

<footnote n="4">4 Lorsque que les effets indirects sont jugés préoccupants, soit en raison de leur ampleur ou parce qu'ils correspondent à un objectif clairement exprimé du projet (diffusion d'une nouvelle technologie par exemple), ils méritent une étude à part entière. Par exemple, une méthodologie expérimentale avec une randomisation à plusieurs niveaux pourrait être utilisée pour estimer les effets indirects, à condition que la configuration de ces effets soit plus ou moins connue au préalable. Ces méthodes qui dépassent le cadre de ce guide comprennent les modèles IEG qui étudient formellement la formation des prix, l'économétrie spatiale, les modèles de réseaux sociaux, d'agents ou d'effets de pairs, qui ont pour objet les interactions entre agents dans le temps et l'espace.</footnote>
# 3

# Comprendre les phénomènes de causalité reliant les interventions de REDD+ aux résultats

## 3.1 Comprendre « l'objet » et « les raisons » de l'évaluation d'impact

Jusqu'ici notre exposé avait pour objet principal l'inférence causale intégrée à la recherche (à savoir la randomisation ou l'emploi de méthodologies de recherche BACI, BA ou CI) et l'utilisation d'approches statistiques permettant d'éliminer les effets de facteurs de confusion et d'estimer ceux de covariables à l'intérieur d'un cadre d'évaluation d'impact. Ces méthodes représentent le moyen le plus sûr de déterminer si un projet a des impacts et de cerner l'ampleur de ces derniers. Elles peuvent également être utilisées pour étudier la variation des résultats de projet dans des groupes démographiques et socioéconomiques différents. Elles s'appuieront pour cela sur des analyses par sous-groupe ou des modèles de régression à l'aide d'échantillons rigoureusement sélectionnés (Fiche technique 9). Tous ces éléments constituent la substance, l'objet de l'évaluation d'impact.

Afin de tirer les enseignements de ces évaluations, nous devons également comprendre les raisons pour lesquelles ces impacts se sont produits ou non. Ainsi, la compréhension des causes amenant une intervention donnée de REDD+ à provoquer les conséquences observées sur le plan du bien-être économique et social passe par l'intégration de l'évaluation d'impact dans une approche méthodologique mixte, comprenant la représentation de la chaîne de causalité catalysée par la mise en œuvre du projet. Les porteurs de projet auront bien souvent adopté une démarche semblable en concevant leur projet, surtout s'ils

font partie ou s'ils ont bénéficié de financements d'organismes d'aide internationale possédant leurs propres systèmes d'évaluation, listes de points à vérifier et exigences relatives aux modèles de causalité. Ces modèles de causalité comprennent les modèles logiques (l'« approche de la matrice du cadre logique », Logical Framework Approach par ex.) (Coleman 1987, Gasper 2000, Ortengren 2004, DFID 2009), la représentation des résultats (Earl et al. 2001), les référentiels ouverts (CMP 2007) et la théorie du changement (Kusek et Rist 2004, Furman 2009) (cf. Encadré 6). Les projets visant la certification selon la CCBA ou la VCS peuvent également réaliser une représentation de la chaîne causale dans le but de mieux comprendre les impacts sociaux attendus des projets de REDD+.

Même si la représentation causale et l'évaluation rigoureuse d'impact sont couramment appliquées aux interventions dans le domaine du développement, elles sont rarement utilisées ensemble ou intégrées sous la forme d'une évaluation d'impact théorique (Reynolds 1998, White 2009). Reynolds (1998) cite les trois raisons suivantes lorsqu'il cherche à expliquer la lenteur de l'adoption des évaluations à fondement théorique.

1. La représentation de la chaîne de causalité exige souvent l'utilisation combinée de plusieurs méthodes. Les approches intégrant une analyse ethnographique et institutionnelle qualitative, des méthodes participatives et une analyse quantitatives sont en dehors du champ des méthodes conventionnelles des sciences sociales appliquées à l'évaluation de programme (dans lesquelles l'objectif de l'évaluateur a
toujours été considéré comme étant l'évaluation
de l'impact).

2. Si l'évaluation théorique n'a pas tellement intéressé les parties prenantes et les responsables politiques dans le passé, c'est en partie parce que les modèles théoriques reliant les interventions à leurs résultats ne sont pas bien au point dans un certain nombre de domaines concrets, tels que celui de la conservation et du développement.

3. Les théories sont parfois perçues négativement comme donnant des préceptes sur ce qui devrait se passer plutôt que sur ce qui se passe réellement.

Dans cette partie, nous tentons d'intégrer
l'élaboration de modèles de causalité et l'évaluation

d'impact rigoureuse des projets de REDD+.
Employés ensemble, l'évaluation d'impact d'un
côté, qui détermine le sens et l'amplitude des
variations des critères de jugement principaux, et
les modèles de causalité de l'autre, qui permettent
de comprendre les phénomènes reliant une
intervention de REDD+ à ses résultats, peuvent
être des outils très puissants, les deux approches
s'éclairant l'une l'autre. Cependant, nous constatons
que la nature diverse des interventions de REDD+
pose des difficultés majeures pour l'évaluation
d'impact théorique. Les bénéfices découlant des
interventions de REDD+ sont réalisés en mettant
en jeu des processus variés allant de l'appui aux
collectivités locales pour la gestion des forêts et la
lutte contre les infractions, à des paiements directs
en numéraire aux ménages. Les projets de REDD+

Encadré 6. Comparaison des modèles de causalité reliant les interventions et leurs résultats

Les modèles logiques, la représentation des résultats, les référentiels ouverts et les méthodes des théories du changement possèdent plusieurs éléments communs. En particulier, ces méthodes permettent toutes de :

* reconnaître l'importance du contexte local et régional ;

* tenir compte de l'expérience et des opinions des parties prenantes dans les plans de surveillance et d'évaluation ;

• élaborer un modèle conceptuel de changement ;

* établir quels sont les risques et les menaces et élaborer une stratégie d'atténuation ;

* privilégier la capitalisation des acquis de l'expérience par le dialogue répété avec les parties prenantes, faire un suivi permettant de repérer les succès et les risques, relier les modifications comportementales observées aux résultats constatés et rectifier le cap de la mise en œuvre en tenant compte des conclusions de ces observations.

Les cadres théoriques de référence utilisés varient également. Ainsi, certains s'attachent à imputer les résultats observés à la mise en œuvre de projet (théorie du changement par ex.), alors que d'autres s'intéressent plus particulièrement à rechercher comment le projet a changé le comportement des différents acteurs, sans toutefois chercher à formuler une théorie du changement ni à la vérifier empiriquement (représentation des résultats par ex.).

La liste ci-dessous répertorie les ressources sur Internet relatives aux modèles de causalité dans le domaine de la conservation.

* Modèles logiques
  http://mande.co.uk/blog/wp-content/uploads/2009/06/logical-framework.pdf

* Représentation des résultats
  http://www.idrc.ca/en/ev-9330-201-1-DOalds.html
  http://www.outcomemapping.ca/

* Référentiels ouverts
  http://www.conservationmeasures.org/
  https://miradi.org/

* Théorie du changement
http://www.iucn.org/about/work/programmes/forest/?6268/Lessons-theory-change-ME
sont mis en œuvre par des porteurs de projet variés, allant de donateurs bilatéraux à des spéculateurs privés de la finance du carbone. La caractérisation des processus à l'œuvre dans des modèles de projet très différents est un défi de taille qu'il est essentiel de surmonter si l'on veut tirer les enseignements des projets de REDD+ (cf. Annexe B.4 qui présente des références relatives aux divers moteurs et facteurs de déforestation dans les forêts tropicales).

## 3.2 Situer l'élaboration du modèle de causalité dans la conception de l'évaluation d'impact

Dans la Section 2, nous fournissions des recommandations sur le choix d'une méthodologie de recherche pour évaluer les résultats des projets de REDD+. Les questions fondamentales sont les suivantes :

1. L'évaluation commence-t-elle avant ou après la mise en œuvre du projet ?

2. Dispose-t-on de ressources suffisantes pour collecter des données sur les usagers de la forêt ne participant pas au projet (à savoir les groupes de contrôle) ?

3. La mise en œuvre du projet peut-elle être conçue de manière à faciliter l'évaluation (randomisation d'un projet mis en œuvre progressivement au niveau d'un paysage entier) ? Les réponses à ces questions ont également une incidence sur l'élaboration de modèles de causalité.

La collecte de données pour la représentation des chaînes de causalité avant et pendant la mise en œuvre de projet apporte des avantages considérables :

* Les données de la phase « avant » (méthodologie BACI ou BA) peuvent avoir une influence sur l'intervention ; un modèle de causalité peut donner des indications sur les éléments les plus intéressants à vérifier et sur la marche à suivre pour effectuer une sélection randomisée des sites de projet.

* La plupart des projets sont mis en œuvre dans des paysages hétérogènes et font intervenir des acteurs tout aussi hétérogènes. Dans les méthodologies BACI ou BA, un modèle de causalité peut indiquer là où concentrer les efforts et le mode de répartition de l'échantillon pour dégager le maximum d'enseignements.

* Un modèle de causalité doit intégrer l'évaluation des processus opératoires et la compréhension de la mise en œuvre telle qu'elle se passe réellement sur le terrain ; ainsi, dans le cas des méthodologies BACI et BA, il y a souvent un modèle initial actualisé par la suite en fonction de la mise en œuvre réelle et observée sur le terrain.

* De nombreux projets sont mis en application de manière progressive. La planification initiale de l'évaluation, quelle soit expérimentale ou qu'elle obéisse à une méthodologie BA/BACI, doit répondre à la question de savoir comment prendre en compte les résultats d'évaluation pour éclairer les étapes ultérieures du projet.

* Les méthodologies BACI et BA offrent toutes deux la possibilité de modéliser les chaînes de causalité *ex ante* ; la collecte de données et leur analyse en milieu de projet peuvent servir à repérer des problèmes éventuels et trouver des solutions, dont on tiendra compte pour corriger le cap et obtenir de meilleurs résultats pour la subsistance des populations.

Tout comme pour une évaluation d'impact rigoureuse, la représentation des chaînes de causalité doit faire l'objet de décisions prises au tout début du projet (à savoir avant même que l'intervention de REDD+ n'ait lieu), ceci afin de favoriser au maximum la compréhension des phénomènes de causalité en jeu.

La représentation des chaînes de causalité est assortie d'objectifs aussi bien à court terme qu'à long terme. L'acquisition des connaissances à court terme est favorisée au maximum lorsque les projets de REDD+ font l'objet d'un échelonnement aléatoire dans les populations et les paysages. La mise à l'épreuve des hypothèses relatives aux phénomènes de causalité dans les premières étapes du projet et l'intégration des résultats de cette opération dans les phases ultérieures de l'intervention de REDD+ peut permettre d'améliorer les résultats attendus, ce qui justifie largement les investissements réalisés pour la représentation des chaînes de causalité. Les concepts expérimentaux dans lesquels les efforts
d'évaluation sont déployés après le début des interventions (à savoir le plan expérimental CI, ou méthodologie rétrospective) offrent également la possibilité de mieux concevoir les phases ultérieures et les projets futurs de REDD+, tout en nous permettant d'élargir notre pool de connaissances sur ce qui détermine des résultats favorables sur le plan du bien-être économique. Dans le plan expérimental CI et la méthode rétrospective, des processus théoriques et d'observation devront être intégrés au modèle de causalité lors de son élaboration.

Dans le cadre de l'étude GCS-REDD+, mais aussi probablement dans d'autres travaux d'évaluation, la production de résultats est soumise à des contraintes de temps. Par conséquent, une évaluation anticipée va porter sur des indicateurs de résultats de court terme. Un modèle causal est donc crucial pour choisir des indicateurs et réfléchir à la relation entre ces indicateurs et les résultats à long terme visés par les projets de REDD+ dans le cadre de l'objectif de « permanence ». En revanche, de nombreuses évaluations rétrospectives sont initiées longtemps après le lancement du projet ; dans ce cas, les modèles de causalité sont également très importants dans la mesure où ils permettent de reconstituer les étapes et les phénomènes intermédiaires qui auraient pu être à l'origine des résultats observés à longue échéance.

### 3.3 Représenter et mettre à l'épreuve les modèles de causalité

L'établissement d'un lien de cause à effet sans équivoque entre les résultats observés et les interventions d'un projet demande un travail de préparation considérable, ainsi qu'une collecte et une analyse de données rigoureuses. La question de savoir comment les interventions de REDD+ peuvent servir de levier du changement sur le plan local est fondamentale. Si certaines causes de la déforestation et de la dégradation des forêts et certaines évolutions du bien-être collectif sont susceptibles d'être manipulées au niveau local ou du projet, d'autres ne le sont pas (cf. Annexe B.4). L'évaluation d'impact théorique permet de replacer la capitalisation des acquis dans le cadre des limites de ce qu'une intervention de REDD+ peut accomplir et dans l'optique de la complémentarité des projets de REDD+ et des mesures politiques

nationales ainsi que des grandes tendances du changement. L'évaluation théorique demande la modélisation *a priori* des effets attendus de l'intervention (Chen et Rossi 1983, Lipsey 1993, Reynolds 1998, White 2009). La compréhension des enchaînements des causes et des effets par lesquels les interventions de REDD+ aboutissent aux résultats permet de reproduire les réussites et de mettre en valeur les domaines où une révision et une actualisation de la mise en œuvre de projet est nécessaire.

Les modèles de causalité, ou théories du changement, sont des modèles conceptuels qui mettent en évidence les relations entre les activités de mise en œuvre, les résultats et les impacts (Tableau 2). Ils définissent les ressources, les activités et les produits de la mise en œuvre, et leurs effets à court et à moyen terme sur les critères de jugement étudiés, ainsi que les changements et les impacts à plus longue échéance (Green et Caracelli 1997, White 2009). Nous pouvons utiliser les divers éléments d'une théorie du changement pour élaborer un modèle décrivant comment les interventions conduisent aux résultats souhaités. Les modèles de causalité peuvent être qualitatifs (quand l'effectif de l'échantillon est trop réduit ou quand les variables de processus varient trop peu pour pouvoir faire une analyse quantitative par ex.). Ils peuvent aussi faire appel à la combinaison de méthodes qualitatives et quantitatives, consistant à élaborer un modèle statistique *ex ante* capable de déterminer l'impact social pouvant être imputé à l'intervention de REDD+.

L'élaboration d'une représentation de la chaîne de causalité comporte la succession des étapes suivantes :

1. Connaissance du contexte relatif au site du projet

2. Clarification des objectifs de l'intervention

3. Énonciation d'hypothèses vérifiables

4. Inventaire des données nécessaires

5. Mise à l'épreuve des hypothèses et actualisation des propositions initiales.

Ces cinq étapes essentielles de la chaîne de causalité représentent le processus par lequel les interventions de REDD+ entraînent une variation des critères de jugement de l'efficacité du projet
<table><caption>Tableau 2. Éléments pour la représentation de la chaîne causale</caption><thead><tr><th></th><th>Élement</th><th>Description</th><th>Application aux projets de REDD+</th></tr></thead><tbody><tr><td rowspan="3">Mise en œuvre</td><td>Ressources</td><td>Ressources entrant dans le projet</td><td>Fonds nécessaires au financement de la surveillance et du contrôle relatifs à l'utilisation des ressources forestières ; appui à la formation en matière de gestion durable des forêts ; emploi de personnel local ; investissements en infrastructures</td></tr><tr><td>Activités</td><td>Ce que nous faisons</td><td>Surveiller les activités ; contrôler la mise en application des règles ; former les populations locales ; animer des ateliers ; construire des infrastructures</td></tr><tr><td>Produits</td><td>Ce que nous produisons</td><td>Préservation de la surface de forêt ; réduction de la dégradation de la forêt ; information des populations ; éléments tangibles pouvant être comptés</td></tr><tr><td rowspan="2">Résultats</td><td>Effets</td><td>Ce que nous faisons ; les changements de comportement découlant des produits du projet</td><td>Revenus plus importants ; meilleure santé ; fourniture de services environnementaux (qui contribuent tous au renforcement du bien-être).</td></tr><tr><td>Impacts</td><td>Changements durables découlant d'une accumulation d'effets</td><td>Variation à la hausse ou à la baisse des quartiles de revenus ; entrées et sorties de pauvreté ; accumulation ou perte de biens</td></tr></tbody></table>

Tableau adapté de Kusek et Rist (2004)

sur le plan du bien-être économique et social. Ces étapes sont décrites de manière plus détaillée dans la Fiche technique 8.

### 3.3.1 Compréhension du contexte relatif au site du projet

Selon White (2009), la connaissance du contexte et l'anticipation de l'hétérogénéité sont deux éléments essentiels de l'évaluation d'impact théorique. Le contexte influe directement sur les maillons de la chaîne de causalité. Il est constitué du cadre socioéconomique, démographique, institutionnel et biophysique dans lequel les projets sont mis en œuvre. La connaissance du contexte doit englober la description des facteurs en jeu à plusieurs échelles ; les phénomènes locaux pouvant subir l'influence d'actions entreprises au niveau infranational voire national. Avant de représenter la chaîne de causalité, les évaluateurs doivent s'assurer de bien comprendre les conditions sociales et écologiques caractéristiques du site du projet : on peut ainsi constater que les documents de conception de projet (DCP) comprennent les informations principales permettant de caractériser

les conditions démographiques, socioéconomiques, institutionnelles et biophysiques propres au site. Ces informations qualitatives et quantitatives fournissent des indications intéressantes sur les conditions initiales dans lesquelles le projet va s'insérer.

Les facteurs les plus importants à connaître au plan local comprennent :

* les moteurs de la déforestation et de la dégradation des forêts, y compris la définition de la nature des principaux acteurs influant sur les changements d'utilisation du sol (petits exploitants agricoles, éleveurs, titulaires de concession etc.);

* droits et régime de propriété relatifs au sol, aux arbres et au carbone;

* degré de surveillance et de contrôle d'application, et de contestation des droits de propriété;

* stratégies de subsistance principales dans la zone du projet;
* degré de dépendance des ménages à la forêt (exprimé en produits extraits de la forêt et en services fournis par cette dernière) ;

* hétérogénéité de la dépendance à la forêt (importance relative de la forêt pour les ménages dirigés par des femmes, les ménages de migrants etc.) ;

* présence et fonction des groupes ayant pour objet la gestion des ressources naturelles et le bien-être économique et social ;

* rapports établis entre le porteur de projet de REDD+ et la population.

De plus, plusieurs variables liées au contexte permettent de situer le site de projet dans un cadre plus global. L'importance du contexte est telle dans le champ de l'évaluation d'impact théorique que la même intervention mise en œuvre dans des cadres différents peut entraîner des effets différents. Nous devons être capables d'expliquer pourquoi les résultats observés diffèrent en fonction du cadre du projet, en mettant en évidence les facteurs du contexte auxquels on peut imputer la réussite ou l'échec du projet. Les données liées à des variables structurelles à une échelle plus grande permettent de situer l'analyse dans le contexte plus large du paysage infranational ou national. Elles donnent donc des informations sur le caractère généralisable d'un projet. Les variables souvent utilisées pour exprimer le caractère généralisable des conclusions d'un projet sont la nature de la forêt, le degré de transition forestière, la région agro-écologique, l'accès aux marchés, le niveau de revenu, les activités économiques principales, la densité de population et le groupe ethnique ou linguistique majoritaire.

Les informations relatives au contexte permettent de prévoir quelles seront les causes d'hétérogénéité potentielles (les impacts peuvent varier selon la conception de l'intervention, les caractéristiques des bénéficiaires ou le cadre socioéconomique). L'impact des interventions de REDD+ sur le plan du bien-être économique et social peut être différent en fonction de l'appartenance ethnique, de l'identité sexuelle, de l'âge, de l'appartenance à un groupe migrant, et de la richesse relative, entre autres. Les connaissances sur l'existence de groupes marginalisés ou vulnérables, d'élites fortunées, et d'autres groupes avant la collecte des données

relatives aux critères de jugement de l'efficacité du projet permettent de définir des échantillons dont les effectifs sont représentatifs de chaque groupe lors de la conception de l'évaluation ; il est aussi souvent utile de réduire l'objet de l'analyse de la répartition à des groupes dont on sait ou dont on s'attend à ce qu'ils soient affectés par l'intervention de manière différentielle (Fiche technique 9). L'analyse *ex post* de l'hétérogénéité d'impact repose sur la connaissance *a priori* des groupes qui sont susceptibles de réagir différemment à l'intervention de REDD+. Les méthodes participatives sont particulièrement utiles pour mieux comprendre où se situent les facteurs d'hétérogénéité.

Les plans d'évaluation comprenant des groupes de contrôle doivent collecter les mêmes données de contexte pour les sites des groupes de contrôle. Ces données fournissent des variables témoins qui apporteront un éclairage sur les effets observés dans les sites d'intervention et constituent également un fondement pour l'élimination des explications contradictoires à propos des impacts observés dans les sites d'intervention, ce qui renforce la validité externe des impacts estimés sur le plan du bien-être économique.

### 3.3.2 Clarification des objectifs de l'intervention de REDD+

Les DCP exposent en général une stratégie de mise en œuvre à court et moyen terme. La caractérisation adéquate de l'intervention repose sur notre capacité à faire la distinction entre la conception du projet et sa mise en œuvre réelle sur le terrain (cf. Encadré 7 sur les méthodes de l'étude GCS-REDD+ pour caractériser et comprendre les processus de mise en œuvre). L'évaluation d'impact théorique suppose que les objectifs du programme ont été exprimés correctement, que la mise en œuvre du programme a été vérifiée (c'est-à-dire que le projet a bien été mis en œuvre conformément au DCP) et que la théorie du programme et les phénomènes de causalité correspondants ont été définis et mesurés (Khandker et al. 2010).

Il arrive souvent que les projets de développement et de conservation ne soient pas entièrement mis en œuvre en conformité avec ce qui avait été projeté en raison de contraintes logistiques, financières et institutionnelles. Par exemple, un
DCP pourrait décrire un système de partage des bénéfices dans le cadre de la REDD+ prévoyant le transfert de paiements carbone du porteur de projet directement vers les ménages. Cependant, les chargés de projet sur le terrain peuvent décider pour des raisons d'efficacité de créer un comité de gestion des revenus du carbone implanté dans le village qui agit comme intermédiaire entre la structure de mise en œuvre et la population locale. Si l'on se contente de ne faire qu'un suivi du budget des paiements aux ménages, on risque de ne pas faire apparaître les phénomènes de cause à effet à l'origine des changements du bien-être dans tous ses aspects. L'évaluation des processus opératoires doit être conçue de telle façon qu'elle permette d'anticiper ces modifications de la mise en œuvre du projet, en recueillant des données sur les aspects essentiels du déroulement des opérations et en

utilisant des indicateurs de résultats, à même de détecter les changements prévus et imprévus relatifs au bien-être et à l'utilisation du sol. Dans les cas où la mise en œuvre s'écarterait des ressources, activités et produits décrits dans les DCP, les méthodes qualitatives fournissent un outil précieux pour générer de nouveaux éclairages et renouveler notre compréhension de la mise en œuvre. Par l'observation et des entretiens très poussés, il sera alors possible de savoir si les plans inscrits dans les DCP reflètent adéquatement la situation sur le terrain.

L'étude GCS-REDD+ du CIFOR réalise une analyse détaillée des modalités de mise en œuvre de la REDD+ et des relations entre celle-ci et l'évolution du bien-être économique et social (Encadré 7).

## Encadré 7. Étude de la mise en œuvre de projet dans le cadre de la GCS-REDD+

L'étude GCS-REDD+ utilise une approche itérative de collecte d'informations sur les modalités de mise en œuvre des projets de REDD+ et les coûts qui lui sont associés. Dans la phase de l'« avant » projet, l'« évaluation du porteur de projet » ou EP (cf. l'Annexe C présentant cet outil de recherche) permet de collecter des informations essentielles, concernant l'organisation à laquelle appartient le porteur de projet, les composantes essentielles du projet de REDD+, la méthodologie relative aux activités de MNV et le FPIC, les partenaires principaux, les projets de certification et de vente de crédits et la localisation du projet. Lors de l'EP, le porteur de projet doit faire la liste des parties prenantes (groupes d'individus ou d'entreprises) qui utilisent la forêt au niveau du site du projet, et dont on prévoit qu'ils modifieront leur utilisation de la forêt dans le cadre de l'objectif de réduction des émissions de carbone du projet. Le porteur de projet doit également présenter les stratégies précises par lesquelles il espère provoquer ces modifications de comportement chez les usagers de la forêt. Il s'agit en somme du modèle de causalité du projet. Par ailleurs, l'EP est conçue de telle manière à recueillir des précisions sur la sélection des villages particuliers appelés à recevoir l'intervention, ce qui permet de définir les facteurs fondamentaux à prendre en compte pour apparier les villages et les ménages traités avec les villages et sites témoins. Outre l'évaluation du porteur de projet, les chercheurs doivent rédiger un compte rendu de site, présentant les caractéristiques de la région du projet, en décrivant notamment les grands moteurs de la déforestation et la situation antérieure au projet de REDD+.

Dans la phase « intermédiaire » de la recherche, les modalités, coûts et aspects politiques de la mise en œuvre de projet font l'objet d'un suivi à l'aide de l'« étude de la mise en œuvre de projet » ou SPI (Survey of project implementation) (cet outil de recherche sera disponible sur le site Internet du CIFOR en 2011). Le SPI permet aux chercheurs de se rendre compte des activités de projet qui ont été réalisées. Pour cela, ils effectuent une double tâche qui consiste d'une part à définir les activités pouvant être imputées au projet (en déterminant par ex. si la délivrance de titres de propriété dans la zone du projet fait partie de celui-ci ou si elle est une activité complémentaire nécessaire au projet, mais qui aurait pu avoir lieu sans lui), et d'autre part celles qui ont véritablement eu lieu (et pas seulement sur le papier). Cette double tâche gagne à être effectuée pendant que le projet est mis en œuvre et sur place. Dans l'étude GCS-REDD+, le retour des chercheurs sur les sites des projets pour rendre compte de la première phase de la recherche offrira l'occasion de collecter ces informations. La SPI quantifie également les coûts de lancement du projet qui comprennent les frais de préparation, les frais administratifs et les coûts de transaction, ainsi que, le cas échéant, les dépenses courantes dans les premières étapes de la mise en œuvre.
### 3.3.3 Énonciation d'hypothèses, inventaire des données nécessaires et vérification des hypothèses

Quelle que soit la manière dont on la formule, la question de savoir « quels sont les impacts sociaux des projets de REDD+ » conduit à émettre des hypothèses. Une hypothèse est une proposition scientifique fondée ou une approximation raisonnée cherchant à caractériser la relation qui relie deux variables. Les hypothèses répondent à deux exigences : elles doivent coller aux faits connus et elles doivent être vérifiables. L'énonciation des hypothèses soulève des questions importantes, à savoir :

* La variable peut-elle être mesurée directement, ou faut-il relever une variable de substitution à sa place ?

* Les données peuvent-elles être recueillies avec le temps et les ressources dont on dispose ?

* Les données présentent-elles suffisamment de variation pour pouvoir vérifier les hypothèses ?

Les évaluateurs de projet qui s'engagent à réaliser l'évaluation d'impact théorique des interventions de REDD+ sont confrontés à plusieurs difficultés. La première, et la plus importante, découle de l'extrême complexité de la plupart des systèmes socioécologiques, qui rend leur compréhension particulièrement ardue (Chhatre et Agrawal 2009, Ostrom 2009). Ostrom (2009) définit ainsi, à l'aide d'un cadre théorique comportant plusieurs niveaux d'analyse des systèmes socioécologiques, plus de 40 variables qui appartiennent à des catégories différentes : systèmes de ressources, usagers et unités, systèmes de gouvernance, interactions, résultats et écosystèmes associés. La détermination des groupes de variables et de relations qui sont essentiels à la compréhension de la chaîne de causalité entre intervention et résultats observés pose donc un défi considérable.

La deuxième difficulté provient du fait que les théories du changement n'ont, dans la plupart des cas, pas fait l'objet d'une vérification rigoureuse et empirique dans le domaine de l'environnement et du développement. Schreckenberg et al. (2010) soulignent que des recherches économétriques font défaut pour mettre en évidence les liens de corrélation entre les projets de terrain dans le

domaine de la conservation et du développement et les résultats concernant le bien-être économique et social ; par conséquent, il n'existe pas de modèles de causalité généraux pour la définition des indicateurs. Les résultats et inférences utilisées pour la représentation de la chaîne de causalité seront largement tributaires de la validité de la théorie du programme et de l'analyse explicative. Lorsque des théories solides ont été testées empiriquement eu égard aux éléments nécessaires à la mise en œuvre réussie d'un projet de REDD+, l'évaluation d'impact fondée sur la théorie s'en trouve facilitée. Cependant dans bien des cas, la validité des liens théoriques qui concernent spécifiquement la conservation et le développement sont contestés. Nous savons empiriquement par exemple qu'une taille ou hétérogénéité trop importante du groupe visé est un obstacle à l'action collective en faveur de la gestion durable des forêts (Poteete et Ostrom 2004), bien que ces auteurs attirent l'attention sur le caractère incertain de leurs résultats empiriques. Faute de trancher sur la question, la plupart des études récentes attisent le débat (Baland et al. 2007 concluent ainsi que l'inégalité influe de manière non linéaire sur la coopération). Afin de vérifier complètement un modèle de causalité quel qu'il soit, nous avons besoin d'une théorie bien conçue qui nous permette de poser des hypothèses relatives aux liens existant entre les interventions de REDD et les résultats sur le plan du bien-être économique et social (Reynolds 1998).

Nous donnons ci-après des exemples de « variables de processus » permettant d'examiner et d'énoncer des hypothèses au sujet des liens entre les interventions de REDD+ et les résultats :

* accès à la forêt ;

* droits de propriété et de gestion des arbres, de la forêt, et du carbone forestier ;

* participation à la conception et la mise en œuvre de projet ;

* existence, accessibilité et efficacité des systèmes de résolution des doléances ;

* nature de l'initiative à l'origine du projet (approche descendante ou consultation ou consentement libre, préalable et éclairé (FPIC) ou initiative de la collectivité) ;

* communication des informations et sensibilisation aux activités du projet ;
* communication des informations relatives aux flux financiers du carbone ;

* capital social ;

* dissensions au sein de la population ;

* volatilité de la finance carbone et des paiements/bénéfices revenant à la population ;

* changement des comportements relatifs à l'utilisation de la forêt (la REDD+ est-elle en train de créer des incitations paradoxales favorisant la déforestation ?)

* existence, conception et efficacité des systèmes de partage des bénéfices ;

* efficacité des mesures d'atténuation projetées pour combattre les moteurs véritables à l'origine des pertes forestières sur le site du projet ; rémunération correspondante.

Pour bien comprendre la chaîne de causalité entre intervention et résultat, il sera probablement nécessaire d'énoncer et de vérifier plusieurs hypothèses. Les phénomènes de causalité dans les systèmes écologiques et sociaux ne sont en général pas linéaires ; qui plus est, ils ne se produisent pas indépendamment les uns des autres. L'étude GCS-REDD+ comprend la vérification de plusieurs hypothèses relatives aux répercussions des projets de REDD+ sur l'état des forêts et le bien-être économique des ménages (Encadré 8).

L'élaboration et la mise à l'épreuve d'une représentation de la chaîne de causalité nécessitent plus de données que les autres méthodes d'évaluation d'impact. Il peut être long et coûteux de mesurer les phénomènes de causalité qui interviennent, de définir précisément et de

## Encadré 8. Hypothèses fondamentales posées par l'étude GCS-REDD+

L'étude GCS-REDD+ du CIFOR en cours met à l'épreuve plusieurs hypothèses concernant les répercussions de la conception et de la mise en œuvre des projets de REDD+ sur les forêts et le bien-être économique des ménages. Bon nombre de ces hypothèses cherchent à comprendre comment les impacts sur le bien-être économique, physique et psychologique peuvent se répercuter sur les impacts forestiers. Les hypothèses suivantes figurent parmi celles testées par l'étude GCS-REDD+ :

L'efficacité de la REDD (définie comme l'accomplissement de la réduction des émissions de carbone forestier et de l'augmentation de la séquestration du carbone) repose sur les conditions suivantes :

1. prise en compte suffisante de l'efficacité, l'efficience, l'équité et des co-bénéfices

2. détermination exacte des moteurs de la déforestation et de la dégradation

3. interventions adaptées ayant pour cible les moteurs de la déforestation et de la dégradation

4. résolution préalable des droits de propriété contestés concernant le sol, les ressources naturelles et le carbone

5. accueil favorable et participation à la REDD+ assurée au plan local, se manifestant notamment par :

a. autorisation donnée au plan local pour le projet de REDD+

b. éducation au plan local sur les changements climatiques et la REDD+

c. implication des populations locales dans la conception et la mise en œuvre de la REDD+

d. mise en œuvre dans la transparence

6. ciblage adéquat des bénéfices, notamment par l'intermédiaire de :

a. part suffisamment grande octroyée aux populations par rapport aux autres parties prenantes

b. bénéfices à l'échelon du ménage et non de la communauté

c. procédé qui veille à faire bénéficier les plus démunis et les femmes

7. répartition des bénéfices et des coûts entre les parties prenantes principales considérée comme juste, en assurant notamment que :

a. toutes les parties prenantes principales tirent des bénéfices nets du projet de REDD

b. la légitimité est favorisée parce qu'aucune partie prenante n'a une part excessive par rapport aux autres

c. aucun groupe ne reçoit de bénéfices beaucoup plus élevés que ceux des autres groupes.
concrétiser l'exposition au traitement, de recueillir les données relatives à un grand nombre de variables de processus et de maintenir dans le temps un suivi longitudinal important auprès des participants au programme, et ce pendant toute la durée de la mise en œuvre (Reynolds 1998). Les modèles de causalité et des hypothèses précises sont particulièrement utiles quand il s'agit de recenser les données nécessaires à l'étude. Les théories du changement ou enchaînements des causes et des effets orientent vers des variables spécifiques, permettent de définir le mode de mesure des variables (à savoir par la collecte de données au moyen de méthodes quantitatives ou qualitatives), ainsi que l'échelle de collecte de ces données. Selon notre approche, il existe quatre catégories de variables principales : les variables ou critères de jugement, les variables explicatives, les variables de confusion et les variables de processus (Fiche technique 10). Afin de comprendre la suite d'événements de cause à effet depuis l'intervention de REDD+ jusqu'aux résultats sur le bien-être économique et social, il est souvent nécessaire d'adopter une approche méthodologique mixte. Les données qualitatives sont particulièrement importantes dans la mesure où les phénomènes à l'origine des impacts peuvent être de nature relativement diverse : aspects liés à la mise en œuvre du projet (taux de participation suffisant et informé des usagers locaux de la forêt par ex.), conditions institutionnelles (régime foncier, degré de transfert de pouvoir relatif à la gestion vers les autorités locales, droits de propriété etc.), et caractéristiques propres à la population (domination des élites, hétérogénéité ethnique, groupes et associations intéressés par la gestion des forêts et l'amélioration du bien-être économique et social etc.).

Si les variables de processus varient suffisamment dans l'échantillon, on pourra énoncer des hypothèses relatives à ces facteurs qui pourront ensuite être vérifiées quantitativement au moyen de techniques d'évaluation d'impact, mais s'il s'agit d'un échantillon à effectifs réduits ou si les variables de processus considérées varient peu, cela ne sera pas réalisable. Ainsi, si l'on souhaite analyser comment les droits de propriété sur le carbone forestier influent sur les résultats relatifs à la forêt et au bien-être économique, mais si aucun des villages de l'échantillon ne jouit de tels droits,

ou si au contraire tous en jouissent, la variation dans l'échantillon sera insuffisante pour permettre la vérification empirique d'aucune hypothèse à ce sujet. Même dans le cas où la variation est suffisante, il peut ne pas être envisageable d'étudier d'un point de vue quantitatif les hypothèses relatives aux phénomènes de causalité dans les cas où cette analyse nécessiterait une simplification excessive ou une classification arbitraire de phénomènes complexes et de conditions institutionnelles.

L'élaboration des modèles de causalité doit tenir compte des résultats de l'intervention du point de vue de l'échelle des variations attendues, en prévoyant de faire correspondre étroitement l'échelle de l'analyse des effets et des impacts à l'échelle de mise en œuvre des activités de l'intervention. Dans le cadre des projets de REDD+ de première génération, les interventions ont été canalisées à des échelles différentes, allant de l'infranational au village et, dans le cas des projets de type PSE, à l'échelle du ménage. La collecte de données au niveau du village seulement ne saurait être suffisante pour comprendre comment chaque ménage est affecté par un projet de REDD+ qui distribue des paiements directs aux ménages. Inversement, la collecte de données au niveau de chaque ménage, dans le cadre d'une intervention prévoyant d'implanter un centre de santé communautaire dans un village, est superfétatoire dans la mesure où tous les ménages bénéficieront ou auront la possibilité de bénéficier de ce nouveau service public de la même manière.

D'autres facteurs influant sur les résultats écologiques et sociaux peuvent aussi certainement intervenir ; qu'ils soient externes ou internes au site du projet, il est important d'en tenir compte. De manière idéale, pour éviter au maximum que ces facteurs faussent la détermination de l'impact, les données seront collectées à la fois sur les sites de contrôle et de l'intervention de REDD+ et appariées pour des facteurs susceptibles d'affecter les résultats ; cette précaution reviendra à retrancher l'effet des facteurs de confusion potentiels. Toutefois, l'appariement peut ne pas être parfait, qu'il concerne des facteurs connus ou apparaissant plus tard. Ainsi, un biais dans les résultats ne pourra être évité par exemple dans le cas de l'augmentation
des taux de rémunération dans le site de contrôle mais pas dans le site de REDD+ (pour des raisons non liées à la REDD+) ou de l'implantation d'un projet de développement indépendant du projet de REDD+ sur le site de REDD+ ou le site de contrôle. Il est essentiel de mener une réflexion *a priori* sur les différents scénarios possibles et de conserver une certaine vigilance tout au long de l'étude, de manière à être en mesure d'éliminer les explications contradictoires proposées pour rendre compte des différences de résultats observées dans le site de REDD+.

Nous avons souligné à quel point il était délicat de définir et de valider l'enchaînement de causalité reliant une intervention à ses résultats. La nature complexe des systèmes socioécologiques signifie qu'un grand nombre de variables influencent la manière dont les interventions de REDD+

opèrent des changements dans le domaine du bien-être économique, physique et psychologique. A cette complexité s'ajoute le fait que les théories relatives aux interventions ayant pour objectif la conservation et le développement n'ont pas été vérifiées par des méthodes visant à déterminer les effets de causalité. Bon nombre d'études concernant les initiatives de gestion durable des forêts, les programmes intégrés de conservation et de développement et la gestion communautaire des forêts sont en fait des études de cas, dans lesquelles les hypothèses relatives aux rapports entre les variables sont rarement clairement vérifiées. C'est pourquoi l'intégration d'une analyse des modèles de causalité dans un cadre théorique d'évaluation d'impact rigoureux est si intéressante pour de multiples praticiens de la REDD+, de la conservation et du développement.
<figure><img src="image_10.png" /></figure>
# 4

# Aspects pratiques à prendre en compte pour mieux comprendre les impacts de la REDD+ sur le bien-être économique et social

## 4.1 Budgets et capacités d'évaluation

L'évaluation des projets destinés à servir de pilote ou à but démonstratif mérite que lui soit consacrée une aide financière conséquente. Or, le plus souvent, l'évaluation constitue une part infime des budgets des projets de conservation et développement. Par ailleurs, dans le domaine de la REDD+, c'est la MNV du carbone, fort coûteuse parfois, qui est largement prioritaire. Ces deux facteurs couplés remettent en cause l'allocation de ressources suffisantes pour une évaluation des impacts sur le bien-être économique et social qui soit exigeante sur le plan de la qualité et qui se fonde sur des preuves. La collecte de données relatives à des niveaux de référence et groupes de contrôle est fréquemment considérée comme étant très onéreuse. Les compétences nécessaires à la conception des études d'évaluation, au traitement et à l'analyse des données sont également jugées comme dépassant celles du personnel travaillant sur les projets (et comme n'étant pas de leur ressort). Or, l'évaluation des impacts sociaux peut contribuer de manière importante à la gestion des risques juridiques, politiques et médiatiques de la REDD+ en définissant la nature de ces impacts de manière anticipée et en en établissant la preuve. Cette évaluation complète nos connaissances relatives aux impacts des projets sur les émissions de carbone, car ces deux catégories d'impact sont liées aux décisions prises par les usagers de la forêt et par leurs comportements. Consulter Bamberger (2006), Bamberger et al. (2004) et Baker 2000 pour obtenir des recommandations sur les éléments constitutifs d'un budget d'évaluation et des techniques de

réduction des coûts, ainsi que des exemples de budgets d'évaluation.

Lorsqu'ils constituent un budget d'évaluation des impacts sociaux, les porteurs de projet et les chercheurs et évaluateurs qui collaborent avec eux doivent prendre en compte plusieurs facteurs, dont l'état d'avancement de la mise en œuvre du projet (à savoir phase antérieure au projet, en cours de projet ou postérieure au projet), les capacités d'évaluation et les ressources disponibles pour cette dernière. Lorsque l'évaluation commence avant le projet lui-même, les méthodologies de recherche les plus rigoureuses peuvent être employées, mais elles peuvent aussi être les plus coûteuses. Elles consistent à recueillir des données sur les zones de traitement (et aussi de préférence sur les zones de contrôle) ou auprès des usagers de la forêt avant que ne commence l'intervention. Lorsque les données sont ainsi collectées dans les tout premiers stades du projet, il arrive qu'elles permettent de repérer un sous-échantillon de témoins bien appariés aux usagers de la forêt traités, de sorte que le recueil de données puisse être circonscrit par la suite à ces témoins appariés. Toutefois, ces méthodologies de recherche sont foncièrement coûteuses parce qu'elles s'appuient sur des séries d'observations sur le terrain échelonnées sur une longue période.

Les points de repères que nous donnons ci-après guident dans le choix d'une méthodologie d'évaluation d'impact adaptée au budget disponible.

* **Budget de montant élevé pour l'évaluation des impacts sur le bien-être économique et**
**social** : Réaliser des enquêtes détaillées auprès d'un grand nombre de ménages ; collecter des données relatives aux sites de contrôle et d'impact ayant fait l'objet d'une sélection rigoureuse ; trianguler les résultats au moyen d'entretiens avec des informateurs principaux et des réunions dans les villages ; effectuer la représentation de la chaîne de causalité avant, pendant et après l'intervention pour un certain nombre d'indicateurs qualitatifs et quantitatifs définis.

* **Budget de montant intermédiaire pour l'évaluation des impacts sur le bien-être économique et social** : Procéder comme pour le budget de montant élevé, mais limiter le nombre des enquêtes auprès des ménages et réaliser une stratification des échantillons par groupe d'appartenance (revenu, origine ethnique, appartenance hommes-femmes, profession par ex.) ; les résultats auront un intervalle de confiance plus réduit ; la représentation de la chaîne de causalité impliquera des vérifications d'hypothèses moins fréquentes et à partir d'un nombre plus réduit de données.

* **Budget de montant faible pour l'évaluation des impacts sur le bien-être économique et social** : Employer des méthodes participatives à l'échelon du village en collectant des données avant et après le projet, ou sur des sites de contrôle et d'impact, ou les deux à la fois ; utiliser des méthodes rétrospectives si des données antérieures ne sont pas disponibles ; appliquer les méthodes participatives à intervalles réguliers afin de s'informer sur la mise en œuvre du projet de REDD+ et représenter la chaîne de causalité.

Les capacités d'évaluation constituent une contrainte qui rebute beaucoup de porteurs de projet. Il y a deux aspects à prendre en compte. Tout d'abord, le projet dispose-t-il de personnel ou de collaborateurs possédant les compétences et la formation nécessaires à la collecte de données requise dans le cadre d'une évaluation d'impact ? Pour étudier les impacts sociaux du point de vue local, il faut collecter des données au niveau du village et du ménage, mais la conception et la mise en œuvre des enquêtes auprès des villages et des ménages demande une gamme étendue

de compétences et d'aptitudes. Les ressources fournies par l'étude GCS-REDD+ du CIFOR comprennent des supports de réalisation d'enquêtes socioéconomiques (cf. Annexe C) ; consulter Angelsen *et al*. 2011 qui donnent des ressources supplémentaires pour l'élaboration et la mise en œuvre d'enquêtes portant sur le bien-être économique et social et la dépendance par rapport aux forêts et à l'environnement. Ensuite, il est nécessaire d'avoir des collaborateurs disponibles pour traiter et analyser les données collectées. Les compétences élémentaires nécessaires comprennent l'aptitude à manipuler, nettoyer et renseigner des séries de données, faire des calculs de statistique descriptive et exécuter des programmes de modélisation de régressions et d'appariement des données. Cf. Annexe B.1 qui donne une synthèse des ressources en ce qui concerne l'évaluation d'impact.

Nous insistons sur l'importance d'inclure l'évaluation des impacts sociaux dans le programme de conception et de mise en oeuvre du projet avant le démarrage de celui-ci, ceci permettant d'adopter l'approche la plus flexible pour l'évaluation et d'accroître la probabilité que des ressources soient investies dans l'évaluation d'impact. Nous réaffirmons que les coûts de l'estimation des impacts sociaux ont toutes les chances d'être moindres par rapport à ceux de la MNV du carbone, et que l'investissement réalisé se justifie par le fait que les impacts de la REDD+ sur les moyens de subsistance déterminent largement sa viabilité politique et sociale, ainsi que la permanence du rôle qu'elle joue dans l'atténuation des changements climatiques.

## 4.2 Aspects éthiques

Toute activité de recherche faisant intervenir des personnes est susceptible d'exposer ces personnes à des risques : les porteurs de projet, les chercheurs et les autres parties prenantes ont le devoir de les protéger contre ces risques. Le rapport Belmont (1979) propose des principes dont la validité est reconnue en matière de recherche comportementale et biomédicale ; il définit notamment trois principes qui servent de référence pour une recherche éthique sur l'humain :