GUIDE MÉTHODOLOGIQUE IMPRESS

# ÉVALUATION EX POST DES IMPACTS DE LA RECHERCHE AGRONOMIQUE DANS LES PAYS DU SUD

D. Barret • G. Blundo-Canto • M-H. Dabat • A. Devaux-Spatarakis •

G. Faure • E. Hainzelin • S. Mathé • L. Temple • A. Toillier • B. Triomphe

<figure><img src="image_1.png" /></figure>

<figure><img src="image_2.png" /></figure>
<figure><img src="image_3.png" /></figure>
GUIDE MÉTHODOLOGIQUE IMPRESS

# ÉVALUATION EX POST DES IMPACTS DE LA RECHERCHE AGRONOMIQUE DANS LES PAYS DU SUD

D. Barret • G. Blundo-Canto • M-H. Dabat • A. Devaux-Spatarakis •

G. Faure • E. Hainzelin • S. Mathé • L. Temple • A. Toillier • B. Triomphe
© Cirad, décembre 2017

ISBN: 978-2-87614-731-7

https://doi.org/10.19182/agritrop/00005

Coordination : Patricia Doucet, délégation à la communication du Cirad

Amélioration éditoriale : Sylvie Albert

Illustrations : Eric Vall, UMR Selmet, Cirad

Mise en page : Jean-Marie Forgue, Alter ego communication, 34150

<figure><img src="image_4.png" /></figure>

Cette œuvre est mise à disposition
selon les termes de la licence

Creative Commons CC-BY 4.0 : Attribution 4.0 International

https://creativecommons.org/licenses/by/4.0/deed.fr

Comment citer ce document

Barret Danielle, Blundo Canto Genowefa, Dabat Marie-Hélène, Devaux-Spatarakis Agathe, Faure Guy, Hainzelin Etienne, Mathe Syndhia, Temple Ludovic, Toillier Aurélie, Triomphe Bernard, Vall Eric (illus.), 2017. Guide méthodologique ImpresS: Évaluation *ex post* des impacts de la recherche agronomique dans les pays du Sud. Montpellier, France : CIRAD, 96 p. ISBN 978-2-87614-731-7. https://doi.org/10.19182/agritrop/00005.
Résumé

Le présent guide décrit la méthode ImpresS (pour IMPact des REchercheS au Sud / *IMPact of RE*Search in *the South*) *ex post* afin d'en faciliter l'utilisation par les équipes du Cirad et de ses partenaires du Sud. Cette méthodologie a été élaborée dans le cadre d'un chantier stratégique d'établissement – « Innovation-Impact » – visant à construire un cadre d'évaluation de l'impact adapté aux recherches partenariales du Cirad et à développer une « culture de l'impact » au sein de l'institution.

Cette méthode a été établie sur la base d'une recherche bibliographique, des réflexions conduites dans d'autres organisations (notamment CGIAR, FAO, WUR et Inra), des travaux du Cirad réalisés depuis 2011 par des groupes de travail internes, des résultats de deux ateliers méthodologiques organisés par le Cirad en octobre 2014 et février 2015, et du *feedback* issu de l'évaluation *ex post* de l'impact de la recherche de 13 études de cas entre 2015 et 2016.

Adoptant une posture pragmatique, par la construction de connaissances à partir de la réalité des ter-
rains, le guide propose :

– un cadre conceptuel et des outils fondamentaux ;

– une méthode d'évaluation en cinq phases ;

– une démarche d'analyse transversale.

Le cadre conceptuel de référence est le chemin de l'impact (Impact Pathway – IP). Les modèles théo-
riques de l'IP analysent comment se construisent les innovations et comment les acteurs s'en emparent.
Le chemin de l'impact permet d'établir des relations de cause à effet, d'identifier des produits de la re-
cherche (outputs), des résultats (outcomes) qui correspondent à une appropriation et/ou transformation
des produits de la recherche par les acteurs en interaction avec la recherche, des impacts de 1er niveau qui
affectent les acteurs interagissant directement ou indirectement avec la recherche et/ou ses partenaires,
et des impacts de 2e niveau qui traitent du changement d'échelle de l'innovation. Les impacts sont carac-
térisés à partir de descripteurs qui font sens pour les acteurs. Les impacts sont renseignés par un nombre
limité d'indicateurs quantitatifs ou qualitatifs qui rendent compte d'une évolution entre une situation de
référence et la période actuelle de l'étude. La méthode est participative car elle repose sur la perception
qu'ont les acteurs des impacts de la recherche.

Sur le plan opérationnel, la méthode ImpresS se décompose en cinq phases :

- la phase de préparation de l'étude de cas :

* délimitation du périmètre de l'étude de cas, en termes temporel et spatial, et identification des différents acteurs et projets de recherche et de développement qui participent à l'innovation,

• élaboration des hypothèses d'impacts à partir de l'espérance de changement portée par la recherche,

* production d'un premier récit de l'innovation qui conduit aux impacts ;

- la phase de confrontation avec les acteurs :

* définition et affinage des hypothèses avec les acteurs en précisant le récit de l'innovation et la nature des impacts (1er atelier participatif) ;

- la phase de construction du récit de l'innovation et du chemin de l'impact :

* documentation de manière systématique des moyens (inputs), produits (outputs) et résultats (outcomes),

* attention particulière portée aux situations d'apprentissage et aux interactions avec les politiques publiques ;
- la phase de caractérisation et de mesure des impacts :

* caractérisation et quantification des impacts de 1er niveau (au niveau des acteurs qui interagissent avec la recherche et/ou ses partenaires) par une méthode multicritères s'appuyant sur des enquêtes et/ou des focus groups,

* caractérisation et quantification de certains impacts de 2e niveau par diverses méthodes (collecte de données secondaires notamment);

- la phase de validation avec les acteurs :

* validation de l'ensemble des résultats avec les acteurs (2e atelier participatif),

* conclusion de l'étude (récit de l'innovation, chemin de l'impact, quantification des impacts).

Les résultats alimentent une base de données générique pour (i) harmoniser et archiver les données collectées dans chaque étude de cas, (ii) permettre une analyse transversale des études de cas, et (iii) faciliter ensuite la construction de démarches ex ante (ou avant le démarrage des projets).
# Sommaire

<table><tr><td>Résumé</td><td>3</td></tr><tr><td>Sommaire</td><td>5</td></tr><tr><td>Introduction – La contribution de la recherche à l'impact</td><td>7</td></tr><tr><td>1.1 Les principes directeurs</td><td>13</td></tr><tr><td>1.1.1 Une évaluation reposant sur des études de cas</td><td>13</td></tr><tr><td>1.1.2 Une démarche s'appuyant sur la participation des acteurs</td><td>14</td></tr><tr><td>1.1.3 Une méthode à adapter à chaque situation</td><td>14</td></tr><tr><td>1.2 Les cinq phases de la méthode ImpresS</td><td>16</td></tr><tr><td>1.2.1 La phase de préparation de l'étude de cas</td><td>17</td></tr><tr><td>1.2.2 La phase de confrontation avec les acteurs</td><td>18</td></tr><tr><td>1.2.3 La phase de construction du récit de l'innovation et du chemin de l'impact</td><td>19</td></tr><tr><td>1.2.4 La phase de caractérisation et de mesure des impacts</td><td>20</td></tr><tr><td>1.2.5 La phase de validation avec les acteurs</td><td>21</td></tr><tr><td>2.1 Délimiter le périmètre de l'étude de cas</td><td>24</td></tr><tr><td>2.2 Élaborer la première hypothèse des impacts de l'innovation</td><td>26</td></tr><tr><td>3.1 La cartographie des acteurs</td><td>30</td></tr><tr><td>3.2 Le récit de l'innovation et son chronogramme</td><td>32</td></tr><tr><td>3.3 Le chemin de l'impact</td><td>35</td></tr><tr><td>3.3.1 Pourquoi un chemin de l'impact ?</td><td>35</td></tr><tr><td>3.3.2 L'identification des moyens (inputs) mobilisés par la recherche</td><td>36</td></tr><tr><td>3.3.3 L'identification des produits (outputs) de la recherche</td><td>37</td></tr><tr><td>3.3.4 L'identification des résultats (outcomes) de la recherche</td><td>37</td></tr><tr><td>3.3.5 L'identification des impacts</td><td>39</td></tr><tr><td>3.3.6 Construire le chemin de l'impact</td><td>41</td></tr><tr><td>3.3.7 Tracer les liens de causalité</td><td>41</td></tr><tr><td>4.1 Pourquoi s'intéresser au renforcement des capacités ?</td><td>46</td></tr><tr><td>4.2 Évaluer le renforcement des capacités</td><td>47</td></tr><tr><td>4.2.1 Les situations d'apprentissage</td><td>47</td></tr><tr><td>4.2.2 Identifier et caractériser les situations d'apprentissage</td><td>47</td></tr><tr><td>4.2.3 Positionner le renforcement des capacités dans le chemin de l'impact</td><td>48</td></tr><tr><td>4.2.4 Aller plus loin</td><td>49</td></tr><tr><td>5.1 Pourquoi s'intéresser aux politiques publiques ?</td><td>52</td></tr><tr><td>5.2 Évaluer le rôle des acteurs publics dans le processus d'innovation et l'impact de la recherche sur les politiques publiques</td><td>52</td></tr><tr><td>5.2.1 Apprécier le contexte institutionnel et connaître les acteurs publics dans l'environnement de la recherche menée</td><td>52</td></tr><tr><td>5.2.2 Étudier les interactions des acteurs publics avec les autres acteurs du processus d'innovation</td><td>53</td></tr><tr><td>5.2.3 Étudier les impacts de ces interactions sur la capacité des acteurs publics et sur les politiques publiques</td><td>54</td></tr><tr><td>5.2.4 Les méthodes de collecte et d'analyse</td><td>55</td></tr></table>
<table><tr><td>6.1 Caractériser les impacts et leurs indicateurs</td><td>58</td></tr><tr><td>6.2 Renseigner les indicateurs pour les impacts de 1er et 2e niveaux</td><td>59</td></tr><tr><td>6.3 Caractériser le changement d'échelle et la contribution de la recherche</td><td>61</td></tr><tr><td>6.3.1 La construction d'un radar par domaine d'impacts</td><td>62</td></tr><tr><td>7.1 Les étapes pour les études de cas in itinere</td><td>66</td></tr><tr><td>7.2 L'hypothèse des impacts de l'innovation</td><td>66</td></tr><tr><td>7.3 Le récit de l'innovation</td><td>66</td></tr><tr><td>7.4 Les liaisons input-output-outcome</td><td>67</td></tr><tr><td>7.5 La collecte de descripteurs d'impacts</td><td>67</td></tr><tr><td>7.6 La phase de mesure</td><td>67</td></tr><tr><td>7.7 La validation</td><td>67</td></tr><tr><td>8.1 L'entretien</td><td>70</td></tr><tr><td>8.2 Le focus group</td><td>71</td></tr><tr><td>8.3 L'atelier</td><td>72</td></tr><tr><td>8.4 Les enquêtes individuelles</td><td>73</td></tr><tr><td>8.5 Le traitement des données</td><td>74</td></tr><tr><td>8.5.1 Le renseignement de la base de données</td><td>74</td></tr><tr><td>8.5.2 Le rapport final</td><td>74</td></tr><tr><td>Bibliographie</td><td>76</td></tr><tr><td>Glossaire</td><td>79</td></tr><tr><td>Liste des encadrés</td><td>82</td></tr><tr><td>Liste des figures</td><td>82</td></tr><tr><td>Liste des tableaux</td><td>83</td></tr><tr><td>Annexe 1 : Liste des études de cas évaluées par la démarche ImpresS (2015-2016)</td><td>86</td></tr><tr><td>Annexe 2 : Tableau synoptique des phases, objectifs, acteurs de la méthode ImpresS pour les cas ex post</td><td>87</td></tr><tr><td>Annexe 3 : Comment noter l'intensité de la contribution du renforcement des capacités aux impacts ?</td><td>89</td></tr><tr><td>Annexe 4 : Exemple de tableau d'impacts issu de l'étude de cas « Valeur ajoutée des produits de l'agriculture familiale du Brésil à explorer : les indications géographiques (IG) de l'État de Santa Catarina »</td><td>91</td></tr><tr><td>Annexe 5 : Plan du rapport des études de cas</td><td>93</td></tr></table>
## Introduction –
La contribution de la recherche à l'impact

Le chantier « Innovation-Impact » s'inscrit dans les objectifs de stratégie scientifique et partenariale du Cirad (Cirad, 2014). Il doit permettre, sur la durée du contrat d'objectif 2014-2018, de construire puis déployer, au niveau de l'institution, des cadres d'analyse, une démarche, des méthodes, des outils relatifs aux processus d'innovation qui impliquent la recherche – menée par le Cirad en partenariat avec divers acteurs du Sud dans des configurations variées – et dont les effets sur le développement ont vocation à être analysés, démontrés, voire mesurés. À cet objectif d'apprentissage s'ajoute l'élaboration à destination du public, des tutelles, des bailleurs et des partenaires, d'un discours étayé par des preuves sur l'impact des recherches, dont certaines sont menées sur des pas de temps très longs. Ce chantier vise à développer une culture de l'impact au sein de l'institution. Pour le Cirad, cette culture de l'impact, au niveau individuel et collectif, se fonde sur une meilleure compréhension des mécanismes complexes à l'œuvre pour créer et appuyer les processus d'innovation qui génèrent des impacts dans la durée. Elle s'appuie sur des outils rigoureux d'analyse mais aussi sur une volonté de mieux travailler avec les acteurs impliqués dans l'innovation (encadré 1). Elle se matérialise par la capitalisation des expériences collectives, l'amélioration continue des pratiques de recherche, mais aussi par une prise en compte de l'impact dans les mécanismes de programmation et d'évaluation des actions entreprises.

Si la recherche peut générer des impacts, elle ne fait pas l'impact à elle seule. D'autres acteurs, en interaction ou non avec la recherche, jouent aussi un rôle fondamental dans les processus d'innovation et dans la construction des impacts. L'innovation est un processus complexe, systémique et incertain qui inclue des dimensions techniques et organisationnelles. Dans cette perspective, l'attribution causale unique d'un impact donné à la recherche (ou à tout autre acteur pris isolément) devient illusoire. Il n'est donc pas facile de spécifier la contribution de la recherche à l'innovation. Sa mise en évidence, en s'appuyant sur la démonstration de la preuve, demande des méthodes adaptées.

Afin d'analyser la contribution de la recherche à l'impact, il est nécessaire d'établir des liens de causalité entre d'une part les apports de la recherche, les changements que ces apports induisent sur les représentations et les pratiques des acteurs, et d'autre part leurs effets en termes économiques, sociaux, ou environnementaux. Dans le prolongement des méthodes mises au point par les centres du CGIAR<fnref n="1" /> (De Janvry et al., 2011) et par l'Inra<fnref n="2" /> (Colinet et al., 2013), la méthode ImpresS s'appuie sur le chemin de l'impact (Douthwaite et al., 2003). Il s'agit de comprendre la relation qui existe entre la mise au point des produits de la recherche (outputs) et les changements issus de l'appropriation de ces produits par les acteurs (résultats / outcomes), ceux-ci se traduisant in fine en impacts. Cette analyse de la contribution de la recherche peut se faire de manière ex ante (avant la mise en place des actions de recherche, dans une vision programmatique), ex post (après la mise en place des actions de recherche et l'observation d'impacts), ou in itinere (alors que l'innovation est en cours de déploiement et les impacts ne sont pas encore manifestes). Le présent guide traite de l'analyse ex post et in itinere de l'impact de la recherche.

L'évaluation *ex post* de la recherche selon la méthode ImpresS se fonde sur des études de cas qui permettent de comprendre les processus d'innovation et d'en mesurer les impacts. Le cadre méthodologique

<footnote n="1">1 Consultative Group on International Agricultural Research.</footnote>

<footnote n="2">2 Institut national de la recherche agronomique.</footnote>
a été élaboré et amélioré de manière itérative par un groupe de travail<fnref n="3" /> puis validé progressivement, en s'appuyant également sur un avis du conseil scientifique de l'établissement en juin 2014. Ce cadre a puisé dans les travaux précédents du Cirad, tels l'état de l'art initial sur l'évaluation de l'impact de la recherche (Saint-Martin et al., 2011) et surtout quatre études de cas réalisées entre 2012 et 2013 (Alami et al., 2013, Temple et al., 2012). Il a été établi sur la base d'une revue bibliographique, des réflexions conduites dans d'autres organisations (notamment CGIAR, FAO, WUR<fnref n="4" /> et Inra), des travaux du Cirad réalisés depuis 2011 par des groupes de travail internes, des résultats de deux ateliers méthodologiques organisés par le Cirad en octobre 2014 et février 2015, et du feedback issu de l'évaluation ex post de l'impact de la recherche de 13 études de cas entre 2015 et 2016⁵ (Triomphe et al., 2015 ; Temple et al., 2016).

## Encadré 1 : Mais qu'est-ce que l'innovation ?

Dans le domaine de la recherche agronomique pour le développement, l'innovation n'est plus considérée comme un processus de transfert des seuls produits de la recherche vers les acteurs du développement mais plutôt comme un processus d'interaction entre différents acteurs. L'invention* est une idée, un concept, ou une technique conçus dans un laboratoire public ou privé. L'innovation est l'usage de l'invention par des acteurs. Elle peut être caractérisée de différentes manières : produit vs processus, incrémentale vs radicale, technique vs organisationnelle. En fait, l'innovation résulte toujours de la synergie entre trois dimensions : technique, organisationnelle et institutionnelle. Ainsi Smits (2002), repris par Klerkx et al. (2010), considère qu'une innovation combine la mise en œuvre de nouvelles techniques et pratiques (hardware), de nouvelles connaissances et modes de pensée (software) et de nouvelles institutions et organisations (orgware). Elle est donc de nature sociotechnique (Flichy, 1995).

L'innovation est un processus complexe, qui peut être compris comme un processus tourbillonnaire et imprévisible dont le pilotage est incertain, voire impossible (Akrich et al., 1988a, 1988b ; Leeuwis, 2004). De ce fait, tout processus d'innovation passe par des accélérations, des ralentissements et des crises. D'ailleurs, toutes les innovations ne sont pas viables et un processus de sélection s'opère (Nelson, 1993). Les innovations peuvent émerger dans des niches (contexte local favorable, nouveau marché, entreprises innovantes, etc.) qui permettent leur maturation (ou leur élimination), puis peuvent ensuite prendre de l'ampleur (se disséminer sous leur forme originelle ou sous une nouvelle forme) et modifier les régimes sociotechniques dominants (Geels et Schot, 2007). L'environnement

institutionnel (landscape) joue alors un rôle important à travers les règles, normes et valeurs qui sous-tendent le régime sociotechnique dominant ou permettent l'esor d'innovations de niche.

L'innovation peut aussi être analysée dans le cadre plus large des systèmes d'innovation nationaux, régioнаux ou sectoriels, en faisant jouer un rôle plus important aux organisations dédiées à l'innovation (Lundvall, 1992). Une telle analyse en termes de systèmes d'innovation permet d'interroger à la fois les processus de développement mais aussi les politiques d'innovation (Touzard et al., 2014). Dans cette perspective, l'innovation ne résulte que partiellement de l'application des résultats de la recherche scientifique et il existe de nombreux allers-retours entre activités de recherche et actions entreprises par les partenaires des chercheurs, jusqu'à parvenir à une ou des innovations adoptées, c'est-à-dire mises en œuvre par des utilisateurs finaux (des agriculteurs, des firmes, des institutions).

L'innovation est issue des interactions au sein d'un collectif d'acteurs qui permet de mobiliser différents types de connaissance (scientifique, profane), sachant que cette connaissance est distribuée, et d'en créer de nouvelles. Certains acteurs jouent un rôle moteur lors de certaines phases du processus. Des innovations émergent sans la recherche, voire parfois contre des orientations portées par la recherche / la R&D publique ou privée (cas de l'agroécologie ou de l'agriculture biologique lors de ses débuts en France, du semis direct au Brésil). D'autres innovations sont principalement issues de l'activité de recherche : nouvelles variétés, nouveaux intrants, etc. Le rôle des différents acteurs, et donc de la recherche, dans le processus d'innovation varie dans sa nature et son intensité.

<footnote>* L'innovation peut être définie, au niveau de l'entrepreneur, comme un nouveau produit, un nouveau procédé, une nouvelle manière d'accéder à des services ou une nouvelle manière de commercialiser ses produits ou ses services. De manière générale, elle peut aussi être définie comme une idée mise en œuvre (cf. la définition de l'Union européenne dans le partenariat européen pour l'innovation). Elle implique des acteurs qui ont une espérance de changement, s'inscrit dans un contexte qui est chaque fois particulier et inclut toujours des dimensions techniques, organisationnelles, institutionnelles et sociales.</footnote>

<footnote n="3">3 Groupe de travail « méthodologie » animé par Guy Faure et composé de Marie-Hélène Dabat, Syndhia Mathé, Ludovic Temple, Danièle Clavel, Danielle Barret, Bernard Triomphe et Aurélie Toilier.</footnote>

<footnote n="4">4 FAO: Food and Agriculture Organization of the United Nations; WUR: Wageningen University & Research.</footnote>

<footnote n="5">5 http://impress-impact-recherche.cirad.fr/resources/fostering-impact-culture-in-agricultural-research/</footnote>
Ce guide méthodologique a pour objectif de permettre l'évaluation de l'impact sur le développement des activités de recherche du Cirad et de ses partenaires à partir d'études de cas. Le choix de proposer un cadre conceptuel et méthodologique commun à toutes les études de cas favorise la mise en œuvre d'une évaluation rigoureuse démontrant les liens de causalité entre les activités de recherche et les impacts sur le développement à différentes échelles d'analyse (locale, nationale, voire globale). Ce guide a aussi l'ambition de faciliter les analyses transversales et les comparaisons entre cas.

Le guide comprend les huit parties suivantes :

(i) la présentation de la démarche méthodologique ImpresS pour rendre compte de la contribution de la recherche à l'impact,

(ii) la description de la préparation des études de cas,

(iii) la présentation des principaux outils d'analyse pour caractériser la contribution de la recherche à l'impact,

(iv) un focus sur le renforcement des capacités,

(v) un focus sur les interactions avec les acteurs publics et les politiques publiques,

(vi) une proposition pour mesurer les impacts,

(vii) une réflexion sur les cas ininere, et enfin

(viii) des éléments pour la collecte et le traitement des données.

<figure><img src="image_5.png" /></figure>
<figure><img src="image_6.png" /></figure>
# 1
La démarche méthodologique ImpresS
pour caractériser la contribution
de la recherche à l'impact

....................................
**Chemin de l'impact** – Le chemin de l'impact consiste en la description d'un processus d'innovation qui met en évidence des relations de causalité entre les moyens [inputs] mobilisés par la recherche, les produits [outputs] de la recherche, les résultats [outcomes], qui se matérialisent directement au niveau des utilisateurs des produits [outputs] de la recherche, et les impacts de 1er et 2e niveaux.

**Moyen [input] de la recherche** – L'input concerne l'ensemble des interventions et des ressources qui permettent de mener une activité de recherche (ressources humaines et matérielles, budget de recherche, informations, connaissances générées antérieurement ou tacites, autres activités de recherche, etc.) et ainsi de générer des produits [outputs] de recherche. Dans la méthode décrite dans ce guide, ces moyens [inputs] renvoient aux investissements réalisés et aux ressources mobilisées avant la période choisie pour le démarrage de l'étude de cas ou pendant la période de l'étude de cas (un financement ou le recrutement d'un chercheur peut intervenir pendant la période de l'étude de cas et reste un input).

**Produit [output] de la recherche** – L'output est la production issue de la recherche ou des interactions de la recherche avec les acteurs dans le[s] projet[s]. Il peut s'agir de connaissance, scientifique ou non (publication, rapport, base de données, méthode, etc.), de formations professionnelles ou académiques, d'une expertise, d'une technologie, d'un réseau ou d'autres formes de production. Les outputs peuvent contribuer à l'émergence d'innovations lorsqu'ils font l'objet d'une appropriation par les acteurs de la société. Dans la méthode décrite dans ce guide, les produits de la recherche (connaissances, prototypes, etc.) élaborés avant le démarrage de l'étude de cas sont considérés comme des inputs alors que ceux élaborés pendant la période de l'étude de cas sont considérés comme des outputs.

**Résultat [outcome]** – L'outcome est l'appropriation d'un produit de la recherche par les acteurs interagissant directement ou indirectement avec la recherche, qui conduit à de nouvelles pratiques (agricoles ou managériales), de nouvelles organisations, de nouvelles règles.

**Impacts** – Les impacts sont des effets à long terme, positifs et négatifs, intentionnels ou non, directs ou indirects, induits par une action de développement. Les impacts, c'est ce qui reste une fois que le projet / programme est terminé. Il peut s'agir d'impacts de différentes natures : économiques, sociaux, territoriaux, environnementaux, politiques, sanitaires. Ils sont mesurés par des indicateurs.

**Impacts de 1er niveau [ou impacts 1]** – Les impacts de 1er niveau sont mesurés sur les acteurs interagissant directement ou indirectement avec la recherche et/ou les acteurs majeurs de l'innovation, et peuvent être évalués avec ces acteurs. Leur mesure concerne deux critères : l'intensité du changement et l'ampleur du changement.

**Impacts de 2e niveau [ou impacts 2]** – Les impacts de 2e niveau résultent des effets de spillover (impacts indirects) ou de changement d'échelle (horizontal / scaling out et

vertical / scaling up). Ils peuvent être évalués selon les critères d'intensité du changement et d'ampleur du changement, mais de manière plus approximative ou moins détaillée que les impacts de 1er niveau.

À noter que les notions de moyens [inputs], de produits [outputs], de résultats [outcomes], et d'impacts de 1er et 2e niveaux connaissent des interprétations différentes selon les disciplines, les auteurs, les institutions. En effet, certains auteurs décomposent parfois les outcomes en « outcomes intermédiaires » et « outcomes de long terme ». À l'inverse, d'autres ne décomposent pas les impacts en impacts de 1er et 2e niveaux. De plus, la distinction entre outputs et outcomes n'est pas toujours facile, notamment dans le cas de recherches participatives. Certains classent en outcomes ce que d'autres classent en outputs, ou inversement. De même, il n'est pas toujours facile de distinguer les outcomes des impacts, car un impact constaté au niveau d'un acteur peut devenir un outcome qui génèrera un impact pour un autre acteur qui interagit avec le premier.

**Acteur** – Un acteur est un individu ou une organisation impliqué[e] dans un processus d'innovation. Dans la démarche ImpresS ex post, trois catégories d'acteurs sont distinguées : les acteurs qui ont un rôle majeur dans le processus d'innovation, les acteurs qui influent (de manière intentionnelle ou non) sur l'innovation sans être acteurs du processus d'innovation et les acteurs qui sont impactés positivement ou négativement le cas échéant par l'innovation, mais qui ne sont pas des acteurs majeurs du processus d'innovation.

**Descripteurs** – Les descripteurs correspondent à l'expression de l'impact par les acteurs avec leurs propres mots et se référant à des changements tels qu'ils les perçoivent.

**Indicateur** – Un indicateur correspond à une information synthétique, de nature quantitative ou qualitative, qui permet de caractériser une ressource ou un processus ou d'aider à prendre une décision.

**Radar** – Un radar est une représentation graphique qui synthétise les données relatives aux différents impacts identifiés. La méthode ImpresS propose de représenter les impacts après les avoir regroupés en 11 « domaines d'impacts ».

**Récit de l'innovation** – Ce récit est le narratif de l'innovation, donc de l'ensemble des acteurs majeurs de l'innovation. Il considère les grandes phases de l'histoire de l'innovation avec ses avancées, ses crises, les facteurs extérieurs qui influencent l'innovation. Il s'agit de recenser et dater « ce qui s'est passé », depuis les prémices du processus d'innovation jusqu'à la période actuelle.

**Chronogramme** – Un chronogramme permet de visualiser le récit de l'innovation dans sa dimension temporelle en précisant les évènements marquants.

**Grappe de projets** – Une grappe de projets est l'ensemble des projets de recherche, de recherche-développement et de développement, mais aussi des interventions non formalisées en projets, liés à l'innovation étudiée.

<footnote n="6">6 cf. glossaire plus complet en fin de guide.</footnote>
Le cadre conceptuel de référence de la démarche ImpresS est le chemin de l'impact (Impact Pathway – IP), dont les modèles théoriques analysent comment se construisent les innovations et comment les acteurs s'en emparent. Le chemin de l'impact permet d'établir des relations de cause à effet, de distinguer : produits de la recherche (outputs) ; résultats (outcomes) qui correspondent à une appropriation et/ou transformation des produits de la recherche par les acteurs en interaction avec la recherche ; impacts de 1er niveau qui affectent les acteurs interagissant directement ou indirectement avec la recherche et/ou ses partenaires ; impacts de 2e niveau qui traitent du changement d'échelle de l'innovation. Dans cette première partie, sont détaillés les principes de base de la démarche ImpresS, son caractère participatif et adaptatif, et enfin son déroulement séquentiel en cinq phases.

L'encadré 2 (ci-contre) fournit la définition de quelques termes utilisés dans la suite du document.

# 1.1 Les principes directeurs

## 1.1.1 Une évaluation reposant sur des études de cas

La démarche ImpresS est fondée sur des études de cas (Yin, 1994) afin de permettre une analyse comprehensive des processus d'innovation, et d'identifier et mesurer les impacts de la recherche. L'unité d'analyse est le processus d'innovation depuis le début des actions de recherche jusqu'à la concrétisation de l'innovation par des impacts.

Le suivi d'une méthode commune pour toutes les études de cas permet des comparaisons entre elles et une capitalisation en tirant des leçons de l'ensemble des cas. Ces leçons sont utiles à l'évolution des pratiques de recherche du Cirad et de ses partenaires.

Les questions que doivent se poser les usagers de ce guide avant de commencer l'évaluation d'une étude de cas menée avec la méthode ImpresS sont les suivantes :

- Est-ce que le cas d'étude peut facilement être délimité afin que l'on puisse l'étudier avec les ressources humaines et financières disponibles, et dans le temps imparti ?

- Est-ce que l'on dispose du temps suffisant (environ quatre mois sur le terrain avec du personnel disposant d'une expérience suffisante pour l'application de la méthode et quatre mois d'analyse et de rédaction) ?

- Est-ce que l'on peut avoir facilement accès aux acteurs ayant contribué au processus d'innovation (ce qui est nécessaire pour une démarche participative) ?

L'encadré 3 décrit la constitution de l'équipe en charge de l'évaluation d'une étude de cas (ou équipe cas) dans le cadre des études menées en 2015-2016.

### Encadré 3 : Constitution de l'équipe d'évaluation dans le cadre des études de cas menées en 2015-2016

L'équipe d'évaluation comprend le porteur du cas, qui s'engage à porter la responsabilité du cas durant toute l'étude et lors de sa valorisation ; c'est un chercheur du Cirad qui connaît le cas d'étude. Il est associé à un ou plusieurs co-porteurs (notamment du Sud

chaque fois que cela est possible). Le co-porteur du Sud vient d'un organisme partenaire qui a été associé au cas étudié. Un étudiant stagiaire de niveau Master 2 ou ingénieur de dernière année est associé à l'équipe pour collecter les données et participer aux analyses.

Les études de cas pouvant être sélectionnées relèvent de deux catégories : les études de cas *ex post* (les activités de recherche sont achevées ; il s'agit donc de « grappes de projets », dessinant une longue trajectoire) et les études des cas *in itinere* (les activités de recherche sont en cours, et souvent liées à un nombre plus restreint de projets). Dans le premier cas, il est possible à la fois d'analyser le processus d'innovation et d'observer des impacts. Dans le second cas, il est possible d'analyser le processus d'innovation mais pas toujours d'observer des impacts, qui restent le plus souvent des hypothèses à confirmer dans le temps. Ils peuvent parfois être identifiés mais assez rarement mesurés. Toutefois, les études de cas *in itinere* sont intéressantes pour le Cirad car la méthodologie ImpresS peut favoriser l'élaboration d'un outil de pilotage des projets de recherche pour améliorer leur impact. En ce sens, les études de cas *in itinere* contribuent à une culture de l'impact. La partie 7 du guide leur est dédiée.
Dans toutes les études de cas choisies, la recherche (le Cirad et ses partenaires de recherche) est l'un des acteurs majeurs de l'innovation. La sélection des études de cas inclut donc un biais qu'il faut assumer : choix de succès plutôt que d'échecs, choix de situations avec une forte implication de la recherche. L'en-cadré 4 illustre la sélection et la conduite des études de cas menées en 2015-2016.

## Encadré 4 : Les études de cas du chantier ImpresS en 2015-2016

Les études de cas ont été choisies à partir de l'identification de 77 projets ou groupes de projets – constituant autant d'études de cas potentielles – par des directeurs d'unités du Cirad. Après une première sélection, des entretiens ont été menés en avril 2014 pour 58 d'entre eux avec des personnes ressources, afin de renseigner les projets à partir d'une grille élaborée par le groupe de travail du chantier ImpresS (type d'innovation, rôle de la recherche, zone géographique concernée, types d'impacts identifiés). Une typologie a été élaborée à partir des 58 cas analysés. Sur cette base, 13 études de cas ont été sélectionnées (Annexe 1) en croisant différents critères (type d'innovation – plutôt technologique ou plutôt organisationnelle –, représentation d'une diversité d'unités des trois départements du Cirad,

disponibilité et intérêt des porteurs de cas et des unités pour conduire une analyse approfondie).

Les études de cas se sont déroulées de mars 2015 à février 2016 avec des moyens dédiés (stagiaires, missions). Une première école-chercheurs, en avril 2015, a permis de construire la méthode avec les porteurs des études de cas. Une deuxième école-chercheurs a eu lieu en avril 2016 pour présenter, discuter et capitaliser les résultats des cas, conduire les premières analyses transversales, et faire un retour critique sur la méthode employée. Pour accompagner la coordination et le groupe méthodologique du chantier dans le suivi de la mise en œuvre des études de cas et l'analyse comparée des cas, un jeune chercheur a été recruté pour une durée de 18 mois.

### 1.1.2 Une démarche s'appuyant sur la participation des acteurs

La méthode ImpresS se positionne dans le champ des méthodes d'évaluation participative, qui sont analysées dans l'encadré 5 (ci-contre). Les avantages de l'évaluation participative dans le cadre de la méthode ImpresS incluent des considérations éthiques et opérationnelles : (i) prise en compte des différents points de vue des acteurs concernés dans le processus d'innovation et de la complexité des liens entre produits de la recherche et impacts, (ii) compensation de l'absence ou de la fiabilité réduite des données secondaires dans certains pays du Sud, et (iii) réduction du coût et de la durée du processus d'évaluation en évitant l'application d'enquêtes complexes sur de grands échantillons.

Dans le cas de la méthode ImpresS, la participation est réfléchie de manière stratégique en visant d'abord à améliorer la compréhension du processus d'innovation complexe et multi-acteurs et la collecte des données. Elle s'attache également, mais dans une moindre mesure, à aider les acteurs, et notamment la recherche, à améliorer la conduite du changement.

La participation des acteurs au processus d'évaluation est effective à différents moments de l'étude de cas, mais avec une intensité variable : (i) participation des partenaires de recherche à l'ensemble du processus d'évaluation, (ii) participation des acteurs majeurs de l'innovation dans un atelier de démarrage de l'étude de cas pour affiner certains choix et dans un atelier de fin d'étude de cas pour valider les résultats, et (iii) participation de certains acteurs dans des focus groups (entretiens ouverts avec un groupe restreint de personnes et se centrant sur des sujets ciblés) ou lors d'enquêtes rapides pour caractériser les caractéeurs et quantifier les indicateurs d'impacts.

### 1.1.3 Une méthode à adapter à chaque situation

Le présent guide a vocation à permettre la mise en œuvre de la méthode ImpresS quelle que soit l'étude de cas, moyennant une adaptation réfléchie à chaque situation (thématique abordée, grappe de projets impliquée, degré de maturité de l'innovation, diversité des acteurs impliqués, richesse de la documentation existante, nature supputée des impacts, etc.) et aux conditions et contraintes spécifiques de travail (composition et expérience des membres de l'équipe en charge de l'évaluation, ressources disponibles, etc.).

Cependant certains principes doivent être respectés pour garantir une bonne qualité de l'évaluation, mais aussi permettre la comparaison entre cas :

- il est essentiel de respecter le caractère participatif de l'évaluation. C'est à travers la participation que seront construits le récit de l'innovation et le chemin de l'impact, et que seront identifiés et validés les
impacts. *A contrario*, sans participation active, il ne s'agira que d'un point de vue, potentiellement biaisé, de chercheurs sur l'impact de la recherche ;

- toutes les dimensions d'évaluation doivent être traitées (récit de l'innovation, chemin de l'impact, renforcement des capacités, interaction avec les politiques publiques, mesure des impacts). Certaines dimensions seront toutefois, de par la nature même du cas, plus importantes que d'autres. Ainsi, un cas pour lequel la dimension « formation et apprentissage des acteurs » est prépondérante dans le processus d'innovation aura *a priori* plus de renseignements à fournir sur la dimension « renforcement des capacités » ;

- un certain degré de flexibilité dans la mise en œuvre est permis par la modulation du nombre d'activités (par exemple le nombre d'entretiens, le nombre de focus groups), le calendrier de mise en place, voire les outils de collecte des données. Il est important de veiller à ce que les ajustements restent compatibles avec l'objectif recherché et une évaluation rigoureuse ;

- il est important de faire le point régulièrement au sein de l'équipe cas sur l'avancée du processus d'évaluation et sur les éventuels problèmes de méthode rencontrés. L'objectif est d'anticiper les difficultés et d'opérer les adaptations nécessaires, notamment sur le plan du calendrier des activités, de la participation des acteurs, etc. ;

- une règle majeure à suivre s'il apparaît nécessaire d'adapter certaines parties de la méthode consiste à discuter les changements de manière explicite avec tous les membres de l'équipe cas, afin de bien cerner les tenants et aboutissants des changements proposés^7^ ;

- il est possible d'aller plus loin que ce que propose la méthode ImpresS sur certains points, soit parce qu'ils représentent un intérêt particulier pour l'équipe ou ses partenaires, soit parce que l'équipe dispose de moyens humains ou financiers permettant de s'investir davantage sur certaines thématiques ou questions.

## Encadré 5 : L'évaluation participative

Certaines approches pour évaluer l'impact de la recherche concernent des situations où les sujets de l'évaluation en sont aussi les acteurs. Il s'agit des approches participatives de l'évaluation. Ces approches ont été développées dans les années 1970 et ont fait l'objet d'expérimentation locale dans les années 1980. Elles répondent au besoin de dépasser la seule évaluation des résultats et des impacts, d'apprêhender les processus, et de rendre compte d'une pluralité des points de vue. Ces approches combinent des éléments d'évaluation qualitatifs et quantitatifs et sont généralement multicritères, c'est-à-dire qu'elles identifient les différentes dimensions qui font sens pour les participants à l'évaluation. De plus, ces approches revendiquent une contribution à des processus d'apprentissage, au renforcement des capacités des acteurs (empowerment), et à la construction de valeurs communes.

On retrouve plusieurs terminologies caractérisant l'approche participative de l'évaluation : évaluation participative, évaluation pluraliste, évaluation coproduite ou co-construite. L'approche participative vise à coproduire l'évaluation avec la société civile afin de prendre en compte de manière raisonnée les différents intérêts en présence et de recueillir la diversité des points de vue sur l'action ou le processus à évaluer. Ces approches peuvent être utilisées aussi bien ex ante (pour discuter les opportunités de réalisation d'une action / prise en compte de la demande sociale), in itinere (pour réajuster l'action en cours) ou ex post (pour poser un regard sur ce qui s'est produit). La participation peut permettre (i) d'identifier ou de préciser les impacts d'une intervention en partageant avec les participants leurs expériences vécues, (ii) d'améliorer la pertinence et la qualité des données recueillies

pour caractériser ces impacts, (iii) d'établir ou valider les relations de causalité à partir de la perception des acteurs, et (iv) de développer les capacités des acteurs pour mener une activité réflexive sur leurs propres actions et être acteurs de leur propre développement (Guijt, 2014).

Les personnes responsables de la mise en œuvre des approches participatives doivent prendre en compte l'importance et les objectifs de l'évaluation pour les différents types d'acteurs, dont certains participent à l'évaluation. Les enjeux éthiques de la participation doivent être considérés attentivement. Le degré de participation dépend des finalités de l'évaluation, en considérant notamment les risques que les participants encourrent (Patton, 1990). L'emploi d'une approche participative n'est pas systématique et une évaluation participative mal menée peut avoir des effets contre-productifs et comporte le risque de non concrétisation des avantages d'un tel type d'approche.

Il existe cependant une diversité de pratiques qui sont fonction de quatre caractéristiques (Ridde, 2006) :

- moments ou profondeur de la participation au cours du processus d'évaluation ;

- diversité des parties prenantes ;

- formes de la participation (de la consultation vers la décision) ;

- rôle de l'évaluateur (expert, médiateur, facilitateur). Quelques actions peuvent être favorables à l'installation d'une participation effective et acceptée :

- informer, motiver et former les parties prenantes à prendre part à l'évaluation ;

- amener les acteurs à construire une vision partagée ;

- assurer les conditions d'une confrontation équilibrée du point de vue des participants.

<footnote n="7">7 Les changements majeurs peuvent être discutés avec la responsable de l'appui méthodologique du chantier ImpresS.</footnote>
## 1.2 Les cinq phases de la méthode ImpresS

Pour mener une étude de cas, la méthode ImpresS propose une démarche en cinq phases (Figure 1) :

(i) préparation de l'étude de cas,

(ii) confrontation avec les acteurs,

(iii) construction du récit de l'innovation et du chemin de l'impact,

(iv) caractérisation et mesure des impacts,

(v) validation avec les acteurs.

<figure><img src="image_7.png" /><figcaption>Figure 1 : La démarche ImpresS.</figcaption></figure>

Cette présentation en cinq phases vise à mettre en avant les grandes étapes de l'évaluation, en soulignant celles qui vont exiger des interactions avec les acteurs, et à distinguer le travail sur l'analyse du processus d'innovation de celui sur la mesure des impacts. Par ailleurs, l'analyse présentée dans ce guide est un processus itératif. Les résultats issus des travaux d'une phase vont réinterroger et affiner les résultats issus des travaux des phases précédentes. Il faut envisager des allers-retours permanents entre les hypothèses et les résultats issus du terrain, ce qui peut amener à collecter des informations complémentaires pour répondre à de nouvelles hypothèses.
1.2.1 La phase de préparation de l'étude de cas

<figure><img src="image_8.png" /></figure>

La phase de préparation est cruciale pour le bon déroulement de l'évaluation. L'équipe cas doit y consac-
rer le temps nécessaire afin de stabiliser en amont le référentiel de l'évaluation. Cette phase a pour
objectifs de :

– délimiter le périmètre de l'étude de cas, ce qui implique de caractériser le type d'innovation ainsi que le périmètre géographique et temporel concerné par l'étude de cas ;

- identifier et cartographier les acteurs qui interviennent dans le processus d'innovation en trois catégories (majeurs, influents, impactés) ;

- identifier sur la base des informations disponibles les projets de recherche, de recherche-développement et/ou de développement mais aussi les interventions qui ne sont pas formalisées en projets à prendre en compte (grappes de projets) ;

- proposer, sur la base des documents disponibles (incluant rapports des projets et littérature grise) et de la connaissance / expérience des porteurs de cas, des premières hypothèses d'impacts de l'innovation (se référer aux 11 domaines d'impacts identifiés à partir des études de cas menées en 2015-2016, cf. partie 2.2), en tentant de différencier les impacts attendus ou espérés par la recherche de ceux, non intentionnels, qui ont pu apparaître ;

- élaborer une première hypothèse de récit de l'innovation, qui peut se construire en remontant les chaînes causales à partir des impacts. Ce premier récit peut s'appuyer sur un chronogramme, récapitu-lant la séquence temporelle de ce qui s'est passé.

Livrables de la phase 1

• Périmètre de l'étude de cas

• Carte des acteurs

• Liste des grappes de projets et interventions considérées

* Première hypothèse des impacts de l'innovation

* Premier récit de l'innovation
### 1.2.2 La phase de confrontation avec les acteurs

<figure><img src="image_9.png" /></figure>

La deuxième étape de l'évaluation poursuit le processus en associant les autres parties prenantes de l'innovation étudiée. L'équipe d'évaluation doit organiser, avant de commencer les enquêtes détaillées, un premier atelier participatif avec les partenaires scientifiques et de développement impliqués dans l'innovation. Les objectifs généraux de cette phase sont de partager les attentes de l'évaluation, d'affiner les premières hypothèses et la méthode de travail avec les acteurs et d'identifier les connaissances et personnes ressources mobilisables pour l'évaluation. Les acteurs décrivent avec leurs mots (ou descripteurs) les changements qu'ils ont perçus ou vécus suite au développement de l'innovation.

Les objectifs spécifiques de la phase de confrontation sont de :

- informer les partenaires et partager avec eux les finalités et les enjeux de l'évaluation de l'impact de la recherche ;

- connaître les attentes des partenaires sur l'utilité de l'évaluation et ses livrables ;

- partager et adapter avec les partenaires la méthodologie d'analyse d'impact ;

- amender / compléter une première version du périmètre de l'étude de cas et du récit de l'innovation (en présentant notamment une première hypothèse du chronogramme du cas) ;

- recueillir les premiers descripteurs d'impacts et propositions d'indicateurs ;

- définir les prochaines étapes de travail (en particulier compléter l'identification des personnes à contacter pour les entretiens et focus groups).

#### Livrables de la phase 2

- Compte-rendu du premier atelier participatif

- Précisions sur le calendrier et les outils choisis pour conduire l'évaluation

- Carte des acteurs affinée

- Récit de l'innovation affiné

- Liste des impacts affinée

- Première liste des descripteurs d'impacts
### 1.2.3 La phase de construction du récit de l'innovation et du chemin de l'impact

<figure><img src="image_10.png" /></figure>

Cette phase vise à recueillir et synthétiser toutes les données liées au processus d'innovation étudié. Elle permet de compléter le récit de l'innovation et le chemin de l'impact et a pour objectifs de :

- documenter de manière systématique les éléments d'information utiles à la révision du récit de l'innovation et permettant d'instruire l'analyse du chemin de l'impact (moyens / inputs, produits / outputs, résultats / outcomes et impacts) pour établir les liens de cause à effet. Lors de ce travail, les acteurs formulent des descripteurs d'impacts et souvent des indicateurs d'impacts ;

- identifier les situations et les processus d'apprentissage qui ont généré un renforcement du capital humain et social et caractériser l'éventuelle contribution de la recherche ;

- identifier les moments clés et les mécanismes d'interaction avec les politiques publiques qui ont favorisé l'innovation.

#### Livrables de la phase 3

- Récit de l'innovation complété

- Chronogramme de l'innovation

- Chemin de l'impact complété

- Caractérisation des situations d'apprentissage

- Caractérisation des interactions avec les politiques publiques

- Analyse de la contribution de la recherche à l'impact du cas

- Alimentation de la base de données Cirad : chemin de l'impact, acteurs
### 1.2.4 La phase de caractérisation et de mesure des impacts

<figure><img src="image_11.png" /></figure>

L'objet de cette phase est de conclure le travail entamé dans le cadre du premier atelier (phase de confrontation) et lors de la phase de construction du récit de l'innovation et du chemin de l'impact pour caractériser et classifier les impacts (et les indicateurs associés), ainsi que de rassembler les données nécessaires pour renseigner les indicateurs et noter les impacts.

Les objectifs de la phase de notation des impacts sont de :

- compléter la caractérisation des impacts de 1er niveau grâce aux descripteurs précédemment collectés;

- compléter la caractérisation des impacts de 2e niveau grâce aux descripteurs précédemment collectés en apportant la preuve du changement d'échelle (scaling out ; scaling up) ou d'impacts indirects (spillover);

- identifier des indicateurs d'impacts caractérisant l'intensité et l'ampleur de chacun des impacts en s'appuyant sur les résultats de l'atelier, des focus groups, des interviews et des enquêtes;

- renseigner les indicateurs par diverses méthodes (focus group, enquête, interview, recueil de données secondaires);

- regrouper les impacts de 1er niveau et les impacts de 2e niveau selon les 11 domaines d'impacts (cf. partie 2.2), et assurer une notation de chaque domaine d'impacts, à dire d'acteurs (focus group ou enquête) en termes d'ampleur et d'intensité (construction d'un radar).

#### Livrables de la phase 4

- Rapport de l'étude de cas

- Tableau des impacts de 1er et 2e niveaux avec les indicateurs renseignés

- Radar des impacts de l'étude de cas

- Alimentation de la base de données Cirad : impacts, indicateurs
### 1.2.5 La phase de validation avec les acteurs

<figure><img src="image_12.png" /></figure>

Il s'agit d'organiser un atelier final regroupant les mêmes participants que lors du premier atelier pour valider / améliorer les résultats de l'analyse avec les partenaires et construire / valider les conclusions.

Les objectifs de l'atelier sont de :

- présenter et discuter la version finale du récit de l'innovation et du chemin de l'impact ;

- valider et/ou amender les impacts de 1er niveau. Les discussions peuvent surtout porter sur les indica-teurs pour lesquels il y a eu de fortes divergences dans les évaluations ;

- valider et/ou amender les impacts de 2e niveau. Les discussions peuvent porter sur les mécanismes de changement d'échelle ;

- valider et commenter le radar des impacts ;

- élaborer des recommandations qui impliquent les acteurs tant sur la méthode d'évaluation des impacts que sur la conduite du processus d'innovation.

#### Livrables de la phase 5

- Compte-rendu de l'atelier de validation

- Récit de l'innovation validé

- Chemin de l'impact validé

- Radar des impacts de l'étude de cas validé

- Rapport de l'étude de cas prenant en compte les modifications apportées lors de l'atelier de validation
<figure><img src="image_13.png" /></figure>
2
La préparation
de l'étude de cas

<figure><img src="image_14.png" /></figure>
Dans cette partie, la préparation de l'étude de cas, qui est à la fois cruciale et difficile, est présentée plus en détail. C'est un exercice déterminant pour la pertinence et la qualité de l'évaluation.

## 2.1 Délimiter le périmètre de l'étude de cas

Identifier et préciser le périmètre de l'étude de cas est une étape délicate et plusieurs éléments sont déterminants pour ce faire. Ils doivent être traités de manière parallèle, les informations recueillies lors d'une étape influençant le contenu des autres étapes. Attention, le périmètre de l'étude de cas peut évoluer en cours d'étude en fonction des informations que pourraient délivrer les acteurs (cf. quelques exemples dans l'encadré 6).

Premièrement, il s'agit de définir l'histoire – impliquant la recherche – à raconter. L'histoire rapporte un processus d'innovation qui permet de résoudre un problème identifié par des acteurs ou de saisir une opportunité. L'innovation est le fruit des interactions entre ces acteurs, qui créent ensemble des connaissances utiles pour l'action et mobilisent des ressources. Elle conduit dans le temps à des impacts multiples.

Deuxièmement, il s'agit de définir la dimension temporelle de cette histoire, en précisant :

- la date de démarrage de l'histoire de l'innovation (i.e. les premières actions qui permettent de résoudre un problème identifié ou de saisir une opportunité et qui vont initier le processus d'innovation). Ce n'est généralement pas celle du projet dans lequel est engagé le chercheur, car il importe d'inclure les évènements (et projets) antérieurs qui permettent de comprendre l'innovation au stade étudié ;

- une date de fin de l'histoire de l'innovation. De fait, cette date est plus difficile à déterminer car les études de cas peuvent porter sur des situations où des actions sont encore en cours. Si l'innovation est toujours en cours, il faut néanmoins fixer comme date de fin la date de début de l'évaluation. Cela permet de ne pas avoir à amender le rapport d'évaluation si de nouveaux évènements interviennent pendant l'évaluation.

Troisièmement, il s'agit de préciser l'espace géographique d'intervention des acteurs majeurs de l'innovation. Cet espace peut être local (un ensemble de villages, une sous-région), national, régional (un ensemble de pays) ou mondial. Mais s'il existe plusieurs histoires spécifiques de l'innovation (une par pays, par exemple), il faudra sans doute limiter l'espace d'étude. Il peut être justifié et réaliste de détailler l'innovation dans un pays (avec une concentration des études, notamment portant sur le récit de l'innovation et les impacts de 1er niveau) puis de considérer ce qui se passe dans d'autres pays comme relevant du changement d'échelle permettant de considérer les impacts de 2e niveau.

Quatrièmement, il s'agit d'identifier les acteurs qui sont impliqués dans l'innovation : recherche, organisations de producteurs, organisations de conseil, ONG, entreprises privées, collectivités locales, etc. (cf. partie 3.1). Certains acteurs sont des éléments moteurs du processus d'innovation, avec des intentions affichées et agissant en conséquence. D'autres acteurs jouent des rôles mineurs, voire s'opposent à l'innovation. L'innovation va naître de l'interaction entre ces acteurs en générant de nouvelles connaissances, de nouvelles façons de penser, de nouvelles règles et modalités d'organisation ou de coordination, de nouvelles pratiques au niveau technique ou gestionnaire.

Cinquièmement, il s'agit de lister les projets de recherche, de recherche-développement et de développement liés à l'innovation étudiée. L'ensemble de ces projets forme une grappe de projets qu'il faut appréhender pour comprendre le processus d'innovation. Les modes d'intervention du Cirad et de ses partenaires de recherche dans les pays du Sud s'inscrivent la plupart du temps dans des projets. La délimitation de l'étude de cas permet d'identifier les projets portés par la recherche ou par des partenaires de la recherche (acteurs du développement) qui contribuent réellement à l'innovation. Certains projets de recherche peuvent être considérés comme des acquis antérieurs à la date de démarrage de l'innovation (accumulation de connaissances, mise au point de méthodes, etc.). Ils font partie des conditions qui précèdent l'innovation en organisant un contexte favorable au démarrage du processus d'innovation. Ils sont considérés comme des moyens (inputs).

Le tableau 1 permet de renseigner les projets qui sont considérés comme importants pour l'étude de cas. Il n'est pas intégré dans la base de données ImpresS mais permet de mieux délimiter le périmètre du cas d'étude.
<table><caption>Tableau 1 : Identification des projets de diverses natures liés au cas d'étude.</caption><thead><tr><td>Nom du projet</td><td>Objectifs du projet</td><td>Date début / fin</td><td>Importance du projet (financement / bailleur, population impliquée)</td><td>Contribution à l'innovation étudiée (connaissances, appui / conseil, formation, expérimentation, etc.)</td><td>Porteur du projet (recherche, autres acteurs)</td><td>Autres acteurs impliqués</td></tr></thead><tbody><tr><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>

La figure 2 met en évidence (i) la temporalité de l'étude de cas, qui est différente de celle d'un projet particulier, et (ii) la nécessité de penser en termes de grappes de projets qui ont impliqué la recherche afin de comprendre les apports de celle-ci à l'innovation. Sauf exception, un projet ne fait pas l'impact à lui seul !

<figure><img src="image_15.png" /><figcaption>Figure 2 : Exemple de l'identification des grappes de projets pour l'étude de cas « Valeur ajoutée des produits de l'agriculture familiale du Brésil à explorer : les indications géographiques (IG) de l'État de Santa Catarina ».</figcaption></figure>

<figure><img src="image_16.png" /></figure>
## Niveau local – Sélection participative du sorgho au Burkina Faso

Le périmètre géographique choisi par l'étude de cas comprend deux des trois zones où les projets successifs relatifs à la sélection participative du sorgho se sont déroulés : la région de la Boucle du Mouhoun, notamment les provinces de Banwa, Kossi et du Mouhoun, et la province du Sanmatenga dans la région du Centre-Nord du Burkina Faso. Ces deux régions représentent deux zones agroécologiques distinctes, différenciées par leur pluviométrie et leurs systèmes de production. Le périmètre temporel considéré pour l'étude s'étend sur 20 ans, de 1995 à 2015, en trois phases : phase de démarrage (1995-2001), phase d'essor (2002-2007) et phase de consolidation (2008-2015). Au cœur du processus d'innovation se trouvent trois organismes de recherche (Inera, Cirad et Icrisat) et deux organisations de producteurs (UGCPA et AMSP), qui sont les acteurs majeurs. Les producteurs n'ayant pas participé à la sélection participative mais ayant acquis des semences améliorées sont des acteurs impactés.

## Niveau régional – Contrôle biologique du ver blanc Hoplochelus marginalis à La Réunion

La construction de l'innovation a été effectuée par l'ensemble des acteurs de la filière de la canne à sucre au sein du territoire réunionnais (FDGDEC, SPV, Inra, Université La Réunion, Cirad, planteurs, industriels, SUAD, SICA, SCEP Botanica, Betel Réunion, Chambre d'agriculture, FGDON). Le riz sporisé avec le champignon entomopathogène Beauveria et le Betel produits

par une entreprise locale ont été appliqués sur toutes les communes de l'île, quelle que soit leur altitude, chez tous les planteurs, indépendamment de la taille de leur exploitation, et à toutes les parcelles, quel que soit leur niveau d'infestation. Depuis l'apparition du ver blanc à La Réunion jusqu'à aujourd'hui, le processus d'innovation peut être découpé en trois phases : 1981-1987, premières actions amenant la découverte du champignon permettant la lutte contre le ver blanc ; 1987-1997, conception de l'innovation avec les acteurs et début de la diffusion de la technologie ; 1997-2007, phase de maturité de l'innovation et d'adoption à large échelle de la technologie.

## Niveau mondial – Pl@ntNet, plateforme collaborative de reconnaissance des plantes

Le projet Pl@ntNet a commencé en 2009, avec l'établissement du consortium Cirad/IRD/Inria/Inra, et l'implication de l'association Tela Botanica mettant en œuvre une application pour le téléphone mobile d'aide à l'identification des plantes par l'image (le système Pl@ntNet-mobile). À l'origine, le référentiel de Pl@ntNet portait uniquement sur la flore française métropolitaine, et par extension sur la flore européenne. Cependant, l'innovation a pour ambition une couverture mondiale des espèces, en atteste le lancement du système de reconnaissance sur la flore réunionnaise, avec des possibilités d'extension prochainement en Guyane et aux Antilles. De plus, outre la diffusion volontaire de Pl@ntNet, le système a été adopté dans de nombreux autres pays (États-Unis, Brésil, etc.)

## 2.2 Élaborer la première hypothèse des impacts de l'innovation

Dans le cas de l'analyse ex post, il convient d'élaborer dès le début une hypothèse sur les impacts observés (attendus et inattendus, positifs ou négatifs, directs ou indirects) du processus d'innovation. Le collectif de chercheurs impliqués dans le cas étudié a, au démarrage du processus d'innovation, des espérances de changement pour résoudre un problème (lutter contre une maladie avec une nouvelle variété dans un pays donné, éradiquer la mouche tsé-tsé dans une région) en lien avec une finalité (améliorer les revenus des producteurs, améliorer l'état de santé des personnes et des animaux, lutter contre la dégradation des terres, etc.).

Dès le stade initial de l'étude de cas, ces finalités permettent de déterminer une hypothèse des impacts positifs ou négatifs. C'est important de garder à l'esprit que si l'innovation peut-être win-win, elle peut aussi générer des gagnants et des perdants, détruire des relations existantes et en reconfigurer d'autres. L'identification d'une première hypothèse des impacts, à partir de la perception de l'équipe de recherche, guide l'analyse de l'étude de cas en lui évitant de se disperser.

L'équipe d'évaluation doit se référer aux différents domaines d'impacts identifiés par ImpresS à partir des 108 impacts produits par les 13 études de cas conduites en 2015-2016 (cf. encadré 4 et Annexe 1). Regroupés en quatre grandes dimensions faisant le lien avec les objectifs du développement durable (ODD), les 11 domaines d'impacts constituent pour le Cirad un cadre d'analyse de ses projets (tableau 2). Il s'agit donc pour l'équipe d'évaluation d'utiliser cette grille afin de déterminer quelle pourrait être l'hypothèse des impacts liés à l'innovation étudiée.
<table><caption>Tableau 2 : Les 11 domaines d'impacts identifiés dans le cadre de la démarche ImpresS.</caption><thead><tr><th>Domaines d'impacts (11)</th><th>Dimensions d'impacts (4)</th><th colspan="2">ODD concernés</th></tr></thead><tbody><tr><td>Culture et conditions de vie</td><td rowspan="3">Développement humain et sécurité alimentaire</td><td>Éliminer l'extrême pauvreté et la faim dans les milieux</td><td>ODD1</td></tr><tr><td>Sécurité alimentaire et qualité des produits</td><td>Éliminer la faim, assurer la sécurité alimentaire, améliorer la nutrition et promouvoir l'agriculture durable</td><td>ODD2</td></tr><tr><td>Revenus des ménages et producteurs</td><td>Préservation de l'environnement</td><td>Préserver et restaurer les écosystèmes terrestres, les exploiter de façon durable, mettre fin à l'appauvrissement de la biodiversité</td><td>ODD15</td></tr><tr><td>Environnement, ressources naturelles et biodiversité</td><td rowspan="3">Activité économique</td><td rowspan="3">Établir des modes de consommation et de productions durables</td><td rowspan="3">ODD12</td></tr><tr><td>Santé animale</td></tr><tr><td>Opportunités économiques, chiffre d'affaires des entreprises et emploi</td></tr><tr><td>Production et productivité</td><td rowspan="2">Institutions et partenariats durable</td><td rowspan="2">Partenariats</td><td rowspan="2">ODD17</td></tr><tr><td>Qualité des services</td></tr><tr><td>Institutions et actions publiques</td><td rowspan="3">Institutions et partenariats durable</td><td rowspan="3">Établir des modes de consommation et de productions durables</td><td rowspan="3">ODD12</td></tr><tr><td>Accès à l'information et légitimité sur de nouveaux enjeux</td></tr><tr><td>Capacité à innover</td></tr></tbody></table>

La première hypothèse des impacts sera affinée, voire modifiée (notamment en prenant en compte des impacts non attendus par la recherche ou ses partenaires), au cours de l'étude de cas, grâce au contenu des ateliers participatifs, aux entretiens, aux enquêtes ou à un travail bibliographique (documentation scientifique, rapports, médias). Ces impacts seront documentés par des indicateurs. À ce stade, le chercheur peut avoir déjà identifié des indicateurs disponibles et des sources d'information pour les renseigner. Mais le repérage systématique des indicateurs disponibles se fera au cours des phases suivantes.

Dans le but d'améliorer la première hypothèse des impacts lors de la phase de confrontation avec les acteurs, il est proposé non pas de travailler directement sur l'hypothèse développée par les chercheurs, mais de recueillir l'expression des changements auprès des acteurs, afin de révéler des impacts non perçus à l'origine ou la diversité des perceptions sur les impacts en fonction du type d'acteurs. Il s'agit donc de faire décrire aux acteurs impliqués ou impactés, les impacts tels qu'ils les ont perçus. Généralement, les acteurs ne formulent pas des impacts en tant que tels, mais des descripteurs (encadré 7), qui peuvent révéler des impacts positifs ou négatifs.

Il y a différentes méthodes permettant d'obtenir ces descripteurs lors de l'atelier participatif : former des petits groupes par catégorie d'acteurs et les faire s'exprimer sur les changements et impacts, ou demander à chaque participant d'écrire les descripteurs qui caractérisent pour eux les changements et impacts sur une carte et collecter les cartes. Un ensemble de descripteurs permet de caractériser un impact. Dans certains cas, les acteurs peuvent accompagner ces descripteurs d'indicateurs qu'ils ont identifiés ou même mesurés. Lors de cet atelier, ces indicateurs seront collectés sans chercher l'exhaustivité.

### Encadré 7 : Exemples de descripteurs

- J'ai vu disparaître les mauvaises herbes de mon champ.

- Mon revenu s'est accru.

- Les femmes ont perdu leurs sources de revenus.

- J'ai pu fédérer d'autres producteurs avec moi.

- Je passe moins de temps au champ.

- La concurrence est plus dure.

- J'ai plus de dépenses mais mon revenu a considérablement augmenté.

- J'ai pu améliorer mes connaissances sur les méthodes d'accompagnement.

- Nous avons pu mettre en place un système compensatoire des effets négatifs.

- Les petits opérateurs ont été évincés du marché.
<figure><img src="image_17.png" /></figure>
3
Les outils fondamentaux
pour caractériser la contribution
de la recherche à l'impact
..................
Même si chaque étude de cas est particulière, un tronc commun relatif à la méthode ImpresS doit être
respecté afin de pouvoir comparer les cas et capitaliser sur les résultats. Il s'agit donc d'équilibrer la
méthodologie entre une standardisation dans l'usage des outils proposés, pour garantir une démarche
rigoureuse, et une flexibilité dans la mise en œuvre, pour s'adapter à chaque situation. La méthode d'éva-
luation ImpresS s'organise autour d'outils clés qui sont utilisés et adaptés au cours de la conduite des
études de cas. Ces outils sont : la cartographie des acteurs, le récit de l'innovation, le chronogramme
du processus d'innovation, le chemin de l'impact, la caractérisation des situations d'apprentissage,
la caractérisation des interactions avec les politiques publiques, le tableau des impacts et le radar
des impacts.

La collecte des informations s'appuie sur un système d'enquêtes qu'il convient de construire avec soin. Celui-ci a pour but de réunir les informations utiles pour établir le récit de l'innovation, identifier les impacts, construire le chemin de l'impact, mesurer les impacts. Ces informations peuvent être recueillies en valorisant les données secondaires existantes, par entretien semi-directif auprès d'une personne, lors de focus groups, d'ateliers réunissant un plus grand nombre d'acteurs, et d'enquêtes sur des échantillons d'individus. Une même activité de collecte d'informations peut servir à renseigner plusieurs éléments de l'évaluation. Par exemple, un entretien avec un responsable d'organisation de producteurs, fondé sur un entretien semi-directif permettant à la personne de s'exprimer sur ce qu'elle fait, comment elle a vécu une situation, et ce qu'elle en pense, peut permettre de regrouper un ensemble de données nécessaires aux diverses analyses et mesures prévues par la méthode ImpresS. C'est à la personne qui mène l'entretien de trier ensuite ce qui peut alimenter le récit de l'innovation, l'analyse du chemin de l'impact et l'identification des impacts et de leurs indicateurs, voire même la mesure de ces derniers.

## 3.1 La cartographie des acteurs

L'identification des acteurs en amont de l'organisation des ateliers participatifs permet de déterminer
qui doit être impliqué dans l'évaluation et de quelle manière. Mais au cours de l'évaluation (ateliers, en-
tretiens, etc.), de nouveaux acteurs peuvent être identifiés. La liste définitive des acteurs sera arrêtée
lorsque plus aucun acteur ne sera découvert au cours des premières phases participatives.

Les catégories d'acteurs suivantes peuvent être distinguées :

- Les acteurs qui ont un rôle majeur dans le processus d'innovation (recherche, organisations de producteurs, groupes de producteurs, ONG, collectivités locales, services de l'État, entreprise, etc.).
Un nombre raisonnable d'acteurs majeurs doit être identifié. Ce sont principalement ceux qui interagissent avec la recherche, mais également d'autres qui mobilisent les produits (outputs) de la recherche et construisent des résultats (outcomes). Dans le cas des grandes organisations, les acteurs ne sont pas forcément les organisations dans leur totalité mais peuvent être des services ou des personnes dans ces services (une personne liée à une organisation peut jouer un rôle de premier plan dans l'innovation avec l'aval de son organisation ou contre elle). Ces acteurs peuvent être liés ou non par une convention. Ils sont en relation avec d'autres acteurs dans le cadre de réseaux. Ces acteurs peuvent intervenir à différents moments du processus d'innovation.

- Les acteurs qui influent (de manière intentionnelle ou non) sur l'innovation sans être acteurs du processus d'innovation.
Ce sont notamment les décideurs politiques et les bailleurs. Mais dans certains cas, ces derniers peuvent aussi être considérés comme majeurs s'ils sont réellement engagés dans l'action. Parmi ces acteurs, certains peuvent favoriser l'innovation et d'autres la freiner, de manière intentionnelle ou pas, ou y être opposés dans la mesure où celle-ci peut interrompre des routines ou s'opposer à leurs intérêts.

- Les acteurs qui sont impactés positivement ou négativement le cas échéant par l'innovation mais qui ne sont pas des acteurs majeurs du processus d'innovation (exploitations qui adoptent une nouvelle variété, transformateurs qui vont bénéficier de l'amélioration de la qualité ou de la stabilité d'un produit agricole, etc.).
Ils apparaissent souvent dans les phases de changement d'échelle de l'innovation.

Des exemples d'acteurs tirés des études de cas ImpresS sont proposés dans le tableau 3.
<table><caption>Tableau 3 : Acteurs majeurs, influents et impactés dans le cas de trois études de cas ImpresS.</caption><thead><tr><td>Exemples d'étude de cas</td><td>Acteurs majeurs</td><td>Acteurs influents</td><td>Acteurs impactés</td></tr></thead><tbody><tr><td>Éradication des glossines par la technique de l'insecte stérile au Sénégal</td><td>Recherche (Cirad-Isra)<br/>Acteurs publics du Sénégal (DSV)</td><td>FAO-AIEA-Union africaine<br/>Entreprise Mubarqui<br/>Département d'État US</td><td>Éleveurs<br/>Consommateurs Vétérinaires<br/>État du Sénégal<br/>Services vétérinaires d'autres pays</td></tr><tr><td>Contrôle biologique du ver blanc Hoplochelus marginalis à La Réunion</td><td>Recherche (Cirad)<br/>Acteur public (DAAF)<br/>Chambre d'agriculture Industriel produisant le Betel<br/>Des planteurs expérimentateurs<br/>Association (FDGDON)</td><td>Université<br/>Conseil général<br/>Médias</td><td>Les autres planteurs<br/>Usine Betel<br/>Distributeurs privés</td></tr><tr><td>Équipement de décorticage du fonio en Afrique de l'Ouest</td><td>Recherche (Cirad) et partenaires du Sud (IER, IRAG)<br/>Des transformatrices expérimentatrices<br/>Des équipementiers de Bamako</td><td>ONG<br/>IRSAT<br/>État du Burkina Faso</td><td>Producteurs de fonio ;<br/>Transformatrices urbaines du Mali et Burkina Faso<br/>Prestataires de service</td></tr></tbody></table>

La délimitation entre ces grandes catégories d'acteurs n'est pas toujours facile à définir. Par exemple, dans les processus d'innovation avec une forte dimension de recherche participative, certains agriculteurs seront considérés comme des acteurs majeurs de l'innovation car ils participent aux recherches et d'autres agriculteurs comme des acteurs impactés car ils adoptent une nouvelle technologie. Mais dans un processus d'innovation avec une recherche sans participation des bénéficiaires, les mêmes agriculteurs seront considérés uniquement comme des acteurs impactés. Des acteurs peuvent apparaître ou disparaître au cours du processus d'innovation. Certains acteurs peuvent être majeurs dans une phase du récit de l'innovation et devenir influents dans une autre phase. Ainsi, il est possible de définir plusieurs tableaux des acteurs en fonction des phases de l'innovation.

Mais au-delà de la liste des acteurs, il est important de connaître le rôle que joue chaque acteur dans le processus d'innovation. L'information peut être transcrite sous forme de tableau (tableau 4).

<table><caption>Tableau 4 : Informations relatives aux acteurs du processus d'innovation.</caption><thead><tr><td>Acteur</td><td>Type d'acteur (majeur, influent, impacté)</td><td>Nature de l'acteur (organisation, service d'une organisation, personne)</td><td>Contribution en rapport à l'innovation (production d'un bien, appui / conseil, formation, gestion d'une plateforme, etc.)</td><td>Autres acteurs avec lesquels l'acteur a des interactions (en relation avec l'innovation) : flux d'information, matériels, financiers, etc.</td></tr></thead><tbody><tr><td></td><td></td><td></td><td></td><td></td></tr><tr><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>

Les relations qu'entretiennent les acteurs entre eux sont également importantes. Elles sont plus ou moins fortes, générant ainsi des interactions de natures différentes, avec une création de connaissances et une mutualisation des compétences. Ces relations s'inscrivent dans des réseaux qu'il importe de décrypter pour savoir comment ils sont mobilisés / modifiés lors du processus d'innovation. Il peut aussi exister des relations de pouvoir plus ou moins fortes entre acteurs. De ce fait, il est nécessaire d'établir des cartes des acteurs, voire différentes cartes d'acteurs en fonction de la phase du processus d'innovation (figure 3, page suivante).

Si l'équipe d'évaluation souhaite approfondir le rôle des acteurs, les acteurs et leurs relations peuvent être représentés par un sociogramme qui donne plus d'informations que la carte d'acteurs. Dans ce cas, les acteurs sont représentés par des nœuds et des liens entre ces nœuds sont tracés pour symboliser les relations entre acteurs. Les acteurs peuvent être des individus spécifiques agissant au sein d'une organisation, ou plus globalement des organisations. Il est possible de représenter une ou plusieurs natures de lien entre les acteurs et d'en caractériser l'intensité en faisant varier l'épaisseur de la flèche. Il est également possible de représenter ces liens dans le temps pour montrer comment ils se sont densifiés au cours du processus d'innovation. Les liens peuvent symboliser des flux d'échanges d'éléments de natures
différentes. Il peut s'agir de flux d'information et de connaissance, de matériel ou financier. De plus, ces liens peuvent représenter différentes interactions de collaboration ou de rivalité avec des gradients de déclinaisons possibles (coopération, compétition, conflit, etc.). Des logiciels en accès libre, comme Pajek<fnref n="8" />, permettent de construire des réseaux d'acteurs.

<figure><img src="image_18.png" /><figcaption>Figure 3 : Carte des acteurs (période 2005-2010) pour l'étude de cas « Valeur ajoutée des produits de l'agriculture familiale du Brésil à explorer : les indications géographiques de l'État de Santa Catarina ».</figcaption></figure>

## 3.2 Le récit de l'innovation et son chronogramme

Le récit qu'il s'agit d'écrire n'est pas celui de l'activité du chercheur, ni de ses projets. Ce récit est celui de l'innovation, donc celui de l'ensemble des acteurs majeurs de l'innovation, incluant les apports des acteurs qui influent sur l'innovation et faisant état des acteurs qui sont impactés. Il considère les grandes phases de l'histoire de l'innovation avec ses avancées, ses crises, les facteurs extérieurs qui influencent l'innovation. Écrire un récit, c'est raconter une histoire qui vise à rendre compte de ce qui s'est passé en mettant en relief certains éléments plutôt que d'autres. Le récit est donc un compte-rendu d'évènements réussis impliquant à chaque fois des acteurs, mais aussi des accessoires (politiques, normes, financements, objets techniques, etc.) du processus d'innovation. Il rapporte aussi une succession d'états, de processus de transformation de ces états, de ruptures correspondant à une série d'histoires parallèles et plus ou moins interconnectées. Il s'agit en effet de recenser et dater « ce qui s'est passé », depuis les prémices du processus d'innovation jusqu'à aujourd'hui. Il s'agit aussi de qualifier les moments d'interrogation, de

<footnote n="8">8 http://f.hypotheses.org/wp-content/blogs.dir/22/files/2011/06/Pajek_Introduction_Beauguitte_Merckle.pdf</footnote>
contestation ou d'argumentation mobilisatrice, d'incertitude, de débat, de changement de modèles organisationnels. Ces moments ont pu conduire à des inflexions ou des renfortements du processus.

Comme chaque acteur a sa propre représentation du processus d'innovation, il importe donc de croiser les récits des différents acteurs. Le porteur de projet, qui a son propre récit, doit être prêt à écouter et à recueillir les différents récits. Il s'agit *in fine* de construire un seul récit à partir de plusieurs points de vue et témoignages. Le récit doit être plausible et partagé au final par les acteurs.

Afin d'éviter une dispersion des efforts, il est nécessaire d'écrire un récit de l'innovation en gardant à l'esprit les impacts espérés ou déjà observés et donc en ne sélectionnant que les évènements et faits ayant conduit à ces impacts. Il faut décrire les étapes qui ont permis de passer de l'espérance de changement au départ à l'impact : quels ont été les évènements majeurs (projets, interventions des uns et des autres) ? Quelles ont été les différentes phases (de démarrage, d'extension, de régression, de fin) ? Quels ont été les évènements extérieurs (crise économique, développement d'une maladie, nouvelles réglementations) qui ont influé sur le processus d'innovation ? Quels ont été les apports déterminants de chacun des acteurs avec ses « champions » et « challengers » ? Quels ont été les accords trouvés entre acteurs qui ont permis de progresser dans la mise au point de l'innovation ou dans le changement d'échelle ? L'analyse permet de faire émerger les phases temporelles qui ont une importance par rapport au récit. Ce récit est amélioré tout au long de l'étude de cas à partir des informations collectées, et *in fine* lors de la phase de validation avec les acteurs majeurs.

L'encadré 8 peut aider à identifier les informations nécessaires pour construire le récit de l'innovation.

## Encadré 8 : Les éléments à recueillir pour le récit de l'innovation

### Évènements extérieurs influençant l'innovation

- Changement de nature politique, réglementaire, etc.

- Évènement de nature économique (changements liés au marché, aux prix, aux subventions, etc.)

- Évènement lié au milieu biophysique (évènement climatique extrême, dégradation du milieu, épuisement d'une ressource naturelle)

- Autres : épidémies, flux migratoires, etc.

### Actions des acteurs de l'innovation et affectant l'innovation

- Entrée / sortie d'un acteur du processus d'innovation

- Mise à disposition ou création de connaissances ou de technologies

- Changement organisationnel majeur concernant un acteur

- Nouveau partenariat entre les acteurs pour mettre en place des activités

- Conflits ou tensions apparaissant entre les acteurs

Pour chacun des évènements ou des actions, il est nécessaire de préciser les acteurs concernés, la date / période concernée, les controverses soulevées, l'implication sur l'innovation avec son degré d'importance.

La construction d'un récit peut s'appuyer sur des données qualitatives et quantitatives en mobilisant des données secondaires (statistiques), mais aussi en cherchant à quantifier certains éléments jugés importants (dates et durées, nombre de formations organisées, etc.).

Le porteur de projet peut facilement introduire un biais en influant sur le recueil d'informations : présence lors de certains entretiens sensibles, choix des informateurs, etc. Pour limiter au maximum ce biais, il peut être nécessaire de demander à une tierce personne (un stagiaire par exemple) de conduire certains entretiens. Il n'est pas possible de définir *a priori* un nombre d'entretiens à mener pour construire un récit, mais deux entretiens (individuel ou en focus group) par acteur majeur et quelques entretiens avec des acteurs extérieurs devraient permettre la construction d'un récit cohérent. Au fur et à mesure des entretiens, le volume d'informations à collecter diminue puisqu'il s'agit de collecter des informations qui confirment ou infirment un récit qui s'affine progressivement. Une bonne règle pour déterminer si le nombre d'entretiens menés est suffisant est d'arrêter les entretiens lorsque l'on n'apprend plus rien de nouveau (principe de saturation).

Un chronogramme est établi pour visualiser le récit de l'innovation dans sa dimension temporelle. Il doit contenir des informations sur (i) les différentes phases du processus d'innovation, (ii) les acteurs qui sont intervenus au cours du temps, (iii) les actions mises en œuvre par les acteurs ou les évènements marquants du processus d'innovation, (iv) les évènements extérieurs qui ont influencé le processus, et enfin (v) les controverses qui ont déterminé des changements dans ces actions.
<figure><img src="image_19.png" /><figcaption>Figure 4 : Chronogramme de l'étude de cas « Contrôle biologique du ver blanc Hoplochelus marginalis à La Réunion ».</figcaption></figure>
Dans l'exemple, page 34, du chronogramme de l'étude du cas « Contrôle biologique du ver blanc *Haplochelus marginalis* à La Réunion » (figure 4), la légende illustre ces cinq sous-ensembles par des blocs de diverses couleurs placés de part et d'autre d'une ligne traçant le périmètre temporel de l'étude de cas.

## 3.3 Le chemin de l'impact

Cette partie présente les concepts nécessaires à la construction du chemin de l'impact, comment caractériser les différents éléments du chemin de l'impact et enfin, comment identifier les liens de causalité entre ces différents éléments. Le concept de chemin de l'impact, qui provient des sciences de la gestion, s'est progressivement enrichi pour permettre de traiter de la complexité des liens entre innovation et impacts (encadré 9).

### 3.3.1 Pourquoi un chemin de l'impact ?

Afin d'analyser la contribution de la recherche à l'impact, il est nécessaire d'établir des liens de causalité entre les apports de la recherche, les changements que ces apports induisent sur les acteurs, puis leurs impacts en termes économiques, sociaux, environnementaux, etc. La construction du chemin de l'impact permet de tracer cette relation de causalité. Étant donné le possible degré d'abstraction, ce travail est à réaliser en bureau et à discuter lors de l'atelier de validation.

Le chemin de l'impact (figure 5) n'est pas une autre version du récit de l'innovation. Il est au cœur de la démonstration de la contribution de la recherche à l'impact en mettant en évidence des relations de causalité entre les moyens (inputs) mobilisés par la recherche, les produits (outputs) de la recherche, les résultats (outcomes) qui se matérialisent directement au niveau des utilisateurs des produits (outputs) de la recherche et les impacts. Ces impacts sont évalués par des batteries d'indicateurs. Sont distingués les impacts de 1er niveau, qui se manifestent au niveau des premiers utilisateurs de la recherche, et les impacts de 2e niveau, qui correspondent à des mécanismes de changement d'échelle ou de spillover.

<figure><img src="image_20.png" /><figcaption>Figure 5 : Descriptif générique d'un chemin de l'impact.</figcaption></figure>
## Encadré 9 : Origine du chemin de l'impact

La notion de « chemin de l'impact » est issue des cadres logiques d'évaluation *ex ante* utilisés pour renforcer l'efficacité des projets de développement, mais aussi de recherche, et notamment ceux du CGIAR. Le cadre logique trouve son origine méthodologique dans les sciences de gestion abordant les questions de programmation, et de manière plus concrète, dans des guides développés par la GTZ (un des principaux financeurs des centres du CGIAR) pour mieux évaluer les conditions organisationnelles qui structurent les impacts des projets de recherche (Douthwaite et al., 2003). Il suppose donc à la base une structuration de la recherche en « projets », ce qui n'est pas toujours le cas. Le but est de comprendre la relation qui existe entre la mise au point des produits de la recherche (*outputs*) et les changements issus de l'usage des produits de la recherche par les acteurs (*outcomes*) se traduisant *in fine* en impacts. Ce cadre se réfère à des modèles théoriques qui analysent comment se construisent et se dissémentent les innovations. Il peut être utilisé avec un modèle linéaire et hiérarchique de la relation entre la recherche et le développement, mais aussi pour se différencier des modèles diffusionnistes de l'innovation (Rogers, 1995).

La notion de « chemin de l'impact » est précisée autour des années 2000 au sein du CGIAR et particulièrement par le CIAT et le CIP (numéro spécial de la revue *Agricultural System* sur l'évaluation de l'impact de la recherche, publié en 2003). La démarche du chemin de l'impact (ou *impact pathway*) fait appel à une « théorie du changement » et à des outils pour aider à la programmation des projets de recherche en cherchant à repérer les opportunités et évaluer les échecs (Springer-Heinze et al., 2003, p. 278). Cette démarche a été validée par l'instance scientifique du

CGIAR (ISPC) ; elle a été systématisée par l'ensemble des CGIAR Research Programs (CRP) dans leurs documents de programmation. Le chemin de l'impact a été aussi repris par l'Inra pour évaluer l'impact de ses programmes de recherche (projet ASIRPA<fnref n="1" /> ; Gaunand et al., 2015) ou par la FAO (projet IMPRESA<fnref n="2" />), mais tous deux avec une analyse *ex post*.

Le chemin de l'impact est utilisé de deux manières différentes (Douthwaite et al., 2003) :

- *ex ante* pour analyser la relation « *output-outcome* », donc dans un objectif programmatique (pour un projet, par exemple) : les programmes CRP ont à cet égard développé l'explicitation de la théorie du changement, qui est un chemin de l'impact hypothétique permettant de justifier les choix méthodologiques de la recherche en lien avec l'impact espéré de ces recherches. Le Cirad a aussi développé la méthode ImpresS *ex ante* pour aider les chercheurs et ses partenaires à rendre explicites les mécanismes sous-jacents et les stratégies destinées à augmenter la contribution de la recherche aux résultats (*outcomes*), et la contribution aux impacts.

- *ex post* (relation entre la fin du projet de recherche et ses conséquences sur le développement) pour analyser plutôt la relation entre *outcomes* et impacts.

Alors que le terme d'innovation était très peu employé dans les articles fondateurs du chemin de l'impact, il est de plus en plus utilisé suite au renouvellement théorique lié au développement du concept de système d'innovation (SI). On note aussi un glissement sémantique de l'objectif d'évaluation de la relation entre recherche et développement à la relation entre innovation et développement.

### 3.3.2 L'identification des moyens (*inputs*) mobilisés par la recherche

Un référencement léger des moyens (*inputs*) mobilisés par la recherche est proposé, car l'attribution des *inputs* à l'innovation est difficile (les moyens pouvant être mutualisés pour différentes activités de recherche ou avec différents partenaires).

Les *inputs* doivent être renseignés dans la base de données ImpresS comme indiqué dans le tableau 5.

<table><caption>Tableau 5 : Référencement des *inputs* mobilisés par la recherche.</caption><thead><tr><td>Nom de l'input</td><td>Catégorie d'inputs</td><td>Acteurs y participant</td><td>Date d'émergence / période concernée</td><td>Moyen par lequel l'input a été identifié</td></tr></thead><tbody><tr><td></td><td></td><td></td><td></td><td>(entretiens / équipe cas / ateliers, etc.)</td></tr></tbody></table>

Les catégories d'inputs qui ont été recensées à partir de l'analyse des 13 études de cas menées en 2015-2016 sont listées dans le tableau 6.

<footnote n="1">1 ASIRPA : le projet ASIRPA (Analyse des impacts de la recherche publique agronomique) a été mis en place par l'Inra en janvier 2011 (Joly et al., 2015). Son objectif était de concevoir et de proposer une approche pour analyser dans leur diversité les impacts socioéconomiques de la recherche agronomique conduite au sein d'un organisme public de recherche finalisée tel que l'Inra. Le projet visait également un objectif opérationnel, puisque la démarche proposée devait être appliquée concrètement à l'Inra de façon à apprécier les impacts des recherches qui y sont conduites. ASIRPA est mené par une équipe composée de chercheurs de l'IFRIS (Institut francilien Recherche Innovation Société), de l'unité Inra SenS (Science en société) et de l'UMR GAEL (Laboratoire d'Économie appliquée de Grenoble) de l'Inra. http://www6.inra.fr/asirpa.</footnote>

<footnote n="2">2 Impresa – Impact of Research on EU Agriculture – http://cordis.europa.eu/project/rcn/110944_en.html.</footnote>
<table><caption>Tableau 6 : Catégories d'inputs recensées à partir des 13 études de cas menées.</caption><thead><tr><td>Catégorie d'inputs</td><td>Exemple</td></tr></thead><tbody><tr><td>Acquis de la recherche contextualisés par rapport au cas</td><td>Acquis sur le fonctionnement des exploitations agricoles et la place des fosses fumières au Burkina Faso (pour l'étude de cas « Gestion innovante des fumures organiques dans les systèmes agro-pastoraux de l'Ouest du Burkina Faso »)</td></tr><tr><td>Acquis de la recherche en provenance d'autres situations</td><td>Acquis de la recherche sur les modalités de mise en œuvre des indications géographiques</td></tr><tr><td>Acquis liés aux savoirs non scientifiques</td><td>Connaissance locale sur l'histoire et les atouts touristiques de la région</td></tr><tr><td>Technologie préexistante</td><td>Modèles existants de décortiqueurs déjà testés (fonio et autres céréales)</td></tr><tr><td>Partenariats préexistants</td><td>Réseau régional Promecafé promoteur de la lutte intégrée et financeur</td></tr><tr><td>Ressources matérielles et financières</td><td>Accès aux infrastructures locales (parcelles d'expérimentation, stock, etc.), financements</td></tr><tr><td>Ressources humaines</td><td>Nombre de chercheurs, doctorants, stagiaires impliqués dans les derniers projets de l'étude de cas</td></tr></tbody></table>

### 3.3.3 L'identification des produits (outputs) de la recherche

Il s'agit de caractériser les différents produits (outputs) de la recherche qui permettent l'émergence et la structuration d'une innovation. Les informations à collecter doivent caractériser la diversité des outputs des projets de recherche en suivant les colonnes du tableau 7, qui sera intégré à la base de données ImpresS.

<table><caption>Tableau 7 : Référencement des outputs de la recherche.</caption><thead><tr><td>Nom de l'output</td><td>Catégorie d'outputs</td><td>Acteurs y participant</td><td>Date d'émergence / période concernée</td><td>Moyen par lequel l'output a été identifié</td></tr></thead><tbody><tr><td></td><td></td><td></td><td></td><td>(entretiens / équipe cas / ateliers, etc.)</td></tr></tbody></table>

Les catégories d'outputs qui ont été recensées à partir de l'analyse des 13 études de cas menées en 2015-2016 sont listées dans le tableau 8.

<table><caption>Tableau 8 : Catégories d'outputs recensées à partir des 13 études de cas menées.</caption><thead><tr><td>Catégorie d'outputs</td><td>Exemples</td></tr></thead><tbody><tr><td>Nouvelles connaissances formalisées</td><td>Caractérisation de la population cible de glossines, articles</td></tr><tr><td>Support de vulgarisation des nouvelles connaissances</td><td>Fiches techniques pour la construction et la production de fumure organique au champ et à la maison</td></tr><tr><td>Modules de formation conçus par la recherche</td><td>Organisation de tests de dégustation œnologique avec les producteurs</td></tr><tr><td>Nouveau procédé ou méthode d'intervention</td><td>Lutte intégrée contre le scolyte des baies du caféier (République dominicaine)</td></tr><tr><td>Nouvelle technologie</td><td>Mise au point du piège à scolytes des baies du caféier (BROCAP)</td></tr><tr><td>Formalisation de nouvelle méthode de recherche</td><td>Méthodologie générique de co-construction des innovations avec les agriculteurs</td></tr><tr><td>Nouvelle organisation d'acteurs gérée par la recherche</td><td>Plateforme de concertations multi-acteurs pour la sélection variétale du sorgho (Burkina Faso)</td></tr></tbody></table>

### 3.3.4 L'identification des résultats (outcomes) de la recherche

Les résultats (outcomes) correspondent à l'appropriation d'un produit de la recherche par les acteurs interagissant directement ou indirectement avec la recherche, qui conduit à de nouvelles pratiques (agricoles ou managériales), de nouvelles organisations, de nouvelles règles. L'information que l'on souhaite obtenir concerne l'utilisation des produits par les acteurs qui font partie du système d'innovation et interagissent avec la recherche, ainsi que les effets induits au niveau de ces acteurs.
Pour chacun de ces résultats (outcomes), il s'agira de :

- décrire rigoureusement le résultat (outcome), en précisant les produits (outputs) de la recherche qui y ont contribué (en établissant le lien de cause à effet);

- identifier les acteurs concernés (ceux qui s'approprient des produits de la recherche, qui changent leurs pratiques, etc.);

- préciser la période concernée (en référence au phasage présenté dans le récit de l'innovation);

- noter l'extension géographique (par exemple : local, régional, national, segment de la filière);

- décrire les changements sur les acteurs concernés (changement de vision, de pratique, d'organisation, de connaissances, de capacités) qui vont mener aux impacts de 1er niveau, en établissant le lien de cause à effet.

Les informations sur les outcomes doivent être retranscrites dans le tableau 9, qui sera intégré à la base de données ImpresS.

<table><caption>Tableau 9 : Référencement des outcomes de la recherche.</caption><thead><tr><td>Nom de l'outcome</td><td>Catégorie d'outcomes</td><td>Acteurs y participant</td><td>Date / période d'émergence</td><td>Extension géographique</td><td>Moyen par lequel l'outcome a été identifié</td></tr></thead><tbody><tr><td></td><td></td><td></td><td></td><td></td><td>(entretiens / équipe cas / ateliers, etc.)</td></tr></tbody></table>

Les catégories d'outcomes qui ont été recensées à partir de l'analyse des 13 études de cas menées en 2015-2016 sont listées dans le tableau 10.

<table><caption>Tableau 10 : Catégories d'outcomes recensées à partir des 13 études de cas menées.</caption><thead><tr><td>Catégorie d'outcomes</td><td>Exemples</td></tr></thead><tbody><tr><td>Adaptation et mise en œuvre d'une technologie ou d'un processus (nouvelles pratiques agricoles ou de gestion)</td><td>Application du produit de lutte biologique par les planteurs selon leurs propres techniques (« Contrôle biologique du ver blanc Hoplochelus marginalis à La Réunion »)</td></tr><tr><td>Dispositif de formation, de sensibilisation ou de promotion de l'innovation</td><td>Diffusion de nouvelles semences par l'utilisation de mini sachets (sorgho); production de films et vidéos</td></tr><tr><td>Création ou renforcement d'une organisation de production, commercialisation, ou gestion territoriale</td><td>Fabrication de décortiqueurs par deux équipementiers (fonio à Bamako); production et commercialisation de semences par les producteurs (arachide au Sénégal)</td></tr><tr><td>Création ou renforcement de nouvelles organisations de coordination et/ou de suivi</td><td>Renforcement des comités de concertation villageois pour l'expérimentation (« Gestion innovante des fumures organiques dans les systèmes agropastoraux de l'Ouest du Burkina Faso »); création d'une nouvelle instance de gestion de l'eau du périmètre irrigué de Kapilaler (étude de cas Danone en Indonésie)</td></tr><tr><td>Création ou renforcement de partenariats multi-acteurs et/ou de réseau</td><td>Mise en réseau des acteurs de la filière (organisations de producteurs, vendeurs d'intrants, certificateurs, acheteurs; sélection participative du sorgho au Burkina Faso); partenariats entre recherche, ONG, et organismes de vulgarisation (« Valeur ajoutée des produits de l'agriculture familiale du Brésil à explorer : les indications géographiques de l'État de Santa Catarina »)</td></tr><tr><td>Contribution à l'élaboration et/ou la mise en œuvre de normes ou de politiques publiques</td><td>Certification des nouvelles variétés issues de la sélection participative (sorgho au Burkina Faso)</td></tr></tbody></table>

<figure><img src="image_21.png" /></figure>
### 3.3.5 L'identification des impacts

Rappelons que les impacts de premier niveau (ou impacts 1) concernent les effets sur les acteurs interagissant directement ou indirectement avec la recherche et/ou les acteurs majeurs de l'innovation tandis que les impacts de deuxième niveau (ou impacts 2) caractérisent les effets de changement d'échelle (horizontal / scaling out et vertical / scaling up) et les impacts indirects (spillover) (encadré 10).

#### Encadré 10 : Le changement d'échelle et les impacts indirects

Une des particularités de l'approche ImpresS est la prise en compte du changement d'échelle et des impacts indirects (spillover), en caractérisant les impacts de 2ᵉ niveau.

Les mécanismes de changement d'échelle peuvent s'appréhender à l'échelle géographique ou à l'échelle des communautés. Dans ce cas, l'innovation passe du local au régional ou au national, avec une multiplication des utilisateurs de l'innovation, une diffusion sur d'autres territoires continus ou discontinus, un accès à de nouveaux marchés pour les bénéficiaires, etc. On parle de changement d'échelle horizontal (ou scaling out). Les mécanismes de changement d'échelle peuvent aussi s'appréhender au niveau organisationnel, avec de nouveaux acteurs qui peuvent être impliqués dans le processus d'innovation (nouveaux producteurs, nouvelles communautés, intermédiaires, structures de développement, acteurs politiques, etc.), mais aussi de nouvelles coordinations entre acteurs, de nouvelles règles ou politiques d'appui à l'innovation qui permettent aussi l'élargissement de l'impact. On parle de changement d'échelle vertical (ou scaling up).

Il existe une littérature scientifique sur le changement d'échelle qui valorise une diversité de points de vue. Par exemple, Douthwaite et al. (2003) identifient :

1. Le scaling out : processus de diffusion d'une innovation de producteur à producteur, de communautés

à communautés, à l'intérieur du même groupe de parties prenantes ;

2. Le scaling up : réaménagements institutionnels (incluant des changements dans les organisations de base, dans les organisations de développement, au niveau des politiques ou autres parties prenantes) qui jouent un rôle clé pour construire un environnement favorable / nécessaire au changement à grande échelle (par exemple, pour créer un cadre réglementaire favorable à la transition agroécologique et des mécanismes concrets pour accompagner cette transition) :

3. Le spatial scaling up : élargissement de l'échelle de l'opération, par exemple d'une expérience au champ à toute une région.

Les impacts indirects (spillover) correspondent à des effets non attendus, à des effets d'entraînement, ou à des répercussions d'une innovation sur les acteurs non impliqués dans le processus d'innovation analysé. Ces effets peuvent être positifs ou négatifs. Par exemple, l'introduction d'une nouvelle variété de mangue peut entraîner l'amélioration du savoir-faire local sur le greffage du manguier, permettant l'émergence de pépiniéristes horticoles qui peuvent servir à d'autres secteurs et filières et générant du développement local.

Les impacts sont formalisés à partir de descripteurs recueillis auprès des acteurs à différents moments (cf. partie 2.2) :

- lors de la phase de confrontation avec les acteurs (1er atelier participatif, avec cependant un risque de sous-représentation des acteurs impactés comme les producteurs) ;

- lors des entretiens pour construire le récit de l'innovation et le chemin de l'impact.

L'identification des impacts peut être complétée par un travail bibliographique. Comme cette identification est une construction sur la base des descripteurs, l'équipe d'évaluation peut consulter avec profit les listes d'impacts issus des études de cas menées en 2015-2016. Les impacts identifiés pourront être rapportés aux 11 domaines d'impacts créés par ImpresS et définis dans la partie 2.2, sachant que certaines études de cas peuvent ne pas afficher d'impacts dans un domaine donné mais en comprendre plusieurs dans un autre domaine. Il est cependant recommandé de limiter le nombre d'impacts par domaine à un nombre raisonnable (entre 5 et 10), afin de ne pas avoir trop d'information à collecter pour documenter chacun d'eux.

Il faut souligner que les acteurs peuvent citer de manière indifférenciée des impacts de 1er ou de 2ᵉ niveau et que la différenciation relève d'un travail de réflexion de l'équipe d'évaluation. Quand il y a un changement d'échelle strict dans le processus d'innovation, les mêmes impacts sont observés dans les catégories d'impacts de 1er niveau et d'impacts de 2ᵉ niveau. Par contre, pour les phénomènes de spillover (impacts indirects) ou des impacts sur les politiques publiques, les impacts de 2ᵉ niveau peuvent être de nature différente de ceux du 1er niveau.
La figure 6 clarifie la distinction entre impacts de 1er et 2e niveaux et identifie les catégories d'acteurs concernées par ces différents impacts. La distinction entre les deux niveaux peut donner lieu à discussion car il n'y a pas de limites tranchées et il existe des zones d'indétermination.

<figure><img src="image_22.png" /><figcaption>Figure 6 : Impacts de 1er et 2e niveaux.</figcaption></figure>

Le tableau 11 illustre le propos à travers un exemple fictif.

<table><caption>Tableau 11 : Répartition des impacts entre impacts de 1er niveau et impacts de 2e niveau.</caption><thead><tr><td>Impact</td><td>1er niveau</td><td>2e niveau</td><td>Acteurs impactés</td></tr></thead><tbody><tr><td>Amélioration du revenu des producteurs</td><td>Oui : le changement de pratiques dans la conduite de l'exploitation est observé chez les agriculteurs, qui sont des acteurs interagissant avec la recherche et ses partenaires</td><td>Oui : le changement de pratiques dans la conduite de l'exploitation est observé au-delà du cercle des acteurs interagissant avec la recherche et ses partenaires</td><td>Agriculteurs</td></tr><tr><td>Accroissement de la biodiversité au champ</td><td>Oui : les nouvelles pratiques permettent une régénération des arbres chez les paysans expérimentateurs</td><td>Non : pas encore de changement d'échelle observé</td><td>Agriculteurs</td></tr><tr><td>Nouvelle politique publique sur la biodiversité</td><td>Non : pas de changement observé chez les agriculteurs</td><td>Oui : les services de conseil se voient confier une mission nationale sur la biodiversité (effet indirect)</td><td>Service de conseil</td></tr></tbody></table>

Une fois les impacts identifiés de manière définitive, il convient de renseigner la base de données ImpresS. Deux tableaux qui y seront intégrés sont à élaborer, l'un pour les impacts 1 (tableau 12), l'autre pour les impacts 2 (tableau 13).

<table><caption>Tableau 12 : Référencement des impacts de 1er niveau.</caption><thead><tr><td>Nom de l'impact 1</td><td>Domaine d'impacts</td><td>Acteurs impactés</td><td>Date / période d'émergence</td><td>Extension géographique</td><td>Moyen par lequel l'impact a été identifié</td></tr></thead><tbody><tr><td></td><td></td><td></td><td></td><td></td><td>(entretiens / équipe cas / ateliers, etc.)</td></tr></tbody></table>
<table><caption>Tableau 13 : Référencement des impacts de 2ᵉ niveau.</caption><thead><tr><td>Nom de l'impact 2</td><td>Domaine d'impacts</td><td>Type d'impact 2</td><td>Acteurs impactés</td><td>Date / période d'émergence</td><td>Extension géographique</td><td>Moyen par lequel l'impact a été identifié</td></tr></thead><tbody><tr><td></td><td></td><td>(scaling out / scaling up / spillover)</td><td></td><td></td><td></td><td>(entretiens / équipe cas / ateliers, etc.)</td></tr></tbody></table>

### 3.3.6 Construire le chemin de l'impact

Une fois les *inputs*, *outputs*, *outcomes* et impacts identifiés et après rédaction du récit de l'innovation, l'équipe d'évaluation peut construire le chemin de l'impact. Il est possible de le construire en remontant le chemin, afin d'imaginer comment ces impacts ont pu être générés par l'innovation. De cette manière, il est possible de se concentrer sur les éléments essentiels qui conduisent à l'impact en évitant une dispersion de la réflexion. Dans cette construction du chemin de l'impact, il existe un chaînage possible des *outputs* (un *output* générant un autre *output*) et des *outcomes* (un *outcome* générant un autre *outcome*).

La construction du chemin de l'impact n'est pas une chronologie mais bien une mise en lumière des relations de causalité. Ainsi, dans le cadre de processus d'innovation relatifs au développement de systèmes de production agroécologiques, un impact sur les revenus des agriculteurs peut très bien se matérialiser rapidement grâce à des changements de pratiques chez les agriculteurs liés à l'adoption d'une nouvelle variété (*outcomes*), alors que les recherches continuent en portant sur d'autres dimensions (fertilisation organique, par exemple) en produisant d'autres *outputs*.

Le chemin de l'impact est une construction par les chercheurs, discutée avec les acteurs, et en ce sens peut évoluer au cours de l'évaluation et de la maturation de la réflexion. Il peut aussi évoluer en fonction des éléments que l'on souhaite mettre en avant pour expliquer la contribution de la recherche à l'impact.

### 3.3.7 Tracer les liens de causalité

Une fois les différentes cases du chemin de l'impact identifiées et caractérisées, il convient de tracer les flèches entre ces cases, chaque flèche représentant une relation de causalité de l'une à l'autre (encadré 11). La rigueur de l'établissement de ces liens de causalité renforce la démonstration du chemin de l'impact et permet de démontrer la contribution effective de la recherche à l'innovation et ensuite aux impacts observés. Afin d'expliciter la relation de causalité entre les cases, il est proposé de numéroter les flèches et d'expliciter dans un tableau à part ces relations de causalité. Le chemin de l'impact et le tableau représentés sur la figure 7 sont un exemple pour l'étude de cas « Contrôle biologique du ver blanc *Hoplochelus marginalis* à La Réunion ». Ils ont été réalisés après l'étude du cas.

<figure><img src="image_23.png" /></figure>
## Encadré 11 : Comment établir des liens de causalité ?

Une attention particulière doit être portée aux liens de causalité, notamment à ceux permettant de passer des produits (outputs) aux résultats (outcomes) et de ces derniers aux impacts. La mise en évidence du lien de causalité comporte deux volets : d'une part, établir la relation causale (A est la cause de B), et d'autre part, établir le mécanisme expliquant comment A conduit à B. Il s'agit de définir la conjonction entre deux composantes, en formulant l'évidence de la preuve à trvers la triangulation des informations (vérification des informations en croisant les sources, les discours, les opinions, les observations) fournies à la fois par les acteurs mais aussi par la collecte de données documentaires. On peut procéder de manière descendante, c'est-à-dire en allant des outputs vers les impacts, ou de manière ascendante (chaînage arrière ou raisonnement par l'arrière), des impacts vers les outputs. Dans la méthodologie ImpresS, on procède plutôt de manière ascendante pour prouver les liens de causalité, c'est-à-dire en partant des impacts pour remonter vers les causes avec les différents acteurs impactés et ceux qui ont influencé le processus.

La validation des liens de causalité qui ont été évoqués par des acteurs durant l'atelier de démarrage, des entretiens ou des focus groups, se fait en trois étapes : (i) vérifier que l'évènement cité a eu lieu (par recoupement de l'information), (ii) vérifier que la cause est tangible (la mise au point d'une technique par un chercheur, une action de formation, etc.), et (iii) cactériser le lien causal par différentes voies en posant des questions du type :

- Pourquoi pensez-vous que cet évènement est dû à cette cause et pas à autre chose ? Par exemple :

intervention d'un broker ou intermédiaire, mise en place d'un financement spécifique, organisation d'une formation qui a déclenché quelque chose, dynamisation d'un réseau suite à une intervention, intervention d'un acteur clé qui a donné une autorisation, etc.

- Si l'évènement précédent (la cause) n'avait pas eu lieu, que se serait-il passé (la même chose, autre chose) ? Ou alors chercher des explications alternatives (plus leur nombre est important, plus cela permet en cause le lien causal).

Les acteurs de la recherche ont plutôt une bonne vision des liens de causalité permettant le passage des moyens (inputs) aux produits (outputs) et de ces derniers aux résultats (outcomes). Dans le cas des liens de causalité entre outcomes et impacts (1er et 2e niveaux) et entre impacts de 1er niveau et impacts de 2e niveau, ceux-ci doivent être prouvés par recoupement en impliquant un cercle plus large d'acteurs. Les mécanismes causaux peuvent être un peu plus complexes à expliciter. En effet, dans le cas du lien entre outcome et impact de 1er niveau, différents mécanismes peuvent être à l'œuvre, dont ceux relatifs à des apprentissages de différentes natures. Et dans le cas du passage des impacts de 1er niveau aux impacts de 2e niveau, il s'agit de mécanismes de spillover et plus généralement de changement d'échelle.

Deux difficultés peuvent apparaître dans les cas ex post, où l'on a une échelle temporelle large : d'une part, la disparition de certains acteurs clés, et d'autre part, le fait de faire appel à la mémoire des acteurs sur des évènements lointains, surtout quand ils se sont éloignés de la thématique.

<figure><img src="image_24.png" /></figure>
a)

<figure><img src="image_25.png" /></figure>

<table><thead><tr><th>b) Référence de la flèche</th><th>Explication des liens de causalité du chemin de l'impact de l'étude de cas « Contrôle biologique du ver blanc Hoplochelus marginalis à La Réunion »</th></tr></thead><tbody><tr><td>1</td><td>Capitalisation des connaissances et observations pour prendre les décisions les plus adaptées</td></tr><tr><td>2</td><td>Influence dans l'orientation de la lutte proposée</td></tr><tr><td>3</td><td>Adaptation du cadre réglementaire pour faciliter la diffusion de la technologie</td></tr><tr><td>4</td><td>Financement des actions de lutte à partir des décisions adoptées par le groupe de travail</td></tr><tr><td>5</td><td>Encadrement juridique, opérationnel, politique de l'innovation avec le riz sporisé par le groupe de travail « ver blanc »</td></tr><tr><td>6</td><td>Encadrement juridique, opérationnel, politique de l'innovation avec le Betel par le groupe de travail « ver blanc »</td></tr><tr><td>7</td><td>Investissement dans le capital de l'usine</td></tr><tr><td>8</td><td>Freins dans l'application du produit (petites quantités à appliquer)</td></tr><tr><td>9</td><td>Décision de création du dispositif de trempage pour épandre le produit</td></tr><tr><td>10</td><td>Suivi de l'efficacité de l'application du riz sporisé</td></tr><tr><td>11</td><td>Transfert du process à une structure permettant la diffusion du produit sur toute l'île</td></tr><tr><td>12</td><td>Fourniture des indicateurs d'infestation du ver blanc pour orienter les efforts concernant la lutte</td></tr><tr><td>13</td><td>Facilitation de l'application du produit par les planteurs</td></tr><tr><td>14</td><td>Diffusion du produit par les ventes</td></tr><tr><td>15</td><td>Augmentation du taux de larves mycosées</td></tr><tr><td>16</td><td>Multiplication des rencontres entre acteurs</td></tr><tr><td>17</td><td>Décision prise par le groupe de travail « ver blanc » suite au contrôle du ver blanc</td></tr></tbody></table>

Figure 7 : Chemin de l'impact (a) et tableau des relations de causalité (b) pour l'étude de cas « Contrôle biologique du ver blanc Hoplochelus marginalis à La Réunion ».
<figure><img src="image_26.png" /></figure>
4
La caractérisation
du renforcement des capacités
dans le chemin de l'impact
## 4.1 Pourquoi s'intéresser au renforcement des capacités ?

Le renforcement des capacités peut être considéré comme « l'ossature » du chemin de l'impact : c'est parce que des individus, des communautés ou des organisations acquièrent ou développent de nouvelles capacités et compétences que des changements peuvent se produire, changements de politique, de pratiques, de produits, qui vont *in fine* contribuer au développement. Le Cirad, en déployant ses activités de recherche en partenariat, contribue au renforcement des capacités de ses partenaires, dans le but de permettre aux chercheurs du Sud et à leurs institutions, mais aussi aux acteurs du développement (agriculteurs, représentants des organisations de producteurs, agents techniques des ONG, responsables d'entreprises privées, cadres des institutions publiques), de mieux répondre aux défis du développement. Dans cette partie sont considérées à la fois les capacités techniques (savoir développer et utiliser des technologies) et les capacités fonctionnelles (savoir gérer un dispositif, collaborer, s'organiser, communiquer, etc.) (encadré 12).

Dans la cadre de la méthode ImpresS, la documentation et l'analyse du renforcement des capacités techniques et fonctionnelles au niveau des principaux acteurs impliqués dans le processus d'innovation sont proposées. Ces acteurs sont par exemple des partenaires de recherche du Cirad, d'autres partenaires dans la sphère du développement, des agriculteurs ou utilisateurs potentiels de l'innovation. Le renforcement des capacités peut avoir lieu lors des différentes phases de l'innovation (initiation, développement, changement d'échelle). Il peut être intentionnel de la part des chercheurs, ou en être un résultat indirect, qui découle de la multiplicité des processus d'apprentissage qui s'opèrent aux échelles individuelle et collective. Le renforcement des capacités est intentionnel par exemple lorsqu'il est une composante clé d'un projet pour atteindre des objectifs de développement (par exemple *via* des formations).

Dans le cadre de la méthode ImpresS, le choix a été fait de représenter de plusieurs façons le renforcement des capacités sur le chemin de l'impact : soit comme un résultat ou un impact, soit comme un lien de causalité entre produits et résultats, et résultats et impacts. Par convention, c'est la capacité à innover, comme résultante de l'ensemble des capacités techniques et fonctionnelles acquises le long du chemin, qui est considérée comme un impact. Les capacités constitutives s'acquèrent par étape et sont représentées comme produits ou résultats.

### Encadré 12 : Renforcement des capacités de la recherche et des autres acteurs impliqués dans l'innovation

Le renforcement des capacités implique un processus d'acquisition et d'accumulation de connaissances, de savoirs, de savoir-faire et de savoir-être, suivi d'une application par les individus ou organisations pour remplir leurs fonctions et atteindre les objectifs visés (Morgan, 1998). Il est possible d'identifier une large gamme de capacités renforcées sur la base des études de cas ImpresS menées en 2015-2016.

**Capacités techniques** : maîtriser une nouvelle technologie, maîtriser de nouveaux procédés.

**Capacités de gestion** : savoir analyser sa situation et son environnement, savoir programmer ses activités ; savoir suivre et évaluer ses activités et résultats ; savoir mobiliser des ressources (financières et autres) ; savoir gérer, savoir évaluer la performance des innovations au regard de ses propres critères (diagnostic).

**Capacités à expérimenter et apprendre** : savoir expérimenter, adapter ; savoir mobiliser des connaissances scientifiques et profanes ; savoir formaliser de nouvelles connaissances pour résoudre d'autres problèmes ; savoir partager les connaissances et compétences avec ses pairs et ses partenaires.

**Capacités à interagir avec les autres** : savoir travailler ensemble pour concevoir et mettre en œuvre une innovation ; savoir agir collectivement pour concevoir et mettre en œuvre une organisation et s'engager dans un processus politique ; savoir interagir avec les autres acteurs du système d'innovation (État, entreprises, marchés, etc.).

L'ensemble de ces capacités forment les capacités à innover.

**Le renforcement des capacités suivantes renforce le pouvoir d'agir** : prendre confiance en soi, modifier sa perception d'un problème et des solutions ; devenir proactif ; renforcer son rôle dans les systèmes d'innovation (surtout les femmes ou les groupes marginalisés).

Dans un processus d'innovation, tous les acteurs peuvent renforcer leurs capacités : les agriculteurs mais aussi les techniciens, les chercheurs du Sud et également les chercheurs du Cirad !

<figure><img src="image_27.png" /></figure>
## 4.2 Évaluer le renforcement des capacités

L'évaluation du renforcement des capacités passe par l'analyse de situations d'apprentissage considérées comme clés par les acteurs du processus d'innovation et par leur localisation sur le chemin de l'impact. Cela doit aider à identifier des liens de causalité, des produits, des résultats ou des impacts. Selon l'étude de cas, l'analyse du renforcement des capacités pourra être plus ou moins approfondie.

### 4.2.1 Les situations d'apprentissage

Une situation d'apprentissage (Toillier, 2012) est définie comme un ensemble de conditions et de circonstances susceptibles d'amener une personne, un collectif ou une organisation à construire des nouvelles connaissances et à les appliquer pour résoudre des problèmes, saisir des opportunités ou améliorer des façons de faire. L'apprentissage résulte en de nouvelles capacités. Une situation d'apprentissage peut être organisée ou informelle, intentionnelle ou non. Sont donc distinguées des situations d'apprentissage dédiées (partage d'information, formation, facilitation, accompagnement, coaching, conseil, mise en réseau, activités de capitalisation, dispositif d'expérimentation) et des situations d'apprentissage non dédiées à l'apprentissage, mais qui jouent un rôle important dans la construction de nouvelles connaissances et capacités selon les acteurs concernés (comme des comités de pilotage, des ateliers de co-conception, des espaces d'échange informels, etc.).

Par exemple, dans le cas d'étude « Valeur ajoutée des produits de l'agriculture familiale du Brésil à exploser : les indications géographiques de l'État de Santa Catarina », une situation d'apprentissage a consisté en des moments d'échange organisés et réguliers entre producteurs de vins et experts, avec des alers-retours entre des observations dans les caves et les vignes et des moments de partage de connaissances techniques. Dans ce dispositif d'échange expert-producteur, l'expert a appris sur les réalités du producteur et sur ses contraintes de production, et le producteur a appris sur la règlementation technique liée aux indications géographiques.

### 4.2.2 Identifier et caractériser les situations d'apprentissage

Pour repérer une situation d'apprentissage, trois méthodes sont possibles :

1. À partir des récits de l'innovation, repérer les changements dans les activités et les pratiques professionnelles des acteurs en identifiant la nature des capacités qui ont évolué (savoir-faire, savoir-être, connaissances). Il s'agit ensuite de repérer les situations qui ont permis ces apprentissages ;

2. Enquêter auprès des acteurs pour savoir dans quelles situations ils ont « appris le plus » (quand, quoi, comment), et leur demander de caractériser ces situations d'apprentissage ;

3. Explorer, par enquêtes ciblées, les effets de situations d'apprentissage évidentes a priori, notamment quand des projets ont explicitement mis en œuvre des actions de renforcement des capacités (comme un dispositif de recherche-action, des séries de formations, un dispositif de champ-école, etc.).

Il est proposé de privilégier l'analyse des situations d'apprentissage mobilisant des chercheurs afin de mieux cerner leurs contributions, mais aussi de celles qui sont considérées comme les plus importantes et de celles qui se sont répétées de manière identique et systématique. En général, il est possible de caractériser entre cinq et dix situations d'apprentissage de nature différente par étude de cas.

Pour caractériser une situation d'apprentissage, il faut répondre aux questions suivantes :

- Où a-t-elle eu lieu ?

- Quand ? Combien de fois ?

- Qui y a participé (chercheurs, agents techniques d'ONG, responsables d'organisations de producteurs, employés d'entreprises, agents de services publics agriculteurs, etc.) ? Pour faire quoi ?

- Quel a été le rôle de la recherche dans cette situation d'apprentissage (expert, formateur, intervenant, explorateur, entrepreneur, ou simplement apprenant) ?

- Quels ont été les principaux types d'apprenants (individus, organisations ou communauté) ?
### 4.2.3 Positionner le renforcement des capacités dans le chemin de l'impact

La situation d'apprentissage peut permettre le passage d'un produit (output) à un résultat (outcome) ou d'un résultat à un impact. L'identification du rôle des chercheurs ou des produits de la recherche dans les situations d'apprentissage peut aider à faire cette distinction, en posant les questions suivantes :

- la situation d'apprentissage est-elle liée à un dispositif considéré comme un produit d'intervention impliquant la recherche ? Dans ce cas, elle fait partie des produits (outputs) ;

- la situation d'apprentissage est-elle liée à l'usage des produits de la recherche ? Dans ce cas, elle fait partie des résultats (outcomes).

Il est proposé de construire une grille de questions pour identifier la contribution du renforcement des capacités au chemin de l'impact. Il s'agit de vérifier s'il y a eu ou non changement de pratiques, soit au niveau individuel, soit au niveau d'un collectif ou d'une organisation. La méthode de collecte de données (entretiens, observations, procès-verbaux de réunion, documents opérationnels, etc.) doit alors être adaptée en fonction de l'information que l'on souhaite renseigner. Ci-dessous quelques exemples de questions :

- Quels savoirs, savoir-faire, savoir-être avez-vous acquis en étant impliqués dans les activités du projet et utilisez-vous régulièrement dans votre travail ?

- Quelles sont les capacités acquises (capacité technique, de gestion, capacité à expérimenter et apprendre, à interagir avec d'autres) ?

- Quels sont les principaux changements pour votre collectif ou votre organisation provoqués par des actions de renforcement des capacités liées aux interventions extérieures, en termes de pratiques, d'activités, d'innovation ou d'interactions avec l'environnement ?

L'ensemble des données recueillies peuvent être synthétisées dans un premier temps dans un tableau (tableau 14). Le chemin de l'impact correspondant à l'étude de cas « Riz pluvial d'altitude à Madagascar » présenté sur la figure 8 illustre comment positionner les situations de renforcement des capacités sur le chemin de l'impact.

<table><caption>Tableau 14 : Critères de caractérisation des situations d'apprentissage.</caption><thead><tr><th>Situation</th><th>Caractéristiques</th><th>Rôle des chercheurs</th><th>Phase du chemin de l'impact</th><th>Principaux acteurs apprenants</th><th>Capacités acquises et utilisées</th><th>Changements (activités, pratiques, etc.) liés aux capacités acquises</th></tr></thead><tbody><tr><td rowspan="3">Intitulé situation 1</td><td rowspan="3">Quand ? Où ? Qui ? Quoi ?</td><td rowspan="3">Quelles activités dans cette situation ?</td><td rowspan="3">Produit / résultat Résultat / impact</td><td rowspan="2">Acteur 1</td><td>Capacité 1</td><td>Changement 1, changement 2</td></tr><tr><td>Capacité 2</td><td>Changement 3</td></tr><tr><td>Acteur 2</td><td>Capacité 3</td><td>Changement 4, changement 5</td></tr><tr><td>Intitulé situation 2</td><td>...</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td rowspan="3">Exemple : dispositif d'échange experts-producteurs</td><td rowspan="3">Tous les mois, dans les fermes pilotes pour favoriser les échanges de connaissances et savoir-faire</td><td rowspan="3">Organisateur de la démarche</td><td rowspan="3">Résultat / impact</td><td rowspan="2">Expert</td><td>Connaissances sur les contraintes de production locales</td><td>Adaptation des recommandations aux viticulteurs</td></tr><tr><td>Savoir être à l'écoute des producteurs</td><td>Nouvelles manières d'organiser les échanges</td></tr><tr><td>Viticulteurs</td><td>Savoir-faire pour récolter et vinifier, savoir exprimer ses problèmes</td><td>Nouvelle organisation des récoltes et investissement dans du matériel de vinification</td></tr></tbody></table>
<figure><img src="image_28.png" /><figcaption>Figure 8 : Localisation des situations d'apprentissage clés ayant contribué au renforcement des capacités sur le chemin de l'impact pour l'étude de cas « Riz pluvial d'altitude à Madagascar ».</figcaption></figure>

### 4.2.4 Aller plus loin

Pour aller plus loin dans l'étude du renforcement des capacités, il est possible d'une part de se reporter à l'annexe 3, qui donne des éléments pour noter le renforcement des capacités dans la production des résultats et impacts, et d'autre part d'étudier plus en détail le rôle de certains acteurs et la nature des apprentissages. Les initiatives suivantes peuvent par exemple être prises :

- exploration du rôle de la recherche en particulier dans les situations d'apprentissage, en élaborant des récits de vie : histoire individuelle retraçant le parcours, les capacités acquises, les rôles joués dans un processus d'innovation ou dans la production d'impact. En particulier pourraient être privilégiés des récits de chercheurs du Sud formés et les impacts que ceux-ci ont eus sur leurs organisations, de recherche ou autre. Il pourrait également être précisé en quoi les capacités des chercheurs du Nord ont été renforcées par ces recherches ;

- compréhension des processus d'apprentissage en identifiant les apprentissages en simple boucle (changement de pratiques sans changement de valeur, ce qui permet des innovations incrémentales), en double boucle (changement de pratiques lié à un changement de valeur, ce qui permet des innovations radicales) et en triple boucle (apprendre à apprendre), et en identifiant les facteurs (s'il y en a) qui limitent ou favorisent l'usage des nouveaux savoirs, savoir-faire, savoir-être liés à la participation aux activités d'un projet, etc. ;

- compréhension de la diffusion des savoirs à travers les réseaux socio-professionnels (quels savoirs, savoir-faire, savoir-être transmettez-vous aux autres ?).
<figure><img src="image_29.png" /></figure>
5

La caractérisation des interactions
avec les politiques publiques

..................
## 5.1 Pourquoi s'intéresser aux politiques publiques ?

Les interactions entre la recherche et les politiques publiques (encadré 13) sont déterminantes dans un objectif de contribution de la recherche à des impacts sociétaux. Les recherches s'inscrivent dans un contexte institutionnel, façonné par les politiques publiques passées et présentes, plus ou moins porteur et favorable à l'innovation. L'émergence de certaines priorités dans les agendas politiques, sur le long terme ou en réaction à une crise, peuvent orienter les choix et les modes d'intervention des chercheurs et la capacité de leurs recherches à avoir de l'impact. Les acteurs publics des politiques publiques, par des moyens très diversifiés, ont un effet de levier qui rend l'impact de la recherche possible. En interagissant avec les acteurs publics, et c'est particulièrement le cas des recherches participatives qui en associent certains, les chercheurs renforcent leurs capacités et jouent ainsi un rôle dans l'élaboration des politiques publiques. Mais quand l'objet de la recherche n'est pas l'aide à la décision des acteurs publics, les chercheurs adoptent plus rarement la démarche de communiquer avec ceux-ci ou de les solliciter. De même, la réceptivité des acteurs publics aux travaux des chercheurs dans le contexte des pays en développement est parfois très faible. Comprendre le rôle des acteurs publics et des chercheurs dans le processus d'innovation devrait améliorer le lien recherche-politique mais aussi accroître la possible contribution de la recherche à l'impact.

### Encadré 13 : Définition d'une politique publique

Une politique publique (Knoepfel et al., 2001) peut être définie comme « un enchaînement de décisions ou d'activités, intentionnellement cohérentes, prises par différents acteurs, publics et parfois privés, dont les ressources, les attaches institutionnelles et les intérêts varient, en vue de résoudre de manière ci-blée un problème défini politiquement comme col-

lectif. Cet ensemble de décisions et d'activités donne lieu à des actes formalisés, de nature plus ou moins contraignante, visant à modifier le comportement de groupes sociaux supposés à l'origine du problème collectif à résoudre, dans l'intérêt de groupes sociaux qui subissent les effets négatifs dudit problème ».

## 5.2 Évaluer le rôle des acteurs publics dans le processus d'innovation et l'impact de la recherche sur les politiques publiques

Une approche en trois phases est proposée :

1. apprécier le contexte institutionnel dans lequel la recherche s'insère et qui pourra avoir une influence sur la mise en œuvre de la recherche et son impact. Cela suppose d'identifier les acteurs publics, les principales politiques publiques, et la réceptivité des principaux acteurs publics à la recherche ;

2. étudier les interactions des acteurs publics avec les autres acteurs du processus d'innovation : à quels moments, dans quelles situations et par quels moyens à leur disposition les acteurs publics peuvent faciliter le processus d'innovation jusqu'à l'impact ;

3. étudier les impacts de ces interactions sur la capacité des acteurs publics et sur les politiques publiques.

### 5.2.1 Apprécier le contexte institutionnel et connaître les acteurs publics dans l'environnement de la recherche menée

Cette première phase peut être décomposée en trois étapes.

**Première étape :** identification des acteurs publics dans l'environnement des chercheurs et de leurs rôles par rapport à l'innovation et à l'impact.

Il ne faut pas penser aux seuls acteurs publics de proximité, mais à ceux travaillant à d'autres échelles et dont les décisions peuvent influencer l'impact de la recherche. La typologie des 13 études de cas ex post menées en 2015-2016 peut aider à repérer ces acteurs. Quatre catégories d'acteurs ont été impliquées dans l'élaboration et la mise en œuvre des politiques publiques :

- les acteurs publics nationaux (État, ministères, services centraux, etc.);
- les services déconcentrés de l'État (administration, préfecture / sous-préfecture, etc.) qui sont le relai des acteurs publics nationaux ;

- les acteurs publics locaux des collectivités locales (acteurs indépendants administrativement et politiquement de l'État, même s'ils sont en grande partie financés par l'État, comme des régions ou des communes) ;

- les organisations internationales et autres acteurs publics extérieurs au pays où se déroule la recherche (bailleurs de fonds, coopération bilatérale ou multilatérale, etc.), qui mènent leurs propres stratégies politiques et influencent le comportement des gouvernements dans les pays en développement.

Le cadre d'analyse du « chemin de l'impact » adopté par la méthode ImpresS permet de caractériser les différents rôles joués par ces acteurs publics, au côté, en amont ou en aval des chercheurs et de leurs partenaires dans les processus qui mènent à l'impact.

**Deuxième étape** : identification des éléments de contenu des principales politiques publiques qui peuvent influencer le processus d'innovation et l'impact de la recherche.

Les politiques publiques qui interagissent avec le processus d'innovation et qui peuvent stimuler ou freiner l'innovation sont de plusieurs natures :

- les politiques scientifiques, de recherche, d'innovation, de formation, qui conditionnent les moyens humains, techniques et financiers affectés à la recherche et l'agenda des priorités des questions à traiter ;

- les politiques sans lien direct avec la problématique de l'innovation, mais qui peuvent en faciliter l'impact en favorisant la diffusion ou l'appropriation de certains changements de pratiques (agricoles ou de gestion) liés au déploiement de l'innovation – par exemple politiques de crédit, politiques foncières, politiques des infrastructures, politiques énergétiques, etc. :

- les politiques de développement ou sectorielles, en appui desquelles les projets de recherche interviennent directement : politiques agricoles, politiques alimentaires, politiques sanitaires, politiques foncières, politiques des agrocarburants, etc.

**Troisième étape** : analyse de la réceptivité à la recherche des principaux acteurs publics en début et en fin de projet (tableau 15).

La typologie suivante en cinq niveaux de réceptivité peut être utilisée : (i) demande claire de la part de l'acteur public (du gouvernement notamment), (ii) intérêt de l'acteur public mais absence de *leadership*, (iii) intérêt de l'acteur public pour les recherches mais capacités insuffisantes, (iv) enjeu de la recherche clair mais aucun intérêt de la part de l'acteur public, et (v) acteur public qui se désintéresse des recherches ou se montre hostile à leur égard. Le choix des principaux acteurs à retenir peut se faire sur la base de la définition des acteurs majeurs ou acteurs influents issue des études de cas analysées par la méthode ImpresS.

<table><caption>Tableau 15 : Réceptivité des acteurs publics à la recherche.</caption><thead><tr><td>Acteur public</td><td>Réceptivité en début de recherche</td><td>Réceptivité en fin de recherche</td><td>Pourquoi ce changement (1) ?</td></tr></thead><tbody><tr><td>Acteur public 1</td><td></td><td></td><td></td></tr><tr><td>Acteur public 2</td><td></td><td></td><td></td></tr><tr><td>Acteur public 3</td><td></td><td></td><td></td></tr><tr><td>...</td><td></td><td></td><td></td></tr></tbody></table>

### 5.2.2 Étudier les interactions des acteurs publics avec les autres acteurs du processus d'innovation

Il s'agit d'identifier les interactions entre les parties prenantes au processus d'innovation, et en particulier celles des chercheurs avec les acteurs publics. L'objectif est de déceler des interactions conséquentes, de les décrire et de les caractériser.

<footnote>(1) Par exemple : émergence d'un problème à résoudre, intérêt subit ou progressif de l'acteur public, communication des chercheurs, rôle joué par un individu, évènement inattendu, soutien de certains acteurs, etc.</footnote>
Il est nécessaire d'être attentif aux modalités d'action publique (financement, design de la recherche, déblocage de contraintes, appui à la dissémination, etc.) et aux moments auxquels les acteurs publics sont susceptibles d'entrer en relation avec les autres acteurs de l'innovation et de faciliter (ou freiner) le processus menant à l'impact. Le cadre d'analyse du « chemin de l'impact » adopté par la méthode ImpresS permet de caractériser les moments pendant lesquels l'intervention des acteurs publics est stratégique pour générer les impacts.

- Les acteurs publics peuvent avoir un effet de levier sur l'innovation (création, mise en œuvre, diffusion) au cours des différentes phases du chemin de l'impact :

- au niveau des investissements (inputs) : financement public, mise en relation avec d'autres acteurs, etc. ;

- au niveau de la production de recherche (outputs) : contribution des acteurs publics à des recherches participatives multi-acteurs ;

- au niveau de la création de résultats (outcomes) : mobilisation d'acteurs, mise en place de normes et de règles, création de structures de concertation ou de gestion, financement d'opérations de communication, activités techniques, etc. ;

- au niveau des impacts : incitations financières, création d'un environnement favorable à l'innovation, facilitation du changement d'échelle.

Dans la méthode ImpresS, le choix a été fait de mettre en évidence les interactions avec les acteurs publics à différents niveaux : d'abord dans les flèches entre les cases du chemin d'impact pour expliciter les liens de causalité, dans certains résultats (outcomes) quand les interactions avec les acteurs publics ont été repérées comme permettant le déploiement de l'innovation (par exemple : élaboration d'une norme permettant l'expérimentation) et *in fine* dans les impacts quand une nouvelle politique publique a permis un changement d'échelle de l'innovation.

### 5.2.3 Étudier les impacts de ces interactions sur la capacité des acteurs publics et sur les politiques publiques

Les impacts de la recherche dans le champ des politiques publiques ne se traduisent pas seulement par des décisions ou activités cohérentes et coordonnées en vue de résoudre un problème collectif (cf. définition d'une politique publique dans l'encadré 13). Les chercheurs du Cirad interviennent également dans des situations où les acteurs publics sont eux aussi en situation d'apprentissage. La participation des acteurs publics aux processus d'innovation, et en particulier leur collaboration à des recherches participatives multi-acteurs, renforcent leurs capacités à interagir avec les chercheurs et les autres acteurs du système d'innovation et à faciliter durablement l'impact des recherches.

Cette troisième phase peut-être décomposée en deux étapes.

**Première étape** : identification des impacts tangibles sur les politiques publiques. Ces effets concernent les stratégies élaborées et les instruments politiques mis en œuvre.

Cette étape consiste à identifier quelles sont les activités et les décisions des acteurs de l'innovation qui peuvent se matérialiser par des textes de politiques publiques (objectifs, stratégies, documents politiques, lois, etc.) assortis d'instruments (normalisation / homologation, réglementation, tarification / fiscalité, licences, etc.) qui favorisent ou peuvent bloquer l'innovation.

Le travail d'analyse consiste en outre à évaluer si les impacts sur les politiques se limitent à la prise d'un certain nombre de décisions ou si ces décisions ont été mises en œuvre (décrets pour appliquer une loi, dépenses publiques pour une décision d'investissement, etc.), et quels effets (impacts de 1er et 2e niveaux) elles ont produits. On peut observer une abondance de documents politiques qui annoncent des changements, mais dont l'application peut pêcher par manque de moyens. Il est aussi important de comprendre quels sont les bailleurs de fonds derrière les initiatives politiques, car ce sont souvent eux qui financent les réformes et investissements.

Il s'agira d'analyser également le pas de temps sur lequel les politiques ont été impactées : impact à court terme, c'est à dire pendant la réalisation de la recherche, impact à moyen terme en fin de projet de recherche pour contribuer à la durabilité de l'impact, ou impact plus lointain, le temps d'assurer une percolation des idées.
**Deuxième étape** : identification d'effets plus diffus mais durables des interactions entre les acteurs du système d'innovation et notamment des chercheurs avec les acteurs publics. Ces effets peuvent se situer au niveau du changement de perception des responsables politiques, du renforcement des capacités institutionnelles, de la circulation des idées, de l'alimentation des débats, de la construction de nouveaux argumentaires, etc.

L'analyse peut être aidée par l'usage des questions suivantes : (i) l'accroissement des capacités des acteurs publics (amélioration de leur niveau de connaissances), (ii) l'ouverture de nouveaux horizons pour ces acteurs (introduction d'idées novatrices), (iii) l'influence sur la manière dont sont prises les décisions (modification de programmes, procédures ou politiques).

### 5.2.4 Les méthodes de collecte et d'analyse

L'ensemble de l'analyse s'appuie sur une combinaison de méthodes (approche narrative avec les principales parties prenantes à l'innovation, entretiens individuels auprès de certains des acteurs, entretiens avec les décideurs, entretien avec des personnes ressources au regard extérieur, ni chercheurs, ni décideurs) pour faire remonter l'information sur la relation « recherche – innovation avec les acteurs publics – impact sur les politiques ». Ces analyses peuvent être menées en s'appuyant sur un processus participatif intégré à l'évaluation participative des différents types d'impacts ou/et à dire d'experts, ou en mettant l'accent sur l'intensité de la contribution du Cirad et de ses partenaires de recherche au changement dans les politiques ainsi que sur l'ampleur des changements provoqués.

L'ensemble des données recueillies peuvent être synthétisées dans le tableau 16, qui permet de positionner les interactions avec les politiques publiques sur le chemin de l'impact, en utilisant un symbole particulier, qui sera expliqué dans une légende.

<table><caption>Tableau 16 : Caractérisation des interactions avec les acteurs publics.</caption><thead><tr><th>Interaction</th><th>Caractéristiques</th><th>Rôle des chercheurs</th><th>Principaux acteurs publics</th><th>Effets sur le processus d'innovation</th><th>Effets sur les politiques (textes, instrument) liés aux interactions</th><th>Phase du chemin de l'impact</th></tr></thead><tbody><tr><td>Intitulé interaction 1</td><td>Quand ? Où ?<br/>Qui ? Quoi ?</td><td>Quelles activités dans cette interaction ?</td><td>Acteur 1<br/>Acteur 2</td><td>Effet 1<br/>Effet 2</td><td>Effet 1<br/>Effet 2<br/>Effet 3</td><td>Produit<br/>Résultat<br/>Impact</td></tr><tr><td>Intitulé interaction 2</td><td>...</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Exemple : politique locale de gestion de l'eau</td><td>Le Cirad interagit avec un opérateur privé puis avec la collectivité locale pour une meilleure gestion de l'eau pour l'alimentation des villages et l'irrigation</td><td>Organisateur de la démarche</td><td>Collectivité locale<br/>Administration locale</td><td>Nouveaux quotas de répartition de l'eau<br/>Investissement complémentaire de la part de l'opérateur privé</td><td>Nouvelles règles de gestion de l'eau</td><td>Résultat :<br/>production de<br/>nouvelles règles<br/>de gestion de<br/>l'eau<br/><br/>Impact :<br/>renforcement<br/>de la collectivité<br/>locale</td></tr></tbody></table>

Un ensemble de questionnements qui peuvent aider l'analyse est proposé ci-dessous :

- Quel est le contexte politique dans lequel se sont insérés les travaux de recherche ?

- Les problèmes auxquels s'attachent les projets de recherche sont-ils en phase avec les enjeux, les contraintes ou opportunités de développement, qui constituent des priorités pour les acteurs publics ?

- Les acteurs publics ont-ils formulé une demande aux chercheurs (demande de solution à un problème) ? Cette demande correspondait-elle à un consensus clair (pas de tiraillement entre plusieurs tendances dans l'administration) ?
- Des acteurs publics ont-ils été associés aux différentes étapes de la recherche et du processus d'innovation ? Les chercheurs sont-ils restés en interaction permanente avec les acteurs publics ? Sous quelle forme : feedbacks, dialogue, autres types de collaboration ?

- Qu'est-ce qui a fondé la légitimité des travaux de recherche pour interagir avec les acteurs publics ?

- Qu'est-ce qui a fondé la confiance entre chercheurs et acteurs publics ?

- Certains groupes, réseaux ou individus ont-ils joué un rôle dans la circulation des résultats de la recherche et dans la discussion des idées qui ont fait changer la politique publique ?

- Auprès de qui (audience) les chercheurs ou leurs représentants / intermédiaires / médiateurs ont-ils communiqué sur leurs recherches : réseaux, communautés, responsables politiques, etc. ?

- Qui sont les utilisateurs publics de la recherche (politiques, société civile, médias, ONG, etc.) et comment les informations disponibles sont-elles utilisées ?

- Comment a circulé la connaissance ? Comment s'est faite la transmission des connaissances scientifiques aux acteurs publics ?

- Comment les chercheurs ont-ils communiqué (format, style, calendrier, type d'évènements, blogs, entretiens, discussion, débat, formation, etc.) ? Quels efforts ont fait les chercheurs pour rendre leurs résultats disponibles et appropriables par les acteurs publics ?

- En quoi les résultats scientifiques ont-ils contribué au débat des idées, à l'intégration de connaissances nouvelles par les acteurs publics, à l'élaboration de stratégies, à la circulation de l'information auprès du grand public, à la reprise des idées par les médias ?

- Des changements au niveau de l'État ou de l'opinion publique, ou un moment propice ou un quelconque évènement ont-ils favorisé l'attention de l'acteur public ?

- La recherche a-t-elle servi à formuler, mettre en œuvre ou instrumentaliser des politiques (textes, measures fiscales, accès au marché, etc.) ? A-t-elle influencé la modification de règlementations ou de lois ? Celles-ci ont-elles été mises en œuvre et ont-elles fait changer les pratiques des acteurs publics (niveau central, niveau local) ?

- Quels sont les indicateurs tangibles qui vous permettent d'apprécier l'impact de votre recherche sur les politiques publiques ?

- Pensez-vous que vos résultats sont arrivés trop tôt / trop tard pour être utilisés par les acteurs publics ?

<figure><img src="image_30.png" /></figure>
6

La mesure des impacts

..................
Les chapitres précédents ont évoqué la caractérisation des impacts de 1<sup>er</sup> et 2<sup>e</sup> niveaux à partir de descripteurs (cf. parties 2.2 et 3.3.5). À ce stade, il s'agit de faire un pas de plus et de mesurer ces impacts. Pour cela, il est nécessaire de renseigner chaque impact par des indicateurs et d'explicitier le changement d'échelle entre le niveau 1 et le niveau 2. Le « profil » de l'étude de cas peut ensuite être visualisé en dessinant un radar, qui synthétise les données relatives aux différents impacts identifiés ; ce résultat s'obtient en regroupant les impacts et leurs indicateurs initiaux par domaine d'impacts et en faisant noter ces derniers par un panel d'experts, *via* une méthode de scoring.

## 6.1 Caractériser les impacts et leurs indicateurs

Sur la base du tableau des impacts de 1<sup>er</sup> et 2<sup>e</sup> niveaux, l'équipe d'évaluation identifie ou construit des indicateurs pour chaque impact (encadré 14). Ces indicateurs peuvent être identifiés par les acteurs lors des ateliers et entretiens, mais sont aussi proposés par l'équipe d'évaluation. Ils doivent rendre compte d'une évolution par rapport à une situation de référence, qui est la situation avant innovation ou sans innovation. Ils doivent permettre de documenter d'une façon simple et synthétique les deux critères suivants qui caractérisent l'impact :

- l'intensité, qui témoigne du degré du changement lié à l'innovation et observé pour un impact donné (évolution du rendement, évolution du revenu agricole, etc.);

- l'ampleur, qui témoigne de l'étendue du changement (surface ou portion du territoire concernée par le changement, nombre de producteurs concernés par le changement, etc.).

L'indicateur peut être quantitatif ou qualitatif. Il faut privilégier les indicateurs qui auront été cités par les acteurs, et autant que faire se peut, ceux qui pourront être renseignés *via* des bases de données, des statistiques, etc. Il est recommandé de définir deux ou trois indicateurs d'intensité et deux ou trois indicateurs d'ampleur pour chaque impact.

### Encadré 14 : Qu'est-ce qu'un indicateur d'impact ?

L'indicateur d'impact est défini comme une donnée qui rend compte d'un impact. La mesure de l'indicateur d'impact n'a de sens que par rapport à une situation de référence et aux objectifs d'un acteur dans un contexte donné. Il peut être mesuré pour une ou plusieurs catégories d'acteurs.

Un bon indicateur est :

- **spécifique** : l'indicateur doit se rapprocher au plus près de l'impact qu'il caractérise. Par exemple, pour l'impact « amélioration du revenu », un indicateur quantitatif peut être « l'évolution de la production de l'exploitation » ou « l'évolution du rendement » et un indicateur qualitatif peut être « la perception des familles sur l'amélioration du bien-être des enfants » ;

- **mesurable (et robuste)** : l'indicateur doit être quantifié ou qualifié, et se mesurer de la même manière dans différentes situations. L'indicateur est d'autant plus robuste que l'information pour le renseigner se trouve dans une base de données existante fiable ;

- **acceptable** : l'indicateur doit être facile à comprendre, partagé, et interprétable de la même manière par différents observateurs ;

- **pertinent** : l'indicateur doit être réaliste et pertinent par rapport à l'impact ;

- **temporellement** défini : l'indicateur s'inscrit dans une dimension temporelle claire, il est défini dans le temps.

Le tableau 17 permet de comprendre comment il est possible de mesurer les impacts. Dans l'exemple fictif précédemment cité, suite à l'atelier participatif, aux entretiens et à des focus groups, trois impacts ont été identifiés, avec plusieurs indicateurs par impact (indicateur[s] d'intensité, indicateur[s] d'ampleur). Ce sont les paysans qui sont impactés par l'innovation (diffusion d'un système de culture d'agriculture de conservation) et des ONG ont appuyé les paysans (formation, conseil).

<figure><img src="image_31.png" /></figure>
<table><caption>Tableau 17 : Exemple de descripteurs, d'impacts, de domaines d'impacts et d'indicateurs.</caption><thead><tr><td>Descripteurs</td><td>Impact</td><td>Domaine d'impacts</td><td>Impact 1er ou 2e niveau</td><td>Indicateur(s) d'intensité</td><td>Indicateur(s) d'ampleur</td></tr></thead><tbody><tr><td>1</td><td rowspan="3">Impact 1 : amélioration du revenu des producteurs</td><td rowspan="3">Revenus des ménages et des petits producteurs</td><td rowspan="3">1 et 2</td><td rowspan="3">Évolution du rendement</td><td rowspan="3">Pourcentage de familles concernées par l'amélioration du rendement dans la zone du projet ; surface concernée par l'évolution du rendement dans de nouvelles zones</td></tr><tr><td>2</td></tr><tr><td>3</td></tr><tr><td>4</td><td rowspan="2">Impacts 2 : accroissement de la biodiversité au champ</td><td rowspan="2">Environnement, ressources naturelles et biodiversité</td><td rowspan="2">1 seulement</td><td rowspan="2">Accroissement du nombre d'espèces dans les champs</td><td rowspan="2">Nombre de paysans concernés par l'accroissement du nombre d'espèces</td></tr><tr><td>5</td></tr><tr><td>6</td><td rowspan="3">Impacts 3 : nouvelle politique publique sur la biodiversité</td><td rowspan="3">Institutions et actions publiques</td><td rowspan="3">2 seulement</td><td rowspan="3">Évolution du financement pour le conseil prenant en compte la biodiversité</td><td rowspan="3">Ratio nombre d'adhérents au conseil prenant en compte la biodiversité / population totale</td></tr><tr><td>7</td></tr><tr><td>8</td></tr></tbody></table>

L'annexe 4 présente des exemples d'indicateurs pour l'étude de cas « Valeur ajoutée des produits de l'agriculture familiale du Brésil à explorer : les indications géographiques de l'État de Santa Catarina ».

## 6.2 Renseigner les indicateurs pour les impacts de 1er et 2e niveaux

Après identification des indicateurs d'intensité et d'ampleur des impacts, les données permettant de les mesurer doivent être recueillies. Plusieurs solutions existent pour renseigner les indicateurs :

- l'indicateur est quantitatif et des bases de données, de statistiques (enquêtes permanentes agricoles, enquêtes sur les conditions de vie des ménages ou budgets de consommation, données de prix des systèmes d'information sur les marchés, données de fourniture de semences d'un centre de recherche agronomique, etc.), mais aussi des rapports fournissant des données, sont disponibles. L'option à privilégier est alors de renseigner l'indicateur à partir de ces sources ;

- l'indicateur est qualitatif, ou quantitatif mais aucune base de données ou de statistiques n'est disponible (ce qui est souvent le cas) :

- la meilleure option – si temps et financement sont disponibles – est que l'équipe mène une enquête pour renseigner l'indicateur sur un échantillon (différentes techniques d'échantillonnage existent, à choisir selon les moyens de l'équipe et le contexte) reflétant la diversité des acteurs impactés (producteurs, entreprises, etc.) (encadré 15) ;

- une autre option – plus réaliste si l'on manque de temps ou d'argent – consiste à conduire des focus groups multi-acteurs ou par catégorie d'acteurs. Les données nécessaires pour estimer la valeur de l'indicateur, qui indique une évolution en valeur absolue ou en pourcentage, seront collectées à dire d'acteurs. Pour les indicateurs que les participants ont du mal à estimer en valeur absolue ou en pourcentage, une note entre – 5 et + 5 peut être attribuée à l'évolution de l'intensité (– 5 correspondant à une évolution négative et très forte, 0 à aucun changement, + 5 à une évolution positive et majeure) ;

- une dernière option est la collecte d'information à partir d'entretiens avec un nombre limité d'experts. Il existe des techniques d'enquête qui permettent d'améliorer la validité des données recueillies de cette manière, notamment en faisant estimer à chaque expert une probabilité sur la donnée qu'il fournit.

Dans cette étape critique de renseignement des indicateurs, deux éléments sont à prendre en considération :

- chaque indicateur vise à mesurer une évolution entre une situation de référence (avant l'innovation) et celle après le développement de l'innovation. Cette évolution peut être estimée en valeur absolue ou en pourcentage. Les acteurs doivent appréhender (ou imaginer quand le processus d'innovation a
démarré il y a longtemps) la situation avant l'innovation. Ils peuvent faire une brève description de cette situation, ce qui aide à analyser les résultats. Sur le terrain, il se peut que les acteurs se réfèrent à la situation de leurs voisins qui n'ont pas été concernés par l'innovation (ce qui correspond à une situation de référence). Au démarrage de certaines études de cas, des données de base caractérisant la situation de départ (situation de référence) auront pu être collectées et pourront aussi aider à évaluer les réponses des participants. Étant donné la difficulté de la mesure pour ce type d'indicateurs d'évolution, il est important de procéder de manière rigoureuse lors des entretiens et des enquêtes, avec un guide d'entretien bien pensé, des questions pertinentes et non biaisées, un processus mené impartialement ;
- lorsque la collecte d'information se fait à dire d'acteurs, les réponses peuvent être différentes suivant le type d'acteurs. Par exemple, suite à l'introduction d'une nouvelle variété de sorgho, un producteur pourra estimer que son augmentation de revenu est faible, alors que les techniciens peuvent considérer l'inverse. Dans certains cas, il est possible que les réponses des acteurs convergent vers un consensus en favorisant les échanges de points de vue. Dans d'autres cas, les réponses peuvent diverger. Il est alors possible, et si cela est jugé nécessaire, de présenter la diversité des réponses suivant le type d'acteurs<fnref n="9" />.

## Encadré 15 : Exemples de collecte de données pour renseigner des indicateurs

Dans le cas de l'étude sur la gestion innovante des fumures organiques dans les systèmes agro-pastoraux de l'Ouest du Burkina Faso, une enquête spécifique auprès d'un échantillon d'exploitations a été entreprise afin de mesurer des indicateurs tels que le taux d'adoption de certaines pratiques agricoles, l'évolution des rendements ou l'évolution des revenus.

Dans le cas de l'étude sur le riz pluvial d'altitude (RPA) à Madagascar, il est possible de repérer par télédétection le riz au-dessus d'une certaine altitude. Ce riz sera nécessairement du RPA et l'impact hors des zones ciblées par les projets de recherche (changement d'échelle) pourra être identifié. Mais il se peut

aussi que les variétés aient diffusé en dessous de 1 500 m, et il faudra alors trouver d'autres moyens pour mesurer l'impact (production de semences de base, enquêtes auprès des distributeurs de semences, etc.). Si au sein d'un focus group, les acteurs disent que les nouvelles variétés très productives de sorgho ou de riz pluvial leur ont permis d'augmenter leur rendement de x % et de garder leurs céréales dans les greniers six mois au lieu de trois-quatre habituellement, et que la distribution géographique des nouvelles variétés est par ailleurs connue, une augmentation de production au niveau régional et une ration de sécurisation alimentaire peuvent être calculées.

Le tableau 18, construit à partir de l'exemple fictif précédent, illustre le type de données qu'il faut obtenir pour chaque cas étudié, afin de discuter des impacts avec les acteurs.

<figure><img src="image_32.png" /></figure>

<footnote n="9">9 Pour plus d'informations sur les méthodologies appliquées, voir Sackman (1975) et Listone et Turoff (2002).</footnote>
<table><caption>Tableau 18 : Exemples d'indicateurs pour des impacts 1 et 2.</caption><thead><tr><th>Impact</th><th>Perception / point de vue</th><th>Mesure des indicateurs d'intensité</th><th>Mesure des indicateurs d'ampleur</th><th>Source d'information pour documenter l'indicateur</th></tr></thead><tbody><tr><td rowspan="2">Impact 1 : amélioration du revenu des producteurs</td><td>Des paysans</td><td>I1: évolution du rendement de + 50q / ha<br>I2 : perception des familles sur l'amélioration du bien-être des enfants : + 3 en intensité (suppression des mois de soudure)</td><td>A1 : nombre de paysans concernés par l'augmentation de rendement dans la zone du projet : 20 %<br>A2 : surface concernée par l'évolution du rendement dans de nouvelles zones : 1 000 ha<br>A3 : perception des familles sur l'amélioration du bien-être des enfants : + 3 en ampleur (la plupart des familles sont concernées)</td><td>I1, A1 et A2 : statistiques<br>I2 et A3 : focus group avec des paysans</td></tr><tr><td>Des ONG</td><td>I1 : évolution du rendement de + 50q / ha<br>I2 : perception des ONG sur l'amélioration du bien-être des enfants : + 1 en intensité (d'accord avec la suppression des mois de soudure mais les rations restent déséquilibrées)</td><td>A1 : nombre de paysans concernés par l'augmentation de rendement dans la zone du projet : 20 %<br>A2 : surface concernée par l'évolution du rendement dans de nouvelles zones : 1 000 ha<br>A3 : perception des ONG sur l'amélioration du bien-être des enfants : + 2 en ampleur (un nombre modeste de familles sont concernées)</td><td>I1, A1 et A2 : déjà identifiés avec les statistiques<br>I2 et A3 : focus group avec des ONG</td></tr><tr><td>Impact 2 : accroissement de la biodiversité au champ</td><td>Les paysans et ONG ont le même point de vue</td><td>I3 : accroissement du nombre d'espèces dans les champs : + 2 espèces en moyenne<br>I4 : perception des paysans sur l'évolution du parc arboré : + 2 en intensité (plusieurs espèces nouvelles ont été observées)</td><td>A4 : nombre de paysans concernés par l'accroissement : 50 %<br>A5 : perception des paysans sur l'évolution du parc arboré : + 2 en ampleur (seulement quelques zones concernées)</td><td>I3 et A4 : enquête menée par l'équipe d'évaluation<br>I4 et A5 : Focus group avec des paysans et des ONG</td></tr><tr><td>Impact 3 : nouvelle politique publique sur la biodiversité</td><td>Les paysans, ONG et acteurs publics ont le même point de vue</td><td>I5 : évolution du financement pour le conseil prenant en compte la biodiversité : + 1 million d'euros</td><td>A6 : ratio nombre d'adhérents au conseil prenant en compte la biodiversité / population totale : 1 / 5 000</td><td>I5 : rapport<br>A6 : dire d'expert</td></tr></tbody></table>

Il faut souligner que la méthode ImpresS ne cherche pas à hiérarchiser les impacts entre eux ni à les pondérer en fonction de leur importance perçue par le chercheur ou par les acteurs. Il existe cependant des méthodes qui permettent une hiérarchisation et une pondération des impacts ; elles demandent plus de temps. Il est également possible de rendre compte de la diversité des points de vue des acteurs sur les impacts par rapport à cette hiérarchisation et pondération. Ces opérations n'ont cependant de sens que pour des impacts qui sont proches et donc plutôt appartenant au même domaine d'impacts (par exemple, il n'est guère pertinent de chercher à hiérarchiser un impact économique par rapport à un impact sur la santé).

## 6.3 Caractériser le changement d'échelle et la contribution de la recherche

Rappelons que les impacts de 2ᵉ niveau concernent la généralisation des impacts au-delà des premiers utilisateurs qui interagissent directement ou indirectement avec la recherche et ses partenaires de développement. Il s'agit soit d'un changement d'échelle de l'impact, soit d'effets indirects. L'observation des impacts de 2ᵉ niveau se fait dans un pas de temps long. Elle permet d'appréhender également la durabilité des impacts. En effet, un projet peut avoir des impacts importants à court terme à travers la consolidation d'une organisation de producteurs, mais si cette organisation disparaît, les impacts disparaissent. À
l'inverse, le même projet peut avoir peu d'impacts à court terme, mais ses actions de renforcement des capacités peuvent éventuellement permettre à certains acteurs de développer des innovations à fort impact plusieurs années après l'arrêt du projet. De plus, la contribution d'autres facteurs que ceux liés à l'intervention de la recherche ou de projets de développement à la construction des impacts s'accroît pour les impacts de 2ᵉ niveau, ce qui réduit d'autant la possibilité de clairement identifier la contribution de la recherche à ces derniers. Enfin, comme ce type d'impacts est plus difficile à caractériser avec les indicateurs en raison d'une information plus difficile à collecter et souvent moins fiable, il est important de documenter précisément le changement d'échelle.

Le changement d'échelle est généralement complexe et repose sur les mécanismes suivants qu'il est possible de qualifier et d'étudier :

- accroissement du nombre d'acteurs qui innovent, extension géographique : combien de régions dans le pays et de pays sont concernés par l'extension de l'innovation ? Quelles surfaces ? Peut-on quantifier les populations concernées ?

- adhésion et enrôlement de nouveaux acteurs au processus d'innovation : quels sont les nouveaux acteurs / intermédiaires et les nouvelles organisations qui ont été créées pour et/ou qui ont joué un rôle dans le changement d'échelle ? Quelle est l'implication d'organisations de conseil et d'accompagnement, d'entreprises, de structures professionnelles ?

- élaboration de nouveaux mécanismes de coordination entre acteurs : existe-t-il des plateformes, des comités de pilotage, etc. ? Quelles sont les nouvelles règles pour gérer les relations, synergie, compétition, conflits, etc. ?

- modifications du cadre institutionnel : quels sont les acteurs politiques impliqués dans le changement d'échelle ? Quelles sont les nouvelles réglementations, incitations, taxations qui favorisent le changement d'échelle ?

La recherche peut être impliquée ou non dans le processus de changement d'échelle. Ainsi, après avoir travaillé avec les acteurs sur le développement d'une innovation à une échelle géographique réduite, elle peut contribuer au changement institutionnel en participant à des coordinations (plateformes, réseaux professionnels, etc.), ou en éclairant les débats sur les cadres réglementaires ou sur les politiques.

### 6.3.1 La construction d'un radar par domaine d'impacts

Une fois les impacts mesurés par des indicateurs et les changements d'échelle explicités, il est possible de visualiser l'ensemble des domaines d'impacts d'une étude de cas. Cette représentation graphique permet de synthétiser sous une forme simple les résultats obtenus. La méthode proposée par ImpresS (méthode de scoring) utilise le regroupement des impacts suivant les 11 domaines d'impacts préalablement identifiés (cf. partie 2.2). La notation se fait sur la base de tous les indicateurs des différents impacts identifiés par les acteurs (qu'ils soient de niveau 1 ou 2) et qui relèvent d'un même domaine d'impacts.

La construction d'un radar suit les étapes suivantes :

1. Regrouper les impacts de 1er et 2e niveaux par domaine d'impacts ; un impact ne peut se trouver que dans un seul domaine d'impacts ;

2. Classer les indicateurs en deux catégories par domaine d'impacts :

a. indicateurs renseignant l'intensité du changement,

b. indicateurs renseignant l'ampleur du changement ;

3. Construire un tableau avec, pour chaque domaine d'impacts, la liste des impacts, la liste des indicateurs d'intensité et leur valeur respective (issue de l'étude de cas), la liste des indicateurs d'ampleur et leur valeur respective (issue de l'étude de cas) ;

4. Donner une valeur à la qualité des mesures par domaine d'impacts (sur la base de l'avis des porteurs de l'étude de cas) : faible, moyenne ou bonne ;

5. Pour chaque domaine d'impacts, établir une grille d'interprétation qui permette de donner une note finale :

a. de -5 à +5 pour l'intensité du changement,

b. de 0 à +3 pour l'ampleur du changement.
La grille est spécifique à chaque étude de cas afin de s'adapter au contexte. Il s'agit d'un travail à réaliser par l'équipe d'évaluation et qui demande du soin afin d'obtenir une grille explicite et utilisable ;

6. Constituer un panel d'experts (chercheur, technicien, producteur, etc.) pour chaque étude de cas, qui note chaque domaine d'impacts (intensité et ampleur) en tenant compte de la grille d'interprétation. Cela pourra se faire par le regroupement des experts, lors d'un atelier participatif, qui seront invités à produire un consensus sur les notations, ou par voie d'enquête (mail, interview) si le panel d'experts ne peut pas se réunir.

Au final, chaque domaine d'impacts est évalué par deux notes (intensité et ampleur) et associé à une évaluation de la qualité de la mesure. Le tableau 19, qui reprend l'exemple fictif précédemment cité, ré-capitule les informations nécessaires pour permettre aux experts d'attribuer une note.

<table><caption>Tableau 19 : Exemple de scoring d'un domaine d'impacts sur la base de plusieurs indicateurs.</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th colspan="4">Intensité</th><th colspan="4">Ampleur</th></tr><tr><th>Nom de l'indicateur</th><th>Valeur de l'indicateur</th><th>Grille de notation</th><th>Note d'intensité</th><th>Nom de l'indicateur</th><th>Valeur de l'indicateur</th><th>Grille de notation</th><th>Note d'ampleur</th></tr></thead><tbody><tr><td rowspan="2">Domaine d'impacts : revenus des ménages et producteurs</td><td rowspan="2">Impact 1 : amélioration des revenus</td><td>Ind I1 : augmentation du rendement</td><td>+ 50 q / ha</td><td>-5 : les revenus se sont fortement dégradés suite à l'innovation</td><td>+ 3 (qualité bonne)</td><td>Ind A1 : nombre de paysans concernés par l'augmentation de rendement dans la zone du projet</td><td>20 %</td><td>0 : pas concerné</td><td>+ 1 (qualité moyenne)</td></tr><tr><td>Ind I2 : amélioration du bien-être des enfants</td><td>+ 2</td><td>0 : pas de changement dans les revenus</td><td></td><td>Ind A2 : surface concernée par l'évolution du rendement dans de nouvelles zones</td><td>1 000 ha</td><td>+ 1 : 25 % des producteurs sont concernés</td><td>+ 2 : entre 25 et 75 % des producteurs sont concernés</td></tr><tr><td></td><td></td><td></td><td></td><td>+ 5 : les revenus ont fortement augmenté</td><td></td><td>Ind A3 : perception des familles sur l'amélioration du bien-être des enfants</td><td>+ 3</td><td>+ 3 : au moins 75 % de producteurs sont concernés</td><td></td></tr></tbody></table>

Il est ainsi possible de synthétiser graphiquement les notes attribuées aux impacts d'un cas d'étude par un radar mettant en évidence les deux mesures (intensité et ampleur) par domaine d'impacts. Le radar générique dispose de 11 branches figurant les 11 domaines d'impacts. Un système de couleurs regroupe les domaines appartenant à la même dimension reliée à un ODD (objectif de développement durable de l'ONU<fnref n="10" />) particulier. La longueur de la flèche figure l'intensité de chaque domaine d'impacts (échelle de -5 à +5), et son épaisseur l'ampleur du domaine (0 à +3). Un exemple de radar est présenté dans la figure 9. Il faut souligner que si les radars permettent une lecture visuelle facile des différents impacts d'une étude de cas, ils doivent rester strictement un outil graphique spécifique au cas ; il serait dangereux de comparer les notes d'intensité et d'ampleur obtenues dans tel ou tel domaine par différentes études de cas, car la méthode de scoring est une méthode *ad hoc*, ne s'appuyant pas sur une métrique universelle.

<figure><img src="image_33.png" /></figure>

<footnote n="10">10 Parmi les 17 ODD, les activités du Cirad en suivent essentiellement cinq (cf. partie 2.2).</footnote>
<figure><img src="image_34.png" /></figure>

Figure 9 : Radar des impacts pour l'étude de cas « BROCAP, piège à scolytes des baies du caféier en République dominicaine ».

<figure><img src="image_35.png" /></figure>
7

Les différences méthodologiques
pour les études de cas in itinere

..................
La méthodologie ImpresS peut être adaptée aux études de cas in itinere, c'est-à-dire aux études de cas pour lesquels les activités de recherche, et donc le processus d'innovation, sont en cours quand l'évaluation se produit. Si la plupart des actions à mettre en œuvre dans les cinq phases de la méthode sont similaires pour les cas ex post et les cas in itinere, il existe toutefois des différences méthodologiques relatives à ces derniers qui sont soulignées dans ce chapitre.

## 7.1 Les étapes pour les études de cas in itinere

Le tableau 20 présente les différentes étapes de la méthodologie ImpresS pour les études de cas in itinere.

<table><caption>Tableau 20 : Tableau synoptique des phases, objectifs et actions de la méthode ImpresS pour les études de cas in itinere.</caption><thead><tr><td>Phase</td><td>Objectifs</td><td>Actions</td><td>Remarques</td></tr></thead><tbody><tr><td>1-Préparation</td><td>- Délimitation du périmètre du cas (temps, espace, acteurs)<br/>- 1er récit de l'innovation (chercheur)<br/>- 1re hypothèse des impacts espérés (chercheur)</td><td>Temps :<br/>- même date de début que pour les cas ex post<br/>- date de fin = prévision (diverses options possibles)</td><td>Le chercheur part d'une espérance de changement en lien avec une finalité</td></tr><tr><td>2-Confrontation avec les acteurs</td><td>1er atelier participatif :<br/>- validation du récit<br/>- 1re élaboration d'hypothèse des impacts (acteurs)</td><td>- Relever les descripteurs des acteurs permettant d'améliorer le récit initial et de commencer à faire émerger une hypothèse des impacts<br/>- À travers les échanges, identifier les acteurs qui seront réunis en focus groups pour travailler aux changements espérés</td><td>Le récit a clairement deux grandes phases :<br/>- la première est celle des évènements déjà passés (cf. les cas ex post)<br/>- la deuxième est celle des évènements que les acteurs majeurs de l'innovation doivent imaginer</td></tr><tr><td>3-Caractérisation du récit de l'innovation et du chemin de l'impact</td><td>- Collecter des éléments pour améliorer le récit<br/>- Construire un récit futur<br/>- Rassembler les inputs, outputs, les premiers outcomes et impacts espérés avec leurs liens de causalité</td><td>- Construire le récit de l'innovation en analysant le passé et le présent puis construire un récit futur qui s'apparente à de la prospective<br/>- Construire le chemin de l'impact sur la base des outputs et outcomes déjà existants<br/>- Construire deux ou trois scénarios (et le chemin de l'impact correspondant) pour le futur</td><td>Pour les études de cas in itinere, certains outputs et outcomes s'inscrivent dans le futur</td></tr><tr><td>4-Caractérisation des impacts</td><td>- Identifier les descripteurs pour construire les impacts espérés et les indicateurs ;<br/>- Valider les impacts potentiels de 1er et 2e niveaux</td><td>- Élaborer un tableau d'impacts 1 et 2 avec les indicateurs</td><td>Pas de mesure des impacts pour les cas in itinere</td></tr><tr><td>5- Validation des résultats</td><td>2nd atelier participatif : validation des hypothèses et scénarios de chemins de l'impact</td><td></td><td></td></tr></tbody></table>

## 7.2 L'hypothèse des impacts de l'innovation

Pour les études de cas in itinere, il faut élaborer dès le début de l'analyse une hypothèse sur les impacts intentionnels et espérés, et non plus une hypothèse sur des impacts observés comme dans le cas de l'analyse des études de cas ex post.

## 7.3 Le récit de l'innovation

Pour les études de cas in itinere, le récit s'écrit aussi mais il n'est pas achevé comme pour les études de cas ex post. Dans un premier temps, il faut construire un récit à partir des évènements déjà passés (cf. les cas ex post).
ex post). Dans un deuxième temps, il s'agit d'imaginer avec les acteurs majeurs de l'innovation les futurs possibles. Il est difficile de construire ces scénarios à partir d'entretiens. Il est alors proposé d'organiser un ou deux focus groups avec des représentants des acteurs majeurs de l'innovation, mais aussi des individus qui peuvent avoir des visions différentes. Il s'agit de construire une théorie du changement, pour reprendre la terminologie du CGIAR, et donc de répondre aux questions suivantes :

- Que faut-il faire pour atteindre les impacts (qui sont ici des impacts espérés) ?

- Quelles sont les difficultés à résoudre (à différents moments, pour différentes catégories d'acteurs) ?

- Quelles sont les leviers d'action ?

## 7.4 Les liaisons input-output-outcome

Pour les études de cas in itinere, certains outputs et outcomes s'inscrivent dans le futur. Il a été proposé ci-dessus de faire un ou deux ateliers (ou focus groups) avec des acteurs majeurs de l'innovation et des personnes pouvant porter la contradiction pour élaborer des scénarios futurs. Il faut utiliser ces moments pour identifier les produits (outputs) et résultats (outcomes) susceptibles de mener à des impacts espérés à faire émerger. Comme le futur est imprévisible, il serait nécessaire d'établir deux ou trois scénarios qui alimentent une théorie du changement. Les auteurs renvoient aux notes méthodologiques du Cirad sur les études de cas ex ante pour organiser et animer ces ateliers (ou focus groups).

## 7.5 La collecte de descripteurs d'impacts

La collecte des descripteurs peut être plus complexe que dans les études de cas ex post. Il faut faire parler les acteurs en imaginant un changement possible. Quelles seraient les conséquences d'un monde sans maladies (trypanosomiase provoquée par la mouche tsé-tsé, grippe aviaire), sans effluents (gestion des résidus), ou sans la capacité d'identifier les espèces végétales que fournit l'application Pl@ntNet ?

Par exemple, une fine connaissance des stratégies des éleveurs pour gérer la présence de la mouche tsé-tsé (choix des zones de pâturages, choix des reproducteurs, etc.) permet de construire des hypothèses de changements liés à l'éradication de la mouche tsé-tsé et d'animer un débat avec des groupes d'éleveurs.

## 7.6 La phase de mesure

Les études de cas in itinere ne sont pas a priori concernées par les exercices de mesure proposés pour les études de cas ex post quand les impacts ne se sont pas encore matérialisés au niveau des acteurs. Toutefois, il est possible d'utiliser des modèles de simulation lorsque les données le permettent. Ainsi, il a été construit dans le cas d'étude « Éradication des glossines par la technique de l'insecte stérile au Sénégal » une simulation des impacts à 15 ans.

## 7.7 La validation

Élaborer des recommandations tant sur la méthode d'évaluation des impacts que sur la conduite du processus d'innovation qui impliquent les acteurs : ce dernier objectif est particulièrement important pour les études de cas in itinere, car les acteurs engagés avec la recherche attendent que l'évaluation « serve à quelque chose ».

<figure><img src="image_36.png" /></figure>
<figure><img src="image_37.png" /></figure>
8

Les méthodes de collecte
et de traitement des données

....................................
Ce chapitre présente différentes méthodes et différents outils pour collecter et traiter les données pour chaque étude de cas.

L'information à collecter peut l'être en mobilisant différents outils de collecte (entretien, focus group, enquête, etc.). Le choix dans la combinaison des méthodes dépend de chaque cas, en fonction de l'intérêt et de la disponibilité des acteurs, des relations entre acteurs, des moyens disponibles pour l'étude. Le tableau 21 explicite le choix de la méthode à mobiliser pour la collecte de données pour renseigner des indicateurs.

<table><caption>Tableau 21 : Comment choisir les méthodes de collecte de données.</caption><thead><tr><th></th><th>Focus group<br>pluri-acteurs</th><th>Focus group<br>mono-acteurs</th><th>Entretiens et enquêtes<br>individuelles</th></tr></thead><tbody><tr><td>Cas où les acteurs ont l'habitude de se réunir et sont coopératifs</td><td>privilégier cette méthode</td><td></td><td>pour compléter l'information</td></tr><tr><td>Cas où il existe des tensions fortes entre acteurs ou des relations asymétriques fortes</td><td></td><td>privilégier ces méthodes</td><td></td></tr><tr><td>Peu de disponibilité des acteurs</td><td></td><td></td><td>privilégier cette méthode</td></tr><tr><td>Peu de moyens pour mener l'évaluation</td><td>privilégier cette méthode</td><td></td><td></td></tr></tbody></table>

## 8.1 L'entretien

Un entretien semi-directif avec une personne (ou un groupe de personnes) permet de faire s'exprimer l'opinion de la/les personne(s) à travers des questions ouvertes. Certains éléments clés sont à prendre en compte pour développer un guide d'entretien permettant de renseigner le récit de l'innovation, le chemin de l'impact, voire la mesure des impacts. Un tel guide d'entretien :

- repose sur les hypothèses fortes relatives au récit de l'innovation, au chemin de l'impact développées par les porteurs de cas puis amendées lors du premier atelier participatif ;

- s'adresse à une catégorie d'acteurs particulière : il doit donc être adapté à ce type d'acteurs, avec des formulations intelligibles (en particulier si l'entretien se fait via un traducteur) ;

- est un instrument multi-objectifs : il peut et doit permettre d'aborder simultanément plusieurs besoins d'information, c'est-à-dire de compléter le récit de l'innovation, d'éclairer le chemin de l'impact, de caractériser (voire quantifier) l'impact ;

- doit être adapté aux modalités d'entretien : il sera plus développé (plus ambitieux) pour des entretiens avec des individus, et plus simple pour des focus groups.

Au vu des objectifs poursuivis par la méthode ImpresS, un bon guide d'entretien contiendra probablement les trois parties thématiques suivantes (en plus d'une partie identifiant les personnes interviewées) : (i) les rôles joués par les acteurs, (ii) les interactions entre acteurs, et enfin (iii) l'analyse des impacts. Il s'agit de conduire un entretien qui vise à décrire des actions (en insistant sur le pourquoi et le comment) et en les inscrivant dans le temps (que s'est-il passé à telle époque ?). Les questions doivent être formulées de manière à rendre compte des hypothèses déjà existantes sur le récit de l'innovation (dates, étapes, inter-venants), le chemin de l'impact et la nature des impacts.

Comme pour tout entretien semi-directif, l'enquêteur doit savoir utiliser avec souplesse les questions permettant de lancer le dialogue (encadré 16), relancer son interlocuteur le cas échéant, explorer des pistes dévoilées par certaines réponses et incorporer l'information fournie par l'enquête pour formuler de nouvelles questions, etc. (cf. l'excellent site sur les enquêtes qualitatives développé par le Cirad, l'IAMM et Montpellier SupAgro : http://entretiens.iamm.fr/). Une attention spécifique devra être portée aux aspects éthiques que ce type d'interactions comporte, en particulier l'exigence de la restitution des résultats aux personnes enquêtées.
## Encadré 16 : Suggestions de questions pour un entretien

### Questions à l'interviewé sur son rôle propre

- Quel a été votre rôle, ou, si vous en avez joué plus d'un, quels ont été vos rôles dans le processus d'innovation (ou dans certaines étapes du processus identifiées au préalable) ?

- Ce rôle a-t-il changé au cours du temps ? Pourquoi ? À quel(s) moment(s) avez-vous joué quel(s) rôle(s) ?

- Quelles connaissances ou ressources spécifiques avez-vous contribué à fournir au cours du processus d'innovation ? À quel(s) moment(s), sous quelle(s) forme(s) ?

### Questions sur les interactions entre acteurs

- Avec quels autres acteurs avez-vous spécifiquement interagi de manière « significative » au cours de vos activités liées à ce processus, quand et pour quelles raisons ? (listер les différentes interactions)

- Autour de quels objets ces interactions se sont-elles concrétisées ?

- De quelle nature ont été ces interactions ?

- Certaines de ces interactions ont-elles donné lieu à des désaccords / tensions / conflits « significatifs » ?

- Si oui, pourquoi et comment cela a-t-il été résolu ou traité ? Quelles conséquences ces tensions ont-elles eu sur le processus d'innovation ?

- De manière globale : quel a été le résultat (effet) concret de ces interactions sur le processus ?

- En quoi ces interactions ont-elles été significatives de votre point de vue pour développer l'innovation et pour obtenir un impact ?

### Questions sur les impacts (questions à poser si l'on pense que l'acteur enquêté a été impacté par l'innovation ou a un avis autorisé sur l'impact auprès d'autres acteurs. Il faut alors recueillir des descripteurs)

- Quels effets concrets ont eu pour vous la ou les innovations mentionnée(s) ?

- Comment ces effets se manifestent-ils dans votre exploitation (ou organisation ou vie quotidienne) ?

- En quoi ces effets sont-ils importants pour vous ?

- Ces effets sont-ils uniquement positifs pour tous les agriculteurs (autres acteurs) ? Connaissez-vous d'autres acteurs pour lesquels cet impact a pu être différent, négatif peut-être ?

## 8.2 Le focus group

Un focus group est un groupe de discussion (entre 3 et 10 personnes) qui complète / remplace les entretiens et enquêtes individuels afin d'obtenir des informations / des données passant par le crible du groupe : une bonne animation fait remonter une information qui est déjà validée, mais cela peut gommer les avis individuels, cacher les conflits, etc. (encadré 17). Les focus groups ont une composition homogène (mono-acteurs) ou hétérogène (pluri-acteurs) du point de vue du statut social ou de la catégorie professionnelle des participants, en fonction des objectifs recherchés. Un guide d'entretien peut être utilisé dans le cadre d'un focus group. La méthode ImpresS propose de mener plusieurs focus groups : un focus group n'est pas forcément synonyme de coûts élevés, de temps perdu ; c'est une autre façon de mener des enquêtes.

## Encadré 17 : Comment animer un focus group ?

### Principes d'action

1. Prévoir un temps au sein de l'équipe pour identifier / sélectionner les participants.

2. Bien préparer le focus group et avoir un plan B.

3. Penser à la question de la langue et de la traduction.

4. Penser à qui doit animer (éviter d'être juge et partie, mais ce n'est pas toujours possible !).

5. Nécessité d'une bonne introduction du focus group et des règles d'interaction.

6. Bien présenter l'objectif, la structure (phasage) de l'entretien et l'utilisation future des résultats.

7. Un focus group, c'est entre une et deux heures de travail actif, plus les retards, les introductions, les conclusions. Il vaut mieux prévoir plusieurs focus groups qu'un long focus group (limiter ses ambi-tions !).

8. Animer le focus group pour éviter les déviations par rapport à l'objectif, sans biaiser. Il faut être le plus proche possible de l'objectif (identifier les descripteurs, ou hiérarchiser les impacts, ou mesurer les indicateurs, etc.).

9. Faire une restitution en fin de focus group.

### Trucs et astuces

10. Faut-il enregistrer les discussions ? À négocier avec les participants et respecter leur décision.

11. Comment gérer les perturbateurs ? Anticiper !

12. Connaitre les motivations et incitations des participations et y répondre le cas échéant.
## 8.3 L'atelier

Pour atteindre les objectifs des deux ateliers prévus par ImpresS (atelier de démarrage et atelier de validation des résultats), il faut pouvoir regrouper des représentants des acteurs majeurs de l'innovation (recherche, firmes privées, représentants professionnels, etc.), mais aussi des représentants des acteurs qui sont impactés par l'innovation (agriculteurs, entreprises, etc.). Le nombre de personnes présentes doit être compatible avec un travail en groupes (idéalement entre 20 et 30 personnes). Il est important de laisser un certain degré de souplesse afin que les partenaires puissent facilement s'exprimer (encadrés 18 et 19).

Il est également important de réduire le biais de sélection des acteurs lors de l'atelier participatif. Par exemple, au moins un représentant de chacun des acteurs majeurs et impactés par le processus d'innovation peut être invité à participer, même s'il y a des controverses et si ces acteurs ont été négativement affectés. L'atelier se transforme alors en un espace d'analyse participative du processus d'innovation et de ses impacts.

### Encadré 18 : Quelques éléments à prendre en compte pour organiser l'atelier de démarrage

**Avant l'atelier, répondre aux questions suivantes :**

1. Quels sont les objectifs spécifiques à atteindre lors de cet atelier ? (partir de la proposition du guide et affiner / modifier)

2. Quels sont les participants à inviter (pour les différentes catégories d'acteurs) ? Qui les invite et comment ? Quels sont les pièges les plus communs ?

3. Qu'est ce qui peut motiver les participants à participer et à passer du temps sur cet exercice et sur ce chantier ?

4. Quelles conditions (matérielles, contenu, etc.) faut-il créer pour que l'atelier soit productif ? Et vice versa : que faut-il éviter de faire ?

6. Quelle doit être la durée optimale de l'atelier ? Quel est le meilleur lieu pour sa réalisation ? Quel est le nombre optimal de participants à atteindre / à ne pas dépasser ?

7. Faites une proposition précise de programme : grandes sessions collectives, travail en groupes, dynamique à suivre pour chaque session (y compris termes de références clairs pour le travail en groupes).

8. Identifier les facilitateurs de session, les personnes ressources, les matériaux à présenter / à préparer, etc. Qui fait quoi et comment ?

9. Où trouver un facilitateur et quel profil cette personne doit-elle avoir (compétences de différents types : par exemple, méthodes participatives, langue(s), connaissance du cas, connaissances des concepts, etc.) ?

10. Bien distribuer les rôles (membres de l'équipe cas, facilitateur, personnel local) : qui fait quoi et comment ?

11. Penser à la question de la langue des débats (traduction ? S'assurer ainsi que les notions, d'impact notamment, soient bien comprises).

**Pendant l'atelier, veiller à :**

12. S'assurer d'une logistique fluide (accueil, badge, pauses café, repas, matériel de prise de note, etc.).

13. Assurer une bonne facilitation (maintenir les temps établis, comprendre l'humeur des participants etc.).

14. Assurer les conditions d'une confrontation équilibrée des points de vue des participants (identifier les zones de désaccord).

15. Assurer une prise de note effective.

16. Ne pas oublier de faire une petite synthèse, de classifier les prochaines étapes.

**Après l'atelier :**

17. Rédiger un compte-rendu synthétique sur la base des notes le plus vite possible (dans les jours suivants l'atelier) mettant en avant les résultats obtenus sur le récit de l'innovation, les impacts et le chemin de l'impact, et sur les questions et doutes ayant surgi des discussions.

18. Intégrer ces résultats dans la formulation des hypothèses sur le récit de l'innovation, les impacts et le chemin de l'impact, et les prendre en compte pour le développement des guides d'enquête et la collecte de données de différentes sources.

19. Si l'atelier n'a pas permis d'obtenir les résultats escomptés : comprendre pourquoi et développer un plan B basé sur des entretiens individuels ou des focus groups.

Quelques ressources en ligne utiles pour organiser cette activité :

http://www.kstoolkit.org/La+facilitation+de+groupe

https://www.shareweb.ch/site/Learning-and-Networking/home-sdc-km-tools/designing-an-event

http://betterevaluation.org/en/plan/approach/participatory_evaluatio

http://ctb.ku.edu/en/table-of-contents/leadership/group-facilitation/facilitation-skills/main
## Objectifs de l'atelier de lancement participatif

L'équipe d'évaluation du cas « Valeur ajoutée des produits de l'agriculture familiale du Brésil à explorer : les indications géographiques de l'État de Santa Catarina », disposant d'un récit de l'innovation et d'une hypothèse sur le chemin de l'impact, mène l'atelier de lancement participatif avec l'objectif d'élargir le cercle de validation de l'hypothèse du chemin de l'impact parmi les acteurs principaux de l'innovation.

Les objectifs spécifiques de l'atelier sont de :

- présenter les objectifs et la méthode,

- discuter un premier récit,

- recueillir l'expression des impacts auprès des acteurs (descripteurs),

- améliorer les premières hypothèses d'impacts.

À la fin de l'atelier, le chemin de l'impact est reconstruit, partagé, validé par les représentants des acteurs principaux de l'innovation (les producteurs organisés en association, les chercheurs et les autres intervenants – conseillers, formateurs, élus, organisations paysannes, etc.).

## Étapes préparatoires

L'équipe cas se rapproche du président de l'association et de deux de ses membres. Ensemble, ils optent pour un atelier en deux temps : (i) un travail sur le récit de l'innovation, (ii) des travaux de groupes (par catégorie d'acteurs) sur les changements perçus. L'invitation est lancée auprès des associés et différents acteurs du territoire. L'atelier s'appelle « Rétrospectives de 2004 à 2015 des Vales da Uva Goethe : les changements après l'indication géographique ».

Avant l'atelier, l'équipe cas, le président et les membres de l'association invitent les principaux représentants de la recherche et du développement (UFSC, Sebrae, Epagri), à qui ils présentent en détail les objectifs de la méthode ImpresS et les résultats attendus.

## Déroulement de l'atelier

L'atelier participatif se déroule le 2 juin 2016 dans les locaux de l'association Progoethe, avec une introduction officielle par les représentants de l'Epagri et de l'association Progoethe. L'atelier compte une treintaine de participants : producteurs de raisins et vins, représentants d'associations culturelles, agences de tourisme, représentants des préfectures, acteurs de la recherche et du développement et membres d'universités.

L'équipe cas décide ne pas parler de chemin de l'impact dans ce premier atelier pour ne pas risquer de rebuter avec un concept trop abstrait. La première dynamique de travail consiste donc à raconter l'histoire de l'innovation et des projets et de la représenter sur une ligne du temps exposée au mur. Au fur et à mesure de la présentation, les acteurs complètent, commentent, corrigent. À la fin, le récit est complet. Les participants réalisent alors la richesse du chemin parcouru. Ce constat positif permet d'engager le travail de groupes dans une ambiance positive.

Pour le deuxième temps, les acteurs réunis par catégorie (producteurs, caves, tourisme, représentant des services publics et recherche) identifient des descripteurs sur des fiches cartonnées. Chaque descripteur (fiche) est ensuite discuté en plénière et classé en fonction de son domaine (économique, social, etc.) et de son intensité.

Une fois la totalité des fiches présentées, les animateurs proposent aux participants d'identifier les indicateurs pour renseigner ces descripteurs. Un dernier exercice proposé dans cet atelier est de signaler d'une pastille rouge les changements qui paraissent les plus importants.

En fin d'atelier, les animateurs prennent le temps d'écouter et d'enregistrer les difficultés que connaît actuellement l'association.

## 8.4 Les enquêtes individuelles

Dans certains cas, il est nécessaire de mener des enquêtes individuelles à partir de questionnaires fermés (réponse chiffrée, réponse dans une liste de choix, etc.). Ce questionnaire peut être administré par un enquêteur ou auto-administré. Dans le cas le plus classique, l'enquêteur est dans une relation de face à face où il pose les questions et note les réponses. Cela requiert certaines qualités de sa part ; idéalement, il doit pouvoir convaincre les enquêtés de l'intérêt de l'enquête, être doté de bonnes facultés sociales, d'écoute et de communication, et éventuellement avoir reçu une formation pour mener à bien ce rôle.

Différentes techniques sont possibles pour choisir les personnes à enquêter<fnref n="11" /> :

- l'échantillonnage probabiliste, qui consiste à procéder à un tirage au sort à partir de la liste exhaustive de toute la population ciblée ;

<footnote>*organisé dans le cadre de l'étude de cas « Valeur ajoutée des produits de l'agriculture familiale du Brésil à explorer : les indications géographiques de l'État de Santa Catarina » en 2015-2016</footnote>

<footnote n="11">11 Voir aussi : www.cairn.info/revue-d-economie-du-developpement-2012-4-page-27.html ; http://pagesped.cahuntsic.ca/sc_sociales/psy/methosite/consignes/echantillon.htm.</footnote>