Evaluation de dispositifs de recherche participative : CO3 comme cas d'école
Acronyme : Co-EVAL-CO3
Programme : Évaluation du dispositif expérimental CO3, Co-Construction des Connaissances pour une transition écologique et solidaire
Mots-clés : Autres
Contexte : L'ADEME a initié un appel à manifestation d'intérêt portant sur l'évaluation d'un dispositif expérimental de recherche participative en prenant le Dispositif CO3 comme cas d'école. Lancé d'octobre à novembre 2024, les répondants n'ont apporté que des réponses parcellaires, centrées sur la dimensions évaluation des impacts des projets de recherche et non sur celle du programme de recherche à proprement parlé. Sur recommandation du comité d'évaluation externe mis en place et en concertation avec les équipes sélectionnées, il a été décidé d'une phase de de co-construction d'une proposition intégrative répondant aux deux échelles de l'évaluation : programme et projets. C'est cette proposition est le fruit de travail collectif de 2 équipes de recherche portées par le CIRAD (financé par agropolis Fondation) et l'ICP GREUS soutenue par l'ADEME. Les règles de collaboration entre ADEME et Agropolis Fondation font l'objet d'un accord de partenariat. Le Dispositif CO3, lancé en 2017 par l’ADEME, Agroplis Fondation, la Fondation Charles Léopold Meyer pour le Progrés de l’Homme, la Fondation Daniel et Nina Carasso et la Fondation de France, avec un appui technique de Sciences Citoyennes, est un programme soutenant la recherche participative pour la transition écologique et solidaire (TES). Avec 44 projets financés pour 3,3 M€, il favorise la co-construction des connaissances et la collaboration entre chercheurs et société civile. Co-Eval-CO3, porté par 2 équipes composées d’établissements de recherche et d’organisations du tiers-secteur, propose de mobiliser 2 méthodes complémentaires afin d’évaluer les impacts générés par le Dispositif CO3 et son utilité sociale en termes de TES. ImpresS ex post est une méthode participative que le CIRAD adapte pour évaluer les spécificités du programme CO3 et ses effets sur les projets soutenus ; puis pour évaluer les changements et impacts générés par ces projets en termes de TES. L’Institut Catholique de Paris (ICP), quant à lui, adopte une perspective socio-anthropologique pour identifier et mesurer l’utilité sociale des projets. Sa méthodologie, développée par le Groupe de Recherche-action sur l’Evaluation de l’Utilité Sociale (GRÉUS), est fondée sur la dimension relationnelle du vivant.
Description : Le projet d’évaluation s’articule en 4 phases, développées en work packages (WP) présentées plus en détails ci-après : - WP1 : Mise en synergie des approches méthodologiques - WP2 : Analyse des spécificités du programme (structuration, mécanismes et processus, outils et ressources, activités) et de ses effets sur les projets de recherche soutenus - WP3 : Evaluation de l’utilité sociale du programme et de ses impacts en termes de transition écologique et solidaire, sur la base des deux méthodologies proposées - WP4 : Intégration des résultats de recherche et développement d’un dispositif général d’évaluation pouvant être appliqué aux programmes de soutien à la recherche participative au service de la transition écologique et solidaire ● Gouvernance et coordination La gouvernance et la coordination entre les 2 équipes reposeront sur : - des points d’étape bi-mensuels, où participeront une personne de l’équipe Cirad et une de l’équipe ICP/GRÉUS, visant à faire le point sur le déroulement de l’évaluation. - des réunions de travail entre les deux équipes, visant à produire les différents livrables, au gré du déroulement des WP. Les WP1, 2 et 4 seront réalisés conjointement. Le WP3 comprendra plusieurs temps de mise en commun des travaux. Les chercheuses de chaque équipe participeront ponctuellement aux activités de l’autre équipe notamment lors d’ateliers avec les parties prenantes. - des points trimestriels opérationnels en visioconférence avec le comité de suivi composé de membres intéressés du comité d’évaluation, du CoSP et du CoPil du Dispositif CO3 pour présenter l’état d’avancement des travaux chemin faisant. - trois temps forts, où le travail déjà réalisé sera présenté : o séminaire 1 d‘une journée (février 2026), avec les membres du comité de suivie élargies le cas échéant à quelques personnalités intéressées : L’objectif est de présenter les résultats et valider les hypothèses issues du WP2 et de faire valider le protocole méthodologique qui débutera dans le WP3 o séminaire 2 d‘une journée (septembre 2026), avec le comité de suivi : l’objectif sera de présenter les résultats du WP3 (même s’ils ne seront pas totalement finalisés) et de planifier le travail du WP4 (mise en commun, écriture du rapport final). Ce séminaire permettra notamment de discuter du format du rapport final attendu et de préciser la répartition du travail entre les 2 équipes o séminaire final (en décembre 2026, ouvert à un public plus large - porteurs de projet, tiers veilleurs par exemple, collectivités territoriales, ESR et TSR…) : pour présenter les résultats de l’évaluation. Les séminaires seront associés à une journée de travail interne aux deux équipes d’évaluation, afin d’intégrer les recommandations faites lors du séminaire dans la suite des activités. WP1 – Mise en synergie des approches théoriques et méthodologiques des 2 équipes Ce travail a déjà été initié depuis janvier 2025, durant la phase de co-construction ayant permis l’écriture de cette proposition commune. Ces premiers échanges seront poursuivis afin d’affiner les points de similarité et complémentarité proposés plus haut. WP2 – Analyse documentaire préalable pour poser des hypothèses sur les spécificités du programme, son utilité sociale et ses impacts Cette phase d’analyse de la documentation existante sera menée conjointement par les 2 équipe d’évaluation. Elle visera à poser des hypothèses sur (1) les ambitions du programme CO3, les ressources mobilisées, et le dispositif et activités déployés pour soutenir les projets de recherche participative ; (2) puis la manière dont ce dispositif et ces activités ont engendré des changements, au niveau des acteurs du programme, et sur la nature et les activités des projets de recherche sélectionnés (type de partenaires, thématiques, modalités de recherche participatives, etc.). Le projet prêtera une attention particulière aux spécificités du programme CO3 par rapport à d’autres types de programme de soutien à la recherche, et aux effets de ces spécificités sur la nature et les activités des projets. Cette phase reposera sur l’analyse des documents disponibles sur le programme et les projets. L’analyse de la documentation s’appuiera sur un cadre d’analyse, construit par les 2 équipes, et synthétisant les différents types d’information recherchée (par ex : ambitions du programme ; historique de création et mise en œuvre ; gouvernance ; dispositif pour identifier, évaluer, suivre et accompagner les projets ; ingénierie de financements ; apprentissages et changements générés pour les acteurs du programme et des projets etc). Un premier séminaire intermédiaire permettra de : i) échanger avec les membres intéressés du comité de suivi, élargis le cas échéants à quelques personnalités pertinentes, sur les résultats du WP2 et des activités prévues pour le WP3. ii) préparer le WP3 (partie du séminaire interne aux 2 équipes) Selon le calendrier proposé, ce premier séminaire pourrait avoir lieu en février 2026 (date à préciser selon les attentes du CoPil de CO3 et du Comité de suivi). WP3 – Validation empirique des hypothèses pour l’évaluation de l’utilité sociale du programme CO3 et de ses impacts en termes de transition écologique et solidaire Cette phase vise à valider les hypothèses issues de l’analyse documentaire sur la base d’entretiens, de Photovoice et d’ateliers participatifs afin de finaliser l’évaluation de l’utilité du programme CO3 et de ses impacts en termes de transition écologique. Deux méthodologies seront déployées de manière parallèle par chacune des équipes, avec plusieurs moments d’échanges pour discuter des premiers résultats au cours de cette phase. L’équipe Cirad visera à affiner le chemin d’impact du programme CO3 en termes de TES (cf Figure 1). S’en suivra ensuite un travail de quantification de la mesure et de l’intensité des impacts. Pour l’équipe ICP GREUS il s’agira, à partir des résultats obtenus en WP1 et WP2 d’approfondir l’analyse documentaire sur quelques projets et d’organiser des ateliers, avec des acteurs et actrices du programme et des projets afin de préciser la valeur créée par l’ensemble du dispositif. Sur la base de ce travail, des critères et indicateurs seront définis pour mesurer la valeur identifiée. Ils seront renseignés via une analyse de dossiers complémentaires et la passation de questionnaires. Les détails méthodologiques des approches de chaque équipe, puis les activités prévues pour les articuler, et les livrables attendus à l’issue du WP3 sont plus précisément décrit dans le volet technique. WP3.1 - Evaluation Cirad : co-construction d’un chemin d’impact du programme et de 3 projets et mesure de l’impact Le chemin d’impact au niveau programme issu du WP2 sera affiné et complémenté grâce à de la collecte de données auprès de 3 ou 4 projets de recherche participative soutenus par CO3. Les principaux objectifs seront de valider les hypothèses issues du WP2 sur : - les spécificités du programme CO3, son dispositif et ses activités et ses effets sur la nature, les thématiques et les activités du projet - les changements et impacts générés par le programme et les projets en termes de TES. Les résultats seront ensuite analysés pour produire une monographie pour chaque cas d’étude, comprenant le chemin d’impact du programme et ses effets sur chaque projet. Puis les résultats des 3 cas seront combinés pour produire un unique chemin d’impact consolidé du programme et les changements induits à différents niveaux. Choix des études de cas Le projet sera ciblé sur 3 ou 4 cas de projets émergents et/ou consolidés de type 1 (initiatives citoyennes) et de type 2 (Partenariat avec des professionnels) ayant pour ambition de contribuer à des changements au niveau des territoires. WP 3.2 - Evaluation ICP/GREUS/IFMA, suivant une approche socio-anthropologique Le travail sera réalisé en deux phases. Pour chacune d’elle, il sera proposé un travail sur le matériau documentaire disponible (qui viendra compléter le travail réalisé en WP1 et WP2), et un travail de collecte ad hoc via des ateliers et des questionnaires. Phase 1 : Identifier l’utilité sociale conjointe du programme et de ses projets L’analyse du matériau sera approfondie sur le programme CO3 collecté en WP1 sur quelques dossiers (3 à 5). Pour cette nouvelle l’analyse documentaire, sera utilisé la relecture sur le mode de « l’attention flottante » (Dumez 2016 a) et la narration ou description comme étagement ordonné de "voir comme" » (H Dumez, 2016 b). Ce travail sera complété par l'organisation de 4 des ateliers en visioconférence ou présentiel. De l’étude approfondie de quelques projets, et d’ateliers en visio-conférence/présentiel avec des parties prenantes de projets), complétée par l’étude documentaire et en s’appuyant sur des références théoriques, il sera dégagé des critères qui constitueront un panorama de l’utilité sociale du programme et de ses projets. Il mettra en avant la singularité du programme, générée par la recherche participative. Phase 2 : Mesurer l’impact social du programme et de ses projets L’objectif de cette phase est de quantifier les impacts identifiés dans la phase précédente. Sur la base des critères constituant le panorama de l’utilité sociale précédemment défini, des indicateurs seront construits. Ils seront renseignés avec des données collectées dans les rapports d’évaluation d’autres projets CO3 (à travers des outils de codage via des applications comme NVIVO) et/ou via un questionnaire envoyé à l’ensemble des acteur.trice.s du programme et des projets. WP 3.3- Articulation entre les évaluations et livrables Des échanges entre les 2 équipes sont prévus tout au long de ce WP pour comparer les résultats de chaque équipe, dans le but de proposer une évaluation conjointe des impacts du programme CO3 (finalisée dans le WP4). WP4 - Intégration des résultats et création d’un dispositif général d’évaluation pouvant être appliqué aux programmes de soutien à la recherche participative au service de la transition écologique et sociale Cette dernière phase permettra de finaliser le rapport d’évaluation commun des impacts du programme CO3 - et de formaliser un cadre méthodologique pour évaluer les impacts d’un programme similaire. WP4.1 – Élaboration conjointe d’un dispositif général d’évaluation pour les programmes de soutien à la recherche participative et rédaction du rapport final d’évaluation Les résultats du WP2 et du WP3 seront conjointement analysés. Sur cette base, il sera élaboré un dispositif général d’évaluation des impacts d’un programme de soutien à la recherche participative. WP4.2 – Communication sur l’évaluation auprès de différents publics, notamment valorisation scientifique La réalisation de l’évaluation donnera lieu à des échanges réguliers avec les commanditaires notamment lors des trois séminaires prévus. Il est prévu également de valoriser scientifiquement les résultats de l’évaluation par : - la participation à une conférence (European Evaluation Society en novembre 2026 ou FTVAL, à Vienne), - l’écriture d’un article scientifique. Un des enjeux de l’évaluation étant de démontrer à une diversité d’acteurs (et plus spécifiquement des bailleurs) l’utilité et les impacts d’un programme de soutien à la recherche participative, il sera développé un policy brief synthétisant les résultats de l’évaluation et d’inviter ces acteurs à un séminaire de présentation des résultats finaux de l’évaluation.
Objectifs et résultats attendus : Résultats attendus par WP : WP1 : La phase d'interconnaissance débouchera sur la production de 2 résultats et 1 Rendu : - Résultat 1 : glossaire présentant les définitions que chacune des méthodes mobilise sur différents concepts (ex : impact sociétal ; utilité sociale ; contexte ; changement ; environnement ; récit etc.) - Résultat 2 : une bibliographie partagée sur l’évaluation des impacts sociétaux et de l’utilité sociale de la recherche participative visant la transition écologique et solidaire - Rendu 1 : note synthétisant les points de similarité et complémentarité entre les approches WP2 : La mise en commun des résultats d'analyse documentaire des 2 équipes permettra de produire : - Rendu 2 : une note, comprenant notamment : - La cartographie des activités, - La cartographie des acteurs au niveau programme, - Le récit de l’innovation, détaillant notamment les spécificités du programme. Ce récit est le narratif de l’innovation, donc de l’ensemble des acteurs majeurs de l’innovation. Il présente la “vision du monde sous-jacente” du programme et considère les grandes phases de l’histoire de l’innovation avec ses avancées, ses crises, les facteurs extérieurs qui influencent l’innovation. Il s’agit de recenser et dater « ce qui s’est passé », depuis les prémices du processus d’innovation jusqu’à la période actuelle. - Le chemin d’impact (cadre gris de la figure) retraçant les ressources, produits et effets du programme à différents niveaux (acteurs du programme et projets). Ces éléments seront complété d'un compte rendu du 1er séminaire, articulation entre le WP2 et WP3 devant faire l'objet dune discussion avec la comité de suivi (prolongement du comité d'évaluation mis en place pour l'AMI) et le comité de pilotage du Dispositif CO3. Ce compte-rendu constituera le Rendu 3. WP3 : Les travaux du WP3 donneront lieu à la production d’un Rendu par équipe : - Rendu 4.1 : Rapport de l’équipe ICP/GREUS : rapport sur l’évaluation de l’utilité sociale du programme et mesure de ses impacts, avec une attention privilégiée sur le “commun” créé en termes de connaissance, des espaces de travail partagé, et d’articulation entre le vivant humain et le vivant non-humain. - Rendu 4.2 : Rapport de l’équipe ImpresS : rapport d’évaluation présentant le récit de l’innovation et le chemin d’impact consolidés au niveau programme et projet, la cartographie d’acteurs et les radars de mesure des changements et impacts. Un 2è séminaire, qui pourrait se tenir en septembre 2026, permettra de : - Comparer les résultats des évaluations menés par chaque équipe - Elaborer une stratégie de rédaction du rapport final et le développement d’un cadre méthodologique pour l’évaluation des impacts d’un programme de soutien à la recherche participative - Échanger avec le comité de suivi sur ces éléments. WP4 : Dans le WP4, le Rendu suivant sera produit : - Rendu 5 : Rapport tirant les principaux éléments d’évaluation du programme et des projets CO3 et incluant le dispositif général d’évaluation pouvant être appliqué aux programmes de soutien à la recherche participative au service de la transition écologique et sociale. Le rapport final comprendra également des recommandations à destination des décideurs et financeurs publics et privés de projets de recherche participative au sens large (MESR, ANR, Conseils régionaux, caisses d’allocations familiales, fondations, etc.) ainsi que des organisations mettant en œuvre ces projets. Un séminaire final sera organisé pour présenter les résultats finaux de l’évaluation.
Bénéficiaire : GREUS - GROUPE DE RECHERCHE ACTION SUR L'EVALUATION DE L'UTILITE SOCIALE
Localisation : Bretagne, Bretagne, FRANCE
Début : 01/01/2025 — Durée : 24 mois
Budget total : 154260 € — Aide ADEME : 131860 €
Statut : Suivi du projet