# Évaluer les interventions de prevention et de promotion de la santé: étude de cas de l'évaluation du dispositif Pass'Sport Santé

Bérénice Dagot

► To cite this version:

Bérénice Dagot. Évaluer les interventions de prevention et de promotion de la santé: étude de cas de l'évaluation du dispositif Pass'Sport Santé. Education. 2025. dumas-05413605

HAL Id: dumas-05413605

https://dumas.ccsd.cnrs.fr/dumas-05413605v1

Submitted on 12 Dec 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution - ShareAlike 4.0 International License
Master 2 Sciences de l'Education
Parcours Promotion et Education pour la Santé
Année universitaire 2024-2025

MEMOIRE

EVALUER LES INTERVENTIONS DE
PREVENTION ET DE PROMOTION DE LA SANTE

*Etude de cas de l'évaluation d'impact du dispositif Pass'Sport Santé*

Nom de naissance : DAGOT

Prénom : Bérénice

Sous la direction de : Monsieur SIMEONE Arnaud

Etablissement de rattachement : Université Lumière Lyon II - ISPEF

<figure><img src="image_2.png" /></figure>

Avec clause de confidentialité

<figure><img src="image_3.png" /></figure>

Sans clause de confidentialité
Résumé

Dans le champ de la Prévention et de la Promotion de la Santé (PPS), l'évaluation fait l'objet de toutes les ambivalences. Si son intérêt est reconnu et son utilisation encouragée, voire imposée, l'état des pratiques révèle des usages lacunaires et déficitaires. Loin d'être dénuée de sens, l'analyse de cette dialectique souligne en quoi les interventions de PPS, par leur caractère multidimensionnel, multiniveaux et multipartite – en somme, complexe – peinent à s'engager dans des processus d'évaluation adaptés et rigoureux.

Afin d'interroger les conditions d'une évaluation rigoureuse des interventions de PPS, ce travail se fonde sur l'étude du protocole d'évaluation d'impact sur trois ans du dispositif *Pass 'Sport Santé*, mis en place au sein de la Direction de la Santé Publique de la Mairie de Villeurbanne.

S'appuyant sur les enseignements de la littérature et sur les prescriptions de modèles éprouvés – cadre du CDC et modèle RE-AIM –, la mise en œuvre de cette mission a été appréhendée dans un souci de faisabilité, au travers d'une démarche concertée, d'une approche systémique et d'une méthodologie mixte.

Ce travail met en évidence les tensions entre rigueur scientifique, exigences institutionnelles et contraintes structurelles. Il montre l'intérêt d'un cadrage partagé et concerté dès l'initiative de la démarche. Il souligne également l'importance et les conditions du recours aux apports théoriques et empiriques dans la recherche d'une flexibilité méthodologique.

Enfin, la discussion des résultats obtenus démontre qu'une évaluation ne saurait être rigoureuse et efficace sans être pensée comme un processus continu et intégré à l'ingénierie de projet. Elle souligne l'importance, pour les opérateurs, les décideurs et les financeurs, de mettre en œuvre des stratégies garantissant les compétences et les ressources nécessaires à sa réalisation, et met en lumière l'impératif de réflexivité quant aux objectifs et aux enjeux qui sous-tendent toute démarche évaluative.

**Mots-clés** : évaluation, promotion santé, prévention, obésité infantile, santé publique.
In the field of Prevention and Health Promotion (PPS), evaluation is the subject of much ambivalence. While its value is recognized and its use encouraged, even imposed, current practices reveal gaps and shortcomings. Far from being meaningless, analysis of this dialectic highlights how HPP interventions, due to their multidimensional, multilevel, and multiparty nature—in short, their complexity—struggle to engage in appropriate and rigorous evaluation processes.

In order to examine the conditions for a rigorous evaluation of PPS interventions, this work is based on a study of the three-year impact assessment protocol for the *Pass'Sport Santé* program, set up within the Public Health Department of the City of Villeurbanne.

Drawing on lessons from the literature and the prescriptions of proven models – the CDC framework and the RE-AIM model – this mission was carried out with a view to feasibility, through a concerted approach, a systemic approach, and a mixed methodology.

This work highlights the tensions between scientific rigor, institutional requirements, and structural constraints. It shows the value of a shared and concerted framework from the outset of the initiative. It also emphasizes the importance and conditions of using theoretical and empirical contributions in the search for methodological flexibility.

Finally, the discussion of the results obtained demonstrates that an evaluation cannot be rigorous and effective without being conceived as a continuous process integrated into project engineering. It highlights the importance for operators, decision-makers, and funders to implement strategies that guarantee the skills and resources necessary for its implementation, and highlights the imperative of reflexivity with regard to the objectives and issues underlying any evaluation process.

**Keywords** : assessment, health promotion, prevention, childhood obesity, public health.
Remerciements

Si ce travail est le fruit de plusieurs mois de recherches et d'écriture personnelles, il est
avant tout l'aboutissement d'un travail collectif. A ce titre, je souhaite remercier toutes les
personnes qui ont contribué à l'élaboration de ce mémoire, et notamment :

Monsieur Arnaud Simeone, Maître de Conférences en Sciences de l'Education à l'Université
Lumière Lyon II, pour son soutien et son accompagnement tout au long de ce travail.

L'ensemble de l'équipe pédagogique du Master 2 « Promotion et Education pour la Santé » de l'Institut des Sciences et des Pratiques d'Education et de Formation (ISPEF) qui a su transmettre avec rigueur et bienveillance, des savoirs et des compétences précieuses pour ce travail.

Mon tuteur de stage, le Directeur adjoint de la Direction de la Santé Publique (DSP) de la Mairie de Villeurbanne, pour sa présence, ses conseils et son accompagnement sans pareil dans le cadre de mon stage.

La Directrice de la DSP, pour m'avoir fait confiance, de mon intégration dans la Direction jusqu'à la fin de mes missions.

La Cheffe de projets Promotion Santé à la DSP qui m'a nourrie de son expérience, de sa générosité, et de son goût pour la transmission tout au long de l'élaboration de ce projet.

L'ensemble de l'équipe de la DSP, des services de la Ville et des partenaires qui, au travers du partage d'expériences, m'ont permis d'enrichir ce travail.

Les équipes de Promotion Santé Auvergne-Rhône-Alpes et de l'Observatoire Régional de Santé Auvergne-Rhône-Alpes qui m'ont soutenue dans le développement opérationnel du projet et m'ont apporté l'expertise et le recul nécessaires.

Nicolas, Pauline et Nicole pour leur relecture rigoureuse et éclairée.

L'ensemble de mes proches, camarades de promotion et collègues qui m'ont encouragée dans ce processus. Je remercie plus particulièrement : Raphaël, Sylvette, Justin, Clara, Pietro, Anne, Laure, Mélanie, Paul, Anicette, Banafcheh, Pauline et Laurence.

Enfin, une pensée très particulière pour mon père, Maurice, qui aurait pris un plaisir certain à lire entre les lignes.
Sommaire

<table><tr><td>Résumé</td><td>1</td></tr><tr><td>Remerciements</td><td>3</td></tr><tr><td>Sommaire</td><td>4</td></tr><tr><td>Liste des sigles et des abréviations</td><td>6</td></tr><tr><td>Introduction</td><td>7</td></tr><tr><td>I. Cadrage contextuel</td><td>10</td></tr><tr><td>1.1. De la nécessité de saisir la complexité du concept d'évaluation</td><td>10</td></tr><tr><td>1.1.1. Eléments historiques de l'évaluation</td><td>10</td></tr><tr><td>1.1.2. Fondements théoriques de l'évaluation</td><td>13</td></tr><tr><td>1.1.3. Les différents types d'évaluation</td><td>18</td></tr><tr><td>1.2. L'évaluation dans le champ de la prévention et de la promotion de la santé</td><td>20</td></tr><tr><td>1.2.1. Enjeux et défis spécifiques</td><td>21</td></tr><tr><td>1.2.2. État des lieux des pratiques et des recommandations</td><td>23</td></tr><tr><td>II. Cadre conceptuel</td><td>28</td></tr><tr><td>2.1. De la nécessité de guider l'évaluation</td><td>28</td></tr><tr><td>2.2. Les principaux modèles d'évaluation</td><td>29</td></tr><tr><td>2.2.1. Le modèle PRECEED/PROCEDE : une structure globale et théoriquement robuste</td><td>29</td></tr><tr><td>2.2.2. Le modèle RE-AIM : un cadre multidimensionnel et pragmatique</td><td>31</td></tr><tr><td>2.2.3. La cadre du Centers for Disease and Control and prevention (CDC) : une construction logique de l'évaluation</td><td>33</td></tr><tr><td>2.2.4. Le cadre PREFFI 2.0. : un outil opérationnel de planification et d'amélioration continue</td><td>36</td></tr><tr><td>III. Méthodologie</td><td>39</td></tr><tr><td>3.1. Les préalables à la construction d'une méthodologie rigoureuse : la phase préparatoire</td><td>39</td></tr><tr><td>3.1.1 Cadrage de la commande et définition des objectifs</td><td>40</td></tr><tr><td>3.1.2. Cartographie des parties prenantes et définition de la gouvernance</td><td>40</td></tr><tr><td>3.1.3. Elaboration d'un corpus de ressources</td><td>41</td></tr><tr><td>3.2. Elaboration de la méthodologie d'évaluation</td><td>42</td></tr><tr><td>3.2.1. Description des mécanismes et cibles du programme : le cadre logique</td><td>42</td></tr><tr><td>3.2.2. Elaboration du modèle d'évaluation</td><td>43</td></tr><tr><td>3.2.3. Planification opérationnelle</td><td>46</td></tr></table>
<table><tr><td>IV. Résultats</td><td>48</td></tr><tr><td>4.1. Le document de cadrage</td><td>48</td></tr><tr><td>4.1.1. Des orientations générales aux enjeux implicites de l'évaluation</td><td>48</td></tr><tr><td>4.1.2. Mettre en cohérence attentes, ressources, et lever les contraintes</td><td>49</td></tr><tr><td>4.1.3. La description du programme</td><td>52</td></tr><tr><td>4.1.4. Définition des objectifs</td><td>56</td></tr><tr><td>4.2. La note méthodologique</td><td>57</td></tr><tr><td>4.2.1. Définition des critères d'inclusion et des modalités de suivi</td><td>57</td></tr><tr><td>4.2.2. La matrice d'évaluation</td><td>58</td></tr><tr><td>4.2.3. Recueil et analyse des données</td><td>63</td></tr><tr><td>4.2.4. Anticipation des biais</td><td>63</td></tr><tr><td>4.3. Les outils de mesure</td><td>64</td></tr><tr><td>4.4. Sécurisation des données</td><td>65</td></tr><tr><td>4.5. Les éléments de planification</td><td>66</td></tr><tr><td>4.5.1. La répartition des tâches</td><td>66</td></tr><tr><td>4.5.2. Le calendrier de l'évaluation</td><td>66</td></tr><tr><td>4.5.3. Calibrage des ressources</td><td>69</td></tr><tr><td>4.6. Communication des résultats</td><td>70</td></tr><tr><td>V. Discussion</td><td>71</td></tr><tr><td>5.1. Synthèse des résultats : l'équilibre entre rigueur méthodologique et pragmatisme</td><td>71</td></tr><tr><td>5.1.1. La prise en compte des réalités de terrain</td><td>71</td></tr><tr><td>5.1.2. La recherche d'une robustesse méthodologique</td><td>72</td></tr><tr><td>5.1.3. Le respect de l'enjeu éthique</td><td>74</td></tr><tr><td>5.2. Limites</td><td>75</td></tr><tr><td>5.2.1. Le design de l'évaluation</td><td>75</td></tr><tr><td>5.2.2. Facteurs externes et mesure à moyen terme</td><td>76</td></tr><tr><td>5.2.3. Les contraintes organisationnelles</td><td>76</td></tr><tr><td>5.3. Perspectives et recommandations</td><td>77</td></tr><tr><td>5.3.1. Veiller à la mobilisation des ressources</td><td>77</td></tr><tr><td>5.3.2. Renforcer les ambitions en termes de valorisation des résultats</td><td>78</td></tr><tr><td>5.3.3. Exploiter les résultats dans une logique d'amélioration continue</td><td>78</td></tr><tr><td>Conclusion</td><td>80</td></tr><tr><td>Bibliographie</td><td>82</td></tr><tr><td>Annexes</td><td>95</td></tr><tr><td>Liste des figures et des tableaux</td><td>138</td></tr><tr><td>Table des matières</td><td>139</td></tr></table>
## Liste des sigles et des abréviations

**AIPD** : Analyse d'Impact relative à la Protection des Données

**AP** : Activité Physique

**ANDEM** : Agence Nationale pour le Développement de l'Evaluation Médicale

**ARS** : Agence Régionale de Santé

**CAPS** : Capitalisation des Expériences en Promotion de la Santé

**CDC** : Centers for Disease and Control and prevention

**CIME** : Comité interministériel de l'évaluation

**CNIL** : Commission Nationale de l'Informatique et des Libertés

**CPOF** : Contrat Pluriannuel d'Orientation et de Financement

**CSE** : Conseil Scientifique de l'Evaluation

**Dapap** : Dispositif d'Accompagnement vers la Pratique d'Activité Physique

**DSP** : Direction de la Santé Publique

**HAS** : Haute Autorité de Santé

**IGAS** : Inspection Générale des Affaires Sociales

**IMC** : Indice de Masse Corporelle

**PMI** : Project Management Institute

**OMS** : Organisation Mondiale de la Santé

**ORS** : Observatoire Régional de Santé

**PNNS** : Plan National Nutrition Santé

**PPS** : Prévention et Promotion de la Santé

**PSS** : Pass'Sport Santé

**NIGZ** : National Institute for Health and Care Excellence

**RePPOP-LyRRA** : Réseau de Prévention et de Prise en charge de l'Obésité Pédiatrique Lyon Rhône Roanne Ain

**RGPD** : Règlement Général de Protection des Données

**WBS** : Work Breakdown Structure

**Z-Score** : indice statistique exprimant l'écart d'une mesure anthropométrique (poids, taille, IMC) d'un enfant par rapport à la médiane d'une population de référence, en unités d'écart-type.
## Introduction

La conférence d'Alma-Ata (1978) et la Charte d'Ottawa (1986) témoignent de l'émergence d'un nouveau paradigme en santé publique. La santé des individus ne se réduit plus aux seuls facteurs biologiques et comportementaux, mais dépend aussi de dimensions politiques, économiques, sociales, culturelles et environnementales. En France, si cette approche holistique n'a pas connu une diffusion optimale, elle a contribué à renouveler les pratiques de santé publique et à promouvoir des stratégies intégratives reflétant la complexité des déterminants de santé (Alla, 2007 ; Denis et Henrard, 2024 ; Jabot et al., 2011).

Or, cette évolution se confronte rapidement à une exigence croissante d'évaluation promue, sinon imposée, dans le cadre des politiques publiques au nom de la transparence, de l'efficacité et de la redevabilité (Contandriopoulos et al., 1993 ; Lajarge et al., 2017). Cet impératif, qui questionne déjà le champ de la prévention et de la promotion de la santé (PPS) dans sa capacité à mesurer, comparer, chiffrer des interventions complexes, se pose de manière d'autant plus aiguë qu'un processus de territorialisation se déploie parallèlement (Jabot, 2014).

En effet, la création des Agences Régionales de Santé (ARS) en 2009 alors chargées de concevoir et déployer un Projet Régional de Santé (PRS) témoigne de la prise en compte du besoin de proximité dans les politiques de santé, et notamment en matière de PPS (Rayssiguier et Huteau, 2018). Cette dynamique, qui va ainsi engendrer une diversification et une complexification des acteurs et des actions (Jabot et al., 2011), va également donner lieu à une multiplication et un renforcement des demandes d'évaluation du point de vue des décideurs, des financeurs, des opérateurs voire des populations elles-mêmes (Cambon et al., 2010). Mais l'hétérogénéité des pratiques, des contextes et des opérateurs ne va pas se faire sans poser question quant à la façon de mettre en place des évaluations efficientes et pertinentes.

A cet égard, l'exemple de la Ville de Villeurbanne illustre bien cette dynamique. Dès la fin des années 1990, la municipalité choisit en effet d'investir le champ de la santé au-delà de ses attributions régaliennes (hygiène et salubrité publiques) en structurant progressivement une politique de santé publique cohérente (Guerrier-Sagnes et al., 2005). Dans l'esprit de la Charte d'Ottawa (1986), elle met en place une Direction dédiée et développe des programmes locaux de PPS, notamment à destination des enfants et des familles, en s'appuyant sur des partenariats multiples et en se saisissant des politiques territorialisées telle que la déclinaison au niveau local du Plan National Nutrition Santé (PNNS). Lancé en 2001, ce programme vise à s'appuyer sur
les collectivités territoriales pour promouvoir une alimentation saine et une activité physique régulière, notamment *via* la charte « Villes actives du PNNS » (Honta et al., 2011).

Ce positionnement local répond à un enjeu de santé publique majeur (Reilly et al., 2003). La prévalence mondiale du surpoids chez les 5-19 ans est passée de 8 % en 1990 à 20 % en 2022 (NCD-RisC, 2024). En France, si la tendance se stabilise depuis le milieu des années 2000 (Laville, 2023), le surpoids chez les enfants de 9-10 ans passe de 4,7 % en 1980 à 18,9 % en 2013, et l'obésité de 0,4 % à 4 % (Praznoczy et al., 2017). Ces inégalités suivent un gradient social marqué, avec une prévalence plus forte dans les milieux défavorisés (Castelbon, 2015). Ces constats font écho à la situation locale de Villeurbanne, où les acteurs de santé observent une hausse du surpoids infantile, aggravée par un déficit de médecins généralistes dans certains quartiers prioritaires.

C'est dans ce contexte que la Ville de Villeurbanne, alors signataire de ladite charte du PNNS, initie en 2009 le programme *Pass' Sport Santé* (PSS). Ce dispositif pluridisciplinaire, reposant sur des partenariats internes – Direction du Sport – et externes – Dapap, Association Sens & Savoirs, RePPOP-LyRRA –, est destiné aux enfants âgés de 8 à 12 ans scolarisés dans les établissements publics de la Ville et entend agir sur trois leviers : augmenter l'activité physique chez les enfants, modifier les comportements alimentaires de ces derniers et de leur famille et, enfin, favoriser l'inscription dans un parcours de soins lorsque nécessaire. Proposé sur une année aux enfants repérés par les infirmières scolaires, ce programme se compose ainsi de séances régulières d'activité physique (AP), d'un suivi diététique individualisé et collectif, et dans certains cas, d'un accompagnement à l'inscription à une AP et/ou à l'entrée dans un parcours de soins.

Subventionnée chaque année par l'ARS à hauteur de 25 % du budget global du dispositif, la Ville de Villeurbanne doit fournir des évaluations annuelles basées sur des indicateurs de résultats établis en lien avec l'Agence. Afin de pérenniser les financements sur trois ans, la Ville a sollicité l'ARS en 2024 pour la signature d'un Contrat Pluriannuel d'Orientation et de Financements (CPOF). En vue d'engager ces crédits, l'ARS demande ainsi que cette contractualisation soit assortie d'une proposition de méthodologie d'évaluation d'impact du dispositif sur trois ans.

Conformément à cette demande, la réalisation d'un protocole d'évaluation complétant et approfondissant les données jusqu'alors produites par la Collectivité constitue le cadre de la mission qui nous a été confiée entre février et juin 2025. Dès lors, cette dernière constitue un
cas d'étude pertinent pour interroger les conditions d'une évaluation rigoureuse en prévention
et promotion de la santé.

Loin d'ignorer l'évolution des enjeux et des attentes qui sous-tendent d'évaluation, il
conviendra dans un premier temps de contextualiser notre objet d'étude en cherchant à définir
ce concept et à le caractériser dans le champ de la PPS. A partir de là, nous serons amenée à
identifier et analyser les approches conceptuelles qui président à cette pratique.

Ces éléments de cadrage nous permettront en ce sens d'étayer la méthodologie ainsi choisie
pour réaliser le protocole d'évaluation du dispositif *Pass 'Sport Santé*. A partir des résultats ainsi
présentés, nous discuterons les apports et les limites de la démarche conduite, et conclurons sur
les enseignements que ce travail nous apporte pour répondre à notre questionnement de départ.
# I. Cadrage contextuel

La prime donnée à une dite « culture de l'évaluation » (Perret, 2014) laisserait à penser qu'elle est une pratique qui se déploie largement et sans distinction dans de nombreux champs d'intervention de l'action publique. Pour autant, il nous paraît essentiel d'interroger cette affirmation en tentant de définir le concept d'évaluation, voire d'en identifier les grandes caractéristiques. Ce cheminement nous permettra de saisir les ressorts historiques, socio-politiques, théoriques, mais aussi empiriques qui participent de sa complexité.

Si nous choisissons en premier lieu de nous exempter de toute approche proprement disciplinaire, c'est bien pour mieux explorer, dans un second temps, les caractéristiques et enjeux spécifiques que l'évaluation peut revêtir dans le champ de la PPS.

## 1.1. De la nécessité de saisir la complexité du concept d'évaluation

S'accorder sur une définition de l'évaluation n'est pas une tâche aisée tant ce terme recouvre une pluralité d'acceptations (Tableau 1). D'aucuns seraient ainsi tentés d'avancer qu'il y a autant de définitions que d'évaluations (Contandriopoulos et al., 1993). Cette polysémie a à voir avec la diversité des objets, des finalités, des modalités et des disciplines que ce concept embrasse (Jabot, 2012). Ainsi, partant des pratiques empiriques, l'évaluation a fait l'objet, au fil du temps, de modélisations et de conceptualisations théoriques qui, bien que loin d'être convergentes, nous permettent toutefois d'en apprécier les fondements.

### 1.1.1. Eléments historiques de l'évaluation

L'histoire de l'évaluation en Europe et en Amérique du Nord donne à voir la manière dont les contextes socio-politiques jouent dans l'institutionnalisation et la professionnalisation de ce domaine d'expertise.
<table><caption>**Tableau 1 - Exemples de définitions de l'évaluation, classés par ordre chronologique**</caption><thead><tr><td>Date</td><td>Auteur(s)</td><td>Définition</td></tr></thead><tbody><tr><td>1973</td><td>Stufflebeam (p.129)</td><td>L'évaluation est le processus de délimitation, d'obtention et de fourniture d'informations utiles pour juger des alternatives de décision.</td></tr><tr><td>1991</td><td>Scriven (p.139)</td><td>L'évaluation désigne le processus de détermination du mérite, de la valeur ou de la valeur de quelque chose, ou du produit de ce processus.</td></tr><tr><td>1997</td><td>Patton (p. 23)</td><td>L'évaluation de programme est la collecte systématique d'informations sur les activités, les caractéristiques et les résultats des programmes afin de porter des jugements sur le programme, d'améliorer son efficacité et/ou d'éclairer les décisions concernant la programmation future.</td></tr><tr><td>2004</td><td>Rossi et al. (p. 28)</td><td>L'évaluation de programme consiste à utiliser des méthodes de recherche sociale pour étudier systématiquement l'efficacité des programmes d'intervention sociale. Elle s'appuie sur les techniques et les concepts des sciences sociales et vise à améliorer les programmes et à éclairer l'action sociale visant à résoudre les problèmes sociaux.</td></tr><tr><td>2015</td><td>Chen (p. 8)</td><td>L'évaluation d'un programme est le processus de collecte systématique de données empiriques et d'informations contextuelles sur un programme d'intervention, en particulier les réponses aux questions quoi, qui, comment, si et pourquoi qui aideront à évaluer la planification, la mise en œuvre et/ou l'efficacité d'un programme.</td></tr></tbody></table>

En effet, si des travaux scientifiques évoquent des traces de processus évaluatifs très précoces dans l'histoire, c'est véritablement le développement des Etats qui amène à une généralisation progressive de l'évaluation à partir du XIXe siècle (Demarteau, 2007). A cette époque, elle commence à être mobilisée en Europe et en Amérique du Nord afin de mesurer les effets des grandes réformes étatiques sur les conditions de vie et de travail des populations. Pour illustrer ce mouvement, Dubois et al. (2011) prennent l'exemple du système éducatif aux Etats-Unis. Ils décrivent alors l'ensemble des outils statistiques qui vont être mobilisés dès les années 1840 pour à la fois mesurer les intrants de l'intervention éducative (nombre et localisation des
structures, compétences des enseignants, état des infrastructures, finances des établissements, etc.), mais également pour évaluer, classer et comparer les performances des écoliers (tests standardisés d'évaluation des connaissances). Evaluation et mesures statistiques tendent alors à se confondre à la faveur d'un recours à des activités de collecte systématique de données quantitatives (Dubois et al., 2011).

Au lendemain de la Seconde Guerre Mondiale, les enjeux de reconstruction vont de pair avec un emploi accru de l'évaluation, si bien que le concept « d'évaluation des programmes publics » va officiellement voir le jour et participer d'une professionnalisation de la pratique dans les pays occidentaux. En corollaire, l'effervescence et la mobilisation croissantes des sciences sociales vont favoriser l'inter- et la transdisciplinarité dans la pratique évaluative (Dubois et al., 2011).

Chemin faisant, l'évaluation devient, à partir des années 1970, une véritable discipline générant l'apparition de regroupements professionnels, de structurations procédurales et organisationnelles, ou encore de publications empiriques et théoriques (Contandriopoulos et al., 1993 ; Dubois et al., 2011). Bien que prolixe, cette dynamique est pourtant mise à l'épreuve des évolutions politiques et sociales, et des affrontements théoriques afférents. Ainsi confrontée à des critiques et des controverses quant à sa fiabilité et à sa capacité à rendre compte de réalités plurielles, l'évaluation va poursuivre un processus d'institutionnalisation empreint d'atermoiements notables (Jabot & Turgeon, 2008).

A cet égard, le cas de la France est assez éclairant. Bien qu'à l'inverse de ce qui est observé dans le monde anglo-saxon, l'évaluation y est relativement récente (Barbier, 2010), elle se déploie d'emblée dans une logique technocratique, rationaliste et se voit rapidement remise en question (Cases et al., 2009).

C'est en 1989, avec la parution du rapport Viveret que l'évaluation semble connaître un regain d'intérêt et une inflexion vers un changement de paradigme. Inscrit dans une volonté de modernisation de l'Etat et de transparence de la vie publique, et prônant une vision démocratique de l'évaluation, ce rapport ouvre la voie à la reconnaissance de cette dernière comme activité spécifique, permettant d'enrichir les savoirs et les pratiques dans différents champs professionnels (Jabot & Turgeon, 2008). La création, en 1990, de deux instances dédiées à l'évaluation en France : le Comité interministériel de l'évaluation (CIME) d'une part, et le Conseil scientifique de l'évaluation (CSE) d'autre part, participe d'une institutionnalisation de l'évaluation à l'échelle nationale et territoriale. Pour autant, le CSE disparaîtra en 2002, alors même que les orientations gouvernementales renouent avec une doctrine de rationalisation des
dépenses qui oriente l'évaluation vers une démarche de reporting (Cases et al., 2009). Si l'évaluation des politiques publiques est inscrite dans la Constitution en 2009, et *in fine*, reprise dans les textes réglementaires, c'est bien dans un objectif de « culture du résultat » axé sur des indicateurs de performances.

Ainsi, en ce qu'elle est dépendante du contexte et de la commande politico-institutionnelle, la pratique évaluative est régulièrement mise à l'index pour ses faiblesses structurelles et méthodologiques, et un recours à des pratiques éclatées sinon déficitaires (Jabot, 2014).

En somme, si elle s'affirme progressivement comme une démarche structurée et outillée, l'évaluation reste marquée par des tensions entre dessein scientifique, impératifs technocratiques et attentes démocratiques. Tantôt instrument de pilotage voire de contrôle, tantôt outil de débat et de co-construction, l'évaluation apparaît comme une pratique intrinsèquement dépendante des contextes socio-politiques qui la façonnent. C'est dans cet équilibre fragile, entre exigence de rigueur méthodologique et adaptation aux réalités du terrain, que semble se jouer sa légitimité et sa capacité à éclairer la décision publique. En outre, il faut souligner que cette perspective historiographique et la richesse des réalités qu'elle recouvre ne sont pas sans liens avec les courants épistémologiques qui traversent le champ de l'évaluation.

### 1.1.2. Fondements théoriques de l'évaluation

Plusieurs auteurs se sont ainsi attachés à synthétiser les courants théoriques inhérents aux travaux menés sur l'évaluation.

Dans une perspective historique, Guba et Lincoln (1989) identifient quatre générations d'évaluation.

- La première, du début XIXe siècle aux années 1930, place la rationalité au centre de la démarche. L'évaluation cherche alors à concevoir des outils et des méthodes de mesures quantitatives à dessein d'inventorier, de quantifier et de comparer.

- La seconde génération, des années 1930 aux années 1960, se développe en critique aux carences de la démarche centrée sur la méthode. Il est ici question de chercher à rendre compte des performances de l'objet évalué dans des perspectives compréhensive et descriptive, et ce, à des fins d'améliorations socio-politiques. Bien qu'ouvrant à la notion de performance, cette approche élude la question du jugement évaluatif.
- C'est ainsi que la troisième génération, dans les années 1960-1970, renvoie à une dimension interprétative où l'évaluateur n'est plus seulement technicien de la mesure, mais celui qui interprète les données et les met en perspective afin de guider la décision.

- Cette position centrale de l'évaluateur est néanmoins remise en question à partir des années 1970, lors de la quatrième génération, où l'accent est alors mis sur la prise en compte du contexte et des parties prenantes dans l'appréciation de la valeur du programme. L'évaluateur sort de son rôle de juge unique pour se positionner comme négociateur et facilitateur avec l'ensemble des parties prenantes.

S'appuyant sur la métaphore de l'arbre, Alkin (2004) nuance la linéarité de cette approche et met en lumière la coexistence de différentes ramifications théoriques issues de trois postulats fondamentaux, mais non antinomiques. Il identifie ainsi dans l'enquête sociale, dans la reddition de comptes (redevabilité) et dans le jugement évaluatif (épistémologie), trois forces génératrices d'évaluation qui, en fonction de leur croissance respective, voient cette dernière s'orienter dans trois directions. D'abord l'utilisation dans laquelle l'évaluation vise avant tout à générer des résultats utiles. Ensuite la valorisation où elle va se concentrer sur la recherche de l'appréciation de la valeur réelle de l'objet évalué. Enfin, la méthode où l'évaluation va s'attacher à mesurer de manière efficace, par des démarches, des outils et des techniques précis, les facteurs qui influencent les résultats.

Au travers de ces approches métathéoriques, nous voyons ici que les différents courants de pensée, en témoignant des multiples paradigmes qui sous-tendent l'évaluation, conditionnent alors largement les approches, les stratégies voire même les débats qui vont traverser et orienter la pratique évaluative (Ridde, 2024).

Une perspective dite « positiviste » postule ainsi que l'efficacité d'une intervention doit passer par une mesure objective et fiable des effets, selon une méthodologie expérimentale mobilisant des données quantitatives (Begin et al., 1999).

A l'inverse, l'approche constructiviste refuse d'isoler les effets d'une intervention de son contexte. Elle privilégie une compréhension des dynamiques d'interaction à l'œuvre tant au sein de l'intervention elle-même, qu'entre l'évaluateur et son objet d'étude, mobilisant pour ce faire des méthodes qualitatives. Dans ce paradigme, toute connaissance sur les effets d'une intervention est donc considérée comme une co-construction avec les différentes parties prenantes (Delahais et al., 2021).

Enfin, on observe une position intermédiaire au travers de l'approche réaliste. Cette perspective considère qu'il existe une réalité indépendante de la construction humaine, tout en admettant
que notre connaissance en est toujours partielle et indirecte. Elle va dès lors mobiliser des méthodes quantitatives et qualitatives pour s'attacher à regarder les mécanismes de causalité qui, dans certains contextes, vont produire des résultats (Dagenais & Ridde, 2012).

Aussi, quelle que soit la démarche épistémologique convoquée, remarquons que plusieurs concepts clés semblent être systématiquement mobilisés, et que l'on observe une convergence quant à la nature de l'évaluation qui constitue une opération de jugement (Stufflebeam, 1973 ; Scriven, 1991 ; Patton, 1997), convoquant une méthode (Patton, 1997 ; Rossi et al., 2004 ; Chen, 2015), et étant guidée par une utilisation et des finalités déterminées (Stufflebeam, 1973 ; Patton, 1997 ; Rossi et al., 2004 ; Chen, 2015). C'est pourquoi, il paraît opportun de s'attarder sur ces différentes dimensions qui apparaissent comme autant d'éléments à interroger pour saisir ce qui sous-tend la définition et la pratique de l'évaluation.

### 1.1.2.1. Juger de la valeur des choses

De nombreux travaux scientifiques soulignent qu'il est consensuellement admis qu'évaluer consiste à porter un jugement sur la valeur des interventions (Viveret, 1989 ; Contandriopoulos et al., 1993). Cette dimension axiologique entend souligner que l'évaluation, en tant que cadre et processus qui vise à collecter des données relatives aux activités, aux caractéristiques et aux effets d'un objet donné, permet de produire un jugement sur la valeur de ce dernier, et d'aboutir à des alternatives à la décision (Scriven, 1980 ; Stuffelbeam et al. 1980).

Par objet, nous entendons ici souligner la variété du panel des éléments alors considérés. L'évaluation peut en effet porter sur une action, une activité, un service, un organisme, un projet, un programme, ou sur des pratiques. Plus encore, elle peut s'étendre à l'appréciation de phénomènes, de comportements, de politiques, de stratégies (Alföldi, 2005).

A noter que la « valeur » tente ici de se départir du champ de l'arbitraire en étant déterminée, explicitée et partagée. C'est le sens du triptyque « mérite-intérêt-importance » que décrit Scriven (1990). Par « mérite », il désigne les qualités intrinsèques d'un programme ou d'une intervention telles que sa rigueur, sa cohérence ou la solidité de ses fondements. Couplée à « l'intérêt », qui fait référence à la pertinence de cet objet dans un contexte donné, elle permet de saisir son « importance », c'est-à-dire sa portée ou sa valeur générale.
De manière opérationnelle, six critères d'évaluation sont couramment mobilisés afin de déterminer la valeur ou le mérite d'une intervention : la pertinence, la cohérence, l'efficacité, l'efficience, l'impact et la durabilité. Ces critères ont été conçus comme référentiels afin d'aider les évaluateurs à identifier les grandes questions auxquelles l'évaluation doit chercher à répondre (Figure 1). En ce sens, ces critères ont vocation à être affinés, complétés, pondérés ou hiérarchisés en fonction du contexte et des objectifs du projet (Centre de ressources en évaluation, 2025 ; Organisation de Coopération et de Développement Economiques, 2023).

<figure><img src="image_4.png" /><figcaption>**Figure 1 - Les six critères de l'évaluation et les questions associées**</figcaption></figure>

En évaluation, le jugement se déploie donc à partir de l'explicitation de l'objet, du contexte et des enjeux, promouvant le recours à une démarche structurée et méthodique.

### 1.1.2.2. S'appuyer sur une méthode

Bien que, selon les écoles de pensée, apparaissent des sensibilités différentes quant à la façon d'appréhender la notion de méthode, reste qu'elle demeure centrale dans le travail évaluatif.
En effet, comme le souligne Trosa (1992), elle permet de garantir la fiabilité des résultats obtenus et, in fine, la pertinence, la validité et la légitimité de l'évaluation. Mais, loin de la
réduire à une technique figée, universelle et gage de neutralité, l'autrice la décrit davantage comme une structuration rigoureuse du processus d'évaluation qui, au travers de l'explicitation d'une démarche, de règles, de compétences et d'outils, ne saurait être décorrélée de son contexte et de ses objectifs.

La question de la rigueur méthodologique pose en outre la question du rapport de l'évaluation à la science et à la recherche. Pour certains auteurs l'évaluation est une forme appliquée de recherche en sciences sociales (Wholey, 2004).

Weiss (1997) nuance cependant le propos en précisant que l'évaluation, par les méthodologies et techniques d'enquête qu'elle mobilise, se rapproche de la recherche sans toutefois se confondre avec elle. En effet, pour l'autrice, elle s'en distingue d'une part au travers du cadre de la commande – les décideurs orientent les questions évaluatives – et, d'autre part, eu égard à la nature et aux compétences de l'évaluateur qui sont alors déterminées par les utilisations prévues de l'évaluation. Ainsi, nous dit Weiss (1997, p.15) : « *ce qui distingue l'évaluation de la recherche, ce n'est pas la méthode ou le sujet mais le but pour lequel elle est faite* ». Aussi convient-il d'apporter un éclairage sur l'utilisation et les finalités de l'évaluation.

### 1.1.2.3. Utilisation et finalités

Comme le soulignent Alkin et King (2017), l'utilisation constitue une composante essentielle de la pratique et de la théorie de l'évaluation. Bien que la notion d'utilisation soit là aussi complexe, retenons qu'elle renvoie à une information acquise pendant une évaluation, qu'elle soit directement issue d'un résultat ou de la participation à cette dernière (processus). Cette information peut alors soit découler du programme, soit du rôle de parties prenantes. Enfin, elle a une influence sur des utilisateurs ciblés ou des acteurs associés à la démarche dans le but de faire sens, de prendre ou de justifier des décisions et des actions (Alkin & King, 2017).

Considérant que cette définition de l'utilisation peut embrasser une diversité de réalités, la communauté académique s'est attachée à en distinguer trois typologies (Weiss, 1998; Alkin et Taut, 2003) : le type instrumental qui relève d'un usage des résultats afin de modifier l'intervention ou de prendre des décisions ; le type conceptuel qui permet d'apporter des connaissances sur un phénomène potentiellement transposable à d'autres contextes ; et enfin, le type stratégique/persuasif qui vise à légitimer et valoriser une action.

Jabot et al. (2020) parachèvent cette approche en décrivant quatre grandes dimensions attachées aux finalités de l'évaluation :
- La dimension cognitive : elle produit de la connaissance qui permettra d'étayer les décisions ;

- La dimension normative : elle permet de juger de la valeur de l'intervention et de s'assurer qu'elle est conforme aux résultats attendus ;

- La dimension instrumentale : elle permet de soutenir et d'orienter la conduite d'un changement ;

- La dimension démocratique : elle amène à créer l'opportunité d'un débat sur l'action publique.

Aussi, cet éclairage permet-il d'interpeller tout praticien sur la nécessité, avant tout travail évaluatif, d'entrer dans un questionnement relatif aux finalités attendues et identifiées (Perret, 2014). Partant, elle exige d'expliciter les objectifs et la structure méthodologique, mais également d'appréhender les freins et les leviers dans la conduite même de l'évaluation.

L'évaluation est donc façonnée par sa nature, son objet, son contexte, ses conditions de réalisation, les acteurs qu'elle mobilise, les méthodes et les outils qu'elle sollicite, ainsi que par ses finalités. En cela, elle constitue une activité composite qui revêt différentes formes.

### 1.1.3. Les différents types d'évaluation

De manière générale, plusieurs typologies d'évaluation sont identifiées en vue de synthétiser la diversité des approches méthodologiques et des finalités choisies. Nous verrons ici que cette catégorisation, dont les frontières peuvent être poreuses, se fonde communément sur une perspective temporelle d'une part, et selon les finalités escomptées d'autre part (Viveret, 1989 ; Perret, 2009).

#### 1.1.3.1. Les temps de l'évaluation

La démarche évaluative peut en effet se déployer à différents moments et ne saurait ainsi se réduire à une lecture et une analyse finales des résultats obtenus.

D'abord, l'évaluation peut intervenir en amont d'un projet ou d'une intervention dans une perspective diagnostique et prospective. Elle va alors chercher à apprécier la pertinence, la faisabilité et les effets potentiels du projet avant sa mise en œuvre. On parle ici d'évaluation *ex ante*.

Ensuite, la démarche évaluative peut s'opérer « chemin faisant ». On parle d'évaluation « in itinere » ou « concomitante » pour décrire sa capacité à suivre le projet au moment même
où il se réalise, et ce, de manière continue. En somme, de façon itérative, elle cherche à saisir et analyser les processus de réalisation et de mise en œuvre en vue de réorienter et de réajuster le projet en fonction des objectifs fixés (Trosa, 2009). Dès lors, elle ne doit pas être confondue avec l'évaluation intermédiaire qui, elle, se réalise à un moment précis, à mi-parcours du projet.

Enfin, l'évaluation *ex post* se caractérise par son approche rétrospective. En intervenant une fois l'action passée, elle va chercher à apprécier les effets à moyen ou long termes de cette dernière. En ce sens, on la différencie de l'évaluation finale qui vise spécifiquement à mesurer les résultats et l'atteinte des objectifs au moment de la clôture du projet (Trosa, 2009).

### 1.1.3.2. Les formes de l'évaluation

Les critères de temporalité, couplés à ceux des finalités, amènent dès lors à identifier différentes formes d'évaluation.

L'évaluation formative suit généralement le temps du projet et en examine la nature, les besoins qu'il vise à satisfaire, ainsi que son avancement et sa mise en œuvre. Elle permet de repérer des écarts dans le contenu et le fonctionnement de l'action et a pour but de proposer des améliorations et/ou des ajustements à cette dernière (Sharma & Petosa, 2014).

L'évaluation sommative vise à observer l'ensemble des résultats finaux de l'action eu égard aux critères pré-identifiés. Partant du principe que le programme fonctionne correctement, on va chercher à déterminer s'il est efficace. De manière générale, ce type d'évaluation a vocation à répondre aux besoins d'aide à la décision dans la poursuite ou non de l'action, en attestant de la pertinence, de l'efficacité et de l'efficience de l'action. En cela, il est d'ordinaire préconisé qu'elle soit menée par un acteur extérieur au projet (Scriven, 1967).

L'évaluation de processus cherche à analyser le déroulement d'une activité ou d'un programme, en mettant l'accent sur les conditions de mise en œuvre. Elle s'intéresse à la qualité, à la pertinence, à la cohérence et à la conformité des différentes étapes du projet par rapport aux objectifs et au plan initiaux. Elle cherche également à connaître le degré de satisfaction des bénéficiaires, des responsables de la mise en œuvre et des autres acteurs associés au programme (Sharma & Petosa, 2014).

L'évaluation de résultats vise à mesurer si le projet a atteint les effets escomptés tant sur les participants que sur leur environnement. Elle s'intéresse aux résultats immédiats, intermédiaires ou finaux obtenus à la suite de la mise en œuvre de l'action. À l'instar de
l'évaluation sommative, elle peut aussi aider à déterminer si les besoins initiaux ayant motivé
le projet ont été comblés ou non (Sharma & Petosa, 2014).

L'évaluation d'impact part des résultats pour mesurer les effets de l'intervention dans une temporalité plus longue, c'est-à-dire bien au-delà de l'intervention. Ce faisant, elle va chercher à étudier les liens de causalité entre l'action et les effets observés sur les publics considérés afin de déterminer dans quelles mesures les éventuels changements observés sont directement attribuables à l'intervention ou non (Tharrey et al., 2021 ; Kidder et al., 2024). En ce sens, il s'agit d'un type particulier d'évaluation qui, parce qu'il va devoir chercher à mesurer les liens de causalité, peut nécessiter la mise en place d'une méthodologie complexe (Gertler et al., 2011).

Par un éclairage historique et épistémologique, nous avons ici souligné que l'évaluation constitue un véritable enjeu stratégique, politique et méthodologique, et qu'elle est indéniablement ancrée dans l'action publique. En soulignant qu'elle est un objet pluriel, nous avons ainsi pu démontrer que, loin d'être une simple formalité, elle fait appel à une démarche rigoureuse, dynamique et contextualisée qui répond à une diversité de finalités. Qu'il s'agisse de redonner du sens à l'action, d'améliorer les pratiques et/ou de renforcer la légitimité des interventions, elle exhorte tout évaluateur à s'interroger continuellement sur sa pratique.

Dès lors, dans la mesure où elle ne relève pas d'une pensée ou de méthodes uniques (Vandoorne et al., 2007), nous souhaitons mettre en regard les enjeux précités du champ spécifique de la PPS. En effet, considérant qu'elle constitue un domaine de l'action publique, nous entendons ici nous demander dans quelles mesures existe-t-il des spécificités dans l'évaluation de la PPS ?

## 1.2. L'évaluation dans le champ de la prévention et de la promotion de la santé

Les définitions de la prévention d'une part et de la promotion de la santé d'autre part diffèrent *a priori*. En effet, alors que la prévention est historiquement associée aux notions de risque, de pathologie ou de résilience, la promotion de la santé, elle, se caractérise par sa focale et son action sur les déterminants. Toutefois, l'évolution progressive de la définition de la santé vers une approche plus sociale et dynamique révèle une convergence croissante des pratiques alors inscrites dans une perspective multidimensionnelle (Cambon et al., 2018). En d'autres mots, la PPS s'inscrit dans une stratégie visant à appréhender les questions de santé dans différents champs de l'action publique (environnement, éducation, logement, etc.). Si ce
mouvement a profondément enrichi et diversifié les pratiques et les modalités d'actions il a, de facto, tout autant complexifié l'évaluation (Nutbeam, 1998).

Or, nous le verrons dans cette partie, alors même que l'évaluation constitue un enjeu pour les interventions en PPS, les caractéristiques qui découlent de cette approche globale ne sont pas sans générer des questionnements voire des tensions, ainsi que des besoins et des réalités singuliers. A partir des enjeux et des défis ainsi identifiés, nous verrons comment l'état des lieux des pratiques et des recommandations tend à nourrir une mise en œuvre opérationnelle éclairée de l'évaluation des interventions en PPS.

### 1.2.1. Enjeux et défis spécifiques

#### 1.2.1.1. Un objet d'évaluation complexe

De nombreux auteurs s'attachent en effet à souligner qu'intervenir dans le champ de la santé publique, et plus spécifiquement dans le domaine de la PPS relève d'un phénomène complexe (Cambon et al., 2010 ; Contandriopoulos et al., 2011 ; Jabot et al., 2020 ; Nutbeam, 1998 ; O'Connor-Fleming et al., 2006 ; Trompette, 2017). Cette complexité, entendue comme « ce qui ne peut se résumer en un maître mot, ce qui ne peut se ramener à une loi, ce qui ne peut se réduire à une idée simple » (Morin, 1990, p.10) tend à remettre l'intervention au cœur d'un système organisé d'actions visant à agir sur des problèmes divergents, dans un contexte donné et dans un horizon temporel mouvant (Contandriopoulos et al., 2011).

D'une part, les actions de PPS s'inscrivent dans une logique multiniveaux – individuel, communautaire ou politique – eu égard aux déterminants de santé (O'Connor-Fleming et al., 2006 ; Trompette, 2017). En visant à modifier les comportements individuels, améliorer le cadre de vie des populations, ou encore transformer les pratiques professionnelles ou politiques, elles vont ainsi multiplier les milieux et les modalités d'intervention. A partir de là, évaluer les effets d'une action va donc nécessiter la recherche des méthodes, des approches et des outils de mesure les plus pertinents au regard de la diversité de contextes, d'acteurs ou de groupes, de normes, etc. (Nutbeam, 1998). Il devient également essentiel d'être en capacité de saisir et d'étudier les interactions entre différents échelons et modalités d'actions (Jabot et al., 2020).

Ce faisant, soulignons que le domaine de la PPS se démarque par son intersectorialité, son interdisciplinarité et sa transdisciplinarité. En effet, elle a pour particularité d'ouvrir l'espace des connaissances très largement, qu'il s'agisse de la variété des champs disciplinaires qu'elle convoque, mais également de la nature même des savoirs qu'elle mobilise – scientifiques ou profanes –. Dès lors, en plus de mettre le travail évaluatif à l'épreuve
d'une complexité épistémique, elle engage à l'interdépendance d'une multiplicité d'acteurs. Partant, la démarche évaluative doit alors nécessairement interroger les choix à opérer quant aux modalités d'intégration de l'ensemble des parties prenantes dans le processus d'évaluation (Jabot et al., 2014).

Enfin, la temporalité des résultats attendus dans le domaine de la PPS témoigne d'une grande variabilité. Nutbeam (1998) souligne ainsi que les échelles de temps propices à l'observation et la mesure des effets attendus peuvent considérablement varier entre les actions, mais également au sein d'une même intervention. Cette variabilité peut par ailleurs être appréhendée au regard du mouvement et du remodelage constants qui caractérisent ce type de projets, et qui exige alors de se départir des modèles évaluatifs qui se fondent sur l'analyse de la conformité entre un projet souhaité et réalisé (Contandriopoulos et al., 2011 ; Jabot et al., 2014).

Aussi, le champ de la PPS se caractérise-t-il par sa nature holistique et sa dimension intégrative. Loin de chercher à réduire la pensée complexe qui l'anime, l'évaluation doit plutôt s'attacher à s'en saisir pleinement. Cette ambition s'avère d'autant plus importante que la PPS est singulièrement traversée par les enjeux relatifs à la recherche de preuves.

### 1.2.1.2. Les données probantes : un enjeu pour la PPS

Si les objectifs de l'évaluation des interventions en PPS convergent avec les finalités présentées plus haut, à savoir : rendre des comptes, vérifier la conformité, aider à la décision, améliorer l'action, produire de la connaissance, etc. (Jabot, 2007), notons en effet la prégnance des débats relatifs aux données probantes. Par données probantes, nous entendons ici désigner des « conclusions tirées de recherches et autres connaissances qui peuvent servir de base utile à la prise de décision dans le domaine de la santé publique » (Banta, 2003, p.569). Leur production va ainsi découler de la nécessité de démontrer les inférences causales et les niveaux de preuve de l'efficacité des actions alors menées (McQueen & Anderson, 2000).

Historiquement hérité des sciences de l'expérimentation, dans une logique descendante, positiviste et normative (Sackett et al., 1996), ce concept a progressivement évolué vers une approche ascendante intégrant alors les données scientifiques, expérientielles et contextuelles (Lamboy, 2021 ; Laurent et al., 2024). Ainsi, si les actions de PPS tardent à s'inscrire dans un mouvement de production et d'utilisation des données probantes, c'est précisément car leur
complexité empirique et épistémique se heurte aux approches de recherche et d'évaluation inspirées des sciences expérimentales.

Cependant, parce que les opérateurs sont soumis à de fortes pressions pour justifier leurs actions par des données probantes (McQueen & Anderson, 2000 ; Laurent et al., 2024), et parce que le domaine de la PPS cherche bien souvent à promouvoir l'émancipation et l'amélioration continue, l'évaluation y devient un outil stratégique dans lequel tout écueil dans la circonscription des résultats attendus et dans les choix des modalités de mesure devient un obstacle au progrès (Green & Lewis, 1986).

Qu'il s'agisse de démontrer le bien-fondé d'une action d'une part, ou de prouver l'efficacité de cette dernière d'autre part, l'enjeu pour le domaine de la PPS est donc d'arriver à élaborer des méthodes d'évaluation qui permettent de rendre compte à la fois de leurs effets, mais également de leurs processus et contextes de mise en œuvre, de manière à renforcer leur transférabilité. Aussi, cela implique-t-il de dépasser les logiques linéaires et figées de l'évaluation pour adopter des approches plus itératives, participatives et/ou sensibles au contexte (Green et al., 2009 ; Ridde & Haddad, 2018 ; Nutbeam, 2017 ; Pagani et al., 2017).

En définitive, l'évaluation des interventions de PPS doit composer avec une complexité structurelle, épistémique et temporelle, qui rend toute approche standardisée inopérante. Dans ce contexte, la notion de données probantes devient un enjeu stratégique, mais aussi un défi méthodologique. Pour mesurer l'ampleur de cette gageure, il convient de porter un regard attentif sur les pratiques et les recommandations en la matière.

## 1.2.2. État des lieux des pratiques et des recommandations

### 1.2.2.1. Revue des pratiques d'évaluation en PPS

Dans un rapport de l'Inspection Générale des Affaires Sociales (IGAS) paru en 2024, Bras et Monasse soulignent l'application timide des pratiques en matière d'évaluation des interventions de PPS en France. Le constat est alors partagé à l'échelle internationale où la mesure de la valeur accordée par les opérateurs à l'évaluation tendrait à être inversement proportionnelle aux pratiques effectives (Smith, 2011).

En outre, si les acteurs de la PPS sont de plus en plus confrontés au besoin d'évaluer, c'est alors davantage le manque de structuration et le défaut de qualité des démarches évaluatives qui est en jeu. Méthodologies lacunaires, amalgame des fondements conceptuels et théoriques pour concevoir l'évaluation, ou encore cloisonnement de la démarche évaluative par
rapport au projet global sont autant d'éléments qui portent atteinte à la qualité des évaluations.
Dès lors, certains auteurs (O'Connor-Fleming et al., 2006 ; Lobo et al., 2014) convoquent divers
éléments pour expliquer, au moins en partie, ce constat.

L'évaluation pose d'abord la question des ressources allouées. En effet, les financements attribués à la PPS sont relativement concurrentiels et souvent suffisamment restreints pour que les praticiens choisissent de minimiser les coûts imputés à l'évaluation. Or, pour qu'une évaluation soit viable, efficace ou qu'elle permette d'appréhender les effets d'une action à long terme, elle nécessite des moyens adéquats, c'est-à-dire équivalents à 10 % ou plus du budget total de l'action (OMS, 1998).

Par ailleurs, l'évaluation nécessite des compétences pour « faire » mais également pour
en comprendre le processus et les résultats. Ainsi, alors que les opérateurs peuvent avoir le
sentiment que la démarche est mal comprise de la part des parties prenantes, les analyses
systématiques des résultats d'évaluation témoignent également d'un manque de connaissances
et de maîtrise de la pratique (choix des critères, des indicateurs, des modèles, des cadres
théoriques, etc.).

Enfin, le cadre de la commande peut jouer défavorablement sur la rigueur de
l'évaluation. La tendance – souvent issue de la commande politique – à vouloir agir vite et à
faire preuve de réactivité dans la production des résultats limite considérablement le temps
dévolu à l'évaluation. Par ailleurs, face à l'exigence de redevabilité, les praticiens tendent à
faire preuve de réticences quant à l'éventualité que l'évaluation mène à des conclusions
défavorables.

En somme, la mise en œuvre de l'évaluation des actions de PPS demeure fragile,
entravée par des contraintes budgétaires, un déficit de compétences et des conditions de
commande parfois éloignées des exigences de rigueur méthodologique. Le paradoxe qui se fait
jour entre la valeur accordée à l'évaluation et la faiblesse de sa réalisation effective traduit
moins un manque d'adhésion de principe que d'écueils structurels et organisationnels. Dès lors,
afin de dépasser les phénomènes d'évitement ou de partialité de la pratique, plusieurs dispositifs
ont vu le jour pour renforcer la qualité et la portée des évaluations et promouvoir une véritable
culture de l'évaluation.
### 1.2.2.2. Encourager l'évaluation : les recommandations

Lobo et al. (2014) formulent plusieurs grandes recommandations à l'adresse des opérateurs et des décideurs. D'abord, ils soulignent le besoin de renforcer les structures organisationnelles en sortant d'une approche contrainte de l'évaluation et en la valorisant comme levier d'amélioration continue. Ils suggèrent également d'encourager les partenariats pour renforcer l'expertise interne à la structure. D'autre part, les auteurs s'attachent à rappeler l'importance de la formation des praticiens et de la valorisation de méthodes d'évaluation adaptées, éthiques et pragmatiques. Enfin, ils rappellent la nécessité de créer un environnement favorable à l'évaluation permettant de valoriser l'action évaluative en termes de ressources et de financements, mais également capable d'offrir des opportunités de capitalisation, et ce, que les résultats de l'action soient favorables ou défavorables.

Partant, alors que la charte d'Ottawa (OMS, 1986) met l'évaluation au cœur de toute intervention dans le domaine de la PPS, de nombreuses structures ont édicté des recommandations et des référentiels pour encourager les opérateurs à se saisir pleinement de cette pratique.

Ainsi, le Bureau régional de l'OMS pour l'Europe a créé, en 1995, un groupe de travail européen sur l'évaluation de la promotion de la santé. Soutenu par le *Center for Disease Control and Prevention* (Etats-Unis), *Santé Canada*, et la *Health Education Authority* (Royaume-Uni), ce consortium d'experts s'est attaché à produire des recommandations concrètes pour les décideurs et les praticiens. Il a ainsi travaillé à la recension des méthodes d'évaluation actuelles et à la fourniture d'orientations pratiques, compilées dans plusieurs publication clés, dont l'ouvrage *Evaluation In Health Promotion* (Rootman et al., 2001), qui constitue une véritable feuille de route pour tout évaluateur en PPS.

En France, plusieurs instances et agences gouvernementales ont ainsi suivi ce mouvement, à l'instar de l'Agence Nationale Pour le Développement de l'Evaluation Médicale (ANDEM), aujourd'hui intégrée à la Haute Autorité de Santé (HAS), qui a publié dès 1995 un guide de recommandations pour évaluer les actions en santé publique (Cases et al., 2009 ; Chabaud et al., 1995). Ce document insiste alors sur la qualité scientifique et opérationnelle, la cohérence méthodologique, le juste équilibre à avoir entre rigueur et éthique, sur la clarté de l'organisation (équipes, partenaires, financements), ainsi que sur la valorisation et la transparence des résultats.

Plus encore, ce guide promeut une approche pragmatique de l'évaluation, c'est-à-dire une démarche qui prend en compte la complexité des actions de PPS et des réalités du terrain, à la
faveur d'une flexibilité théorique, d'une exhaustivité méthodologique et d'une faisabilité opérationnelle (Crane et al., 2019).

Ces recommandations sont en outre déployées au niveau local, notamment par des dispositifs d'accompagnement qui, dans une logique partenariale, favorisent la convergence des expertises pour outiller, former et accompagner les professionnels. A cet égard, le dispositif *Emergence*, mis en place dans la Région Auvergne-Rhône-Alpes en 2021, entend, sous le pilotage de *Promotion Santé*, mobiliser la recherche, capitaliser les savoirs d'expérience, appuyer la décision, évaluer et valoriser les pratiques. Il a d'ailleurs conduit à l'édition d'un guide pratique pour accompagner la pratique évaluative (IREPS AURA & ORS AURA, 2023).

Cette logique de capitalisation, au sein de laquelle l'évaluation a une place prépondérante, est également encouragée par le déploiement de référentiels tels que le dispositif de Capitalisation des Expériences en Promotion de la Santé (CAPS) ou *ReperPrev* (Santé Publique France). En favorisant le partage des bonnes pratiques, et en valorisant les démarches évaluatives, ces référentiels participent ainsi de la diffusion d'une culture de l'évaluation.

Dans cette partie, nous avons souligné que l'évaluation, envisagée dans son acception générale, s'inscrit dans un mouvement historique qui l'a progressivement conduite à passer d'un outil de contrôle et de vérification vers une fonction plus large d'aide à la décision, de pilotage de l'action publique et d'apprentissage collectif. Traversée par des concepts, des méthodes et des finalités variées, elle est une pratique protéiforme qui se caractérise par une démarche rigoureuse visant la production de connaissances fiables, et par un processus social traversé d'enjeux de légitimité, de pouvoir et de gouvernance.

Au travers de son action transversale au sein des politiques publiques, le champ de la PPS se confronte à des réalités qui tendent à amplifier la complexité de la démarche évaluative. Par leur inscription dans des contextes multiples, leur caractère intersectoriel, leur temporalité souvent longue et leurs effets parfois indirects, les interventions en PPS rendent *a priori* les évaluations délicates à concevoir et à mettre en œuvre. À cela s'ajoutent des contraintes structurelles qui freinent la diffusion d'une véritable culture de l'évaluation, malgré une valorisation effective de son utilité pour améliorer les pratiques, légitimer les choix et capitaliser les expériences.

Pour autant, la richesse des apports empiriques et théoriques a nourri l'émergence de modèles conceptuels et pratiques adaptés à l'évaluation des actions de santé publique. Leur analyse
constitue dès lors une étape incontournable pour comprendre comment et dans quelles mesures l'évaluation peut être, en PPS, à la fois plus systématique, plus pertinente et mieux intégrée aux dynamiques d'action.
## II. Cadre conceptuel

Afin d'assurer une structuration méthodologique rigoureuse, susceptible de garantir la pertinence, la qualité et l'utilité des résultats produits, le recours à des modèles d'évaluation prend tout son sens. A cet égard, de nombreux modèles adaptés aux caractéristiques des interventions en PPS ont vu le jour ces dernières décennies. Largement soutenus par le domaine de la recherche, ils se sont progressivement adaptés à l'exigence d'opérationnalité. Ce faisant, c'est à partir de la définition, du rôle et des enjeux que portent ces modèles, que nous choisirons de mettre en perspective la description et l'analyse de certains d'entre eux.

### 2.1. De la nécessité de guider l'évaluation

On entend par modèle une représentation simplifiée et structurée d'une réalité complexe qui permet de mieux comprendre, analyser et guider la démarche (Bonniol & Vial, 1997). En cela, il constitue un outil, tant conceptuel que concret, permettant d'établir méthodiquement des faits au moyen de procédés de mesure adaptés (Willet, 1996). En aidant à structurer le *process* d'évaluation, les modèles permettent de fournir à l'évaluateur et aux parties prenantes une grille de lecture favorisant une compréhension commune de la démarche, et l'identification partagée des objectifs et de méthodes appropriées.

En d'autres mots, nous considérons ici que les modèles permettent de guider l'évaluateur dans la prise en compte des éléments programmatiques, dans la hiérarchisation des objectifs et dans la sélection des outils de collecte de données (Kozica et al., 2015). De manière très pragmatique, ils vont stimuler une posture réflexive chez l'évaluateur et l'accompagner ainsi dans la construction opérationnelle de la méthodologie d'évaluation. En ce sens, le terme de « modèle » se confond souvent avec celui de « cadre » en ce qu'il permet d'organiser, étape par étape, le processus et les outils d'évaluation (Rootman et al., 2001).

Par ailleurs, parce qu'ils s'appuient sur des démarches de validation scientifique ou empirique, les modèles constituent un gage de rigueur de la démarche et des résultats obtenus (Fynn et al., 2020). Dès lors, cette assise n'est pas étrangère aux approches paradigmatiques que nous avons pu esquisser précédemment. Ainsi, les modèles rationnels, centrés uniquement sur l'efficacité et les résultats, sont progressivement évacués du champ de la PPS à la faveur de stratégies visant à embrasser le caractère contingent, complexe, processuel, multidimensionnel, et paradoxal de l'intervention (Contandriopoulos et al., 2011).
Depuis les années 1970, les travaux universitaires comme la littérature grise font état de l'existence d'une multitude de modèles d'évaluation utilisés en PPS (O'Connor-Fleming et al., 2006 ; Valente, 2002), si bien qu'il peut être difficile pour tout praticien de s'y retrouver (Rootman et al., 2001). Pour autant, comme le soulignent O'Connor-Fleming et al. (2006), les acteurs de la PPS doivent admettre qu'il n'existe probablement pas un modèle d'évaluation idéal ou définitif pour leur intervention. L'enjeu pour ces derniers devient alors de sélectionner le modèle d'évaluation le plus utile et le plus adapté aux fins du projet et aux parties prenantes. En ce sens, afin d'éclairer les choix méthodologiques opérés dans la présente étude, nous avons choisi de nous arrêter sur quatre modèles qui donnent à voir différentes approches de l'évaluation.

## 2.2. Les principaux modèles d'évaluation

La pléthore des modèles existants tient en effet aux finalités de l'évaluation, ainsi qu'à des postulats et des stratégies méthodologiques distincts. On peut ainsi distinguer des cadres qui visent à guider le développement et l'évaluation d'une intervention (Green & Kreuter, 2005) tandis que d'autres sont davantage focalisés sur l'évaluation elle-même (Gaglio & Glasgow, 2012). Par ailleurs, bien qu'elle puisse se nuancer, on observe une inclinaison de certains modèles à être davantage centrés sur une approche conceptuelle, lorsque d'autres se déploient de manière plus opérationnelle (Kozica et al., 2015).

### 2.2.1. Le modèle PRECEED/PROCEDE : une structure globale et théoriquement robuste

Cadre conceptuel souvent cité en référence en santé publique, le modèle PRECEED-PROCEDE (Figure 2) agit en tant que structure globale. Partant des résultats escomptés, il se réfère à l'idée qu'une analyse sociale, éducative et écologique approfondie (PRECEED) doit précéder l'élaboration du programme, et que l'évaluation est nécessaire pour mesurer l'efficacité (PROCEED). En d'autres mots, l'évaluation n'est pas ici une activité conçue isolément, mais bien une étape intégrée de manière cohérente à la programmation (Green & Kreuter, 2005).

La phase PRECEED, première composante du modèle, comprend quatre étapes diagnostiques nécessaires à la planification (Green & Kreuter, 2005) :

- Le diagnostic social : il vise, au travers de données quantitatives et qualitatives, à appréhender les problématiques sociales qui affectent la qualité de vie des populations ciblées, ainsi que les freins et leviers aux changements de comportements ;
- Le diagnostic épidémiologique : il permet d'identifier les problèmes prioritaires de santé des cibles, ainsi que les facteurs biologiques, comportementaux et environnementaux qui les sous-tendent ;

- Le diagnostic écologique et éducationnel : il va chercher à déterminer les facteurs prédisposants, de renforcement et facilitants que les opérateurs vont pouvoir mobiliser pour amorcer un processus de changements comportementaux ;

- Le diagnostic administratif et politique : il entend examiner les forces, faiblesses et besoins aux niveaux institutionnel, budgétaire, organisationnel – interne et externe – et réglementaire.

Une fois chacune des étapes réalisées de manière successive, s'ensuit alors la phase PROCEED qui intègre :

- La mise en œuvre opérationnelle de l'action/du projet ;

- L'évaluation de processus : elle va démarrer dès la mise en œuvre et va chercher à en vérifier la conformité en fonction du protocole et des objectifs de l'action. Cette étape permet en outre d'identifier les points d'amélioration et d'agir in itinere ;

- L'évaluation des résultats : elle vise à mesurer les effets immédiats du programme sur les comportements et les facteurs environnementaux ;

- L'évaluation des effets : elle cherche, de manière plus globale, à caractériser les effets de l'action sur la santé et la qualité de vie de la communauté.

A l'origine conçu comme correspondant à la partie dite « PRECEED » (Green, 1974), puis comme « PROCEDE » (Green et al., 1980) et enfin comme cadre complet en 1991 (Green & Kreuter, 1991), le modèle n'a cessé d'évoluer au gré de ses usages.

En effet, s'il reste un cadre théorique très mobilisé en PPS, c'est pour sa capacité à aider les opérateurs à analyser les situations, concevoir ou mettre en œuvre des programmes de santé efficaces (O'Connor-Fleming et al., 2006). Les différents fondements théoriques qu'il convoque (Health Belief Model, théorie de l'apprentissage social, théorie du champ de forces, etc.), ainsi que son approche complète (socio-écologique, populationnelle et participative) sont notamment jugées particulièrement adaptées aux interventions de PPS (Kim et al., 2022 ; Porter, 2016).
<figure><img src="image_5.png" /><figcaption>**Figure 2 - Modèle de planification et d'évaluation PRECEDE-PROCEED**</figcaption></figure>

Toutefois, la principale critique adressée à ce modèle a trait à sa technicité et à sa lourdeur. Ainsi, parce qu'il est jugé complexe, chronophage et coûteux, ce cadre tend à être considéré comme peu adapté aux réalités logistiques et financières des opérateurs de PPS (Kozica et al., 2015; Porter, 2016). Ces derniers vont alors rechercher des cadres perçus comme plus accessibles.

### 2.2.2. Le modèle RE-AIM : un cadre multidimensionnel et pragmatique

Développé en 1999 par Glasgow et ses collaborateurs, le modèle RE-AIM fait partie des cadres les plus utilisés pour planifier et évaluer la mise en œuvre d'interventions de santé publique visant les changements de comportements (Glasgow et al., 2019; D'Lima et al.,
2022), et notamment pour les interventions portant sur l'activité physique et l'obésité (Gaglio et al., 2013). A l'origine, ce modèle est né du besoin d'encourager les décideurs et les opérateurs à accorder plus d'attention aux facteurs de validité interne comme externe des actions de la promotion de la santé et de soins de santé. En ce sens, il a été en partie développé dans la perspective de mesurer l'impact des interventions « en condition réelle » (i.e. approche pragmatique), en tenant alors compte du contexte, ainsi que de la complexité et de la multi-dimensionnalité des interventions en santé publique (Glasgow et al., 1999).

Partant, ce modèle postule que l'évaluation de l'impact de l'intervention sur la santé des populations repose sur l'interaction entre son exécution et cinq dimensions :

- La portée (Reach) est une mesure individuelle de la participation des personnes ciblées. Elle se rapporte au pourcentage et aux caractéristiques des membres d'une population définie qui bénéficient du programme ;

- L'efficacité (Effectiveness) vise à déterminer l'impact de l'intervention sur les résultats individuels eu égard aux objectifs identifiés, mais également de manière plus large (qualité de vie, etc.) en appréhendant notamment la variabilité entre les sous-groupes (i.e. homogénéité ou hétérogénéité). Il est à ce titre encouragé de prévoir la mesure et l'intégration des éventuels effets négatifs potentiels ;

- L'adhésion (Adoption) est une mesure organisationnelle qui permet de saisir le nombre absolu, la proportion et les caractéristiques des acteurs qui adoptent l'intervention. Elle permet d'identifier qui participe au programme, dans quel contexte et pourquoi ;

- La mise en œuvre (Implementation) permet d'analyser si le programme a été réalisé comme prévu, à la fois du point de vue de la conformité organisationnelle et programmatique, mais également sous l'angle de la maîtrise des coûts ;

- Le maintien (Maintenance) entend mesurer les effets à long terme de l'action sur les bénéficiaires (six mois ou plus après la fin de l'action). Dans une approche organisationnelle, cette dimension peut également permettre d'analyser l'intégration du projet dans les pratiques internes.

Bien que davantage mobilisé dans le domaine de la recherche et dans une approche quantitative, ce modèle se caractérise par sa démarche d'amélioration continue. En effet, alors que ses concepteurs reconnaissent et partagent le constat d'un usage souvent partiel des
différentes dimensions du modèle (Kessler et al., 2013), ils se sont attachés à enrichir et faire
évoluer ce dernier dans une perspective plus pragmatique (Glasgow et al., 2019).

Dès lors, les recommandations d'utilisation vont dans le sens d'une plus grande flexibilité et d'une adaptation aux contextes et aux objets d'évaluation, encourageant une approche orientée vers des méthodes qualitatives et mixtes (D'Lima et al., 2022). Plus encore, au-delà du modèle conceptuel, Glasgow et ses associés ont développé un ensemble de ressources – disponibles en ligne notamment – qui permettent, de manière très opérationnelle, de guider des évaluateurs, même novices : exemples de grilles de questions d'évaluation, d'indicateurs de mesure, listes de contrôle des dimensions, etc. (Kessler et al., 2013 ; Kozica et al., 2015).

Ainsi, au travers d'une analyse systématique, Kwane et al. (2019) ont montré que RE-AIM est un cadre pertinent, facile à appliquer et à mettre en œuvre pour les opérateurs de programmes de PPS souhaitant évaluer l'impact de projets complexes et favoriser la réalisation de projets efficaces.

Cependant, par sa linéarité, ce modèle est enclin à négliger l'épaisseur des processus des interventions, en délaissant les logiques d'ajustement des interventions, alors même qu'elles constituent des éléments qui peuvent affecter l'efficacité de l'intervention (Reilly et al., 2020). Là encore, dans une perspective d'amélioration, Feldstein et Glasgow (2008) ont complété ce cadre en proposant d'y adjoindre le modèle PRISM (Robust implementation and sustainability model) qui vise à davantage prendre en compte les facteurs contextuels qui interagissent avec l'intervention, ainsi que les stratégies de mise en œuvre.

La force des deux modèles que nous venons de présenter tient à leur ancrage dans le domaine de la recherche et la rigueur méthodologique qu'ils mobilisent. Pour autant, bien que valorisées et adaptées, ces approches peuvent être évacuées par les praticiens de PPS, à la faveur de guides ou d'outils plus didactiques.

### 2.2.3. La cadre du Centers for Disease and Control and prevention (CDC) : une construction logique de l'évaluation

Le Centers for Disease and Control and Prevention a développé, dès 1999, un cadre pratique permettant d'élaborer un plan d'évaluation écrit, cohérent avec les objectifs du programme, réaliste en termes de ressources et utile pour les parties prenantes (Kidder et al.,
2024). Il repose sur le postulat qu'une évaluation efficace des programmes doit ainsi permettre de garantir des résultats utiles, réalisables, éthiques et précis.

Si ce cadre relève davantage d'un guide méthodologique de planification de la démarche évaluative, il nous paraît intéressant de l'aborder dans la mesure où la modélisation de l'évaluation y devient davantage le fruit d'une construction logique et adaptée au programme que d'un modèle conçu *ex nihilo* (Rootman et al., 2001).

Dès lors, le CDC préconise de suivre six étapes interreliées entre elles (Figure 3) :

- Etudier le contexte : il s'agit ici de s'attacher à identifier diverses caractéristiques du cadre d'une évaluation, telles que la localisation et l'environnement, les parties prenantes et les jeux d'acteurs, les circonstances d'émergence de l'intervention et de l'évaluation. En somme, cela nécessite d'examiner si un programme est prêt à être évalué, de cartographier les acteurs impliqués, de documenter les capacités d'évaluation et de mesurer la volonté de procéder à une évaluation ;

- Décrire le programme : la constitution d'un modèle logique de l'intervention est identifiée comme une étape essentielle. Par la schématisation globale du programme, elle permet d'expliciter la chaîne causale entre le contexte, les ressources, les activités, les produits, les résultats à court, moyen et long termes. De ce fait, cette modélisation facilite la compréhension commune entre les parties prenantes et sert de base à la formulation des questions d'évaluation (Champagne et al., 2011) ;

- Elaborer le plan de l'évaluation : en fonction des éléments ainsi collectés en amont, il s'agit d'identifier les questions prioritaires, les types d'évaluation visés, les indicateurs, les sources de données et les méthodes d'analyse adaptés ;

- Collecter des données crédibles : cette étape doit s'asseoir sur des critères de rigueur, de crédibilité et d'accessibilité. A cet égard, le CDC propose l'usage d'indicateurs SMART (spécifiques, mesurables, atteignables, réalistes, temporels), et met en avant une approche méthodologique mixte (i.e. quantitative et qualitative) selon le contexte ;

- Justifier les conclusions : l'analyse des données doit aboutir à des conclusions justifiées, interprétables et directement utilisables ;

- Assurer l'utilisation et la diffusion des résultats : le CDC met en avant l'importance d'anticiper les livrables et les modalités de diffusion des conclusions en fonction des attendus et des objectifs définis en amont de l'évaluation. C'est une occasion de souligner l'importance d'adapter l'activité de restitution aux publics ciblés.
Ce cadre a été largement utilisé et validé par la communauté de scientifiques et de praticiens dans de nombreux programmes de PPS (Kidder & Chapel, 2018). Il est ainsi apprécié pour sa praticité, sa faculté à guider les opérateurs et sa capacité à garantir des évaluations éthiques et rationnelles (utilité, faisabilité, adéquation et précision). Parallèlement, il se démarque par l'importance qu'il accorde à la phase préparatoire de l'évaluation. En cela, cette démarche rappelle les principes de l'étude d'évaluabilité que Soura et al. (2019, p.3) définissent comme un « *processus rigoureux de collecte et d'analyse de données permettant de s'assurer que l'évaluation du programme est réalisable et que celle-ci pourra produire des résultats satisfaisants et utiles aux parties prenantes* ».

<figure><img src="image_6.png" /><figcaption>**Figure 3 - Cadre d'évaluation du CDC**</figcaption></figure>

Cependant, bien qu'il puisse sembler séduisant par son apparente facilité, il reste très général et se révèle, à l'usage, moins adapté à des évaluateurs novices. En effet, s'il cherche à accompagner de manière pertinente et pragmatique la construction des objectifs et des questions d'évaluation par le recours à un modèle logique, il n'en reste pas moins que, dans les faits, la détermination des critères et des indicateurs demeure complexe. En outre, sa complétude va de
pair avec une mobilisation de ressources conséquentes, ce qui peut constituer un frein à son appropriation (Kozica et al., 2015).

### 2.2.4. Le cadre PREFFI 2.0. : un outil opérationnel de planification et d'amélioration continue

L'outil PREFFI a été développé en 1999 par le National Institute for Health and Care Excellence (NIGZ) (Molleman, 1999). Sa particularité tient aux ambitions et aux méthodes qui ont présidé à son élaboration. Ainsi, visant l'amélioration de l'efficacité des interventions de promotion de la santé par la mobilisation d'un regard critique, il a été conçu en s'appuyant sur les recommandations institutionnelles, les connaissances scientifiques, mais également sur des échanges avec les opérateurs de terrain (Molleman, 2004). Ce processus de construction partagée s'illustre également dans ses évolutions. En effet, sa première version dite « Preffi 1.0. » a été amendée dans le cadre d'un groupe de travail dédié, aboutissant au Preffi 2.0., conçu comme un panel d'outils opérationnels et pédagogiques pour aider les praticiens à concevoir et évaluer leurs interventions.

De manière très opérationnelle, il appréhende le processus de planification au travers de cinq thèmes : l'analyse du problème, l'analyse de déterminants, la conception de l'intervention, la mise en œuvre et l'évaluation. Chacune de ces étapes est déclinée en indicateurs qui sont intégrés sous la forme de questions auxquelles l'opérateur doit répondre par "oui" ou "non". L'appréciation de chaque critère se fait au moyen d'un système de notation qui permet une appréciation spécifique et/ou globale du projet (Molleman, 2006). Pour ce faire, plusieurs outils et supports sont mis à la disposition des évaluateurs afin de les accompagner de manière très pratique : des grilles de pointage des critères (qualité, opérationnalisation...) ; un schéma du modèle (Figure 4) pour faciliter la compréhension de la logique globale de ce dernier ; un manuel d'utilisation complété d'un guide plus exhaustif.

Selon Peters et al. (2003), l'approche rigoureuse proposée permet d'envisager l'évaluation non pas simplement comme une analyse *ex post* de l'efficacité attendue des interventions, mais bien comme une approche systématique intégrant les éléments relatifs à la surveillance du processus. En sus, les auteurs soulignent que, par la fourniture d'instructions claires et détaillées, Preffi 2.0. cherche à rendre les évaluations plus cohérentes, plus structurées et donc plus fiables.
<figure><img src="image_7.png" /><figcaption>**Figure 4 - Modèle de Preffi 2.0.** (Molleman, et al., 2004)</figcaption></figure>

Une étude de fiabilité souligne que Preffi 2.0 est un outil utile et apprécié pour structurer l'évaluation et identifier les points d'amélioration dans les projets de PPS. Elle souligne toutefois la nécessité de porter une attention particulière à la qualité des descriptions de l'action, au nombre – au moins deux – ainsi qu'à l'expérience des évaluateurs, et enfin, à la discussion collective dans le mise en application du modèle. Le besoin d'expertise constitue ainsi un axe de travail notable dans les perspectives d'amélioration du modèle : expertise en ligne, accompagnement renforcé des praticiens, etc. (Molleman, 2006). Dès lors, son usage en France se limite le plus souvent à une liste de vérification mobilisée lors de la phase préparatoire des projets, sans proposer de dispositif d'accompagnement en matière d'amélioration continue de la qualité des interventions (Hamel et al., 2010).
Nous venons de voir que les modèles d’évaluation, par leurs fondements empiriques ou théoriques, permettent d’asseoir la légitimité de la démarche et de garantir la solidité des résultats escomptés. L’analyse de ces modèles témoigne de différentes approches et modes de faire (i.e. approche globale ou approche centrée sur l’évaluation, outils conceptuels ou outils opérationnels) et les caractéristiques de chacun d’entre eux mettent en exergue des postulats éclairants pour la pratique évaluative : intégrer l’évaluation dès l’initiation d’un programme (PRECEDE-PROCEED, RE-AIM), promouvoir une approche pragmatique (RE-AIM, CDC, Preffi 2.0.), procéder de manière incrémentale dans la planification et la mise en œuvre de l’évaluation (CDC), proposer des outils opérationnels pour accompagner la mise en œuvre de l’évaluation (Preffi 2.0., RE-AIM). En outre, on observe dans ce domaine l’inclinaison des modèles à s’adapter et à évoluer, dans une recherche d’équilibre permanent entre théorie et pratique, sinon de flexibilité méthodologique (Kozica et al., 2015 ; Carne et al., 2019). Ainsi, le choix du modèle ne saurait être dissocié d’un travail diagnostic permettant de justifier l’approche envisagée et d’assurer un déploiement opérationnel viable et optimal du processus évaluatif.

A cet égard, c’est à la lumière de ces enseignements que nous avons appréhendé l’expérience de la réalisation d’un protocole d’impact du dispositif *Pass ’Sport Santé*. Par cette étude de cas, nous entendons en effet explorer concrètement la façon dont s’opère le déploiement d’une telle démarche.
### III. Méthodologie

Les choix méthodologiques opérés dans le cadre de la réalisation du protocole d'évaluation d'impact à trois ans du dispositif *Pass 'Sport Santé* ont été guidés par la nécessité de garantir rigueur méthodologique, tout en s'adaptant aux contraintes et réalités de terrain. La démarche a ainsi donné lieu à un travail important de collecte de données internes nécessitant la mobilisation de la Cheffe de projets Promotion Santé (DSP), des équipes de la DSP et des partenaires opérationnels (Direction du Sport, Association Sens & Savoirs, Dapap 69, RePPOP LyRRA). En outre, ce travail a bénéficié de l'expertise en méthodologie d'évaluation de *Promotion Santé* et de l'Observatoire Régional de Santé (ORS) dans le cadre du dispositif *Emergence*.

Dans une perspective pragmatique donc, la méthode de travail a suivi une structuration logique qui s'articule autour d'une phase préparatoire à visée diagnostique, et d'une phase d'élaboration du protocole. Ainsi, une analyse précise du cadre, du contexte et des ressources a permis de nourrir et d'orienter le processus de modélisation et la justification des choix méthodologiques.

#### 3.1. Les préalables à la construction d'une méthodologie rigoureuse : la phase préparatoire

Tout projet nécessite une analyse *a priori* de la situation et des besoins (Grignard et al., 2008). Ainsi, au travers d'une démarche assimilable à une étude d'évaluabilité, nous avons procédé à une collecte et une analyse de données permettant d'assurer la faisabilité de l'évaluation et la production de résultats satisfaisants (Soura et al., 2016). L'objectif étant d'aboutir *in fine* à la définition d'un schéma stratégique pour engager au mieux la programmation de notre démarche. Pour ce faire, nous nous sommes inspirée des références visant à guider la planification de toute approche évaluative tels que le cadre du CDC (Kidder et al., 2024) et, dans une moindre mesure, le guide « L'évaluation en sept étapes » (IREPS AURA & ORS AURA, 2023). Nous avons donc opéré par étapes pour interroger, de manière réflexive, le cadre de la commande, identifier et associer les parties prenantes, et faire un état des lieux des ressources disponibles.
### 3.1.1 Cadrage de la commande et définition des objectifs

Nous l'avons évoqué en introduction de ce travail, la présente mission découle initialement d'une commande de l'ARS qui souhaitait que la mise en place d'une convention pluriannuelle de financement soit assortie d'une évaluation d'impact du dispositif à trois ans. Si l'Agence a défini *a priori* le type d'évaluation attendu et les axes prioritaires à prendre en compte, il a néanmoins été nécessaire d'affiner les attendus et les enjeux sous-jacents. C'est donc par l'organisation et la mobilisation de temps de travail dédiés que le cadrage de la commande a pu s'affermir.

Une première réunion organisée avec l'ARS a donc permis de clarifier les grandes orientations du projet et les attendus en termes de *process* de travail, de critères d'évaluation et de calendrier de projet.

En parallèle plusieurs réunions de travail, en collectif ou en bilatéral, ont été menées avec la Cheffe de projets Promotion Santé en charge du dispositif PSS, le Chef de service, ainsi qu'avec les partenaires opérationnels. Il s'agissait ici de créer des espaces d'échange et de partage pour discuter autour des grandes orientations alors fixées. L'objectif étant, *in fine* et dans une logique participative, de favoriser une vision globale des besoins et de faire émerger des perspectives de travail en adéquation avec les réalités du terrain. Plus encore, ce travail a permis d'affiner les choix sur les critères retenus pour l'évaluation.

Ces éléments nous ont ainsi permis de réaliser un document de cadrage qui a été présenté et discuté en réunion avec Promotion Santé et l'ORS.

En reprenant les éléments de contexte, la description du dispositif, en définissant précisément les objectifs, la typologie et les grands critères d'évaluation, ce document a conduit à disposer d'une feuille de route claire et partagée. En outre, il a également suscité l'esquisse d'une cartographie des parties prenantes.

### 3.1.2. Cartographie des parties prenantes et définition de la gouvernance

Le déploiement du projet a été essentiellement organisé autour de points hebdomadaires réalisés avec la Cheffe de projets. Pour autant, afin de réaliser un suivi rigoureux de la démarche, d'en assurer le *reporting* et de solliciter les arbitrages nécessaires, l'organisation du projet s'est articulée autour d'un schéma de gouvernance (Figure 5). Ce dernier a permis de
mettre en lumière les instances de travail et de décision, ainsi que de lister les parties prenantes, leur positionnement et leur rôle dans la démarche.

Ce faisant, cette cartographie du rôle et des missions de chacun a contribué à la préfiguration des choix d'organisation qui seront opérés pour la mise en œuvre opérationnelle de l'évaluation. Etant piloté en interne, avec le concours d'acteurs extérieurs, elle relève donc d'une contribution mixte (IREPS AURA & ORS AURA, 2023).

<figure><img src="image_8.png" /><figcaption>**Figure 5** - Schéma de gouvernance, évaluation du dispositif Pass 'Sport Santé</figcaption></figure>

### 3.1.3. Elaboration d'un corpus de ressources

Une fois le cadrage et les parties prenantes définis, nous avons procédé à un inventaire des ressources disponibles et à la collecte de données complémentaires. Cette étape, incontournable pour assurer la faisabilité de l'évaluation, s'inscrit dans un double objectif. D'une part, elle permet de disposer d'une vue globale des outils, matériaux, moyens disponibles
et des contraintes à prendre en compte. D'autre part, elle concourt à garantir la capacité à « faire » l'évaluation, et à assurer l'utilisabilité des données et des résultats (Kidder et al., 2024).

Aussi, les différentes ressources qui ont appuyé ce travail ont été catégorisées selon leur typologie, leur source et leur utilité (Annexe 1).

Cela comprend d'une part les éléments de littérature scientifique relative à l'évaluation en PPS et, d'autre part, l'ensemble des apports utiles à l'appréhension de la problématique du surpoids et de l'obésité infantiles. Pour ce faire, nous avons procédé à une recherche documentaire *via* trois bases de données et moteurs de recherche scientifiques (PubMed, EBSCO et Google Scholar).

Par ailleurs, nous avons mobilisé les données internes, telles que les comptes rendus de réunion, les bilans des actions, les rapports d'évaluation annuelle, les tableaux de bord de l'intervention, les outils utilisés pour les évaluations annuelles, etc. Lorsque les données paraissaient incomplètes ou peu claires, nous avons approfondi l'investigation par des échanges avec la Cheffe de projets et les différents partenaires.

En définitive, ce processus de cadrage, en ce qu'il offre une analyse des besoins et des enjeux de la démarche, engage à organiser le travail des parties prenantes, et inventorie les données et ressources mobilisables, nous a permis de nourrir le travail de modélisation de la démarche évaluative.

## 3.2. Elaboration de la méthodologie d'évaluation

La détermination de la méthodologie d'évaluation a là aussi procédé d'une analyse rigoureuse qui a nécessité, en première instance, l'explicitation du cadre logique du programme. Mis en perspective avec une approche réflexive sur les éléments de cadrage précités, ce travail a alors permis d'étayer les choix de modélisation opérés, ainsi que les méthodes de collectes préconisées.

### 3.2.1. Description des mécanismes et cibles du programme : le cadre logique

Afin de clarifier notre propos méthodologique, il nous a paru essentiel de disposer d'une vue d'ensemble des mécanismes d'action du programme *Pass 'Sport Santé*.

Pour ce faire, nous avons procédé à la reconstitution du cadre logique. Cette étape, que l'on retrouve au principe de bon nombre de recommandations en matière d'évaluation (Glasgow et
al., 1999 ; IREPS AURA & ORS AURA, 2023 ; Kidder et al., 2024) aide à disposer d'une vue d'ensemble des multiples éléments qui interviennent dans le déroulement du programme et, plus encore, des interactions qui se jouent entre les activités du programme, son contexte et les changements que le dispositif cherche à obtenir sur tel ou tel public.

S'il est généralement conseillé de réaliser ce cadre logique en amont de tout projet, force est de constater qu'il n'était pas formulé de manière explicite. Aussi, nous en avons donc proposé une schématisation inspirée des recommandations du CDC (Kidder et al., 2024, pp.21-25).

Parce qu'il permet de mettre en lumière les logiques du dispositif et les liens de causalité entre actions et effets attendus, ce cadre logique nous a également amenée à identifier et préciser les concepts théoriques mobilisés.

### 3.2.2. Elaboration du modèle d'évaluation

#### 3.2.2.1. Justification

Après étude des différents modèles d'évaluation et au regard des éléments d'analyse présentés ci-dessus, nous avons choisi de mobiliser le cadre RE-AIM pour élaborer la méthodologie d'évaluation. En effet, ce modèle répond à différents enjeux et objectifs identifiés dans le cadre de notre travail.

En premier lieu, nous l'avons vu, RE-AIM est largement reconnu et utilisé pour des évaluations d'impact dans le domaine de la santé publique. Son assise scientifique et les nombreuses études dont il a fait l'objet permettent d'offrir un cadre d'analyse rigoureux et étayé scientifiquement. Il offre donc un appui solide pour légitimer les conclusions auprès du commanditaire, mais également pour répondre à l'enjeu de valorisation et de capitalisation des résultats.

Par ailleurs, s'il est fréquemment mobilisé pour évaluer les programmes de prévention de l'obésité (Kozica et al., 2015), c'est notamment pour sa capacité à appréhender de manière systémique des dispositifs complexes (Oude Luttikhuis et al., 2015). Ainsi, étant entendu que le dispositif *Pass 'Sport Santé* entend agir sur plusieurs cibles – les enfants et leurs familles –, par divers leviers d'action interdépendants – activité physique, alimentation, accès aux soins–, et qu'il est indéniablement assujetti à des facteurs internes comme externes, RE-AIM offre un cadre global et systématique permettant de déterminer l'impact de notre dispositif par la mesure et l'analyse croisée de la portée, de l'efficacité, de l'adoption, de la mise en œuvre et du maintien.
La nature des dimensions ainsi proposées est également apparue particulièrement pertinente dans la différenciation entre la mesure de l'efficacité et celle du maintien. A notre sens, cette distinction qui ne relève ni de la même temporalité, ni des mêmes indicateurs, offre une finesse dans l'appréhension des résultats à court terme d'une part, et des effets à plus long terme d'autre part.

A noter que le choix de ce modèle a été présenté à Promotion Santé et à l'ORS qui en ont validé la pertinence. En outre, compte tenu des points d'attention que nous avons pu identifier dans la revue de littérature quant à l'usage de ce modèle, nous avons veillé à procéder avec méthode dans la constitution des dimensions.

### 3.2.2.2. Elaboration des dimensions, des critères et des indicateurs

L'élaboration des dimensions et la détermination des critères et indicateurs afférents ont été guidées par la liste de contrôle proposée sur le site RE-AIM et développée par le National Cancer Institute (Annexe 2). Cet outil, conçu comme un cadre global, non exhaustif et non limitatif, permet avant tout de garantir aux évaluateurs une cohérence dans la prise en compte des dimensions du modèle. Aussi, en s'attachant à respecter cette logique, nous avons pris soin de l'adapter et de le compléter au regard des spécificités de notre étude. Par la suite, à chaque dimension du modèle, ont été attribués des critères et des indicateurs.

La grille ainsi constituée nous a permis d'identifier la méthode de collecte préconisée, ainsi que les sources pertinentes de données : celles disponibles et celles à outiller. L'ensemble de ces éléments a été présenté à Promotion Santé et l'ORS qui ont préconisé l'ajout de quelques indicateurs complémentaires. Une fois validés, ils ont été compilés dans un tableau récapitulatif offrant une vue d'ensemble de la modélisation ainsi proposée.

### 3.2.2.3. Définition de la méthode et des outils de collecte des données

La définition de la méthode de collecte s'est appuyée à la fois sur les prescriptions du modèle RE-AIM, sur l'analyse des dimensions investiguées et sur les recommandations de Promotion Santé et de l'ORS.

En outre, la demande de l'ARS étant de disposer d'une perspective longitudinale, nous avons choisi d'opérer à une étude multi-cohortes menée sur une période de trois ans telle qu'elle sera présentée dans les résultats. L'objectif étant de disposer d'un design permettant d'évaluer l'impact du programme de manière longitudinale à court et moyen termes, tout en lissant la charge opérationnelle de l'évaluation.
Ainsi, l'établissement de la méthode de collecte de données a été orientée par la nécessité de garantir la pertinence des résultats attendus, eu égard aux contraintes en termes de ressources observées au sein de la structure. Considérant que plusieurs outils et méthodes de collecte étaient déjà efficients et adaptés à notre modèle, nous avons procédé à une réadaptation de ces derniers. En outre, la nécessaire complétion méthodologique, notamment liée au suivi de cohortes, a exigé l'élaboration d'outils de mesures quantitatives complémentaires et l'adjonction de méthodes de recueil de données qualitatives.

Afin de garantir la viabilité et la pertinence des outils ainsi créés ou retravaillés, leur construction s'est à la fois appuyée sur des modèles d'outils validés scientifiquement et, lorsque que ce n'était pas possible, ils ont été identifiés et élaborés avec le concours des experts de Promotion Santé et de l'ORS.

Conformément aux principes d'adaptation culturelle des instruments (Beaton et al., 2000), le langage des questionnaires et de la grille d'entretien, leur durée et leur mode d'administration ont été ajustés afin de garantir la compréhension par l'ensemble des bénéficiaires et d'optimiser le taux de réponse. En outre, les questionnaires de bilan ont été préalablement testés, en condition réelle, auprès des enfants et des parents ayant suivi le dispositif en 2024-2025, soit un échantillon d'environ 40 familles. L'objectif étant d'éprouver la validité du contenu du questionnaire et de vérifier que l'ensemble des items étaient compréhensibles et crédibles pour la population enquêtée (Parizot, 2012).

Par ailleurs, les indicateurs et outils de mesure de la corpulence ont été établis en conformité avec les recommandations nationales et internationales (OMS, 2006).

Enfin, la structure a souhaité que les outils d'analyse des résultats ne soient pas développés afin de laisser ce travail au stagiaire qui interviendra dans la phase d'analyse. Pour autant, dans la mesure où il était nécessaire d'accompagner l'appréhension de ce travail, des préconisations d'analyse ont été intégrées au rapport final (Annexe 4).

### 3.2.2.4. Sécurisation des données personnelles

Au regard de la nature des données qui ont vocation à être collectées et traitées – données personnelles et données de santé –, et conformément à l'article 44 de la loi n° 78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, ainsi qu'à l'article 9.2 du Règlement Général de Protection des Données (RGPD), l'ensemble des formalités visant à garantir la protection des données personnelles a été mis en place.
Si plusieurs mesures étaient déjà ancrées au sein du service, il a fallu analyser, réinterroger et retravailler les protocoles. Cette démarche a été réalisée au travers de trois temps de travail avec la Déléguée à la protection des données de la Collectivité, et avec l'appui des ressources disponibles sur le site internet de la Commission Nationale de l'Informatique et des Libertés (CNIL, 2024).

### 3.2.3. Planification opérationnelle

Afin de déterminer les ressources nécessaires, le calendrier du projet et d'identifier les rôles de chacun dans le déroulement de l'évaluation, nous avons eu recours à plusieurs outils propres à la gestion de projet.

#### 3.2.3.1. Identification et affectation des tâches

Un inventaire précis des tâches a d'abord été réalisé au moyen de l'outil *Work Breakdown Structure* (WBS) proposé par le *Project Management Institute* (PMI, 2017). Cette technique a mené à l'élaboration d'un organigramme hiérarchisant l'ensemble des tâches afin d'en avoir une vue exhaustive (Annexe 3).

Partant, nous nous sommes appuyée sur la matrice RACI pour établir un schéma fixant les responsabilités de chacune des parties prenantes dans l'élaboration des tâches du projet (PMI, 2017). Pour garantir la lisibilité, nous avons ici choisi d'extraire uniquement les grandes catégories de tâches à mener.

C'est à partir de ce travail préalable que nous avons pu réaliser une estimation des ressources du projet.

#### 3.2.3.2. Evaluation des ressources nécessaires

Afin d'évaluer les ressources nécessaires à la mise en œuvre de l'évaluation, nous avons procédé par méthode analogique. De manière agile, nous nous sommes ainsi appuyée sur les ressources, notamment humaines, effectivement mobilisées lors des projets précédents et retranscrites dans les bilans annuels. En procédant à un travail comparatif avec la liste des tâches de notre projet, nous avons donc ciblé les différences à prendre en compte et réalisé une estimation sur la base des écarts ainsi évalués.
### 3.2.3.3. Elaboration du calendrier : le diagramme de Gantt

Reprenant la physionomie du diagramme de Gantt, le calendrier de la démarche a été réalisé sous format *Excel*. Ce planning reprend l'ensemble des éléments construits au travers des outils WBS et RACI, en y insérant les variables temporelles. Il offre ainsi une vue dans le temps des tâches à mener et des acteurs impliqués.
# IV. Résultats

Conformément aux objectifs de la mission et aux choix méthodologiques susmentionnés, les résultats ici présentés regroupent l'ensemble des livrables du projet. Si ces éléments ont donné lieu à un rapport de synthèse final (Annexe 4), nous entendons ici rendre compte de manière exhaustive des différents outils et des éléments produits à dessein de cadrer la commande, d'expliciter la méthodologie, de pourvoir la mise en œuvre de la collecte de données, de planifier l'évaluation, de définir les modalités de reddition des comptes et, enfin, d'ouvrir sur les perspectives et recommandations.

## 4.1. Le document de cadrage

Le document de cadrage entend poser les bases de la démarche évaluative en définissant de manière claire et précise le contexte, les objectifs, le périmètre, les contraintes et les parties prenantes. Il permet de s'assurer que tous les acteurs partagent, dès le départ, la même compréhension de l'évaluation. Fruit d'un travail d'analyse de données variées et de co-construction avec les acteurs et partenaires du programme, il est intégré au rapport final.

### 4.1.1. Des orientations générales aux enjeux implicites de l'évaluation

Dans une perspective réflexive sur les finalités de l'évaluation, nous nous sommes attachée à interroger de manière approfondie les orientations de l'ARS d'une part, et à faire émerger les enjeux propres à la DSP d'autre part.

#### 4.1.1.1. Clarifier les demandes de l'ARS

La demande de l'ARS relève en première intention, et de manière explicite, d'une exigence de reddition de comptes. Pour autant, dès l'origine de la commande, l'Agence avait fixé des orientations qu'il convenait d'éclaircir et d'interroger.

Le commanditaire a en effet souhaité que la mesure d'impact du dispositif soit réalisée au travers de deux critères principaux : l'évolution en termes d'AP d'une part, et l'impact sur la prise en charge dans un parcours de soins d'autre part. Après échanges avec les partenaires, il est apparu que, loin d'être anecdotique, cette demande porte en creux le souhait d'interroger l'opportunité d'un financement du dispositif dans lequel les structures partenaires – RePPOP LyRRA et Dapap69 – sont soutenues par ailleurs par l'Agence pour les mêmes missions, mais
de manière isolée, et non coordonnée au sein d'un même programme. En d'autres termes, l'appréciation de la complétude du partenariat et de la coordination des acteurs est apparue comme un enjeu de l'évaluation.

Par ailleurs, l'ARS a également demandé à ce qu'un travail d'harmonisation de la méthodologie d'évaluation soit mené avec la Ville de Vénissieux, qui déploie le programme *Santé en MouVement*. Bien que différemment appréhendé, ce dernier dispose de similarités de conception avec le dispositif PSS. Cette attente renvoie donc aux missions de l'Agence qui, chargée de décliner les stratégies de santé publique au niveau local, va ici chercher à engager une harmonisation des pratiques évaluatives en vue de suivre, comparer et améliorer les actions locales. Sans remettre en cause la diversité des approches mises en œuvre par chaque Collectivité, cette exigence répond spécifiquement aux recommandations du PNNS qui entend favoriser une mise en cohérence des pratiques évaluatives aux échelles locale, régionale et nationale (Arrighi et al., 2009).

#### 4.1.1.2. Interroger les enjeux pour la structure et ses partenaires

Si les échanges avec l'ARS ont été relativement ténus, c'est notamment car le contexte budgétaire l'a contrainte à une suspension de la commande en cours de mission. En effet, lors d'une réunion intervenue en février 2025, l'ARS a notifié à la DSP le gel des CPOF pour une durée indéterminée. Après discussions, il a été collégialement acté de poursuivre malgré tout la démarche, en maintenant l'accompagnement de *Promotion Santé* et de l'ORS.

Loin d'être un coup d'arrêt au projet, cet évènement a été l'occasion d'engager une réflexion interne ainsi qu'un travail réflexif plus approfondi sur les intérêts de la DSP à poursuivre et embrasser cette démarche. Outre l'enjeu de pérennisation des financements, les ambitions d'amélioration et de valorisation du programme ont émergées de manière prégnante. Ce dernier point s'est notamment illustré par la perspective d'un éventuel dépôt de dossier auprès de la plateforme CAPS afin de concourir à la reconnaissance de la démarche et à la capitalisation des expériences à l'échelle nationale.

#### 4.1.2. Mettre en cohérence attentes, ressources, et lever les contraintes

Cette clarification de la commande, mise en perspective avec une analyse des ressources en présence (Tableau 2), a permis d'identifier et d'anticiper les contraintes à lever pour mener à bien l'évaluation. Synthèse de cette analyse, le schéma stratégique que nous avons réalisé
(Figure 6) permet de synthétiser les forces de la démarche, tout en mettant en lumière les points qui ont été soumis à arbitrage en vue de lever les contraintes dans le déroulement de la démarche.

<table><caption>**Tableau 2 – Analyse des ressources pour l'évaluation**</caption><thead><tr><th>Dimension</th><th>Type de ressources</th><th>Niveau de ressources</th><th>Observations</th></tr></thead><tbody><tr><td rowspan="3">Capacité individuelle</td><td>Compétences en évaluation</td><td></td><td>Compétences de base en interne<br>Expertise externe en support</td></tr><tr><td>Expérience en évaluation</td><td></td><td>Pratique d'évaluations annuelles</td></tr><tr><td>Valorisation de l'évaluation</td><td></td><td>Acceptation et intérêt perçu de l'évaluation</td></tr><tr><td rowspan="2">Capacité organisationnelle</td><td>Ressources financières</td><td></td><td>Pas ou peu de moyens supplémentaires affectés à l'évaluation</td></tr><tr><td>Moyens humains</td><td></td><td>Renfort stagiaire et mobilisation ORS/Promotion Santé</td></tr><tr><td rowspan="2">Matériaux</td><td>Données existantes</td><td></td><td>Nombreuses données quali/quanti (processus, résultats) déjà collectées annuellement</td></tr><tr><td>Outils existants</td><td></td><td>Outils de collecte existants mais limités. Idem pour les outils d'analyse</td></tr></tbody></table>

En termes de capacité individuelle, c'est-à-dire d'expertise et de prise en compte des enjeux de l'évaluation, les données annuelles témoignent de compétences en la matière. Couplé à l'apport d'une expertise externe – Promotion Santé et ORS AuRA – et de renforts spécialisés – stagiaire –, cela participe à recouvrer un niveau de compétences satisfaisant. En outre, les
temps de travail avec les différentes parties prenantes ont concouru à affermir une vision partagée et ancrée des enjeux de cette démarche.

Sur la capacité organisationnelle, il n'existe pas de budget proprement dédié à l'évaluation et les ressources financières se révèlent contraintes. De la même manière, les moyens humains restent limités et reposent en premier lieu sur la mobilisation de la Cheffe de projets et sur le recours à des renforts ponctuels en interne – stagiaires notamment – et en externe – *Promotion Santé* et ORS –. Sans remettre en cause la faisabilité de l'évaluation, les choix méthodologiques se devaient donc de prendre compte cette donnée.

En termes de matériaux, notons que l'important travail de collecte de données déjà réalisé chaque année constitue un vivier à valoriser et à mobiliser. En d'autres mots, plutôt que de multiplier les sources et les outils pour la collecte de données, il est apparu opportun de s'appuyer largement sur les *process* existants en les complétant et en les adaptant. Ce parti pris s'est avéré d'autant plus nécessaire que les ressources matérielles et humaines se sont révélées contraintes.

En effet, parce que l'évaluation d'impact est une démarche complexe et chronophage, nous avons cherché à optimiser la mobilisation de l'équipe d'évaluation, en fonction des compétences et de la disponibilité de chacun, et ce, dans une temporalité à trois ans.

A noter que cette temporalité, qui pose de manière plus aiguë la question de l'anticipation des impondérables – changements de poste, d'orientations stratégiques et financières, etc. –, a aussi soulevé une interrogation sur le suivi, à long terme, des participants. Dès lors, afin de maintenir le lien et de limiter la perte des participants au fil du temps, nous avons préconisé une sensibilisation de ces derniers dès l'inclusion dans l'étude, ainsi que des prises de contact annuelles.

Enfin, la demande de l'ARS d'harmoniser les critères et la méthodologie d'évaluation avec la Commune de Vénissieux s'est avérée complexe, dans la mesure où cette Collectivité faisait alors face à des contraintes organisationnelles et calendaires. Pour autant, la méthodologie a été conçue comme un cadre global, dont la logique et les dimensions investiguées entendent permettre, et de comparer de grands indicateurs généraux, et de les mettre en perspective avec les éléments programmatiques propres à chaque dispositif.
<figure><img src="image_9.png" /><figcaption>**Figure 6 - Schéma stratégique de l'évaluation du dispositif Pass'Sport Santé**</figcaption></figure>

### 4.1.3. La description du programme

La modélisation logique nous a permis de disposer d'une synthèse des mécanismes de changements sur lesquels se fonde l'action. Il s'agit d'un élément essentiel pour appréhender la façon dont les données, activités et résultats du programme contribuent à l'atteinte des résultats escomptés et dans quelle temporalité. En ce sens, l'objectif était de préfigurer la stratégie d'évaluation en cohérence avec la logique du programme.

En préalable à la construction du modèle logique, l'arbre à problèmes (Figure 7) nous a notamment amené à souligner l'importance de l'approche systémique qui préside à la mise en œuvre de l'action. En d'autres mots, la problématique du surpoids et l'obésité infantiles ne saurait déconsidérer l'action cumulative et dynamique de différents déterminants. De la même manière, cette schématisation illustre les conséquences plurielles et multi-niveaux que ce problème de santé engendre.
<figure><img src="image_10.png" /><figcaption>**Figure 7 - Arbre à problèmes – Dispositif Pass'Sport Santé**</figcaption></figure>

A partir de là, le modèle logique vient expliciter les leviers d'action ainsi mis en œuvre pour agir sur la problématique identifiée (Figure 8).
<figure><img src="image_11.png" /><figcaption>Figure 8 - Modèle logique du dispositif Pass 'Sport Santé</figcaption></figure>
Cette modélisation nous a alors éclairée sur plusieurs éléments utiles à la construction de notre démarche d'évaluation.

Le premier point relève des modèles théoriques sur lesquels s'appuie le dispositif. En prenant en compte différents niveaux d'intervention, il entend ainsi agir prioritairement sur l'onto-système – comportements, attitudes, connaissances – et sur le microsystème – famille et proches, médecin généraliste –, mais prend également en compte l'exo- et le macro-système en accompagnant, par exemple, à l'inscription dans un parcours de soins ou d'une AP. Dès lors, il rappelle le modèle socio-écologique (Bronfenbrenner, 1979) et implique une intégration globale des interactions entre ces strates en vue d'une évaluation cohérente. En outre, l'action sur les comportements individuels, qui reste centrale dans le dispositif, renvoie à la théorie du comportement planifié de Ajzen (1991) en ce qu'elle cherche à stimuler l'intention des bénéficiaires par une action sur l'attitude – comportements envers l'AP et l'alimentation –, les normes subjectives – croyances, connaissances – et le contrôle comportemental perçu – capacité d'action, pouvoir d'agir –. Là encore, cette approche nous a permis d'éclairer la construction des dimensions et des indicateurs de notre modèle d'évaluation.

En second lieu, cette logique systémique renvoie à la prise en compte de différentes cibles et, par là même, a pu notamment appuyer la nécessité d'inclure, et les enfants et les parents comme cibles de la démarche évaluative.

Troisièmement, le modèle a fait apparaître des facteurs d'influence exogènes, c'est-à-dire hors de portée de notre action. Dès lors, nous le verrons, la méthodologie s'est attachée à proposer des outils pour chercher à identifier, au moins en partie, ces facteurs.

Enfin, cette représentation illustre la temporalité et la progressivité des résultats attendus. Aussi, la présente évaluation s'inscrit dans la mesure des impacts à moyen terme, sans être décorrelée des résultats à court et moyen termes.

En conséquence, l'évaluation a ici été conçue en cohérence avec cette approche systémique et les modèles dont elle s'inspire. Ainsi, les objectifs ont été définis de manière à prendre en compte différents niveaux d'intervention, de cibles ou encore de temporalités.
### 4.1.4. Définition des objectifs

Considérant le caractère global du dispositif et en accord avec le commanditaire et les experts - ORS et Promotion Santé -, nous avons défini des objectifs qui répondent à la demande de cibler les principaux critères relatifs à l'AP et à l'inscription dans un parcours de soins, sans pour autant se départir d'une prise en compte des données relatives aux habitudes alimentaires et à l'évolution de la courbe de corpulence.

Dès lors, l'objectif général de la présente évaluation est d'étudier les impacts, sur trois ans, du dispositif Pass'Sport Santé sur la santé et les habitudes de vie (alimentation, activité physique) des bénéficiaires.

De manière spécifique, elle entend :

- Analyser la trajectoire des bénéficiaires en termes de comportements (AP et alimentation), de suivi médical et de statut pondéral ;

- Identifier et analyser les différences observées selon les caractéristiques des bénéficiaires et les modalités de mise en œuvre du programme ;

- Observer l'inscription et l'évolution des bénéficiaires dans un parcours de soins ;

- Identifier les facteurs internes comme externes influençant positivement et négativement les résultats ;

- Concourir, dans une perspective pragmatique, à l'élaboration de résultats capitalisables.

Pour ce faire, et de manière opérationnelle, il convient donc de :

- Mettre en œuvre un protocole permettant un suivi longitudinal des bénéficiaires ;

- Mobiliser un modèle d'évaluation cohérent avec l'approche systémique préconisée ;

- Recourir à des critères et des indicateurs cohérents, fondés et comparables ;

- Combiner des outils permettant la collecte de données quantitatives et qualitatives adaptées à la mesure d'impact ;

- Planifier et structurer la mise en œuvre de l'évaluation en conformité avec le contexte, les ressources et les moyens disponibles.

Ce travail de cadrage a permis de poser les bases des fondements méthodologiques et stratégiques de l'évaluation du dispositif Pass'Sport Santé. Il s'est attaché à mettre en cohérence les demandes institutionnelles, les ressources disponibles, et les réalités de terrain.
La formalisation d'une stratégie d'évaluation réaliste et pragmatique, alignée avec les capacités humaines, financières et organisationnelles, permet ainsi d'anticiper les contraintes à lever, tout en optimisant les moyens déjà mobilisés. Elle conduit en outre, par la modélisation du dispositif, à intégrer à la fois les dimensions individuelles, organisationnelles et contextuelles de l'intervention, en adéquation avec les modèles théoriques de référence. Dès lors, la définition des objectifs généraux, spécifiques et opérationnels traduit concrètement cette logique systémique.

En somme, ce travail constitue le socle sur lequel nous avons développé notre proposition méthodologique.

## 4.2. La note méthodologique

La note méthodologique réalisée vise à préciser les modalités retenues pour la conduite de l'évaluation du dispositif Pass'Sport Santé. En cela, elle constitue un support technique de référence, destiné à garantir la cohérence, la transparence et la rigueur de la démarche, par la définition des cibles et des modalités de suivi, la description de la matrice évaluative, la méthodologie de collecte et l'anticipation des biais.

### 4.2.1. Définition des critères d'inclusion et des modalités de suivi

En vue de mesurer l'évolution de certains indicateurs de santé et de comportements au fil du temps et en lien avec l'exposition au dispositif, la présente évaluation entend inclure le maximum de familles inscrites sur les années scolaires 2025-2026, 2026-2027 et 2027-2028, soit un effectif de 120 familles environ. Cependant, considérant que l'accès à des résultats probants est conditionné à un temps d'exposition minimal, seules les familles ayant suivi le dispositif de manière assidue pendant au moins deux mois seront incluses dans l'évaluation.

Par ailleurs, afin de mesurer les évolutions dans le temps, nous avons proposé le recours à un suivi de plusieurs cohortes d'enfants et de familles bénéficiaires (Figure 9).

Trois cohortes distinctes, correspondant chacune à une année de mise en œuvre du dispositif feront ainsi l'objet d'un suivi. Chacune d'entre elles sera évaluée à deux temps clés : à l'entrée dans le dispositif (T0) et un an après (T1). Ce double point de mesure permet une appréciation des effets du dispositif à court terme.
Au regard de ces résultats observés à T1 et afin de documenter les impacts à moyen terme, deux des trois cohortes bénéficieront d'un suivi prolongé : l'une sera évaluée à deux ans post-inclusion (T2), l'autre à trois ans (T2).

<figure><img src="image_12.png" /><figcaption>**Figure 9 - Description des cohortes pour l'évaluation d'impact du dispositif PSS**</figcaption></figure>

### 4.2.2. La matrice d'évaluation

Basée sur le modèle RE-AIM, la matrice évaluative décline les critères d'évaluation, les questions associées, les indicateurs mobilisés, ainsi que les sources de données ciblées (Annexe 5). Compte tenu de la dilatation du temps de collecte, nous y avons également adjoint les périodes de recueil.

La portée va chercher à identifier dans quelles mesures la population cible a été touchée (Tableau 3). Les indicateurs sélectionnés ont ainsi vocation à mettre en lumière les caractéristiques socio-démographiques (âge, sexe) et socio-économiques (lieu de résidence) des participants, ainsi que leur statut pondéral à l'inclusion (IMC, Z-score). Afin d'identifier d'éventuels facteurs freinant l'inscription, nous avons choisi de relever l'âge, le lieu de résidence et l'IMC/Z-Score des enfants orientés n'ayant finalement pas réalisé d'inscription.
<table><caption>**Tableau 3 - Dimension « portée » : critères et indicateurs**</caption><thead><tr><th>Critères Questions d'évaluation</th><th>Indicateurs</th><th>Sources de données</th><th>Temps collecte</th></tr></thead><tbody><tr><td rowspan="8">Le dispositif a-t-il permis de toucher les publics cible ?</td><td>Nombre d'enfants inscrits dans le dispositif*</td><td>Base de données des inscriptions</td><td>T0</td></tr><tr><td>Âge des enfants*</td><td>Base de données des inscriptions</td><td>T0</td></tr><tr><td>Sexe</td><td>Base de données des inscriptions</td><td>T0</td></tr><tr><td>Durée d'exposition au dispositif*</td><td>Tableaux de bord</td><td>T1</td></tr><tr><td>Taux d'inscription par rapport au total des enfants orientés*</td><td>Base de données des inscriptions</td><td>T0</td></tr><tr><td>Lieu de résidence*</td><td>Base de données des inscriptions</td><td>T0</td></tr><tr><td>Profil anthropométrique des enfants à l'inclusion*</td><td>Relevés médicaux (service santé scolaire) : IMC et Z-Score</td><td>T0</td></tr><tr><td>Âge, IMC et lieu de résidence des enfants orientés non-inscrits</td><td>Base de données des inscriptions</td><td>T0</td></tr></tbody></table>

Note. Cette matrice a été élaborée à partir du modèle RE-AIM. Les indicateurs marqués d'un « * » correspondent aux données recueillies chaque année.

L'efficacité entend évaluer les résultats à court terme – à un an – visés par le dispositif en matière de changements comportementaux des bénéficiaires, avec un focus plus particulier sur l'AP (Tableau 4). En outre, en vue de saisir des éléments contextuels et d'offrir un autre éclairage à l'évolution des comportements, nous avons choisi de rajouter un critère permettant d'identifier les freins et leviers aux changements observés du point de vue des partenaires accompagnant les enfants et leurs familles.

L'adhésion vise à permettre d'apprécier l'impact du dispositif en termes de participation effective et de satisfaction des bénéficiaires, mais également de mesurer la mobilisation des partenaires (Tableau 5).
<table><caption>**Tableau 4 - Dimension « efficacité » : critères et indicateurs**</caption><thead><tr><th>Critères</th><th>Indicateurs</th><th>Sources de données</th><th>Temps collecte</th></tr></thead><tbody><tr><td rowspan="3">Changements de (AP)</td><td>Taux d'enfants et de familles ayant une vision positive de l'AP (plaisir/utilité perçus).**</td><td>Questionnaires/Bilan de fin de parcours.</td><td>T1</td></tr><tr><td>Taux d'enfants et de familles déclarant se sentir davantage capables de pratiquer une AP**</td><td>Questionnaires/Bilan de fin de parcours.</td><td>T1</td></tr><tr><td>Taux de familles déclarant une augmentation de la pratique de l'AP, en dehors du dispositif.**</td><td>Questionnaires/Bilan de fin de parcours.</td><td>T1</td></tr><tr><td rowspan="2">Changements de comportements (alimentation)</td><td>Taux d'enfants et de familles déclarant avoir acquis des connaissances sur l'alimentation au cours du programme.**</td><td>Questionnaires/Bilan de fin de parcours.</td><td>T1</td></tr><tr><td>Taux de familles déclarant avoir apporté des modifications favorables dans l'alimentation de leur enfant au cours du programme.**</td><td>Taux de familles déclarant avoir apporté des modifications favorables dans l'alimentation de leur enfant au cours du programme.**</td><td>T1</td></tr><tr><td rowspan="2">Inscription dans un parcours de soin ?</td><td>Taux d'enfants pris en charge par le RePPOP*</td><td>Suivi des Rdv via MonSisra</td><td>T1</td></tr><tr><td>Taux d'enfants ayant engagé un suivi par un autre professionnel (MG, MS...).*</td><td>Bilan de fin de parcours</td><td>T1</td></tr><tr><td rowspan="2">Inscription dans une AP.</td><td>Taux d'enfants accompagnés par le Dapap.*</td><td>Tableau reporting Dahlir</td><td>T1</td></tr><tr><td>Taux d'enfants inscrits à une AP.*</td><td>Tableaux de bord</td><td>T1</td></tr><tr><td>Obstacles et leviers aux changements de comportement identifiés par les acteurs opérationnels.</td><td>Typologies d'obstacles et de leviers identifiés**</td><td>CR réunions de bilan</td><td>T1</td></tr></tbody></table>

*Note.* Cette matrice a été élaborée à partir du modèle RE-AIM. Les indicateurs marqués d'un « * » correspondent aux données recueillies chaque année. Ceux marqués d'un « ** » représentent ceux qui ont été ajoutés ou complétés pour cette évaluation.
<table><caption>**Tableau 5 - Dimension « adhésion » : critères et indicateurs**</caption><thead><tr><th>Critères/Questions d'évaluation</th><th>Indicateurs</th><th>Source de données</th><th>Temps collecte</th></tr></thead><tbody><tr><td rowspan="3">Les bénéficiaires ont-ils adhéré au programme ?</td><td>Taux de participation*</td><td>Tableaux de présence</td><td>T1</td></tr><tr><td>Taux de satisfaction*</td><td>Questionnaire fin de programme</td><td>T1</td></tr><tr><td>Evolution du nombre de partenaires*</td><td>Bilan d'activité</td><td>T1</td></tr><tr><td>Le soutien des partenaires opérationnel a-t-il été maintenu ou développé ?</td><td>Typologie de partenaires et de leurs missions*</td><td>Bilan d'activité</td><td>T1</td></tr></tbody></table>

Note. Cette matrice a été élaborée à partir du modèle RE-AIM. Les indicateurs marqués d'un « * » correspondent aux données recueillies chaque année. Ceux marqués d'un « ** » représentent ceux qui ont été ajoutés ou complétés pour cette évaluation.

Par ailleurs, les critères de mise en œuvre nous amènent à prendre en compte, au sein de l'évaluation, les principaux indicateurs mesurant les conditions de respect du programme. Aussi, l'investigation de la mise en œuvre part du postulat que des éléments propres à l'organisation du programme peuvent directement influer sur les résultats et sur les impacts de ce dernier.

<table><caption>**Tableau 6 - Dimension « mise en œuvre » : critères et indicateurs**</caption><thead><tr><th>Critères</th><th>Indicateurs</th><th>Sources de données</th><th>Temps collecte</th></tr></thead><tbody><tr><td>Respect du programme</td><td>Nombre d'interventions réalisées par typologie*</td><td>Bilan d'activité</td><td>T1</td></tr><tr><td>Respect du calendrier</td><td>Calendrier prévisionnel vs calendrier effectif*</td><td>Bilan d'activité</td><td>T1</td></tr><tr><td>Respect du budget</td><td>BP vs BR*</td><td>Bilans financiers</td><td>T1</td></tr><tr><td rowspan="2">Inscription dans une AP.</td><td>Taux d'enfants accompagnés par le Dapap.*</td><td>Tableau reporting Dahlir</td><td>T1</td></tr><tr><td>Taux d'enfants inscrits à une AP.*</td><td>Tableaux de bord</td><td>T1</td></tr><tr><td>Obstacles et points forts identifiés par les acteurs dans la mise en œuvre.</td><td>Typologies d'obstacles et de points forts identifiés**</td><td>CR réunions de bilan</td><td>T1</td></tr></tbody></table>
Enfin, véritable pierre angulaire de cette matrice, le maintien est une dimension qui va chercher à mesurer de manière approfondie la question de l'impact à moyen terme du dispositif. Elle va coupler des indicateurs qualitatifs et quantitatifs pour mesurer les évolutions effectives en termes de changements comportementaux (AP, alimentation, suivi médical) et les trajectoires de la courbe de corpulence. L'idée est ici d'arriver à saisir les facteurs favorables et/ou défavorables qui influencent ces résultats.

<table><caption>**Tableau 7 - Dimension « maintien » : critères et indicateurs**</caption><thead><tr><th>Critères</th><th>Indicateurs</th><th>Sources de données</th><th>Temps collecte</th></tr></thead><tbody><tr><td rowspan="3">Evolution dans le temps du niveau d'activité physique des enfants.</td><td>Temps d'activité physique avant/après**</td><td>Questionnaire</td><td>T0-T2</td></tr><tr><td>Typologies de pratiques avant/après**</td><td>Questionnaire</td><td>T0-T2</td></tr><tr><td>Motifs déclarés d'augmentation/maintien ou d'abandon.**</td><td>Entretien</td><td>T2</td></tr><tr><td rowspan="3">Evolution dans le temps des comportements alimentaires des enfants.</td><td>Evolution de la diversité alimentaire.**</td><td>Questionnaire</td><td>T0-T2</td></tr><tr><td>Evolution de l'équilibre alimentaire.**</td><td>Questionnaire</td><td>T0-T2</td></tr><tr><td>Motifs déclarés d'augmentation/maintien ou d'abandon des habitudes.**</td><td>Entretien</td><td>T2</td></tr><tr><td>Evolution de la courbe de corpulence.</td><td>Comparaison IMC et Z-score avant/après*</td><td>Relevés médicaux (service santé scolaire) : IMC et Z-Score (T0) Déclaratif (T2)</td><td>T0-T1-T2</td></tr><tr><td rowspan="2">Continuité de suivi/prise en charge médicale des enfants.</td><td>Taux d'enfants ayant un suivi médical régulier.**</td><td>Questionnaire</td><td>T0-T2</td></tr><tr><td>Motif déclaré de maintien/d'abandon du suivi.**</td><td>Entretien</td><td>T2</td></tr><tr><td>Autres impacts du dispositif sur le moyen terme.</td><td>Effets indirects déclarés**</td><td>Entretien</td><td>T2</td></tr></tbody></table>

*Note.* Cette matrice a été élaborée à partir du modèle RE-AIM. Les indicateurs marqués d'un « * » correspondent aux données recueillies chaque année. Ceux marqués d'un « ** » représentent ceux qui ont été ajoutés ou complétés pour cette évaluation.
La mesure de l'ensemble de ces critères offre une vision globale et transversale du dispositif. En effet, loin d'être conçues de manière exclusive les unes des autres, l'appréhension des différentes dimensions dans un objectif de mesure d'impact ouvre la voie à une analyse croisée des données ainsi collectées.

### 4.2.3. Recueil et analyse des données

La collecte de données ici proposée fait appel à des indicateurs qualitatifs et quantitatifs. Elle s'inscrit dans une méthodologie mixte convergente, c'est-à-dire que les données ont vocation à être traitées et analysées parallèlement.

Elles seront analysées à l'issue des trois années d'étude (i.e. évaluation *ex-post*). Afin de faciliter la collecte au long cours et leur traitement *a posteriori*, les données seront consignées dans un fichier dédié et sécurisé.

L'analyse reposera sur l'approche par triangulation temporelle, méthodologique et triangulation des données. Pour autant, conformément à la demande de la DSP, la méthodologie sera affinée et adaptée au premier semestre 2028 par le/la stagiaire chargé de l'étude. Elle sera réalisée en cohérence avec le cadre conceptuel mobilisé pour la constitution de cette méthodologie.

### 4.2.4. Anticipation des biais

La construction de la méthodologie a fait apparaître plusieurs biais potentiels que nous avons interrogés et analysés à dessein d'anticipation dans le traitement et l'analyse des données.

#### 4.2.4.1. Suivi partiel du dispositif

L'abandon en cours de programme sera pris en compte dans le cadre des données de suivi en vue de l'analyse finale. Pour autant, afin d'évaluer de manière pertinente l'impact du dispositif à moyen terme, le taux de participation aux actions sera recueilli pour éventuelle pondération ultérieure.

#### 4.2.4.2. Risques d'attrition

Il existe un risque de perte de vue des participants, notamment pour la cohorte A. Afin de minorer le risque d'attrition, les familles seront sensibilisées à l'inclusion et seront recontactées chaque année pour maintien du lien jusqu'à la fin de l'étude.
#### 4.2.4.3. Biais déclaratifs

En raison de contraintes techniques et règlementaires, le calcul de l'IMC et du Z-Score effectué à T2 se fera sur la base du déclaratif poids/taille formulé par les parents. Aussi, les biais potentiels ou manques de données inhérents à cette méthode de collecte seront pris en compte dans l'analyse finale. Il s'agit ici d'observer une tendance et non d'obtenir une mesure précise.

#### 4.2.4.4. Cohortes indépendantes

Dans un objectif de comparaison, l'indépendance des cohortes et l'absence de groupe de contrôle constituent des biais potentiels notables. Il convient donc de rappeler que, dans une perspective pragmatique, cette approche vise davantage à estimer, de manière globale, les effets à moyen terme et qu'elle ne saurait s'apparenter à une démarche expérimentale. En ce sens, les caractéristiques de chaque cohorte feront partie intégrante des éléments d'analyse finaux.

### 4.3. Les outils de mesure

La procédure de mesure mobilise à la fois des outils et des sources de données déjà existants, tout en les complétant par la création d'outils spécifiques à cette évaluation.

Les dispositifs de suivi déjà en place dans le cadre des évaluations annuelles (T1) constituent une première base d'appui (Annexe 6), comprenant notamment les tableaux de bord du projet, les bases de données liées aux inscriptions, les bilans annuels - dont les questionnaires. A noter que ces derniers ont été adaptés et enrichis spécifiquement pour les besoins de l'étude (Annexe 7 et Annexe 8).

Afin d'approfondir l'analyse des critères ciblés, et ce, dans une perspective longitudinale, plusieurs modalités de collecte complémentaires ont été retenus pour chaque cohorte :

- Les données anthropométriques : le poids et la taille seront relevés à T0 et T1 *via* pesée et mesure réalisées par les infirmières scolaires en charge du repérage. Ils permettront de calculer l'IMC et le Z-score. Pour le relevé poids/taille à T2, il se fera sur la base du déclaratif des parents.

- Un questionnaire : il a vocation à mesurer et qualifier les évolutions, sur la durée, en termes d'AP, d'habitudes alimentaires et de suivi médical. Dans une perspective de mesure
comparative avant/après, il a été conçu en s'inspirant des outils mobilisés dans les études ENNS et Inca2 (Annexe 9). Il sera administré à T0 et T2.

- Les entretiens semi-directifs : dix à quinze entretiens seront réalisés avec des familles à T2. Dans une approche compréhensive, ils viseront à investiguer les freins et leviers aux changements de comportements, ainsi que les impacts du programme sur les résultats observés. Pour ce faire, un guide d'entretien suivant la logique des modèles théoriques identifiés a été conçu (Annexe 10).

Sans chercher la représentativité, la sélection des participants visera, dans la mesure du possible, à inclure une diversité de profils au regard des critères suivants : cohorte de référence, évolution du statut pondéral sur l'année PSS, taux de participation au dispositif et groupe dans lequel l'enfant a suivi le parcours

Les entretiens, d'une durée minimale de trente minutes, seront menés en face à face ou par téléphone. Ils seront réalisés avec consentement préalable des participants et feront l'objet d'une retranscription et d'une anonymisation en vue de l'analyse.

## 4.4. Sécurisation des données

Dans un souci éthique et conformément à la réglementation, nous avons mis en œuvre un ensemble d'outils permettant de garantir le droit à l'information et à la protection des données personnelles collectées. Nous avons procédé à l'inscription des activités de traitement au registre interne de la Collectivité, ce qui nous a permis d'identifier les actions correctives à mettre en place, à savoir :

- La diffusion d'une communication relative aux droits des bénéficiaires en matière de protection des données au travers d'une notice dédiée (Annexe 11), ainsi que par la mention écrite et/ou orale de ces informations sur tous les supports de collecte de données – questionnaires, entretiens – ;

- La réalisation d'une analyse d'impact relative à la protection des données<fnref n="1" /> ;

- L'anonymisation des questionnaires et des entretiens avant traitement des données ;

- La demande, auprès du service informatique, de prévoir une sécurisation des dossiers internes dédiés à l'évaluation par limitation d'accès et mots de passe.

<footnote n="1">¹ Compte tenu des éléments relatifs aux systèmes de sécurisation interne à la Collectivité, ce document n'est pas communicable dans le présent travail.</footnote>
## 4.5. Les éléments de planification

L'organisation de l'évaluation et de son déroulement a été précisée au travers de différents outils. Cette planification permet de définir les tâches et leur répartition, de mettre en place le calendrier de mise en œuvre et, enfin, de recenser les moyens nécessaires.

### 4.5.1. La répartition des tâches

La matrice RACI offre une vue d'ensemble des tâches, des acteurs mobilisés et de leur rôle dans cette évaluation (Tableau 8). Elle permet notamment de souligner la charge importante affectée à la Cheffe de projets et aux renforts dans le cadre de ce projet – stagiaires –.
En vue d'appréhender l'affectation de ces tâches dans le temps de la démarche, il convient de mettre en perspective ces éléments avec une schématisation calendaire.

### 4.5.2. Le calendrier de l'évaluation

Ce calendrier donne à voir la projection temporelle des grandes étapes de l'évaluation, de la préparation de la méthode et des outils jusqu'à la communication des résultats, en passant le recueil de données, l'analyse, et la rédaction du rapport (Tableau 9). Il tient compte des contraintes calendaires de chacun – congés, surcharges d'activité ponctuelles, présence des renforts RH, etc. –, et de l'évaluation de la charge effective des tâches. Le commanditaire n'ayant pas spécifié d'échéance de rendu, cette dernière a été établie en concertation avec la Cheffe de projets, à savoir au plus tard en décembre 2028.

Ce diagramme permet en outre d'appréhender les potentielles périodes de tension en termes de charge de travail. Elles concernent d'une part les périodes de rentrée scolaire, où la charge courante de l'équipe est déjà importante et pendant lesquelles viennent s'adjoindre les inclusions et le recueil des questionnaires T0. D'autre part, en fin d'étude, la prise en compte des contraintes calendaires – congés, fin de stage, etc. – engendre une congestion entre recueil, analyse et rédaction du rapport. A cet égard, ce document a permis d'alerter et d'échanger avec le Responsable de Service et la Cheffe de projets sur les actions à mener pour pallier les risques d'embolisation : renforts supplémentaires de l'assistante administrative, aménagement de temps complémentaire dédié au projet pour la Cheffe de projets, etc.

Dès lors, ces considérations viennent directement faire écho à la définition des moyens nécessaires à la mise en œuvre de cette évaluation.
<table><caption>**Tableau 8 - Matrice d'affectation des tâches (modèle RACI)**</caption><thead><tr><th rowspan="2">ACTIVITE</th><th colspan="8">STATUT/ROLE</th></tr><tr><th>Cheffe de projet</th><th>Chargé mission évaluation (stagiaire)</th><th>Assistante administrative</th><th>Infirmières scolaires</th><th>Partenaires opérationnels*</th><th>Promotion Santé et ORS</th><th>Directrice et Responsable service (DSP)</th><th>ARS</th></tr></thead><tbody><tr><td>Etude d'évaluabilité</td><td>C</td><td>R</td><td>I</td><td>I</td><td>I</td><td>C</td><td>C</td><td>A</td></tr><tr><td>Définition de la méthodologie</td><td>C, A</td><td>R</td><td>I</td><td>I</td><td>I</td><td>C</td><td>I</td><td>A</td></tr><tr><td>Elaboration des outils de collecte</td><td>C, A</td><td>R</td><td>I</td><td>I</td><td>I, C</td><td>C</td><td>I</td><td>A</td></tr><tr><td>Planification opérationnelle</td><td>C, A</td><td>R</td><td>I</td><td>I, C</td><td>I, C</td><td>I</td><td>A</td><td>A</td></tr><tr><td>Validation de la méthodologie</td><td>C, R</td><td>C, R</td><td>I</td><td>C</td><td>C</td><td>C, R</td><td>R, A</td><td>R, A</td></tr><tr><td>Collecte des données</td><td>R</td><td>R</td><td>R</td><td>R</td><td>I, C</td><td>I</td><td>A</td><td>A</td></tr><tr><td>Analyse des données</td><td>C</td><td>R</td><td>I</td><td>I</td><td>I</td><td>C, R</td><td>I</td><td>A</td></tr><tr><td>Elaboration du rapport d'évaluation</td><td>C, R</td><td>R</td><td>R</td><td>I</td><td>I</td><td>C</td><td>A</td><td>A</td></tr><tr><td>Communication des résultats</td><td>R</td><td>R</td><td>I</td><td>I</td><td>I</td><td>I</td><td>A</td><td>A</td></tr></tbody></table>

Note. R = responsable/réalisateur ; A = redevable ; C = consulté ; I = informé.

*Direction du Sport, Service Santé Scolaire, Dapap 69, Sens & Savoirs, Reppop Lyrra
<table><caption>Tableau 9 - Calendrier de mise en œuvre de l'évaluation d'impact du dispositif Pass'Sport Santé (diagramme de Gantt)</caption><thead><tr><th></th><th colspan="3">2025</th><th colspan="3">2026</th><th colspan="3">2027</th><th colspan="3">2028</th></tr><tr><th></th><th>2</th><th>3</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>11</th><th>12</th><th>1</th><th>2</th><th>3</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>11</th><th>12</th></tr></thead><tbody><tr><td><strong>Elaboration du protocole</strong></td><td colspan="21"></td></tr><tr><td>Etude d'évaluabilité</td><td colspan="12"></td></tr><tr><td>Définition de la méthodologie</td><td colspan="12"></td></tr><tr><td>Elaboration des outils</td><td colspan="12"></td></tr><tr><td>Planification opérationnelle</td><td colspan="12"></td></tr><tr><td>Validation protocole</td><td colspan="12"></td></tr><tr><td><strong>Collecte de données</strong></td><td colspan="21"></td></tr><tr><td>Inclusions</td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td></tr><tr><td>Recueil</td><td colspan="12"></td></tr><tr><td>Caractéristiques participants</td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td></tr><tr><td>Bilans annuels</td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td></tr><tr><td>Questionnaires début</td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td></tr><tr><td>Questionnaires fin</td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td><td colspan="3"></td></tr><tr><td>Entretiens</td><td colspan="12"></td></tr><tr><td>Saisie des données</td><td colspan="12"></td></tr><tr><td><strong>Analyse des données</strong></td><td colspan="12"></td></tr><tr><td><strong>Elaboration du rapport d'évaluation</strong></td><td colspan="12"></td></tr><tr><td><strong>Communication des résultats</strong></td><td colspan="12"></td></tr></tbody></table>

Note. A : cohorte A ; B : cohorte B ; C : cohorte C
### 4.5.3. Calibrage des ressources

Il n'existe pas de budget proprement dédié à cette évaluation dont il est prévu d'absorber la charge sur les fonds propres de la collectivité. Pour autant, le calibrage des ressources nécessaires permet, et d'anticiper les moyens, et de valoriser auprès du commanditaire les efforts supplémentaires consentis pour la réalisation de cette démarche. Le budget ainsi proposé ne comprend donc que le prévisionnel des charges (Tableau 10).

<table><caption>**Tableau 10 - Budget prévisionnel des charges afférentes à l'évaluation d'impact du dispositif PSS**</caption><caption>BUDGET PREVISIONNEL DES CHARGES</caption><thead><tr><th>Dépenses</th><th>2025</th><th>2026</th><th>2027</th><th>2028</th><th>TOTAL</th></tr></thead><tbody><tr><td><strong>Personnel</strong><br>(Salaires charges comprises)</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Cheffe de projet</td><td>1650</td><td>2650</td><td>2650</td><td>5000</td><td>11950</td></tr><tr><td>Stagiaire méthodo</td><td>2050</td><td></td><td></td><td></td><td>2050</td></tr><tr><td>Stagiaire étude</td><td></td><td></td><td></td><td>3600</td><td>3600</td></tr><tr><td>Assistante administrative</td><td></td><td>400</td><td>400</td><td>800</td><td>1600</td></tr><tr><td>Total</td><td>3700</td><td>3050</td><td>3050</td><td>9400</td><td>19200</td></tr><tr><td><strong>Services extérieurs</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Déplacements</td><td>150</td><td>50</td><td>50</td><td>20</td><td>270</td></tr><tr><td>Frais de télécommunication</td><td>300</td><td>300</td><td>300</td><td>300</td><td>1200</td></tr><tr><td>Total</td><td>450</td><td>350</td><td>350</td><td>320</td><td>1470</td></tr><tr><td><strong>Achats</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Fournitures et petit matériel</td><td>50</td><td>50</td><td>50</td><td>100</td><td>250</td></tr><tr><td>Impressions</td><td>100</td><td>100</td><td>100</td><td>200</td><td>500</td></tr><tr><td>Total</td><td>150</td><td>150</td><td>150</td><td>300</td><td>750</td></tr><tr><td><strong>TOTAL</strong></td><td>8000</td><td>6600</td><td>6600</td><td>19420</td><td>40620</td></tr></tbody></table>

<table><caption>CONTRIBUTIONS VOLONTAIRES EN NATURE</caption><thead><tr><th></th><th>2025</th><th>2026</th><th>2027</th><th>2028</th><th>TOTAL</th></tr></thead><tbody><tr><td><strong>Mise à disposition gratuite de prestation</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Accompagnement ORS et Promotion Santé</td><td>750</td><td></td><td>1500</td><td></td><td>2250</td></tr><tr><td>TOTAL</td><td>750</td><td></td><td>1500</td><td></td><td>2250</td></tr></tbody></table>
Décliné par année, il illustre sans surprise une concentration des budgets sur la dernière année de l'étude qui, comme nous l'avons vu précédemment, condense une importante part de la charge de travail.

De manière générale, il représente 17% du budget total du dispositif, ce qui correspond à la fourchette haute d'une évaluation pragmatique.

En outre, l'évaluation mobilise en premier lieu des ressources humaines eu égard au temps de préparation, de collecte et d'analyse conséquents. Aussi le budget se caractérise par un taux d'encadrement élevé (47%, hors valorisation des contributions volontaires).

## 4.6. Communication des résultats

Les modalités de communication des résultats ont été établies en priorité en réponse à la demande de l'ARS. De ce fait, les livrables ainsi prévus comprennent :

- Un rapport final rédigé à l'issue du processus d'évaluation et transmis au commanditaire au plus tard en décembre 2028. Il comprendra les éléments de cadrage, la méthodologie et les outils mobilisés, ainsi que l'analyse complète des résultats ;

- Un document de présentation – de type *Powerpoint* – de la synthèse des résultats de l'évaluation qui sera exposé lors d'une réunion des restitutions en présence de la DSP et de l'ARS.

Avant livraison, l'ensemble de ces documents seront soumis à relecture de *Promotion Santé* et de l'ORS, et à validation de la Directrice et du Directeur Adjoint de la DSP.
V. Discussion

La définition d'un protocole d'évaluation d'impact du dispositif Pass'Sport Santé s'inscrit dans un contexte où la culture de l'évaluation, bien qu'encouragée et valorisée au niveau stratégique et opérationnel, peine encore à se traduire de manière systématique et structurée dans le champ de la PPS (O'Connor-Fleming et al., 2006; Smith, 2011; Bras & Monasse, 2024).

En illustrant comment l'évaluation doit composer avec l'intrication de différents
acteurs, de niveaux d'interventions, d'enjeux (Nutbeam, 1998 ; Jabot et al., 2014 ; Jabot et al.,
2020), mais également avec des contraintes structurelles et organisationnelles – ressources et
compétences limitées, attentes institutionnelles, etc. – (Lobo et al., 2014 ; O'Connor-Fleming et
al., 2006), ce travail a cherché à appréhender la démarche évaluative de manière didactique et
incrémentale. La méthodologie ainsi employée a cherché à documenter et à analyser ces
variables à dessein d'inscrire la réalisation du protocole d'évaluation dans une perspective
pragmatique (Crane et al., 2019). C'est ainsi que les résultats présentés donnent à voir comment
s'établit la recherche de méthodes, d'approches et d'outils de mesure adaptés au contexte, aux
enjeux, ainsi qu'à la complexité du programme et des parties prenantes impliquées.

Loin d'évacuer les tensions que génère une telle démarche, nous entendons ici discuter
les résultats de cette démarche en vue de faire des préconisations adéquates dans la mise en
œuvre effective du protocole proposé.

5.1. Synthèse des résultats : l'équilibre entre rigueur méthodologique et pragmatisme

5.1.1. La prise en compte des réalités de terrain

Les résultats montrent que la construction du protocole a été menée relativement à une exigence de pragmatisme, c'est-à-dire en s'attachant à prendre en compte les réalités organisationnelles et structurelles (Lobo et al., 2014 ; Crane et al., 2019), ainsi que la singularité du projet considéré (Nutbeam, 1998).

En écho aux recommandations théoriques (Lobo et al., 2014) et empiriques (Rootman
et al., 2001 ; IREPS AURA & ORS AURA, 2023) et en se référant au cadre du CDC (Kidder et
al., 2024), le travail diagnostic mené en amont, incluant inventaire des ressources et des
compétences, identification des enjeux, description du programme, a ainsi permis d'offrir une
approche réflexive garantissant la qualité et la faisabilité de la démarche (Soura et al., 2016, 2019).

En effet, l'identification des capacités humaines, financières et organisationnelles a conduit à une optimisation des moyens nécessaire à la viabilité de la démarche et à la garantie des capacités d'évaluation (Kidder et al., 2024).

En outre, comme le recommandent plusieurs auteurs (Rootman et al., 2001 ; Kidder et al., 2024), la modélisation du dispositif a incité à promouvoir une démarche évaluative cohérente avec les caractéristiques du dispositif et les influences théoriques sur lesquelles il s'appuie.

Par ailleurs, en analysant les besoins et les enjeux en présence, ce travail a permis de faire émerger et d'expliciter les objectifs de la démarche. Si cette approche n'est pas étrangère aux modifications imprévues qu'a connues la mission (i.e. suspension des CPOF), elle souligne néanmoins la pertinence d'un questionnement relatif aux finalités et aux résultats attendus de l'évaluation (Perret, 2014).

En corollaire, la logique participative mobilisée pour impliquer partenaires et opérateurs entre en résonance avec l'enjeu de co-construction de la démarche et de prise en compte des contextes d'intervention. Cette dimension est particulièrement pertinente en PPS dans la mesure où la complexité des objets évalués et l'intersectorialité des actions rendent nécessaire l'intégration d'une pluralité de points de vue (Jabot et al., 2020 ; Nutbeam, 1998). En sensibilisant et en engageant les acteurs, elle participe également de la création d'une culture de l'évaluation nécessaire à la légitimation interne de la démarche (O'Connor-Fleming et al., 2006 ; Lobo et al., 2014).

### 5.1.2. La recherche d'une robustesse méthodologique

Partant de ces éléments, les résultats démontrent une exigence de réflexivité dans la démarche ainsi menée. Ce postulat, qui s'illustre dans la mobilisation des approches théoriques, dans l'élaboration d'une méthodologie pertinente (Trosa, 1995), dans la recherche d'un cadre conceptuel adapté (Nutbeam, 1998), est mu par la recherche de rigueur dans la procédure proposée et dans les résultats escomptés (Fynn et al., 2020), ainsi que par l'enjeu d'implémentation et d'harmonisation des pratiques (Arrighi et al., 2009). Cette ambition se traduit également dans la construction d'outils opérationnels étayés par des référentiels scientifiques et empiriques.
#### 5.1.2.1. La conceptualisation

D'une part, la construction logique du dispositif a permis d'expliciter les modèles de changement de comportements sur lequel il s'appuie. L'approche systémique inspirée du modèle socio-écologique (Bronfenbrenner, 1979) couplée aux principes de la théorie du comportement planifié (Ajzen, 1991) permettent de renforcer la cohérence interne de l'évaluation, en offrant des clés de lecture pour saisir les mécanismes d'influence agissant sur les changements comportementaux escomptés.

D'autre part, considérant la complexité du dispositif, c'est logiquement que nous nous sommes orientée vers un modèle permettant d'apprécier le dispositif de manière globale.

En plus de répondre à cet objectif, le modèle RE-AIM s'est révélé particulièrement adapté au niveau opérationnel. En effet, les différentes dimensions qu'il se propose d'investiguer permettent de croiser des indicateurs de processus et de résultats amenant véritablement à embrasser le caractère contingent, complexe, multidimensionnel, et paradoxal propre à une intervention de PPS (Contandriopoulos et al., 2011 ; Cambon et al., 2018).

En outre, en cohérence avec l'appréciation causale de notre dispositif, il offre une finesse dans l'appréhension des résultats à court terme d'une part, et des impacts à moyen terme d'autre part (i.e. à horizon trois ans).

Par ailleurs, il offre un cadre rigoureux, aisé dans sa prise en main et relativement flexible dans sa mise en œuvre.

Enfin, il faut noter que la particularité de ce travail tient à une hybridation partielle des référentiels mobilisés. En effet, malgré sa complétude, le modèle RE-AIM ne permettait pas d'envisager de manière exhaustive le travail de diagnostic préalable (i.e. étude d'évaluabilité). C'est pourquoi, nous avons choisi de nous appuyer sur le référentiel du CDC (Kidder et al., 2019) dans la phase de cadrage. Loin de porter atteinte aux résultats, cette approche permet ainsi de documenter le recours à une flexibilité et à l'exhaustivité méthodologiques souvent évoquées dans la littérature (Vandoorne et al., 2007 ; Kozica et al., 2015 ; Carne et al., 2024) mais pourtant peu développées dans les publications consultées.

#### 5.1.2.2. La construction des outils

Dans la continuité de cette recherche de rigueur méthodologique, une attention particulière a été portée à la qualité scientifique des outils mobilisés pour l'évaluation.

D'une part, les outils de collecte de données retenus ont été ancrés dans des références validées.

Les questionnaires relatifs aux comportements alimentaires et à l'AP s'inspirent directement
d'instruments employés dans des enquêtes nationales de référence (ENNS, Inca2), dont la validité et la fiabilité ont été démontrées. Les indicateurs anthropométriques mobilisent des mesures standard (IMC, Z-score) conformes aux recommandations de l'OMS (2006), permettant une comparabilité. Le guide d'entretien qualitatif a été élaboré à partir des modèles de changement de comportement précédemment décrits. Enfin, le principe d'adaptation culturelle des instruments (Beaton et al., 2000) a été pris en compte afin d'assurer la viabilité et l'exploitabilité des réponses.

D'autre part, l'articulation entre données issues de critères objectifs (mesures anthropométriques, registres d'inscriptions, etc.) et subjectives (questionnaires, entretiens semi-directifs) avec une triangulation temporelle, méthodologique et des sources, renforcent la validité interne des résultats (Creswell & Plano Clark, 2018). Préconisé dans le modèle RE-AIM, ce choix suit les recommandations internationales en évaluation de programmes de PPS, qui insistent sur l'intérêt des approches mixtes pour appréhender la complexité des interventions (Rootman et al., 2001 ; Nutbeam, 1998).

Enfin, soulignons que la création des outils, tout comme le design de l'étude (i.e. suivi de cohorte) ont été opérés en s'appuyant sur l'expertise de Promotion Santé et de l'ORS, permettant de répondre à l'exigence d'un soutien en compétences dans la démarche évaluative (Lobo et al., 2014).

### 5.1.3. Le respect de l'enjeu éthique

Par la prise en charge des questions relatives à la protection des données et des personnes et l'anticipation des biais, les résultats mettent également en lumière le respect des principes éthiques qui sous-tendent l'évaluation en santé publique, en cohérence avec les recommandations méthodologiques et déontologiques présentes dans la littérature (Chabaud et al., 1995 ; Cases et al., 2009 ; Rootman et al., 2001).

#### 5.1.3.1. Protection des données et respect des personnes

En premier lieu, la protection des données personnelles a constitué un axe prioritaire. Conformément aux obligations réglementaires et aux préconisations des bonnes pratiques (Chabaud et al., 1995 ; IREPS AURA & ORS AURA, 2023), l'analyse d'impact relative à la protection des données (AIPD) a mené à l'élaboration de mesures opérationnelles adaptées – limitation d'accès, sécurisation par mot de passe, anonymisation –.
Dans le même sens, le respect du consentement éclairé et la transparence vis-à-vis des participants ont guidé la conception des outils de collecte. L'information préalable a été conçue dans un langage adapté, et la possibilité de se retirer de l'étude à tout moment a été garantie, rejoignant ainsi les principes de non-malfaisance rappelés par Rootman et al. (2001).

#### 5.1.3.2. Gestion des biais

Autre volet relatif à l'enjeu éthique, l'intégrité scientifique de la démarche s'est traduite par la recherche d'anticipation, d'identification et de gestion des biais. La transparence sur les limites méthodologiques – risques d'attrition, biais déclaratifs, absence de groupe contrôle – et la mise en place de mesures correctives – contacts réguliers avec les familles, pondération des résultats, diversification des sources – permettent ainsi de limiter les interprétations erronées.

### 5.2. Limites

Nonobstant les apports qu'offrent ces résultats pour assurer la viabilité méthodologique et l'adéquation au contexte d'intervention, le protocole proposé pour l'évaluation du dispositif Pass' Sport Santé présente plusieurs limites qui doivent être prises en compte dans l'appréciation des résultats.

#### 5.2.1. Le design de l'évaluation

Si la méthodologie a été construite en concertation avec les partenaires institutionnels et opérationnels, les bénéficiaires directs du dispositif – enfants et familles – n'ont pas été impliqués dans la définition des questions d'évaluation ni dans le choix des indicateurs. Or, la littérature souligne l'intérêt d'une participation active des usagers dans la conception des dispositifs évaluatifs, tant pour renforcer la pertinence des indicateurs que pour favoriser l'appropriation des résultats (Nutbeam, 1998 ; Jabot et al., 2014 ; Rootman et al., 2001).
Cette absence peut avoir pour conséquence de limiter la prise en compte de certains besoins, attentes ou perceptions spécifiques, et de réduire l'adéquation entre les priorités de l'évaluation et celles des bénéficiaires.

Par ailleurs, le protocole ne prévoit pas la constitution d'un groupe témoin non exposé au dispositif, ce qui limite la capacité à appréhender, de manière causale, les changements uniquement attribuables à l'intervention. Pour autant, soulignant la nécessité de dépasser les approches linéaires inspirées des méthodes expérimentales (Green et al., 2009 ;
Contandriopoulos et al. 2011 ; Ridde & Haddad, 2018 ; Nutbeam, 2017 ; Pagani et al., 2017), l'absence de groupe contrôle a été compensée par l'usage de cohortes indépendantes et par la triangulation des données issues de différentes sources.

Enfin, le suivi à deux ou trois ans, bien que nécessaire pour mesurer la durabilité des effets, expose à des pertes de vue susceptibles de biaiser les résultats (Fewtrell et al., 2008). Ce risque est particulièrement marqué pour la cohorte A, suivie sur trois ans. Pour en limiter l'impact, des mesures de maintien du lien ont été mises en place – contacts annuels, implication des familles dès l'inclusion –, mais une attrition partielle reste très probable.

### 5.2.2. Facteurs externes et mesure à moyen terme

Le dispositif évolue dans un environnement social, économique et institutionnel susceptible d'influencer les résultats, indépendamment des actions menées (Bronfenbrenner, 1979). Des changements dans les politiques locales, les ressources des partenaires ou encore dans le contexte socio-économique des familles peuvent agir comme autant de facteurs confondants. L'identification de ces derniers a été intégrée au protocole, notamment dans la phase qualitative, mais leur influence ne saurait être appréhendée de manière exhaustive.

### 5.2.3. Les contraintes organisationnelles

#### 5.2.3.1. Perturbations et adaptations de la gouvernance

Le retrait provisoire du commanditaire dans le suivi du dispositif, lié à la suspension provisoire de l'attribution des CPOF et au départ de l'interlocutrice chargée du suivi de la mission, n'a pas permis d'organiser un suivi régulier et d'éventuels arbitrages dans le déroulement de la démarche. Pour autant, le maintien de l'accompagnement de Promotion Santé et de l'ORS, habitués à suivre ce type de mission en interface avec l'ARS et les opérateurs a permis de pallier, au moins en partie, l'absence d'orientations plus précises de la part du commanditaire. Cela a également concouru à un repositionnement de la DSP dans l'appréciation et l'appropriation de ses propres enjeux quant à la démarche évaluative.

Par ailleurs, le travail d'harmonisation de la méthode et des critères avec la Ville de Vénissieux s'est heurté à des contraintes organisationnelles et un manque de disponibilité imprévu de la part de cette collectivité. Aussi, la proposition du protocole, même si validée collégialement, a essentiellement été portée à l'initiative de la DSP, ce qui peut constituer des difficultés futures dans l'appropriation opérationnelle de la méthodologie.
### 5.2.3.2. Ressources limitées

En l'absence de budget propre, l'évaluation repose en grande partie sur la mobilisation de ressources internes et sur des apports ponctuels de partenaires. Comme le soulignent Lobo et al. (2014), cette contrainte peut limiter la profondeur des analyses ou la capacité à collecter certaines données, et expose à des tensions dans la planification. Pour autant, notre travail souligne le souci d'optimisation dans la préfiguration de la mise en œuvre de l'évaluation.

En somme, les limites ainsi avancées sont à lire au prisme du contexte organisationnel contraint dans lequel la démarche d'évaluation s'inscrit. Leur identification précoce et les mesures mises en place pour en limiter l'impact traduisent une volonté de transparence et de recherche de solidité éthique et scientifique du processus. En ce sens, si ces limites ne remettent pas en cause la pertinence de la démarche, elles permettent de formuler plusieurs recommandations en vue de la mise en œuvre effective de l'évaluation et de l'utilisation des résultats.

## 5.3. Perspectives et recommandations

### 5.3.1. Veiller à la mobilisation des ressources

Conformément aux recommandations présentes dans la littérature, il conviendra d'être particulièrement attentif au maintien et à l'allocation de ressources suffisantes pour mener à bien la démarche évaluative. Cette préconisation relève d'un triple objectif : disposer de ressources humaines, matérielles et financières suffisantes à la mise en œuvre (Rootman et al., 2001 ; IREPS AURA & ORS AURA, 2023) ; maintenir un niveau d'expertise en termes d'évaluation (Lobo et al., 2014) ; et, enfin, garantir l'implémentabilité de la méthode telle que demandée par le commanditaire.

#### 5.3.1.1. Pérenniser les ressources et l'expertise

Compte tenu de la temporalité et de la chronophagie de la démarche d'évaluation, nous recommandons de garantir la présence et le maintien bien en amont des ressources nécessaires à sa réalisation. A cet égard, il conviendrait d'une part d'intégrer l'évaluation des ressources humaines présentée dans notre travail dans un plan de charge précis partagé et validé par la Direction de la DSP. Ceci permettrait de sécuriser la présence des renforts prévus, et de limiter les éventuels imprévus – changements de poste, arrêt de travail, réorganisation interne, etc. –. Par ailleurs, compte tenu des projections budgétaires relatives à cette évaluation, il nous paraît
opportun de valoriser ces éléments auprès de l'ARS en vue de négocier une intégration de ces
charges supplémentaires de fonctionnement aux financements alloués dans le cadre du CPOF.

Enfin, considérant que l'expertise externe apportée par *Promotion Santé* et de l'ORS
offre un soutien notable en matière de compétences, il paraît pertinent de poursuivre ce travail,
notamment dans la phase d'analyse. En ce sens, il conviendra de s'assurer de la
contractualisation effective de la poursuite de cette mission.

### 5.3.1.2. Poursuivre et approfondir le travail conjoint avec la Ville de Vénissieux

Afin de répondre à l'objectif d'harmonisation des pratiques évaluatives entre Villeurbanne et Vénissieux, il conviendra de structurer le suivi de la démarche. Des temps de travail réguliers entre les deux Collectivités pourraient ainsi être planifiés dès l'engagement de la démarche pour assurer le maintien d'une méthodologie cohérente.

### 5.3.2. Renforcer les ambitions en termes de valorisation des résultats

Compte tenu de l'ampleur du travail engagé et des enjeux sous-jacents, il apparaît que
les modalités de communication des résultats pourraient être approfondies.

D'abord, suivant un principe de transparence, de redevabilité et d'éthique, il nous
semble nécessaire de prévoir des temps de restitution spécifiques à l'adresse des partenaires
opérationnels d'une part, et des bénéficiaires d'autre part.

Par ailleurs, la valorisation des connaissances produites et la reconnaissance institutionnelle des résultats constituent un point saillant de cette démarche. Ainsi, une communication des résultats auprès du réseau de la PPS nous semble pertinente. Nous pensons ici à l'inscription à la plateforme nationale CAPS ou encore à une présentation auprès du réseau des Villes-Santé OMS, dans une logique de capitalisation à l'échelle nationale.

### 5.3.3. Exploiter les résultats dans une logique d'amélioration continue

Enfin, étant entendu que cette évaluation s'inscrit également dans une démarche d'amélioration du dispositif (Jabot, 2007 ; Lobo et al., 2014), l'analyse croisée des différentes dimensions du modèle RE-AIM pourrait permettre de travailler sur les volets suivants :

- Améliorer le recrutement et la mobilisation des publics prioritaires ;

- Optimiser l'assiduité et limiter les phénomènes d'abandon ;
- Renforcer l'impact des séances sur la santé des bénéficiaires ;

- Améliorer la coordination entre acteurs.

Notre travail illustre les tensions constitutives de l'évaluation en PPS, où la quête de rigueur scientifique se confronte nécessairement à la complexité et aux contingences propres aux contextes d'intervention (Contandriopoulos et al., 2011). L'élaboration du protocole d'évaluation du dispositif PSS, bien qu'ancrée dans une logique méthodologique structurée, révèle à quel point l'évaluation ne peut être pensée comme un exercice neutre ou standardisé (Trosa, 1992 ; Vandoorne et al., 2007), mais qu'elle engage des remises en question, des choix, des arbitrages, des positionnements, et trouve sa légitimité dans une démarche rigoureuse, incrémentale et étayée (Trosa, 1992).

Ce travail met ainsi en lumière la nécessité d'une approche réflexive et contextualisée de l'évaluation en PPS, en résonance avec les appels croissants à décloisonner les modèles (Crane et al., 2019), à mobiliser des méthodes mixtes (Kidder et al., 2024 ; Glasgow et al., 1999 ; Green & Kreuter, 2005) et à reconnaître la valeur des savoirs d'expérience (Rootman et al., O'Connor-Fleming et al., 2006). Il réaffirme également que l'évaluation, pour être légitime et utile, doit être conçue non pas comme un objet inerte et décorrelé de son environnement, mais comme un levier stratégique, inscrit dans une logique d'amélioration continue et de co-construction (Jabot et al., 2020).
Conclusion

En cherchant à investir, de manière transversale, différents champs de l'action publique, les interventions de PPS sont indubitablement soumises à l'impératif d'évaluation (Jabot et al., 2011). Or, loin d'être un objet figé, la pratique évaluative a été, au fil du temps, façonnée par un contexte et des orientations socio-politiques mouvants, et par des développements théoriques importants. Les enseignements tirés de cette dynamique ont participé de l'émergence d'une multiplicité de pratiques et d'enjeux. Ainsi, loin d'être seulement perçue comme un exercice de mesure et de contrôle, l'évaluation est progressivement devenue un levier d'amélioration continue, de légitimation institutionnelle et de production de connaissances (Contandriopoulos et al., 1993 ; Alla, 2007 ; Jabot et al., 2011).

Embrassant ces constats, ce travail nous a permis de montrer que la mise en œuvre des interventions de PPS demeure traversée de tensions, partagée entre des exigences de rigueur scientifique, des dilemmes opérationnels et des attentes institutionnelles (Denis & Henrard, 2024 ; Cambon et al., 2010).

À travers l'étude du dispositif *Pass'Sport Santé*, nous avons ainsi pu examiner concrètement comment ces enjeux viennent percuter la pratique, illustrant ainsi les difficultés mais aussi les opportunités qu'offre l'évaluation en PPS.

D'une part, l'hétérogénéité des acteurs impliqués, l'intrication des déterminants de santé ou encore la temporalité longue des effets mesurés soulignent la complexité de l'objet à évaluer (Nutbeam, 1998). Cette complexité invite à s'appuyer sur des démarches concertées, des approches systémiques et des méthodes mixtes, afin d'appréhender au mieux l'épaisseur des interventions. En outre, les exigences inhérentes à cette approche globale tendent à se heurter à des contraintes organisationnelles qu'il convient de prendre en compte telles que des ressources humaines (effectifs, compétences) et financières limitées (Lobo et al., 2014).

Dès lors, ce travail donne à voir les stratégies et méthodes déployées pour contrecarrer les difficultés ainsi observées.

Premièrement, il met en lumière l'apport d'une démarche réflexive de l'évaluateur qui en interrogeant, dès le départ, le contexte, les acteurs, les enjeux, etc., permet de saisir les conditions de faisabilité et d'utilité de l'évaluation.
Ce faisant, l'expérience de l'évaluation *Pass' Sport Santé* témoigne de l'importance de la mise en place d'une méthodologie rigoureuse permettant, dès la phase de conception, un cadrage concerté avec les parties prenantes et une anticipation des contraintes pratiques. Cette anticipation ne saurait en outre se départir de la convocation d'apports théoriques et empiriques solides. En effet, si une certaine flexibilité méthodologique se révèle opportune (Kozica et al., 2015), elle est conditionnée à la réalisation d'allers-retours constants entre apports conceptuels et réalités de terrain, qui permettent de résoudre, à chaque étape, les biais ou approximation de méthode et, *in fine*, garantissent la viabilité du modèle ainsi proposé.

Pour autant, si ce travail est animé par une exigence de validité, sa mise en œuvre effective dépendra pour grande part des conditions institutionnelles, budgétaires et organisationnelles que la Ville et ses partenaires seront en mesure de réunir. En ce sens, ce cas d'étude souligne dans quelles mesures l'absence de ressources dédiées constitue un frein à la pratique évaluative (Lobo et al., 2014).

Au-delà du cas spécifique étudié, ce travail invite à réfléchir plus largement aux conditions de possibilité d'une évaluation rigoureuse en PPS. L'exigence croissante des financeurs et des institutions de disposer de preuves solides doit s'accompagner d'un investissement accru dans les compétences, les ressources et l'accompagnement méthodologique des acteurs locaux. De même, l'évaluation gagnerait à être davantage pensée comme un processus continu, intégré aux pratiques d'ingénierie de projet, plutôt que comme une exigence ponctuelle liée à la contractualisation.

Enfin, cette étude ouvre plusieurs perspectives. Sur le plan opérationnel, elle invite à approfondir la réflexion sur des modèles et des outils évaluatifs capables d'intégrer la complexité des interventions de PPS, en s'inspirant notamment des approches réalistes ou participatives (Ridde & Haddad, 2018). Du point de vue structurel et institutionnel, elle plaide pour le renforcement de dispositifs d'accompagnement (formation, financements dédiés, etc.) et de démarches incitatives valorisant davantage l'enjeu de production de connaissances et de capitalisation des expériences.
Bibliographie

Agence Nationale Pour le Développement de l'Evaluation Médicale (ANDEM). (1995, octobre). *Evaluation d'une action de santé publique : recommandations*. Service Formation, 39. https://www.has-sante.fr/upload/docs/application/pdf/santpubl.pdf

Ajzen, I. (1991). The Theory of Planned Behavior. *Organizational behavior and human decision processes*. 50, 179-211.

Alkin, M. C. (Ed.). (2004). *Evaluation roots: Tracing theorists' views and influences*. Sage.

Alkin, M. C., & King, J. A. (2017). Definitions of Evaluation Use and Misuse, Evaluation Influence, and Factors Affecting Use. *American Journal of Evaluation, 38*(3), 434-450.
https://doi.org/10.1177/1098214017717015

Alkin, M. C., & Taut, S. (2003). Unbundling evaluation use. *Studies in Educational Evaluation, 29*, 1-12.

Alla, F. (2016). 3. Les déterminants de la santé. Dans F. Bourdillon, G. Brücker et D. Tabuteau
*Traité de santé publique* (p. 15-18). Lavoisier. https://doi-org.bibelec.univ-lyon2.fr/10.3917/lav.bourd.2016.01.0040.

Alföldi, F. (2015). *Évaluer en protection de l'enfance : Théorie et méthode*, 43-54. Dunod.
https://shs.cairn.info/evaluer-en-protection-de-l-enfance--9782100721382-page-43?lang=fr.

Arrighi, J., Cornely, V., Pitot, S., Ledesert, B., Ferley, J. P., & Bossard, C. (2020). *Harmoniser les études en nutrition un guide de bonnes pratiques pour les études régionales et locales*. 2009. Fédération Nationale des Observatoires Régionaux de Santé.

Article 44 de la loi n° 78-17 du 6 janvier 1978 relative à l'informatique. JOFR du 7 janvier 1978. https://www.legifrance.gouv.fr/loda/article_lc/LEGIARTI000037822800

Banta, H. D., & European Advisory Committee on Health Research, World Health Organization
Regional Office for Europe (2003). Considerations in defining evidence for public health:
the European Advisory Committee on Health Research World Health Organization
Regional Office for Europe. *International journal of technology assessment in health
care*, **19**(3), 559–572. https://doi.org/10.1017/s0266462303000515

Barbier, J. C. (2010). Éléments pour une sociologie de l'évaluation des politiques publiques en France. *Revue française des affaires sociales*, **1**, 25-49.

Beaton, D. E., Bombardier, C., Guillemin, F., & Ferraz, M. B. (2000). Guidelines for the process of cross-cultural adaptation of self-report measures. *Spine*, **25**(24), 3186–3191.
https://doi.org/10.1097/00007632-200012150-00014

Bégin, C., Joubert, P., & Turgeon, J. (2018). L'évaluation dans le domaine de la santé : conceptions, courants de pensée et mise en œuvre. *Presses de l'Université de Montréal*.
https://doi.org/10.4000/books.pum.12190

Bonniol, J.-J. et Vial, M. (1997). *Les modèles de l'évaluation: textes fondateurs avec commentaires*. Bruxelle s: De Bœck Université.

Bras, P-L. et Monasse, H. (2024, octobre). *La prise en compte des preuves scientifiques dans les actions de prévention et promotion de la santé*. Rapport de l'Inspection Générale des Affaires Sociales (IGAS), 105.

Bronfenbrenner, U. (1979). *The ecology of human development: Experiments by nature and design*. Harvard university press.

Cambon, L., Alla, F., Chauvin, F., Sizaret, A., & Simos, J. (2018). Des ressources et des méthodes partagées. *ADSP*, **103**, 9-18.

Cambon, L., Ridde, V., & Alla, F. (2010). Réflexions et perspectives concernant l'évidence-based health promotion dans le contexte français. *Revue d'épidémiologie et de santé publique*, **58**(4), 277-283.

Cases, C., Grémy, I., & Perret, B. (2009). L'évaluation en santé publique en France : diversification et consolidation. *Actualité et dossier en santé publique*, **69**, 18-21.
Castetbon, K. (2015). L'évolution récente des prévalences de surpoids et d'obésité chez l'enfant et l'adolescent en France et au niveau international. *Archives de pédiatrie*, 22(1), 111-115.

Chabaud, F., Blum-Boisgard, C., Gaillot-Mangin, J. (1995, octobre). *Evaluation d'une action de santé publique : recommandations*. Paris : ANDEM, 39.

Champagne, F., Brousselle, A., Hartz, Z., & Contandriopoulos, A.-P. (2011). 3. Modéliser les interventions. In A. Brousselle, F. Champagne, A.-P. Contandriopoulos, & Z. Hartz (éds.), *L'évaluation : concepts et méthodes* (1-). Presses de l'Université de Montréal. https://doi.org/10.4000/books.pum.6302

Chen, H. (2015). *Practical program evaluation*. (Vols. 1-0). SAGE Publications, Inc, https://doi.org/10.4135/9781071909850

Commission Nationale de l'Informatique et des Libertés. (2024, 22 mai). *Quelles formalités pour les traitements de données de santé ?* CNIL. https://www.cnil.fr/fr/quelles-formalites-pour-les-traitements-de-donnees-de-sante

Contandriopoulos, A. P., F. Champagne, et al. (1993). L'évaluation dans le domaine de la santé. *Concepts et méthodes*. *Bulletin* 33(1), 12-17.

Contandriopoulos, A. P., Rey, L., Brousselle, A., & Champagne, F. (2011). Évaluer une intervention complexe: enjeux conceptuels, méthodologiques, et opérationnels. *The Canadian journal of program evaluation* = *La Revue canadienne d'évaluation de programme*, 26(3), 1-16.

Crane, M., Bauman, A., Lloyd, B., McGill, B., Rissel, C., & Grunseit, A. (2019). Applying pragmatic approaches to complex program evaluation: A case study of implementation of the New South Wales Get Healthy at Work program. *Health promotion journal of Australia : official journal of Australian Association of Health Promotion Professionals*, 30(3), 422-432. https://doi.org/10.1002/hpja.239

Dagenais, C., & Ridde, V. (2012). *Approches et pratiques en évaluation de programmes* (1-). Presses de l'Université de Montréal. https://doi.org/10.4000/books.pum.5959
Delahais, T., Devaux-Spatarakis, A., Revillard, A., & Ridde, V. (2021). *Évaluation : Fondements, controverses, perspectives*. Québec : Éditions science et bien commun.

Demarteau, M. (2007). L'évaluation : toute une histoire. *La Santé de l'homme*, 390, 26-30.

Denis, F. et Henrard, J.-C. (2024). L'évolution des champs de la santé publique : quelques éclairages historiques. *Santé Publique*, 36(2), 7-11.
https://doi.org/10.3917/spub.242.0007

D'Lima, D., Soukup, T., & Hull, L. (2022). Evaluating the application of the RE-AIM planning and evaluation framework: an updated systematic review and exploration of pragmatic application. *Frontiers in Public Health*, 9, 755738.
https://doi.org/10.3389/fpubh.2021.755738

Dubois, C.-A., Champagne, F., & Bilodeau, H. (2011). 1. Historique de l'évaluation. In A. Brousselle, F. Champagne, A.-P. Contandriopoulos, & Z. Hartz (ed.), *L'évaluation : concepts et méthodes*. Presses de l'Université de Montréal.

Feldstein, A. C., & Glasgow, R. E. (2008). A practical, robust implementation and sustainability model (PRISM) for integrating research findings into practice. *Joint Commission journal on quality and patient safety*, 34(4), 228-243. https://doi.org/10.1016/s1553-7250(08)34030-6

Fewtrell, M. S., Kennedy, K., Singhal, A., Martin, R. M., Ness, A., Hadders-Algra, M., Koletzko, B., & Lucas, A. (2008). How much loss to follow-up is acceptable in long-term randomised trials and prospective studies? *Archives of disease in childhood*, 93(6), 458-461. https://doi.org/10.1136/adc.2007.127316

Fynn, J. F., Hardeman, W., Milton, K., & Jones, A. P. (2020). A scoping review of evaluation frameworks and their applicability to real-world physical activity and dietary change programme evaluation. *BMC public health*, 20(1), 1000. https://doi.org/10.1186/s12889-020-09062-0
Gaglio, B., & Glasgow, R. E. (2012). Evaluation approaches for dissemination and implementation research. *Dissemination and implementation research in health: translating science to practice*, 327-356.

Gaglio, B., Shoup, J. A., & Glasgow, R. E. (2013). The RE-AIM framework: a systematic review of use over time. *American journal of public health*, 103(6), e38-e46.
https://doi.org/10.2105/AJPH.2013.301299

Gertler, P., Gertler, P. J., Martinez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. (2011). *L'évaluation d'impact en pratique*. Washington DC: Banque mondiale.

Glasgow, R. E., Harden, S. M., Gaglio, B., Rabin, B., Smith, M. L., Porter, G. C., Ory, M. G., & Estabrooks, P. A. (2019). RE-AIM Planning and Evaluation Framework: Adapting to New Science and Practice With a 20-Year Review. *Frontiers in public health*, 7, 64.
https://doi.org/10.3389/fpubh.2019.00064

Glasgow, R. E., Vogt, T. M., & Boles, S. M. (1999). Evaluating the public health impact of health promotion interventions: the RE-AIM framework. *American journal of public health*, 89(9), 1322-1327. https://doi.org/10.2105/ajph.89.9.1322

Green, L. W., Glasgow, R. E., Atkins, D., & Stange, K. (2009). Making evidence from research more relevant, useful, and actionable in policy, program planning, and practice slips "twixt cup and lip". *American journal of preventive medicine*, 37(6), 187-191.
https://doi.org/10.1016/j.amepre.2009.08.017

Green, L. W., & Kreuter, M. W. (2005). *Health program planning: An educational and ecological approach* (4th ed.). McGraw-Hill.

Green, L. W. et Lewis, F. M. (1986). *Measurement and Evaluation in Health Education and Health Promotion*. Mayfield, Palo Alto, CA.

Grignard, S., Goudet, B., & Vandoorne, C. (2008). Pour envisager différemment les analyses de situation. *Éducation Santé*, 240, 13-17.
Guba, E. G., & Lincoln, Y. S. (1989). *Fourth generation evaluation*. Sage.

Guerrier-Sagnes, F., Meister, A. M., Deparis, M. J., & Gayrard, P. (2005). Service municipal de santé scolaire et promotion de la santé à Villeurbanne. *Santé publique, 17*(3), 475-484.
https://doi.org/10.3917/spub.053.0475.

Hamel, E., Calvez, G., Cambon, L. & Le gall, J. M. (2010), *La Santé de l'homme*, 407, 37-38.

Honta, M., Haschar-Noé, N. & Sallé, L. (2011). La fabrique des territoires de santé publique en France : une analyse comparée de la mise en oeuvre du Programme national nutrition santé en Aquitaine, Midi-Pyrénées et Nord-Pas de Calais. *Cahiers de géographie du Québec, 55*(156), 379-397. https://doi.org/10.7202/1008886ar

IREPS Auvergne-Rhône-Alpes & ORS Auvergne-Rhône-Alpes. (2023, décembre). *L'évaluation en 7 étapes : guide pratique pour l'évaluation des actions et programmes Santé et Social (5ème édition)*.

Jabot, F. (2007) Enjeux et pratiques de l'évaluation. *La santé de l'homme, 390*, 14-16.

Jabot F. (2012) Enjeux et pratiques de l'évaluation. *La santé de l'homme, 283*, 14-16.

Jabot, F., Gerhart, C. et Auclair, A. (2011). Des progrès en promotion de la santé en France ? Dans B. Cherubini, *Agir pour la promotion de la santé : Une politique ouverte à l'innovation* ? (p. 29-50). Erès. https://doi.org/10.3917/eres.cheru.2011.01.0029.

Jabot, F., Pommier, J. et Guével, M.-R. (2020). Chapitre 18. Évaluation en promotion de la santé. Dans É. Breton, F. Jabot, J. Pommier et W. Sherlaw. *La promotion de la santé* (p. 449-479). Presses de l'EHESP. https://doi.org/10.3917/ehesp.breto.2020.01.0436.

Jabot, F., & Turgeon, J. (2008). Une analyse du processus d'évaluation de la politique régionale de santé dans le nord pas-de-calais (France). *Canadian Journal of Program Evaluation, 23*(2), 139-164.
Kessler, R. S., Purcell, E. P., Glasgow, R. E., Klesges, L. M., Benkeser, R. M., & Peek, C. J. (2013). What does it mean to "employ" the RE-AIM model?. *Evaluation & the health professions, 36*(1), 44–66. https://doi.org/10.1177/0163278712446066

Kidder, D. P., & Chapel, T. J. (2018). CDC's Program Evaluation Journey: 1999 to Present. *Public health reports (Washington, D.C. : 1974)*, *133*(4), 356–359.
https://doi.org/10.1177/0033354918778034

Kidder, D. P., Fierro, L. A., Luna, E., Salvaggio, H., McWhorter, A., Bowen, S. A., Murphy-Hoefer, R., Thigpen, S., Alexander, D., Armstead, T. L., August, E., Bruce, D., Clarke, S. N., Davis, C., Downes, A., Gill, S., House, L. D., Kerzner, M., Kun, K., Mumford, K., ... CDC Evaluation Framework Work Group Members (2024). CDC Program Evaluation Framework, 2024. *MMWR. Recommendations and reports : Morbidity and mortality weekly report.* *Recommendations and reports*, *73*(6), 1–37.
https://doi.org/10.15585/mmwr rr7306a1

Kim, J., Jang, J., Kim, B., & Lee, K. H. (2022). Effect of the PRECEDE-PROCEED model on health programs : A systematic review and meta-analysis. *Systematic Reviews*, *11*(1), 213.
https://doi.org/10.1186/s13643-022-02092-2

Kozica, S., Lombard, C. B., Hider, K., Harrison, C. L., & Teede, H. J. (2015). Developing comprehensive health promotion evaluations: a methodological review. *MedCrave Online Journal of Public Health*, *2*(1), Article 00007.
https://doi.org/10.15406/mojph.2015.02.00007

Kwan, B. M., McGinnes, H. L., Ory, M. G., Estabrooks, P. A., Waxmonsky, J. A., & Glasgow, R. E. (2019). RE-AIM in the Real World: Use of the RE-AIM Framework for Program Planning and Evaluation in Clinical and Community Settings. *Frontiers in public health*, *7*, 345. https://doi.org/10.3389/fpubh.2019.00345

Lamboy, B. (2021, juin). Interventions fondées sur les données probantes en prévention et promotion de la santé : définitions et enjeux. *La santé en action*, *456*, 6-8.
Laurent, A., Ferron, C. et Lombrail, P. (2024). Promotion de la santé fondée sur les preuves : place de la capitalisation des expériences et des connaissances expérientielles. *Santé Publique, 36*(4), 61-77. https://doi.org/10.3917/spub.244.0061.

Laville M. (2023). « Mieux prévenir et prendre en charge l'obésité en France », *Rapport Santé*, Ministère de la Santé et de la Prévention.

Lobo, R., Petrich, M., & Burns, S. K. (2014). Supporting health promotion practitioners to undertake evaluation for program development. *BMC public health, 14*, 1315. https://doi.org/10.1186/1471-2458-14-1315

Malengreaux, S., Doumont, D., & Aujoulat, I. (2020). *L'approche réaliste pour évaluer les interventions de promotion de la santé : éclairages théoriques*. Service universitaire de promotion de la santé, UCLouvain/IRSS-RESO. https://dial.uclouvain.be/pr/boreal/object/boreal:255599

McQueen, D. V., & Anderson, L. M. (2000). Données probantes et évaluation des programmes en promotion de la santé. *Ruptures, revue transdisciplinaire en santé, 7*(1), 79-98.

Molleman, G. R. M. (1999). Implementing the Preffi: the use of guidelines for practitioners in the Netherlands. *Best Practices, a Selection of Papers on Quality and Effectiveness in Health Promotion*. Helsinki, Finland: Finnish Centre for Health Promotion, 219-230.

Molleman, G. R. M. (2006). Project quality rating by experts and practitioners : Experience with Preffi 2.0 as a quality assessment instrument. *Health Education Research, 21*(2), 219-229. https://doi.org/10.1093/her/cyh058

Molleman, G. R. M., Ploeg, M. A., Hosman, C. M. H., & Peters, L. (2004). Preffi 2.0 : Un outil néerlandais pour analyser l'efficacité des interventions en promotion de la santé. *Promotion & Education, 11*(1_suppl), 22-27. https://doi.org/10.1177/10253823040110010106

Morin E. (1990), *Introduction à la pensée complexe*, Paris, ESF.
NCD Risk Factor Collaboration (NCD-RisC) (2024). Worldwide trends in underweight and obesity from 1990 to 2022: a pooled analysis of 3663 population-representative studies with 222 million children, adolescents, and adults. *Lancet (London, England)*, 403(10431), 1027–1050. https://doi.org/10.1016/S0140-6736(23)02750-2

Nutbeam, D. (1998). Evaluating health promotion: Progress, problems and solutions. *Health Promotion International*, 13(1), 27–44. https://doi.org/10.1093/heapro/13.1.27

O'Connor-Fleming, M. L., Parker, E., Higgins, H., & Gould, T. (2006). A framework for evaluating health promotion programs. *Health Promotion Journal of Australia*, 17(1), 61-66.

Organisation de Coopération et de Développement Economique (OCDE). (2023), *Une application réfléchie des critères d'évaluation*, Éditions OCDE, Paris, https://doi.org/10.1787/716baf6e-fr.

Organisation Mondiale de la Santé. Bureau régional de l'Europe. (1986). *Promotion de la santé : Charte d'Ottawa. Organisation mondiale de la Santé*. Bureau régional de l'Europe. https://iris.who.int/handle/10665/349653

Organisation Mondiale de la Santé. (1998) *Health Promotion Evaluation: Recommendations to policy-makers*. Report of the WHO European Working Group on Health Promotion Evaluation. Copenhagen: WHO.

Organisation Mondiale de la Santé (2006). WHO Child Growth Standards based on length/height, weight and age. *Acta paediatrica (Oslo, Norway : 1992)*. Supplement, 450, 76–85. https://doi.org/10.1111/j.1651-2227.2006.tb02378.x

Oude Luttikhuis, H., Baur, L., Jansen, H., Shrewsbury, V. A., O'Malley, C., Stolk, R. P., & Summerbell, C. D. (2009). Interventions for treating obesity in children. *The Cochrane database of systematic reviews*, (1), CD001872. https://doi.org/10.1002/14651858.CD001872.pub2
Pagani, V., Kivits, J., Minary, L., Cambon, L., Claudot, F. et Alla, F. (2017). La complexité : concept et enjeux pour les interventions de santé publique. *Santé Publique*, 29(1), 31-39. https://doi.org/10.3917/spub.171.0031. Perret, B. (2009). Acteurs, objets et méthodes de l'évaluation. *Actualité et dossier en santé publique*, (69), 27-39.

Parizot, I. (2012). 5 – L’enquête par questionnaire. Dans S. Paugam. *L'enquête sociologique* (p. 93-113). Presses Universitaires de France. https://doi.org/10.3917/puf.paug.2012.01.0093.

Patton, M. Q. (1997). *Utilization-focused evaluation: The new century text* (3rd ed.). Sage Publications, Inc.

Perret, B. (2014). *L'évaluation des politiques publiques*. La Découverte.

Peters, L., Molleman, G. R. M., Hommels, L. H., Ploeg, M. A., Hosman, C. M. H., Llopis, E., & NIGZ, W. (2003). *Explanatory Guide Preffi 2.0*. Woerden, the Netherlands: NIGZ.

Porter, C. M. (2016). Revisiting Precede-Proceed: A leading model for ecological and ethical health promotion. *Health Education Journal*, 75(6), 753-764.

Praznoczy, C., Lambert, C., & Pascal, C. (2017). *État des lieux de l’activité physique et de la sédentarité en France*. Observatoire national de l’activité physique et de la sédentarité, Paris.

Project Management Institute. (2017). *A guide to the project management body of knowledge (PMBOK guide)*. Project Management Institute, Inc.

Rayssiguier, Y.-R. et Huteau, G. (2018). Chapitre 3. La régionalisation de la politique de santé. *Politiques sociales et de santé : Comprendre pour agir* (443-450). Presses de l'EHESP. https://doi.org/10.3917/ehesp.rayss.2021.01.0445.

Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère
personnel et à la libre circulation de ces données. JOUE L119 du 4 mai 2016. https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=celex%3A32016R0679

Reilly, J. J., Methven, E., McDowell, Z. C., Hacking, B., Alexander, D., Stewart, L., & Kelnar, C. J. (2003). Health consequences of obesity. *Archives of disease in childhood, 88*(9), 748-752. https://doi.org/10.1136/adc.88.9.748

Reilly, K. L., Kennedy, S., Porter, G., & Estabrooks, P. (2020). Comparing, contrasting, and integrating dissemination and implementation outcomes included in the RE-AIM and implementation outcomes frameworks. *Frontiers in Public Health, 8*, 430.

Ridde, V. (2024). L'évaluation des interventions de santé publique. In P. universitaires de Dakar (Éd.), *Santé Publique (Adama Faye)*. https://hal.science/hal-05131996

Ridde, V., & Haddad, S. (2013). Pragmatisme et réalisme pour l'évaluation des interventions de santé publique. *Revue d'épidémiologie et de santé publique*, 61, 95-106.
https://doi.org/10.1016/j.respe.2013.03.037

Rootman, I., Goodstadt, M., Hyndman, B., McQueen, D. V., Potvin, L., Springett, J., & Ziglio, E. (2001). *Evaluation in Health Promotion: Principles and Perspectives*. WHO Regional Publications, European Series.

Rossi, P. H., Lipsey, M. W., Lipsey, M. W., & Freeman, H. E. (2004). *Evaluation: A systematic approach*. Sage Publications Inc.

Sackett, D. L., Rosenberg, W. M., Gray, J. A., Haynes, R. B., & Richardson, W. S. (1996). Evidence based medicine: what it is and what it isn't. *BMJ (Clinical research ed.)*, 312(7023), 71-72. https://doi.org/10.1136/bmj.312.7023.71

Scriven, M. (1967). The Methodology of Evaluation. In R. W. Tyler, R. M. Gagne, & M. Scriven. *Perspectives of Curriculum Evaluation* Chicago (pp. 39-83). Rand McNally.

Scriven, M. (1980). *The logic of evaluation*. Edgepress Inverness, CA.
Scriven, M. (1991). *Evaluation thesaurus*. 4th ed. Sage.

Sharma, M., & Petosa, R. L. (2014). *Measurement and evaluation for health educators*. Jones & Bartlett Publishers.

Smith, B. J. (2011). Evaluation of health promotion programs: are we making progress?. *Health Promotion Journal of Australia*, 22(3), 165-165.

Soura, B. D., Dagenais, C., Bastien, R., Fallu, J. S., & Janosz, M. (2016). L'étude d'évaluabilité: Utilité et pertinence pour l'évaluation de programme. *Canadian Journal of Program Evaluation*, 31(1), 18-33.

Soura, B.D, Fallu, J.-S., Bastien, R., & N. Brière, F. (2019). I. L'étude d'évaluabilité. In V. Ridde & C. Dagenais (éds.), *Évaluation des interventions de santé mondiale* (1-). IRD Éditions. https://doi.org/10.4000/books.irdeditions.33483

Stufflebeam, D. L. (1973). Evaluation as enlightenment for decision-making. In B. R. Worthen & J. R. Sanders (Eds.), *Educational evaluation: Theory and practice*. Worthington, OH: Charles A. Jones Publishing.

Stufflebeam, D. L., Foley, W. J., Gephart, W. J., Guba, E. G., Hammond, R. L., Merriman, H. O., & Provus, M. M. (1980). *L'évaluation en éducation et la prise de décision*. Ottawa: N.H.P.

Tharrey, M., Savy, M., Perignon, M., Méjean, C., & Darmon, N. (2021). Chapitre 3 - L'évaluation d'impact des actions de prévention et de promotion de la santé nutritionnelle. In O. Lepiller, T. Fournier, N. Bricas, & M. Figuié (éds.), *Méthodes d'investigation de l'alimentation et des mangeurs* (1-). Éditions Quæ. https://books.openedition.org/quae/41537

Trompette, J. (2017). *Complexité des interventions en santé publique et en promotion de la santé: exploration de son appréhension par les chercheurs et par les acteurs de terrain.*
[Thèse de Doctorat, Université de Lorraine]. HAL. https://theses.hal.science/tel-01835058
Trosa, S. (1992). Le rôle de la méthode dans l'évaluation à travers l'expérience du conseil scientifique de l'évaluation en France. *Politiques et management public, 10*(3), 83-102.

Trosa, S. (éd.). (2009). *Évaluer les politiques publiques pour améliorer l'action publique*. Institut de la gestion publique et du développement économique, Comité pour l'histoire économique et financière de la France. https://doi.org/10.4000/books.igpde.1267

Valente, T. W. (2002). *Evaluating health promotion programs*. Oxford University Press.

Vandoorne, C., Jabot, F., & Fond-Harmant, L. (2007). L'évaluation : « ni pensée unique ni bonnes ou mauvaises méthodes ». *La Santé de l'homme, 390*, 12-13.

Viveret P. (1989), *L'évaluation des politiques et des actions publiques*, Rapport au Premier ministre, Paris, La Documentation française.

Weiss, Carol H. (1998). *Evaluation: Methods for Studying Programs and Policies* (2e éd.). Upper Saddle River, NJ : Prentice Hall.

Wholey, J. S. (2004). Using evaluation to improve performance and support policy decision
making. In M. C. Alkin (Ed.), *Evaluation roots: Tracing theorists' views and influences*
(267–275). Sage Publications.

Willett, G. (1996). Paradigme, théorie, modèle, schéma : Qu’est-ce donc ? *Communication et organisation. Revue scientifique francophone en Communication organisationnelle*, 10, Article 10. https://doi.org/10.4000/communicationorganisation.1873
Annexes

<table><tr><td>Annexe 1 – Tableau des données collectées, de leurs sources et de leur utilité pour le travail d'évaluation</td><td>96</td></tr><tr><td>Annexe 2 – Liste de contrôle des dimensions du modèle RE-AIM (traduit du modèle proposé sur le site internet www.re-aim.org)</td><td>98</td></tr><tr><td>Annexe 3 – Structure de découpage des tâches (WBS)</td><td>100</td></tr><tr><td>Annexe 4 – Rapport de synthèse du protocole d'évaluation d'impact du dispositif Pass 'Sport Santé</td><td>101</td></tr><tr><td>Annexe 5 – Matrice de l'évaluation d'impact du dispositif PSS, basée sur le modèle RE-AIM</td><td>117</td></tr><tr><td>Annexe 6 – Tableau des données et outils existants (évaluations annuelles)</td><td>122</td></tr><tr><td>Annexe 7 – Questionnaire parents soumis à T1</td><td>124</td></tr><tr><td>Annexe 8 – Questionnaire enfants soumis à T1</td><td>126</td></tr><tr><td>Annexe 9 – Questionnaire d'évaluation soumis à T0 et T2</td><td>128</td></tr><tr><td>Annexe 10 – Guide d'entretien semi-directif soumis à T2</td><td>135</td></tr><tr><td>Annexe 11 – Fiche d'information relative à la protection des données</td><td>137</td></tr></table>