Avant l'AMI Tremplin Asso, Concerts de Poche avait mené des interventions ponctuelles à Roubaix. Comme VoisinMalin et Fête le Mur, l'association a été approchée par la Ville pour mener une action de plus grande envergure. L'association a particulièrement misé sur l'équipe politique de la ville pour « co-construire » son projet :

> « Sur certains rendez-vous, on peut avoir une vision de nous comme une grosse association parisienne. On est une machine conséquente. On fait une pédagogie pour dire que ça ne nous empêche pas de faire un projet pour les habitants. Mais ce n'était pas trop le cas avec Roubaix, car ont étant présents depuis longtemps. On est identifiés. Et quand on arrive, les projets sont co-construits avec les partenaires des territoires. À Roubaix, on s'est beaucoup appuyé sur la cheffe de projet politique de la ville pour qu'elle nous guide sur les publics à aller voir et qu'elle nous aide à créer du lien avec les autres associations du territoire ».

De son côté, l'Ufolep invite ses salarié.es à « courtiser » les délégué.es du préfet, partenaires indispensables pour accéder, le moment venu, aux financements du contrat de ville. Les séminaires organisés par l'ANCT dans le cadre de Tremplin Asso se sont avérés précieux, comme l'explique le délégué départemental de l'Ufolep :

> « Les salarié.es ont reçu une formation pour nouer des relations avec les délégué.es du préfet. Ils ont passé deux jours sur Paris pour partager les bonnes pratiques. Tous n'ont pas comme moi une formation en science politique. Ils sont majoritairement Staps. L'ANCT a organisé des séminaires pour apprendre aux associations à s'implanter dans les QPV. Maintenant on invite les délégué.es du préfet à chaque événement. C'est une sorte de lobbying. Si un jour on a besoin de financement, on sait qu'ils seront là... ».

Même si ses programmes sont assez largement préfabriqués, l'association Sport dans la Ville privilégie une méthode de l'aller-vers en direction des diverses parties prenantes locales. Le directeur régional des Hauts-de-France de Sport dans la Ville nous explique que c'est la condition pour se faire connaître et estomper l'image d'« association parisienne » :

> « Quand on ouvre un nouveau terrain, il faut arriver en toute humilité. Il faut convaincre les élus qu'on mène une action locale. On pratique souvent l'aller-vers, c'est ce qui plaît aux pouvoirs publics. Faire ce travail d'essaimage consiste à aller à la rencontre des acteurs locaux. Ce travail est vital pour se faire identifier et montrer qu'on n'est pas des parisiens qui viennent tout changer ».
Avant l'AMI Tremplin Asso, Concerts de Poche avait mené des interventions ponctuelles à Roubaix. Comme VoisinMalin et Fête le Mur, l'association a été approchée par la Ville pour mener une action de plus grande envergure. L'association a particulièrement misé sur l'équipe politique de la ville pour « co-construire » son projet :

> « Sur certains rendez-vous, on peut avoir une vision de nous comme une grosse association parisienne. On est une machine conséquente. On fait une pédagogie pour dire que ça ne nous empêche pas de faire un projet pour les habitants. Mais ce n'était pas trop le cas avec Roubaix, car ont étant présents depuis longtemps. On est identifiés. Et quand on arrive, les projets sont co-construits avec les partenaires des territoires. À Roubaix, on s'est beaucoup appuyé sur la cheffe de projet politique de la ville pour qu'elle nous guide sur les publics à aller voir et qu'elle nous aide à créer du lien avec les autres associations du territoire ».

De son côté, l'Ufolep invite ses salarié.es à « courtiser » les délégué.es du préfet, partenaires indispensables pour accéder, le moment venu, aux financements du contrat de ville. Les séminaires organisés par l'ANCT dans le cadre de Tremplin Asso se sont avérés précieux, comme l'explique le délégué départemental de l'Ufolep :

> « Les salarié.es ont reçu une formation pour nouer des relations avec les délégué.es du préfet. Ils ont passé deux jours sur Paris pour partager les bonnes pratiques. Tous n'ont pas comme moi une formation en science politique. Ils sont majoritairement Staps. L'ANCT a organisé des séminaires pour apprendre aux associations à s'implanter dans les QPV. Maintenant on invite les délégué.es du préfet à chaque événement. C'est une sorte de lobbying. Si un jour on a besoin de financement, on sait qu'ils seront là... ».

Même si ses programmes sont assez largement préfabriqués, l'association Sport dans la Ville privilégie une méthode de l'aller-vers en direction des diverses parties prenantes locales. Le directeur régional des Hauts-de-France de Sport dans la Ville nous explique que c'est la condition pour se faire connaître et estomper l'image d'« association parisienne » :

> « Quand on ouvre un nouveau terrain, il faut arriver en toute humilité. Il faut convaincre les élus qu'on mène une action locale. On pratique souvent l'aller-vers, c'est ce qui plaît aux pouvoirs publics. Faire ce travail d'essaimage consiste à aller à la rencontre des acteurs locaux. Ce travail est vital pour se faire identifier et montrer qu'on n'est pas des parisiens qui viennent tout changer ».
Pour Sport dans la Ville, jouer la carte de la proximité consiste aussi à mettre en avant son implantation régionale, à défaut d'une implantation territoriale plus fine :

> « Avant de se lancer sur un nouveau territoire, on a toujours une crainte. Mais je suis de la région, j'ai cette cartouche. On n'a que des locaux pour l'équipe régionale. Mais les terrains appartiennent à la Ville ou à un bailleur où on crée le terrain ».

Raid Aventure a au contraire fait le choix de créer une antenne roubaisienne, que dirige un policier natif de la Ville ayant exercé pendant vingt à ans à Paris :

> « Moi quand on m'a parlé qu'il y avait un projet de construire une antenne à Roubaix, j'ai tout de suite dit que c'était pour moi. Je suis né là-bas, j'y ai grandi. Je suis un peu l'enfant du quartier. Et mon nom de famille est assez connu. Donc j'ai accepté naturellement la gestion de l'antenne roubaisienne ».

Pour Sport dans la Ville, la relation privilégiée nouée avec le maire de Roubaix, construite avant même l'AMI Tremplin Asso, constitue une carte maîtresse. Il n'est pas rare de voir G. Delbar s'afficher dans des journées d'inauguration et participer des dîners organisés par l'association pour peaufiner son image de maire proche du milieu sportif :

> « L'interlocuteur à Roubaix a été le maire directement, et aussi le directeur des sports avec qui je suis très en lien. Je connais beaucoup d'élus, de directeurs... Je suis très en lien avec eux. Les relations se développent dans des espaces privilégiés de négociation (dîners, inaugurations, réunions...). Le maire s'implique directement. Il est présent à chaque fois qu'on a un événement et ça se passe très bien. Il croit beaucoup à Sport dans la Ville. Il est très, très, investi. Il voudrait qu'on ouvre un terrain. On a un projet Campus comme à Lyon. C'est une ville très demandeuse. »

Qu'elles s'effectuent par le haut ou par le bas, les stratégies de « réseautage » des associations lauréates ne sont pas dépourvues d'efficacité, même s'il faut en relativiser l'importance puisque nombre d'entre elles avaient déjà noué des liens avec la municipalité de Roubaix avant l'AMI Tremplin Asso. Mais les relations tissées avec les élu.es et services municipaux ont permis de contrecarrer partiellement les effets du quasi rejet des associations lauréates par les associations locales et par les services de l'État.

Bien qu'elle ne les ait pas encouragées à s'installer sur son territoire, la mairie de Vaulx-en-Velin n'a pas non plus dissuadé les associations lauréates, dont plusieurs, souvent présentes avant l'AMI, sont bien identifiées localement. À l'inverse, d'autres structures lauréates qui prévoyaient d'intervenir à Vaulx-en-Velin restent mal connues, voire inconnues de la maire ou du délégué du préfet : Enactus, Orchestre à l'École, Play international, Proxité, Unis-Cité ou Zep entrent dans cette catégorie.
Pour Sport dans la Ville, jouer la carte de la proximité consiste aussi à mettre en avant son implantation régionale, à défaut d'une implantation territoriale plus fine :

> « Avant de se lancer sur un nouveau territoire, on a toujours une crainte. Mais je suis de la région, j'ai cette cartouche. On n'a que des locaux pour l'équipe régionale. Mais les terrains appartiennent à la Ville ou à un bailleur où on crée le terrain ».

Raid Aventure a au contraire fait le choix de créer une antenne roubaisienne, que dirige un policier natif de la Ville ayant exercé pendant vingt à ans à Paris :

> « Moi quand on m'a parlé qu'il y avait un projet de construire une antenne à Roubaix, j'ai tout de suite dit que c'était pour moi. Je suis né là-bas, j'y ai grandi. Je suis un peu l'enfant du quartier. Et mon nom de famille est assez connu. Donc j'ai accepté naturellement la gestion de l'antenne roubaisienne ».

Pour Sport dans la Ville, la relation privilégiée nouée avec le maire de Roubaix, construite avant même l'AMI Tremplin Asso, constitue une carte maîtresse. Il n'est pas rare de voir G. Delbar s'afficher dans des journées d'inauguration et participer des dîners organisés par l'association pour peaufiner son image de maire proche du milieu sportif :

> « L'interlocuteur à Roubaix a été le maire directement, et aussi le directeur des sports avec qui je suis très en lien. Je connais beaucoup d'élus, de directeurs... Je suis très en lien avec eux. Les relations se développent dans des espaces privilégiés de négociation (dîners, inaugurations, réunions...). Le maire s'implique directement. Il est présent à chaque fois qu'on a un événement et ça se passe très bien. Il croit beaucoup à Sport dans la Ville. Il est très, très, investi. Il voudrait qu'on ouvre un terrain. On a un projet Campus comme à Lyon. C'est une ville très demandeuse. »

Qu'elles s'effectuent par le haut ou par le bas, les stratégies de « réseautage » des associations lauréates ne sont pas dépourvues d'efficacité, même s'il faut en relativiser l'importance puisque nombre d'entre elles avaient déjà noué des liens avec la municipalité de Roubaix avant l'AMI Tremplin Asso. Mais les relations tissées avec les élu.es et services municipaux ont permis de contrecarrer partiellement les effets du quasi rejet des associations lauréates par les associations locales et par les services de l'État.

Bien qu'elle ne les ait pas encouragées à s'installer sur son territoire, la mairie de Vaulx-en-Velin n'a pas non plus dissuadé les associations lauréates, dont plusieurs, souvent présentes avant l'AMI, sont bien identifiées localement. À l'inverse, d'autres structures lauréates qui prévoyaient d'intervenir à Vaulx-en-Velin restent mal connues, voire inconnues de la maire ou du délégué du préfet : Enactus, Orchestre à l'École, Play international, Proxité, Unis-Cité ou Zep entrent dans cette catégorie.
Si aucune association lauréate n'est persona non grata à Vaulx-en-Velin, la variable politique n'est pas neutre, comme l'indique un responsable de l'antenne régionale de Sport dans la Ville qui souligne un manque de soutien des municipalités de gauche :

> « On travaille plus facilement sur certaines communes que sur d'autres, pour des raisons politiques : il y a des territoires qui ne nous voient pas d'un bon œil car on est une entreprise d'envergure nationale et pas une petite association locale alors qu'on fait tout pour l'être ! On a du mal à être soutenus par les villes de gauche. Elles se disent qu'on a déjà plein d'aides privées et ça bloque niveau du soutien financier. Vaulx-en-Velin, on sait qu'ils n'ont pas beaucoup de moyens et qu'ils choisissent de ne pas nous soutenir. Les premiers à qui on coupe les budgets, c'est les plus gros ».

## « Paris-Roubaix » et « Paris-Vaulx-en-Velin » des allers simples ? Les perspectives de pérennisation des associations lauréates

Comme à Sarcelles, l'ancrage des associations lauréates au-delà de l'AMI Tremplin Asso apparaît encore hypothétique pour la plupart de celles qui sont intervenues à Roubaix et Vaulx-en-Velin. Même si les élu.es roubaisien.nes se sont montré.es plus accueillant.es que leurs homologues vaudais.es, ils et elles rechignent à prendre le relais du financement de l'ANCT. Comme le précise une technicienne de la politique de la ville, « les associations parisiennes parachutées ne sont pas favorisées lors des sélections du contrat de ville ». Son élu de tutelle assure qu'« il faut être vigilant car les budgets sont serrés et tout le monde ne peut pas avoir de l'aide de la municipalité ».

Dans le cas d'espèce, le critère appliqué est celui des ressources financières de l'association : « Nous ce qu'on fait, c'est qu'on regarde les bilans financiers des associations. Et si on voit qu'elles sont dans une bonne situation, on ne leur donne pas de subvention. Il y a déjà eu Sport dans la Ville qui avait fait un dossier en contrat de ville. On l'a refusé. Ça peut arriver... ». Sport dans la Ville, dont on a souligné la forte proximité avec le maire de Roubaix, bénéficie néanmoins d'un traitement privilégié avec la signature d'une nouvelle convention pluriannuelle d'objectifs (CPO) d'une durée de dix ans en 2023 (une première CPO avait été signée pour une durée de cinq ans), lui octroyant 100 000 € par an de subvention de fonctionnement, auxquels s'ajoutent 40 000 € de subvention d'investissement pour l'aménagement d'un équipement sportif. Aussi la demande de l'association d'émarger au contrat de ville suscite-t-elle des interrogations chez certain.es acteur.ices.

Dans le contexte financier contraint de la politique de la ville, seules quelques associations lauréates ont su tirer leur épingle du jeu, comme VoisinMalin qui « s'est engagé collectivement et n'est pas resté seul dans son association », selon les mots de la technicienne. Appréciée de la préfecture pour ses actions de rapprochement entre les jeunes
Si aucune association lauréate n'est persona non grata à Vaulx-en-Velin, la variable politique n'est pas neutre, comme l'indique un responsable de l'antenne régionale de Sport dans la Ville qui souligne un manque de soutien des municipalités de gauche :

> « On travaille plus facilement sur certaines communes que sur d'autres, pour des raisons politiques : il y a des territoires qui ne nous voient pas d'un bon œil car on est une entreprise d'envergure nationale et pas une petite association locale alors qu'on fait tout pour l'être ! On a du mal à être soutenus par les villes de gauche. Elles se disent qu'on a déjà plein d'aides privées et ça bloque niveau du soutien financier. Vaulx-en-Velin, on sait qu'ils n'ont pas beaucoup de moyens et qu'ils choisissent de ne pas nous soutenir. Les premiers à qui on coupe les budgets, c'est les plus gros ».

## « Paris-Roubaix » et « Paris-Vaulx-en-Velin » des allers simples ? Les perspectives de pérennisation des associations lauréates

Comme à Sarcelles, l'ancrage des associations lauréates au-delà de l'AMI Tremplin Asso apparaît encore hypothétique pour la plupart de celles qui sont intervenues à Roubaix et Vaulx-en-Velin. Même si les élu.es roubaisien.nes se sont montré.es plus accueillant.es que leurs homologues vaudais.es, ils et elles rechignent à prendre le relais du financement de l'ANCT. Comme le précise une technicienne de la politique de la ville, « les associations parisiennes parachutées ne sont pas favorisées lors des sélections du contrat de ville ». Son élu de tutelle assure qu'« il faut être vigilant car les budgets sont serrés et tout le monde ne peut pas avoir de l'aide de la municipalité ».

Dans le cas d'espèce, le critère appliqué est celui des ressources financières de l'association : « Nous ce qu'on fait, c'est qu'on regarde les bilans financiers des associations. Et si on voit qu'elles sont dans une bonne situation, on ne leur donne pas de subvention. Il y a déjà eu Sport dans la Ville qui avait fait un dossier en contrat de ville. On l'a refusé. Ça peut arriver... ». Sport dans la Ville, dont on a souligné la forte proximité avec le maire de Roubaix, bénéficie néanmoins d'un traitement privilégié avec la signature d'une nouvelle convention pluriannuelle d'objectifs (CPO) d'une durée de dix ans en 2023 (une première CPO avait été signée pour une durée de cinq ans), lui octroyant 100 000 € par an de subvention de fonctionnement, auxquels s'ajoutent 40 000 € de subvention d'investissement pour l'aménagement d'un équipement sportif. Aussi la demande de l'association d'émarger au contrat de ville suscite-t-elle des interrogations chez certain.es acteur.ices.

Dans le contexte financier contraint de la politique de la ville, seules quelques associations lauréates ont su tirer leur épingle du jeu, comme VoisinMalin qui « s'est engagé collectivement et n'est pas resté seul dans son association », selon les mots de la technicienne. Appréciée de la préfecture pour ses actions de rapprochement entre les jeunes
et la police, l'association Raid Aventure a bénéficié d'un financement du Fonds
interministériel de prévention de la délinquance.

Pour d'autres associations, comme Fête le Mur, les perspectives d'avenir sur le territoire de
Roubaix semblent plus incertaines. Bien qu'ayant réussi à inscrire le club sportif qui porte
son action dans la programmation du contrat de ville, ce dernier n'a pas vocation à
subventionner le fonctionnement des associations. Fête le Mur est donc invité à se tourner
vers le privé, comme l'explique une responsable locale de l'association :

« À Roubaix, on est en contrat de ville depuis trois ans, mais ça va peut-être s'arrêter l'an prochain. La déléguée du préfet a décidé de financer de nouvelles actions émergentes et le contrat de ville ne doit pas être un financement principal. On nous demande de multiplier les types de financement, de rechercher d'autres types de partenaires. En tout cas, il faut faire en sorte que le contrat de ville ne soit plus le financeur principal, voire même ne soit plus du tout le financeur de nos actions. On a mis en place une commission pour aller chercher des financements privés dans un contexte où les financements publics sont de plus en plus restreints ».

D'autres associations lauréates ayant développé un projet à Roubaix se confrontent à la
fermeture des financements. L'Institut Télémaque a tenté d'intégrer la Cité éducative, mais
s'est heurté au refus de la préfecture. Les Petits Débrouillards ont fait une tentative auprès
du contrat de ville « puis ils sont repartis et on n'en a jamais plus entendu parler », indique
une technicienne de la politique de la ville. Orchestre à l'école n'a pas rencontré plus de
succès dans sa quête de financements locaux.

Dans ce contexte, certaines associations lauréates n'ont pas réussi à se pérenniser sur le
territoire de Roubaix. C'est le cas par exemple de Mozaïk RH qui a fermé son antenne
locale. Une ancienne élue explique que cette fermeture tient « au bilan qui n'était pas à la
hauteur » des attentes de la mairie. Les Concerts de Poche prévoient aussi de se retirer du
territoire. La responsable locale de l'association précise que celle-ci « a vocation à
disparaître car on veut que les publics n'aient plus besoin de nous ». Comme Mozaïk RH,
Télémaque ou Proxité, les futures actions sont envisagées à l'échelle de la Métropole
européenne de Lille qui soutient ces structures, mais sans lien nécessaire avec les QPV.

Un phénomène de repli vers l'échelon régional ou départemental s'observe aussi pour des
associations lauréates ayant développé des actions à Vaulx-en-Velin dans le cadre de l'AMI.
C'est le cas de l'Apels, de Mozaïk RH, Proxité, Rêv'Elles ou de Sport dans la Ville. D'autres
associations conservent une activité à Vaulx-en-Velin (Article 1, Enactus France, Fête le
Mur, France Médiation, Télémaque), mais les règles de financement de la politique de la ville
s'ajoutant au faible soutien politique, rendent leur avenir incertain sur ce territoire.
et la police, l'association Raid Aventure a bénéficié d'un financement du Fonds
interministériel de prévention de la délinquance.

Pour d'autres associations, comme Fête le Mur, les perspectives d'avenir sur le territoire de
Roubaix semblent plus incertaines. Bien qu'ayant réussi à inscrire le club sportif qui porte
son action dans la programmation du contrat de ville, ce dernier n'a pas vocation à
subventionner le fonctionnement des associations. Fête le Mur est donc invité à se tourner
vers le privé, comme l'explique une responsable locale de l'association :

« À Roubaix, on est en contrat de ville depuis trois ans, mais ça va peut-être s'arrêter l'an prochain. La déléguée du préfet a décidé de financer de nouvelles actions émergentes et le contrat de ville ne doit pas être un financement principal. On nous demande de multiplier les types de financement, de rechercher d'autres types de partenaires. En tout cas, il faut faire en sorte que le contrat de ville ne soit plus le financeur principal, voire même ne soit plus du tout le financeur de nos actions. On a mis en place une commission pour aller chercher des financements privés dans un contexte où les financements publics sont de plus en plus restreints ».

D'autres associations lauréates ayant développé un projet à Roubaix se confrontent à la
fermeture des financements. L'Institut Télémaque a tenté d'intégrer la Cité éducative, mais
s'est heurté au refus de la préfecture. Les Petits Débrouillards ont fait une tentative auprès
du contrat de ville « puis ils sont repartis et on n'en a jamais plus entendu parler », indique
une technicienne de la politique de la ville. Orchestre à l'école n'a pas rencontré plus de
succès dans sa quête de financements locaux.

Dans ce contexte, certaines associations lauréates n'ont pas réussi à se pérenniser sur le
territoire de Roubaix. C'est le cas par exemple de Mozaïk RH qui a fermé son antenne
locale. Une ancienne élue explique que cette fermeture tient « au bilan qui n'était pas à la
hauteur » des attentes de la mairie. Les Concerts de Poche prévoient aussi de se retirer du
territoire. La responsable locale de l'association précise que celle-ci « a vocation à
disparaître car on veut que les publics n'aient plus besoin de nous ». Comme Mozaïk RH,
Télémaque ou Proxité, les futures actions sont envisagées à l'échelle de la Métropole
européenne de Lille qui soutient ces structures, mais sans lien nécessaire avec les QPV.

Un phénomène de repli vers l'échelon régional ou départemental s'observe aussi pour des
associations lauréates ayant développé des actions à Vaulx-en-Velin dans le cadre de l'AMI.
C'est le cas de l'Apels, de Mozaïk RH, Proxité, Rêv'Elles ou de Sport dans la Ville. D'autres
associations conservent une activité à Vaulx-en-Velin (Article 1, Enactus France, Fête le
Mur, France Médiation, Télémaque), mais les règles de financement de la politique de la ville
s'ajoutant au faible soutien politique, rendent leur avenir incertain sur ce territoire.
3.4. L'impact sur les bénéficiaires : un angle mort des évaluations

Tout comme les rapports d'évaluation des associations lauréates, nos enquêtes à Sarcelles,
Roubaix et Vaulx-en-Velin permettent de documenter les conditions du déploiement territorial
du programme Tremplin Asso, notamment sous l'angle de la réception locale des lauréats.
L'impact de ce déploiement sur les bénéficiaires des actions – publics comme territoires –
reste en revanche un angle mort de l'« impact social » que chaque structure lauréate a
cherché à mesurer avec l'appui d'un cabinet de consultants ou d'une équipe universitaire.

La mesure de réalisations et de résultats plutôt que d'impacts

Nous avons pu consulter un peu plus de la moitié des rapports d'évaluation produits dans le
cadre de Tremplin Asso. Il en ressort qu'au-delà de l'évaluation des processus de mise en
œuvre des actions dans les territoires permettant de documenter les réalisations et de
quantifier les publics touchés, aucune de ces évaluations ne permet de mesurer
rigoureusement leur impact social, c'est-à-dire les changements provoqués par les actions
sur les publics comme les territoires ciblés. Les lauréats ont été sélectionnés sur le
fondement d'une promesse d'efficacité et d'impact, mais aucun n'a fait la démonstration d'un
lien de causalité entre l'évolution de la situation des bénéficiaires et les actions menées.

Rappelons que pour établir une relation de cause à effet, il faut pouvoir répondre à la
question : que se serait-il passé si, toutes choses égales d'ailleurs, l'action n'avait pas été
mise en œuvre ? Comme l'a souligné le Conseil scientifique de l'évaluation, poser le
problème en ces termes oriente vers l'idée d'« expérimentation » telle qu'elle est mise en
œuvre dans les sciences de la nature pour vérifier des hypothèses<sup>90</sup>. En toute rigueur, seule
une expérience reproductible à l'identique, mettant en parallèle deux situations qui ne
diffèrent que sous l'angle du phénomène étudié, permet de se prononcer sur l'impact propre
d'une action sur la réalité. Ce qui passe par la construction d'un « contrefactuel » afin de
déterminer l'existence d'un impact « toutes choses égales par ailleurs ». Mettre en évidence
l'effet propre d'une action consiste en d'autres termes à soustraire le « deadweight » – ce qui
se serait produit de toute façon (effet d'aubaine) ou qui est le fait de l'intervention d'autres
acteur.ices – à l'« outcome » (les résultats)<sup>91</sup>.

C'est une telle démarche qui a par exemple été mise en œuvre par le Laboratoire
interdisciplinaire d'évaluation des politiques publiques (LIEPP) de Sciences Po pour évaluer
l'impact d'un dispositif de médiation sociale en milieu scolaire porté par France Médiation,

<footnote n="90">⁹⁰ Conseil scientifique de l'évaluation (1996), *Petit guide de l'évaluation des politiques publiques*, Paris, La Documentation française.</footnote>

<footnote n="91">⁹¹ Studer, M. (2023), op. cit.</footnote>
### 3.4. L'impact sur les bénéficiaires : un angle mort des évaluations

Tout comme les rapports d'évaluation des associations lauréates, nos enquêtes à Sarcelles, Roubaix et Vaulx-en-Velin permettent de documenter les conditions du déploiement territorial du programme Tremplin Asso, notamment sous l'angle de la réception locale des lauréats. L'impact de ce déploiement sur les bénéficiaires des actions – publics comme territoires – reste en revanche un angle mort de l'« impact social » que chaque structure lauréate a cherché à mesurer avec l'appui d'un cabinet de consultants ou d'une équipe universitaire.

#### La mesure de réalisations et de résultats plutôt que d'impacts

Nous avons pu consulter un peu plus de la moitié des rapports d'évaluation produits dans le cadre de Tremplin Asso. Il en ressort qu'au-delà de l'évaluation des processus de mise en œuvre des actions dans les territoires permettant de documenter les réalisations et de quantifier les publics touchés, aucune de ces évaluations ne permet de mesurer rigoureusement leur impact social, c'est-à-dire les changements provoqués par les actions sur les publics comme les territoires ciblés. Les lauréats ont été sélectionnés sur le fondement d'une promesse d'efficacité et d'impact, mais aucun n'a fait la démonstration d'un lien de causalité entre l'évolution de la situation des bénéficiaires et les actions menées.

Rappelons que pour établir une relation de cause à effet, il faut pouvoir répondre à la question : que se serait-il passé si, toutes choses égales d'ailleurs, l'action n'avait pas été mise en œuvre ? Comme l'a souligné le Conseil scientifique de l'évaluation, poser le problème en ces termes oriente vers l'idée d'« expérimentation » telle qu'elle est mise en œuvre dans les sciences de la nature pour vérifier des hypothèses<fnref n="90" />. En toute rigueur, seule une expérience reproductible à l'identique, mettant en parallèle deux situations qui ne diffèrent que sous l'angle du phénomène étudié, permet de se prononcer sur l'impact propre d'une action sur la réalité. Ce qui passe par la construction d'un « contrefactuel » afin de déterminer l'existence d'un impact « toutes choses égales par ailleurs ». Mettre en évidence l'effet propre d'une action consiste en d'autres termes à soustraire le « deadweight » – ce qui se serait produit de toute façon (effet d'aubaine) ou qui est le fait de l'intervention d'autres acteur.ices – à l'« outcome » (les résultats)<fnref n="91" />.

C'est une telle démarche qui a par exemple été mise en œuvre par le Laboratoire interdisciplinaire d'évaluation des politiques publiques (LIEPP) de Sciences Po pour évaluer l'impact d'un dispositif de médiation sociale en milieu scolaire porté par France Médiation,

<footnote n="90">⁹⁰ Conseil scientifique de l'évaluation (1996), *Petit guide de l'évaluation des politiques publiques*, Paris, La Documentation française.</footnote>

<footnote n="91">⁹¹ Studer, M. (2023), *op. cit.*</footnote>
dans le cadre d'un projet du Fonds d'expérimentation pour la jeunesse de l'Injep. À partir d'une méthode de tirage au sort aléatoire, 80 établissements scolaires tests avaient été comparés à 80 établissements témoins pendant deux ans<fnref n="92" />. Or, pour l'évaluation d'une action de même nature mise en œuvre dans le cadre de Tremplin Asso, France Médiation a opté pour une analyse qualitative (confiée au cabinet Trans-Formation) fondée sur des entretiens avec les parties prenantes – incluant des élèves formé.es à la méditation par les pairs – sur 6 terrains, à raison de deux à quatre journées par terrain, et de l'exploitation de questionnaires diffusés auprès de différentes parties prenantes. Le rapport conclut néanmoins à un « fort impact positif ».

Plusieurs évaluateur.ices des lauréats Tremplin Asso se réclament de l'approche dite de l'évaluation fondée sur « théorie du changement » (*theory-based evaluation*<fnref n="93" />). Cette méthode consiste à expliciter les hypothèses implicites que font des décideurs et les parties prenantes engagés dans une action, à documenter sa mise en œuvre, pour tenter *in fine* de retracer le « chemin causal » entre les actions décidées et leurs effets attendus. Si elles peuvent être utiles dans une perspective endoformative et/ou pour le pilotage des actions, ces évaluations ne permettent pas d'isoler les effets de l'action menée par l'association d'autres facteurs susceptibles d'expliquer les effets constatés. En d'autres termes, ces évaluations identifient des réalisations (ce qui est fait dans l'action) et des résultats (les changements observables chez les bénéficiaires directs et indirects), mais délaissent la mesure d'impact compris comme l'effet propre de l'action « toutes choses égales par ailleurs ».

Pour prendre la mesure de « l'impact » des actions, la plupart des évaluations s'en remettent à la perception de leurs effets par les bénéficiaires, tels que recueillis par voie de questionnaires, d'entretiens qualitatifs approfondis, de focus-groupes, etc. À une exception près (l'évaluation de l'action portée par le Plus petit cirque du monde qui met en évidence sa faible appropriation par les habitant.es du quartier), toutes les évaluations ainsi menées rendent compte des changements positifs, tels que rapportés par les bénéficiaires eux-mêmes, sous l'effet des actions. Parmi bien des exemples, on peut citer l'évaluation de l'action de France Médiation montrant que « 89% des élèves stressées par le fait d'aller à l'école déclarent être davantage rassuré.es » depuis qu'elles ou ils connaissent leur médiateur.ice à l'école. L'évaluation d'Enactus France indique que « 82% des élèves se

<footnote n="92">⁹² Algan, Y. et al. (2015), *Comment lutter contre la violence et le harcèlement à l'école et au collège ? Effets du dispositif de médiation sociale France Médiation et d'un dispositif de prise de conscience du niveau de violence*, Liepp, Rapport d'évaluation pour le Fonds d'expérimentation pour la jeunesse de l'Injep, avril.</footnote>

<footnote n="93">⁹³ Chen, H. T. (1999), *Theory-Driven Evaluations*, Thousand Oak, Sage.</footnote>
dans le cadre d'un projet du Fonds d'expérimentation pour la jeunesse de l'Injep. À partir d'une méthode de tirage au sort aléatoire, 80 établissements scolaires tests avaient été comparés à 80 établissements témoins pendant deux ans<fnref n="92" />. Or, pour l'évaluation d'une action de même nature mise en œuvre dans le cadre de Tremplin Asso, France Médiation a opté pour une analyse qualitative (confiée au cabinet Trans-Formation) fondée sur des entretiens avec les parties prenantes – incluant des élèves formé.es à la méditation par les pairs – sur 6 terrains, à raison de deux à quatre journées par terrain, et de l'exploitation de questionnaires diffusés auprès de différentes parties prenantes. Le rapport conclut néanmoins à un « fort impact positif ».

Plusieurs évaluateur.ices des lauréats Tremplin Asso se réclament de l'approche dite de l'évaluation fondée sur « théorie du changement » (*theory-based evaluation*<fnref n="93" />). Cette méthode consiste à expliciter les hypothèses implicites que font des décideurs et les parties prenantes engagés dans une action, à documenter sa mise en œuvre, pour tenter *in fine* de retracer le « chemin causal » entre les actions décidées et leurs effets attendus. Si elles peuvent être utiles dans une perspective endoformative et/ou pour le pilotage des actions, ces évaluations ne permettent pas d'isoler les effets de l'action menée par l'association d'autres facteurs susceptibles d'expliquer les effets constatés. En d'autres termes, ces évaluations identifient des réalisations (ce qui est fait dans l'action) et des résultats (les changements observables chez les bénéficiaires directs et indirects), mais délaissent la mesure d'impact compris comme l'effet propre de l'action « toutes choses égales par ailleurs ».

Pour prendre la mesure de « l'impact » des actions, la plupart des évaluations s'en remettent à la perception de leurs effets par les bénéficiaires, tels que recueillis par voie de questionnaires, d'entretiens qualitatifs approfondis, de focus-groupes, etc. À une exception près (l'évaluation de l'action portée par le Plus petit cirque du monde qui met en évidence sa faible appropriation par les habitant.es du quartier), toutes les évaluations ainsi menées rendent compte des changements positifs, tels que rapportés par les bénéficiaires eux-mêmes, sous l'effet des actions. Parmi bien des exemples, on peut citer l'évaluation de l'action de France Médiation montrant que « 89% des élèves stressées par le fait d'aller à l'école déclarent être davantage rassuré.es » depuis qu'elles ou ils connaissent leur médiateur.ice à l'école. L'évaluation d'Enactus France indique que « 82% des élèves se

<footnote n="92">⁹² Algan, Y. et al. (2015), *Comment lutter contre la violence et le harcèlement à l'école et au collège ? Effets du dispositif de médiation sociale France Médiation et d'un dispositif de prise de conscience du niveau de violence*, Liepp, Rapport d'évaluation pour le Fonds d'expérimentation pour la jeunesse de l'Injep, avril.</footnote>

<footnote n="93">⁹³ Chen, H. T. (1999), *Theory-Driven Evaluations*, Thousand Oak, Sage.</footnote>
sentent plus en capacité de travailler en équipe ». Les adultes ayant participé aux ateliers proposés par Concerts de Poche sont 84% « à avoir envie d'aller, après les Concerts de Poche, à d'autres concerts de musique classique ». Interrogés par SMS, 71% des jeunes « déclarent être plus à l'aise dans un groupe grâce à Fête le Mur », « 86% des fêtelemuriens sont sortis du quartier avec Fête le Mur » et « 36% ont de nouvelles idées de ce qu'ils vont faire plus tard ». De même, on apprend aussi que 80% des jeunes ayant participé à l'action de Sport dans la Ville « ont rencontré des personnes qu'ils n'auraient pas côtoyées sans Sport dans la Ville » et que 64% « ont découvert de nouveaux métiers grâce à Job dans la Ville ». De leur côté, 69% des bénéficiaires du programme Kiosc d'Unis-Cité se déclarent « mieux préparés pour postuler à une mission » et 65% affirment « que Kiosc leur a donné envie de faire un Service Civique ». Des actions sont plébiscitées comme celle que porte l'Apels, avec 99% de jeunes considérant « que le programme Déclics Sportifs a ou aura des effets positifs sur leurs projets professionnels futurs ».

De faibles taux de réponse aux questionnaires adressés aux participant.es sont à noter dans plusieurs évaluations, les échantillons ne faisant alors pas l'objet de redressements pour s'assurer de leur représentativité. Dans d'autres évaluations, les résultats ne sont pas quantifiés car reposant sur un trop faible nombre de réponses ou sur un nombre limité d'entretiens semi-directifs. C'est le cas de l'évaluation du projet de la Fédération des Centres sociaux et socio-culturels de France. Tirant les enseignements « d'ateliers d'authentification des "impacts" » et d'entretiens conduits avec 18 jeunes à propos du programme « Réseaux Jeunes locaux » de la Fédération, les évaluateur.ices concluent que le programme a « un impact fort sur la sociabilité (création de liens, etc.) et les compétences des jeunes (prise de parole à l'oral, etc.) », que « certains jeunes prennent conscience de la dimension collective des inégalités », mais qu'il a « peu d'impact sur la société et leurs conditions de vie (pas de changement structurel) ».

On lit aussi dans un rapport d'évaluation que les ateliers d'éducation aux médias proposés par Zep « contribuent chez les jeunes à faire évoluer l'image qu'ils ont d'eux-mêmes, par un processus de revalorisation de la représentation de soi mais aussi du soi face au monde, qui fondent ensemble la base de l'estime de soi », et que « cet impact, s'il est fin et difficile à appréhender sur le court terme, peut cependant s'illustrer par des "déclics" visibles dans le changement de postures de jeunes qui soudain révèlent des compétences insoupçonnées ». Les évaluatrices prennent cependant soin de préciser que « bien sûr, cet apport des ateliers en matière de confiance en soi n'est pas toujours visible et ne semble pas opérer pour la totalité des jeunes ».
sentent plus en capacité de travailler en équipe ». Les adultes ayant participé aux ateliers proposés par Concerts de Poche sont 84% « à avoir envie d'aller, après les Concerts de Poche, à d'autres concerts de musique classique ». Interrogés par SMS, 71% des jeunes « déclarent être plus à l'aise dans un groupe grâce à Fête le Mur », « 86% des fêtelemuriens sont sortis du quartier avec Fête le Mur » et « 36% ont de nouvelles idées de ce qu'ils vont faire plus tard ». De même, on apprend aussi que 80% des jeunes ayant participé à l'action de Sport dans la Ville « ont rencontré des personnes qu'ils n'auraient pas côtoyées sans Sport dans la Ville » et que 64% « ont découvert de nouveaux métiers grâce à Job dans la Ville ». De leur côté, 69% des bénéficiaires du programme Kiosc d'Unis-Cité se déclarent « mieux préparés pour postuler à une mission » et 65% affirment « que Kiosc leur a donné envie de faire un Service Civique ». Des actions sont plébiscitées comme celle que porte l'Apels, avec 99% de jeunes considérant « que le programme Déclics Sportifs a ou aura des effets positifs sur leurs projets professionnels futurs ».

De faibles taux de réponse aux questionnaires adressés aux participant.es sont à noter dans plusieurs évaluations, les échantillons ne faisant alors pas l'objet de redressements pour s'assurer de leur représentativité. Dans d'autres évaluations, les résultats ne sont pas quantifiés car reposant sur un trop faible nombre de réponses ou sur un nombre limité d'entretiens semi-directifs. C'est le cas de l'évaluation du projet de la Fédération des Centres sociaux et socio-culturels de France. Tirant les enseignements « d'ateliers d'authentification des "impacts" » et d'entretiens conduits avec 18 jeunes à propos du programme « Réseaux Jeunes locaux » de la Fédération, les évaluateur.ices concluent que le programme a « un impact fort sur la sociabilité (création de liens, etc.) et les compétences des jeunes (prise de parole à l'oral, etc.) », que « certains jeunes prennent conscience de la dimension collective des inégalités », mais qu'il a « peu d'impact sur la société et leurs conditions de vie (pas de changement structurel) ».

On lit aussi dans un rapport d'évaluation que les ateliers d'éducation aux médias proposés par Zep « contribuent chez les jeunes à faire évoluer l'image qu'ils ont d'eux-mêmes, par un processus de revalorisation de la représentation de soi mais aussi du soi face au monde, qui fondent ensemble la base de l'estime de soi », et que « cet impact, s'il est fin et difficile à appréhender sur le court terme, peut cependant s'illustrer par des "déclics" visibles dans le changement de postures de jeunes qui soudain révèlent des compétences insoupçonnées ». Les évaluatrices prennent cependant soin de préciser que « bien sûr, cet apport des ateliers en matière de confiance en soi n'est pas toujours visible et ne semble pas opérer pour la totalité des jeunes ».
Enfin, on relève que dans certaines démarches d'évaluation la mesure de l'« impact » sur le public ne repose pas sur une interrogation directe de celui-ci, mais se fonde sur le recueil d'observations auprès des équipes de professionnel.les au contact du public. C'est le cas par exemple de l'évaluation du projet d'insertion professionnelle « Vif Impact » du CVIFS. Quatre « impacts » sur les jeunes accompagné.es sont repérés par sont repérés par les équipes de CVIFS : « une motivation retrouvée, une remise en projet de soi via un "déclic" » ; « une conscientisation de ses capacités qui favorise bienveillance et affirmation de soi » ; « la force du collectif au service du développement personnel » ; « le développement de l'autonomie via la déconstruction des stéréotypes, et l'acquisition de codes/compétences et outils utiles pour l'insertion professionnelle ». Et les évaluateur.ices de conclure qu'il s'agit d'un « projet innovant à forte utilité sociale, susceptible d'être essaimé ». De même, le rapport intermédiaire de l'évaluation de l'action « Rêv'Elles Ton Potentiel » portée par l'association Rêv'Elles<fnref n="94" />, évoque des « impacts perçus par les partenaires plus anciens de l'action en termes de confiance en soi et de choix d'orientation notamment », et un « vote de confiance (sic) sur l'impact potentiel du programme pour les nouveaux partenaires ».

Les mêmes limites d'une mesure d'impact fondée sur les perceptions des bénéficiaires des actions se retrouvent dans l'évaluation des projets de « fertilisation » qui ne s'adressaient pas ou pas principalement à des habitant.es, mais à des professionnel.les locaux.ales. On peut citer l'exemple du rapport d'évaluation du projet TrouveTaVoie du Centre de l'égalité des chances de l'Essec qui identifie comme « premier impact », « l'effet de prise de confiance et de réassurance permis par cette expérience, grâce à la confirmation par l'équipe de l'ESSEC de certaines pratiques pédagogiques et postures (que les personnes formées) mettaient en place assez intuitivement auprès de leurs jeunes ». De même, l'évaluation du programme « Territoires et Inclusion » de prévention des discriminations proposé par Mozaïk RH met en évidence des « impacts » sur les personnes formées : « Pour 9 participants sur 10, changement de regard / de posture à l'égard des candidats et recruteurs ; compétences étayées / renforcées / consolidées sur les sujets RH et discrimination ; regard croisé et enrichi avec d'autres professionnels du recrutement inclusif ». Autre exemple, celui de l'évaluation des actions de fertilisation conduites par Môm'artre qui, à partir de questionnaires adressés aux participant.es à des formations, identifie des « impacts » sur les professionnel.les du secteur jeunesse : « Inspirations, nouvelles idées » ; « Montée en compétences, apprentissage par les pairs » ; « Prise de

<footnote n="94">⁹⁴ Nous n'avons pas pu prendre connaissance du rapport final d'évaluation.</footnote>
Enfin, on relève que dans certaines démarches d'évaluation la mesure de l'« impact » sur le public ne repose pas sur une interrogation directe de celui-ci, mais se fonde sur le recueil d'observations auprès des équipes de professionnel.les au contact du public. C'est le cas par exemple de l'évaluation du projet d'insertion professionnelle « Vif Impact » du CVIFS. Quatre « impacts » sur les jeunes accompagné.es sont repérés par sont repérés par les équipes de CVIFS : « une motivation retrouvée, une remise en projet de soi via un "déclic" » ; « une conscientisation de ses capacités qui favorise bienveillance et affirmation de soi » ; « la force du collectif au service du développement personnel » ; « le développement de l'autonomie via la déconstruction des stéréotypes, et l'acquisition de codes/compétences et outils utiles pour l'insertion professionnelle ». Et les évaluateur.ices de conclure qu'il s'agit d'un « projet innovant à forte utilité sociale, susceptible d'être essaimé ». De même, le rapport intermédiaire de l'évaluation de l'action « Rêv'Elles Ton Potentiel » portée par l'association Rêv'Elles<fnref n="94" />, évoque des « impacts perçus par les partenaires plus anciens de l'action en termes de confiance en soi et de choix d'orientation notamment », et un « vote de confiance (sic) sur l'impact potentiel du programme pour les nouveaux partenaires ».

Les mêmes limites d'une mesure d'impact fondée sur les perceptions des bénéficiaires des actions se retrouvent dans l'évaluation des projets de « fertilisation » qui ne s'adressaient pas ou pas principalement à des habitant.es, mais à des professionnel.les locaux.ales. On peut citer l'exemple du rapport d'évaluation du projet TrouveTaVoie du Centre de l'égalité des chances de l'Essec qui identifie comme « premier impact », « l'effet de prise de confiance et de réassurance permis par cette expérience, grâce à la confirmation par l'équipe de l'ESSEC de certaines pratiques pédagogiques et postures (que les personnes formées) mettaient en place assez intuitivement auprès de leurs jeunes ». De même, l'évaluation du programme « Territoires et Inclusion » de prévention des discriminations proposé par Mozaïk RH met en évidence des « impacts » sur les personnes formées : « Pour 9 participants sur 10, changement de regard / de posture à l'égard des candidats et recruteurs ; compétences étayées / renforcées / consolidées sur les sujets RH et discrimination ; regard croisé et enrichi avec d'autres professionnels du recrutement inclusif ». Autre exemple, celui de l'évaluation des actions de fertilisation conduites par Môm'artre qui, à partir de questionnaires adressés aux participant.es à des formations, identifie des « impacts » sur les professionnel.les du secteur jeunesse : « Inspirations, nouvelles idées » ; « Montée en compétences, apprentissage par les pairs » ; « Prise de

<footnote n="94">⁹⁴ Nous n'avons pas pu prendre connaissance du rapport final d'évaluation.</footnote>
recul et prise de confiance sur ses pratiques professionnelles » ; « Évolution / adaptation de la posture vis-à-vis des enfants », etc.

Conduite par une équipe universitaire des universités d'Artois et de Lille, l'évaluation du projet d'insertion par le rugby de l'association Rebonds ! est finalement la seule à développer un point de vue critique sur la mesure de l'impact. Les chercheur.euses entendent « aller au-delà des indicateurs quantitatifs classiques de mesure d'impact, qui ne disent finalement ni comment les effets apparaissent, ni s'ils sont effectivement produits par les dispositifs étudiés, pas plus qu'ils ne rendent compte de tout ce qui est acquis, mais non (encore) actualisé ». Le parti pris a donc été pris de conduire des entretiens biographiques de type « récits de vie » avec 8 bénéficiaires de l'action « présentant des visages différents en matière de niveau de diplôme, d'insertion professionnelle, de rapport aux dispositifs suivis ». Il s'agit de caractériser les « dispositions et ressources que les jeunes accompagnés par Rebonds !, importent dans les dispositifs dans lesquels ils s'inscrivent ». C'est « à cette condition que nous pourrons moins difficilement, tenter d'isoler ce qui résulte de l'intervention de Rebonds ! ». Autre précaution méthodologique : « L'idée d'une transférabilité mécanique des comportements observés et des compétences acquises dans le cadre de la pratique sportive, vers d'autres contextes sociaux est largement répandue. Elle n'en est pas moins prise à défaut lorsque soumise à un examen rigoureux ». Les chercheur.euses se risquent néanmoins à formuler « l'hypothèse d'une transférabilité renforcée par l'encadrement global multi-partenarial » de l'association Rebond !. Après contrôle « des influences exogènes », le rapport conclut à la fabrique de liens sociaux pouvant produire des effets au-delà des seuls bénéficiaires directs, sous réserve de quelques éléments de conditionnalité : « la stabilité des figures, la mise en place d'un suivi dont la durée est dictée par les problématiques individuelles plutôt que par une temporalité "administrative", la formalisation des interventions fonctionnant comme un guide sans être un carcan, l'ajustement des accompagnements au plus près des besoins singuliers, la complémentarité des ressources humaines, à la fois sportives et sociales ».

Le fait que les évaluations réalisées par les lauréats de l'AMI fassent l'impasse sur le registre de l'impact auprès des bénéficiaires des actions, apparaît d'autant plus surprenant que celles-ci ont, à l'instar de nombreuses structures de l'ESS, mis l'impact social au coeur leur identité et de leur communication d'une part, et que le design même de l'AMI Tremplin apparaissait favorable à la réalisation d'évaluations sur ce registre d'autre part. L'évaluation d'impact passe en effet par des analyses comparatives avec des situations contrefactuelles. Le déploiement des actions des associations lauréates s'opérant sur un échantillon limité de quartiers, il était possible de trouver parmi les 1 296 QPV des situations contrefactuelles, en
recul et prise de confiance sur ses pratiques professionnelles » ; « Évolution / adaptation de la posture vis-à-vis des enfants », etc.

Conduite par une équipe universitaire des universités d'Artois et de Lille, l'évaluation du projet d'insertion par le rugby de l'association Rebonds ! est finalement la seule à développer un point de vue critique sur la mesure de l'impact. Les chercheur.euses entendent « aller au-delà des indicateurs quantitatifs classiques de mesure d'impact, qui ne disent finalement ni comment les effets apparaissent, ni s'ils sont effectivement produits par les dispositifs étudiés, pas plus qu'ils ne rendent compte de tout ce qui est acquis, mais non (encore) actualisé ». Le parti pris a donc été pris de conduire des entretiens biographiques de type « récits de vie » avec 8 bénéficiaires de l'action « présentant des visages différents en matière de niveau de diplôme, d'insertion professionnelle, de rapport aux dispositifs suivis ». Il s'agit de caractériser les « dispositions et ressources que les jeunes accompagnés par Rebonds !, importent dans les dispositifs dans lesquels ils s'inscrivent ». C'est « à cette condition que nous pourrons moins difficilement, tenter d'isoler ce qui résulte de l'intervention de Rebonds ! ». Autre précaution méthodologique : « L'idée d'une transférabilité mécanique des comportements observés et des compétences acquises dans le cadre de la pratique sportive, vers d'autres contextes sociaux est largement répandue. Elle n'en est pas moins prise à défaut lorsque soumise à un examen rigoureux ». Les chercheur.euses se risquent néanmoins à formuler « l'hypothèse d'une transférabilité renforcée par l'encadrement global multi-partenarial » de l'association Rebond !. Après contrôle « des influences exogènes », le rapport conclut à la fabrique de liens sociaux pouvant produire des effets au-delà des seuls bénéficiaires directs, sous réserve de quelques éléments de conditionnalité : « la stabilité des figures, la mise en place d'un suivi dont la durée est dictée par les problématiques individuelles plutôt que par une temporalité "administrative", la formalisation des interventions fonctionnant comme un guide sans être un carcan, l'ajustement des accompagnements au plus près des besoins singuliers, la complémentarité des ressources humaines, à la fois sportives et sociales ».

Le fait que les évaluations réalisées par les lauréats de l'AMI fassent l'impasse sur le registre de l'impact auprès des bénéficiaires des actions, apparaît d'autant plus surprenant que celles-ci ont, à l'instar de nombreuses structures de l'ESS, mis l'impact social au coeur leur identité et de leur communication d'une part, et que le design même de l'AMI Tremplin apparaissait favorable à la réalisation d'évaluations sur ce registre d'autre part. L'évaluation d'impact passe en effet par des analyses comparatives avec des situations contrefactuelles. Le déploiement des actions des associations lauréates s'opérant sur un échantillon limité de quartiers, il était possible de trouver parmi les 1 296 QPV des situations contrefactuelles, en
contrôlant partiellement les biais de sélection à défaut d'avoir opéré la sélection des quartiers
investis de manière aléatoire.

Les difficultés rencontrées dans le déploiement... des évaluations

Au gré des rencontres animées par l'Avise ou au sein même des rapports qu'ils et elles ont
produits, les évaluateur.ices ayant œuvré dans le cadre de Tremplin Asso ont parfois
reconnu les limites de leurs méthodologies, même si c'est le plus souvent à demi-mots. La
plupart ont estimé que les impacts sur le public bénéficiaire des actions ne pouvaient être
mesurés qu'à long terme et donc au-delà du terme du programme Tremplin Asso et de leurs
démarches évaluatives.

Dans quelques évaluations, les bénéficiaires ont été interrogé.es sur une période postérieure
à l'action à laquelle ils et elles ont participé. La méthode consiste alors à comparer un
« avant » et un « après » l'action. On la retrouve par exemple dans l'évaluation du dispositif
de France Médiation qui a interrogé les élèves formé.es à la méditation par les pairs avant la
formation, puis au bout d'une année d'expérience. « *Les évolutions de leurs comportements et perceptions donnent à voir ce que peut apporter la médiation à l'école pour les élèves les plus impliqué-es, éclairant ainsi le potentiel transformatif de la médiation sociale* », écrivent
les évaluateur.ices. Le rapport d'évaluation se montre plus prudent quant à l'impact plus
global de l'action sur le climat scolaire : « *Si on constate des impacts sur le comportement des élèves des impacts sur le comportement des élèves à court terme et dans le cadre scolaire, il n'a pas été possible d'étudier les changements de comportement sur la durée et dans tous les contextes de la vie de l'enfant* ». Les évaluateur.ices de l'action de Mozaïk RH
relèvent aussi que « *le temps du changement pour les opérateurs entraîne un temps encore plus long du changement pour les candidats. La plupart des opérateurs ont déclaré avoir besoin de plus de temps pour faire évoluer leurs pratiques. Une évaluation dans la durée serait plus pertinente* ».

D'autres évaluations s'intéressent aux sorties positives des bénéficiaires à l'issue des
programmes, sans toutefois croiser les résultats obtenus avec les caractéristiques des
répondant.es aux questionnaires, ni avec le type d'accompagnement reçu. C'est le cas de
l'évaluation du programme « Déclics Sportifs » proposé par l'Apels qui se contente de
relever que 69% des 90 jeunes répondant.es ayant terminé le programme ont été recruté.es
au sein de la structure d'accueil de l'apprentissage ou dans une autre structure. L'évaluation
du projet de La Cravate solidaire propose une analyse plus fine de la situation des
participant.es à l'« Atelier Coup de Pouce » trois mois après l'action : derrière un « taux de
réussite » global de 63%, défini par le retour en emploi, en formation, en alternance/
apprentissage, stage ou volontariat, les résultats sont décomposés en fonction des
contrôlant partiellement les biais de sélection à défaut d'avoir opéré la sélection des quartiers
investis de manière aléatoire.

Les difficultés rencontrées dans le déploiement... des évaluations

Au gré des rencontres animées par l'Avise ou au sein même des rapports qu'ils et elles ont
produits, les évaluateur.ices ayant œuvré dans le cadre de Tremplin Asso ont parfois
reconnu les limites de leurs méthodologies, même si c'est le plus souvent à demi-mots. La
plupart ont estimé que les impacts sur le public bénéficiaire des actions ne pouvaient être
mesurés qu'à long terme et donc au-delà du terme du programme Tremplin Asso et de leurs
démarches évaluatives.

Dans quelques évaluations, les bénéficiaires ont été interrogé.es sur une période postérieure
à l'action à laquelle ils et elles ont participé. La méthode consiste alors à comparer un
« avant » et un « après » l'action. On la retrouve par exemple dans l'évaluation du dispositif
de France Médiation qui a interrogé les élèves formé.es à la méditation par les pairs avant la
formation, puis au bout d'une année d'expérience. « *Les évolutions de leurs comportements et perceptions donnent à voir ce que peut apporter la médiation à l'école pour les élèves les plus impliqué-es, éclairant ainsi le potentiel transformatif de la médiation sociale* », écrivent
les évaluateur.ices. Le rapport d'évaluation se montre plus prudent quant à l'impact plus
global de l'action sur le climat scolaire : « *Si on constate des impacts sur le comportement des élèves des impacts sur le comportement des élèves à court terme et dans le cadre scolaire, il n'a pas été possible d'étudier les changements de comportement sur la durée et dans tous les contextes de la vie de l'enfant* ». Les évaluateur.ices de l'action de Mozaïk RH
relèvent aussi que « *le temps du changement pour les opérateurs entraîne un temps encore plus long du changement pour les candidats. La plupart des opérateurs ont déclaré avoir besoin de plus de temps pour faire évoluer leurs pratiques. Une évaluation dans la durée serait plus pertinente* ».

D'autres évaluations s'intéressent aux sorties positives des bénéficiaires à l'issue des
programmes, sans toutefois croiser les résultats obtenus avec les caractéristiques des
répondant.es aux questionnaires, ni avec le type d'accompagnement reçu. C'est le cas de
l'évaluation du programme « Déclics Sportifs » proposé par l'Apels qui se contente de
relever que 69% des 90 jeunes répondant.es ayant terminé le programme ont été recruté.es
au sein de la structure d'accueil de l'apprentissage ou dans une autre structure. L'évaluation
du projet de La Cravate solidaire propose une analyse plus fine de la situation des
participant.es à l'« Atelier Coup de Pouce » trois mois après l'action : derrière un « taux de
réussite » global de 63%, défini par le retour en emploi, en formation, en alternance/
apprentissage, stage ou volontariat, les résultats sont décomposés en fonction des
caractéristiques des bénéficiaires (personnes âgées de plus de 50 ans ou de moins de 26 ans, bénéficiaires du RSA, diplôme équivalent inférieur au bac, etc.). Toujours sur la base de l'auto-perception des bénéficiaires, les évaluateur.ices concluent à « une utilité de La Cravate solidaire confirmée y compris pour les personnes qui n'ont pas trouvé d'emploi après 3 mois mais qui confirment avoir acquis des techniques pour réussir leur entretien (76%), avoir appris à se valoriser en entretien (67%), avoir davantage confiance dans leurs capacités à réussir (68%)... grâce à l'atelier Coup de Pouce ».

L'évaluation de l'action « Permis Mobilité » de Wimoov est l'une des rares à décrire les limites de la méthodologie d'auto-évaluation par les bénéficiaires de l'action. La méthodologie retenue étant celle d'une évaluation ex-post uniquement, elle « ne permet donc pas la comparaison de la situation des bénéficiaires ou des auto-écoles au démarrage du dispositif Permis Mobilité avec celle post-programme ». De même, soulignent les évaluateur.ices, il n'a pas été possible de constituer un groupe-témoin de personnes n'ayant pas bénéficié du dispositif. Pour pallier cette limite, des « questions d'attribution » ont été posées pour demander aux répondant.es d'indiquer le lien qu'ils et elles perçoivent entre les changements perçus et le dispositif. Mais les limites de l'approche auto-évaluative sont également pointées : « il s'agit d'une estimation déclarative du changement et de son attribution au Permis Mobilité, basée sur la subjectivité et la mémoire individuelle ». S'ajoutent les limites relatives à l'échantillon, marqué par un taux réduit de réponses au questionnaire, les participant.es ayant la liberté de ne pas répondre : « Ainsi les échantillons risquent de ne pas représenter l'ensemble de la population ». Les évaluateur.ices pointent enfin des limites relatives aux données de suivi collectées par Wimoov qui ne permettent pas « de faire un tri complet et approprié des données, et il y a parfois des erreurs de saisie ». Le même cabinet (Improve) a évalué l'action d'accompagnement d'entrepreneur.euses portée par l'association Cresus, et pointe le même type de limites.

On trouve une semblable auto-critique dans l'évaluation de l'action proposée par Zep, même si aucune quantification des « impacts » n'est proposée à court comme à long terme : « La méthodologie employée et la durée de l'étude ne permettent cependant pas d'analyser l'intégralité des impacts qui peuvent se déployer, de manière plus lente et plus diffuse. Par ailleurs, les jeunes ont été interrogés à un âge, l'adolescence, ou la réflexivité sur son expérience est partielle et la verbalisation des "effets sur soi", difficile. Ainsi, certains impacts initiés lors des ateliers ont pu ne pas être totalement conscientisés, et donc relevés ».

D'autres évaluations prennent moins de précautions. Ainsi, pour conclure aux « impacts à long terme » sur les jeunes de l'action de Fête le mur, en termes de prévention du décrochage scolaire, d'accès aux études supérieures, d'insertion professionnelle ou
caractéristiques des bénéficiaires (personnes âgées de plus de 50 ans ou de moins de 26 ans, bénéficiaires du RSA, diplôme équivalent inférieur au bac, etc.). Toujours sur la base de l'auto-perception des bénéficiaires, les évaluateur.ices concluent à « une utilité de La Cravate solidaire confirmée y compris pour les personnes qui n'ont pas trouvé d'emploi après 3 mois mais qui confirment avoir acquis des techniques pour réussir leur entretien (76%), avoir appris à se valoriser en entretien (67%), avoir davantage confiance dans leurs capacités à réussir (68%)... grâce à l'atelier Coup de Pouce ».

L'évaluation de l'action « Permis Mobilité » de Wimoov est l'une des rares à décrire les limites de la méthodologie d'auto-évaluation par les bénéficiaires de l'action. La méthodologie retenue étant celle d'une évaluation ex-post uniquement, elle « ne permet donc pas la comparaison de la situation des bénéficiaires ou des auto-écoles au démarrage du dispositif Permis Mobilité avec celle post-programme ». De même, soulignent les évaluateur.ices, il n'a pas été possible de constituer un groupe-témoin de personnes n'ayant pas bénéficié du dispositif. Pour pallier cette limite, des « questions d'attribution » ont été posées pour demander aux répondant.es d'indiquer le lien qu'ils et elles perçoivent entre les changements perçus et le dispositif. Mais les limites de l'approche auto-évaluative sont également pointées : « il s'agit d'une estimation déclarative du changement et de son attribution au Permis Mobilité, basée sur la subjectivité et la mémoire individuelle ». S'ajoutent les limites relatives à l'échantillon, marqué par un taux réduit de réponses au questionnaire, les participant.es ayant la liberté de ne pas répondre : « Ainsi les échantillons risquent de ne pas représenter l'ensemble de la population ». Les évaluateur.ices pointent enfin des limites relatives aux données de suivi collectées par Wimoov qui ne permettent pas « de faire un tri complet et approprié des données, et il y a parfois des erreurs de saisie ». Le même cabinet (Improve) a évalué l'action d'accompagnement d'entrepreneur.euses portée par l'association Cresus, et pointe le même type de limites.

On trouve une semblable auto-critique dans l'évaluation de l'action proposée par Zep, même si aucune quantification des « impacts » n'est proposée à court comme à long terme : « La méthodologie employée et la durée de l'étude ne permettent cependant pas d'analyser l'intégralité des impacts qui peuvent se déployer, de manière plus lente et plus diffuse. Par ailleurs, les jeunes ont été interrogés à un âge, l'adolescence, ou la réflexivité sur son expérience est partielle et la verbalisation des "effets sur soi", difficile. Ainsi, certains impacts initiés lors des ateliers ont pu ne pas être totalement conscientisés, et donc relevés ».

D'autres évaluations prennent moins de précautions. Ainsi, pour conclure aux « impacts à long terme » sur les jeunes de l'action de Fête le mur, en termes de prévention du décrochage scolaire, d'accès aux études supérieures, d'insertion professionnelle ou
d'engagement citoyen, les évaluateur.ices se contentent de reproduire quelques verbatims de professionnel.les locaux.ales.

Au fil de l'avancement de leurs travaux, plusieurs cabinets d'évaluation ont revu à la baisse leurs ambitions en matière de mesure d'impact compte tenu des difficultés rencontrées pour recueillir des données chiffrées. Les approches ont alors été réorientées vers des appréciations seulement « qualitatives » de l'effet des actions sur les bénéficiaires. Au cours d'une rencontre des évaluateur.ices organisée par l'ANCT en juillet 2022, plusieurs cabinets ont témoigné de leurs difficultés collecter des données concernant des publics sortis des programmes. « *Les cabinets évaluateurs et les associations ont dû travailler ensemble pour pouvoir construire des outils adaptés ne demandant pas une surcharge de travail* », lit-on dans le compte-rendu de cette réunion.

Mais c'est surtout l'impact de la crise sanitaire qui se trouve incriminé dans de nombreux rapports d'évaluation. Le Covid a non seulement freiné la mise en place des actions, mais aussi celle des démarches d'évaluation. Le rapport d'évaluation de l'action portée par Concerts de Poche signale par exemple que « *le recueil des questionnaires a été plus difficile à cette période, par exemple au sein de maisons de retraite, comme auprès de personnes en situation de handicap* ». L'évaluation du dispositif Alphaléo de la Fédération Léo Lagrange prévoyait la mise en place d'un suivi de cohorte à + 3 mois, mais 18 mois après le lancement de la collecte de données, le taux de réponses s'est avéré « *extrêmement faible* » sur un site et « *quasi nul* » sur un autre du fait du contexte sanitaire. Le choix a donc été fait d'abandonner la collecte de données quantitatives pour s'orienter vers une approche qualitative fondée sur des entretiens semi-directifs avec 42 jeunes. Les évaluateur.ices ont pris soin de noter que si l'échantillon des personnes interviewées était « *qualitativement représentatif de la population globale, mais elle ne l'est pas quantitativement* ». Aussi, « *les conclusions de ce rapport ne peuvent être généralisées de manière rigoureuse à l'ensemble des bénéficiaires* ».

Enfin, tout au long de leurs échanges lors des rencontres organisées par l'ANCT, les évaluateur.ices n'ont pas manqué de pointer les spécificités de l'évaluation dans le contexte des QPV pour justifier les limites des approches mises en œuvre. La capitalisation des évaluations réalisée par le cabinet Terre d'avance a dressé la liste de ces obstacles qui seraient propres au contexte des QPV, qui tiennent tout à fait aux spécificités du public cible, du milieu professionnel et des méthodologies déployées (voir page suivante)<fnref n="95" />.

<footnote n="95">⁹⁵ Les observations des évaluateur.ices impliqué.es dans Tremplin Asso sur les difficultés de l'évaluation dans le contexte des QPV, ont nourri le guide méthodologique publié par l'Avise en juillet</footnote>
d'engagement citoyen, les évaluateur.ices se contentent de reproduire quelques verbatims de professionnel.les locaux.ales.

Au fil de l'avancement de leurs travaux, plusieurs cabinets d'évaluation ont revu à la baisse leurs ambitions en matière de mesure d'impact compte tenu des difficultés rencontrées pour recueillir des données chiffrées. Les approches ont alors été réorientées vers des appréciations seulement « qualitatives » de l'effet des actions sur les bénéficiaires. Au cours d'une rencontre des évaluateur.ices organisée par l'ANCT en juillet 2022, plusieurs cabinets ont témoigné de leurs difficultés collecter des données concernant des publics sortis des programmes. « *Les cabinets évaluateurs et les associations ont dû travailler ensemble pour pouvoir construire des outils adaptés ne demandant pas une surcharge de travail* », lit-on dans le compte-rendu de cette réunion.

Mais c'est surtout l'impact de la crise sanitaire qui se trouve incriminé dans de nombreux rapports d'évaluation. Le Covid a non seulement freiné la mise en place des actions, mais aussi celle des démarches d'évaluation. Le rapport d'évaluation de l'action portée par Concerts de Poche signale par exemple que « *le recueil des questionnaires a été plus difficile à cette période, par exemple au sein de maisons de retraite, comme auprès de personnes en situation de handicap* ». L'évaluation du dispositif Alphaléo de la Fédération Léo Lagrange prévoyait la mise en place d'un suivi de cohorte à + 3 mois, mais 18 mois après le lancement de la collecte de données, le taux de réponses s'est avéré « *extrêmement faible* » sur un site et « *quasi nul* » sur un autre du fait du contexte sanitaire. Le choix a donc été fait d'abandonner la collecte de données quantitatives pour s'orienter vers une approche qualitative fondée sur des entretiens semi-directifs avec 42 jeunes. Les évaluateur.ices ont pris soin de noter que si l'échantillon des personnes interviewées était « *qualitativement représentatif de la population globale, mais elle ne l'est pas quantitativement* ». Aussi, « *les conclusions de ce rapport ne peuvent être généralisées de manière rigoureuse à l'ensemble des bénéficiaires* ».

Enfin, tout au long de leurs échanges lors des rencontres organisées par l'ANCT, les évaluateur.ices n'ont pas manqué de pointer les spécificités de l'évaluation dans le contexte des QPV pour justifier les limites des approches mises en œuvre. La capitalisation des évaluations réalisée par le cabinet Terre d'avance a dressé la liste de ces obstacles qui seraient propres au contexte des QPV, qui tiennent tout à fait aux spécificités du public cible, du milieu professionnel et des méthodologies déployées (voir page suivante)<fnref n="95" />.

<footnote n="95">⁹⁵ Les observations des évaluateur.ices impliqué.es dans Tremplin Asso sur les difficultés de l'évaluation dans le contexte des QPV, ont nourri le guide méthodologique publié par l'Avise en juillet</footnote>
Spécificités des
publics cibles

* Un public souvent difficile à capter et à suivre dans la durée : public volatil, très isolé, etc.

* Une difficulté pour le passage des questionnaires notamment en raison de la barrière de la langue : les questionnaires doivent être traduits

* Les jeunes ne sont pas habitués à participer aux débats et leur mobilisation ainsi que leur prise de parole sont parfois difficiles

* L'accompagnement des publics QPV est nécessaire pour améliorer leur participation à la démarche d'évaluation.

Spécificités
du milieu
professionnel

* La culture de l'évaluation est encore peu présente au sein de la communauté des professionnels de la Politique de la Ville et des associations qui y agissent

* Le turn-over dans les équipes agissant en QPV est souvent élevé

Spécificités
méthodologiques

* La difficulté de mener une étude d'impact portant exclusivement sur les bénéficiaires issus de QPV lorsque l'action est déployée à une échelle plus large

* Pour certains sujets ou approches, il est important d'avoir une rigueur scientifique (méthodes statistiques, analyse des coûts, etc.), mais qui n'est pas toujours accessible aux associations, notamment pour des raisons de moyens

* La limite de l'accès à certaines données (dans le domaine de la santé ou de l'éducation par exemple...)

On peut aussi rendre compte de cet échange au cours de la réunion « de restitution de la capitalisation des évaluations des projets de TremplinAsso » organisée par l'ANCT le 13 février 2023 :

> « C. Mainguené (Môm'artre) : Nous sommes accoutumés à l'évaluation. Mais comment poursuivre une évaluation alors qu'on a pas accès à des données, et on ne maîtrise pas nos publics ? Et comment fait-on avec le turn-over dans les structures avec lesquelles on intervient. Peut-être que d'autres partagent cette remarque ?

> Personne ne prend la parole. Long silence

> C. Duval (ANCT) : Tout le monde à l'air de maîtriser.... (Rires)

> S. Guedj (PaQ'La Lune) : Je partage les mêmes résultats. Le turn-over nous a impactés, y compris dans nos équipes. On a dû développer d'autres méthodes. C'est une belle évolution qui n'est qu'un départ ».

Lors des entretiens que nous avons réalisés avec des évaluateur.ices et des actrices de l'ANCT, plusieurs interlocuteur.ices nous ont confié leurs doutes sur l'effectivité et l'impact... des évaluations d'impact :

> « On n'a pas de regard sur la manière dont ça a changé la vie des gens » (ANCT).

> « Ça a permis plus de projets dans les territoires. Qu'est-ce que ça change pour la vie des gens ? Je suis incapable de dire ça » (ANCT).

<footnote n="2022">2022 sur « l'évaluation de l'impact social des activités menées dans les QPV par les entreprises de l'ESS », op. cit.</footnote>
Spécificités des
publics cibles

* Un public souvent difficile à capter et à suivre dans la durée : public volatil, très isolé, etc.

* Une difficulté pour le passage des questionnaires notamment en raison de la barrière de la langue : les questionnaires doivent être traduits

* Les jeunes ne sont pas habitués à participer aux débats et leur mobilisation ainsi que leur prise de parole sont parfois difficiles

* L'accompagnement des publics QPV est nécessaire pour améliorer leur participation à la démarche d'évaluation.

Spécificités
du milieu
professionnel

* La culture de l'évaluation est encore peu présente au sein de la communauté des professionnels de la Politique de la Ville et des associations qui y agissent

* Le turn-over dans les équipes agissant en QPV est souvent élevé

Spécificités
méthodologiques

* La difficulté de mener une étude d'impact portant exclusivement sur les bénéficiaires issus de QPV lorsque l'action est déployée à une échelle plus large

* Pour certains sujets ou approches, il est important d'avoir une rigueur scientifique (méthodes statistiques, analyse des coûts, etc.), mais qui n'est pas toujours accessible aux associations, notamment pour des raisons de moyens

* La limite de l'accès à certaines données (dans le domaine de la santé ou de l'éducation par exemple...)

On peut aussi rendre compte de cet échange au cours de la réunion « de restitution de la capitalisation des évaluations des projets de TremplinAsso » organisée par l'ANCT le 13 février 2023 :

> « C. Mainguené (Môm'artre) : Nous sommes accoutumés à l'évaluation. Mais comment poursuivre une évaluation alors qu'on a pas accès à des données, et on ne maîtrise pas nos publics ? Et comment fait-on avec le turn-over dans les structures avec lesquelles on intervient. Peut-être que d'autres partagent cette remarque ?

> Personne ne prend la parole. Long silence

> C. Duval (ANCT) : Tout le monde à l'air de maîtriser.... (Rires)

> S. Guedj (PaQ'La Lune) : Je partage les mêmes résultats. Le turn-over nous a impactés, y compris dans nos équipes. On a dû développer d'autres méthodes. C'est une belle évolution qui n'est qu'un départ ».

Lors des entretiens que nous avons réalisés avec des évaluateur.ices et des actrices de l'ANCT, plusieurs interlocuteur.ices nous ont confié leurs doutes sur l'effectivité et l'impact... des évaluations d'impact :

> « On n'a pas de regard sur la manière dont ça a changé la vie des gens » (ANCT).

> « Ça a permis plus de projets dans les territoires. Qu'est-ce que ça change pour la vie des gens ? Je suis incapable de dire ça » (ANCT).

<footnote n="2022">2022 sur « l'évaluation de l'impact social des activités menées dans les QPV par les entreprises de l'ESS », op. cit.</footnote>
« Mon grand regret, c'est qu'en interne, on n'était pas du tout au point pour accompagner l'évaluation : il fallait se former sur ces questions pour mieux accompagner les associations » (ANCT).

« Il y a un flou autour de ce à quoi l'évaluation doit servir. Je m'interroge beaucoup sur à quoi ça sert. Tout le monde parle d'impact, on ne parle pas vraiment de la même chose : est-ce que le but c'est de rendre les actions et le fonctionnement d'une association plus clairs ? Ou alors d'améliorer l'action réalisée, qui est d'intérêt généra ? Ou encore est-ce que c'est de mieux allouer l'argent public en ne ciblant que les associations avec le plus d'impact social dans les financements alloués ? » (évaluatrice).

Ces doutes s'expriment en catimini. Officiellement, Tremplin Asso a été vanté comme un programme à l'impact indiscutable, quitte à ne mobiliser que des données de reporting des réalisations des associations lauréates dans les territoires, à l'instar du Directeur général adjoint de l'ANCT qui s'exprimait lors d'une rencontre avec les lauréats en mars 2021 :

« La démultiplication de l'impact sur les quartiers est visible grâce à l'avancement de l'AMI TremplinAsso. Tout d'abord, l'intensité de déploiement territorial a été maintenue malgré la crise : 19 QPV par associations en 2019, 40 en 2020 et 68 en 2021. En parallèle, l'impact sur les bénéficiaires est évocateur de la progression des projets lauréats : on compte en moyenne 4 400 bénéficiaires par association et près de 40% d'associations touchent plus de 1 000 bénéficiaires. Ces bénéficiaires sont majoritairement les jeunes, les NEET et les demandeurs d'emploi. Par ailleurs, l'évaluation avance pour les projets au cœur d'une politique publique déjà très évaluée ».
« Mon grand regret, c'est qu'en interne, on n'était pas du tout au point pour accompagner l'évaluation : il fallait se former sur ces questions pour mieux accompagner les associations » (ANCT).

« Il y a un flou autour de ce à quoi l'évaluation doit servir. Je m'interroge beaucoup sur à quoi ça sert. Tout le monde parle d'impact, on ne parle pas vraiment de la même chose : est-ce que le but c'est de rendre les actions et le fonctionnement d'une association plus clairs ? Ou alors d'améliorer l'action réalisée, qui est d'intérêt généra ? Ou encore est-ce que c'est de mieux allouer l'argent public en ne ciblant que les associations avec le plus d'impact social dans les financements alloués ? » (évaluatrice).

Ces doutes s'expriment en catimini. Officiellement, Tremplin Asso a été vanté comme un programme à l'impact indiscutable, quitte à ne mobiliser que des données de reporting des réalisations des associations lauréates dans les territoires, à l'instar du Directeur général adjoint de l'ANCT qui s'exprimait lors d'une rencontre avec les lauréats en mars 2021 :

« La démultiplication de l'impact sur les quartiers est visible grâce à l'avancement de l'AMI TremplinAsso. Tout d'abord, l'intensité de déploiement territorial a été maintenue malgré la crise : 19 QPV par associations en 2019, 40 en 2020 et 68 en 2021. En parallèle, l'impact sur les bénéficiaires est évocateur de la progression des projets lauréats : on compte en moyenne 4 400 bénéficiaires par association et près de 40% d'associations touchent plus de 1 000 bénéficiaires. Ces bénéficiaires sont majoritairement les jeunes, les NEET et les demandeurs d'emploi. Par ailleurs, l'évaluation avance pour les projets au cœur d'une politique publique déjà très évaluée ».