<figure><img src="image_1.png" /></figure>

# Comment évaluer les effets du Plan Marshall2.Vert ?

Evaluer une politique, c'est la questionner d'une manière particulière, en vue de porter un jugement et d'éclairer les décideurs. Lorsque la politique à évaluer est le Plan Marshall2ifr, qui couvre la plupart des compétences du Gouvernement wallon, l'évaluation est d'une grande complexité. L'objet de cet article est de décrire la démarche adoptée par l'IWEPS pour préparer l'évaluation du Plan Marshall2ea Vert : analyse de la logique d'intervention, construction d'un référentiel d'évaluation, traduction des objectifs en indicateurs de résultat, constitution d'un programme d'évaluations partielles sont les principales étapes de cette démarche.

Béatrice Van Haeperen<fnref n="1" />

Martine Lefèvre

Virginie Louis

Mathieu Mosty

Dans la perspective de rétablir la prospérité économique et sociale en Wallonie, le Gouvernement wallon 2004-2009 se donne de nouveaux principes d'action qu'il met en œuvre dans une politique structurelle et transversale, le Plan Marshall, prolongé par le Plan Marshall2ea Vert (PM2ea Vert).

Comment évaluer les effets du PM2ea Vert ? C'est la question que se sont posée les évaluateurs de l'IWEPS (Institut wallon de l'évaluation de la prospective et de la statistique), chargés par le Gouvernement wallon de l'évaluation de ce Plan. L'évaluation d'une politique repose sur une succession de choix méthodologiques : niveau auquel on situe l'évaluation (micro ou macroéconomique), outils d'observation, outils de collecte et de traitement des données et informations. Les décisions à ce sujet ne sont pas toujours aisées, en particulier lorsqu'il s'agit de politiques complexes comme le plan Marshall2ea Vert ou nouvelles comme les Pôles de compétitivité ou l'Alliance-Emploi-Environnement. L'objectif de ce numéro de Regards économiques est de décrire la phase préparatoire de l'évaluation du PM2ea Vert. Cet itinéraire à la recherche des effets du PM2ea Vert et de leur mesure permettra au lecteur de se faire une meilleure idée de ce que l'on peut attendre de ce Plan.

Cet article se structure de la manière suivante. La première section rappelle le contexte économique qui a motivé la mise en place du Plan Marshall, prolongé par le Plan Marshall2ea Vert, programmes remarquables non seulement par leur ambition, mais aussi par leurs modalités de mise en œuvre. Dans la section 2, après avoir montré l'utilité d'une analyse de la logique d'intervention dans une démarche évaluative, nous explicitons la logique d'intervention poursuivie par le Gouvernement wallon au travers du Plan Marshall2ea Vert. Pour suivre, nous mettons en évidence les difficultés liées à la construction d'indicateurs de résultats.

<footnote n="1">¹ Nous remercions vivement Vincent Bodart, Thierry Bréchet, Sébastien Brunet, Muriel Dejemeppe et Muriel Fonder pour leurs commentaires constructifs sur une version antérieure de ce texte.</footnote>
La troisième section est consacrée à un focus méthodologique sur les évaluations partielles : deux exemples - les Pôles de compétitivité et l'Alliance Emploi-Environnement - illustrent l'emboîtement des évaluations partielles dans l'évaluation globale du Plan Marshall2.Vert. Une brève conclusion clôture cet article.

## 1. De la reconnaissance du malaise économique wallon...

Au tournant des années 2000, les principaux indicateurs de performances socio-économiques de la Wallonie sont dans le rouge. C'est ce que mettent en exergue, sous le titre «Le malaise économique wallon», des économistes invités à dresser pour Regards économiques un portrait socio-économique de la Wallonie.<fnref n="2" /> Quelques indicateurs repris dans le tableau 1 rappellent le contexte dans lequel se déploient les Plans Marshall et Marshall2.Vert. En 2000, le produit intérieur brut (PIB) par habitant de la Wallonie accuse un écart défavorable de 35 pourcent par rapport à la moyenne belge et de 10 pourcent par rapport à la moyenne européenne. Les taux d'emploi<fnref n="3" />, qui étaient semblables dans les trois régions belges en 1980, manifestent en 2000 une dispersion considérable entre la Wallonie (60,5 %), proche de la région bruxelloise (59,5 %), et la Flandre (68,9 %).

La productivité du travail<fnref n="4" />, bien que supérieure à la moyenne de l'Europe des 27, est inférieure de 15 % à la moyenne belge en 2000. Cet écart de productivité, qui crée un risque pour la compétitivité de la Wallonie, serait dû à l'effet conjugué de plusieurs facteurs, dont l'investissement en capital physique et la qualification de la main-d'œuvre. Au cours des années qui ont précédé le Plan Marshall, la Wallonie accuse sur ces variables un désavantage par rapport à la moyenne belge, et surtout par rapport à la Flandre. Le taux d'investissement, représenté par la part de la formation brute de capital fixe dans le PIB, s'établit en Wallonie un à deux points de pourcentage en-dessous des taux belge et flamand. La qualification de la main-d'œuvre, approchée par la proportion de diplômés de l'enseignement supérieur dans la population des 25-64 ans, accuse un écart défavorable par rapport à la moyenne belge (- 2 points de pourcentage); l'écart s'amplifie lorsque l'on prend pour référence la population des 30-34 ans. Ce retard de qualification de la main-d'œuvre constitue un handicap lorsque l'on sait que les entreprises se tournent davantage vers le travail qualifié, au détriment des peu qualifiés.<fnref n="5" />

Bref, les faiblesses structurelles qui affectent les performances de l'économie wallonne au début de la décennie appellent de manière urgente une politique capable de redresser simultanément la productivité et l'emploi.

### 1.1. ... au Plan Marshall 1.0...

Fort de ces constats, largement partagés par les acteurs socio-économiques, le Gouvernement wallon 2004-2009 décide, au printemps 2005, de donner un coup d'accélérateur à sa stratégie de développement socio-économique et d'opérer un changement dans sa façon de travailler. Polarisation de la stratégie sur un nombre restreint de priorités structurelles, gestion budgétaire souple, suivi rapproché des mesures et dispositifs, évaluation des résultats et prégnance de l'initiative privée s'imposent comme nouveaux principes d'actions (voir l'encadré 1 en fin de texte). Ceux-ci seront d'emblée mis en œuvre dans un vaste programme, le «Plan d'actions prioritaires pour l'avenir wallon», mieux connu sous le nom de «Plan Marshall», rassemblant environ 80 mesures réparties en cinq axes.

<footnote n="2">² Regards économiques n° 31, juin 2005.</footnote>

<footnote n="3">³ Le taux d'emploi est défini comme le ratio : nombre d'actifs occupés/population en âge de travailler.</footnote>

<footnote n="4">⁴ La productivité du travail est mesurée par le rapport entre la valeur ajoutée et le nombre d'emplois en ETP (équivalent temps plein).</footnote>

<footnote n="5">⁵ Pour une analyse plus détaillée de la problématique des qualifications et de l'emploi, le lecteur se référera à Vander Stricht et Van Haeperen (2007).</footnote>
... au Plan Marshall 1.0...

Ces principes sont encore d'application dans le Plan Marshall 2. Vert, qui d'ailleurs s'appuie en partie sur les enseignements issus des exercices de suivi et d'évaluation du Plan Marshall 1.0.<fnref n="6" /> L'évaluation du Plan, réalisée par l'IWEPS en fin de législature (voir IWEPS, 2009), portait principalement sur la gouvernance générale du Plan et sur la façon dont les différents publics-cibles s'étaient appropriés les mesures qui les concernaient. Les résultats de cette évaluation ont nourri les travaux d'un consortium d'experts universitaires et de consultants indépendants chargé de formuler des recommandations pour le futur programme du Gouvernement. Les orientations proposées allaient dans le sens d'une poursuite, voire d'une amplification des principales mesures du Plan Marshall 1.0. On soulignera que le contexte économique, fragilisé par la crise financière de 2008, invitait lui aussi le nouveau gouvernement à prolonger les mesures initiées par le gouvernement précédent. Comme le montrent les données du tableau 1, les problèmes structurels étaient encore d'actualité : en 2009, seul le taux d'investissement avait rejoint la moyenne belge; l'écart de taux d'emploi s'était accentué, et, si l'écart de PIB par habitant s'était réduit, il restait une importante marge de progrès.

<caption>**Tableau 1. Indicateurs structurels**</caption>

Sources : Eurostat, ICN, Bureau fédéral du Plan.

<table><thead><tr><th></th><th></th><th>1995</th><th>2000</th><th>2005</th><th>2009</th></tr></thead><tbody><tr><td rowspan="5">Taux d'emploi¹</td><td>Belgique</td><td>61,4</td><td>65,3</td><td>66,5</td><td>67,1</td></tr><tr><td>Bruxelles-Capitale</td><td>55,6</td><td>59,2</td><td>59,4</td><td>59,5</td></tr><tr><td>Flandre</td><td>64,7</td><td>68,9</td><td>70,4</td><td>71,5</td></tr><tr><td>Wallonie</td><td>57,2</td><td>60,5</td><td>61,6</td><td>61,7</td></tr><tr><td>EU27</td><td>-</td><td>66,5</td><td>68,0</td><td>69,1</td></tr><tr><td rowspan="5">PIB par habitant</td><td>Belgique</td><td>129,0</td><td>126,0</td><td>120,0</td><td>116,1</td></tr><tr><td>Bruxelles-Capitale</td><td>262,1</td><td>255,9</td><td>236,9</td><td>225,2</td></tr><tr><td>Flandre</td><td>126,0</td><td>124,9</td><td>119,0</td><td>114,8</td></tr><tr><td>Wallonie</td><td>94,0</td><td>90,9</td><td>86,0</td><td>84,6</td></tr><tr><td>EU27</td><td>100,0</td><td>100,0</td><td>100,0</td><td>100,0</td></tr><tr><td rowspan="5">Productivité du travail</td><td>Belgique</td><td>152,2</td><td>139,4</td><td>138,9</td><td>143,6</td></tr><tr><td>Bruxelles-Capitale</td><td>183,5</td><td>170,1</td><td>171,0</td><td>183,1</td></tr><tr><td>Flandre</td><td>151,5</td><td>138,7</td><td>138,4</td><td>141,5</td></tr><tr><td>Wallonie</td><td>135,2</td><td>122,8</td><td>121,3</td><td>125,7</td></tr><tr><td>EU27</td><td>100,0</td><td>100,0</td><td>100,0</td><td>100,0</td></tr><tr><td rowspan="5">Formation brute de capital fixe² (% du PIB)</td><td>Belgique</td><td>19,9</td><td>21,1</td><td>20,7</td><td>22,4</td></tr><tr><td>Bruxelles-Capitale</td><td>16,9</td><td>18,1</td><td>17,0</td><td>18,3</td></tr><tr><td>Flandre</td><td>21,6</td><td>22,3</td><td>22,6</td><td>23,6</td></tr><tr><td>Wallonie</td><td>18,6</td><td>20,7</td><td>19,1</td><td>22,7</td></tr><tr><td>EU27</td><td>19,7</td><td>20,7</td><td>20,0</td><td>21,1</td></tr><tr><td rowspan="5">Population avec une formation postsecondaire (%, 25-64)³</td><td>Belgique</td><td>23,3</td><td>27,1</td><td>31,0</td><td>33,4</td></tr><tr><td>Bruxelles-Capitale</td><td>30,0</td><td>37,0</td><td>41,5</td><td>42,4</td></tr><tr><td>Flandre</td><td>22,7</td><td>26,6</td><td>30,6</td><td>33,6</td></tr><tr><td>Wallonie</td><td>21,0</td><td>25,0</td><td>28,7</td><td>30,2</td></tr><tr><td>EU27</td><td>-</td><td>18,9</td><td>22,4</td><td>25,1</td></tr></tbody></table>

Notes : (1) Le taux d'emploi est défini comme le ratio : nombre d'actifs occupés/population en âge de travailler;

(2) Les dernières données disponibles datent de 2008;

(3) La méthodologie de l'enquête sur les forces de travail (EFT) a été modifiée en 1999. Il s'agit donc d'interpréter avec prudence l'évolution des indicateurs entre 1995 et 2000.

<footnote n="6">⁶ Voir le Plan Marshall2. Vert, page 1.</footnote>
1.2. ...et au Plan
Marshall 2 Vert

Plan Marshall 2. Vert et Plan Marshall 1.0 sont étroitement liés. La présence, au sein de l'équipe gouvernementale 2009-2014, de la coalition Socialiste-CDH à qui on doit la paternité du Plan Marshall 1.0 facilite la poursuite des engagements de la législature précédente. L'association à cette coalition du partenaire ECOLO donne des accents nouveaux, sans remettre en cause les fondements structurels du plan Marshall.

Le gouvernement wallon insiste toutefois : le Plan Marshall 2. Vert n’est pas une
simple actualisation de la stratégie de redressement. Il optimalise et amplifie un
certain nombre de priorités, mais surtout, il franchit une nouvelle étape en in-
tégrant plus largement la dimension «durable». Pour ce faire, le Plan Marshall
2. Vert dispose de moyens plus importants : un budget de 2,8 milliards d’euros lui
est alloué pour la période 2009-2014, alors que le budget du Plan Marshall 1.0
s’élevait à 1,5 milliards d’euros. Dans les deux cas, le budget est composé pour
partie de financement ordinaire et pour partie de financement alternatif 7.

Un regard sur la structure des deux Plans, présentée dans le tableau 2, montre que
le Plan Marshall 2. Vert se construit sur les piliers du Plan Marshall 1.0 : «dévelop-

<caption>**Tableau 2.** Structures et budgets des Plans Marshall 1.0 et 2. Vert</caption>

Sources : «Les actions prioritaires pour l’avenir wallon» - Budget initial (août 2005) et «Viser l’Excellence - Plan Marshall 2. Vert» - Budget initial (décembre 2009); Calculs IWEPS.

<table>
  <thead>
    <tr>
      <th rowspan="2"></th>
      <th rowspan="2"></th>
      <th colspan="2">Budget</th>
      <th rowspan="2">% total</th>
    </tr>
    <tr>
      <th>Mio euros</th>
      <th>FA</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td colspan="5"><strong>PLAN MARSHALL 1.0</strong></td>
    </tr>
    <tr>
      <td>Axe I</td>
      <td>Créer les pôles de compétitivité</td>
      <td>280</td>
      <td></td>
      <td>17,8%</td>
    </tr>
    <tr>
      <td>Axe II</td>
      <td>Stimuler la création d'activités</td>
      <td>318</td>
      <td>575</td>
      <td>0,0%</td>
    </tr>
    <tr>
      <td>Axe III</td>
      <td>Alléger les fiscalités sur l'entreprise</td>
      <td>93</td>
      <td></td>
      <td>5,9%</td>
    </tr>
    <tr>
      <td>Axe IV</td>
      <td>Doper la recherche et l'innovation en lien avec l'entreprise</td>
      <td>150</td>
      <td></td>
      <td>9,5%</td>
    </tr>
    <tr>
      <td>Axe V</td>
      <td>Susciter des compétences pour l'emploi</td>
      <td>160</td>
      <td></td>
      <td>10,2%</td>
    </tr>
    <tr>
      <td colspan="2">Total</td>
      <td>1.575</td>
      <td></td>
      <td>100%</td>
    </tr>
    <tr>
      <td colspan="5"><strong>PLAN MARSHALL 2. VERT</strong></td>
    </tr>
    <tr>
      <td>Axe I</td>
      <td>Un atout à valoriser : le capital humain</td>
      <td>337</td>
      <td>-</td>
      <td>12,2%</td>
    </tr>
    <tr>
      <td>Axe II</td>
      <td>Un succès à amplifier : les stratégies des pôles de compétitivité et des réseaux d'entreprises</td>
      <td>388</td>
      <td>-</td>
      <td>14,0%</td>
    </tr>
    <tr>
      <td>Axe III</td>
      <td>Consolider la recherche scientifique comme moteur d'avenir</td>
      <td>142</td>
      <td>-</td>
      <td>5,1%</td>
    </tr>
    <tr>
      <td>Axe IV</td>
      <td>Une priorité visant la mise en place d'un cadre propice à la création d'activités et d'emplois de qualité</td>
      <td>167</td>
      <td>425</td>
      <td>21,4%</td>
    </tr>
    <tr>
      <td>Axe V</td>
      <td>Une stratégie d'avenir à déployer: les Alliances emploi-environnement</td>
      <td>280</td>
      <td>600</td>
      <td>31,8%</td>
    </tr>
    <tr>
      <td>Axe VI</td>
      <td>Conjuguer emploi et bien-être social</td>
      <td>297</td>
      <td>125</td>
      <td>15,2%</td>
    </tr>
    <tr>
      <td>Dynamique transversale A</td>
      <td>Promouvoir transversalement le développement durable à travers toutes les politiques publiques</td>
      <td>5</td>
      <td>-</td>
      <td>0,2%</td>
    </tr>
    <tr>
      <td>Dynamique transversale B</td>
      <td>Renforcer l'efficacité du partenaire public et promouvoir une conscience wallonne source de mobilisation</td>
      <td>5</td>
      <td>-</td>
      <td>0,2%</td>
    </tr>
    <tr>
      <td colspan="2">Total</td>
      <td>2.771</td>
      <td></td>
      <td>100,0%</td>
    </tr>
  </tbody>
</table>

Note : FO (Financement ordinaire) - FA (Financement alternatif).

<footnote n="7">⁷ Le recours au financement alternatif est une procédure classique de débudgétisation permettant au pouvoir exécutif d'effectuer des investissements publics (infrastructures, aménagements des zones d'activités économiques, etc.) dont la charge est étalée sur une durée d'au minimum 20 ans. Les financements alternatifs sont mobilisés par des emprunts contractés par des institutions wallonnes tierces (SOWAFINAL, CRAC, SOFICO, SWL et SOWAER) et dont les charges d'intérêts et amortissements sont en tout ou en partie supportées par le budget de la Wallonie, pour toute la durée de l'emprunt. Au budget régional, seules apparaissent les charges d'intérêts et les amortissements de ces emprunts.</footnote>
...et au Plan Marshall 2. Vert

pement des pôles de compétitivité», «stimulation de la recherche et de l'innova-
tion», «création d'activités et d'emplois» et «valorisation du capital humain» sont
les idées maîtresses qui traversent les deux Plans.

L'empreinte du premier Plan se révèle également dans la structure budgétaire : environ deux tiers du budget du Plan Marshall 2. Vert assurent le financement de politiques s'inscrivant dans la continuité du Plan Marshall 1.0. Le reste de l'enveloppe allouée au Plan Marshall 2. Vert est réservée au lancement de nouvelles politiques parmi lesquelles l'Alliance Emploi-Environnement occupe la place la plus importante (voir Cipriano, 2011).

## 2. Evaluation du Plan Marshall2. Vert

Evaluer une politique, c'est la questionner d'une manière particulière : le ques-
tionnement évaluatif ne vise pas seulement à produire de la connaissance, mais
aussi à construire un jugement sur la politique et à fournir des informations utiles
à la prise de décision. Le jugement s'établit à partir de critères de qualité et d'un
référentiel qu'il convient de définir.

Les qualités habituellement attendues d'une politique sont la pertinence, l'effica-
cité, l'efficience, la cohérence, la durabilité. Selon la phase de la politique, l'un ou
l'autre de ces critères sera privilégié. Ex ante, c'est-à-dire avant la mise en œuvre
de la politique, on évaluera sa pertinence, alors qu'en phase de mise en œuvre
avancée ou de résultats, le critère le plus souvent retenu est l'efficacité, qui indique
dans quelle mesure on atteint les objectifs visés par la politique. C'est celui que
nous retenons pour l'évaluation du PM2. Vert. En ce qui concerne le référentiel, il
est généralement constitué des objectifs poursuivis par le gouvernement au travers
de sa politique. Toutefois, ceux-ci sont souvent implicites ou incomplets.

Une des premières tâches de l'évaluateur consiste donc à analyser la logique d'in-
tervention ou stratégie du gouvernement en vue de clarifier et de hiérarchiser les
objectifs, partant du plus général, décliné en objectifs spécifiques, objectifs in-
termédiaires et objectifs opérationnels qui sont constitués des mesures et actions
concrètes mises en œuvre. Ce faisant, l'évaluateur explicite la théorie de l'action
qui sous-tend le programme, ce qui lui permet d'établir des liaisons logiques entre
les actions et les effets attendus à chaque niveau de la hiérarchie des objectifs. Cet-
te analyse de la logique d'intervention conduit à modéliser le programme, c'est-à-
dire à en proposer une vue synthétique, articulée et simplifiée. Ainsi modélisé, le
programme devient un objet évaluable. Il revient ensuite à l'évaluateur de traduire
les objectifs en indicateurs de résultat ou mesures de performance. Ces aspects
méthodologiques sont développés plus en détail dans l'encadré 2 en fin de texte.

On soulignera que l'analyse de la logique d'intervention est d'autant plus compli-
quée que la politique est complexe, comme c'est le cas des deux Plans Marshall :
on le voit dans le tableau 2, ces plans couvrent l'ensemble des compétences du
gouvernement wallon.

Pour guider notre questionnement, nous avons adopté une démarche en deux éta-
pes : dans un premier temps, nous avons procédé à une analyse de la logique
macroéconomique du PM2. Vert. Sur la base de quelques critères tels que le public
ciblé et la phase de mise en œuvre des mesures les concernant, nous avons ensuite
opéré un découpage du PM2. Vert en segments évaluables de manière autonome.
Au total, treize évaluations partielles seront réalisées par l'IWEPS d'ici la fin de
la législature. Ces évaluations seront de nature microéconomique. On se focalisera
sur les acteurs : le questionnement, orienté par une théorie de l'action spécifique à
chaque évaluation, portera sur la façon dont ceux-ci s'approprient les mesures qui
leur sont proposées et sur les effets observables. Les résultats de ces évaluations
partielles nourriront l'évaluation globale du Plan attendue en fin de législature.
2.1. La logique d'intervention du PM2.Vert

L'analyse systématique du Plan Marshall 2. Vert sous l'éclairage des priorités européennes inscrites dans la stratégie européenne 2020⁸, de discussions avec les concepteurs du plan et de la théorie économique a conduit à transcender l'organisation initiale du Plan et à le modéliser sous la forme d'une arborescence d'objectifs entretenant entre eux les relations représentées dans le diagramme 1.

L'objectif général *Favoriser une croissance intelligente et soutenable* exprime de manière concise la stratégie de long terme du PM2. Vert. La soutenabilité y est définie en référence aux travaux de la *Commission française sur la performance économique et le progrès social*, plus connue sous le nom de *Commission Stiglitz*. L'idée est la suivante : le bien-être des générations futures, en comparaison avec le nôtre, dépendra des ressources que nous leur transmettrons : ressources épuisables, ressources naturelles renouvelables nécessaires à la vie, quantité de capital physique (machines et immeubles), investissements consacrés à la constitution du «capital humain» (dépenses dans l'éducation et la recherche) et qualité des institutions, «capital» essentiel au bon fonctionnement d'une société (Stiglitz et al., 2009, pp. 276-277).

Quatre objectifs spécifiques traduisent les orientations stratégiques déployées par le Gouvernement dans la perspective d'une croissance intelligente et durable : *Amplifier la création d'activités à haute valeur ajoutée, Favoriser le développement des entreprises à tous les stades de leur cycle de vie, Faciliter l'insertion des wallons sur le marché du travail et accroître ainsi leur qualité de vie, et Favoriser l'utilisation rationnelle de l'énergie et améliorer ainsi la qualité de l'environnement*.

La mise en œuvre de cette stratégie repose sur cinq objectifs intermédiaires : *Développer le capital immatériel, le capital physique, le capital humain, faciliter l'accès au capital financier et valoriser le capital territoire/ressources naturelles (infrastructures)*. Ces objectifs intermédiaires groupent une vingtaine d'objectifs opérationnels : ceux-ci sont les plus concrets, car ils commandent de manière directe les mesures et actions du PM2. Vert. Ils sont aussi les plus facilement évaluable s. Les mesures et actions mises en œuvre par la politique régionale peuvent être qualifiés de classiques : on repère en effet des aides financières à l'investissement en capital physique, des aides à l'investissement en R&D, des formations destinées aux travailleurs et demandeurs d'emploi, le financement d'infrastructures, etc. La particularité des deux Plans Marshall est d'utiliser ces instruments de manière systémique au travers de politiques orientées vers des objectifs précis.

Notons enfin la présence de trois préoccupations transversales : le défi environnemental, l'efficacité du partenaire public et les synergies avec les autres entités fédérées.

On reconnaît dans les objectifs intermédiaires les ressorts de la croissance mis en évidence par les théories de la croissance endogène<fnref n="9" /> : la croissance économique repose non seulement sur la croissance du capital et de la main-d'œuvre, mais aussi sur la productivité globale des facteurs (PGF), elle-même influencée par le capital humain, la technologie, le fonctionnement des marchés, la qualité des institutions, le capital public (infrastructures). La PGF n'est pas exogène, mais peut être améliorée par des politiques d'innovation, de recherche, d'éducation, par des investissements en infrastructures, et par des mesures visant à améliorer le fonctionnement des marchés et la qualité des institutions. L'intervention publique est

<footnote n="8">⁸ Les autorités européennes ont défini une stratégie pour une croissance intelligente (basée sur la connaissance et l'innovation), *durable* (économie plus efficace dans l'utilisation des ressources, plus verte et plus compétitive) et *inclusive* (fort taux d'emploi favorisant la cohésion sociale et territoriale) à l'horizon 2020.</footnote>

<footnote n="9">⁹ Voir, par exemple, Guellec et Ralle (2005), Bénassy-Quéré *et al.* (2010).</footnote>
... La logique d'intervention du PM2ea Vert

nécessaire pour gérer les externalités engendrées par l'accumulation du capital physique, du capital technologique et du capital humain : en l'absence d'intervention publique, l'investissement serait sous-optimal vu que le rendement privé de l'accumulation est inférieur à son rendement social.

Comme le montre le diagramme 1, chaque objectif intermédiaire concourt à l'atteinte de plusieurs objectifs spécifiques : ainsi, le développement du capital immatériel (dont la recherche) favorisera le développement des activités des entreprises (objectifs spécifiques 1 et 2), ainsi que l'utilisation rationnelle de l'énergie (objectif spécifique 4). Inversement, des mesures et actions relevant de plusieurs objectifs intermédiaires s'articulent pour atteindre un objectif spécifique particulier. Ainsi, la croissance des activités à haute valeur ajoutée repose-t-elle sur diverses mesures de soutien à l'investissement en capital physique, en capital humain, en capital immatériel et sur l'accès au capital financier.

<figure><img src="image_2.png" /><figcaption>**Diagramme 1. Structure d'objectifs du Plan Marshall 2. Vert**</figcaption></figure>

Source : IWEPS.
## 2.2. La traduction des objectifs en indicateurs de résultats

Les objectifs ne se prêtent pas tous à une traduction en effets directement observables et en indicateurs. Cet exercice ne pose guère de problème pour les objectifs opérationnels, généralement très concrets, auxquels on associe des indicateurs de réalisation qui mesurent un volume d'activité sur une période de temps (nombre de projets financés, nombre de stages de formation accomplis, ...). C'est en revanche beaucoup plus compliqué pour les objectifs intermédiaires et spécifiques, qui appellent des indicateurs de résultat, et pour les objectifs généraux, auxquels sont liés des indicateurs d'impact macroéconomique. Ces deux types d'indicateur concernent l'effet de l'intervention ou de l'action en termes d'objectifs intermédiaires/spécifiques (par exemple, nombre de stagiaires ayant retrouvé un emploi grâce à la formation) ou globaux (par exemple, nombre d'emplois créés par cette politique). Les difficultés liées à la mesure d'indicateurs de résultat sont au moins de trois ordres. Premièrement, il faut s'assurer de l'adéquation entre les objectifs et les indicateurs choisis pour les illustrer. Deuxièmement, la construction des indicateurs doit s'appuyer sur des données qu'il n'est pas toujours aisé d'obtenir. Troisièmement, la mesure des indicateurs renseignera sur les résultats observés, qui peuvent n'être que partiellement influencés par la politique. La tâche de l'évaluateur sera de mettre en évidence les effets propres de la politique évaluée, c'est-à-dire le lien causal entre la politique et les effets observés. Les méthodes mobilisables à cet effet sont généralement très complexes. Quelques exemples illustreront ces difficultés.

Commençons par l'adéquation indicateurs-objectifs en prenant pour exemple l'objectif général : existe-t-il un indicateur capable de représenter toutes les dimensions de cet objectif ? L'indicateur habituellement utilisé pour mesurer la croissance économique – le taux de croissance du PIB, est un candidat imparfait, parce qu'il ne prend pas suffisamment en compte les dimensions intelligente et soutenable. C'est d'ailleurs ce qui motive les recherches qui, dans la foulée des travaux de la Commission Stiglitz, tentent de définir des indicateurs complémentaires au PIB. Par ailleurs, les effets du Plan sont attendus à des moments différents, certains à très long terme, ce qui signifie que cet indicateur est peu adéquat pour mesurer l'impact global du Plan.

En ce qui concerne la disponibilité des données, on soulignera que de nombreuses informations existent dans les services de l'administration, mais que celles-ci sont rarement tout à fait satisfaisantes pour construire les indicateurs de résultat : collectées à des fins de gestion administrative et budgétaire, elles sont souvent incomplètes car limitées à ce qui est nécessaire pour vérifier la conformité de la mise en œuvre de la politique avec la réglementation. Bien souvent, le calcul d'indicateurs de résultats nécessite la fusion de deux voire plusieurs bases de données. A titre d'exemple, la construction d'indicateurs d'insertion en emploi après une formation appelle la fusion d'au moins trois bases de données : celle des demandeurs d'emploi, celle des travailleurs et celle(s) des bénéficiaires de formation – généralement, il y aura plusieurs bases de données de bénéficiaires de formation puisque la formation est décentralisée. Cette fusion n'est possible que s'il y a un identifiant unique, ce qui n'est pas toujours le cas. Lorsque les données administratives ne permettent pas de calculer les indicateurs, il faut recourir à des enquêtes, ce qui complique davantage l'exercice.

Enfin, l'exemple de l'impact des aides à la R&D sur la création d'activités à haute valeur ajoutée montrera la complexité de la mesure des résultats et des résultats nets. Un premier résultat à évaluer, situé au niveau de l'objectif intermédiaire développer le capital immatériel, est celui de l'additionnalité des dépenses privées en R&D : dans quelle mesure l'aide publique a-t-elle favorisé de nouvelles activités de R&D dans les entreprises ? L'effet net de la politique s'obtiendra en comparant la situation observée avec la situation qui se serait produite en l'absence d'aide (cette situation virtuelle s'appelle le contrefactuel). Concrètement, on comparera l'évolution d'entreprises aidées et d'entreprises non aidées au regard des dépenses
... La traduction des objectifs en indicateurs de résultats

privées en R&D. Cet exercice impose d'étendre le champ d'observation au-delà des entreprises aidées, ce qui pose non seulement la question de la disponibilité des données, mais aussi celle de la constitution des échantillons : des conditions strictes doivent être respectées pour produire des estimations exemptes de biais de sélection<fnref n="10" /> (Dumont, 2011; Cincera et al., 2011). Répondre à cette question n'est qu'un premier pas dans notre évaluation : le même exercice se répétera pour estimer l'impact de la R&D sur des variables de performance au niveau des entreprises (productivité, rentabilité, etc.) et au niveau méso-économique (création d'activités à haute valeur ajoutée).

3. Evaluation des Pôles de compétitivité et de l'Alliance Emploi - Environnement.

Ces deux politiques dessinent les contours de deux des évaluations partielles qui seront réalisées dans le cadre de l'évaluation du PM2.Vert. Le propos sera ici de clarifier les objectifs de ces politiques et de mettre en évidence leur imbrication dans le PM2.Vert. Cet exercice permettra de montrer comment ces politiques partielles contribuent à atteindre les objectifs spécifiques du PM2.Vert et, en conséquence, comment l'évaluation de ces politiques contribuera à l'évaluation globale du PM2.Vert.

Initiée dans le Premier Plan Marshall, la stratégie des pôles de compétitivité est poursuivie et amplifiée dans le PM2.V. Symbole d'une nouvelle politique industrielle et d'innovation en Wallonie, elle s'inscrit dans la philosophie des politiques de clusters lancées depuis plusieurs années dans les pays industrialisés (voir, à ce propos, le numéro 91 de Regards économiques).

L'Alliance emploi-environnement, quant à elle, constitue la principale nouveauté du Plan Marshall2.Vert dont elle concrétise la dimension *verte*. L'objectif global de cette politique est de «faire de l'amélioration de la qualité de l'environnement une source d'opportunités économiques et de création d'emplois». Le Gouvernement wallon ambitionne que cette stratégie «positionne la Wallonie comme un fer de lance du développement durable au niveau européen et mondial, en la dotant d'une expertise reconnue et valorisable à l'étranger, tout en créant de l'emploi peu ou pas délocalisable».<fnref n="11" />

Ces deux politiques partagent plusieurs points communs. D'abord, leur origine étrangère : si la France est le berceau des pôles de compétitivité, l'Allemagne est celui de l'Alliance emploi-environnement<fnref n="12" />. On soulignera ensuite l'aspect systé-mique des mesures mises en œuvre, approche qui constitue un atout pour assurer leur efficacité. Il apparaît enfin que ces deux politiques concentrent une grande partie du budget alloué au Plan Marshall2.Vert : ensemble, elles représentent près de 50 % du budget total (tableau 2).

<footnote n="10">¹⁰ Si les entreprises aidées et non aidées sont différentes en termes de caractéristiques individuelles (observées et/ou inobservées par l'évaluateur !) et que ces caractéristiques sont corrélées (sont en lien direct) avec le résultat (par exemple les dépenses privées en R&D), alors la différence de résultats entre les deux groupes reflétera partiellement (ou totalement) la composition différente des deux groupes et sera donc biaisée.</footnote>

<footnote n="11">¹¹ Gouvernement wallon (2009), Déclaration de politique régionale 2009-2014, p. 36. L'Alliance emploi-environnement s'inscrit dans la logique d'autres plans ou mesures mis en œuvre en réponse à des directives ou décisions de la Commission européenne, notamment : le Plan d'action efficacité énergétique (PAEE), le Plan d'action national en matière d'énergie renouvelable (PAN ER), le Plan national de réforme (PNR), le Paquet énergie-climat.</footnote>

<footnote n="12">¹² Une alliance emploi-environnement a été mise en place en Allemagne en 1999 dans le domaine de la rénovation des bâtiments. Cette AEE a été créée par la Confédération des syndicats allemands (DGB), en coopération avec le gouvernement, les ONG environnementales et les fédérations d'employeurs (voir Schneider, 2009).</footnote>
## 3.1. Les pôles de compétitivité

Un pôle de compétitivité rassemble trois catégories d'acteurs - des entreprises, des organismes de formation et des unités de recherche publiques et privées - engagés dans une démarche partenariale en vue d'élaborer et mettre en œuvre des projets communs au caractère innovant.

Le programme est ambitieux : le rayonnement des pôles de compétitivité doit dépasser les frontières de la Wallonie pour viser une taille critique à l'échelle européenne, voire mondiale et constituer un moteur pour les exportations régionales comme pour l'attraction des investissements étrangers. Six pôles de compétitivité<fnref n="13" /> ont été labellisés par le Gouvernement après évaluation des candidatures par un jury international composé d'experts industriels et scientifiques. Les pôles de compétitivité fonctionnent sur la base d'appels à projets lancés par le Gouvernement.<fnref n="14" />

### 3.1.1. La logique d'intervention : des objectifs...

L'objectif général poursuivi par le gouvernement au travers des pôles de compétitivité est d'Amplifier la création d'activités à haute valeur ajoutée.

Pour atteindre cet objectif, le Gouvernement met en place une stratégie systémique, qui prend appui sur les fondements microéconomiques de l'innovation. Ceux-ci identifient quatre capacités inhérentes au processus d'innovation : la créativité, l'aptitude à transformer une nouvelle idée en un produit industriel économique-viable, la gestion de la connaissance et la valorisation économique de l'innovation. De nombreuses aides sont prévues pour stimuler ces capacités : on observe une combinaison d'aides classiques et d'aides innovantes<fnref n="15" /> visant à impulser et conforter la mise en réseau des acteurs de l'innovation. La logique sous-jacente est une logique de fertilisation (Sautel, 2008) : la mise en réseau des acteurs de l'innovation favorise un partage des connaissances susceptible de générer des opportunités de coopération productive qui n'auraient pas été perçues autrement<fnref n="16" />.

On peut synthétiser comme suit la logique d'action des pôles : l'objectif général Amplifier la création d'activités à haute valeur ajoutée prend appui sur le développement de projets innovants réalisés en partenariat d'une part, et sur le développement du rayonnement international des pôles d'autre part (objectifs spécifiques). Ces objectifs se déclinent en objectifs opérationnels : favoriser la mise en réseau des acteurs économiques, stimuler la recherche et l'innovation, stimuler la compétitivité de l'économie wallonne à l'international, faciliter l'accès au capital financier, renforcer les aides à l'investissement, faciliter la rencontre entre l'offre et la demande de compétences. Ces objectifs opérationnels relèvent des objectifs intermédiaires identifiés dans l'analyse de la logique d'intervention du PM2. Vert.

Les mesures déployées pour atteindre ces objectifs opérationnels comprennent des aides à la recherche et à l'innovation, des mesures visant à faciliter l'accès des entreprises innovantes au capital à risque, des aides à la formation dont le financement de trois spécialistes «formations», la pérennisation des cellules opérationnelles des pôles, des aides ordinaires augmentées en cas de concrétisation d'investissements productifs issus des collaborations (bonus d'aides à l'investissement pour les PME et TPE des pôles), des aides à la valorisation économique des projets (in-

<footnote n="13">¹³ Il s'agit de Biowin (sciences du vivant), Wagralim (agro-industrie), Mecatech (génie mécanique), Logistics in Wallonia (transport et logistique), Skywin (aéronautique et spatial) et Greenwin (chimie et molécules durables). Ces domaines d'activités ont été sélectionnés à partir d'études scientifiques.</footnote>

<footnote n="14">¹⁴ Six appels à projets ont été lancés à ce jour par le Gouvernement wallon : cinq au cours du Plan Marshall 1.0 et un dans le cadre du Plan Marshall 2. Vert.</footnote>

<footnote n="15">¹⁵ Voir à ce sujet Van Haeperen et al. (2009).</footnote>

<footnote n="16">¹⁶ Notons que cette logique de fertilisation est aussi présente au sein des clusters, autre forme de réseau d'entreprises soutenue par le Gouvernement wallon depuis 2001. Une des mesures du Plan Marshall 2. Vert prévoit la mise en place d'un décret intégrant les deux initiatives.</footnote>
... Les pôles de compétitivité

vestissements publics en actifs et participations via la SOFIPOLE), le financement d'un responsable «export» par pôle, la mise en œuvre d'un plan d'actions annuel «export» et la création de postes d'ambassadeurs permanents des pôles dont la mission est orientée sur les dimensions scientifique et technologique.

3.1.2. ...aux indicateurs de résultats

Le cœur de la stratégie des pôles étant la mise en réseau des acteurs de l'innova-
tion, l'évaluation se focalisera sur cet aspect et cherchera à observer des résultats
à deux niveaux : le niveau du fonctionnement des pôles (objectif opérationnel)
d'une part, et celui des résultats de la mise en réseau sur les performances des
entreprises (objectifs général et spécifiques).

Dans un premier temps, on cherchera donc à observer la dynamique de chaque
pôle à partir d'un questionnement multidimensionnel sur les partenariats entre les
trois catégories d'acteurs (voir par exemple Chalaye, 2011). L'analyse devra tenir
compte de l'ancrage sectoriel du pôle : en effet, comme l'a montré Pavitt (1984)
et comme l'ont confirmé des travaux plus récents (Castellacci, 2005 et Kuittinen,
2007), il existe plusieurs modèles sectoriels de l'innovation<fnref n="17" />. Une grille d'indica-
teurs descriptifs, construits à partir de données administratives, permettra de carac-
tériser l'évolution de chaque pôle : évolution du nombre d'entreprises et de centres
de recherches impliqués dans les projets; évolution de la répartition des entreprises
selon la taille, le secteur d'activité, le statut, etc.; évolution de la part des dépenses
en R&D dans la valeur ajoutée des entreprises. Des indicateurs plus qualitatifs
pourraient être construits à partir d'enquêtes auprès des acteurs des pôles : par
exemple, des indicateurs caractérisant la nature et l'intensité des partenariats, ou
encore, des indicateurs représentant le degré de réalisation des attentes des acteurs
en matière d'articulation entre recherche et applications industrielles, de valorisa-
tion économique des résultats de la recherche, de relations internationales, etc.

Au niveau des objectifs plus élevés, les résultats attendus sont exprimés en ter-
mes de performance des entreprises. Les indicateurs de résultat devraient mesurer
l'évolution des variables suivantes, disponibles dans les bases de données admi-
nistratives : productivité, valeur ajoutée, emploi, innovation, exportations. On ne
peut toutefois se contenter de ces indicateurs pour apprécier l'effet net de la po-
litique des «pôles» : la comparaison avec un groupe d'entreprises non bénéficiai-
res s'impose (voir, à ce propos, le numéro 91 de Regards économiques ainsi que
Mayneris, 2011).

## 3.2. La première Alliance emploi-environnement

Pour sa première Alliance emploi-environnement, le Gouvernement wallon a
choisi le secteur de la construction. L'objectif poursuivi est d'Améliorer la qualité
du bâti wallon et des performances énergétiques y associées tout en structurant
le secteur de la construction vers une approche plus durable et en renforçant son
niveau d'emploi (Nollet, 2011).

Le potentiel d'améliorations énergétiques et environnementales est important. Se-
lon une étude réalisée par Mc Kinsey (2009), la consommation énergétique dans
le secteur résidentiel belge est en moyenne de 72 % supérieure à la moyenne euro-
péenne. Sur le plan de la salubrité et de la qualité de l'habitat, les résultats de
l'enquête sur la Qualité de l'habitat en Wallonie 2006-2007 (SPW-DGO4, 2007)
mettent en évidence que 10 % des logements sont insalubres et que 45 % des
logements présentent un niveau de qualité moyen, mauvais ou très mauvais. Par
ailleurs, le manque de logements locatifs bon marché en Wallonie est lui aussi un

<footnote n="17">¹⁷ Secteurs basés sur la science, les secteurs dépendant d'une offre spécialisée, les secteurs de production et de consommation de masse.</footnote>
... La première Alliance emploi-
environnement

facteur déterminant de l'augmentation des chantiers de rénovation/construction durable : des analystes estiment nécessaire de créer 100.000 logements bon marché au cours de la prochaine décennie (Kints, 2008). Selon le Ministre en charge de la coordination de l'AEE, l'éventail des aides proposées devrait permettre une croissance du nombre de chantiers de rénovation de l'ordre de 30 %, auxquels s'ajoutent 10.000 chantiers prévus dans le plan de rénovation du parc de logements publics 2011-2014. A titre de comparaison, l'AEE allemande a permis la rénovation d'environ 300.000 logements par an de 2006 à 2008, pour un budget d'environ 6 milliards d'euros (Schneider, 2009).

3.2.1. Logique d'intervention : des objectifs de la première Alliance Emploi-
Environnement...

L'objectif général de l'Alliance se décline en trois objectifs spécifiques (OS). Les deux premiers visent à Stimuler la demande de construction / rénovation durable de bâtiments privés (OS1) et publics (OS2). Le troisième concerne le côté offre du marché : il s'agit de Renforcer les capacités du secteur de la construction pour que les entreprises soient en mesure de satisfaire la demande croissante de construction/rénovation durable. On le voit, ces objectifs correspondent aux objectifs spécifiques du PM2. Vert : Favoriser l'utilisation rationnelle de l'énergie et améliorer ainsi la qualité de l'environnement et Favoriser le développement des entreprises à tous les stades de leur cycle de vie.

Pour atteindre ces objectifs, le Gouvernement s'appuie de manière systémique sur la réalisation des objectifs opérationnels suivants : stimuler la recherche et l'innovation; faciliter la rencontre entre l'offre et la demande de compétences; répondre aux besoins financiers de particuliers propriétaires souhaitant éco-rénover leur logement; soutenir les investissements visant l'amélioration énergétique dans le domaine de l'habitat.

Parmi les nombreuses mesures orientées sur la réalisation de ces objectifs opération-
nels, on distingue des incitants financiers visant à encourager des travaux économi-
seurs d'énergie tant dans les bâtiments privés que dans les bâtiments appartenant à
des personnes de droit public ou à des organismes non commerciaux (communes,
provinces, écoles, secteur associatif), la promotion de programmes de recherche
dans le domaine de l'énergie, des investissements publics dans le domaine de la
rénovation des logements sociaux, des adaptations du cadre législatif, des services
d'accompagnement des particuliers ou des entreprises, des formations vertes<fnref n="18" /> (for-
mation initiale et formation continue) et des créations d'emplois subsidiés.

Le Partenariat Public Ménage illustrera le caractère systémique des aides. Celui-
ci combine des aides financières et l'accompagnement des ménages au cours du
processus de rénovation. Au plan des aides financières, l'AEE prévoit un finance-
ment dont l'objectif est d'encourager les ménages à entreprendre des travaux de
rénovation ambitieux. La condition nécessaire pour accéder à ce financement est
d'entreprendre au minimum deux types de travaux de rénovation s'inscrivant dans
une logique de *bouquet durable*. Le financement AEE s'adresse tant aux locataires
qu'aux propriétaires; il comprend une prime, calculée en fonction du montant des
travaux et du revenu des bénéficiaires, et un prêt à taux zéro pour la partie du fi-
nancement non couverte par la prime. Au plan de l'accompagnement, les ménages
désirant se lancer dans un projet de construction/rénovation pourront s'adresser à
un *guichet unique AEE* où des experts leur offriront une panoplie de services et de
conseils, de la conception à la finalisation de leur chantier : diagnostic du bâtiment,

<footnote n="18">¹⁸ Un métier *vert* est un métier nouveau ou préexistant qui mobilise des compétences *vertes*. Une formation *verte* est une formation qui en tout ou en partie comprend des modules d'apprentissage permettant l'acquisition ou le développement de compétences *vertes*. Ces compétences *vertes* sont utiles pour l'exercice d'activités professionnelles ayant un rapport avec l'environnement.</footnote>
... La première Alliance emploi-
environnement

aide au montage financier, conseils pour le choix des matériaux etc. La mise en
place de ces guichets uniques rencontre une réelle nécessité : les ménages sont
généralement peu informés du potentiel d'amélioration de leur logement (Kints,
2008).

3.2.2. ....aux résultats attendus

Le succès de l'AEE dépendra de la réceptivité des ménages, des entreprises et du secteur public aux aides proposées. Des résultats sont attendus à plusieurs niveaux. Nous en illustrons quelques – uns à titre d'exemple.

Au niveau de l'objectif général, on devrait observer une amélioration de la qua-
lité de l'habitat wallon et une diminution de la consommation énergétique dans
les logements et les bâtiments publics ayant fait l'objet d'une rénovation durable.
L'évolution au cours du temps d'indicateurs tels que ceux mesurés dans l'enquête
sur la Qualité de l'habitat en Wallonie pourraient nous renseigner utilement : pour-
centage de logements insalubres, pourcentage de logements de mauvaise qualité
etc. Toutefois, ces indicateurs ne livrent aucune information sur la part des évolu-
tions observées due aux aides : des ménages peuvent avoir réalisé une rénovation
durable, et donc contribué à l'amélioration de la qualité de l'habitat, sans aide fi-
nancière. L'ajout de questions sur la rénovation durable, avec ou sans aide, consti-
tuerait une avancée. Mais reste encore l'effet d'aubaine : certains ménages qui ont
bénéficié d'aide auraient entrepris une rénovation durable même sans aide.

Au niveau des objectifs spécifiques, nous identifierons et commenterons quelques
indicateurs de résultats liés à l'objectif Stimuler la demande de construction / ré-
novation durable de bâtiments privés. A titre d'exemple, prenons les résultats liés
à l'octroi de primes à la rénovation/construction durable. Le premier résultat qu'il
serait souhaitable de mesurer est la proportion de travaux de rénovation entrepris
grâce aux primes. Cet indicateur, qui mesure l'effet net des primes, n'est pas aisé à
construire : il ne pourrait être obtenu qu'en réalisant une enquête auprès des ména-
ges ayant entrepris des travaux de rénovation/construction durable. Par exemple,
les intéressés auraient-ils entrepris des travaux s'ils n'avaient pas bénéficié des pri-
mes ? Cette approche est évidemment fort subjective; faisant appel à la mémoire
des personnes interrogées, le risque d'erreur est réel.

Par ailleurs, la modulation des primes en fonction du revenu des bénéficiaires et du nombre de travaux entrepris (bouquets de travaux), invite à construire des indicateurs incluant ces dimensions. En ce qui concerne la liaison de la prime au revenu, l'objectif poursuivi est une répartition plus équitable des primes entre ménages de catégories de revenus différentes. On peut suggérer les indicateurs de résultat suivants, qui peuvent être construits à partir de données administratives : la répartition des aides entre bénéficiaires classés en fonction de leur revenu et l'évolution de cette répartition depuis la mise en œuvre des primes, ou encore la part des dépenses liées à la consommation d'énergie dans le revenu disponible des ménages et son évolution depuis la mise en place des primes. Cette approche dite «avant-après» doit tenir compte dans son application de l'effet d'autres phénomènes variant au cours du temps. En ce qui concerne les bouquets de travaux, l'indicateur devrait renseigner la proportion de travaux supplémentaires réalisés grâce aux primes. Cet indicateur pourrait être construit à partir d'une enquête auprès des bénéficiaires (cf supra) ou à partir de données administratives permettant de comparer la situation avant et après l'introduction des bouquets de travaux.
Conclusion

La question de départ *Comment évaluer les effets du Plan Marshall2.Vert ?* nous a conduit à décrire la démarche habituellement adoptée pour transformer une politique ou un programme en *objet évaluable* et à montrer comment nous l'avions appliquée dans le cas de l'évaluation du PM2.Vert. Si l'analyse de la logique d'intervention a permis de réduire la complexité de ce Plan, elle a aussi mis en évidence la difficulté d'en appréhender les résultats à un niveau macroéconomique, en raison notamment de la multiplicité et de la portée différente des objectifs spécifiques, intermédiaires, opérationnels. Une évaluation rigoureuse demande de baliser le champ d'observation de telle sorte qu'il soit possible de décrire de manière précise les résultats observés. C'est pourquoi, nous avons isolé au sein du PM2.Vert treize parties autonomes; celles-ci correspondent à des thématiques spécifiques, dont la logique d'intervention est imbriquée dans la logique du PM2. Vert. Ces évaluations thématiques s'échelonneront au cours des deux prochaines années et alimenteront l'évaluation globale en fin de législature. Ainsi se constituera progressivement le puzzle des *effets* du Plan Marshall2.Vert.

Béatrice Van Haeperen est
coordinatrice scientifique à l'IWEPS
et professeur à l'UCL.
Martine Lefèvre est attachée scientifique
à l'IWEPS.
Virginie Louis est attachée à l'IWEPS.
Mathieu Mosty est attaché à l'IWEPS.

Béatrice Van Haeperen
b.vanhaeperen@iweps.be
Martine Lefèvre
Virginie Louis
Mathieu Mosty
Références

Références scientifiques

Bénassy - Quéré A., Coeuré B., Jacquet P. et J. Pisani-Ferry (2010), *Politique économique*, De Boeck.

Bunel, M. et Y. L'Horty (2011), Pourquoi est-il si difficile d'évaluer les politiques publiques ?, *Reflets et perspectives de la vie économique*, tome L, n° 1-2, pp. 23-32.

Castellacci F. (2005), The interaction between national systems and sectoral patterns of innovation. A cross-country analysis of Pavitt's taxonomy, Series on "Dynamics of Knowledge Accumulation, Competitiveness, Regional Cohesion and Economic Policies", DIME Working paper 2006.01.

Chalaye, S. (2011), Evaluer c'est observer : les difficultés d'une observation pertinente des clusters, *Reflets et perspectives de la vie économique*, tome L, n° 1-2, pp. 95-109.

Chen, Huey-Tsyh (2005), *Practical program evaluation: Assessing and improving planning, implementation, and effectiveness*, Sage Publications, Inc

Cincera, M., Czarnitzki, D., et S. Thorwarth (2011), Efficiency of public spending in support of R&D activities, *Reflets et perspectives de la vie économique*, tome L, n° 1-2, pp. 131-140.

Cipriano S. (2011), Plan Marshall2.Vert : un regard budgétaire, Working Paper n° 1, IWEPS.

Dumont, M. (2011), Méthodes pour estimer les effets des incitations en faveur de la recherche et du développement, Reflets et perspectives de la vie économique, tome L, n° 1-2, pp. 117-130.

Guellec D., et P. Ralle (2005), *Les nouvelles théories de la croissance*, Repères, La découverte.

IWEPS (2009), Evaluation du Plan d'actions prioritaires pour l'avenir wallon - Rapport de synthèse mars 2009, disponible sur le site de l'IWEPS à l'adresse http://statistiques.wallonie.be.

Kints C., (2008), La rénovation énergétique et durable des logements wallons, Etude réalisée pour la Division de l'Energie, Direction générale des Technologies, de la Recherche et de l'Energie, Ministère de la Région wallonne

Kuittinen H. (2007), Sectoral and firm-level differences in innovation performance: evidence from finnish manufacturing firms, Contributed paper for the 2007 conference on corporate R&D (CONCORD), European commission, Directorate General for research.

Mc Kinsey (2009), *Pathways to World Class Energy efficiency in Belgium*.

Mayneris F. (2011), Evaluation des politiques de clusters : sélection, autosélection et impact, *Reflets et perspectives de la vie économique*, tome L, n° 1-2, pp. 109-116.

Nollet J.M. (2011), Elaboration du Plan Pluriannuel de la 1ère Alliance Emploi-Environnement, Présentation au CESRW, janvier 2011

Pavitt K. (1984), Sectoral patterns of technical change : Towards a taxonomy and a theory, Research policy 13, pp 343-373.

Perret, B. (2008), *L'évaluation des politiques publiques*, Repères, La découverte.

Sautel O. (2008), Fondements Théoriques de l'Action Publique par les Pôles, Document de travail n°2008-32, octobre, OFCE.
... Références

Schneider, W. (2009), German “Alliance for Work and Environment”, Confederation of German Trade Unions (DGB), disponible à l’adresse suivante :
http://www.oeko-works.de/fileadmin/oekoworks/dokumente/gewerkschaften/DGB/090330_Presentation_in_English_DGBAlliance_ILO MOHRSS_Beijing-5.pdf

SPW-DGO4 (2007), Enquête sur la qualité de l'habitat en Wallonie.

Stiglitz J., Sen A. et J.P. Fitoussi (2009), *Performances économiques et progrès social. Richesse des nations et Bien -être des individus*, Odile Jacob.

Van Haeperen B. et V. Vander Stricht (2007), Dynamique d'emploi par secteur et qualification en Belgique, 17ième Congrès des économistes belges de langue française, Louvain-la Neuve, 21 Novembre 2007.

Van Haeperen B., Lefèvre M. et M. Dejardin (2009), Plan Marshall wallon : une évaluation ex ante en référence à la politique industrielle et d'innovation, *Reflets et perspectives de la vie économique*, tome XLVIII, N°1-2, pp. 161-177.

Van der Linden B. (2002), L'effet des formations professionnelles de chômeurs. De l'impact sur les individus à l'impact macroéconomique, dans de la Croix et al. (eds), *Capital humain et dualisme sur le marché du travail*, Collection Economie, Société et région, De Boeck.

Van der Linden B. (2011), Principes généraux d'évaluation d'un dispositif, *Reflets et perspectives de la vie économique*, tome L, n° 1-2, pp. 13-22.

Documents officiels

Les documents suivants peuvent être téléchargés sur le site du Parlement wallon
(http://parlement.wallonie.be)

«Déclaration de politique régionale wallonne 2009-2014 - Une énergie partagée pour une société durable, humaine et solidaire» (juillet 2009);

«Déclaration de politique régionale du Gouvernement wallon 2005-2009».

Les documents suivants peuvent être téléchargés sur le site du Plan Marshall 2 Vert
(http://planmarshall2vert.wallonie.be)

Le texte intégral du Plan Marshall 2 Vert «Viser l'Excellence – Plan Marshall 2 Vert» (décembre 2009);

Les rapports de suivi de la Délégation spéciale (cellule des stratégies transversale - SPW)

o «Plan Marshall 2 Vert - Rapport annuel 2010» (février 2011)

o «Mise en œuvre des Actions prioritaires pour l'Avenir wallon 2006-2009 – Rapport de clôture» (avril 2010).

Le plan d'actions prioritaires pour l'avenir wallon (PAP) :
http://planmarshall.wallonie.be/spip/IMG/pdf/PlanMarshallIntraglite.pdf
Les principes
d'action des Plans
Marshall1.0 et
Marshall 2 Vert.

Concentration des fonds sur des politiques ciblées

Prenant conscience que la dispersion des moyens budgétaires entre une
multitude de mesures ne pouvait apporter de solution structurelle à l'éco-
nomie wallonne, le gouvernement wallon de la législature 2004-2009 revoit
son programme, le *Contrat d'avenir wallon renouvelé* et ses quatre Plans
stratégiques transversaux pour faire place à un *Plan d'Actions Prioritaires
pour l'Avenir wallon* (PAP-AW) (adopté le 30 août 2005 par le gouverne-
ment wallon). Le Plan Marshall 1.0 était né. Avec le rattrapage de croissance
et la création d'emplois en ligne de mire, le gouvernement wallon épure les
deux premiers plans stratégiques - *création d'activité et développement du
capital humain* – pour n'en conserver que les mesures les plus structurantes.
Le Plan Marshall 2. Vert poursuit dans cette perspective : il entend en effet
«concentrer des moyens additionnels sur un certain nombre de priorités et
de mesures distinguées pour leur caractère structurant».

Gestion budgétaire souple

Le pilotage d'actions structurelles programmées sur plusieurs années né-
cessite des modalités de suivi budgétaire adaptées. Avec l'autorisation du
Parlement, le Gouvernement wallon a dérogé à deux des cinq principes
fondamentaux du droit budgétaire, à savoir l'annualité et la spécialité.

L'émancipation du principe d'annualité permet au Gouvernement de fixer
un budget pluriannuel. Inaugurée avec le Plan Marshall pour la période
2005-2009, cette dérogation au droit budgétaire est reconduite pour le
plan Marshall 2 Vert dont le budget est fixé pour la période 2010-2014.

L'émancipation du principe de spécialité budgétaire, quant à elle, donne
au Gouvernement wallon une flexibilité dans la réallocation des montants
entre les mesures du Plan. Ces reallocations visent à adapter la structure
budgétaire au niveau de consommation budgétaire de chaque mesure afin
d'atteindre les objectifs fixés dans le Plan (Pour plus de détails, voir S. Ci-
priano (2011).

Primauté de l'initiative privée

Au travers des Plans Marshall 1.0 et 2. Vert, le Gouvernement donne les
instruments d'une nouvelle politique industrielle qu'il appartient au secteur
privé de façonner. La logique bottom up, qui part des initiatives de terrain,
prend le pas sur la logique top down, imposée par le haut. Les pôles de
compétitivité, dans leur mode de conception et de fonctionnement basé sur
des appels à projets, en sont une illustration.

Mise en place de suivi et d'évaluation

Dès le départ, le Gouvernement wallon envisage l'évaluation du Plan et
distingue deux démarches complémentaires : (1) le suivi - contrôle périо-
dique de l'état d'avancement des actions du gouvernement, des adminis-
trations et des opérateurs, collecte et centralisation des données relatives
aux réalisations et (2) l'évaluation proprement dite - mesure des résultats
et appréciation du plan selon des critères d'efficacité et d'efficience d'autre
part. Le Gouvernement confie ces deux activités à des instances distinctes :
la Délégation spéciale est responsable du suivi, tandis que l'Institut wallon
de l'évaluation, de la prospective et de la statistique (IWEPS) est responsable
de l'évaluation.

En pratique, le suivi assuré par la Délégation spéciale prend notamment
la forme de rapports annuels de mise en œuvre L'IWEPS, pour sa part, a
procédé à une évaluation globale du Plan Marshall 1.0 et est chargé par le
Gouvernement actuel de l'évaluation du Plan Marshall2 Vert.
La préparation de l'évaluation implique les étapes suivantes :

1) Construire un référentiel d'évaluation : expliciter et hiérarchiser les objectifs

Si, à travers ses six axes, le Plan Marshall 2 Vert fournit un grand nombre d'objectifs, ceux-ci ne sont pas hiérarchisés. Or, ils ne sont pas du même niveau : derrière l'objectif général déclaré « poursuivre le redéploiement et réussir la transition de l'économie wallonne vers le développement durable et la société de la connaissance » (Parlement wallon, juillet 2009) se déroulent des chaînes d'objectifs spécifiques, intermédiaires, opérationnels. Par ailleurs, certains objectifs sont implicites, et il convient de les expliciter pour avoir une vue complète du plan.

2) Mettre en évidence la logique d'action sous-jacente

Il s'agit de comprendre comment l'intervention publique modifie l'environ-
nement, les objectifs, les plans et les moyens d'action des acteurs. «Sché-
matiquement, la démarche consiste à modéliser le programme comme un
ensemble de relations causales reliant des dispositifs d'action, les biens et
services produits par la politique et les différents niveaux d'impacts sociaux
attendus» (Perret, 2008, p. 26).

3) Construire des indicateurs.

L'évaluation implique une mesure des objectifs. Les objectifs doivent donc être traduits en critères d'évaluation, c'est-à-dire en indicateurs ou descripteurs de résultats. L'évaluation des politiques se contente souvent d'indicateurs de réalisation - qui se situent au niveau des actions (objectifs opérationnels). Les indicateurs de résultat, qui visent à mesurer les effets propres d'une politique sur les publics cibles, sont moins souvent présents, pour au moins deux raisons : (1) comme le souligne B. Van der Linden (2011), isoler les effets nets d'une politique est exigeant en termes de données et de technicité; (2) le résultat se mesure ex post, ce qui demande un recul temporel par rapport à la mise en œuvre du programme et en conséquence un affranchissement de la temporalité politique. Ces difficultés sont renforcées pour la mesure des impacts au niveau macro-économique (voir par exemple Bunel et L'Horty, 2011; Van der Linden, 2002).

Directeur de la publication :
*Vincent Bodart*
Rédactrice en chef :
*Muriel Dejemeppe*
Comité de rédaction : *Paul Belleflamme,*
*Vincent Bodart, Thierry Bréchet,*
*Muriel Dejemeppe, Frédéric Docquier, Jean*
*Hindriks, Marthe Nyssens*

Secrétariat & logistique : Anne Davister
Graphiste : Dominos

Regards Économiques IRES-UCL

Place Montesquieu, 3

B1348 Louvain-la-Neuve

http://www.uclouvain.be/en-regards-economiques

regard-ires@uclouvain.be

tél. 010/47 34 26

ISSN 2033-3013