# Publicatieblad C 302/2006

| | ISSN 1725-2474 |
| --- | --- |
| Publicatieblad
  van de Europese Unie | C 302 |
| | |
| Uitgave in de Nederlandse taal | Mededelingen en bekendmakingen | 49e jaargang12 december 2006 |

ISSN 1725-2474

Publicatieblad

van de Europese Unie

C 302

Uitgave in de Nederlandse taal

Mededelingen en bekendmakingen

49e jaargang12 december 2006

---

| Nummer | Inhoud | Bladzijde |
| --- | --- | --- |
| | I   Mededelingen |
| | Rekenkamer |
| 2006/C 302/1 | Speciaal verslag nr. 10/2006 over de evaluaties achteraf van de programma’s voor de doelstellingen 1 en 3 1994-1999 (Structuurfondsen), vergezeld van de antwoorden van de Commissie | 1 |
| 2006/C 302/2 | Advies nr. 6/2006 over een voorstel voor een besluit van het Europees Parlement en de Raad houdende wijziging en verlenging van Besluit nr. 804/2004/EG van het Europees Parlement en de Raad van 21 april 2004 tot vaststelling van een communautair actieprogramma ter bevordering van acties op het gebied van de bescherming van de financiële belangen van de Gemeenschap (Hercules II-programma) | 41 |

Nummer

Inhoud

Bladzijde

I   Mededelingen

Rekenkamer

2006/C 302/1

Speciaal verslag nr. 10/2006 over de evaluaties achteraf van de programma’s voor de doelstellingen 1 en 3 1994-1999 (Structuurfondsen), vergezeld van de antwoorden van de Commissie

1

2006/C 302/2

Advies nr. 6/2006 over een voorstel voor een besluit van het Europees Parlement en de Raad houdende wijziging en verlenging van Besluit nr. 804/2004/EG van het Europees Parlement en de Raad van 21 april 2004 tot vaststelling van een communautair actieprogramma ter bevordering van acties op het gebied van de bescherming van de financiële belangen van de Gemeenschap (Hercules II-programma)

41

| NL | |
| --- | --- |

NL

---

I Mededelingen

Rekenkamer

| 12.12.2006 | NL | Publicatieblad van de Europese Unie | C 302/1 |
| --- | --- | --- | --- |

12.12.2006

NL

Publicatieblad van de Europese Unie

C 302/1

---

SPECIAAL VERSLAG Nr. 10/2006

over de evaluaties achteraf van de programma’s voor de doelstellingen 1 en 3 1994-1999 (Structuurfondsen), vergezeld van de antwoorden van de Commissie

(uitgebracht krachtens artikel 248, lid 4, tweede alinea, van het EG-Verdrag)

(2006/C 302/01)

INHOUD

Gebruikte termen

| I-XI | SAMENVATTING |
| --- | --- |

I-XI

| 1-9 | INLEIDING |
| --- | --- |

1-9

| 6-9 | Kader voor de evaluatie |
| --- | --- |

6-9

| 7-9 | De basisdoelstellingen voor elke evaluatie |
| --- | --- |

7-9

| 10-14 | REIKWIJDTE VAN DE CONTROLE |
| --- | --- |

10-14

| 15-80 | EVALUATIE ACHTERAF VAN DOELSTELLING 1 DOOR DG REGIO |
| --- | --- |

15-80

| 16-66 | De beoordeling door de Rekenkamer van de kwaliteit van de evaluatie |
| --- | --- |

16-66

| 16 | Preliminaire opmerkingen |
| --- | --- |

16

| 17-20 | Ontwikkeling van kwesties waarmee de regio's sinds 1994 te maken hebben |
| --- | --- |

17-20

| 21-28 | Geschiktheid van de gekozen strategieën |
| --- | --- |

21-28

| 29-40 | Evaluatie van de doeltreffendheid |
| --- | --- |

29-40

| 41-44 | Evaluatie van de efficiëntie |
| --- | --- |

41-44

| 45-53 | Evaluatie van het effect van de SF’s |
| --- | --- |

45-53

| 54-66 | Evaluatie van de beheerssystemen |
| --- | --- |

54-66

| 67-75 | Geschiktheid van het kader voor de evaluatie |
| --- | --- |

67-75

| 67-70 | De taakomschrijving |
| --- | --- |

67-70

| 71-75 | Geschiktheid van de supervisie door de Commissie |
| --- | --- |

71-75

| 76-80 | Relevantie van de evaluatieaanbevelingen voor toekomstige programmeringsperioden |
| --- | --- |

76-80

| 81-113 | BEOORDELING ACHTERAF VAN DE BIJSTANDSVERLENING UIT HET ESF (IN HET KADER VAN DE DOELSTELLINGEN 1 EN 3) DOOR DG EMPL |
| --- | --- |

81-113

| 82-113 | Beoordeling door de Rekenkamer van de kwaliteit van de evaluatie |
| --- | --- |

82-113

| 82-87 | Beoordeling van tekortkomingen in de gegevens en in de analyse |
| --- | --- |

82-87

| 88 | Beoordeling van het effect van de ESF-acties |
| --- | --- |

88

| 89 | Evaluatie van het gelijkekansenbeleid |
| --- | --- |

89

| 90-93 | Andere onderzochte aspecten |
| --- | --- |

90-93

| 94-96 | Bespreking van de algemene beoordeling door de Commissie |
| --- | --- |

94-96

| 97-102 | Overige uit de nationale verslagen verkregen inzichten |
| --- | --- |

97-102

| 103-110 | Geschiktheid van het kader voor de evaluatie |
| --- | --- |

103-110

| 111-113 | Aanbevelingen tot besluit van de evaluatie |
| --- | --- |

111-113

| 114-118 | CONCLUSIES |
| --- | --- |

114-118

| 119-125 | AANBEVELINGEN |
| --- | --- |

119-125

BIJLAGEN:

Bijlage I — Opsplitsing van de steun uit de Structuurfondsen

Bijlage II — BNP en werkgelegenheidsgraad

Bijlage III — Toename van het bnp en de Structuurfondsen

Bijlage IV — HERMIN-simulaties en werkloosheid

Antwoorden van de Commissie

GEBRUIKTE TERMEN





  AAMB

| AAMB | Actief arbeidsmarktbeleid |
| --- | --- |
| Aanloopverslag | Rapport over methodologische kwesties, zoals de evaluatiedoelstellingen, het methodologische kader, de vragenlijsten en de organisaties waarmee contact moet worden opgenomen |
| Adapt | Aanpassing van de werknemers aan de gewijzigde omstandigheden in het bedrijfsleven (een communautair initiatief ter bevordering van de werkgelegenheid en de aanpassing van de werknemers aan de gewijzigde omstandigheden in het bedrijfsleven) |
| CB | Communautair bestek |
| Comités van toezicht | Comité dat toeziet op de strategische uitvoering van het financieringsprogramma |
| Deadweight | Veranderingen bij de rechtstreekse begunstigden na de bijstandsverlening, of die de rechtstreekse begunstigden toeschrijven aan de bijstandsverlening, maar die zich ook zonder de bijstandsverlening zouden hebben voorgedaan |
| EFRO | Europees Fonds voor Regionale Ontwikkeling |
| ESF | Europees Sociaal Fonds |
| FIOV | Financieel Instrument voor de Oriëntatie van de Visserij |
| HERMIN-model | Macro-economisch model voor het simuleren van het effect van Structuurfondsacties |
| MBR | Moeilijk te becijferen resultaat |
| MKB | Midden- en kleinbedrijf |
| OTO | Onderzoek en technologische ontwikkeling |
| SF’s | Structuurfondsen |
| Syntheseverslag | Eindverslagen van DG REGIO (over doelstelling 1) en van DG EMPL (over doelstelling 3) over de evaluatie achteraf van de bijstandsverlening uit het EFRO en het ESF |
| Verplaatsingseffect | In een subsidiabel gebied ten nadele van een ander gebied verkregen effect |

Actief arbeidsmarktbeleid

Aanloopverslag

Rapport over methodologische kwesties, zoals de evaluatiedoelstellingen, het methodologische kader, de vragenlijsten en de organisaties waarmee contact moet worden opgenomen

Adapt

Aanpassing van de werknemers aan de gewijzigde omstandigheden in het bedrijfsleven (een communautair initiatief ter bevordering van de werkgelegenheid en de aanpassing van de werknemers aan de gewijzigde omstandigheden in het bedrijfsleven)

CB

Communautair bestek

Comités van toezicht

Comité dat toeziet op de strategische uitvoering van het financieringsprogramma

Deadweight

Veranderingen bij de rechtstreekse begunstigden na de bijstandsverlening, of die de rechtstreekse begunstigden toeschrijven aan de bijstandsverlening, maar die zich ook zonder de bijstandsverlening zouden hebben voorgedaan

EFRO

Europees Fonds voor Regionale Ontwikkeling

ESF

Europees Sociaal Fonds

FIOV

Financieel Instrument voor de Oriëntatie van de Visserij

HERMIN-model

Macro-economisch model voor het simuleren van het effect van Structuurfondsacties

MBR

Moeilijk te becijferen resultaat

MKB

Midden- en kleinbedrijf

OTO

Onderzoek en technologische ontwikkeling

SF’s

Structuurfondsen

Syntheseverslag

Eindverslagen van DG REGIO (over doelstelling 1) en van DG EMPL (over doelstelling 3) over de evaluatie achteraf van de bijstandsverlening uit het EFRO en het ESF

Verplaatsingseffect

In een subsidiabel gebied ten nadele van een ander gebied verkregen effect

SAMENVATTING

| I. | De controle betrof de evaluaties achteraf door de Commissie van de bijstandsverlening uit de Structuurfondsen in de doelstelling 1- en doelstelling 3-regio's gedurende de programmeringsperiode 1994-1999, voor een totaalbedrag van meer dan 245 miljard euro, met inbegrip van gezamenlijke investeringen uit de particuliere en de overheidssector. |
| --- | --- |

I.

De controle betrof de evaluaties achteraf door de Commissie van de bijstandsverlening uit de Structuurfondsen in de doelstelling 1- en doelstelling 3-regio's gedurende de programmeringsperiode 1994-1999, voor een totaalbedrag van meer dan 245 miljard euro, met inbegrip van gezamenlijke investeringen uit de particuliere en de overheidssector.

| II. | Met evaluatie achteraf wordt beoogd, de werkelijke resultaten van de uitgaven te vergelijken met de oorspronkelijke doelstellingen. Met dit mechanisme worden inzichten die zijn verkregen gedurende één programmeringsperiode benut om toekomstige Structuurfondsuitgaven doeltreffender te maken. De evaluaties achteraf werden uitgevoerd door de Commissie en door externe consultants die daartoe werden gecontracteerd. |
| --- | --- |

II.

Met evaluatie achteraf wordt beoogd, de werkelijke resultaten van de uitgaven te vergelijken met de oorspronkelijke doelstellingen. Met dit mechanisme worden inzichten die zijn verkregen gedurende één programmeringsperiode benut om toekomstige Structuurfondsuitgaven doeltreffender te maken. De evaluaties achteraf werden uitgevoerd door de Commissie en door externe consultants die daartoe werden gecontracteerd.

| III. | Met de controle werd beoogd, na te gaan of de Commissie bij de afsluiting van de evaluaties achteraf in staat was het effect te beoordelen van de bijstandsverlening ten opzichte van de doelstellingen en of de resultaten en aanbevelingen nuttig waren geweest voor de herziening van de programma’s vanaf 2000. |
| --- | --- |

III.

Met de controle werd beoogd, na te gaan of de Commissie bij de afsluiting van de evaluaties achteraf in staat was het effect te beoordelen van de bijstandsverlening ten opzichte van de doelstellingen en of de resultaten en aanbevelingen nuttig waren geweest voor de herziening van de programma’s vanaf 2000.

| IV. | Uitgangspunt voor de controle was het definitieve syntheseverslag voor elk fonds. Deze verslagen vatten de algemene beoordeling van het effect van de fondsen samen en bevatten de elementen die relevant zouden moeten zijn voor de besluiten betreffende latere programmeringsperioden. In een volgende fase van de controle werd beoordeeld in hoeverre eventueel geïdentificeerde tekortkomingen konden worden toegeschreven aan gebreken in de taakomschrijvingen of aan problemen gedurende de implementatie van het evaluatieproces. |
| --- | --- |

IV.

Uitgangspunt voor de controle was het definitieve syntheseverslag voor elk fonds. Deze verslagen vatten de algemene beoordeling van het effect van de fondsen samen en bevatten de elementen die relevant zouden moeten zijn voor de besluiten betreffende latere programmeringsperioden. In een volgende fase van de controle werd beoordeeld in hoeverre eventueel geïdentificeerde tekortkomingen konden worden toegeschreven aan gebreken in de taakomschrijvingen of aan problemen gedurende de implementatie van het evaluatieproces.

| V. | De uitgaven van de Structuurfondsen evalueren is een intrinsiek ingewikkeld proces. De controle bracht echter gebreken in het evaluatieproces aan het licht die niet uitsluitend kunnen worden toegeschreven aan de inherente moeilijkheden. |
| --- | --- |

V.

De uitgaven van de Structuurfondsen evalueren is een intrinsiek ingewikkeld proces. De controle bracht echter gebreken in het evaluatieproces aan het licht die niet uitsluitend kunnen worden toegeschreven aan de inherente moeilijkheden.

| VI. | De Rekenkamer identificeerde de volgende gebreken in de evaluatie van de bijstandsverlening uit de Structuurfondsen in de regio's van doelstelling 1:






  — | in de onderliggende gegevens kwamen discrepanties voor; |
| --- | --- | --- |

VI.

De Rekenkamer identificeerde de volgende gebreken in de evaluatie van de bijstandsverlening uit de Structuurfondsen in de regio's van doelstelling 1:

—

in de onderliggende gegevens kwamen discrepanties voor;

| — | de beoordeling van de doeltreffendheid van de Structuurfondsuitgaven was niet degelijk genoeg, onder meer doordat de lidstaten weinig gegevens over output en resultaten hadden vergaard; |
| --- | --- |

—

de beoordeling van de doeltreffendheid van de Structuurfondsuitgaven was niet degelijk genoeg, onder meer doordat de lidstaten weinig gegevens over output en resultaten hadden vergaard;

| — | met de evaluatie is het niet volledig gelukt, de kosten per eenheid van projecten waaraan bijstand uit de Structuurfondsen was verleend te vergelijken; |
| --- | --- |

—

met de evaluatie is het niet volledig gelukt, de kosten per eenheid van projecten waaraan bijstand uit de Structuurfondsen was verleend te vergelijken;

| — | de evaluatie was grotendeels gebaseerd op een macro-economisch model (HERMIN) dat ernstige beperkingen kende; |
| --- | --- |

—

de evaluatie was grotendeels gebaseerd op een macro-economisch model (HERMIN) dat ernstige beperkingen kende;

| VII. | De Rekenkamer constateerde dat de evaluatie van ESF-acties in het kader van de doelstellingen 1 en 3:






  — | gedeeltelijk was gebaseerd op onbetrouwbare of onvolledige gegevens; |
| --- | --- | --- |

VII.

De Rekenkamer constateerde dat de evaluatie van ESF-acties in het kader van de doelstellingen 1 en 3:

—

gedeeltelijk was gebaseerd op onbetrouwbare of onvolledige gegevens;

| — | tot een aantal conclusies leidde die onvoldoende grond vonden in het bewijsmateriaal, hetgeen twijfels doet rijzen over de methoden waarmee ze waren bereikt. |
| --- | --- |

—

tot een aantal conclusies leidde die onvoldoende grond vonden in het bewijsmateriaal, hetgeen twijfels doet rijzen over de methoden waarmee ze waren bereikt.

| VIII. | De Commissie lijkt sommige moeilijkheden met de evaluaties niet te hebben voorzien in de taakomschrijvingen die zij daarvoor had geformuleerd. Ook heeft de Commissie de tekortkomingen in de evaluaties achteraf niet volledig verholpen. De bevindingen van de Rekenkamer wijzen erop dat er gebreken bestonden in het toezicht op de evaluaties. |
| --- | --- |

VIII.

De Commissie lijkt sommige moeilijkheden met de evaluaties niet te hebben voorzien in de taakomschrijvingen die zij daarvoor had geformuleerd. Ook heeft de Commissie de tekortkomingen in de evaluaties achteraf niet volledig verholpen. De bevindingen van de Rekenkamer wijzen erop dat er gebreken bestonden in het toezicht op de evaluaties.

| IX. | Wel verstrekten de evaluaties nuttige inzichten in de beheerssystemen voor de bijstandsverlening uit het EFRO en het ESF. |
| --- | --- |

IX.

Wel verstrekten de evaluaties nuttige inzichten in de beheerssystemen voor de bijstandsverlening uit het EFRO en het ESF.

| X. | Maar hoewel er enige waardevolle en nuttige aanbevelingen voor toekomstige programmeringsperioden werden gedaan, kon de Commissie niet ten volle profiteren van de ervaring die met de programma’s voor 1994-1999 was opgedaan. |
| --- | --- |

X.

Maar hoewel er enige waardevolle en nuttige aanbevelingen voor toekomstige programmeringsperioden werden gedaan, kon de Commissie niet ten volle profiteren van de ervaring die met de programma’s voor 1994-1999 was opgedaan.

| XI. | De Rekenkamer beveelt het volgende aan:






  — | de Commissie moet er bij toekomstige evaluaties voor zorgen dat de beschikbare gegevens en toegewezen middelen zijn afgestemd op de doelstellingen, die realistisch moeten zijn. De taakomschrijvingen moeten daaraan beantwoorden; |
| --- | --- | --- |

XI.

De Rekenkamer beveelt het volgende aan:

—

de Commissie moet er bij toekomstige evaluaties voor zorgen dat de beschikbare gegevens en toegewezen middelen zijn afgestemd op de doelstellingen, die realistisch moeten zijn. De taakomschrijvingen moeten daaraan beantwoorden;

| — | de Commissie moet bijzondere aandacht besteden aan de technieken waarmee het economische effect van de fondsen wordt gemeten. Indien een macro-economisch model wordt gehanteerd, moet dit voldoende zijn toegesneden op de kenmerken van de bestudeerde economieën. Idealiter zou het moeten kunnen worden bijgesteld aan de hand van de microgegevens die op projectniveau worden gegenereerd. |
| --- | --- |

—

de Commissie moet bijzondere aandacht besteden aan de technieken waarmee het economische effect van de fondsen wordt gemeten. Indien een macro-economisch model wordt gehanteerd, moet dit voldoende zijn toegesneden op de kenmerken van de bestudeerde economieën. Idealiter zou het moeten kunnen worden bijgesteld aan de hand van de microgegevens die op projectniveau worden gegenereerd.

| — | er moet voldoende rekening worden gehouden met de verbanden met andere studies over de evaluatie van de Structuurfondsen. |
| --- | --- |

—

er moet voldoende rekening worden gehouden met de verbanden met andere studies over de evaluatie van de Structuurfondsen.

| — | het zou nuttig zijn, een aantal specifieke kwesties in toekomstige evaluaties op te nemen, bijvoorbeeld gegevens over bijdragen uit de particuliere sector, „financial engineering”-maatregelen, het schatten van projectkosten, procedures voor de aanvraag en goedkeuring van projecten en interne evaluaties door nationale of regionale instanties; |
| --- | --- |

—

het zou nuttig zijn, een aantal specifieke kwesties in toekomstige evaluaties op te nemen, bijvoorbeeld gegevens over bijdragen uit de particuliere sector, „financial engineering”-maatregelen, het schatten van projectkosten, procedures voor de aanvraag en goedkeuring van projecten en interne evaluaties door nationale of regionale instanties;

| — | het toezicht van de Commissie op het evaluatieproces moet worden verbeterd, onder meer door samenwerking met onderzoeksinstituten en universiteiten. |
| --- | --- |

—

het toezicht van de Commissie op het evaluatieproces moet worden verbeterd, onder meer door samenwerking met onderzoeksinstituten en universiteiten.

INLEIDING

| 1. | Sinds 1996 ontwikkelt de Commissie een enkele regeling voor de evaluatie van de Structuurfondsen. Zij definieert de term „evaluatie” als het toetsen van acties aan de resultaten, het effect en de behoeften waarop ze zijn gericht
   (1). Hoofddoel van de evaluatie-activiteit is de besluitvorming te ondersteunen door informatie en oordelen te verschaffen over de relevantie, de zuinigheid, de efficiëntie, de doeltreffendheid, het nut en de duurzaamheid van het effect van EU-acties. Zulke informatie is cruciaal voor de verbetering van bestaande of voor het ontwerpen van nieuwe vormen van bijstandsverlening en voor het stellen van politieke prioriteiten en de toewijzing van middelen. |
| --- | --- |

1.

Sinds 1996 ontwikkelt de Commissie een enkele regeling voor de evaluatie van de Structuurfondsen. Zij definieert de term „evaluatie” als het toetsen van acties aan de resultaten, het effect en de behoeften waarop ze zijn gericht
   (1). Hoofddoel van de evaluatie-activiteit is de besluitvorming te ondersteunen door informatie en oordelen te verschaffen over de relevantie, de zuinigheid, de efficiëntie, de doeltreffendheid, het nut en de duurzaamheid van het effect van EU-acties. Zulke informatie is cruciaal voor de verbetering van bestaande of voor het ontwerpen van nieuwe vormen van bijstandsverlening en voor het stellen van politieke prioriteiten en de toewijzing van middelen.

| 2. | Op diverse niveaus en in diverse stadia van de programmeringscyclus (zes jaar) worden evaluaties verricht. De belangrijkste zijn:






  a) | evaluaties vooraf, die worden verricht vóór de uitvoering van een actie om bij te dragen aan een betere opzet en kosteneffectiviteit ervan; |
| --- | --- | --- |

2.

Op diverse niveaus en in diverse stadia van de programmeringscyclus (zes jaar) worden evaluaties verricht. De belangrijkste zijn:

a)

evaluaties vooraf, die worden verricht vóór de uitvoering van een actie om bij te dragen aan een betere opzet en kosteneffectiviteit ervan;

| b) | tussentijdse evaluaties, verricht tijdens de uitvoering ter verbetering van het beheer van de actie; |
| --- | --- |

b)

tussentijdse evaluaties, verricht tijdens de uitvoering ter verbetering van het beheer van de actie;

| c) | evaluaties achteraf, die na de voltooiing van een actie worden verricht om de bereikte resultaten en de daaruit te trekken lering te beoordelen. |
| --- | --- |

c)

evaluaties achteraf, die na de voltooiing van een actie worden verricht om de bereikte resultaten en de daaruit te trekken lering te beoordelen.

| 3. | De controle van de Rekenkamer betrof de evaluaties achteraf die de Commissie heeft verricht in het kader van de bijstandsverlening uit de Structuurfondsen in de regio's van de doelstellingen 1 en 3 gedurende de programmeringsperiode 1994-1999. Ten behoeve van deze controle wordt voor de reikwijdte van de evaluatie achteraf uitgegaan van de definitie in de MEANS-collectie (2): evaluatie achteraf is een recapitulatie en beoordeling van het gehele programma, met name het effect ervan. Ze heeft ten doel, verantwoording af te leggen van de wijze waarop de middelen zijn gebruikt en verslag uit te brengen over de doeltreffendheid en efficiëntie van de acties en de mate waarin het beoogde effect is bereikt. Zij spitst zich toe op de factoren die de actie doen slagen of mislukken en op de duurzaamheid van de resultaten en het effect. Gepoogd wordt, conclusies te trekken die kunnen worden veralgemeend en toegepast op andere programma’s en regio's (3). Tegen deze achtergrond zijn de evaluaties achteraf beoordeeld. |
| --- | --- |

3.

De controle van de Rekenkamer betrof de evaluaties achteraf die de Commissie heeft verricht in het kader van de bijstandsverlening uit de Structuurfondsen in de regio's van de doelstellingen 1 en 3 gedurende de programmeringsperiode 1994-1999. Ten behoeve van deze controle wordt voor de reikwijdte van de evaluatie achteraf uitgegaan van de definitie in de MEANS-collectie (2): evaluatie achteraf is een recapitulatie en beoordeling van het gehele programma, met name het effect ervan. Ze heeft ten doel, verantwoording af te leggen van de wijze waarop de middelen zijn gebruikt en verslag uit te brengen over de doeltreffendheid en efficiëntie van de acties en de mate waarin het beoogde effect is bereikt. Zij spitst zich toe op de factoren die de actie doen slagen of mislukken en op de duurzaamheid van de resultaten en het effect. Gepoogd wordt, conclusies te trekken die kunnen worden veralgemeend en toegepast op andere programma’s en regio's (3). Tegen deze achtergrond zijn de evaluaties achteraf beoordeeld.

| 4. | Het verrichten van evaluaties achteraf maakt deel uit van een „proces” waarbij wordt voortgebouwd op de resultaten van evaluaties vooraf en tussentijdse beoordeling. Voorts worden op verschillende niveaus, zowel per land als per thema, evaluaties verricht waarover een syntheseverslag wordt opgesteld. Samen vormen deze een belangrijk gegeven voor het beheer van de Structuurfondsen en met name voor de programmering en beoordeling van de bijstand van de Gemeenschap. De verantwoordelijkheid voor het evaluatieproces berust bij de Commissie (in partnerschap met de lidstaten). Het is aan de Commissie, te beslissen welke aspecten van de evaluatie intern zullen worden uitgevoerd, en welke zij moet uitbesteden. In beide gevallen berust de algemene en uiteindelijke verantwoordelijkheid bij de Commissie. |
| --- | --- |

4.

Het verrichten van evaluaties achteraf maakt deel uit van een „proces” waarbij wordt voortgebouwd op de resultaten van evaluaties vooraf en tussentijdse beoordeling. Voorts worden op verschillende niveaus, zowel per land als per thema, evaluaties verricht waarover een syntheseverslag wordt opgesteld. Samen vormen deze een belangrijk gegeven voor het beheer van de Structuurfondsen en met name voor de programmering en beoordeling van de bijstand van de Gemeenschap. De verantwoordelijkheid voor het evaluatieproces berust bij de Commissie (in partnerschap met de lidstaten). Het is aan de Commissie, te beslissen welke aspecten van de evaluatie intern zullen worden uitgevoerd, en welke zij moet uitbesteden. In beide gevallen berust de algemene en uiteindelijke verantwoordelijkheid bij de Commissie.

| 5. | Gedurende de periode 1994-1999 beliep de geprogrammeerde steun in het kader van de Structuurfondsen (4) 136,4 miljard euro voor „doelstellingen” en 14,5 miljard euro voor „communautaire initiatieven”. Bijlage I geeft een uitsplitsing van eerstgenoemd bedrag per lidstaat en doelstelling en van laatstgenoemd bedrag per communautair initiatief. Bij deze middelen kwam ten minste nog eens 95 miljard euro aan soortgelijke investeringen uit de particuliere of overheidssector (5), hetgeen de totale investering op meer dan 245 miljard euro brengt. |
| --- | --- |

5.

Gedurende de periode 1994-1999 beliep de geprogrammeerde steun in het kader van de Structuurfondsen (4) 136,4 miljard euro voor „doelstellingen” en 14,5 miljard euro voor „communautaire initiatieven”. Bijlage I geeft een uitsplitsing van eerstgenoemd bedrag per lidstaat en doelstelling en van laatstgenoemd bedrag per communautair initiatief. Bij deze middelen kwam ten minste nog eens 95 miljard euro aan soortgelijke investeringen uit de particuliere of overheidssector (5), hetgeen de totale investering op meer dan 245 miljard euro brengt.

Kader voor de evaluatie

| 6. | De evaluaties achteraf zijn uitgevoerd uit naam en onder leiding van de Commissie. Op basis van een openbare aanbesteding werd voor elke gespecificeerde reeks doelstellingen en communautaire initiatieven een hoofdconsultant geselecteerd. In de meeste gevallen werd de consultant in de afzonderlijke lidstaten ondersteund door een team van evaluatoren (6) die tot taak hadden, de verschillende programma’s aan de nodige evaluaties te onderwerpen op basis van een gemeenschappelijk methodologisch kader. Bovendien werd op het evaluatieproces toegezien door een stuurgroep. Over de evaluaties stelden de nationale evaluatoren per gespecificeerde reeks doelstellingen rapporten per land, en de consultants een syntheseverslag op. Deze rapporten werden voltooid tussen begin 2003 en medio 2004. |
| --- | --- |

6.

De evaluaties achteraf zijn uitgevoerd uit naam en onder leiding van de Commissie. Op basis van een openbare aanbesteding werd voor elke gespecificeerde reeks doelstellingen en communautaire initiatieven een hoofdconsultant geselecteerd. In de meeste gevallen werd de consultant in de afzonderlijke lidstaten ondersteund door een team van evaluatoren (6) die tot taak hadden, de verschillende programma’s aan de nodige evaluaties te onderwerpen op basis van een gemeenschappelijk methodologisch kader. Bovendien werd op het evaluatieproces toegezien door een stuurgroep. Over de evaluaties stelden de nationale evaluatoren per gespecificeerde reeks doelstellingen rapporten per land, en de consultants een syntheseverslag op. Deze rapporten werden voltooid tussen begin 2003 en medio 2004.

De basisdoelstellingen voor elke evaluatie

| 7. | De betrokken DG's opteerden voor een brede aanpak waarin tal van kwesties aan de orde kwamen. De algemene doelstellingen van de evaluaties waren:






  a) | beoordeling van de resultaten en het effect van de acties in de lidstaten ten opzichte van de doelstellingen en het effect op personen en systemen; |
| --- | --- | --- |

7.

De betrokken DG's opteerden voor een brede aanpak waarin tal van kwesties aan de orde kwamen. De algemene doelstellingen van de evaluaties waren:

a)

beoordeling van de resultaten en het effect van de acties in de lidstaten ten opzichte van de doelstellingen en het effect op personen en systemen;

| b) | analyse van het effect en de doeltreffendheid van de communautaire acties betreffende specifieke structurele problemen en, voor zover mogelijk, vaststelling van de meerwaarde van de communautaire bijstand. |
| --- | --- |

b)

analyse van het effect en de doeltreffendheid van de communautaire acties betreffende specifieke structurele problemen en, voor zover mogelijk, vaststelling van de meerwaarde van de communautaire bijstand.

| 8. | Om deze algemene doelstellingen te bereiken werd in de taakomschrijvingen een aantal essentiële kwesties bepaald in verband met de volgende thema’s: geschiktheid van de strategie, doeltreffendheid, efficiëntie, effect, beheers- en implementatiesystemen, communautaire meerwaarde en uit huidige en toekomstige programmering te trekken lering. Ter structurering van de werkzaamheden werd in de taakomschrijvingen ook een aantal specifieke taken en een aantal informatietechnieken en -bronnen vastgelegd. |
| --- | --- |

8.

Om deze algemene doelstellingen te bereiken werd in de taakomschrijvingen een aantal essentiële kwesties bepaald in verband met de volgende thema’s: geschiktheid van de strategie, doeltreffendheid, efficiëntie, effect, beheers- en implementatiesystemen, communautaire meerwaarde en uit huidige en toekomstige programmering te trekken lering. Ter structurering van de werkzaamheden werd in de taakomschrijvingen ook een aantal specifieke taken en een aantal informatietechnieken en -bronnen vastgelegd.

| 9. | De taakomschrijving voor elke doelstelling, zoals opgesteld door de Commissie, verschafte aldus de basis voor de werkzaamheden van de evaluatoren. Deze werden in januari 2002 aangevuld met het aanloopverslag en de methodologische gids voor doelstelling 1. Bij de acties van het ESF werden ze in december 2002 aangevuld met het methodologisch voortgangsverslag en de evaluatiekwesties die waren opgenomen in elk nationaal evaluatieverslag. Daartoe gingen de evaluatoren uit van studies van de literatuur, vragenlijsten, gesprekken met betrokkenen, de analyse van gevalstudies en zo nodig ander veldonderzoek. |
| --- | --- |

9.

De taakomschrijving voor elke doelstelling, zoals opgesteld door de Commissie, verschafte aldus de basis voor de werkzaamheden van de evaluatoren. Deze werden in januari 2002 aangevuld met het aanloopverslag en de methodologische gids voor doelstelling 1. Bij de acties van het ESF werden ze in december 2002 aangevuld met het methodologisch voortgangsverslag en de evaluatiekwesties die waren opgenomen in elk nationaal evaluatieverslag. Daartoe gingen de evaluatoren uit van studies van de literatuur, vragenlijsten, gesprekken met betrokkenen, de analyse van gevalstudies en zo nodig ander veldonderzoek.

REIKWIJDTE VAN DE CONTROLE

| 10. | Met de controle werd in het algemeen beoogd, te onderzoeken of de evaluaties de Commissie toereikende informatie verschaften om het effect van de bijstandsverlening in vergelijking met de doelstellingen te ramen, en of de resultaten en aanbevelingen nuttig zijn geweest voor de herziening van de programma’s voor latere programmeringsperioden. |
| --- | --- |

10.

Met de controle werd in het algemeen beoogd, te onderzoeken of de evaluaties de Commissie toereikende informatie verschaften om het effect van de bijstandsverlening in vergelijking met de doelstellingen te ramen, en of de resultaten en aanbevelingen nuttig zijn geweest voor de herziening van de programma’s voor latere programmeringsperioden.

| 11. | De controle was toegespitst op de evaluaties achteraf van de EFRO-bijstand in het kader van doelstelling 1, en de ESF-bijstand in het kader van de doelstellingen 1 en 3, die werd verleend door respectievelijk het directoraat-generaal Regionaal beleid (DG REGIO) en het directoraat-generaal Werkgelegenheid, sociale zaken en gelijke kansen (DG EMPL). De desbetreffende syntheseverslagen en een steekproef van nationale evaluaties werden onderzocht ten aanzien van deze geselecteerde doelstellingen en instrumenten (7) die samen goed waren voor 124 miljard euro, ofwel 82 % van de totale geplande steun in het kader van de Structuurfondsen voor de programmeringsperiode 1994-1999 (8). |
| --- | --- |

11.

De controle was toegespitst op de evaluaties achteraf van de EFRO-bijstand in het kader van doelstelling 1, en de ESF-bijstand in het kader van de doelstellingen 1 en 3, die werd verleend door respectievelijk het directoraat-generaal Regionaal beleid (DG REGIO) en het directoraat-generaal Werkgelegenheid, sociale zaken en gelijke kansen (DG EMPL). De desbetreffende syntheseverslagen en een steekproef van nationale evaluaties werden onderzocht ten aanzien van deze geselecteerde doelstellingen en instrumenten (7) die samen goed waren voor 124 miljard euro, ofwel 82 % van de totale geplande steun in het kader van de Structuurfondsen voor de programmeringsperiode 1994-1999 (8).

| 12. | Bij elke evaluatie trachtten de controleurs drie vragen te beantwoorden:






  a) | Was de evaluatie van goede kwaliteit? |
| --- | --- | --- |

12.

Bij elke evaluatie trachtten de controleurs drie vragen te beantwoorden:

a)

Was de evaluatie van goede kwaliteit?

| b) | In hoeverre waren de geconstateerde gebreken te wijten aan gebreken in de regels voor en de supervisie van de evaluatie? |
| --- | --- |

b)

In hoeverre waren de geconstateerde gebreken te wijten aan gebreken in de regels voor en de supervisie van de evaluatie?

| c) | Waren de daaruit voortvloeiende aanbevelingen gegrond, nuttig en geschikt voor inachtneming in de volgende programmeringsperioden? |
| --- | --- |

c)

Waren de daaruit voortvloeiende aanbevelingen gegrond, nuttig en geschikt voor inachtneming in de volgende programmeringsperioden?

| 13. | Met name werden in de controle de kwaliteit en volledigheid van de verslagen beoordeeld ten aanzien van de evaluatie van de geschiktheid van de beleidslijnen en de doeltreffendheid, de efficiëntie en het effect van de maatregelen. Ook werd beoordeeld hoe de maatregelen de beheerssystemen beïnvloedden, en in hoeverre de Commissie bij de voorbereiding, het toezicht en de supervisie van de evaluaties de juiste rol speelde. |
| --- | --- |

13.

Met name werden in de controle de kwaliteit en volledigheid van de verslagen beoordeeld ten aanzien van de evaluatie van de geschiktheid van de beleidslijnen en de doeltreffendheid, de efficiëntie en het effect van de maatregelen. Ook werd beoordeeld hoe de maatregelen de beheerssystemen beïnvloedden, en in hoeverre de Commissie bij de voorbereiding, het toezicht en de supervisie van de evaluaties de juiste rol speelde.

| 14. | Het eerste deel van dit verslag is gewijd aan de evaluatie achteraf van de EFRO-bijstandsverlening in regio's van doelstelling 1 (zie de paragrafen 15-80), terwijl het tweede deel de evaluatie achteraf van ESF-acties in het kader van de doelstellingen 1 en 3 behandelt (zie de paragrafen 81-113). |
| --- | --- |

14.

Het eerste deel van dit verslag is gewijd aan de evaluatie achteraf van de EFRO-bijstandsverlening in regio's van doelstelling 1 (zie de paragrafen 15-80), terwijl het tweede deel de evaluatie achteraf van ESF-acties in het kader van de doelstellingen 1 en 3 behandelt (zie de paragrafen 81-113).

EVALUATIE ACHTERAF VAN DOELSTELLING 1 DOOR DG REGIO

| 15. | Alvorens de gedetailleerde beoordeling van de kwaliteit van de evaluatie ter hand te nemen, is het dienstig hieronder (in tekstvak 1) een kort overzicht te geven van de conclusies van de evaluatie van de Commissie.

  Tekstvak 1De algemene conclusies van de evaluatie door DG REGIOIn het syntheseverslag werd erkend dat de Structuurfondsen een positief effect hebben gehad op het bnp van doelstelling 1-regio's en dat de algemene prestaties ervan, in vergelijking met de EU als geheel, verbeterd zijn. Geconcludeerd werd dat de mate waarin het effect gunstig was sterk afhing van zowel de institutionele capaciteiten als factoren zoals de structuur en openheid van de economie, en dat deze aspecten duidelijk van cruciaal belang zijn, in het bijzonder voor de capaciteit van de economie om de uitdagingen aan te gaan en de kansen waar te nemen van het proces van economische integratie. Opgemerkt werd echter dat het wegens de verschillen tussen landen en contexten en wegens de beperkingen van de beschikbare toezichtgegevens en het gebrek aan duidelijk omschreven doelstellingen niet mogelijk was, om uit de resultaten een betrouwbaar beeld van de algemene realisaties van doelstelling 1 samen te stellen.Als algemene beoordeling van de geschiktheid van de gehanteerde strategieën concludeert het verslag dat de strategische aanpak van doelstelling 1 die in 1994 werd gekozen in elk van de lidstaten als grotendeels adequaat moet worden beschouwd. In het verslag was de voornaamste kritiek op de strategieën dat ze niet veel meer vormden dan de som van hun onderdelen. Terwijl elk ervan een adequate reactie vormde op de geconstateerde behoeften op bepaalde gebieden waren er minder aanwijzingen over de vraag hoe deze verschillende elementen bijdroegen tot een overkoepelende ontwikkelingsstrategie.Ten aanzien van de doeltreffendheid werd in het verslag aangestipt dat de analyse wegens tekortkomingen in de beschikbare gegevens in hoge mate bestond uit beschrijvende oordelen en niet uit gekwantificeerde vergelijkingen van de resultaten met de doelstellingen. Het algemene commentaar in het verslag luidt dat veel van de kennelijk meest doeltreffende acties grotendeels een mainstream-karakter vertonen. De financiering tendeerde grotendeels tot het versterken van bestaande patronen van activiteit in verband met economische ontwikkeling in plaats van een basis te bieden voor de ontwikkeling van nieuwe activiteiten met het oog op de gekozen doelstellingen of ter stimulering van meer innovatieve benaderingen.Ten aanzien van het effect werd in het verslag bij de beoordeling van het effect van de Structuurfondsen op de economische en sociale cohesie voor de meeste regio's uitgegaan van macro-modellen. Erkend werd dat de gebleken resultaten onvermijdelijk in zekere mate voortvloeien uit veronderstellingen die in de modellen zijn ingebouwd. Volgens het verslag vormde de omvang van het effect veelal een afspiegeling van de relatieve betekenis en de toewijzing van de CB-middelen, en van factoren zoals de aanvankelijk gekozen factoren economische structuren, concurrentieniveaus en de mate van „openheid” van de betrokken economie. Het verslag bevatte algemene conclusies over het effect van de Structuurfondsen in vergelijking met andere externe factoren. Aangestipt werd dat weliswaar veel banen zijn gecreëerd, maar dat er waarschijnlijk ook veel deadweight en verplaatsingseffect is geweest.Het syntheseverslag omvatte ook een reeks opmerkingen betreffende het beheer en de uitvoering. De algemene conclusie betreffende deze aspecten luidde dat de regelingen voor het beheer en de uitvoering weliswaar vaak werden gekenmerkt door gebreken, maar doorgaans adequaat waren, en dat er aanzienlijke voordelen waren bereikt via de partnerschapsaanpak. De besluitvormingsstructuren gaven gewoonlijk geen duidelijke richting aan de strategie. Maar via de programmeringsaanpak en de ontwikkeling van beheerscapaciteit en -praktijken voor de overheidssector waren grote voordelen in de zin van een grotere „toegevoegde waarde” bereikt. |
| --- | --- |

15.

Alvorens de gedetailleerde beoordeling van de kwaliteit van de evaluatie ter hand te nemen, is het dienstig hieronder (in tekstvak 1) een kort overzicht te geven van de conclusies van de evaluatie van de Commissie.

Tekstvak 1De algemene conclusies van de evaluatie door DG REGIOIn het syntheseverslag werd erkend dat de Structuurfondsen een positief effect hebben gehad op het bnp van doelstelling 1-regio's en dat de algemene prestaties ervan, in vergelijking met de EU als geheel, verbeterd zijn. Geconcludeerd werd dat de mate waarin het effect gunstig was sterk afhing van zowel de institutionele capaciteiten als factoren zoals de structuur en openheid van de economie, en dat deze aspecten duidelijk van cruciaal belang zijn, in het bijzonder voor de capaciteit van de economie om de uitdagingen aan te gaan en de kansen waar te nemen van het proces van economische integratie. Opgemerkt werd echter dat het wegens de verschillen tussen landen en contexten en wegens de beperkingen van de beschikbare toezichtgegevens en het gebrek aan duidelijk omschreven doelstellingen niet mogelijk was, om uit de resultaten een betrouwbaar beeld van de algemene realisaties van doelstelling 1 samen te stellen.Als algemene beoordeling van de geschiktheid van de gehanteerde strategieën concludeert het verslag dat de strategische aanpak van doelstelling 1 die in 1994 werd gekozen in elk van de lidstaten als grotendeels adequaat moet worden beschouwd. In het verslag was de voornaamste kritiek op de strategieën dat ze niet veel meer vormden dan de som van hun onderdelen. Terwijl elk ervan een adequate reactie vormde op de geconstateerde behoeften op bepaalde gebieden waren er minder aanwijzingen over de vraag hoe deze verschillende elementen bijdroegen tot een overkoepelende ontwikkelingsstrategie.Ten aanzien van de doeltreffendheid werd in het verslag aangestipt dat de analyse wegens tekortkomingen in de beschikbare gegevens in hoge mate bestond uit beschrijvende oordelen en niet uit gekwantificeerde vergelijkingen van de resultaten met de doelstellingen. Het algemene commentaar in het verslag luidt dat veel van de kennelijk meest doeltreffende acties grotendeels een mainstream-karakter vertonen. De financiering tendeerde grotendeels tot het versterken van bestaande patronen van activiteit in verband met economische ontwikkeling in plaats van een basis te bieden voor de ontwikkeling van nieuwe activiteiten met het oog op de gekozen doelstellingen of ter stimulering van meer innovatieve benaderingen.Ten aanzien van het effect werd in het verslag bij de beoordeling van het effect van de Structuurfondsen op de economische en sociale cohesie voor de meeste regio's uitgegaan van macro-modellen. Erkend werd dat de gebleken resultaten onvermijdelijk in zekere mate voortvloeien uit veronderstellingen die in de modellen zijn ingebouwd. Volgens het verslag vormde de omvang van het effect veelal een afspiegeling van de relatieve betekenis en de toewijzing van de CB-middelen, en van factoren zoals de aanvankelijk gekozen factoren economische structuren, concurrentieniveaus en de mate van „openheid” van de betrokken economie. Het verslag bevatte algemene conclusies over het effect van de Structuurfondsen in vergelijking met andere externe factoren. Aangestipt werd dat weliswaar veel banen zijn gecreëerd, maar dat er waarschijnlijk ook veel deadweight en verplaatsingseffect is geweest.Het syntheseverslag omvatte ook een reeks opmerkingen betreffende het beheer en de uitvoering. De algemene conclusie betreffende deze aspecten luidde dat de regelingen voor het beheer en de uitvoering weliswaar vaak werden gekenmerkt door gebreken, maar doorgaans adequaat waren, en dat er aanzienlijke voordelen waren bereikt via de partnerschapsaanpak. De besluitvormingsstructuren gaven gewoonlijk geen duidelijke richting aan de strategie. Maar via de programmeringsaanpak en de ontwikkeling van beheerscapaciteit en -praktijken voor de overheidssector waren grote voordelen in de zin van een grotere „toegevoegde waarde” bereikt.

De beoordeling door de Rekenkamer van de kwaliteit van de evaluatie

Preliminaire opmerkingen

| 16. | Bedacht dient te worden dat de gekozen ruime aanpak een aantal intrinsieke knelpunten vertoonde, met name: beperkingen qua tijd, een beperkt aantal gekwantificeerde doelstellingen en een gebrek aan gedetailleerde resultaat/effectindicatoren. Voorts was het effect dat rechtstreeks kan worden toegeschreven aan de programma’s en daarmee samenhangende maatregelen vaak moeilijk af te zonderen, aangezien de doelregio's vaak profiteerden van andere acties die bijdragen tot de verwezenlijking van soortgelijke doelstellingen. Het was ook moeilijk het indirecte effect van de uitgaven uit de Structuurfondsen te bepalen en te meten. De Rekenkamer is echter van mening dat sommige gebreken in het evaluatieproces niet uitsluitend kunnen worden toegeschreven aan inherente knelpunten, maar te wijten waren aan gebreken in het evaluatieproces die moeten worden aangepakt, met name vóór de beoordeling achteraf van de programmeringsperiode 2000-2006. |
| --- | --- |

16.

Bedacht dient te worden dat de gekozen ruime aanpak een aantal intrinsieke knelpunten vertoonde, met name: beperkingen qua tijd, een beperkt aantal gekwantificeerde doelstellingen en een gebrek aan gedetailleerde resultaat/effectindicatoren. Voorts was het effect dat rechtstreeks kan worden toegeschreven aan de programma’s en daarmee samenhangende maatregelen vaak moeilijk af te zonderen, aangezien de doelregio's vaak profiteerden van andere acties die bijdragen tot de verwezenlijking van soortgelijke doelstellingen. Het was ook moeilijk het indirecte effect van de uitgaven uit de Structuurfondsen te bepalen en te meten. De Rekenkamer is echter van mening dat sommige gebreken in het evaluatieproces niet uitsluitend kunnen worden toegeschreven aan inherente knelpunten, maar te wijten waren aan gebreken in het evaluatieproces die moeten worden aangepakt, met name vóór de beoordeling achteraf van de programmeringsperiode 2000-2006.

Ontwikkeling van kwesties waarmee de regio's sinds 1994 te maken hebben

| 17. | Het syntheseverslag begint met een korte analyse van de ontwikkelingen in het bnp per hoofd van de bevolking, alsmede werkloosheids- en werkgelegenheidspercentages in de diverse betrokken regio's (9). Het verslag komt tot de bevinding dat de gestegen bnp-niveaus per hoofd gewoonlijk niet het gevolg zijn van toegenomen werkgelegenheid ten gevolge van gecreëerde arbeidsplaatsen (10). Een dergelijke conclusie zou belangrijk kunnen zijn voor beleidsmakers. Zij suggereert dat de voornaamste doelstelling van het cohesiebeleid, namelijk het dichten van de bnp-kloof, verre van bereikt is door de verbetering van de arbeidsparticipatie (11). Deze conclusie is voor de Structuurfondsen van groot belang. |
| --- | --- |

17.

Het syntheseverslag begint met een korte analyse van de ontwikkelingen in het bnp per hoofd van de bevolking, alsmede werkloosheids- en werkgelegenheidspercentages in de diverse betrokken regio's (9). Het verslag komt tot de bevinding dat de gestegen bnp-niveaus per hoofd gewoonlijk niet het gevolg zijn van toegenomen werkgelegenheid ten gevolge van gecreëerde arbeidsplaatsen (10). Een dergelijke conclusie zou belangrijk kunnen zijn voor beleidsmakers. Zij suggereert dat de voornaamste doelstelling van het cohesiebeleid, namelijk het dichten van de bnp-kloof, verre van bereikt is door de verbetering van de arbeidsparticipatie (11). Deze conclusie is voor de Structuurfondsen van groot belang.

| 18. | Op basis van de informatie in het syntheseverslag kan moeilijk worden beoordeeld wat de hierboven geciteerde verklaring waard is. Er zijn veel regio's waar het bnp per hoofd is gestegen, evenals de arbeidsparticipatie. Er zijn echter enige regio's waar ofwel het bnp per hoofd, ofwel de participatiegraad gedaald of slechts marginaal gestegen is. De Rekenkamer heeft getracht, de in paragraaf 17 geciteerde bewering te verifiëren door statistische technieken toe te passen op de in het syntheseverslag gepubliceerde gegevens. De technische details van deze analyse worden in bijlage II gegeven. Hieronder volgen in het kort de voornaamste punten. |
| --- | --- |

18.

Op basis van de informatie in het syntheseverslag kan moeilijk worden beoordeeld wat de hierboven geciteerde verklaring waard is. Er zijn veel regio's waar het bnp per hoofd is gestegen, evenals de arbeidsparticipatie. Er zijn echter enige regio's waar ofwel het bnp per hoofd, ofwel de participatiegraad gedaald of slechts marginaal gestegen is. De Rekenkamer heeft getracht, de in paragraaf 17 geciteerde bewering te verifiëren door statistische technieken toe te passen op de in het syntheseverslag gepubliceerde gegevens. De technische details van deze analyse worden in bijlage II gegeven. Hieronder volgen in het kort de voornaamste punten.

| 19. | De verkregen resultaten wijzen erop dat de veranderingen in de werkgelegenheid een statistisch significant effect op het werkelijke bnp per hoofd hebben gehad. Met name ging een stijging van de werkgelegenheid met een percentpunt gedurende de referentieperiode gepaard met een stijging van het bnp per hoofd met 0,24 percentpunten. Dit resultaat komt niet overeen met de hiervoor geciteerde conclusie van het syntheseverslag. Het suggereert ook dat het in feite wel mogelijk zou zijn om de bnp-kloof te dempen door de arbeidsparticipatie te verbeteren — uit beleidsoogpunt een relevant resultaat. |
| --- | --- |

19.

De verkregen resultaten wijzen erop dat de veranderingen in de werkgelegenheid een statistisch significant effect op het werkelijke bnp per hoofd hebben gehad. Met name ging een stijging van de werkgelegenheid met een percentpunt gedurende de referentieperiode gepaard met een stijging van het bnp per hoofd met 0,24 percentpunten. Dit resultaat komt niet overeen met de hiervoor geciteerde conclusie van het syntheseverslag. Het suggereert ook dat het in feite wel mogelijk zou zijn om de bnp-kloof te dempen door de arbeidsparticipatie te verbeteren — uit beleidsoogpunt een relevant resultaat.

| 20. | Om verder na te gaan hoe steekhoudend bovengenoemd resultaat is, voerde de Rekenkamer een identieke analyse uit bij 145 regio's waarvoor constante gegevens beschikbaar waren (dat wil zeggen niet uitsluitend doelstelling 1-regio's). De ook in bijlage II gegeven resultaten geven overal in de Unie een zeer uniform beeld te zien. Daaruit blijkt dat de uit de basisgegevens verkregen informatie niet voldoende was geanalyseerd en dat er een belangrijk verband bestaat tussen stijgingen in het bnp en stijgingen in de werkgelegenheidsgraad, waarop in het syntheseverslag niet is gewezen. |
| --- | --- |

20.

Om verder na te gaan hoe steekhoudend bovengenoemd resultaat is, voerde de Rekenkamer een identieke analyse uit bij 145 regio's waarvoor constante gegevens beschikbaar waren (dat wil zeggen niet uitsluitend doelstelling 1-regio's). De ook in bijlage II gegeven resultaten geven overal in de Unie een zeer uniform beeld te zien. Daaruit blijkt dat de uit de basisgegevens verkregen informatie niet voldoende was geanalyseerd en dat er een belangrijk verband bestaat tussen stijgingen in het bnp en stijgingen in de werkgelegenheidsgraad, waarop in het syntheseverslag niet is gewezen.

Geschiktheid van de gekozen strategieën

| 21. | Het tweede hoofdstuk van het syntheseverslag behandelt de geschiktheid van de gekozen strategieën wat betreft het geografisch en programma-evenwicht, alsook het evenwicht tussen de fondsen. De geplande en werkelijke uitgaven voor de programma’s (12) van de Structuurfondsen worden geanalyseerd per lidstaat en per soort fonds, maar niet per relevante regio — in tegenstelling met wat is gedaan in het verslag over bnp per hoofd en werkgelegenheids- en werkloosheidsgraden in de diverse doelstelling 1-regio's. Zoals wordt opgemerkt in het verslag zelf, dat de resultaten bevat van een regressieanalyse waarin wordt gepoogd, de EU-middelen per hoofd en per lidstaat te relateren aan het bnp per hoofd van de bevolking, beperkt dit de analysemogelijkheden (13). Bijgevolg zijn de in het verslag opgenomen resultaten statistisch niet significant en dus van geringe waarde. |
| --- | --- |

21.

Het tweede hoofdstuk van het syntheseverslag behandelt de geschiktheid van de gekozen strategieën wat betreft het geografisch en programma-evenwicht, alsook het evenwicht tussen de fondsen. De geplande en werkelijke uitgaven voor de programma’s (12) van de Structuurfondsen worden geanalyseerd per lidstaat en per soort fonds, maar niet per relevante regio — in tegenstelling met wat is gedaan in het verslag over bnp per hoofd en werkgelegenheids- en werkloosheidsgraden in de diverse doelstelling 1-regio's. Zoals wordt opgemerkt in het verslag zelf, dat de resultaten bevat van een regressieanalyse waarin wordt gepoogd, de EU-middelen per hoofd en per lidstaat te relateren aan het bnp per hoofd van de bevolking, beperkt dit de analysemogelijkheden (13). Bijgevolg zijn de in het verslag opgenomen resultaten statistisch niet significant en dus van geringe waarde.

| 22. | De Rekenkamer paste op dezelfde gegevens als in het verslag echter enigszins andere statistische technieken toe. De technische details van deze analyse worden in bijlage III gegeven. Hieronder volgen in het kort de voornaamste punten. |
| --- | --- |

22.

De Rekenkamer paste op dezelfde gegevens als in het verslag echter enigszins andere statistische technieken toe. De technische details van deze analyse worden in bijlage III gegeven. Hieronder volgen in het kort de voornaamste punten.

| 23. | De verkregen resultaten onderbouwen de voor de hand liggende conclusie dat in de lidstaten de toename van het bnp per hoofd van de bevolking hoger is naarmate de EU meer middelen per hoofd verstrekt. Dit resultaat wijst uit dat men met een ruimere aanpak tot relevante constateringen kan komen, zelfs op basis van het nodeloos beperkte gegevensbestand dat bij het onderzoek van deze belangrijke kwestie is gehanteerd. |
| --- | --- |

23.

De verkregen resultaten onderbouwen de voor de hand liggende conclusie dat in de lidstaten de toename van het bnp per hoofd van de bevolking hoger is naarmate de EU meer middelen per hoofd verstrekt. Dit resultaat wijst uit dat men met een ruimere aanpak tot relevante constateringen kan komen, zelfs op basis van het nodeloos beperkte gegevensbestand dat bij het onderzoek van deze belangrijke kwestie is gehanteerd.

| 24. | In de evaluatie die in deze afdeling van het syntheseverslag voorkomt staan een vergelijking van de diverse categorieën geplande uitgaven in 1994 en de geraamde werkelijke uitgaven in 1999 centraal. In de verstrekte gegevens komt echter een aantal ernstige fouten of discrepanties voor waardoor de geldigheid van de mogelijke conclusies wordt beperkt. Met name verschilt bij vijf lidstaten het cijfer voor werkelijke uitgaven in de kolom „totaal” (in de desbetreffende tabel van het syntheseverslag) van de som van de cijfers in de afzonderlijke kolommen voor uitgaven in respectievelijk de EU-, de overheids- en de particuliere sector (zoals die in dezelfde tabel voorkomen). Deze discrepanties worden samengevat in tabel 1. Het discrepantiepercentage, dat te zien is in de laatste kolom van deze tabel, is significant en wijst op een ontoereikende kwaliteitscontrole bij de formulering van de inhoud van het verslag en de resultaten. |
| --- | --- |

24.

In de evaluatie die in deze afdeling van het syntheseverslag voorkomt staan een vergelijking van de diverse categorieën geplande uitgaven in 1994 en de geraamde werkelijke uitgaven in 1999 centraal. In de verstrekte gegevens komt echter een aantal ernstige fouten of discrepanties voor waardoor de geldigheid van de mogelijke conclusies wordt beperkt. Met name verschilt bij vijf lidstaten het cijfer voor werkelijke uitgaven in de kolom „totaal” (in de desbetreffende tabel van het syntheseverslag) van de som van de cijfers in de afzonderlijke kolommen voor uitgaven in respectievelijk de EU-, de overheids- en de particuliere sector (zoals die in dezelfde tabel voorkomen). Deze discrepanties worden samengevat in tabel 1. Het discrepantiepercentage, dat te zien is in de laatste kolom van deze tabel, is significant en wijst op een ontoereikende kwaliteitscontrole bij de formulering van de inhoud van het verslag en de resultaten.

| 25. | Ondanks deze discrepanties kunnen na omrekening van de gegevens per hoofd van de bevolking (14) een aantal nuttige constateringen worden gedaan die in sommige opzichten afwijken van de conclusies van het syntheseverslag. Tabel 2 geeft de werkelijke uitgaven per hoofd, gerangschikt van hoog tot laag voor elke categorie. |
| --- | --- |

25.

Ondanks deze discrepanties kunnen na omrekening van de gegevens per hoofd van de bevolking (14) een aantal nuttige constateringen worden gedaan die in sommige opzichten afwijken van de conclusies van het syntheseverslag. Tabel 2 geeft de werkelijke uitgaven per hoofd, gerangschikt van hoog tot laag voor elke categorie.

Tabel 1

Samenvatting van de in paragraaf 24 vermelde discrepanties

| | Som van de kolommen (15) | Gepubliceerd totaal (15) | Verschil (15) | Discrepantiepercentage |
| --- | --- | --- | --- | --- |
| Duitsland | 41 015 | 48 243 | 7 228 | –15 |
| Italië | 34 804 | 30 547 | –4 257 | 14 |
| Verenigd Koninkrijk | 3 961 | 4 803 | 842 | –18 |
| Frankrijk | 3 339 | 4 019 | 680 | –17 |
| Oostenrijk | 1 116 | 1 040 | –76 | 7 |

Som van de kolommen (15)

Gepubliceerd totaal (15)

Verschil (15)

Discrepantiepercentage

Duitsland

41 015

48 243

7 228

–15

Italië

34 804

30 547

–4 257

14

Verenigd Koninkrijk

3 961

4 803

842

–18

Frankrijk

3 339

4 019

680

–17

Oostenrijk

1 116

1 040

–76

7

Tabel 2

Werkelijke uitgaven (16)

| Totaal werkelijk/per hoofd | Uitgaven EU per hoofd | Overheid werkelijk/per hoofd | Particulier werkelijk/per hoofd |
| --- | --- | --- | --- |
| Oostenrijk | 3 866 | Ierland | 1 653 | Nederland | 1 822 | Oostenrijk | 2 458 |
| Nederland | 3 438 | Griekenland | 1 580 | Oostenrijk | 1 033 | Duitsland | 1 299 |
| Duitsland | 2 933 | Portugal | 1 403 | Griekenland | 739 | Nederland | 1 039 |
| Ierland | 2 926 | Spanje | 1 143 | Ierland | 703 | België | 705 |
| Griekenland | 2 716 | Duitsland | 884 | Portugal | 621 | Ierland | 570 |
| Portugal | 2 472 | Oostenrijk | 657 | Spanje | 582 | Portugal | 448 |
| Spanje | 1 725 | Italië | 652 | Frankrijk | 485 | Griekenland | 396 |
| België | 1 587 | Frankrijk | 621 | België | 456 | Frankrijk | 205 |
| Frankrijk | 1 579 | Verenigd Koninkrijk | 605 | Verenigd Koninkrijk | 381 | Verenigd Koninkrijk | 174 |
| Italië | 1 445 | Nederland | 578 | Duitsland | 311 | Spanje | n.v.t. |
| Verenigd Koninkrijk | 1 407 | België | 427 | Italië | n.v.t. | Italië | n.v.t. |
| Gemiddeld per hoofd | 2 104 | | 1 033 | | 419 | | 377 |

Totaal werkelijk/per hoofd

Uitgaven EU per hoofd

Overheid werkelijk/per hoofd

Particulier werkelijk/per hoofd

Oostenrijk

3 866

Ierland

1 653

Nederland

1 822

Oostenrijk

2 458

Nederland

3 438

Griekenland

1 580

Oostenrijk

1 033

Duitsland

1 299

Duitsland

2 933

Portugal

1 403

Griekenland

739

Nederland

1 039

Ierland

2 926

Spanje

1 143

Ierland

703

België

705

Griekenland

2 716

Duitsland

884

Portugal

621

Ierland

570

Portugal

2 472

Oostenrijk

657

Spanje

582

Portugal

448

Spanje

1 725

Italië

652

Frankrijk

485

Griekenland

396

België

1 587

Frankrijk

621

België

456

Frankrijk

205

Frankrijk

1 579

Verenigd Koninkrijk

605

Verenigd Koninkrijk

381

Verenigd Koninkrijk

174

Italië

1 445

Nederland

578

Duitsland

311

Spanje

n.v.t.

Verenigd Koninkrijk

1 407

België

427

Italië

n.v.t.

Italië

n.v.t.

Gemiddeld per hoofd

2 104

1 033

419

377

| 26. | Uit de tabel blijkt dat het totaal van de werkelijke bedragen gemiddeld 2 104 euro per persoon bedroeg. De Structuurfondsen van de EU droegen daarin voor ongeveer de helft bij, terwijl drie van de vier cohesielidstaten ongeveer 50 % meer beheerden dan het gemiddelde van 1 033 euro per persoon. Van bijzonder belang is de bijdrage van de particuliere sector, met name in het licht van de nadruk op langetermijneffecten wat de voorziening betreft op de regio's. Sommige doelstelling 1-regio's in de lidstaten, zoals Oostenrijk, Duitsland en Nederland, blijken er bijzonder goed in te zijn geslaagd, particuliere investeringen te combineren met de Structuurfondsen, waarbij zij de gemiddelde bijdrage uit de Structuurfondsen van de EU — in het geval van Duitsland en Oostenrijk zelfs aanzienlijk — overtroffen. |
| --- | --- |

26.

Uit de tabel blijkt dat het totaal van de werkelijke bedragen gemiddeld 2 104 euro per persoon bedroeg. De Structuurfondsen van de EU droegen daarin voor ongeveer de helft bij, terwijl drie van de vier cohesielidstaten ongeveer 50 % meer beheerden dan het gemiddelde van 1 033 euro per persoon. Van bijzonder belang is de bijdrage van de particuliere sector, met name in het licht van de nadruk op langetermijneffecten wat de voorziening betreft op de regio's. Sommige doelstelling 1-regio's in de lidstaten, zoals Oostenrijk, Duitsland en Nederland, blijken er bijzonder goed in te zijn geslaagd, particuliere investeringen te combineren met de Structuurfondsen, waarbij zij de gemiddelde bijdrage uit de Structuurfondsen van de EU — in het geval van Duitsland en Oostenrijk zelfs aanzienlijk — overtroffen.

| 27. | De factoren die bijdragen tot een hogere participatie door de particuliere sector blijven in het verslag echter buiten beschouwing. Resulteerde die bijvoorbeeld uit de aard van de gekozen projecten, de vaardigheden van de beschikbare arbeidskrachten of uit een ander soort bijstand die uit de fondsen aan de particuliere sector werd verleend? Volgens de Rekenkamer verdienden deze aspecten nader onderzoek. |
| --- | --- |

27.

De factoren die bijdragen tot een hogere participatie door de particuliere sector blijven in het verslag echter buiten beschouwing. Resulteerde die bijvoorbeeld uit de aard van de gekozen projecten, de vaardigheden van de beschikbare arbeidskrachten of uit een ander soort bijstand die uit de fondsen aan de particuliere sector werd verleend? Volgens de Rekenkamer verdienden deze aspecten nader onderzoek.

| 28. | De beoordeling van de geschiktheid was zelden gebaseerd op formeel vastgelegde technieken (17) en de praktijken van de nationale evaluatoren liepen sterk uiteen en waren in de regel grotendeels beschrijvend. De vraag in hoeverre de Structuurfondsbijstand uitkomst biedt voor „gebreken van de markt” was zelden het expliciete onderwerp van de evaluatie achteraf. Evenzo zijn de veranderingen in de strategie gedurende de programmeringsperiode niet grondig op geschiktheid onderzocht. |
| --- | --- |

28.

De beoordeling van de geschiktheid was zelden gebaseerd op formeel vastgelegde technieken (17) en de praktijken van de nationale evaluatoren liepen sterk uiteen en waren in de regel grotendeels beschrijvend. De vraag in hoeverre de Structuurfondsbijstand uitkomst biedt voor „gebreken van de markt” was zelden het expliciete onderwerp van de evaluatie achteraf. Evenzo zijn de veranderingen in de strategie gedurende de programmeringsperiode niet grondig op geschiktheid onderzocht.

Evaluatie van de doeltreffendheid

| 29. | De doeltreffendheid van de Structuurfondsen wordt behandeld in specifieke hoofdstukken van de nationale evaluaties en in hoofdstuk 3 van het syntheseverslag, op basis van de mate waarin het verwachte effect is verkregen en de doelstellingen zijn bereikt. Er worden vijf thema’s onderzocht, namelijk vervoer, MKB, OTO, onderwijs en opleiding en plattelandsontwikkeling. Ook worden er twee horizontale thema’s in verband met het milieu en gelijke kansen onderzocht. |
| --- | --- |

29.

De doeltreffendheid van de Structuurfondsen wordt behandeld in specifieke hoofdstukken van de nationale evaluaties en in hoofdstuk 3 van het syntheseverslag, op basis van de mate waarin het verwachte effect is verkregen en de doelstellingen zijn bereikt. Er worden vijf thema’s onderzocht, namelijk vervoer, MKB, OTO, onderwijs en opleiding en plattelandsontwikkeling. Ook worden er twee horizontale thema’s in verband met het milieu en gelijke kansen onderzocht.

| 30. | De analyse is gebaseerd op een steekproef van 70 % van de waarde van de doelstelling 1-programma’s. De nadruk lag echter sterk op kwalitatieve beoordelingen, bijvoorbeeld op het waarderen van de toegevoegde waarde van de EU-steun aan de hand van „ja” of „neen”-antwoorden. Dergelijke beoordelingen en standpunten zijn vaak ruim, en niet altijd objectief te verifiëren. Er is niet gepoogd, aan de hand van daarvoor eventueel geschikte criteria concretere doelen te stellen, en er zijn geen extra gegevens ten behoeve van een microanalyse verzameld. Belangrijke overwegingen voor een vollediger beoordeling van de doeltreffendheid, zoals deadweight- en verplaatsingseffecten, bleven vaak buiten beschouwing, en wanneer deze aspecten toch aan bod kwamen, werden ze niet nauwkeurig genoeg geanalyseerd. |
| --- | --- |

30.

De analyse is gebaseerd op een steekproef van 70 % van de waarde van de doelstelling 1-programma’s. De nadruk lag echter sterk op kwalitatieve beoordelingen, bijvoorbeeld op het waarderen van de toegevoegde waarde van de EU-steun aan de hand van „ja” of „neen”-antwoorden. Dergelijke beoordelingen en standpunten zijn vaak ruim, en niet altijd objectief te verifiëren. Er is niet gepoogd, aan de hand van daarvoor eventueel geschikte criteria concretere doelen te stellen, en er zijn geen extra gegevens ten behoeve van een microanalyse verzameld. Belangrijke overwegingen voor een vollediger beoordeling van de doeltreffendheid, zoals deadweight- en verplaatsingseffecten, bleven vaak buiten beschouwing, en wanneer deze aspecten toch aan bod kwamen, werden ze niet nauwkeurig genoeg geanalyseerd.

| 31. | Hoewel er in een aantal afdelingen waardevolle en nuttige opmerkingen voorkomen, acht de Rekenkamer dit cruciale hoofdstuk (18) van het syntheseverslag niet degelijk genoeg: er ontbreken gegevens, de conclusies zijn vaak zwak en de resultaten van andere thematische studies die DG REGIO voor de Structuurfondsen voor de programmeringsperiode 1994-1999 in opdracht had gegeven zijn niet of onvoldoende beoordeeld. |
| --- | --- |

31.

Hoewel er in een aantal afdelingen waardevolle en nuttige opmerkingen voorkomen, acht de Rekenkamer dit cruciale hoofdstuk (18) van het syntheseverslag niet degelijk genoeg: er ontbreken gegevens, de conclusies zijn vaak zwak en de resultaten van andere thematische studies die DG REGIO voor de Structuurfondsen voor de programmeringsperiode 1994-1999 in opdracht had gegeven zijn niet of onvoldoende beoordeeld.

| 32. | Zo is in de afdeling beoordeling achteraf over vervoer, in de tabellen met de werkelijke en nagestreefde kilometers verbeterd wegennet per land ongeveer de helft van de te verstrekken informatie ofwel afwezig ofwel onvolledig, waardoor het moeilijk wordt een gedegen conclusie over de verwezenlijkingen ten opzichte van de doelstellingen te trekken. Wel levert de thematische evaluatie (19) van het effect van de Structuurfondsen op de vervoersinfrastructuur voor dezelfde programmeringsperiode, die vaak wordt geciteerd in het verslag, een meer volledige en strikte beoordeling van de resultaten per lidstaat op. |
| --- | --- |

32.

Zo is in de afdeling beoordeling achteraf over vervoer, in de tabellen met de werkelijke en nagestreefde kilometers verbeterd wegennet per land ongeveer de helft van de te verstrekken informatie ofwel afwezig ofwel onvolledig, waardoor het moeilijk wordt een gedegen conclusie over de verwezenlijkingen ten opzichte van de doelstellingen te trekken. Wel levert de thematische evaluatie (19) van het effect van de Structuurfondsen op de vervoersinfrastructuur voor dezelfde programmeringsperiode, die vaak wordt geciteerd in het verslag, een meer volledige en strikte beoordeling van de resultaten per lidstaat op.

| 33. | Van bijzonder belang voor de beoordeling achteraf is het geraamde effect op de werkgelegenheid van transportprogramma’s dat wordt beschreven in het thematische evaluatieverslag over het vervoer. Het totale directe en indirecte effect op de werkgelegenheid bedraagt 2,3 miljoen mensjaren (20). Voorts worden de in de studie genoemde economische voordelen van de transportprogramma’s als significant beoordeeld. Voor Ierland wordt bij wegenprojecten een rendementspercentage van 13 % opgegeven, voor Spanje 23 % (21). |
| --- | --- |

33.

Van bijzonder belang voor de beoordeling achteraf is het geraamde effect op de werkgelegenheid van transportprogramma’s dat wordt beschreven in het thematische evaluatieverslag over het vervoer. Het totale directe en indirecte effect op de werkgelegenheid bedraagt 2,3 miljoen mensjaren (20). Voorts worden de in de studie genoemde economische voordelen van de transportprogramma’s als significant beoordeeld. Voor Ierland wordt bij wegenprojecten een rendementspercentage van 13 % opgegeven, voor Spanje 23 % (21).

| 34. | Deze twee relevante conclusies in het thematische evaluatieverslag over het vervoer blijven in het syntheseverslag buiten beschouwing. Voorts komt de raming van het werkgelegenheidseffect in de thematische evaluatie niet overeen met die in de studie over de beoordeling achteraf. Op basis van berekeningen van de Rekenkamer is het uit de studie blijkende totale werkgelegenheidseffect van de Structuurfondsen gedurende de periode 1994-1999 (22) (op basis van het HERMIN-model en de beoordeling van andere regio's) 1,62 miljoen banen, hetgeen niet overeenkomt met de raming van 2,3 miljoen banen in het thematische verslag, te meer daar het vervoer slechts goed is voor ongeveer 20 % van alle Structuurfondsuitgaven. |
| --- | --- |

34.

Deze twee relevante conclusies in het thematische evaluatieverslag over het vervoer blijven in het syntheseverslag buiten beschouwing. Voorts komt de raming van het werkgelegenheidseffect in de thematische evaluatie niet overeen met die in de studie over de beoordeling achteraf. Op basis van berekeningen van de Rekenkamer is het uit de studie blijkende totale werkgelegenheidseffect van de Structuurfondsen gedurende de periode 1994-1999 (22) (op basis van het HERMIN-model en de beoordeling van andere regio's) 1,62 miljoen banen, hetgeen niet overeenkomt met de raming van 2,3 miljoen banen in het thematische verslag, te meer daar het vervoer slechts goed is voor ongeveer 20 % van alle Structuurfondsuitgaven.

| 35. | Daarentegen worden de resultaten van de thematische evaluatie van het effect van de Structuurfondsen op het MKB wél gebruikt in het syntheseverslag, volgens hetwelk de thematische evaluatie van het effect van de Structuurfondsen op het MKB de aanbeveling bevat, in de toekomst van subsidiëring van uitgaven over te stappen op financial engineeringmaatregelen zoals aanloop- en risicokapitaalfondsen, leningen, rentesubsidies, omdat deze methoden op lange termijn duurzamer zijn (23). Dit vormt een belangrijke conclusie binnen de thematische studie, die in de ex-post-beoordeling terecht wordt benadrukt (24). Ondanks de belangrijke eventuele implicaties voor toekomstige programma’s wordt hierop in het verslag echter niet nader ingegaan. |
| --- | --- |

35.

Daarentegen worden de resultaten van de thematische evaluatie van het effect van de Structuurfondsen op het MKB wél gebruikt in het syntheseverslag, volgens hetwelk de thematische evaluatie van het effect van de Structuurfondsen op het MKB de aanbeveling bevat, in de toekomst van subsidiëring van uitgaven over te stappen op financial engineeringmaatregelen zoals aanloop- en risicokapitaalfondsen, leningen, rentesubsidies, omdat deze methoden op lange termijn duurzamer zijn (23). Dit vormt een belangrijke conclusie binnen de thematische studie, die in de ex-post-beoordeling terecht wordt benadrukt (24). Ondanks de belangrijke eventuele implicaties voor toekomstige programma’s wordt hierop in het verslag echter niet nader ingegaan.

| 36. | In het syntheseverslag wordt uit de thematische evaluatie over het effect van de Structuurfondsen op het MKB een passage geciteerd, waarin wordt geschat dat zonder de bijstand van de Structuurfondsen 70 % van de investeringsprojecten ofwel helemaal niet zouden zijn doorgegaan, ofwel kleinschaliger zouden zijn geweest of uitgesteld. In de thematische evaluatie werd verder geschat dat deze bijstand had bijgedragen tot het creëren van meer dan 300 000 extra banen, zelfs na inachtneming van „deadweight”- en substitutie-effecten. In de evaluatie achteraf van doelstelling 1 kunnen deze cijfers niet worden overgenomen bij gebrek aan vergelijkbare en betrouwbare gegevens waarop dergelijke schattingen zouden kunnen steunen (25). Daar de verschillende resultaten zo significant zijn en de twee studies voor dezelfde contractant zijn verricht, hetzelfde onderwerp behandelden, dezelfde periode bestreken en slechts met twee à drie jaar tijdsverschil werden gepubliceerd, was een grondiger behandeling van de verschillen gewettigd geweest. |
| --- | --- |

36.

In het syntheseverslag wordt uit de thematische evaluatie over het effect van de Structuurfondsen op het MKB een passage geciteerd, waarin wordt geschat dat zonder de bijstand van de Structuurfondsen 70 % van de investeringsprojecten ofwel helemaal niet zouden zijn doorgegaan, ofwel kleinschaliger zouden zijn geweest of uitgesteld. In de thematische evaluatie werd verder geschat dat deze bijstand had bijgedragen tot het creëren van meer dan 300 000 extra banen, zelfs na inachtneming van „deadweight”- en substitutie-effecten. In de evaluatie achteraf van doelstelling 1 kunnen deze cijfers niet worden overgenomen bij gebrek aan vergelijkbare en betrouwbare gegevens waarop dergelijke schattingen zouden kunnen steunen (25). Daar de verschillende resultaten zo significant zijn en de twee studies voor dezelfde contractant zijn verricht, hetzelfde onderwerp behandelden, dezelfde periode bestreken en slechts met twee à drie jaar tijdsverschil werden gepubliceerd, was een grondiger behandeling van de verschillen gewettigd geweest.

| 37. | Na bovenstaande verklaring wordt in een afdeling van het syntheseverslag over een algemene analyse wel een schatting gegeven van het aantal banen dat dankzij de Structuurfondsen in het MKB is gecreëerd. Uit de beschikbare informatie zou blijken dat doelstelling 1 de ontwikkeling van ongeveer 800 000 banen ten goede is gekomen. Dit is een bruto-cijfer waarbij geen rekening is gehouden met substitutie-, deadweight- en vermenigvuldigingseffecten. De algemene doeltreffendheid in termen van netto-effecten kan niet worden berekend (26). Deze conclusie krijgt niet de nodige aandacht, vooral niet in het licht van de schatting die in de thematische studie over het MKB wordt gegeven. Voorts verschaft de tabel in de studie over de beoordeling achteraf, waarin de per lidstaat gecreëerde werkgelegenheid wordt uitgesplitst, geen details over Spanje, zodat de gemaakte schatting duidelijk onvolledig is (27). Dit aspect verdiende een grondiger onderzoek in de evaluatie achteraf. |
| --- | --- |

37.

Na bovenstaande verklaring wordt in een afdeling van het syntheseverslag over een algemene analyse wel een schatting gegeven van het aantal banen dat dankzij de Structuurfondsen in het MKB is gecreëerd. Uit de beschikbare informatie zou blijken dat doelstelling 1 de ontwikkeling van ongeveer 800 000 banen ten goede is gekomen. Dit is een bruto-cijfer waarbij geen rekening is gehouden met substitutie-, deadweight- en vermenigvuldigingseffecten. De algemene doeltreffendheid in termen van netto-effecten kan niet worden berekend (26). Deze conclusie krijgt niet de nodige aandacht, vooral niet in het licht van de schatting die in de thematische studie over het MKB wordt gegeven. Voorts verschaft de tabel in de studie over de beoordeling achteraf, waarin de per lidstaat gecreëerde werkgelegenheid wordt uitgesplitst, geen details over Spanje, zodat de gemaakte schatting duidelijk onvolledig is (27). Dit aspect verdiende een grondiger onderzoek in de evaluatie achteraf.

| 38. | Bij de overige onderwerpen die in het syntheseverslag met betrekking tot doeltreffendheid worden behandeld komt een nuttige, zij het korte samenvatting voor van diverse relevante kwesties, verdeeld over een aantal rubrieken. Een onderliggende beperking vormt echter het gebrekkige vergelijkingsmateriaal waardoor slechts een kwalitatieve beoordeling mogelijk was, en geen gedetailleerde beoordeling op basis van de projecten (28). Een gedeelte van deze kwalitatieve beoordeling had beter gekoppeld kunnen worden aan de andere verrichte thematische studies, zoals de thematische evaluatie over OTO. In de taakomschrijving wordt verklaard dat een ruim opgezette studie van de literatuur zou worden verricht om belangrijke kwesties bij de implementatie van de Structuurfondsen te identificeren (29). Er doen zich echter tekortkomingen voor in de wijze waarop dergelijke implicaties worden gerapporteerd en gekoppeld worden aan latere bevindingen. In de zeldzame gevallen waarin een dergelijke integratie met de beoordeling bestaat, zijn de voordelen voor de kwaliteit van het verslag onmiskenbaar. |
| --- | --- |

38.

Bij de overige onderwerpen die in het syntheseverslag met betrekking tot doeltreffendheid worden behandeld komt een nuttige, zij het korte samenvatting voor van diverse relevante kwesties, verdeeld over een aantal rubrieken. Een onderliggende beperking vormt echter het gebrekkige vergelijkingsmateriaal waardoor slechts een kwalitatieve beoordeling mogelijk was, en geen gedetailleerde beoordeling op basis van de projecten (28). Een gedeelte van deze kwalitatieve beoordeling had beter gekoppeld kunnen worden aan de andere verrichte thematische studies, zoals de thematische evaluatie over OTO. In de taakomschrijving wordt verklaard dat een ruim opgezette studie van de literatuur zou worden verricht om belangrijke kwesties bij de implementatie van de Structuurfondsen te identificeren (29). Er doen zich echter tekortkomingen voor in de wijze waarop dergelijke implicaties worden gerapporteerd en gekoppeld worden aan latere bevindingen. In de zeldzame gevallen waarin een dergelijke integratie met de beoordeling bestaat, zijn de voordelen voor de kwaliteit van het verslag onmiskenbaar.

| 39. | Zo meldt de beoordeling achteraf dat in de thematische evaluatie over OTO wordt geconstateerd dat in de activiteiten de nadruk beter zou kunnen worden gelegd op de ontwikkeling van regiospecifieke innovatiestrategieën ter benutting van de bestaande capaciteit inzake OTO, en niet op geconstateerde „technologische lacunes”. Volgens de studie over de beoordeling achteraf was dit in een aantal gevallen geschied, en had deze gerichtheid op lokale sterke punten tot veel betere resultaten geleid (30). Uit dit voorbeeld blijkt duidelijk hoe belangrijk het is, voort te bouwen op wat andere rapporten en studies hebben aangetoond, zoals wordt beklemtoond in de criteria die zijn ontwikkeld in het kader van het MEANS-programma en de update daarvan, die in de taakomschrijving van dit evaluatieproject is opgenomen (31). |
| --- | --- |

39.

Zo meldt de beoordeling achteraf dat in de thematische evaluatie over OTO wordt geconstateerd dat in de activiteiten de nadruk beter zou kunnen worden gelegd op de ontwikkeling van regiospecifieke innovatiestrategieën ter benutting van de bestaande capaciteit inzake OTO, en niet op geconstateerde „technologische lacunes”. Volgens de studie over de beoordeling achteraf was dit in een aantal gevallen geschied, en had deze gerichtheid op lokale sterke punten tot veel betere resultaten geleid (30). Uit dit voorbeeld blijkt duidelijk hoe belangrijk het is, voort te bouwen op wat andere rapporten en studies hebben aangetoond, zoals wordt beklemtoond in de criteria die zijn ontwikkeld in het kader van het MEANS-programma en de update daarvan, die in de taakomschrijving van dit evaluatieproject is opgenomen (31).

| 40. | De nationale evaluaties waren zelden gebaseerd op een geformaliseerde of kwantitatieve analyse van de effecten. Voorts gebruikten de nationale evaluatoren zelden de resultaten van door andere partijen verrichte kwantitatieve analysen. |
| --- | --- |

40.

De nationale evaluaties waren zelden gebaseerd op een geformaliseerde of kwantitatieve analyse van de effecten. Voorts gebruikten de nationale evaluatoren zelden de resultaten van door andere partijen verrichte kwantitatieve analysen.

Evaluatie van de efficiëntie

| 41. | Deze rubriek van het syntheseverslag heeft ten doel, de efficiëntie van de implementatie van grote projecten te onderzoeken die doelstelling 1-regio's worden gesteund. De analyse is gebaseerd op een geografisch en thematisch representatieve steekproef van ongeveer 60 grote projecten (32). Onder efficiëntie wordt verstaan de mate waarin de effecten tegen een redelijke kostprijs worden verkregen. Hoofddoel is, de kosten per eenheid vast te stellen, dat wil zeggen de kosten per bereikte output. De analyse moet ook betrekking hebben op de kwaliteit van het beheer van grote projecten door de eindbegunstigden. Op EU-niveau moeten de kosten per eenheid in alle doelstelling 1-regio's worden geanalyseerd. Significante verschillen in de kosten per eenheid over de regio's moeten zo mogelijk worden verklaard en er moet een lijst met acceptabele kosten worden opgesteld die in de toekomst kan worden gebruikt als basis voor benchmarking (33). Deze doelstellingen zijn zinvol en vormen een wezenlijk bestanddeel van efficiënt projectbeheer in de hele EU. |
| --- | --- |

41.

Deze rubriek van het syntheseverslag heeft ten doel, de efficiëntie van de implementatie van grote projecten te onderzoeken die doelstelling 1-regio's worden gesteund. De analyse is gebaseerd op een geografisch en thematisch representatieve steekproef van ongeveer 60 grote projecten (32). Onder efficiëntie wordt verstaan de mate waarin de effecten tegen een redelijke kostprijs worden verkregen. Hoofddoel is, de kosten per eenheid vast te stellen, dat wil zeggen de kosten per bereikte output. De analyse moet ook betrekking hebben op de kwaliteit van het beheer van grote projecten door de eindbegunstigden. Op EU-niveau moeten de kosten per eenheid in alle doelstelling 1-regio's worden geanalyseerd. Significante verschillen in de kosten per eenheid over de regio's moeten zo mogelijk worden verklaard en er moet een lijst met acceptabele kosten worden opgesteld die in de toekomst kan worden gebruikt als basis voor benchmarking (33). Deze doelstellingen zijn zinvol en vormen een wezenlijk bestanddeel van efficiënt projectbeheer in de hele EU.

| 42. | Bij de beoordeling achteraf werden deze doelstellingen echter bij lange na niet bereikt. Dit wordt toegegeven in het syntheseverslag, met de verklaring dat de projectbeheerders het vrijwel onmogelijk achtten, de afzonderlijke bestanddelen van het project te bepalen, en bijgevolg de kosten per eenheid niet konden berekenen (34). Een dergelijke algemene verklaring impliceert dat het met de kennis over belangrijke uit de Structuurfondsen gefinancierde projecten zo slecht gesteld is, dat deze doelstelling uit de taakomschrijving niet kan worden bereikt. Het had ten minste mogelijk moeten zijn, voor typische outputs tot vergelijkbare kosten te komen, bijvoorbeeld de kosten per vierkante meter voor de bouw van een fabriek, of per kilometer aangelegde weg. |
| --- | --- |

42.

Bij de beoordeling achteraf werden deze doelstellingen echter bij lange na niet bereikt. Dit wordt toegegeven in het syntheseverslag, met de verklaring dat de projectbeheerders het vrijwel onmogelijk achtten, de afzonderlijke bestanddelen van het project te bepalen, en bijgevolg de kosten per eenheid niet konden berekenen (34). Een dergelijke algemene verklaring impliceert dat het met de kennis over belangrijke uit de Structuurfondsen gefinancierde projecten zo slecht gesteld is, dat deze doelstelling uit de taakomschrijving niet kan worden bereikt. Het had ten minste mogelijk moeten zijn, voor typische outputs tot vergelijkbare kosten te komen, bijvoorbeeld de kosten per vierkante meter voor de bouw van een fabriek, of per kilometer aangelegde weg.

| 43. | Sommige gedeeltelijke resultaten worden weergegeven in drie tabellen over wegenaanleg in de lidstaten, milieuprojecten in Spanje en kosten per gecreëerde baan bij projecten in industriële projecten (35). Deze resultaten zijn echter niet grondig geëvalueerd of geanalyseerd, bijvoorbeeld ter verrekening van het effect van uiteenlopende arbeidskosten en bijzondere geografische kenmerken bij wegenaanleg. |
| --- | --- |

43.

Sommige gedeeltelijke resultaten worden weergegeven in drie tabellen over wegenaanleg in de lidstaten, milieuprojecten in Spanje en kosten per gecreëerde baan bij projecten in industriële projecten (35). Deze resultaten zijn echter niet grondig geëvalueerd of geanalyseerd, bijvoorbeeld ter verrekening van het effect van uiteenlopende arbeidskosten en bijzondere geografische kenmerken bij wegenaanleg.

| 44. | Het syntheseverslag kwam tot gedegen conclusies betreffende de timing van de projecten en de inachtneming van budgettaire beperkingen. Een eerste conclusie was dat slechts één derde van de 60 onderzochte projecten binnen het oorspronkelijke tijdsbestek werden afgerond en dat meer dan een derde een jaar vertraging opliep. Ten tweede werd in ongeveer twee derde van de onderzochte projecten het budget overschreden, waarbij 20 % van de projecten meer dan 30 % meer kostte dan oorspronkelijk gepland. De analyse blijft echter beperkt tot een paar algemene opmerkingen, die weinig of geen evaluatie inhouden van de kwaliteit van het beheer door de eindbegunstigden, zoals voorgeschreven in de taakomschrijving (36). Voorts werd het relatieve belang van de publiek-private partnerschappen en van de gehanteerde aanbestedingsprocedures niet geëvalueerd. |
| --- | --- |

44.

Het syntheseverslag kwam tot gedegen conclusies betreffende de timing van de projecten en de inachtneming van budgettaire beperkingen. Een eerste conclusie was dat slechts één derde van de 60 onderzochte projecten binnen het oorspronkelijke tijdsbestek werden afgerond en dat meer dan een derde een jaar vertraging opliep. Ten tweede werd in ongeveer twee derde van de onderzochte projecten het budget overschreden, waarbij 20 % van de projecten meer dan 30 % meer kostte dan oorspronkelijk gepland. De analyse blijft echter beperkt tot een paar algemene opmerkingen, die weinig of geen evaluatie inhouden van de kwaliteit van het beheer door de eindbegunstigden, zoals voorgeschreven in de taakomschrijving (36). Voorts werd het relatieve belang van de publiek-private partnerschappen en van de gehanteerde aanbestedingsprocedures niet geëvalueerd.

Evaluatie van het effect van de SF’s

| 45. | Volgens het syntheseverslag hebben de Structuurfondsen voornamelijk ten doel het aanbodpotentieel van de economie op lange termijn te beïnvloeden (37). Deze aanbodzijde-effecten werken via een aantal kanalen die zijn opgezet om: a) de investeringen te verhogen om de fysieke infrastructuur te verbeteren als een input in de productieve activiteit van de particuliere sector; b) het menselijke kapitaal te vergroten via investeringen in opleiding, om bij te dragen aan de productieve activiteit van de particuliere sector c) financiële steun van de overheid naar de particuliere sector te leiden om investeringen te stimuleren en zo de factor productiviteit te verhogen en de sectorale kosten van de productie en van het kapitaal te drukken (38). |
| --- | --- |

45.

Volgens het syntheseverslag hebben de Structuurfondsen voornamelijk ten doel het aanbodpotentieel van de economie op lange termijn te beïnvloeden (37). Deze aanbodzijde-effecten werken via een aantal kanalen die zijn opgezet om: a) de investeringen te verhogen om de fysieke infrastructuur te verbeteren als een input in de productieve activiteit van de particuliere sector; b) het menselijke kapitaal te vergroten via investeringen in opleiding, om bij te dragen aan de productieve activiteit van de particuliere sector c) financiële steun van de overheid naar de particuliere sector te leiden om investeringen te stimuleren en zo de factor productiviteit te verhogen en de sectorale kosten van de productie en van het kapitaal te drukken (38).

| 46. | Vervolgens wordt in het verslag het belang besproken van wat positieve externe effecten worden genoemd — omstandigheden waarin particuliere firma’s kosteloos gebruik kunnen maken van aanvullende productiefactoren en zo het concurrentievermogen qua productiviteit en kosten van de economie verbeteren. Deze overwegingen zijn van belang voor een evaluatie achteraf. De cofinanciering uit de particuliere sector werd echter uit de analyse geweerd wegens onzekerheden over de stuwende mechanismen ervan (39). Deze beperkte benadering leidt tot een ernstige onderschatting van het effect van sommige uitgaven uit de Structuurfondsen doordat een van de voornaamste effecten aan de aanbodzijde op lange termijn wordt uitgesloten. Dit komt duidelijk tot uiting in het voorbeeld van een in het syntheseverslag gepresenteerde ontwikkelingsmaatschappij (40) waarvan de gecofinancierde uitgaven veel extra investeringen uit de particuliere sector hebben aangetrokken. In plaats van zich te richten op de meer direct waarneembare gevolgen van de uitgaven uit de Structuurfondsen voor investeringen in de particuliere sector, is de studie toegespitst op pogingen om de zogenaamde externe effecten te beoordelen. Hierbij werden vrij povere ramingstechnieken gehanteerd ten gevolge van een gebrek aan studies die metingen van elasticiteiten verstrekken die relevant zijn voor de regio's in kwestie. |
| --- | --- |

46.

Vervolgens wordt in het verslag het belang besproken van wat positieve externe effecten worden genoemd — omstandigheden waarin particuliere firma’s kosteloos gebruik kunnen maken van aanvullende productiefactoren en zo het concurrentievermogen qua productiviteit en kosten van de economie verbeteren. Deze overwegingen zijn van belang voor een evaluatie achteraf. De cofinanciering uit de particuliere sector werd echter uit de analyse geweerd wegens onzekerheden over de stuwende mechanismen ervan (39). Deze beperkte benadering leidt tot een ernstige onderschatting van het effect van sommige uitgaven uit de Structuurfondsen doordat een van de voornaamste effecten aan de aanbodzijde op lange termijn wordt uitgesloten. Dit komt duidelijk tot uiting in het voorbeeld van een in het syntheseverslag gepresenteerde ontwikkelingsmaatschappij (40) waarvan de gecofinancierde uitgaven veel extra investeringen uit de particuliere sector hebben aangetrokken. In plaats van zich te richten op de meer direct waarneembare gevolgen van de uitgaven uit de Structuurfondsen voor investeringen in de particuliere sector, is de studie toegespitst op pogingen om de zogenaamde externe effecten te beoordelen. Hierbij werden vrij povere ramingstechnieken gehanteerd ten gevolge van een gebrek aan studies die metingen van elasticiteiten verstrekken die relevant zijn voor de regio's in kwestie.

| 47. | Om het effect van de Structuurfondsen op economische en sociale cohesie te schatten, werd een macro-economische modellenaanpak op basis van het HERMIN-model toegepast op vier lidstaten (Griekenland, Ierland, Portugal en Spanje) (41) alsmede op de regio's van de nieuwe Duitse deelstaten en Noord-Ierland (42). Deze benadering was bedoeld om de impact van de doelstelling 1-programma’s te meten wat betreft de effecten ervan op het bnp en de werkgelegenheid. |
| --- | --- |

47.

Om het effect van de Structuurfondsen op economische en sociale cohesie te schatten, werd een macro-economische modellenaanpak op basis van het HERMIN-model toegepast op vier lidstaten (Griekenland, Ierland, Portugal en Spanje) (41) alsmede op de regio's van de nieuwe Duitse deelstaten en Noord-Ierland (42). Deze benadering was bedoeld om de impact van de doelstelling 1-programma’s te meten wat betreft de effecten ervan op het bnp en de werkgelegenheid.

| 48. | Een alternatief beoordelingsscenario zou erin bestaan, micro-economische gegevens uit de projecten te gebruiken om te komen tot de totale of gezamenlijke invloed van de Structuurfondsen op regionale of nationale basis. Ondanks het gebruik van gestandaardiseerde voorschriften inzake gegevens in alle doelstelling 1-regio's zijn er echter moeilijkheden met het verzamelen van micro-economische gegevens. Dit leidt tot pogingen om het effect uitsluitend uit macro-economische modellen af te leiden, waardoor er veel beperkingen en veronderstellingen ontstaan die om de hieronder opgegeven redenen de beoordeling aanzienlijk kunnen inperken, en dus ook de gevolgtrekkingen daaruit voor het beleid. |
| --- | --- |

48.

Een alternatief beoordelingsscenario zou erin bestaan, micro-economische gegevens uit de projecten te gebruiken om te komen tot de totale of gezamenlijke invloed van de Structuurfondsen op regionale of nationale basis. Ondanks het gebruik van gestandaardiseerde voorschriften inzake gegevens in alle doelstelling 1-regio's zijn er echter moeilijkheden met het verzamelen van micro-economische gegevens. Dit leidt tot pogingen om het effect uitsluitend uit macro-economische modellen af te leiden, waardoor er veel beperkingen en veronderstellingen ontstaan die om de hieronder opgegeven redenen de beoordeling aanzienlijk kunnen inperken, en dus ook de gevolgtrekkingen daaruit voor het beleid.

| 49. | De voornaamste moeilijkheden met de specifieke toepassing van het macro-model HERMIN bij de onderzochte beoordeling achteraf waren de volgende:






  a) | in de structuur van het model wordt te veel nadruk gelegd op de fabricagesector, terwijl de economieën van de meeste onderzochte regio's of landen zich de laatste 10 jaar meer hebben ontwikkeld op het gebied van commerciële dienstverlening, zoals toerisme en in sommige gevallen de financiële sector. De stuwende mechanismen achter deze dienstverlening zijn anders dan bij de fabricage, die sterker onderhevig is geworden aan de invloed van de globalisatie. Daarom moet de oriëntatie van het macromodel naar dit aspect verschuiven. Het gehanteerde model voorzag hier niet in en er zijn weinig aanwijzingen in het verslag dat dit aspect onderkend is als ernstige tekortkoming, hoewel toerisme zo belangrijk is voor de economieën van vele van de betrokken regio's; |
| --- | --- | --- |

49.

De voornaamste moeilijkheden met de specifieke toepassing van het macro-model HERMIN bij de onderzochte beoordeling achteraf waren de volgende:

a)

in de structuur van het model wordt te veel nadruk gelegd op de fabricagesector, terwijl de economieën van de meeste onderzochte regio's of landen zich de laatste 10 jaar meer hebben ontwikkeld op het gebied van commerciële dienstverlening, zoals toerisme en in sommige gevallen de financiële sector. De stuwende mechanismen achter deze dienstverlening zijn anders dan bij de fabricage, die sterker onderhevig is geworden aan de invloed van de globalisatie. Daarom moet de oriëntatie van het macromodel naar dit aspect verschuiven. Het gehanteerde model voorzag hier niet in en er zijn weinig aanwijzingen in het verslag dat dit aspect onderkend is als ernstige tekortkoming, hoewel toerisme zo belangrijk is voor de economieën van vele van de betrokken regio's;

| b) | het gehanteerde model is gebaseerd op jaargegevens vanaf 1980. Wegens de snel veranderende structuur van de betrokken regio's gedurende deze tijdspanne kan structurele instabiliteit van de geschatte parameters echter een significante beperking vormen van de gekozen benadering op basis van een macromodel. Ook met dit aspect is geen rekening gehouden; |
| --- | --- |

b)

het gehanteerde model is gebaseerd op jaargegevens vanaf 1980. Wegens de snel veranderende structuur van de betrokken regio's gedurende deze tijdspanne kan structurele instabiliteit van de geschatte parameters echter een significante beperking vormen van de gekozen benadering op basis van een macromodel. Ook met dit aspect is geen rekening gehouden;

| c) | er wordt uitgegaan van geplande in plaats van werkelijke uitgaven (43), hetgeen normaliter eerder bij een projectie vooraf dan bij een evaluatie achteraf zou mogen worden verwacht; |
| --- | --- |

c)

er wordt uitgegaan van geplande in plaats van werkelijke uitgaven (43), hetgeen normaliter eerder bij een projectie vooraf dan bij een evaluatie achteraf zou mogen worden verwacht;

| d) | de effectramingen worden sterk neerwaarts beïnvloed doordat de cofinanciering uit de particuliere sector van het model zijn uitgesloten (zie ook paragraaf 46), alsmede door de toevloed aan investeringen uit de particuliere sector die uit de bijstandsverlening van de Structuurfondsen resulteert. Indien de SF’s bijvoorbeeld bijstand verlenen voor de bouw van een fabriek, blijft het effect op de economie van de regio niet beperkt tot het oprichten van het gebouw, maar heeft het ook betrekking op de vaste banen die het doet ontstaan ten gevolge van de investeringen uit de particuliere sector die voortvloeien uit de bouw van de fabriek; |
| --- | --- |

d)

de effectramingen worden sterk neerwaarts beïnvloed doordat de cofinanciering uit de particuliere sector van het model zijn uitgesloten (zie ook paragraaf 46), alsmede door de toevloed aan investeringen uit de particuliere sector die uit de bijstandsverlening van de Structuurfondsen resulteert. Indien de SF’s bijvoorbeeld bijstand verlenen voor de bouw van een fabriek, blijft het effect op de economie van de regio niet beperkt tot het oprichten van het gebouw, maar heeft het ook betrekking op de vaste banen die het doet ontstaan ten gevolge van de investeringen uit de particuliere sector die voortvloeien uit de bouw van de fabriek;

| e) | het effect op lange termijn van de Structuurfondsen op de gehele openbare infrastructuur en het menselijk kapitaal (positieve externe effecten) speelt een cruciale rol bij het vaststellen van het effect van de Structuurfondsen in het syntheseverslag. Voor het HERMIN-model moeten elasticiteiten in de externe effecten uit andere specifieke studies worden ingebracht. Maar omdat deze elasticiteiten voor geen enkele van de relevante regio's in de EU beschikbaar zijn, is gebruik gemaakt van empirische literatuur die goeddeels is gebaseerd op regio's van de Verenigde Staten die, zoals in het verslag zelf wordt opgemerkt, enigszins vaag is wat betreft de precieze omvang van de externe effecten (44). Bijgevolg is niet duidelijk in hoeverre het geschatte effect is gebaseerd op een beoordeling of op feiten; |
| --- | --- |

e)

het effect op lange termijn van de Structuurfondsen op de gehele openbare infrastructuur en het menselijk kapitaal (positieve externe effecten) speelt een cruciale rol bij het vaststellen van het effect van de Structuurfondsen in het syntheseverslag. Voor het HERMIN-model moeten elasticiteiten in de externe effecten uit andere specifieke studies worden ingebracht. Maar omdat deze elasticiteiten voor geen enkele van de relevante regio's in de EU beschikbaar zijn, is gebruik gemaakt van empirische literatuur die goeddeels is gebaseerd op regio's van de Verenigde Staten die, zoals in het verslag zelf wordt opgemerkt, enigszins vaag is wat betreft de precieze omvang van de externe effecten (44). Bijgevolg is niet duidelijk in hoeverre het geschatte effect is gebaseerd op een beoordeling of op feiten;

| f) | wat de additionaliteit betreft, worden in de simulaties van het HERMIN-model de situaties met en zonder steunverlening uit de CB’s vergeleken. Het scenario zonder CB-financiering veronderstelt dat noch de EU-middelen, noch de gecofinancierde bedragen worden besteed. De gegrondheid van een dergelijke hypothese is voor discussie vatbaar (45). |
| --- | --- |

f)

wat de additionaliteit betreft, worden in de simulaties van het HERMIN-model de situaties met en zonder steunverlening uit de CB’s vergeleken. Het scenario zonder CB-financiering veronderstelt dat noch de EU-middelen, noch de gecofinancierde bedragen worden besteed. De gegrondheid van een dergelijke hypothese is voor discussie vatbaar (45).

| 50. | Zoals het is toegepast blijkt het HERMIN-model dan ook ongeschikt voor het schatten van het effect van de bijstandsverlening uit de Structuurfondsen in de regio's van doelstelling 1. |
| --- | --- |

50.

Zoals het is toegepast blijkt het HERMIN-model dan ook ongeschikt voor het schatten van het effect van de bijstandsverlening uit de Structuurfondsen in de regio's van doelstelling 1.

| 51. | De Rekenkamer heeft de resultaten van HERMIN-simulaties met betrekking tot veranderingen in het werkloosheidspercentage geanalyseerd in vergelijking met een aantal vooraf bepaalde hypothesen (46). De uitkomst wordt gegeven in bijlage IV. Wat betreft werkloosheid wijken de resultaten sterk af van de beschikbare gegevens uit andere bronnen. |
| --- | --- |

51.

De Rekenkamer heeft de resultaten van HERMIN-simulaties met betrekking tot veranderingen in het werkloosheidspercentage geanalyseerd in vergelijking met een aantal vooraf bepaalde hypothesen (46). De uitkomst wordt gegeven in bijlage IV. Wat betreft werkloosheid wijken de resultaten sterk af van de beschikbare gegevens uit andere bronnen.

| 52. | Ten slotte werd de mate waarin de tussengelegen doelen waren bereikt veelal niet geëvalueerd. |
| --- | --- |

52.

Ten slotte werd de mate waarin de tussengelegen doelen waren bereikt veelal niet geëvalueerd.

| 53. | Wat de strategische doelstelling convergentie betreft, wordt in het syntheseverslag alleen maar vermeld dat de algehele convergentie tussen de lidstaten erop vooruit gaat, maar niet in dezelfde mate in alle regio's van Europa. Of de convergentie aan de Structuurfondsen te danken is, vormt een punt van discussie (47). |
| --- | --- |

53.

Wat de strategische doelstelling convergentie betreft, wordt in het syntheseverslag alleen maar vermeld dat de algehele convergentie tussen de lidstaten erop vooruit gaat, maar niet in dezelfde mate in alle regio's van Europa. Of de convergentie aan de Structuurfondsen te danken is, vormt een punt van discussie (47).

Evaluatie van de beheerssystemen

| 54. | De regelingen voor het beheer en de uitvoering die zijn vastgesteld voor de programma’s van doelstelling 1 moeten een cruciale rol spelen als bijdrage tot de doeltreffendheid, de efficiëntie en het effect van de Structuurfondsen. Dit aspect werd zowel in de taakomschrijving als in de methodologische gids behandeld, en opgenomen in de nationale evaluaties (48). De nationale evaluatieverslagen beschreven het effect op de beheerssystemen, maar wezen ook op situaties waarin het effect op de beheerssystemen meer uitgesproken had kunnen zijn. |
| --- | --- |

54.

De regelingen voor het beheer en de uitvoering die zijn vastgesteld voor de programma’s van doelstelling 1 moeten een cruciale rol spelen als bijdrage tot de doeltreffendheid, de efficiëntie en het effect van de Structuurfondsen. Dit aspect werd zowel in de taakomschrijving als in de methodologische gids behandeld, en opgenomen in de nationale evaluaties (48). De nationale evaluatieverslagen beschreven het effect op de beheerssystemen, maar wezen ook op situaties waarin het effect op de beheerssystemen meer uitgesproken had kunnen zijn.

| 55. | Het belang van dit onderwerp wordt ook erkend in het syntheseverslag en in de afdeling met aanbevelingen (49) hebben niet minder dan 13 van de 19 aanbevelingen betrekking op beheerskwesties. |
| --- | --- |

55.

Het belang van dit onderwerp wordt ook erkend in het syntheseverslag en in de afdeling met aanbevelingen (49) hebben niet minder dan 13 van de 19 aanbevelingen betrekking op beheerskwesties.

| 56. | Het syntheseverslag verstrekt een aantal relevante inzichten in het beheer van de Structuurfondsen van de EU en verwijst naar meerdere conclusies van de thematische evaluatie van het partnerschapsprincipe die in 1999 werd verricht. Deze voorziet in continuïteit in de beoordeling, en in enige informatie, al dan niet ter onderbouwing van in de eerdere studie gemaakte opmerkingen. Op een aantal gebieden spreken de bereikte conclusies de thematische evaluatie echter tegen. |
| --- | --- |

56.

Het syntheseverslag verstrekt een aantal relevante inzichten in het beheer van de Structuurfondsen van de EU en verwijst naar meerdere conclusies van de thematische evaluatie van het partnerschapsprincipe die in 1999 werd verricht. Deze voorziet in continuïteit in de beoordeling, en in enige informatie, al dan niet ter onderbouwing van in de eerdere studie gemaakte opmerkingen. Op een aantal gebieden spreken de bereikte conclusies de thematische evaluatie echter tegen.

| 57. | Het syntheseverslag bevat een overzicht van het gemiddelde ledenaantal van de comités van toezicht (CvT’s) per lidstaat. Het algemene gemiddelde bedroeg 44 leden, maar het aantal varieerde sterk, en wel van 15 tot 85 leden. Het verslag concludeert dat het grote ledenaantal werd beschouwd als ernstig knelpunt voor de efficiëntie van de comités van toezicht, en dat dit in alle lidstaten het geval was (50). In de thematische studie werd daarentegen geconcludeerd dat niets erop wees dat een groter aantal leden schadelijk was voor de efficiëntie. Gezien het grote verschil tussen de conclusies van de verschillende rapporten over dit aspect, zou het passend zijn geweest, dit aspect grondiger te analyseren in het syntheseverslag, en concretere aanbevelingen te doen over de te volgen weg. |
| --- | --- |

57.

Het syntheseverslag bevat een overzicht van het gemiddelde ledenaantal van de comités van toezicht (CvT’s) per lidstaat. Het algemene gemiddelde bedroeg 44 leden, maar het aantal varieerde sterk, en wel van 15 tot 85 leden. Het verslag concludeert dat het grote ledenaantal werd beschouwd als ernstig knelpunt voor de efficiëntie van de comités van toezicht, en dat dit in alle lidstaten het geval was (50). In de thematische studie werd daarentegen geconcludeerd dat niets erop wees dat een groter aantal leden schadelijk was voor de efficiëntie. Gezien het grote verschil tussen de conclusies van de verschillende rapporten over dit aspect, zou het passend zijn geweest, dit aspect grondiger te analyseren in het syntheseverslag, en concretere aanbevelingen te doen over de te volgen weg.

| 58. | Een ander terrein in verband met de thematische evaluatie was het beheer van de verschillende fondsen. In beide evaluaties luidde de conclusie dat de fondsen functioneerden volgens verschillende beginselen en met verschillende financiële voorschriften, en dat dit de synergie tussen de fondsen beperkte. Deze belangrijke opmerking geeft de standpunten weer die de Rekenkamer reeds heeft ingenomen (51) en wijst op de noodzaak, naar grotere synergie tussen de fondsen te streven. |
| --- | --- |

58.

Een ander terrein in verband met de thematische evaluatie was het beheer van de verschillende fondsen. In beide evaluaties luidde de conclusie dat de fondsen functioneerden volgens verschillende beginselen en met verschillende financiële voorschriften, en dat dit de synergie tussen de fondsen beperkte. Deze belangrijke opmerking geeft de standpunten weer die de Rekenkamer reeds heeft ingenomen (51) en wijst op de noodzaak, naar grotere synergie tussen de fondsen te streven.

| 59. | De beoordeling van de doeltreffendheid van de beheerssystemen als geheel brengt ook enige gebreken aan het licht. Volgens het syntheseverslag werden de beheerssystemen in de nationale evaluaties in iets minder dan de helft van de subsidiabele lidstaten als toereikend beschouwd. Dit is een belangrijk resultaat en er had een gedetailleerde beoordeling van zowel de successen als de aangetroffen tekortkomingen mogen worden verwacht. Hoewel sommige aangestipte punten nader worden besproken, ontbreekt het doorgaans aan duidelijkheid in het verslag over de werkelijke bevindingen. |
| --- | --- |

59.

De beoordeling van de doeltreffendheid van de beheerssystemen als geheel brengt ook enige gebreken aan het licht. Volgens het syntheseverslag werden de beheerssystemen in de nationale evaluaties in iets minder dan de helft van de subsidiabele lidstaten als toereikend beschouwd. Dit is een belangrijk resultaat en er had een gedetailleerde beoordeling van zowel de successen als de aangetroffen tekortkomingen mogen worden verwacht. Hoewel sommige aangestipte punten nader worden besproken, ontbreekt het doorgaans aan duidelijkheid in het verslag over de werkelijke bevindingen.

| 60. | De thematische evaluatie van het partnerschapsbeginsel met betrekking tot de Structuurfondsen (1999) constateerde dat dit beginsel een aantal voordelen vertoonde voor de implementatie van de Structuurfondsen (52). Volgens het syntheseverslag werden deze voordelen doorgaans ook erkend door de lidstaten die betrokken waren bij de implementatie van het programma 1994-1999 voor doelstelling 1, en horizontaal partnerschap werd toegejuicht als één van de meerwaarde-aspecten van de Europese programmering (53). Dit is een relevant resultaat, en hoewel een aantal uiteenlopende gevallen nader worden besproken, met inbegrip van korte commentaren over negatieve ervaringen of ondervonden moeilijkheden, had de discussie meer gericht kunnen worden op verbeteringen die konden worden aangebracht, op basis van de vermelde ervaringen, om het partnerschapsbeginsel doeltreffender te maken. |
| --- | --- |

60.

De thematische evaluatie van het partnerschapsbeginsel met betrekking tot de Structuurfondsen (1999) constateerde dat dit beginsel een aantal voordelen vertoonde voor de implementatie van de Structuurfondsen (52). Volgens het syntheseverslag werden deze voordelen doorgaans ook erkend door de lidstaten die betrokken waren bij de implementatie van het programma 1994-1999 voor doelstelling 1, en horizontaal partnerschap werd toegejuicht als één van de meerwaarde-aspecten van de Europese programmering (53). Dit is een relevant resultaat, en hoewel een aantal uiteenlopende gevallen nader worden besproken, met inbegrip van korte commentaren over negatieve ervaringen of ondervonden moeilijkheden, had de discussie meer gericht kunnen worden op verbeteringen die konden worden aangebracht, op basis van de vermelde ervaringen, om het partnerschapsbeginsel doeltreffender te maken.

| 61. | Het proces van aanvraag/selectie van de projecten vormt één van de twee processen waarbij het vaakst administratieve problemen worden gemeld. Er wordt een aantal voorbeelden gegeven, die wijzen op een gebrek aan duidelijkheid in de procedures en een dringende noodzaak voor de Commissie om een benchmark voor de beste praktijk op te zetten. In een tabel wordt de duur van het proces van de selectie van projecten per land opgegeven, hoewel voor drie lidstaten geen gegevens worden verstrekt. De duur van het proces bij de resterende lidstaten varieert van twee tot negen maanden, met een gemiddelde van vijf maanden. Uit de verstrekte informatie blijkt dat er nog werk moet worden verzet om het aanvraagproces te stroomlijnen. In dit verband is geen grondige analyse uitgevoerd met betrekking tot de respectieve verdiensten en/of doeltreffendheid van de keuze tussen het proces waarbij concurrentie een rol speelt en het proces waarbij de aanvragen in volgorde van binnenkomst worden behandeld. |
| --- | --- |

61.

Het proces van aanvraag/selectie van de projecten vormt één van de twee processen waarbij het vaakst administratieve problemen worden gemeld. Er wordt een aantal voorbeelden gegeven, die wijzen op een gebrek aan duidelijkheid in de procedures en een dringende noodzaak voor de Commissie om een benchmark voor de beste praktijk op te zetten. In een tabel wordt de duur van het proces van de selectie van projecten per land opgegeven, hoewel voor drie lidstaten geen gegevens worden verstrekt. De duur van het proces bij de resterende lidstaten varieert van twee tot negen maanden, met een gemiddelde van vijf maanden. Uit de verstrekte informatie blijkt dat er nog werk moet worden verzet om het aanvraagproces te stroomlijnen. In dit verband is geen grondige analyse uitgevoerd met betrekking tot de respectieve verdiensten en/of doeltreffendheid van de keuze tussen het proces waarbij concurrentie een rol speelt en het proces waarbij de aanvragen in volgorde van binnenkomst worden behandeld.

| 62. | De nodige aandacht moet worden besteed aan het proces van toezicht en controle. In het syntheseverslag wordt beweerd dat de systemen voor financiële controle in de lidstaten vrij goed lijken te hebben gefunctioneerd in het kader van doelstelling 1 1994-1999, hoewel in 1997 een aantal aanpassingen moesten worden verricht met het oog op de nieuwe financiële reglementen. In de meeste lidstaten werden de controlesystemen daarvoor geschikt geacht en functioneerden ze relatief efficiënt. De financiële controle lijkt doorgaans betrouwbaar en in overeenstemming met de 5 %-regel te zijn geweest (54). Deze bevinding komt niet overeen met de diverse verslagen van de Rekenkamer (55) waarin erop wordt gewezen dat het Structuurfondsprogramma 1994-1999 te lijden had van ernstige gebreken in de financiële controle. |
| --- | --- |

62.

De nodige aandacht moet worden besteed aan het proces van toezicht en controle. In het syntheseverslag wordt beweerd dat de systemen voor financiële controle in de lidstaten vrij goed lijken te hebben gefunctioneerd in het kader van doelstelling 1 1994-1999, hoewel in 1997 een aantal aanpassingen moesten worden verricht met het oog op de nieuwe financiële reglementen. In de meeste lidstaten werden de controlesystemen daarvoor geschikt geacht en functioneerden ze relatief efficiënt. De financiële controle lijkt doorgaans betrouwbaar en in overeenstemming met de 5 %-regel te zijn geweest (54). Deze bevinding komt niet overeen met de diverse verslagen van de Rekenkamer (55) waarin erop wordt gewezen dat het Structuurfondsprogramma 1994-1999 te lijden had van ernstige gebreken in de financiële controle.

| 63. | Het andere element van het toezichtproces dat administratieve problemen veroorzaakt houdt verband met de niet-financiële toezicht- en evaluatiesystemen. Zware kritiek wordt op het toezicht geuit. Het syntheseverslag concludeert dat het toezicht grote gebreken bleef vertonen ondanks de nadruk op de ontwikkeling van de rol ervan sinds de eerste programmeringsperiode. De beschikbare gegevens zijn fragmentarisch, onsamenhangend, al te zeer gericht op fysieke resultaten en vaak van twijfelachtige betrouwbaarheid (56). Bovendien zouden in alle lidstaten de bij de aanvang van het programma gestelde doelen niet genoeg gekwantificeerd zijn (57). Aan zeven van de tien lidstaten in de lijst wordt een gering, aan één een variabel en aan twee een toereikend kwantificatieniveau toegekend, en dit laatste slechts bij de start van het programma. Voor elke lidstaat wordt een kort overzicht, maar geen nadere uitleg gegeven. |
| --- | --- |

63.

Het andere element van het toezichtproces dat administratieve problemen veroorzaakt houdt verband met de niet-financiële toezicht- en evaluatiesystemen. Zware kritiek wordt op het toezicht geuit. Het syntheseverslag concludeert dat het toezicht grote gebreken bleef vertonen ondanks de nadruk op de ontwikkeling van de rol ervan sinds de eerste programmeringsperiode. De beschikbare gegevens zijn fragmentarisch, onsamenhangend, al te zeer gericht op fysieke resultaten en vaak van twijfelachtige betrouwbaarheid (56). Bovendien zouden in alle lidstaten de bij de aanvang van het programma gestelde doelen niet genoeg gekwantificeerd zijn (57). Aan zeven van de tien lidstaten in de lijst wordt een gering, aan één een variabel en aan twee een toereikend kwantificatieniveau toegekend, en dit laatste slechts bij de start van het programma. Voor elke lidstaat wordt een kort overzicht, maar geen nadere uitleg gegeven.

| 64. | Een andere bevinding luidt dat de computersystemen voor het toezicht op het programma 1994-1999 vaak werden gekritiseerd wegens hun gebrek aan integratie met andere programma’s en fondsen. Dit was van invloed op de mate waarin de beheersautoriteiten doorlopend de voortgang van de programma’s konden overzien en leverde problemen op bij latere evaluaties (58). Deze bevindingen moeten ook twijfel doen rijzen over de gegrondheid van de eerdere conclusie in het verslag dat het financiële beheer van het programma goed functioneerde indien het toezicht op de informatie, dat zulk een belangrijke voorwaarde voor het beheersproces vormt, als fragmentarisch, onsamenhangend en van twijfelachtige betrouwbaarheid wordt beschouwd (56). |
| --- | --- |

64.

Een andere bevinding luidt dat de computersystemen voor het toezicht op het programma 1994-1999 vaak werden gekritiseerd wegens hun gebrek aan integratie met andere programma’s en fondsen. Dit was van invloed op de mate waarin de beheersautoriteiten doorlopend de voortgang van de programma’s konden overzien en leverde problemen op bij latere evaluaties (58). Deze bevindingen moeten ook twijfel doen rijzen over de gegrondheid van de eerdere conclusie in het verslag dat het financiële beheer van het programma goed functioneerde indien het toezicht op de informatie, dat zulk een belangrijke voorwaarde voor het beheersproces vormt, als fragmentarisch, onsamenhangend en van twijfelachtige betrouwbaarheid wordt beschouwd (56).

| 65. | Het syntheseverslag bevat ook een paar korte besprekingen van zogeheten „interne evaluaties (59)”. Opgemerkt wordt dat deze interne evaluaties werden uitgevoerd door de ministeries of de regionale autoriteiten, bijgestaan door universiteiten en externe agentschappen. De mate waarin de evaluatie werd uitgevoerd kan misschien verrassen in het licht van de gebreken van de toezichtsystemen. Dit komt misschien doordat de behoefte werd gevoeld, evaluaties te verrichten, ook al waren de resultaten vaak van invloed op het programmabeheer (60). In het licht van deze opmerking zou men kunnen denken dat het nuttig zou zijn geweest, meer aandacht te besteden aan deze interne evaluaties, en voort te bouwen op de resultaten die de desbetreffende ministeries of regionale autoriteiten hadden bereikt. Het syntheseverslag bevat daarentegen slechts enige zeer algemene opmerkingen van geringe relevantie voor de algehele beoordeling achteraf. |
| --- | --- |

65.

Het syntheseverslag bevat ook een paar korte besprekingen van zogeheten „interne evaluaties (59)”. Opgemerkt wordt dat deze interne evaluaties werden uitgevoerd door de ministeries of de regionale autoriteiten, bijgestaan door universiteiten en externe agentschappen. De mate waarin de evaluatie werd uitgevoerd kan misschien verrassen in het licht van de gebreken van de toezichtsystemen. Dit komt misschien doordat de behoefte werd gevoeld, evaluaties te verrichten, ook al waren de resultaten vaak van invloed op het programmabeheer (60). In het licht van deze opmerking zou men kunnen denken dat het nuttig zou zijn geweest, meer aandacht te besteden aan deze interne evaluaties, en voort te bouwen op de resultaten die de desbetreffende ministeries of regionale autoriteiten hadden bereikt. Het syntheseverslag bevat daarentegen slechts enige zeer algemene opmerkingen van geringe relevantie voor de algehele beoordeling achteraf.

| 66. | Met betrekking tot de programmeringsperiode 2000-2006 wordt in het syntheseverslag opgemerkt dat is gepoogd, het in de periode 1994-1999 ondervonden toezichtprobleem aan te pakken (61). |
| --- | --- |

66.

Met betrekking tot de programmeringsperiode 2000-2006 wordt in het syntheseverslag opgemerkt dat is gepoogd, het in de periode 1994-1999 ondervonden toezichtprobleem aan te pakken (61).

Geschiktheid van het kader voor de evaluatie

De taakomschrijving

| 67. | In het licht van de diverse problemen die zijn geconstateerd bij de analyse van het syntheseverslag is het noodzaak specifiek aandacht te besteden aan de oorspronkelijke taakomschrijving. Samen met het aanloopverslag en de methodologische gids kende deze een aantal gebreken, met name:






  a) | het gebrek aan gekwantificeerde doelstellingen werd er niet mee aangepakt. Bovendien werd in de taakomschrijving en de methodologische gids te weinig gedaan aan het tekort aan geschikte indicatoren; |
| --- | --- | --- |

67.

In het licht van de diverse problemen die zijn geconstateerd bij de analyse van het syntheseverslag is het noodzaak specifiek aandacht te besteden aan de oorspronkelijke taakomschrijving. Samen met het aanloopverslag en de methodologische gids kende deze een aantal gebreken, met name:

a)

het gebrek aan gekwantificeerde doelstellingen werd er niet mee aangepakt. Bovendien werd in de taakomschrijving en de methodologische gids te weinig gedaan aan het tekort aan geschikte indicatoren;

| b) | evenzo werd de evaluator niet verzocht om aanvullende gegevens over de prestatie-indicatoren te verzamelen. In de taakomschrijving (62) werd het verrichten van beoordelingen ter plaatse belangrijk geacht indien bij de lidstaat geen gegevens voorhanden waren, maar dit punt werd in de methodologische gids niet nader uitgewerkt (63); |
| --- | --- |

b)

evenzo werd de evaluator niet verzocht om aanvullende gegevens over de prestatie-indicatoren te verzamelen. In de taakomschrijving (62) werd het verrichten van beoordelingen ter plaatse belangrijk geacht indien bij de lidstaat geen gegevens voorhanden waren, maar dit punt werd in de methodologische gids niet nader uitgewerkt (63);

| c) | er werd te weinig nadruk gelegd op de noodzaak om de netto-effecten te bepalen (64), met uitzondering van een aantal economische effecten; |
| --- | --- |

c)

er werd te weinig nadruk gelegd op de noodzaak om de netto-effecten te bepalen (64), met uitzondering van een aantal economische effecten;

| d) | in de taakomschrijving kregen met name de doeltreffendheid en het deadweight-effect te weinig aandacht. Dit valt te betreuren, daar deadweight vaak wordt beschouwd als een relevante factor op belangrijke gebieden, zoals subsidies voor zakelijke investeringen, directe steun voor werkgelegenheid, en beroepsopleiding die de toegang tot arbeidsplaatsen verbetert; |
| --- | --- |

d)

in de taakomschrijving kregen met name de doeltreffendheid en het deadweight-effect te weinig aandacht. Dit valt te betreuren, daar deadweight vaak wordt beschouwd als een relevante factor op belangrijke gebieden, zoals subsidies voor zakelijke investeringen, directe steun voor werkgelegenheid, en beroepsopleiding die de toegang tot arbeidsplaatsen verbetert;

| e) | te weinig aandacht ging uit naar de analyse van de potentiële verbanden tussen de geschiktheid, de doeltreffendheid en het effect van de strategie (65). Evenzo werd er weinig moeite gedaan om de gekozen doelstellingen, zelfs wanneer ze niet waren gekwantificeerd, te relateren aan één of andere rangschikking van de behoeften waarin de CB’s trachten te voorzien; |
| --- | --- |

e)

te weinig aandacht ging uit naar de analyse van de potentiële verbanden tussen de geschiktheid, de doeltreffendheid en het effect van de strategie (65). Evenzo werd er weinig moeite gedaan om de gekozen doelstellingen, zelfs wanneer ze niet waren gekwantificeerd, te relateren aan één of andere rangschikking van de behoeften waarin de CB’s trachten te voorzien;

| f) | behalve bij de toepassing van het HERMIN-model en de verwijzing naar de kritische analyse van de gevolgen die voor de casestudies werd gesuggereerd (66), werden er geen andere evaluatietechnieken voorgesteld binnen de taakomschrijving en het aanloopverslag; |
| --- | --- |

f)

behalve bij de toepassing van het HERMIN-model en de verwijzing naar de kritische analyse van de gevolgen die voor de casestudies werd gesuggereerd (66), werden er geen andere evaluatietechnieken voorgesteld binnen de taakomschrijving en het aanloopverslag;

| g) | met betrekking tot de landenspecifieke kwesties die in de taakomschrijving worden aangeduid (67), werd geen duidelijke indicatie gegeven betreffende de te hanteren methodologie. |
| --- | --- |

g)

met betrekking tot de landenspecifieke kwesties die in de taakomschrijving worden aangeduid (67), werd geen duidelijke indicatie gegeven betreffende de te hanteren methodologie.

| 68. | Voorts werd aan de versterking van de economische en sociale cohesie in de EU en aan de convergentie van de minder ontwikkelde lidstaten in de taakomschrijving onvoldoende prioriteit gegeven, ook al behoren deze tot de voornaamste doelstellingen van de structurele maatregelen. Het aanloopverslag bevatte een aantal vragen over de gebruikte ontwikkelingsmodellen, de knelpunten voor de groei die moeten worden aangepakt en de kanalen waarlangs een effect op de regionale economie kan worden verwacht (68). De evaluatie achteraf had idealiter echter empirische studies moeten omvatten over de convergentie tussen regio's en de vermindering van de verschillen ten gevolge van factoren als investeringen in de infrastructuur, ontwikkelingen in het onderwijssysteem en in OTO-capaciteit. |
| --- | --- |

68.

Voorts werd aan de versterking van de economische en sociale cohesie in de EU en aan de convergentie van de minder ontwikkelde lidstaten in de taakomschrijving onvoldoende prioriteit gegeven, ook al behoren deze tot de voornaamste doelstellingen van de structurele maatregelen. Het aanloopverslag bevatte een aantal vragen over de gebruikte ontwikkelingsmodellen, de knelpunten voor de groei die moeten worden aangepakt en de kanalen waarlangs een effect op de regionale economie kan worden verwacht (68). De evaluatie achteraf had idealiter echter empirische studies moeten omvatten over de convergentie tussen regio's en de vermindering van de verschillen ten gevolge van factoren als investeringen in de infrastructuur, ontwikkelingen in het onderwijssysteem en in OTO-capaciteit.

| 69. | Voorts zou het passend geweest zijn om als evaluatiedoelstelling specifieke casestudies te identificeren en te analyseren die benchmarks vormen voor regionaal en ontwikkelingsbeleid, bijvoorbeeld op het gebied van clusters of groeipolen. |
| --- | --- |

69.

Voorts zou het passend geweest zijn om als evaluatiedoelstelling specifieke casestudies te identificeren en te analyseren die benchmarks vormen voor regionaal en ontwikkelingsbeleid, bijvoorbeeld op het gebied van clusters of groeipolen.

| 70. | Toen de evaluatie van start ging, werd de kwestie van de geschiktheid van de strategie aangepakt door middel van een lijst met kwesties en vragen. Maar de evaluatierichtlijnen in de taakomschrijving (69) en de methodologische gids waren niet precies of concreet genoeg. |
| --- | --- |

70.

Toen de evaluatie van start ging, werd de kwestie van de geschiktheid van de strategie aangepakt door middel van een lijst met kwesties en vragen. Maar de evaluatierichtlijnen in de taakomschrijving (69) en de methodologische gids waren niet precies of concreet genoeg.

Geschiktheid van de supervisie door de Commissie

| 71. | Het (algemene) contract tussen de Commissie en de consultants die waren geselecteerd voor de uitvoering van de evaluatie bepaalde dat bij de evaluatie technische bijstand zou worden verleend onder leiding en toezicht van ambtenaren van de Commissie. De kwaliteit van de evaluatie zou worden beoordeeld door de Commissie op basis van de criteria die in het MEANS-programma waren ontwikkeld. |
| --- | --- |

71.

Het (algemene) contract tussen de Commissie en de consultants die waren geselecteerd voor de uitvoering van de evaluatie bepaalde dat bij de evaluatie technische bijstand zou worden verleend onder leiding en toezicht van ambtenaren van de Commissie. De kwaliteit van de evaluatie zou worden beoordeeld door de Commissie op basis van de criteria die in het MEANS-programma waren ontwikkeld.

| 72. | De door DG REGIO voorgezeten stuurgroep, met vertegenwoordigers van andere DG's, was betrokken bij de opstelling van de taakomschrijving en keurde de methoden en het gedetailleerde werkplan (in het aanloopverslag) goed. Een panel van vier experts werd ter assistentie aangesteld, met als voornaamste doelstelling, ervoor te zorgen dat er evaluaties van goede kwaliteit werden verricht. Zij traden echter te laat op, zodat het proces geen noemenswaardige verbeteringen in de kwaliteit van de evaluatie kon opleveren. |
| --- | --- |

72.

De door DG REGIO voorgezeten stuurgroep, met vertegenwoordigers van andere DG's, was betrokken bij de opstelling van de taakomschrijving en keurde de methoden en het gedetailleerde werkplan (in het aanloopverslag) goed. Een panel van vier experts werd ter assistentie aangesteld, met als voornaamste doelstelling, ervoor te zorgen dat er evaluaties van goede kwaliteit werden verricht. Zij traden echter te laat op, zodat het proces geen noemenswaardige verbeteringen in de kwaliteit van de evaluatie kon opleveren.

| 73. | Het contractueel overeengekomen tijdschema is niet nageleefd. De indiening van de verschillende verslagen liep vertraging op, zodat het definitieve syntheseverslag en de nationale verslagen niet binnen de geplande periode van twaalf maanden, namelijk uiterlijk 12 november 2002, maar pas in april 2003 bij de Commissie zijn ingediend, en in mei 2003 werden gepubliceerd. Het tijdschema bleek vanaf het begin veel te krap en omvatte niet voldoende reservetijd voor de behandeling van het vrij grote aantal veranderingen/wijzigingen in de rapporten die de experts en vertegenwoordigers in de stuurgroep verlangden. Dit heeft belangrijke gevolgen voor de toekomstige evaluaties achteraf. |
| --- | --- |

73.

Het contractueel overeengekomen tijdschema is niet nageleefd. De indiening van de verschillende verslagen liep vertraging op, zodat het definitieve syntheseverslag en de nationale verslagen niet binnen de geplande periode van twaalf maanden, namelijk uiterlijk 12 november 2002, maar pas in april 2003 bij de Commissie zijn ingediend, en in mei 2003 werden gepubliceerd. Het tijdschema bleek vanaf het begin veel te krap en omvatte niet voldoende reservetijd voor de behandeling van het vrij grote aantal veranderingen/wijzigingen in de rapporten die de experts en vertegenwoordigers in de stuurgroep verlangden. Dit heeft belangrijke gevolgen voor de toekomstige evaluaties achteraf.

| 74. | Volgens de taakomschrijving (67) moesten twee specifieke thema’s per lidstaat worden onderzocht, en er werd een lijst van dergelijke thema’s voorgesteld. Geen enkel nationaal evaluatieverslag legde echter specifiek de nadruk op dit aspect. Hoewel in afzonderlijke hoofdstukken soms statistieken of een gedeeltelijke verkenning van deze thema’s voorkomen, zijn deze niet, zoals voorgeschreven in de taakomschrijving, specifiek onderzocht. |
| --- | --- |

74.

Volgens de taakomschrijving (67) moesten twee specifieke thema’s per lidstaat worden onderzocht, en er werd een lijst van dergelijke thema’s voorgesteld. Geen enkel nationaal evaluatieverslag legde echter specifiek de nadruk op dit aspect. Hoewel in afzonderlijke hoofdstukken soms statistieken of een gedeeltelijke verkenning van deze thema’s voorkomen, zijn deze niet, zoals voorgeschreven in de taakomschrijving, specifiek onderzocht.

| 75. | De algemene conclusie luidt dat het toezicht van de Commissie op het evaluatieproces moet worden verbeterd. Met name gezien het van meet af aan voorspelbare gebrek aan betrouwbare gegevens, prestatie-indicatoren en precieze doelstellingen had de Commissie er voor moeten zorgen dat er passende maatregelen werden getroffen om dit kritieke knelpunt aan te pakken. Verder had de evaluatie gezien het krappe tijdschema en de inherente knelpunten toegespitst moeten worden op essentiële elementen en niet op pogingen om een zo verstrekkende algehele beoordeling van de programmeringsperiode te ondernemen. |
| --- | --- |

75.

De algemene conclusie luidt dat het toezicht van de Commissie op het evaluatieproces moet worden verbeterd. Met name gezien het van meet af aan voorspelbare gebrek aan betrouwbare gegevens, prestatie-indicatoren en precieze doelstellingen had de Commissie er voor moeten zorgen dat er passende maatregelen werden getroffen om dit kritieke knelpunt aan te pakken. Verder had de evaluatie gezien het krappe tijdschema en de inherente knelpunten toegespitst moeten worden op essentiële elementen en niet op pogingen om een zo verstrekkende algehele beoordeling van de programmeringsperiode te ondernemen.

Relevantie van de evaluatieaanbevelingen voor toekomstige programmeringsperioden

| 76. | Gezien de problemen waarop in de voorgaande afdelingen van dit verslag wordt gewezen, kon de evaluatie achteraf slechts in beperkte mate waardevolle aanbevelingen opleveren. Het evaluatieproces heeft weinig aanbevelingen opgeleverd over de inhoud van de programma’s, maar wel een aantal relevante en redelijke suggesties over de wijze waarop het beheer van de Structuurfondsen en de bijstandsverlening kunnen worden verbeterd (70). |
| --- | --- |

76.

Gezien de problemen waarop in de voorgaande afdelingen van dit verslag wordt gewezen, kon de evaluatie achteraf slechts in beperkte mate waardevolle aanbevelingen opleveren. Het evaluatieproces heeft weinig aanbevelingen opgeleverd over de inhoud van de programma’s, maar wel een aantal relevante en redelijke suggesties over de wijze waarop het beheer van de Structuurfondsen en de bijstandsverlening kunnen worden verbeterd (70).

| 77. | In het verslag wordt aanbevolen, de rol van de comités van toezicht te verleggen van kwesties in verband met financieel beheer naar strategische leiding (71). De comités van toezicht moeten echter beide functies kunnen vervullen, zoals de regelgeving voorschrijft. |
| --- | --- |

77.

In het verslag wordt aanbevolen, de rol van de comités van toezicht te verleggen van kwesties in verband met financieel beheer naar strategische leiding (71). De comités van toezicht moeten echter beide functies kunnen vervullen, zoals de regelgeving voorschrijft.

| 78. | De evaluaties hebben geleid tot aanbevelingen voor de programmeringsperiode 2000-2006 die hoofdzakelijk de vraagstukken in verband met de beheerssystemen aanpakken. Er wordt een ruim scala van thema’s bestreken die doorgaans zijn toegesneden op de specifieke situatie van het betrokken land. |
| --- | --- |

78.

De evaluaties hebben geleid tot aanbevelingen voor de programmeringsperiode 2000-2006 die hoofdzakelijk de vraagstukken in verband met de beheerssystemen aanpakken. Er wordt een ruim scala van thema’s bestreken die doorgaans zijn toegesneden op de specifieke situatie van het betrokken land.

| 79. | Met betrekking tot de programma’s 2000-2006 houden de voornaamste lessen uit de evaluatie achteraf van de voorgaande periode verband met de implementatie, met name betreffende de verrichte casestudies ter evaluatie van de doeltreffendheid en efficiëntie van de bijstandsverlening uit de Structuurfondsen. |
| --- | --- |

79.

Met betrekking tot de programma’s 2000-2006 houden de voornaamste lessen uit de evaluatie achteraf van de voorgaande periode verband met de implementatie, met name betreffende de verrichte casestudies ter evaluatie van de doeltreffendheid en efficiëntie van de bijstandsverlening uit de Structuurfondsen.

| 80. | Ten aanzien van de periode na 2006 zijn de aanbevelingen die in het syntheseverslag worden gedaan vrij beperkt en algemeen van aard. Niettemin zijn ze relevant en als zodanig nuttig. Zo wordt verklaard dat meer gebruik zou kunnen worden gemaakt van onafhankelijke, lopende evaluaties die een objectieve externe output opleveren (72). Dit is een zinvolle aanbeveling, maar om nuttig te zijn, had ze moeten worden gedaan vóór de start van de hier behandelde evaluatie achteraf. |
| --- | --- |

80.

Ten aanzien van de periode na 2006 zijn de aanbevelingen die in het syntheseverslag worden gedaan vrij beperkt en algemeen van aard. Niettemin zijn ze relevant en als zodanig nuttig. Zo wordt verklaard dat meer gebruik zou kunnen worden gemaakt van onafhankelijke, lopende evaluaties die een objectieve externe output opleveren (72). Dit is een zinvolle aanbeveling, maar om nuttig te zijn, had ze moeten worden gedaan vóór de start van de hier behandelde evaluatie achteraf.

BEOORDELING ACHTERAF VAN DE BIJSTANDSVERLENING UIT HET ESF (IN HET KADER VAN DE DOELSTELLINGEN 1 EN 3) DOOR DG EMPL

| 81. | Tegelijkertijd met de evaluatie van de doelstelling 1-regio's onder leiding van DG REGIO is een andere evaluatie uitgevoerd, in dit geval onder leiding van DG EMPL, in verband met de bijstandsverlening uit het ESF in het kader van de doelstellingen 1, 3 en 4 en de communautaire initiatieven Employment en Adapt. De taakomschrijving voor deze evaluatie achteraf liep vooruit op de benutting van de resultaten van de evaluatie van de doelstelling 1-regio's. Ondanks organisatorische regelingen ter vergemakkelijking van een doeltreffende coördinatie tussen de twee evaluaties wijst vrijwel niets erop dat hiervan iets is terechtgekomen.

  Tekstvak 2De algemene conclusies van de evaluatie door DG WerkgelegenheidDe evaluatie had ten doel, bij personen en systemen het effect van de ESF-acties in de lidstaten te beoordelen. Ook werd getracht, het effect en de doeltreffendheid van de communautaire actie voor specifieke structurele problemen te analyseren en de communautaire meerwaarde te bepalen. In de methodologie waarmee werd beoogd, deze doelstellingen te verwezenlijken, werd de evaluatoren onder meer verzocht, aan te geven of de gevallen die zij moesten beoordelen een aantal hypothesen onderbouwden of tegenspraken.In het verslag werden een aantal sterke punten geconstateerd die als volgt kunnen worden samengevat: veel van de ESF-financiering was gericht op de langetermijnwerkloosheid en werd geschikt geacht omdat de werkloosheid bleef aanhouden. De verbetering van de arbeidsmarktpositie voor de begunstigden waren evenredig aan de uitgetrokken middelen. Er waren in verscheidene landen aanzienlijke verbeteringen in de werkgelegenheidsdiensten en de onderwijs- en opleidingsvoorzieningen. Met de benutte middelen konden sommige beleidsprioriteiten worden versterkt, zoals gelijke kansen, aanpassing van het personeelsbestand en ondersteuning van gehandicapten. Via het ESF nam de betrokkenheid van de sociale partners en de regionale autoriteiten toe. De middelen droegen op alle niveaus bij tot verbeteringen in de capaciteit om de bijstandsverlening op de arbeidsmarkt te beheren en te implementeren.In het verslag werden echter ook een aantal gebreken geconstateerd: acties vonden goeddeels plaats omdat er middelen beschikbaar waren en niet om beleidsredenen, en dit geschiedde parallel met en los van de desbetreffende beleidsdiscussies. De bijstandsverlening was grotendeels toegespitst op opleiding en werd hoofdzakelijk toegewezen aan dienstverleners, hetgeen, op zich, niet de meest doeltreffende manier is om de werkloosheid op lange termijn te verhelpen. Bijgevolg ging de bijstandsverlening waarschijnlijk gepaard met een hoge mate van deadweight. Ten slotte werden de administratieve regelingen als ingewikkeld ervaren en waren de regelingen voor de evaluatie gebrekkig en ongestructureerd. |
| --- | --- |

81.

Tegelijkertijd met de evaluatie van de doelstelling 1-regio's onder leiding van DG REGIO is een andere evaluatie uitgevoerd, in dit geval onder leiding van DG EMPL, in verband met de bijstandsverlening uit het ESF in het kader van de doelstellingen 1, 3 en 4 en de communautaire initiatieven Employment en Adapt. De taakomschrijving voor deze evaluatie achteraf liep vooruit op de benutting van de resultaten van de evaluatie van de doelstelling 1-regio's. Ondanks organisatorische regelingen ter vergemakkelijking van een doeltreffende coördinatie tussen de twee evaluaties wijst vrijwel niets erop dat hiervan iets is terechtgekomen.

Tekstvak 2De algemene conclusies van de evaluatie door DG WerkgelegenheidDe evaluatie had ten doel, bij personen en systemen het effect van de ESF-acties in de lidstaten te beoordelen. Ook werd getracht, het effect en de doeltreffendheid van de communautaire actie voor specifieke structurele problemen te analyseren en de communautaire meerwaarde te bepalen. In de methodologie waarmee werd beoogd, deze doelstellingen te verwezenlijken, werd de evaluatoren onder meer verzocht, aan te geven of de gevallen die zij moesten beoordelen een aantal hypothesen onderbouwden of tegenspraken.In het verslag werden een aantal sterke punten geconstateerd die als volgt kunnen worden samengevat: veel van de ESF-financiering was gericht op de langetermijnwerkloosheid en werd geschikt geacht omdat de werkloosheid bleef aanhouden. De verbetering van de arbeidsmarktpositie voor de begunstigden waren evenredig aan de uitgetrokken middelen. Er waren in verscheidene landen aanzienlijke verbeteringen in de werkgelegenheidsdiensten en de onderwijs- en opleidingsvoorzieningen. Met de benutte middelen konden sommige beleidsprioriteiten worden versterkt, zoals gelijke kansen, aanpassing van het personeelsbestand en ondersteuning van gehandicapten. Via het ESF nam de betrokkenheid van de sociale partners en de regionale autoriteiten toe. De middelen droegen op alle niveaus bij tot verbeteringen in de capaciteit om de bijstandsverlening op de arbeidsmarkt te beheren en te implementeren.In het verslag werden echter ook een aantal gebreken geconstateerd: acties vonden goeddeels plaats omdat er middelen beschikbaar waren en niet om beleidsredenen, en dit geschiedde parallel met en los van de desbetreffende beleidsdiscussies. De bijstandsverlening was grotendeels toegespitst op opleiding en werd hoofdzakelijk toegewezen aan dienstverleners, hetgeen, op zich, niet de meest doeltreffende manier is om de werkloosheid op lange termijn te verhelpen. Bijgevolg ging de bijstandsverlening waarschijnlijk gepaard met een hoge mate van deadweight. Ten slotte werden de administratieve regelingen als ingewikkeld ervaren en waren de regelingen voor de evaluatie gebrekkig en ongestructureerd.

Beoordeling door de Rekenkamer van de kwaliteit van de evaluatie

Beoordeling van tekortkomingen in de gegevens en in de analyse

| 82. | De invloed van de ESF-bijstandsverlening neemt vaak de vorm aan van een bijdrage of een potentieel effect dat niet tastbaar en daardoor niet gemakkelijk te becijferen is (73). Ondanks dit intrinsieke probleem moet het beoordelen van het effect, en in samenhang daarmee ook de kwestie van doeltreffendheid en efficiëntie, een hoofddoelstelling van de evaluatie zijn. Dit is wat van de evaluatie achteraf werd verlangd. |
| --- | --- |

82.

De invloed van de ESF-bijstandsverlening neemt vaak de vorm aan van een bijdrage of een potentieel effect dat niet tastbaar en daardoor niet gemakkelijk te becijferen is (73). Ondanks dit intrinsieke probleem moet het beoordelen van het effect, en in samenhang daarmee ook de kwestie van doeltreffendheid en efficiëntie, een hoofddoelstelling van de evaluatie zijn. Dit is wat van de evaluatie achteraf werd verlangd.

| 83. | In het syntheseverslag wordt gepoogd, het effect van de ESF-bijstandsverlening te analyseren, en daartoe worden schattingen gegeven van het aantal ESF-begunstigden per land en per doelstelling (74). Ter aanvulling van de nationale evaluatieverslagen trachtte de evaluatie achteraf ook informatie te verstrekken ter onderbouwing van een aantal vooraf opgestelde hypothesen (75). Een en ander wordt in de navolgende paragrafen besproken. |
| --- | --- |

83.

In het syntheseverslag wordt gepoogd, het effect van de ESF-bijstandsverlening te analyseren, en daartoe worden schattingen gegeven van het aantal ESF-begunstigden per land en per doelstelling (74). Ter aanvulling van de nationale evaluatieverslagen trachtte de evaluatie achteraf ook informatie te verstrekken ter onderbouwing van een aantal vooraf opgestelde hypothesen (75). Een en ander wordt in de navolgende paragrafen besproken.

| 84. | Eén van de meest fundamentele vereisten van de beoordeling achteraf van ESF-acties houdt verband met het aantal begunstigden van het programma in de periode 1994-1999. Het verslag bevat een tabel waarin het aantal begunstigden op 52 miljoen wordt geschat. De toelichting bij deze tabel doet echter ernstige twijfel rijzen over de gepresenteerde cijfers (76). De onzekerheid over de nauwkeurigheid van de gegevens leidt af van een aantal nuttige en relevante vaststellingen die uit andere delen van de beoordeling voortvloeien. |
| --- | --- |

84.

Eén van de meest fundamentele vereisten van de beoordeling achteraf van ESF-acties houdt verband met het aantal begunstigden van het programma in de periode 1994-1999. Het verslag bevat een tabel waarin het aantal begunstigden op 52 miljoen wordt geschat. De toelichting bij deze tabel doet echter ernstige twijfel rijzen over de gepresenteerde cijfers (76). De onzekerheid over de nauwkeurigheid van de gegevens leidt af van een aantal nuttige en relevante vaststellingen die uit andere delen van de beoordeling voortvloeien.

| 85. | Het syntheseverslag (75) bevat schattingen van het effect van ESF-acties op personen. Deze informatie is potentieel belangrijk in een aantal opzichten, bijvoorbeeld bij de berekening van kosten per eenheid van programma’s en schattingen van de begunstigden die na twaalf maanden nog aan het werk zijn. Er zijn echter factoren die het nut van de informatie ernstig beperken, met name het gebrek aan toelichting over de vraag, hoe de gegevens zijn verkregen. Het verslag zegt daarover niet meer dan dat de ratio's, toegepast om tot de schattingen te komen, resulteren uit de afzonderlijke onderzochte gevallen en een studie van de literatuur (74). Een dergelijke verklaring kan niet als toereikend worden beschouwd. Er is meer gedetailleerde informatie over de herkomst van de diverse schattingen noodzakelijk om de toepasselijkheid van deze getallen beter te begrijpen, zoals benchmarks van de kosten per eenheid en de mate waarin de programma’s zijn geslaagd. |
| --- | --- |

85.

Het syntheseverslag (75) bevat schattingen van het effect van ESF-acties op personen. Deze informatie is potentieel belangrijk in een aantal opzichten, bijvoorbeeld bij de berekening van kosten per eenheid van programma’s en schattingen van de begunstigden die na twaalf maanden nog aan het werk zijn. Er zijn echter factoren die het nut van de informatie ernstig beperken, met name het gebrek aan toelichting over de vraag, hoe de gegevens zijn verkregen. Het verslag zegt daarover niet meer dan dat de ratio's, toegepast om tot de schattingen te komen, resulteren uit de afzonderlijke onderzochte gevallen en een studie van de literatuur (74). Een dergelijke verklaring kan niet als toereikend worden beschouwd. Er is meer gedetailleerde informatie over de herkomst van de diverse schattingen noodzakelijk om de toepasselijkheid van deze getallen beter te begrijpen, zoals benchmarks van de kosten per eenheid en de mate waarin de programma’s zijn geslaagd.

| 86. | Een tweede onbevredigend aspect vormt de analyse waarvan de gegevens worden vergezeld. De informatie in de beoordeling stemt niet overeen met de gegevens in de begeleidende tabel. Zo wordt in de tekst beweerd dat de eenheidskosten grosso modo lager uitvielen voor werklozen en jonge werklozen, ongeveer 6 000 euro per actieve werkkracht beliepen, en — in uiteenlopende mate — veel hoger waren voor gehandicapten en langdurig werklozen (74). Maar volgens de tabel zijn de eenheidskosten voor de opleiding van werklozen het hoogst (6 000 euro) en die voor de integratie van gehandicapten het laagst (4 000 euro). Verder is het gebruikelijk, de marges van de variatie op te geven wanneer er sprake is van een zogeheten „grote variatie” tussen en binnen de programma’s. De analyse in deze afdeling is van beperkte waarde omdat daarbij al te zeer een enkel getal in aanmerking wordt genomen en geen relevant scala van waarden die een meer alomvattende analyse oplevert van de marges die in de diverse onderzochte gevallen zijn aangetroffen. |
| --- | --- |

86.

Een tweede onbevredigend aspect vormt de analyse waarvan de gegevens worden vergezeld. De informatie in de beoordeling stemt niet overeen met de gegevens in de begeleidende tabel. Zo wordt in de tekst beweerd dat de eenheidskosten grosso modo lager uitvielen voor werklozen en jonge werklozen, ongeveer 6 000 euro per actieve werkkracht beliepen, en — in uiteenlopende mate — veel hoger waren voor gehandicapten en langdurig werklozen (74). Maar volgens de tabel zijn de eenheidskosten voor de opleiding van werklozen het hoogst (6 000 euro) en die voor de integratie van gehandicapten het laagst (4 000 euro). Verder is het gebruikelijk, de marges van de variatie op te geven wanneer er sprake is van een zogeheten „grote variatie” tussen en binnen de programma’s. De analyse in deze afdeling is van beperkte waarde omdat daarbij al te zeer een enkel getal in aanmerking wordt genomen en geen relevant scala van waarden die een meer alomvattende analyse oplevert van de marges die in de diverse onderzochte gevallen zijn aangetroffen.

| 87. | Deze discrepantie tussen de bespreking en de verstrekte cijfers komt in andere delen van hoofdstuk 3 voor (zie tekstvak 3 voor voorbeelden).

  Tekstvak 3Zo wordt verklaard dat de uitgaven per hoofd van de bevolking uit het ESF het hoogst waren in Ierland, Portugal en Griekenland (landen waarop doelstelling 1 geheel van toepassing is) en in Spanje (1). Niettemin geeft tabel 3.1 voor Portugal 2 086 euro per hoofd per jaar aan ESF-uitgaven te zien en voor Duitsland 405 euro, terwijl voor Ierland 12 euro en voor Griekenland 17 euro zijn opgegeven. De cijfers in de tabel komen duidelijk niet overeen met de bespreking in de tekst. Nog significanter is de bewering dat de ESF-uitgaven voor onderwijs op nationaal gebied in alle landen lager uitvielen dan de relatieve uitgaven voor AAMB. Het hoogst waren ze in Griekenland en Portugal (2). Niettemin worden voor Griekenland geen ESF-uitgaven opgegeven in de kolom van tabel 3.1 die betrekking heeft op ESF-uitgaven voor onderwijs in verhouding tot nationale uitgaven.Zo wordt in paragraaf 3.2.3 beweerd (3) dat de nationale uitgaven voor opleiding voor de arbeidsmarkt, in verhouding tot het bnp, varieerde van 0,2 % in Luxemburg tot 0,58 % in Zweden (4). Toch geeft tabel 3.3 voor de opleidingsuitgaven in Denemarken 0,94 % van het bnp te zien, bijna tweemaal het Zweedse cijfer. Een ander voorbeeld vormt paragraaf 3.2.6 (5), met betrekking tot de uitgaven voor de integratie van gehandicapten. In de tekst wordt beweerd dat de ESF-uitgaven vooral in Portugal, Spanje, Griekenland en Oostenrijk bijzonder hoog waren. Maar in tabel 3.6 worden voor Spanje en Griekenland geen uitgaven voor gehandicapten opgegeven. Nog een voorbeeld is aan te treffen in paragraaf 3.2.7 over de uitgaven voor onderwijs. Daar wordt beweerd dat de ESF-bijdrage het grootst was in Griekenland, Ierland en Portugal (6). Niettemin worden voor Griekenland in tabel 3.7 geen ESF-uitgaven voor onderwijs en opleiding vermeld.Syntheseverslag: (1) blz. 78; (2) blz. 79; (3) blz. 81; (4) blz. 81; (5) blz. 84; (6) blz. 85. |
| --- | --- |

87.

Deze discrepantie tussen de bespreking en de verstrekte cijfers komt in andere delen van hoofdstuk 3 voor (zie tekstvak 3 voor voorbeelden).

Tekstvak 3Zo wordt verklaard dat de uitgaven per hoofd van de bevolking uit het ESF het hoogst waren in Ierland, Portugal en Griekenland (landen waarop doelstelling 1 geheel van toepassing is) en in Spanje (1). Niettemin geeft tabel 3.1 voor Portugal 2 086 euro per hoofd per jaar aan ESF-uitgaven te zien en voor Duitsland 405 euro, terwijl voor Ierland 12 euro en voor Griekenland 17 euro zijn opgegeven. De cijfers in de tabel komen duidelijk niet overeen met de bespreking in de tekst. Nog significanter is de bewering dat de ESF-uitgaven voor onderwijs op nationaal gebied in alle landen lager uitvielen dan de relatieve uitgaven voor AAMB. Het hoogst waren ze in Griekenland en Portugal (2). Niettemin worden voor Griekenland geen ESF-uitgaven opgegeven in de kolom van tabel 3.1 die betrekking heeft op ESF-uitgaven voor onderwijs in verhouding tot nationale uitgaven.Zo wordt in paragraaf 3.2.3 beweerd (3) dat de nationale uitgaven voor opleiding voor de arbeidsmarkt, in verhouding tot het bnp, varieerde van 0,2 % in Luxemburg tot 0,58 % in Zweden (4). Toch geeft tabel 3.3 voor de opleidingsuitgaven in Denemarken 0,94 % van het bnp te zien, bijna tweemaal het Zweedse cijfer. Een ander voorbeeld vormt paragraaf 3.2.6 (5), met betrekking tot de uitgaven voor de integratie van gehandicapten. In de tekst wordt beweerd dat de ESF-uitgaven vooral in Portugal, Spanje, Griekenland en Oostenrijk bijzonder hoog waren. Maar in tabel 3.6 worden voor Spanje en Griekenland geen uitgaven voor gehandicapten opgegeven. Nog een voorbeeld is aan te treffen in paragraaf 3.2.7 over de uitgaven voor onderwijs. Daar wordt beweerd dat de ESF-bijdrage het grootst was in Griekenland, Ierland en Portugal (6). Niettemin worden voor Griekenland in tabel 3.7 geen ESF-uitgaven voor onderwijs en opleiding vermeld.Syntheseverslag: (1) blz. 78; (2) blz. 79; (3) blz. 81; (4) blz. 81; (5) blz. 84; (6) blz. 85.

Beoordeling van het effect van de ESF-acties

| 88. | Aan de evaluatoren die aan de studie deelnamen werd gevraagd, aan te geven of de onderzochte gevallen een aantal hypothesen onderbouwden of tegenspraken die waren geformuleerd op basis van een eerste studie van de literatuur en de bevindingen in de aanloopfase van de evaluatie. In de studie wordt verklaard dat er sterk bewijsmateriaal is ter onderbouwing van vier hypothesen (zie tabel 3
   (77)). De gepresenteerde gegevens onderbouwen echter niet de bewering inzake sterk bewijsmateriaal. Zo verklaarden slechts 7 van de 30 evaluatoren dat er sterk bewijsmateriaal voor de eerste hypothese was. Een objectievere evaluatie van deze resultaten was gewettigd geweest. |
| --- | --- |

88.

Aan de evaluatoren die aan de studie deelnamen werd gevraagd, aan te geven of de onderzochte gevallen een aantal hypothesen onderbouwden of tegenspraken die waren geformuleerd op basis van een eerste studie van de literatuur en de bevindingen in de aanloopfase van de evaluatie. In de studie wordt verklaard dat er sterk bewijsmateriaal is ter onderbouwing van vier hypothesen (zie tabel 3
   (77)). De gepresenteerde gegevens onderbouwen echter niet de bewering inzake sterk bewijsmateriaal. Zo verklaarden slechts 7 van de 30 evaluatoren dat er sterk bewijsmateriaal voor de eerste hypothese was. Een objectievere evaluatie van deze resultaten was gewettigd geweest.

Tabel 3

Opmerkingen over de hypothesen, bestudeerd in het onderzoek van de gevallen met effect op personen

| | Sterk bewijs-materiaal | Enig bewijs-materiaal | Geen bewijs-materiaal ter bevestiging of weer-legging | Enig bewijs-materiaal ter weerlegging | Sterk bewijs-materiaal ter weerlegging | Vooralsnog geen oordeel |
| --- | --- | --- | --- | --- | --- | --- |
| 1. | Het bereikte effect houdt verband met de onderliggende nationale en regionale marktvoorwaarden (de resultaten hangen bijvoorbeeld af van de economische cyclus en het niveau van de vraag en de werkloosheid). |

Sterk bewijs-materiaal

Enig bewijs-materiaal

Geen bewijs-materiaal ter bevestiging of weer-legging

Enig bewijs-materiaal ter weerlegging

Sterk bewijs-materiaal ter weerlegging

Vooralsnog geen oordeel

1.

Het bereikte effect houdt verband met de onderliggende nationale en regionale marktvoorwaarden (de resultaten hangen bijvoorbeeld af van de economische cyclus en het niveau van de vraag en de werkloosheid).

7

14

8

0

1

0

| 2. | Het bereikte effect houdt verband met de kenmerken van de doelgroepen van begunstigden (opleidingsmaatregelen zijn bijvoorbeeld doeltreffender voor vrouwen die herintreden op de arbeidsmarkt en voor opgeleide immigranten dan voor laaggeschoolde arbeiders en jongeren). |
| --- | --- |

2.

Het bereikte effect houdt verband met de kenmerken van de doelgroepen van begunstigden (opleidingsmaatregelen zijn bijvoorbeeld doeltreffender voor vrouwen die herintreden op de arbeidsmarkt en voor opgeleide immigranten dan voor laaggeschoolde arbeiders en jongeren).

8

18

3

0

0

1

| 3. | Het bereikte effect houdt verband met het soort maatregel. Sommige maatregelen vertonen een hoge mate van deadweight en andere zijn doeltreffend op kleine schaal maar bieden geen algemene oplossingen. |
| --- | --- |

3.

Het bereikte effect houdt verband met het soort maatregel. Sommige maatregelen vertonen een hoge mate van deadweight en andere zijn doeltreffend op kleine schaal maar bieden geen algemene oplossingen.

5

17

6

1

0

1

| 4. | Het bereikte effect houdt nauw verband met het aspect structuur en beheer van de programma’s, met inbegrip van de kwaliteit van de analysen die de precieze reikwijdte van de acties bepalen (zo kunnen kleinschalige doelgerichte programma’s effectiever zijn dan grootschalige programma’s). |
| --- | --- |

4.

Het bereikte effect houdt nauw verband met het aspect structuur en beheer van de programma’s, met inbegrip van de kwaliteit van de analysen die de precieze reikwijdte van de acties bepalen (zo kunnen kleinschalige doelgerichte programma’s effectiever zijn dan grootschalige programma’s).

3

17

7

1

0

1

Evaluatie van het gelijkekansenbeleid

| 89. | De taakomschrijving met betrekking tot het effect van ESF 1994-1999 schreef ook een evaluatie voor van de mate waarin de ESF-acties de doelstelling „gelijke kansen” (78) bevorderen. Dit aspect wordt behandeld in hoofdstuk 7 van het verslag. Daar wordt echter beweerd dat volgens een belangrijke bevinding niet stelselmatig voor elke ESF-doelstelling en communautair initiatief in de hele EU naar geslacht uitgesplitste gegevens worden verzameld (79). Daardoor wordt de mogelijkheid om met deze studie dit onderwerp te evalueren aanzienlijk ingeperkt. Het valt moeilijk, dit resultaat als belangrijke bevinding van het verslag te beschouwen, aangezien deze tekortkoming reeds uit een voorafgaande analyse had moeten blijken, waarna met veldwerk en steekproefneming deze beperking had moeten worden verholpen, in plaats van eenvoudigweg te concluderen dat er geen uitgesplitste gegevens beschikbaar zijn. |
| --- | --- |

89.

De taakomschrijving met betrekking tot het effect van ESF 1994-1999 schreef ook een evaluatie voor van de mate waarin de ESF-acties de doelstelling „gelijke kansen” (78) bevorderen. Dit aspect wordt behandeld in hoofdstuk 7 van het verslag. Daar wordt echter beweerd dat volgens een belangrijke bevinding niet stelselmatig voor elke ESF-doelstelling en communautair initiatief in de hele EU naar geslacht uitgesplitste gegevens worden verzameld (79). Daardoor wordt de mogelijkheid om met deze studie dit onderwerp te evalueren aanzienlijk ingeperkt. Het valt moeilijk, dit resultaat als belangrijke bevinding van het verslag te beschouwen, aangezien deze tekortkoming reeds uit een voorafgaande analyse had moeten blijken, waarna met veldwerk en steekproefneming deze beperking had moeten worden verholpen, in plaats van eenvoudigweg te concluderen dat er geen uitgesplitste gegevens beschikbaar zijn.

Andere onderzochte aspecten

| 90. | Wat betreft het effect van ESF-acties op personen zijn de „gecombineerde maatregelen” (80), ondanks het grote percentage daaraan toegewezen ESF-middelen (18 %), niet specifiek onderzocht. De conclusies van het syntheseverslag zijn dan ook tamelijk bescheiden en luiden dat het meeste evaluatiewerk wijst op positieve resultaten, maar dat de evaluatiemethoden vaak gericht zijn op die bestanddelen van de programma’s die het doeltreffendst zijn, en niet op de beoordeling van de prestaties van gecombineerde maatregelen in vergelijking met bijstandsverlening via één enkele maatregel (81). |
| --- | --- |

90.

Wat betreft het effect van ESF-acties op personen zijn de „gecombineerde maatregelen” (80), ondanks het grote percentage daaraan toegewezen ESF-middelen (18 %), niet specifiek onderzocht. De conclusies van het syntheseverslag zijn dan ook tamelijk bescheiden en luiden dat het meeste evaluatiewerk wijst op positieve resultaten, maar dat de evaluatiemethoden vaak gericht zijn op die bestanddelen van de programma’s die het doeltreffendst zijn, en niet op de beoordeling van de prestaties van gecombineerde maatregelen in vergelijking met bijstandsverlening via één enkele maatregel (81).

| 91. | Wat betreft het effect van het actieve arbeidsmarktbeleid — AAMB, vooral ten aanzien van de landen van doelstelling 1, worden in het syntheseverslag enige conclusies getrokken zonder dat afdoende wordt verklaard waarop ze zijn gebaseerd. |
| --- | --- |

91.

Wat betreft het effect van het actieve arbeidsmarktbeleid — AAMB, vooral ten aanzien van de landen van doelstelling 1, worden in het syntheseverslag enige conclusies getrokken zonder dat afdoende wordt verklaard waarop ze zijn gebaseerd.

| 92. | Wat betreft de relatieve financiële bijdrage van het ESF concludeert het syntheseverslag (82) dat de gecombineerde toewijzing van nationale en ESF-middelen niet lijkt te hebben geleid tot een convergentie van de uitgavenpatronen van de landen, en evenmin tot de vaststelling van normen die de specifieke economische en arbeidsmarktvoorwaarden in verband brengen met de toewijzing van middelen (83). Hoe deze conclusie kan worden staande gehouden is gelet op het aantal fouten in de desbetreffende tabellen en/of fouten in de toelichting moeilijk in te zien. Evenzo luidt een andere belangrijke conclusie in dit gedeelte van het verslag dat de omstandigheden doen vermoeden dat waarschijnlijk niet alle bijstandsverlening uit het ESF additioneel is geweest. Additionaliteit, in de zin dat de uit het ESF gecofinancierde bijstandsverlening anders waarschijnlijk niet zou hebben plaatsgevonden, heeft zich met grotere waarschijnlijkheid voorgedaan waar de ESF-middelen uitsluitend gericht waren op bijzondere types van bijstandsverlening en waar de daarmee samenhangende nationale uitgaven en programma’s vrij klein waren, en minder ontwikkeld in vergelijking met landen met soortgelijke arbeidsmarktvoorwaarden. Ook hier is moeilijk te zien hoe deze conclusie voortvloeit uit het in dit hoofdstuk gepresenteerde bewijsmateriaal, te meer daar er tussen de analyse en de in de tabellen verstrekte gegevens geen overeenstemming bestaat. |
| --- | --- |

92.

Wat betreft de relatieve financiële bijdrage van het ESF concludeert het syntheseverslag (82) dat de gecombineerde toewijzing van nationale en ESF-middelen niet lijkt te hebben geleid tot een convergentie van de uitgavenpatronen van de landen, en evenmin tot de vaststelling van normen die de specifieke economische en arbeidsmarktvoorwaarden in verband brengen met de toewijzing van middelen (83). Hoe deze conclusie kan worden staande gehouden is gelet op het aantal fouten in de desbetreffende tabellen en/of fouten in de toelichting moeilijk in te zien. Evenzo luidt een andere belangrijke conclusie in dit gedeelte van het verslag dat de omstandigheden doen vermoeden dat waarschijnlijk niet alle bijstandsverlening uit het ESF additioneel is geweest. Additionaliteit, in de zin dat de uit het ESF gecofinancierde bijstandsverlening anders waarschijnlijk niet zou hebben plaatsgevonden, heeft zich met grotere waarschijnlijkheid voorgedaan waar de ESF-middelen uitsluitend gericht waren op bijzondere types van bijstandsverlening en waar de daarmee samenhangende nationale uitgaven en programma’s vrij klein waren, en minder ontwikkeld in vergelijking met landen met soortgelijke arbeidsmarktvoorwaarden. Ook hier is moeilijk te zien hoe deze conclusie voortvloeit uit het in dit hoofdstuk gepresenteerde bewijsmateriaal, te meer daar er tussen de analyse en de in de tabellen verstrekte gegevens geen overeenstemming bestaat.

| 93. | Wat betreft de hypothesen over het effect van het ESF op de systemen, rijst er een probleem dat te vergelijken is met het hiervoor beschreven probleem. Ditmaal wordt beweerd dat er sterk bewijsmateriaal is ter onderbouwing van zeven hypothesen (84). Uit een analyse van de gepresenteerde gegevens blijkt echter ook dat de conclusie niet gewettigd is. |
| --- | --- |

93.

Wat betreft de hypothesen over het effect van het ESF op de systemen, rijst er een probleem dat te vergelijken is met het hiervoor beschreven probleem. Ditmaal wordt beweerd dat er sterk bewijsmateriaal is ter onderbouwing van zeven hypothesen (84). Uit een analyse van de gepresenteerde gegevens blijkt echter ook dat de conclusie niet gewettigd is.

Bespreking van de algemene beoordeling door de Commissie

| 94. | Al kan aan de knelpunten waarmee de beoordelaars te maken kregen het nodige gewicht worden gegeven, toch moet het volgende kritische commentaar worden gegeven op de beoordeling van de Commissie zelf van de evaluatie achteraf, waarvan de algemene conclusie bevredigend luidde. |
| --- | --- |

94.

Al kan aan de knelpunten waarmee de beoordelaars te maken kregen het nodige gewicht worden gegeven, toch moet het volgende kritische commentaar worden gegeven op de beoordeling van de Commissie zelf van de evaluatie achteraf, waarvan de algemene conclusie bevredigend luidde.

| 95. | De evaluatie van het verslag door DG EMPL is gebaseerd op acht prestatiecriteria en vier mogelijke kwaliteitsniveaus, namelijk: uitstekend, goed, aanvaardbaar en onaanvaardbaar. Geen der toegepaste criteria leverde de beoordeling „uitstekend” of „onaanvaardbaar” op. Viermaal luidt het oordeel „goed”. Het betreft dan: voorzien in de behoeften, relevante reikwijdte, verdedigbare opzet en duidelijke verslaglegging. Voor de vier overige criteria luidde het oordeel „aanvaardbaar”; het betrof betrouwbare gegevens, deugdelijke analyse, geloofwaardige resultaten en onpartijdige conclusies. |
| --- | --- |

95.

De evaluatie van het verslag door DG EMPL is gebaseerd op acht prestatiecriteria en vier mogelijke kwaliteitsniveaus, namelijk: uitstekend, goed, aanvaardbaar en onaanvaardbaar. Geen der toegepaste criteria leverde de beoordeling „uitstekend” of „onaanvaardbaar” op. Viermaal luidt het oordeel „goed”. Het betreft dan: voorzien in de behoeften, relevante reikwijdte, verdedigbare opzet en duidelijke verslaglegging. Voor de vier overige criteria luidde het oordeel „aanvaardbaar”; het betrof betrouwbare gegevens, deugdelijke analyse, geloofwaardige resultaten en onpartijdige conclusies.

| 96. | Het is tekenend dat DG EMPL de laatste vier criteria minder gunstig beoordeelde dan de eerste vier. Gezien de in dit verslag benadrukte problemen met de betrouwbaarheid van de gegevens en de inconsequenties in de toelichting daarop, acht de Rekenkamer het evaluatieverslag onbevredigend, vooral ten aanzien van betrouwbare gegevens, deugdelijke analyse, geloofwaardige resultaten en onpartijdige conclusies. |
| --- | --- |

96.

Het is tekenend dat DG EMPL de laatste vier criteria minder gunstig beoordeelde dan de eerste vier. Gezien de in dit verslag benadrukte problemen met de betrouwbaarheid van de gegevens en de inconsequenties in de toelichting daarop, acht de Rekenkamer het evaluatieverslag onbevredigend, vooral ten aanzien van betrouwbare gegevens, deugdelijke analyse, geloofwaardige resultaten en onpartijdige conclusies.

Overige uit de nationale verslagen verkregen inzichten

| 97. | Met betrekking tot de doelstellingen en resultaten van de evaluatie kunnen ook een aantal pertinente opmerkingen worden gemaakt op basis van de nationale evaluatieverslagen:






  a) | de evaluatieresultaten met betrekking tot het effect op personen waren vaak kwalitatief van aard; de mate van deadweight werd niet altijd geschat; |
| --- | --- | --- |

97.

Met betrekking tot de doelstellingen en resultaten van de evaluatie kunnen ook een aantal pertinente opmerkingen worden gemaakt op basis van de nationale evaluatieverslagen:

a)

de evaluatieresultaten met betrekking tot het effect op personen waren vaak kwalitatief van aard; de mate van deadweight werd niet altijd geschat;

| b) | aspecten van het effect die eerder kwalitatief van aard waren (85), de zogeheten soft outcomes, zijn niet stelselmatig onderzocht; |
| --- | --- |

b)

aspecten van het effect die eerder kwalitatief van aard waren (85), de zogeheten soft outcomes, zijn niet stelselmatig onderzocht;

| c) | behalve bij geïntegreerde of gemengde benaderingen kunnen uit de evaluaties niet veel algemene conclusies over de prestaties van de afzonderlijke maatregelen worden getrokken; |
| --- | --- |

c)

behalve bij geïntegreerde of gemengde benaderingen kunnen uit de evaluaties niet veel algemene conclusies over de prestaties van de afzonderlijke maatregelen worden getrokken;

| d) | belangrijke factoren, zoals de bijdrage tot duurzame ontwikkeling en de sociaaleconomische cohesie zijn niet systematisch beoordeeld; |
| --- | --- |

d)

belangrijke factoren, zoals de bijdrage tot duurzame ontwikkeling en de sociaaleconomische cohesie zijn niet systematisch beoordeeld;

| e) | over doelgroepen zoals de langdurig werklozen en werkzoekende jongeren zijn niet stelselmatig specifieke conclusies opgenomen in de evaluatie van de gecofinancierde maatregelen; |
| --- | --- |

e)

over doelgroepen zoals de langdurig werklozen en werkzoekende jongeren zijn niet stelselmatig specifieke conclusies opgenomen in de evaluatie van de gecofinancierde maatregelen;

| f) | slechts in een paar gevallen konden de verwachtingen met de resultaten worden vergeleken; de evaluatie werd doorgaans belemmerd door het gebrek aan specifieke initiële doelstellingen en indicatoren en het ontbreken van nauwkeurige informatie; |
| --- | --- |

f)

slechts in een paar gevallen konden de verwachtingen met de resultaten worden vergeleken; de evaluatie werd doorgaans belemmerd door het gebrek aan specifieke initiële doelstellingen en indicatoren en het ontbreken van nauwkeurige informatie;

| g) | met de complementariteit tussen het ESF en andere acties is slechts zelden rekening gehouden om sommige resultaten te verklaren. De betekenis van de stijging in de productiviteit van afzonderlijke ESF-begunstigden, vertaald als voordelen voor de firma’s waarvoor zij werken, werd vrijwel nooit rechtstreeks bestudeerd. |
| --- | --- |

g)

met de complementariteit tussen het ESF en andere acties is slechts zelden rekening gehouden om sommige resultaten te verklaren. De betekenis van de stijging in de productiviteit van afzonderlijke ESF-begunstigden, vertaald als voordelen voor de firma’s waarvoor zij werken, werd vrijwel nooit rechtstreeks bestudeerd.

| 98. | De geselecteerde nationale verslagen geven niet altijd een grondige analyse van het effect van de bijstandsverlening uit het ESF op het nationale beleid. Meestal suggereren ze echter dat het ESF een effect had op de ontwikkeling van de AAMB’s, en in sommige gevallen werd een concreet, rechtstreeks effect geconstateerd. In een aantal andere gevallen werd echter een ander oordeel geveld, namelijk dat het moeilijk is, aan te tonen dat het ESF tot veranderingen in de AAMB’s heeft geleid. |
| --- | --- |

98.

De geselecteerde nationale verslagen geven niet altijd een grondige analyse van het effect van de bijstandsverlening uit het ESF op het nationale beleid. Meestal suggereren ze echter dat het ESF een effect had op de ontwikkeling van de AAMB’s, en in sommige gevallen werd een concreet, rechtstreeks effect geconstateerd. In een aantal andere gevallen werd echter een ander oordeel geveld, namelijk dat het moeilijk is, aan te tonen dat het ESF tot veranderingen in de AAMB’s heeft geleid.

| 99. | Elk nationaal evaluatieverslag en het syntheseverslag beschrijven min of meer uitgebreid de effecten op de systemen wat betreft de werkgelegenheidsdiensten, basisonderwijs en -opleiding, voortgezet onderwijs en voortgezette opleiding, accrediteringssystemen en mechanismen voor het anticiperen van behoeften. Het effect op systemen betrof vaak een meer specifieke beleidscontext. Het was doorgaans moeilijk het netto-effect van de ESF-acties te bepalen (86); slechts in uitzonderingsgevallen was het netto-effect doeltreffend afgebakend (87). |
| --- | --- |

99.

Elk nationaal evaluatieverslag en het syntheseverslag beschrijven min of meer uitgebreid de effecten op de systemen wat betreft de werkgelegenheidsdiensten, basisonderwijs en -opleiding, voortgezet onderwijs en voortgezette opleiding, accrediteringssystemen en mechanismen voor het anticiperen van behoeften. Het effect op systemen betrof vaak een meer specifieke beleidscontext. Het was doorgaans moeilijk het netto-effect van de ESF-acties te bepalen (86); slechts in uitzonderingsgevallen was het netto-effect doeltreffend afgebakend (87).

| 100. | Wat betreft de Europese werkgelegenheidsstrategie wezen de evaluatierapporten op de gunstige invloed van het ESF in een aantal lidstaten, zoals Griekenland, Frankrijk, Italië, Portugal en Spanje. Ten aanzien van Duitsland werd echter geconstateerd dat de top-downaanpak waarmee de Europese werkgelegenheidsstrategie (EWS) gepaard gaat wel eens zou kunnen botsen met de bottom-upaanpak van het ESF (88). Meer in het algemeen concludeert het syntheseverslag dat de EWS voor een sterker strategisch kader heeft gezorgd waarbinnen ESF-acties kunnen worden geprogrammeerd (89). |
| --- | --- |

100.

Wat betreft de Europese werkgelegenheidsstrategie wezen de evaluatierapporten op de gunstige invloed van het ESF in een aantal lidstaten, zoals Griekenland, Frankrijk, Italië, Portugal en Spanje. Ten aanzien van Duitsland werd echter geconstateerd dat de top-downaanpak waarmee de Europese werkgelegenheidsstrategie (EWS) gepaard gaat wel eens zou kunnen botsen met de bottom-upaanpak van het ESF (88). Meer in het algemeen concludeert het syntheseverslag dat de EWS voor een sterker strategisch kader heeft gezorgd waarbinnen ESF-acties kunnen worden geprogrammeerd (89).

| 101. | Tot de communautaire meerwaarde hebben de nationale evaluatieverslagen met enige relevante resultaten bijgedragen (90), hoewel sommige gespecificeerde vragen in een aantal nationale verslagen niet zijn behandeld. |
| --- | --- |

101.

Tot de communautaire meerwaarde hebben de nationale evaluatieverslagen met enige relevante resultaten bijgedragen (90), hoewel sommige gespecificeerde vragen in een aantal nationale verslagen niet zijn behandeld.

| 102. | De financiële gevolgen van beleidskeuzen zijn zelden in detail behandeld. Het syntheseverslag bevat voor sommige maatregelen een berekening van de kosten per eenheid, zij het op basis van ontoereikende gegevens. Wanneer kostenkwesties werden behandeld, bleken de bevindingen potentieel ernstig en was nadere analyse geboden. Zo zou het feit dat in Spanje de middelen dankzij het ESF ongeveer zijn verdubbeld volgens sommige experts tot verspilling van grote bedragen hebben geleid. De grotere middelenstroom is niet zozeer gebruikt voor de invoering van nieuwe maatregelen, als wel ter uitbreiding van de acties. Evenzo wordt voor Italië beweerd dat met het ESF aanzienlijke transactiekosten gepaard zijn gegaan, waarbij wordt verwezen naar kwesties van uitvoering en kosten in verband met partnerschapsopbouw en nieuwe beheersmethoden (91). |
| --- | --- |

102.

De financiële gevolgen van beleidskeuzen zijn zelden in detail behandeld. Het syntheseverslag bevat voor sommige maatregelen een berekening van de kosten per eenheid, zij het op basis van ontoereikende gegevens. Wanneer kostenkwesties werden behandeld, bleken de bevindingen potentieel ernstig en was nadere analyse geboden. Zo zou het feit dat in Spanje de middelen dankzij het ESF ongeveer zijn verdubbeld volgens sommige experts tot verspilling van grote bedragen hebben geleid. De grotere middelenstroom is niet zozeer gebruikt voor de invoering van nieuwe maatregelen, als wel ter uitbreiding van de acties. Evenzo wordt voor Italië beweerd dat met het ESF aanzienlijke transactiekosten gepaard zijn gegaan, waarbij wordt verwezen naar kwesties van uitvoering en kosten in verband met partnerschapsopbouw en nieuwe beheersmethoden (91).

Geschiktheid van het kader voor de evaluatie

| 103. | De volgende grote evaluatiethema’s zijn gespecificeerd in de taakomschrijving: de voornaamste kenmerken en verwezenlijkingen van de programmeringsperiode 1994-1999; het effect van het ESF op het nationaal beleid en de doeltreffendheid en het effect van de ESF-acties op personen en systemen. |
| --- | --- |

103.

De volgende grote evaluatiethema’s zijn gespecificeerd in de taakomschrijving: de voornaamste kenmerken en verwezenlijkingen van de programmeringsperiode 1994-1999; het effect van het ESF op het nationaal beleid en de doeltreffendheid en het effect van de ESF-acties op personen en systemen.

| 104. | De Commissie heeft een methodologierapport opgesteld, en een jaar later gepubliceerd, met een kritische beoordeling van de methodologieën die worden gehanteerd bij de beoordeling van de resultaten en van het effect op personen en systemen. Dit verslag had ten doel, de weg te effenen voor toekomstige evaluaties, maar het is de vraag of deze doelstelling werkelijk is bereikt. Het verslag kent diverse gebreken. De voorbereiding was niet gebaseerd op een voldoende grondig onderzoek van de gekozen benaderingen bij de beoordeling van het netto-effect op personen. Wat betreft de beoordeling van het effect op systemen wordt een model voor de classificatie van ESF-uitgaven en van het verwachte inherente effect daarvan voorgesteld (capaciteit, bekwaamheid en reactiviteit) (92), hoewel sommige kwesties nog moeten worden aangepakt (zie blz. 35 van het verslag). |
| --- | --- |

104.

De Commissie heeft een methodologierapport opgesteld, en een jaar later gepubliceerd, met een kritische beoordeling van de methodologieën die worden gehanteerd bij de beoordeling van de resultaten en van het effect op personen en systemen. Dit verslag had ten doel, de weg te effenen voor toekomstige evaluaties, maar het is de vraag of deze doelstelling werkelijk is bereikt. Het verslag kent diverse gebreken. De voorbereiding was niet gebaseerd op een voldoende grondig onderzoek van de gekozen benaderingen bij de beoordeling van het netto-effect op personen. Wat betreft de beoordeling van het effect op systemen wordt een model voor de classificatie van ESF-uitgaven en van het verwachte inherente effect daarvan voorgesteld (capaciteit, bekwaamheid en reactiviteit) (92), hoewel sommige kwesties nog moeten worden aangepakt (zie blz. 35 van het verslag).

| 105. | In het methodologierapport zijn in het kader van de methoden voor de evaluatie van het beleid en de strategie op het gebied van het ESF (93), geen concrete aanbevelingen gedaan wat betreft beleidsanalyse. Het verslag verwijst slechts naar MEANS. Ook werd er niet verwezen naar de aanpak die moet worden gevolgd bij de selectie van geschikte indicatoren op de verschillende strategische niveaus. |
| --- | --- |

105.

In het methodologierapport zijn in het kader van de methoden voor de evaluatie van het beleid en de strategie op het gebied van het ESF (93), geen concrete aanbevelingen gedaan wat betreft beleidsanalyse. Het verslag verwijst slechts naar MEANS. Ook werd er niet verwezen naar de aanpak die moet worden gevolgd bij de selectie van geschikte indicatoren op de verschillende strategische niveaus.

| 106. | Opgemerkt moet worden dat de relevante elementen voor sommige evaluatietaken in de taakomschrijving niet altijd duidelijk worden gespecificeerd. Bijvoorbeeld: de beschrijving van de taken wat betreft doeltreffendheid is tamelijk abstract, voornamelijk ten aanzien van de onderliggende concepten, de selectie van mechanismen voor het meten van het effect en de te hanteren evaluatietechnieken. Met name is geen concrete indicatie gegeven betreffende de methoden om het directe effect op personen uit de resultaten van de activiteiten in de verschillende lidstaten te extrapoleren naar het EU-niveau. Bij de formulering van de taken is onvoldoende rekening gehouden met de mogelijke wanverhouding tussen kwantitatieve doelstellingen en de beschikbare gegevens. Verder is er geen concrete actie gepland om het effect op personen te evalueren wanneer de indicatoren niet concreet zijn vastgesteld, of wanneer recentelijk geen specifieke statistische evaluaties zijn uitgevoerd. Ook de andere methodologische documenten, samengesteld na de taakomschrijving, bevatten niet de nodige toelichting. |
| --- | --- |

106.

Opgemerkt moet worden dat de relevante elementen voor sommige evaluatietaken in de taakomschrijving niet altijd duidelijk worden gespecificeerd. Bijvoorbeeld: de beschrijving van de taken wat betreft doeltreffendheid is tamelijk abstract, voornamelijk ten aanzien van de onderliggende concepten, de selectie van mechanismen voor het meten van het effect en de te hanteren evaluatietechnieken. Met name is geen concrete indicatie gegeven betreffende de methoden om het directe effect op personen uit de resultaten van de activiteiten in de verschillende lidstaten te extrapoleren naar het EU-niveau. Bij de formulering van de taken is onvoldoende rekening gehouden met de mogelijke wanverhouding tussen kwantitatieve doelstellingen en de beschikbare gegevens. Verder is er geen concrete actie gepland om het effect op personen te evalueren wanneer de indicatoren niet concreet zijn vastgesteld, of wanneer recentelijk geen specifieke statistische evaluaties zijn uitgevoerd. Ook de andere methodologische documenten, samengesteld na de taakomschrijving, bevatten niet de nodige toelichting.

| 107. | De veranderingen in de programmering zijn niet altijd goed onderzocht. Zo is dit onderwerp niet behandeld in de studies over Noord-Ierland, Merseyside en Spanje. Zelfs wanneer veranderingen in de programmering zijn aangegeven, zijn ze verre van optimaal behandeld. In sommige gevallen heeft de evaluator geen duidelijke beoordeling gegeven van de relevante veranderingen en van de geschiktheid ervan (94). |
| --- | --- |

107.

De veranderingen in de programmering zijn niet altijd goed onderzocht. Zo is dit onderwerp niet behandeld in de studies over Noord-Ierland, Merseyside en Spanje. Zelfs wanneer veranderingen in de programmering zijn aangegeven, zijn ze verre van optimaal behandeld. In sommige gevallen heeft de evaluator geen duidelijke beoordeling gegeven van de relevante veranderingen en van de geschiktheid ervan (94).

| 108. | De Commissie heeft vóór de evaluatie geen vluchtig of verkennend onderzoek verricht, waardoor zij de problemen die de evaluatoren hebben ondervonden moeilijker heeft kunnen voorzien. |
| --- | --- |

108.

De Commissie heeft vóór de evaluatie geen vluchtig of verkennend onderzoek verricht, waardoor zij de problemen die de evaluatoren hebben ondervonden moeilijker heeft kunnen voorzien.

| 109. | Er zijn geen duidelijke aanwijzingen dat de stuurgroep voldoende besef had van het gebrek aan beschikbare gegevens voor de nationale evaluatoren, of van het effect dat dit zou hebben op de kwaliteit van de definitieve evaluaties of de problemen met de vertragingen. De stuurgroep heeft geen corrigerende maatregelen getroffen om dit te verhelpen. |
| --- | --- |

109.

Er zijn geen duidelijke aanwijzingen dat de stuurgroep voldoende besef had van het gebrek aan beschikbare gegevens voor de nationale evaluatoren, of van het effect dat dit zou hebben op de kwaliteit van de definitieve evaluaties of de problemen met de vertragingen. De stuurgroep heeft geen corrigerende maatregelen getroffen om dit te verhelpen.

| 110. | Evenals bij de evaluatie voor doelstelling 1 moet het toezicht van de Commissie op het evaluatieproces worden verbeterd (zie paragraaf 75). |
| --- | --- |

110.

Evenals bij de evaluatie voor doelstelling 1 moet het toezicht van de Commissie op het evaluatieproces worden verbeterd (zie paragraaf 75).

Aanbevelingen tot besluit van de evaluatie

| 111. | Voor de meeste lidstaten betreffen de aanbevelingen die zijn afgeleid uit de beoordeling achteraf 1994-1999 hoofdzakelijk de beheerssystemen en -procedures. Ze houden verband met uiteenlopende kwesties en zijn doorgaans goed aangepast aan de specifieke situaties. |
| --- | --- |

111.

Voor de meeste lidstaten betreffen de aanbevelingen die zijn afgeleid uit de beoordeling achteraf 1994-1999 hoofdzakelijk de beheerssystemen en -procedures. Ze houden verband met uiteenlopende kwesties en zijn doorgaans goed aangepast aan de specifieke situaties.

| 112. | Minder vaak hadden de aanbevelingen voor 2000-2006 betrekking op de inhoud van het gecofinancierde beleid. Wanneer dergelijke aanbevelingen werden gedaan, lijken ze relevant (95). |
| --- | --- |

112.

Minder vaak hadden de aanbevelingen voor 2000-2006 betrekking op de inhoud van het gecofinancierde beleid. Wanneer dergelijke aanbevelingen werden gedaan, lijken ze relevant (95).

| 113. | Het syntheseverslag bevatte een lijst met sterke en zwakke punten voor elke doelstelling (96) en hoofdaanbevelingen voor de periode 2000-2006 en de periode na 2006 (97). Het betreft vrij algemene verklaringen die in bepaalde gevallen echter wel gegrond lijken, bijvoorbeeld waar wordt gewezen op de potentiële verschillen tussen EU-15 en EU-10 en de wijze waarop het beleid inspeelt op territoriale verschillen. |
| --- | --- |

113.

Het syntheseverslag bevatte een lijst met sterke en zwakke punten voor elke doelstelling (96) en hoofdaanbevelingen voor de periode 2000-2006 en de periode na 2006 (97). Het betreft vrij algemene verklaringen die in bepaalde gevallen echter wel gegrond lijken, bijvoorbeeld waar wordt gewezen op de potentiële verschillen tussen EU-15 en EU-10 en de wijze waarop het beleid inspeelt op territoriale verschillen.

CONCLUSIES

| 114. | Het evaluatieproces is van cruciaal belang wat betreft het verstrekken van informatie en oordelen over de geschiktheid, relevantie, zuinigheid, efficiëntie, doeltreffendheid en het effect van de bijstandsverlening van de EU. Zodoende kan het dienen ter onderbouwing van het besluitvormingsproces bij het stellen van politieke prioriteiten en het toewijzen van middelen. Maar wil het proces slagen, dan moet aan een aantal andere voorwaarden zijn voldaan, namelijk duidelijke doelstellingen voor beleidslijnen en programma’s, prestatie-indicatoren die op regelmatige basis zijn vastgelegd en die compleet, betrouwbaar en op de doelstellingen afgestemd zijn. Voorts moet ervoor worden gezorgd dat de beschikbare middelen voor de uitvoering van het proces zowel qua tijd als qua technische bekwaamheden zijn toegesneden op de doelstelling. |
| --- | --- |

114.

Het evaluatieproces is van cruciaal belang wat betreft het verstrekken van informatie en oordelen over de geschiktheid, relevantie, zuinigheid, efficiëntie, doeltreffendheid en het effect van de bijstandsverlening van de EU. Zodoende kan het dienen ter onderbouwing van het besluitvormingsproces bij het stellen van politieke prioriteiten en het toewijzen van middelen. Maar wil het proces slagen, dan moet aan een aantal andere voorwaarden zijn voldaan, namelijk duidelijke doelstellingen voor beleidslijnen en programma’s, prestatie-indicatoren die op regelmatige basis zijn vastgelegd en die compleet, betrouwbaar en op de doelstellingen afgestemd zijn. Voorts moet ervoor worden gezorgd dat de beschikbare middelen voor de uitvoering van het proces zowel qua tijd als qua technische bekwaamheden zijn toegesneden op de doelstelling.

| 115. | De Rekenkamer constateerde tijdens haar controle van de betrokken evaluaties achteraf een aantal ernstige tekortkomingen in de gekozen algemene aanpak en in de kwaliteit van de opgestelde beoordelingen:






  a) | de in de programmeringsperiode 1994-1999 gestelde doelen waren niet duidelijk en coherent; |
| --- | --- | --- |

115.

De Rekenkamer constateerde tijdens haar controle van de betrokken evaluaties achteraf een aantal ernstige tekortkomingen in de gekozen algemene aanpak en in de kwaliteit van de opgestelde beoordelingen:

a)

de in de programmeringsperiode 1994-1999 gestelde doelen waren niet duidelijk en coherent;

| b) | hoewel er weinig prestatie-indicatoren beschikbaar waren, werden er weinig maatregelen genomen om dit manco te verhelpen door bijvoorbeeld aanvullend cijfermateriaal te verzamelen; |
| --- | --- |

b)

hoewel er weinig prestatie-indicatoren beschikbaar waren, werden er weinig maatregelen genomen om dit manco te verhelpen door bijvoorbeeld aanvullend cijfermateriaal te verzamelen;

| c) | bijgevolg werd er niet altijd een geschikt evenwicht tussen kwantitatieve en kwalitatieve analyse bereikt; |
| --- | --- |

c)

bijgevolg werd er niet altijd een geschikt evenwicht tussen kwantitatieve en kwalitatieve analyse bereikt;

| d) | daardoor werden er conclusies getrokken die niet op adequate analyse berustten; |
| --- | --- |

d)

daardoor werden er conclusies getrokken die niet op adequate analyse berustten;

| e) | tegelijkertijd werd in de evaluatie niet altijd ingespeeld op een aantal thema’s die in een evaluatie achteraf aandacht verdienden, zoals deadweight, convergentie en de voorgestelde thema’s per lidstaat. |
| --- | --- |

e)

tegelijkertijd werd in de evaluatie niet altijd ingespeeld op een aantal thema’s die in een evaluatie achteraf aandacht verdienden, zoals deadweight, convergentie en de voorgestelde thema’s per lidstaat.

| 116. | Wat betreft de diverse thema’s van de evaluaties, kunnen over de evaluatie voor doelstelling 1 de volgende conclusies worden getrokken:






  a) | bij de beoordeling van de geschiktheid van de gekozen strategieën heeft de analyse te lijden van een aantal ernstige discrepanties in de gegevens, zoals gepubliceerd in het syntheseverslag, wat betreft de vergelijking tussen geplande en geschatte werkelijke uitgaven. Zelfs wanneer rekening wordt gehouden met gebreken in de beschikbare gegevens, had kunnen worden gepoogd, tot een diepgaandere analyse te komen die meer licht kon werpen op de investeringen uit de particuliere sector die verband houden met uitgaven van de SF’s; |
| --- | --- | --- |

116.

Wat betreft de diverse thema’s van de evaluaties, kunnen over de evaluatie voor doelstelling 1 de volgende conclusies worden getrokken:

a)

bij de beoordeling van de geschiktheid van de gekozen strategieën heeft de analyse te lijden van een aantal ernstige discrepanties in de gegevens, zoals gepubliceerd in het syntheseverslag, wat betreft de vergelijking tussen geplande en geschatte werkelijke uitgaven. Zelfs wanneer rekening wordt gehouden met gebreken in de beschikbare gegevens, had kunnen worden gepoogd, tot een diepgaandere analyse te komen die meer licht kon werpen op de investeringen uit de particuliere sector die verband houden met uitgaven van de SF’s;

| b) | het onderzoek van de doeltreffendheid miste gedegenheid, onder meer wegens een ontoereikende of ongeschikte analyse en het verzuim, rekening te houden met een aantal belangrijke en relevante conclusies in de thematische studies; |
| --- | --- |

b)

het onderzoek van de doeltreffendheid miste gedegenheid, onder meer wegens een ontoereikende of ongeschikte analyse en het verzuim, rekening te houden met een aantal belangrijke en relevante conclusies in de thematische studies;

| c) | het onderzoek van de efficiëntie bleef beperkt tot enige algemene opmerkingen, terwijl de evaluatiedoelstellingen, namelijk het vaststellen van kostenbenchmarks en het verbeteren van de kwaliteit van het beheer van grote projecten, niet werden bereikt; |
| --- | --- |

c)

het onderzoek van de efficiëntie bleef beperkt tot enige algemene opmerkingen, terwijl de evaluatiedoelstellingen, namelijk het vaststellen van kostenbenchmarks en het verbeteren van de kwaliteit van het beheer van grote projecten, niet werden bereikt;

| d) | wat betreft de evaluatie van het effect van de maatregelen was de evaluatie voornamelijk gebaseerd op het gebruik van samengevoegde macromodellen die een aantal beperkingen vertonen. Met het gehanteerde specifieke macro-economische model (HERMIN) konden niet de nodige aanpassingen worden gedaan om de eigen kenmerken van de geëvalueerde economieën in aanmerking te nemen (zoals het bestaan van een belangrijke toeristische sector). Bovendien waren er ernstige beperkingen in de schatting van sommige essentiële variabelen (zoals de keuze voor aanvullende gegevens uit studies van de economie van de Verenigde Staten voor de berekening van externe elasticiteiten, in plaats van actuele gegevens voor de betrokken Europese regio's, die niet beschikbaar waren). |
| --- | --- |

d)

wat betreft de evaluatie van het effect van de maatregelen was de evaluatie voornamelijk gebaseerd op het gebruik van samengevoegde macromodellen die een aantal beperkingen vertonen. Met het gehanteerde specifieke macro-economische model (HERMIN) konden niet de nodige aanpassingen worden gedaan om de eigen kenmerken van de geëvalueerde economieën in aanmerking te nemen (zoals het bestaan van een belangrijke toeristische sector). Bovendien waren er ernstige beperkingen in de schatting van sommige essentiële variabelen (zoals de keuze voor aanvullende gegevens uit studies van de economie van de Verenigde Staten voor de berekening van externe elasticiteiten, in plaats van actuele gegevens voor de betrokken Europese regio's, die niet beschikbaar waren).

De evaluatie voor doelstelling 3 was gedeeltelijk gebaseerd op onbetrouwbare of onvolledige gegevens, en de verstrekte gegevens weken sterk af van de toelichting daarop. Verder ontbrak het aan overtuigend bewijs voor sommige opgestelde hypothesen, hetgeen twijfel doet rijzen over de methoden waarmee ze tot stand zijn gekomen.

| 117. | Vele tekortkomingen van de evaluaties kunnen worden toegeschreven aan de omstandigheden waarin ze zijn uitgevoerd, met name de beperkte beschikbare informatie en de krappe tijdschema’s. Deze knelpunten hadden moeten worden voorzien, en de evaluaties hadden ofwel van de noodzakelijke middelen moeten worden voorzien, ofwel beperkt moeten blijven tot wat uitvoerbaar was. Voorts moet het toezicht van de Commissie op het evaluatieproces worden verbeterd. |
| --- | --- |

117.

Vele tekortkomingen van de evaluaties kunnen worden toegeschreven aan de omstandigheden waarin ze zijn uitgevoerd, met name de beperkte beschikbare informatie en de krappe tijdschema’s. Deze knelpunten hadden moeten worden voorzien, en de evaluaties hadden ofwel van de noodzakelijke middelen moeten worden voorzien, ofwel beperkt moeten blijven tot wat uitvoerbaar was. Voorts moet het toezicht van de Commissie op het evaluatieproces worden verbeterd.

| 118. | Toch hebben de evaluaties achteraf een aantal waardevolle inzichten opgeleverd, met name in de beheersystemen die ten grondslag liggen aan de bijstandsverlening uit de SF’s. Bij de verlangde diepgaande analyse van de doeltreffendheid, de efficiëntie en het effect van de middelen ondervond de Commissie echter ernstige moeilijkheden, grotendeels wegens beperkingen in de gekozen aanpak en in de beschikbaarheid van de gegevens. Laatstgenoemd knelpunt was niet voldoende voorzien bij het begin van de evaluaties. Bij deze problemen kwamen zekere gebreken in de supervisie van het evaluatieproces door de Commissie. Bijgevolg werden er weliswaar een aantal waardevolle en nuttige aanbevelingen gedaan ten behoeve van toekomstige programmeringsperioden, maar kon de Commissie niet ten volle profiteren van de ervaring met de programmeringsperiode 1994-1999. |
| --- | --- |

118.

Toch hebben de evaluaties achteraf een aantal waardevolle inzichten opgeleverd, met name in de beheersystemen die ten grondslag liggen aan de bijstandsverlening uit de SF’s. Bij de verlangde diepgaande analyse van de doeltreffendheid, de efficiëntie en het effect van de middelen ondervond de Commissie echter ernstige moeilijkheden, grotendeels wegens beperkingen in de gekozen aanpak en in de beschikbaarheid van de gegevens. Laatstgenoemd knelpunt was niet voldoende voorzien bij het begin van de evaluaties. Bij deze problemen kwamen zekere gebreken in de supervisie van het evaluatieproces door de Commissie. Bijgevolg werden er weliswaar een aantal waardevolle en nuttige aanbevelingen gedaan ten behoeve van toekomstige programmeringsperioden, maar kon de Commissie niet ten volle profiteren van de ervaring met de programmeringsperiode 1994-1999.

AANBEVELINGEN

| 119. | Er moet vrij dringend een nieuwe beoordeling van de reikwijdte, procedures en aanpak van de evaluaties achteraf komen, en wel voordat aan het eind van de huidige programmeringsperiode 2000-2006 de volgende reeks contracten voor evaluaties achteraf wordt gesloten. |
| --- | --- |

119.

Er moet vrij dringend een nieuwe beoordeling van de reikwijdte, procedures en aanpak van de evaluaties achteraf komen, en wel voordat aan het eind van de huidige programmeringsperiode 2000-2006 de volgende reeks contracten voor evaluaties achteraf wordt gesloten.

| 120. | Om het evaluatieproces te verbeteren moet de Commissie betere procedures voor de kwaliteitscontrole invoeren en effectief toepassen, zodat de problemen die met de besproken evaluaties zijn ondervonden bij toekomstige beoordelingen achteraf niet terugkeren. Dergelijke procedures moeten ervoor zorgen:






  a) | dat er regelmatig relevante en betrouwbare gegevens worden verzameld en in elk stadium van het evaluatieproces beschikbaar zijn; |
| --- | --- | --- |

120.

Om het evaluatieproces te verbeteren moet de Commissie betere procedures voor de kwaliteitscontrole invoeren en effectief toepassen, zodat de problemen die met de besproken evaluaties zijn ondervonden bij toekomstige beoordelingen achteraf niet terugkeren. Dergelijke procedures moeten ervoor zorgen:

a)

dat er regelmatig relevante en betrouwbare gegevens worden verzameld en in elk stadium van het evaluatieproces beschikbaar zijn;

| b) | dat de taakomschrijving adequaat is en voorziet in de toepassing van geschikte methodologieën en correcte procedures door de contractanten; |
| --- | --- |

b)

dat de taakomschrijving adequaat is en voorziet in de toepassing van geschikte methodologieën en correcte procedures door de contractanten;

| c) | dat voor de evaluatieprocessen de nodige middelen en tijd worden uitgetrokken; |
| --- | --- |

c)

dat voor de evaluatieprocessen de nodige middelen en tijd worden uitgetrokken;

| d) | dat er voldoende toezicht en supervisie door de Commissie is zodat de algemene kwaliteit van het proces kan worden gewaarborgd. |
| --- | --- |

d)

dat er voldoende toezicht en supervisie door de Commissie is zodat de algemene kwaliteit van het proces kan worden gewaarborgd.

| 121. | Ten tweede moet bijzondere aandacht uitgaan naar de keuze van geschikte technieken voor het vaststellen en meten van het economische effect. Indien een benadering met macro-economische modellen wordt gehanteerd om het effect van de Structuurfondsen te analyseren, moet deze worden aangepast om de kenmerken van de bestudeerde economieën in aanmerking te nemen. Deze beschouwing is met name relevant wanneer een evaluatie zal moeten worden uitgebreid tot de tien nieuwe lidstaten. In dit licht is de Rekenkamer van mening dat er een nieuwe beoordeling moet plaatsvinden van de geschiktheid van een aanpak van samengevoegde macro-economische modellen (bijvoorbeeld zoals die welke op het HERMIN-model is gebaseerd). De Commissie moet onderzoeken of er meer nadruk zou kunnen worden gelegd op modellen waarvoor wordt uitgegaan van microgegevens uit de projecten. Waarschijnlijk is ook dat een diepgaander evaluatie van sommige specifieke thema’s zou kunnen leiden tot een betere identificatie van de beste praktijk en aanvullende inzichten in bijzondere kwesties zou kunnen opleveren, bijvoorbeeld in het effect van clustering en de betekenis van groeipolen voor de regionale ontwikkeling met het oog op de algemene convergentiedoelstelling. |
| --- | --- |

121.

Ten tweede moet bijzondere aandacht uitgaan naar de keuze van geschikte technieken voor het vaststellen en meten van het economische effect. Indien een benadering met macro-economische modellen wordt gehanteerd om het effect van de Structuurfondsen te analyseren, moet deze worden aangepast om de kenmerken van de bestudeerde economieën in aanmerking te nemen. Deze beschouwing is met name relevant wanneer een evaluatie zal moeten worden uitgebreid tot de tien nieuwe lidstaten. In dit licht is de Rekenkamer van mening dat er een nieuwe beoordeling moet plaatsvinden van de geschiktheid van een aanpak van samengevoegde macro-economische modellen (bijvoorbeeld zoals die welke op het HERMIN-model is gebaseerd). De Commissie moet onderzoeken of er meer nadruk zou kunnen worden gelegd op modellen waarvoor wordt uitgegaan van microgegevens uit de projecten. Waarschijnlijk is ook dat een diepgaander evaluatie van sommige specifieke thema’s zou kunnen leiden tot een betere identificatie van de beste praktijk en aanvullende inzichten in bijzondere kwesties zou kunnen opleveren, bijvoorbeeld in het effect van clustering en de betekenis van groeipolen voor de regionale ontwikkeling met het oog op de algemene convergentiedoelstelling.

| 122. | Ten derde moet meer nadruk worden gelegd op het vaststellen van verbanden tussen de beoordelingen achteraf en de thematische studies, en moet worden verzekerd dat de resultaten onderling overeenkomen. Indien de resultaten onverenigbaar blijken, moet dat aspect specifiek worden aangepakt. In de bestudeerde beoordelingen verbeterde de kwaliteit aanzienlijk wanneer de evaluatoren verbanden legden. |
| --- | --- |

122.

Ten derde moet meer nadruk worden gelegd op het vaststellen van verbanden tussen de beoordelingen achteraf en de thematische studies, en moet worden verzekerd dat de resultaten onderling overeenkomen. Indien de resultaten onverenigbaar blijken, moet dat aspect specifiek worden aangepakt. In de bestudeerde beoordelingen verbeterde de kwaliteit aanzienlijk wanneer de evaluatoren verbanden legden.

| 123. | Ten vierde kan een aantal aanbevelingen worden gedaan voor toekomstige beoordelingen, meer bepaald voor doelstelling 1-regio's, namelijk:






  a) | er moet specifieke aandacht komen voor de redenen waarom bijdragen uit de particuliere sector aan projecten van de Structuurfondsen van de ene tot de andere lidstaat aanmerkelijk uiteenlopen. Dit zou veel duidelijkheid kunnen brengen in de verschillende motoren van de economische ontwikkeling in de diverse regio's van doelstelling 1; |
| --- | --- | --- |

123.

Ten vierde kan een aantal aanbevelingen worden gedaan voor toekomstige beoordelingen, meer bepaald voor doelstelling 1-regio's, namelijk:

a)

er moet specifieke aandacht komen voor de redenen waarom bijdragen uit de particuliere sector aan projecten van de Structuurfondsen van de ene tot de andere lidstaat aanmerkelijk uiteenlopen. Dit zou veel duidelijkheid kunnen brengen in de verschillende motoren van de economische ontwikkeling in de diverse regio's van doelstelling 1;

| b) | een andere vraag waarop nader zou mogen worden ingegaan is of er in de toekomst een verschuiving moet komen van subsidiëring naar financial engineeringmaatregelen, zoals aanloop- en risicokapitaalfondsen, leningen en rentesubsidies, die op lange termijn duurzamer en efficiënter zouden kunnen blijken; |
| --- | --- |

b)

een andere vraag waarop nader zou mogen worden ingegaan is of er in de toekomst een verschuiving moet komen van subsidiëring naar financial engineeringmaatregelen, zoals aanloop- en risicokapitaalfondsen, leningen en rentesubsidies, die op lange termijn duurzamer en efficiënter zouden kunnen blijken;

| c) | er moet meer aandacht uitgaan naar de vaststelling van kosten per eenheid en benchmarks voor de diverse soorten projecten; |
| --- | --- |

c)

er moet meer aandacht uitgaan naar de vaststelling van kosten per eenheid en benchmarks voor de diverse soorten projecten;

| d) | zoals de evaluatoren hebben verklaard, moeten ook de procedures voor het aanvragen en goedkeuren van projecten extra aandacht krijgen; |
| --- | --- |

d)

zoals de evaluatoren hebben verklaard, moeten ook de procedures voor het aanvragen en goedkeuren van projecten extra aandacht krijgen;

| e) | in toekomstige beoordelingen achteraf moet meer aandacht worden besteed aan interne evaluaties door de betrokken ministeries of regionale autoriteiten. |
| --- | --- |

e)

in toekomstige beoordelingen achteraf moet meer aandacht worden besteed aan interne evaluaties door de betrokken ministeries of regionale autoriteiten.

| 124. | Ten slotte is het van belang, de capaciteit van de Commissie te versterken om het evaluatieproces te superviseren, met inbegrip van de toepassing van complexe macro-economische modellen. Eén mogelijkheid die in dit verband moet worden overwogen is dat de betrokken DG's nauwer gaan samenwerken met onderzoeksinstituten en universiteiten die op dit terrein van de beoordeling zijn gespecialiseerd. Passende en tijdige supervisie van gecontracteerde consultants is van cruciaal belang om te garanderen dat de doelstellingen worden gehaald en dat dergelijke beoordelingen achteraf kosteneffectief zijn. |
| --- | --- |

124.

Ten slotte is het van belang, de capaciteit van de Commissie te versterken om het evaluatieproces te superviseren, met inbegrip van de toepassing van complexe macro-economische modellen. Eén mogelijkheid die in dit verband moet worden overwogen is dat de betrokken DG's nauwer gaan samenwerken met onderzoeksinstituten en universiteiten die op dit terrein van de beoordeling zijn gespecialiseerd. Passende en tijdige supervisie van gecontracteerde consultants is van cruciaal belang om te garanderen dat de doelstellingen worden gehaald en dat dergelijke beoordelingen achteraf kosteneffectief zijn.

| 125. | Ten slotte moet evaluatie achteraf meer zijn dan alleen maar een compilatie van uiteenlopende beoordelingen die met regelmatige tussenpozen wordt uitgevoerd, en moet ze worden opgevat en beheerd als een integrerend deel van een alomvattend proces. Ook voor dit aspect zou nauwere samenwerking op lange termijn met onderzoeksinstellingen of universiteiten aanzienlijk voordeel kunnen opleveren: het zou een doeltreffender kader verschaffen waarin de in elk stadium van het evaluatieproces gegenereerde specifieke verslagen en aanbevelingen kunnen worden opgenomen. |
| --- | --- |

125.

Ten slotte moet evaluatie achteraf meer zijn dan alleen maar een compilatie van uiteenlopende beoordelingen die met regelmatige tussenpozen wordt uitgevoerd, en moet ze worden opgevat en beheerd als een integrerend deel van een alomvattend proces. Ook voor dit aspect zou nauwere samenwerking op lange termijn met onderzoeksinstellingen of universiteiten aanzienlijk voordeel kunnen opleveren: het zou een doeltreffender kader verschaffen waarin de in elk stadium van het evaluatieproces gegenereerde specifieke verslagen en aanbevelingen kunnen worden opgenomen.

Dit verslag werd door de Rekenkamer te Luxemburg vastgesteld op haar vergadering van 20 juli 2006.

Voor de Rekenkamer

Hubert WEBER

President

---

(1)  SEC(2000) 1051: Mededeling van de Commissie „Focus on Results: Strengthening Evaluation of Commission Activities” (Nadruk op resultaten: versterking van de evaluatie van de activiteiten van de Commissie), van 26 juli 2000.

1

Focus on Results: Strengthening Evaluation of Commission Activities

(2)  Het programma MEANS van de Commissie heeft ten doel, te beantwoorden aan de vraag naar ontwikkeling van een evaluatiemethodologie. De MEANS-collectie bestaat uit zes delen over de evaluatie van sociaaleconomische programma’s.

2

(3)  MEANS-collectie, nr. 1, blz. 53.

3

(4)  Bestaande uit het Europees Fonds voor Regionale Ontwikkeling (EFRO), het Europees Sociaal Fonds (ESF), het Europees Oriëntatie- en Garantiefonds voor de Landbouw (EOGFL) en het Financieel Instrument voor de Oriëntatie van de Visserij (FIOV).

4

(5)  Syntheseverslag, blz. 53.

5

(6)  Hierna te noemen „nationale evaluatoren”.

6

(7)  De onderzochte nationale evaluaties betroffen voor doelstelling 1: België, Griekenland, Spanje, Duitsland, Italië, Ierland en Portugal, en voor doelstellingen 1 en 3 in het kader van het ESF: Spanje, Frankrijk, Italië, Duitsland en het Verenigd Koninkrijk.

7

(8)  Zie paragraaf 5 voor de algemene cijfers.

8

(9)  Syntheseverslag, blz. 61-64.

9

(10)  Op. cit. blz. 62.

10

(11)  Waarmee hier de actieve bevolking als percentage van de bevolking in de arbeidsgeschikte leeftijdsgroep wordt bedoeld.

11

(12)  Syntheseverslag, tabel 2.1, blz. 75, tabellen 2.5 en 2.6, blz. 88 en 89.

12

(13)  Op. cit. blz. 75.

13

(14)  Ten behoeve van dit verslag zijn de gegevens per hoofd van de bevolking berekend op basis van de gehele bevolking van het land.

14

(15)  In miljoen euro.

15

(16)  Bij het opstellen van tabel 2 zijn dezelfde gegevens gebruikt als in het verslag zijn gepubliceerd. Daardoor wordt zichtbaar dat voor de lidstaten in tabel 1 de som van de drie kolommen in deze tabel niet overeenkomt met het bedrag in de kolom voor het totaal.

16

(17)  Voor deze beoordeling zijn identificatie en onderzoek binnen een alomvattend kader van de oorzakelijke verbanden tussen de behoeften, de strategische doelstellingen, de doelstellingen van de programma’s/subprogramma’s/maatregelen en de toewijzing van middelen nodig. In principe is er ook een rangschikking nodig van de behoeften en ontoereikende sociaaleconomische situaties die door de CB worden aangepakt en een hiërarchie van inherente te beschouwen factoren ter garantie dat de middelen optimaal op behoeftevoorziening worden gericht.

17

(18)  Hoofdstuk 3.

18

(19)  Een thematische analyse is een evaluatie waarin een bepaald punt (thema) horizontaal wordt geanalyseerd in het kader van verscheidene acties van één of meer programma’s die in verschillende lidstaten of regio's worden uitgevoerd.

19

(20)  Thematische evaluatie van het effect van de Structuurfondsen op de vervoersinfrastructuur — eindverslag, november 2000, blz. 8.

20

(21)  Wat betreft Ierland betekent dit bijvoorbeeld dat voor elke 100 in wegenaanleg en -onderhoud geïnvesteerde euro, de tijdwinst, de besparingen op de kosten van het gebruik van voertuigen en de voordelen inzake veiligheid 13 euro per jaar bedroegen. Bijgevolg is de investering daadwerkelijk in acht jaar terugverdiend. Op. cit. blz. 8.

21

(22)  Zie de afdeling over het effect.

22

(23)  Syntheseverslag, blz. 105.

23

(24)  De commentaar hierop luidde: „Dit lijkt wel een logische aanbeveling, maar de context waarin ze wordt gedaan, verleent haar een heel bijzondere betekenis”. Op. cit. blz. 105.

24

(25)  Op. cit. blz. 108.

25

(26)  Op. cit. blz. 130.

26

(27)  Om het verslag nogmaals te citeren: „Beweerd wordt dat het doeltreffendste mechanisme voor het creëren en in stand houden van banen bestaat in directe steun voor investeringen in de productie. Aangezien daarbij geen rekening wordt gehouden met deadweight- en substitutie-effecten, kan de totale doeltreffendheid echter niet worden geschat”. Op. cit. blz. 130.

27

(28)  De implicaties van de gebrekkige gegevens en enkele commentaren van algemene aard ter zake worden verderop besproken.

28

(29)  Taakomschrijving, blz. 90.

29

(30)  Syntheseverslag, blz. 111.

30

(31)  Taakomschrijving, blz. 11.

31

(32)  Groter dan 25 miljoen euro voor infrastructuur en groter dan 15 miljoen euro voor projecten inzake productieve investeringen.

32

(33)  Taakomschrijving, blz. 13.

33

(34)  Syntheseverslag, blz. 143.

34

(35)  Syntheseverslag, tabellen 4.6, 4.7 en 4.8.

35

(36)  Zoals hierboven opgemerkt.

36

(37)  Op. cit. blz. 71.

37

(38)  Op. cit. blz. 72.

38

(39)  „Voor een effectevaluatie op basis van het hanteren van een formeel macromodel is het van twijfelachtige waarde, ook met de cofinanciering uit de particuliere sector rekening te houden. Daar over de stuwende mechanismen achter de cofinanciering uit de particuliere sector in het kader van het CB grote onzekerheid en onduidelijkheid heerst, sluiten wij ze uit van onze analyse”. Op. cit. blz. 71.

39

(40)  UK-Speke Garston project; in dit bijzondere geval werd 223 miljoen GBP aan extra investeringen uit de particuliere sector aangetrokken, waarmee rechtstreeks 4 600 banen werden gecreëerd. Op. cit. blz. 204.

40

(41)  De vier landen komen in hun geheel voor doelstelling 1 in aanmerking.

41

(42)  Ten aanzien van Italië werd de geplande opzet van een HERMIN-model, voorgeschreven in de taakomschrijving, opgegeven wegens „moeilijkheden met het sluiten van contracten”. Bij de overige regio's, waarvoor geen HERMIN-model beschikbaar was, werd een zogeheten „bottom-up” schatting verricht.

42

(43)  Idealiter zou men volgens het verslag de werkelijk gedane CB-uitgaven moeten benutten, maar deze waren niet voor elk land of elke regio, uitgesplitst naar prioriteit en jaar, voorhanden. Ter wille van de uniformiteit hanteert het syntheseverslag de geplande CB-uitgaven die voorkomen in de overeenkomsten met betrekking tot het CB 1994-1999. Deze geven een tamelijk nauwkeurig totaal voor de uitgaven, maar niet altijd een nauwkeurig beeld van de spreiding nadien van de uitgaven (Syntheseverslag, blz. 150).

43

(44)  Op. cit. blz. 161.

44

(45)  In feite wordt in sommige studies beweerd dat de EU-financiering de nationale investeerders verjaagt, zodat de economie zonder CB een betere groei te zien zou geven dan het beeld dat uit de HERMIN-simulaties naar voren komt.

45

(46)  Deze gevoeligheidsanalyse werd uitgevoerd voor Oost-Duitsland, Spanje, Griekenland, Ierland en Portugal.

46

(47)  Syntheseverslag, blz. 183 en 184.

47

(48)  Daaruit blijkt de gunstige invloed van de SF’s op de ontwikkeling van de meerjarenprogrammering, de toepassing van het programmaconcept en van op doelstellingen gebaseerd beheer, de opzet van beheersstructuren en -procedures en met name systemen voor het toezicht en indicatoren, systemen ter garantie van de kwaliteit bij overheidswerkzaamheden, aanbestedingsprocedures voor staatssteun, de ontwikkeling van evaluatiesystemen, -capaciteit en -cultuur, de procedures voor de selectie van projecten en controlesystemen. De SF’s bevorderen de ontwikkeling van meer aangepaste structuren en capaciteiten voor ontwikkelingsprojecten.

48

(49)  Syntheseverslag, afdeling 9.1.

49

(50)  Syntheseverslag, blz. 196.

50

(51)  Advies nr. 2/2005 over het voorstel voor een verordening van de Raad houdende algemene bepalingen inzake het Europees Fonds voor Regionale Ontwikkeling, het Europees Sociaal Fonds en het Cohesiefonds (COM(2004) 492 def. van 14.7.2004) (PB C 121 van 20.5.2005, blz. 18); Speciaal verslag nr. 7/2003 over de uitvoering van de programmering van de acties in de periode 2000-2006 in het kader van de Structuurfondsen, paragraaf 90 (PB C 174 van 23.7.2003, blz. 22).

51

(52)  Deze omvatten grotere doeltreffendheid bij de ontwikkeling van en het toezicht op de programma’s, doeltreffender selectie van de projecten, grotere legitimiteit en transparantie bij de besluiten en de besluitvormingsprocessen, grotere inzet voor en „ownership” van de resultaten van de programma’s enz. Zie thematische evaluatie van het partnerschapsbeginsel, blz. II.

52

(53)  Syntheseverslag, blz. 188.

53

(54)  Op. cit. blz. 218.

54

(55)  Jaarverslag over het begrotingsjaar 2003, paragrafen 5.22, 5.32, onder d), 5.33 en 5.34 (PB C 293 van 30.11.2004, blz. 162). Jaarverslag over het begrotingsjaar 2004, paragraaf 5.30 (PB C 301 van 30.11.2005, blz. 143).

55

(56)  Syntheseverslag, blz. 224.

56

(57)  Op. cit. blz. 219.

57

(58)  Op. cit. blz. 221.

58

(59)  Met betrekking tot lopende evaluaties in dit verband.

59

(60)  Syntheseverslag, blz. 222.

60

(61)  Bijvoorbeeld op. cit. blz. 246: „er zijn duidelijke aanwijzingen dat de partnerschapsregelingen dieper en uitgebreider geworden zijn en dat de verantwoordelijkheid voor de besluitvorming steeds meer is gedelegeerd aan het programmapartnerschap”.

61

(62)  Taakomschrijving, blz. 16.

62

(63)  Methodologische gids, blz. 16 en 17.

63

(64)  De „netto” effecten worden geschat door deadweight- en verplaatsings/substitutie-effecten af te trekken van de bruto effecten.

64

(65)  Voornamelijk de verbanden tussen de resultaten van de analysen van het effect en de analyse van de doeltreffendheid en geschiktheid van de strategie.

65

(66)  Aanloopverslag, blz. 7.

66

(67)  Taakomschrijving, blz. 102 t/m 109.

67

(68)  Aanloopverslag blz. 13. Evenzo bevat de methodologische gids belangrijke vragen zoals: „Wat was het totale effect van de Structuurfondsen op de steun voor regionale convergentie in de periode 1994-1999? Wat was het economische effect van de investeringen uit de Structuurfondsen ten aanzien van convergentie van inkomensniveaus?” (blz. 24).

68

(69)  Taakomschrijving, blz. 94 en 95 (D 1).

69

(70)  Bijvoorbeeld op. cit. blz. 249. Daar wordt gepleit voor het verlenen van veel grotere zeggenschap aan die lidstaten die doeltreffende nationale toezichtsystemen hebben, zodat deze hun eigen voorschriften voor het toezicht kunnen gebruiken bij initiatieven die door de EU worden gesubsidieerd. Dit zou de kosten drukken en de resulterende gegevens zouden waarschijnlijk meer betekenis hebben.

70

(71)  Op. cit. blz. 249.

71

(72)  Op. cit. blz. 251.

72

(73)  Bijvoorbeeld grotere „flexibiliteit” van de werknemers als gevolg van opleiding.

73

(74)  Syntheseverslag, blz. 124.

74

(75)  Op. cit. blz. 125 en 126.

75

(76)  Zo staat in deze toelichting te lezen dat de cijfers voor Frankrijk, die 17 miljoen belopen, tweemaal werden geverifieerd op „dubbele telling”, terwijl de cijfers voor Nederland, die 8,7 miljoen belopen, ook met nationale teams tweemaal worden geverifieerd. Voorts wordt aangegeven dat de gegevens grotendeels ontbreken voor Duitsland, Ierland en het Verenigd Koninkrijk — hoewel voor het Verenigd Koninkrijk 7,9 miljoen en voor Ierland 680 000 begunstigden worden opgegeven.

76

(77)  Tabel 3 geeft een gedeelte van tabel 4.8 uit het syntheseverslag weer.

77

Tabel 3

(78)  Hier wordt voornamelijk verwezen naar gelijkheid tussen de geslachten.

78

(79)  Syntheseverslag, blz. 173.

79

(80)  Gecombineerde maatregelen omvatten intensieve adviesverlening en bijscholing, werkervaring en opleiding, alsmede bevordering van werkgelegenheid en opleiding.

80

(81)  Op. cit. blz. 122.

81

(82)  Paragraaf 3.2.8.

82

(83)  Op. cit. blz. 86.

83

(84)  Op. cit. blz. 144.

84

(85)  Bijvoorbeeld het behalen van kwalificaties en de MBR's die voorkomen in het evaluatieverslag over het Verenigd Koninkrijk (weergave van „de afstand die naar de arbeidsmarkt moest worden afgelegd”).

85

(86)  Dit werd ook door een aantal evaluatoren beweerd (Spanje en Italië).

86

(87)  Bijvoorbeeld in de Spaanse gevallen.

87

(88)  Eén zo'n geval werd aangehaald ten aanzien van Duitsland.

88

(89)  Met name bevordert de EWS sterkere banden tussen de mechanismen van de EU voor het financieren van programma’s en andere beleidsinstrumenten, regelingen en nationale programma’s, met inbegrip van passief arbeidsmarktbeleid.

89

(90)  Bijvoorbeeld in het geval van Duitsland: steun voor de doelstellingen in verband met achtergestelde bevolkingsgroepen, duurzame ontwikkeling, gelijke kansen, financiële hefboomeffecten voor de nieuwe deelstaten. Evenzo werd in de andere nationale verslagen op diverse andere onderwerpen gewezen.

90

(91)  Nationaal verslag, blz. 95.

91

(92)  Methodologierapport, blz. 24 t/m 40.

92

(93)  Methodologierapport, blz. 44 t/m 49.

93

(94)  Zie de evaluaties betreffende Frankrijk, Spanje en Italië.

94

(95)  Voorbeelden zijn: de noodzaak van een sterkere band tussen de geplande doelstellingen en de lokale sociaaleconomische context (Italië); een betere gerichtheid op de begunstigden (Frankrijk); uitbreiding van geïntegreerde benaderingen van de bijstandsverlening (Verenigd Koninkrijk); uitbreiding van de reikwijdte van de programma’s tot meer innovatieve en riskante acties (Spanje); versterking van de anticiperende acties op het gebied van opleiding (Spanje); meer aandacht besteden aan de achtergestelde regio's door meer belang te hechten aan variabelen zoals werkloosheid, langdurige werkloosheid en sociale uitsluiting (Spanje).

95

(96)  Syntheseverslag blz. 188 en 189 voor de doelstellingen 1 en 3.

96

(97)  Op. cit. blz. 198 t/m 204.

97

---

BIJLAGE I

Opsplitsing van de steun uit de Structuurfondsen — Beschikbare middelen voor het CB 1994-1999

| (miljoen euro) |
| --- |
| | België | Denemarken | Duitsland | Griekenland | Spanje | Frankrijk | Ierland | Italië | Luxemburg | Nederland | Portugal | Verenigd Koninkrijk | Oostenrijk | Finland | Zweden | Totaal |
| Doelstelling 1 | 748,50 | | 13 985,30 | 14 333,90 | 26 965,80 | 2 245,40 | 5 762,30 | 15 236,20 | | 153,80 | 14 333,90 | 2 419,70 | 171,50 | | | 96 356,30 |
| Doelstelling 2 | 349,40 | 123,00 | 1 604,80 | | 2 474,80 | 3 866,40 | | 1 498,20 | 15,40 | 666,20 | | 4 693,40 | 104,40 | 165,40 | 189,30 | 15 750,70 |
| Doelstellingen 3 en 4 | 476,50 | 308,40 | 1 990,00 | | 1 888,60 | 3 282,20 | | 1 757,40 | 23,60 | 1 105,70 | | 3 460,50 | 408,30 | 354,10 | 537,60 | 15 592,90 |
| Doelstelling 5a Visserij | 25,10 | 143,20 | 76,30 | | 122,20 | 194,40 | | 137,60 | 1,10 | 47,70 | | 90,80 | 2,10 | 23,80 | 41,40 | 905,70 |
| Doelstelling 5b | 78,90 | 55,30 | 1 257,30 | | 680,40 | 2 293,30 | | 923,30 | 6,10 | 153,70 | | 837,20 | 424,90 | 201,00 | 142,70 | 7 054,10 |
| Doelstelling 6 | | | | | | | | | | | | | | 475,90 | 260,70 | 736,60 |
| Totaal | 1 678,40 | 629,90 | 18 913,70 | 14 333,90 | 32 131,80 | 11 881,70 | 5 762,30 | 19 552,70 | 46,20 | 2 127,10 | 14 333,90 | 11 501,60 | 1 111,20 | 1 220,20 | 1 171,70 | 136 396,30 |
| Bron: Speciaal verslag nr. 16/98 (PB C 347 van 16.11.1998). |

(miljoen euro)

België

Denemarken

Duitsland

Griekenland

Spanje

Frankrijk

Ierland

Italië

Luxemburg

Nederland

Portugal

Verenigd Koninkrijk

Oostenrijk

Finland

Zweden

Totaal

Doelstelling 1

748,50

13 985,30

14 333,90

26 965,80

2 245,40

5 762,30

15 236,20

153,80

14 333,90

2 419,70

171,50

96 356,30

Doelstelling 2

349,40

123,00

1 604,80

2 474,80

3 866,40

1 498,20

15,40

666,20

4 693,40

104,40

165,40

189,30

15 750,70

Doelstellingen 3 en 4

476,50

308,40

1 990,00

1 888,60

3 282,20

1 757,40

23,60

1 105,70

3 460,50

408,30

354,10

537,60

15 592,90

Doelstelling 5a Visserij

25,10

143,20

76,30

122,20

194,40

137,60

1,10

47,70

90,80

2,10

23,80

41,40

905,70

Doelstelling 5b

78,90

55,30

1 257,30

680,40

2 293,30

923,30

6,10

153,70

837,20

424,90

201,00

142,70

7 054,10

Doelstelling 6

475,90

260,70

736,60

Totaal

1 678,40

629,90

18 913,70

14 333,90

32 131,80

11 881,70

5 762,30

19 552,70

46,20

2 127,10

14 333,90

11 501,60

1 111,20

1 220,20

1 171,70

136 396,30

Bron: Speciaal verslag nr. 16/98 (PB C 347 van 16.11.1998).

Opsplitsing van de steun uit de Structuurfondsen — Voor communautaire initiatieven beschikbare middelen 1994-1999 (1)

| (miljoen euro) |
| --- |
| Interreg II | 3 562,3 |
| Leader II | 1 777,2 |
| Adapt | 1 646,4 |
| PME | 1 092,5 |
| Urban | 894,5 |
| Pesca | 301,5 |
| Rechar II | 465,0 |
| Resider II | 610,9 |
| Retex | 609,2 |
| Emploi | 1 858,5 |
| Konver | 734,9 |
| Regis II | 615,0 |
| Peace | 303,1 |
| Totaal | 14 471,0 |
| Bron: Speciaal verslag nr. 16/98 (PB C 347 van 16.11.1998). |

(miljoen euro)

Interreg II

3 562,3

Leader II

1 777,2

Adapt

1 646,4

PME

1 092,5

Urban

894,5

Pesca

301,5

Rechar II

465,0

Resider II

610,9

Retex

609,2

Emploi

1 858,5

Konver

734,9

Regis II

615,0

Peace

303,1

Totaal

14 471,0

Bron: Speciaal verslag nr. 16/98 (PB C 347 van 16.11.1998).

---

(1)  Namen van de programma's die verband houden met de Structuurfondsen; nadere verwijzingen zijn te vinden in de begroting van de Commissie, onderafdeling.

Bron: Speciaal verslag nr. 16/98 (PB C 347 van 16.11.1998).

---

BIJLAGE II

BNP en werkgelegenheidsgraad

| 1. | Er is een meervoudige regressieanalyse verricht om de in het syntheseverslag gedane uitspraak te testen dat hogere bnp-niveaus per hoofd in het algemeen niet voortvloeiden uit hogere werkgelegenheidspercentages als gevolg van het creëren van arbeidsplaatsen (1). |
| --- | --- |

1.

Er is een meervoudige regressieanalyse verricht om de in het syntheseverslag gedane uitspraak te testen dat hogere bnp-niveaus per hoofd in het algemeen niet voortvloeiden uit hogere werkgelegenheidspercentages als gevolg van het creëren van arbeidsplaatsen (1).

| 2. | Ter wille van een strikte vergelijkbaarheid zijn voor deze analyse dezelfde gegevens gebruikt als zijn gepubliceerd in het syntheseverslag. In het geval van de afhankelijke variabele werd de procentuele bnp-verandering per hoofd in elke doelstelling 1-regio tussen 1993 en 2000 gebruikt, terwijl als voornaamste verklarende variabelen de verandering in het werkgelegenheids- en het werkloosheidspercentage in diezelfde regio's voor de twee jaren 1993 en 1999 werd gebruikt, zoals ze in het verslag voorkomen. De resultaten zijn te zien in tabel 1. |
| --- | --- |

2.

Ter wille van een strikte vergelijkbaarheid zijn voor deze analyse dezelfde gegevens gebruikt als zijn gepubliceerd in het syntheseverslag. In het geval van de afhankelijke variabele werd de procentuele bnp-verandering per hoofd in elke doelstelling 1-regio tussen 1993 en 2000 gebruikt, terwijl als voornaamste verklarende variabelen de verandering in het werkgelegenheids- en het werkloosheidspercentage in diezelfde regio's voor de twee jaren 1993 en 1999 werd gebruikt, zoals ze in het verslag voorkomen. De resultaten zijn te zien in tabel 1.

Tabel 1 (2)

Regressie van de verandering in bnp per hoofd bij verandering in werkgelegenheid („change in employment”, CEMPL) en in de werkloosheid („change in unemployment”, CUNEMP)

| Regressor | Coëfficiënt | Standaardfout | T-Ratio | [Kans] |
| --- | --- | --- | --- | --- |
| C1 | 1,7615 | 1,2361 | 1,4251 | [0,161] |
| CEMPL | 0,24563 | 0,14237 | 1,7252 | [0,092] |
| CUNEMP | 0,051927 | 0,027418 | 1,8939 | [0,065] |
| BE | –16,8803 | 6,2156 | –2,7158 | [0,009] |
| IR | 38,2350 | 6,5314 | 5,8540 | [000] |
| DX | 26,9660 | 2,9504 | 9,1398 | [000] |

Regressor

Coëfficiënt

Standaardfout

T-Ratio

[Kans]

C1

1,7615

1,2361

1,4251

[0,161]

CEMPL

0,24563

0,14237

1,7252

[0,092]

CUNEMP

0,051927

0,027418

1,8939

[0,065]

BE

–16,8803

6,2156

–2,7158

[0,009]

IR

38,2350

6,5314

5,8540

[000]

DX

26,9660

2,9504

9,1398

[000]

| R-kwadraat | 0,74449 | R-kwadraat na correctie | | 0,71546 |
| --- | --- | --- | --- | --- |
| Standaardfout in de regressie | 6,1411 | F-stat. F (5,44) | 25,6414 | [000] |
| Gemiddelde van de afhankelijke variabele | 6,3647 | Standaardafstand van de afhankelijke variabele | | 11,5126 |
| Restsom van de kwadraten | 1 659,4 | Vergelijking logaritmische waarschijnlijkheid | | – 158,5015 |
| Akaike Info-criterium | – 164,5015 | Schwarz Bayesian-Criterium | | – 170,2376 |
| Deadweightstatistiek | 2,3210 | | | |

R-kwadraat

0,74449

R-kwadraat na correctie

0,71546

Standaardfout in de regressie

6,1411

F-stat. F (5,44)

25,6414

[000]

Gemiddelde van de afhankelijke variabele

6,3647

Standaardafstand van de afhankelijke variabele

11,5126

Restsom van de kwadraten

1 659,4

Vergelijking logaritmische waarschijnlijkheid

– 158,5015

Akaike Info-criterium

– 164,5015

Schwarz Bayesian-Criterium

– 170,2376

Deadweightstatistiek

2,3210

| 3. | Uit een voorafgaande beoordeling van de gegevens bleek dat drie regio's in het bijzonder gedurende de periode heel andere patronen van verandering in bnp per hoofd te zien gaven dan de andere regio's. Deze regio's moesten dus specifiek behandeld worden in de regressie; anders zouden moeilijk algemene conclusies kunnen worden getrokken over de onderliggende verbanden. Deze regio's waren Ierland, waar het bnp per hoofd gedurende de periode van 81 tot 115 % van het EU-gemiddelde steeg; de tweede was de provincie Henegouwen in België, waar het bnp per hoofd daalde van 82 tot 71 %; de derde categorie houdt verband met de Duitse doelstelling 1-regio's, waar het bnp per hoofd van ongeveer 50 % steeg tot bijna 70 % van het EU-gemiddelde tegen het eind van de periode (zo steeg in Thüringen het bnp per hoofd van 52 % in 1993 tot 70 % in 2000). Om rekening te houden met zulke grote relatieve veranderingen in het bnp per hoofd werden specifieke statistische (ofwel dummy-) variabelen opgenomen waarmee de functie zich kon aanpassen aan de behandeling van deze drie grote regio's. |
| --- | --- |

3.

Uit een voorafgaande beoordeling van de gegevens bleek dat drie regio's in het bijzonder gedurende de periode heel andere patronen van verandering in bnp per hoofd te zien gaven dan de andere regio's. Deze regio's moesten dus specifiek behandeld worden in de regressie; anders zouden moeilijk algemene conclusies kunnen worden getrokken over de onderliggende verbanden. Deze regio's waren Ierland, waar het bnp per hoofd gedurende de periode van 81 tot 115 % van het EU-gemiddelde steeg; de tweede was de provincie Henegouwen in België, waar het bnp per hoofd daalde van 82 tot 71 %; de derde categorie houdt verband met de Duitse doelstelling 1-regio's, waar het bnp per hoofd van ongeveer 50 % steeg tot bijna 70 % van het EU-gemiddelde tegen het eind van de periode (zo steeg in Thüringen het bnp per hoofd van 52 % in 1993 tot 70 % in 2000). Om rekening te houden met zulke grote relatieve veranderingen in het bnp per hoofd werden specifieke statistische (ofwel dummy-) variabelen opgenomen waarmee de functie zich kon aanpassen aan de behandeling van deze drie grote regio's.

| 4. | De in tabel 1 opgenomen regressieresultaten omvatten verscheidene aandachtspunten. Globaal genomen komt 74 % van de variatie in de verandering van het bnp per hoofd voor rekening van „verklarende” variabelen. De beide voornaamste verklarende variabelen, namelijk de veranderingen in de werkgelegenheidsgraad (CEMPL) en die in de werkloosheidsgraad (CUNMP) zijn statistisch significant. In het geval van CEMPL wordt de coëfficiënt op 0,24 geschat, hetgeen betekent dat elke percentpunt stijging van de werkgelegenheid of van de actieve bevolking gepaard gaat met een verbetering van het bnp per hoofd van de bevolking van de regio's van doelstelling 1 met een kwart van een percentpunt, waarbij, indien er niets anders verandert, de bnp-kloof met dit percentage wordt gedicht. |
| --- | --- |

4.

De in tabel 1 opgenomen regressieresultaten omvatten verscheidene aandachtspunten. Globaal genomen komt 74 % van de variatie in de verandering van het bnp per hoofd voor rekening van „verklarende” variabelen. De beide voornaamste verklarende variabelen, namelijk de veranderingen in de werkgelegenheidsgraad (CEMPL) en die in de werkloosheidsgraad (CUNMP) zijn statistisch significant. In het geval van CEMPL wordt de coëfficiënt op 0,24 geschat, hetgeen betekent dat elke percentpunt stijging van de werkgelegenheid of van de actieve bevolking gepaard gaat met een verbetering van het bnp per hoofd van de bevolking van de regio's van doelstelling 1 met een kwart van een percentpunt, waarbij, indien er niets anders verandert, de bnp-kloof met dit percentage wordt gedicht.

| 5. | Dit resultaat staat lijnrecht tegenover de conclusie van het syntheseverslag. Op basis van een analyse van de resultaten van de doelstelling 1-regio's over de periode in kwestie levert het een nuttige indicator op van het bestaande potentieel voor het dichten van de bnp-kloof door het verbeteren van de participatiegraad — een hoogst relevant resultaat uit een oogpunt van beleid. |
| --- | --- |

5.

Dit resultaat staat lijnrecht tegenover de conclusie van het syntheseverslag. Op basis van een analyse van de resultaten van de doelstelling 1-regio's over de periode in kwestie levert het een nuttige indicator op van het bestaande potentieel voor het dichten van de bnp-kloof door het verbeteren van de participatiegraad — een hoogst relevant resultaat uit een oogpunt van beleid.

| 6. | Een tweede opmerkelijk gegeven van de in tabel 1 opgenomen resultaten heeft betrekking op het effect van de veranderingen in de werkloosheidsgraad op de veranderingen in het bnp per hoofd. Dit effect (dat ook in de volgende paragraaf wordt besproken) is statistisch eveneens significant, maar kwantitatief vrij klein en vrijwel irrelevant. De werkloosheid is in de doelstelling 1-regio's over het algemeen slechts marginaal gedaald, hetgeen de verklaring voor dit resultaat zou kunnen zijn. |
| --- | --- |

6.

Een tweede opmerkelijk gegeven van de in tabel 1 opgenomen resultaten heeft betrekking op het effect van de veranderingen in de werkloosheidsgraad op de veranderingen in het bnp per hoofd. Dit effect (dat ook in de volgende paragraaf wordt besproken) is statistisch eveneens significant, maar kwantitatief vrij klein en vrijwel irrelevant. De werkloosheid is in de doelstelling 1-regio's over het algemeen slechts marginaal gedaald, hetgeen de verklaring voor dit resultaat zou kunnen zijn.

| 7. | Voor een nader onderzoek van de betrouwbaarheid van het voornaamste resultaat in tabel 1 met betrekking tot het effect van veranderingen in de werkloosheidsgraad en veranderingen in het bnp per hoofd bevat tabel 2 de regressieresultaten voor alle regio's in de EU-15 waarvoor consequent gegevens van Eurostat beschikbaar zijn, en niet slechts regio's van doelstelling 1. De resultaten uit 145 regio's werden afgeleid uit enigszins andere gegevens dan in tabel 1. In plaats van slechts het percentage verandering te beschouwen tussen het begin en het eind van de betrokken periode, werd het gemiddelde veranderingspercentage voor de hele periode berekend. Dit werd als een meer representatieve samenvatting van de ontwikkelingen gedurende een aantal jaren beschouwd, in dit geval over de periode van vijf jaar tussen 1996 en 2000. (Wegens beperkingen in de gegevens uit de beschikbare statistieken, was het voor een aantal regio's niet uitvoerbaar, een eerder startpunt te nemen). |
| --- | --- |

7.

Voor een nader onderzoek van de betrouwbaarheid van het voornaamste resultaat in tabel 1 met betrekking tot het effect van veranderingen in de werkloosheidsgraad en veranderingen in het bnp per hoofd bevat tabel 2 de regressieresultaten voor alle regio's in de EU-15 waarvoor consequent gegevens van Eurostat beschikbaar zijn, en niet slechts regio's van doelstelling 1. De resultaten uit 145 regio's werden afgeleid uit enigszins andere gegevens dan in tabel 1. In plaats van slechts het percentage verandering te beschouwen tussen het begin en het eind van de betrokken periode, werd het gemiddelde veranderingspercentage voor de hele periode berekend. Dit werd als een meer representatieve samenvatting van de ontwikkelingen gedurende een aantal jaren beschouwd, in dit geval over de periode van vijf jaar tussen 1996 en 2000. (Wegens beperkingen in de gegevens uit de beschikbare statistieken, was het voor een aantal regio's niet uitvoerbaar, een eerder startpunt te nemen).

Tabel 2 (3)

Regressie van de gemiddelde verandering in bnp per hoofd bij gemiddelde verandering in de werkgelegenheid („average change in employment”, ACEMPL) en gemiddelde verandering in de werkloosheid („average change in unemployment”, ACUNEMP)

| Regressor | Coëfficiënt | Standaardfout | T-Ratio | [Kans] |
| --- | --- | --- | --- | --- |
| C | 5,2110 | 0,12999 | 40,086 | [000] |
| ACEMPL | 0,24119 | 0,63540 | 3,7959 | [000] |
| ACUNEMP | –0,0019479 | 0,012260 | –0,1588 | [0,874] |
| ID | 4,7009 | 0,85873 | 5,4743 | [000] |
| LD | 5,4309 | 0,84670 | 6,4142 | [000] |
| BED | –0,64276 | 0,25885 | –2,4831 | [0,014] |
| DED | –1,3747 | 0,17517 | –7,8479 | [000] |

Regressor

Coëfficiënt

Standaardfout

T-Ratio

[Kans]

C

5,2110

0,12999

40,086

[000]

ACEMPL

0,24119

0,63540

3,7959

[000]

ACUNEMP

–0,0019479

0,012260

–0,1588

[0,874]

ID

4,7009

0,85873

5,4743

[000]

LD

5,4309

0,84670

6,4142

[000]

BED

–0,64276

0,25885

–2,4831

[0,014]

DED

–1,3747

0,17517

–7,8479

[000]

| R-kwadraat | 0,62600 | R-kwadraat na correctie | 0,60974 |
| --- | --- | --- | --- |
| Standaardfout in de regressie | 0,84193 | F-stat. F (6,138) | 38,4979
  [000] |
| Gemiddelde van de afhankelijke variabele | 5,2359 | Standaardafstand van de afhankelijke variabele | 1,3477 |
| Restsom van de kwadraten | 97,8204 | Vergelijking logaritmische waarschijnlijkheid | – 177,2101 |
| Akaike Info-criterium | – 184,2101 | Schwarz Bayesian-Criterium | – 194,6286 |
| Deadweightstatistiek | 1,6353 | | |

R-kwadraat

0,62600

R-kwadraat na correctie

0,60974

Standaardfout in de regressie

0,84193

F-stat. F (6,138)

38,4979

[000]

Gemiddelde van de afhankelijke variabele

5,2359

Standaardafstand van de afhankelijke variabele

1,3477

Restsom van de kwadraten

97,8204

Vergelijking logaritmische waarschijnlijkheid

– 177,2101

Akaike Info-criterium

– 184,2101

Schwarz Bayesian-Criterium

– 194,6286

Deadweightstatistiek

1,6353

| 8. | De resultaten wijzen uit dat de coëfficiënt voor de gemiddelde verandering in de werkgelegenheid vrijwel dezelfde is als in het vorige geval, dat wil zeggen, 0,24, hetgeen betekent dat voor alle regio's, een stijging met 1 % in de werkgelegenheidsgraad gepaard zal gaan met 0,24 % stijging in het bnp per hoofd. Dit resultaat is ook statistisch significant, zoals de hele regressievergelijking. (Er is een extra dummyvariabele voor Luxemburg toegevoegd, ook hier weer omdat de stijging van het bnp per hoofd van 161 % in 1996 tot 199 % in 2000 sterk afwijkt van het gemiddelde van de andere regio's). |
| --- | --- |

8.

De resultaten wijzen uit dat de coëfficiënt voor de gemiddelde verandering in de werkgelegenheid vrijwel dezelfde is als in het vorige geval, dat wil zeggen, 0,24, hetgeen betekent dat voor alle regio's, een stijging met 1 % in de werkgelegenheidsgraad gepaard zal gaan met 0,24 % stijging in het bnp per hoofd. Dit resultaat is ook statistisch significant, zoals de hele regressievergelijking. (Er is een extra dummyvariabele voor Luxemburg toegevoegd, ook hier weer omdat de stijging van het bnp per hoofd van 161 % in 1996 tot 199 % in 2000 sterk afwijkt van het gemiddelde van de andere regio's).

| 9. | Het effect van de verandering in de variabele voor de werkloosheidsgraad is wederom minimaal en in dit geval statistisch irrelevant en negatief. Uit deze resultaten blijkt dat het effect van veranderingen in het werkloosheidspercentage op veranderingen in het bnp per hoofd niet groot is — misschien omdat de werklozen al zijn meegerekend in het aantal arbeidskrachten en in de gehanteerde berekeningswijze van het bnp. Wanneer een werkloze de status van werknemer krijgt, is het effect daarvan moeilijker in statistieken van dit type te verwerken. Meer onderzoek op dit gebied is zeker gerechtvaardigd. |
| --- | --- |

9.

Het effect van de verandering in de variabele voor de werkloosheidsgraad is wederom minimaal en in dit geval statistisch irrelevant en negatief. Uit deze resultaten blijkt dat het effect van veranderingen in het werkloosheidspercentage op veranderingen in het bnp per hoofd niet groot is — misschien omdat de werklozen al zijn meegerekend in het aantal arbeidskrachten en in de gehanteerde berekeningswijze van het bnp. Wanneer een werkloze de status van werknemer krijgt, is het effect daarvan moeilijker in statistieken van dit type te verwerken. Meer onderzoek op dit gebied is zeker gerechtvaardigd.

---

(1)  Syntheseverslag, blz. 62.

(2)  Schatting op basis van 50 waarnemingen. BE, IR en DX zijn dummyvariabelen voor België, Ierland en Duitsland. C1 is het snijpunt met de y-as.

(3)  Schatting op basis van 145 waarnemingen. ID, LD, BED en DED zijn dummyvariabelen voor Ierland, Luxemburg, België en Duitsland. C is het snijpunt met de y-as.

---

BIJLAGE III

Toename van het bnp en de Structuurfondsen

| 1. | Om het verband na te gaan tussen de gemiddelde jaarlijkse verandering in het bnp per hoofd van de bevolking voor de regio's van doelstelling 1 (de afhankelijke variabele) en de werkelijke uitgaven uit de EU-fondsen per hoofd van de bevolking, is in de doelstelling 1-regio's van elke lidstaat een meervoudige regressieanalyse verricht. Daarvoor is van dezelfde gegevens en dezelfde periode (1993-1999) uitgegaan als in het syntheseverslag. |
| --- | --- |

1.

Om het verband na te gaan tussen de gemiddelde jaarlijkse verandering in het bnp per hoofd van de bevolking voor de regio's van doelstelling 1 (de afhankelijke variabele) en de werkelijke uitgaven uit de EU-fondsen per hoofd van de bevolking, is in de doelstelling 1-regio's van elke lidstaat een meervoudige regressieanalyse verricht. Daarvoor is van dezelfde gegevens en dezelfde periode (1993-1999) uitgegaan als in het syntheseverslag.

| 2. | Opgemerkt moet worden dat het modelleren van veranderingspercentages een statistisch lastige opgave is en vaak geringe niveaus van verklaarde variatie in de afhankelijke variabele oplevert. Niettemin wijzen de resultaten in tabel 1 erop dat 53 % van de variatie in de afhankelijke variabele te wijten is aan verschillen in de toegewezen EU-middelen per hoofd van de bevolking. Dit is een statistisch significant resultaat, dat erop lijkt te wijzen dat de regio's waar de werkelijke uitgaven per hoofd uit de Structuurfondsen hoger waren, in die periode ook een hogere gemiddelde toename van het bnp per hoofd te zien gaven. |
| --- | --- |

2.

Opgemerkt moet worden dat het modelleren van veranderingspercentages een statistisch lastige opgave is en vaak geringe niveaus van verklaarde variatie in de afhankelijke variabele oplevert. Niettemin wijzen de resultaten in tabel 1 erop dat 53 % van de variatie in de afhankelijke variabele te wijten is aan verschillen in de toegewezen EU-middelen per hoofd van de bevolking. Dit is een statistisch significant resultaat, dat erop lijkt te wijzen dat de regio's waar de werkelijke uitgaven per hoofd uit de Structuurfondsen hoger waren, in die periode ook een hogere gemiddelde toename van het bnp per hoofd te zien gaven.

| 3. | De steekproef is weliswaar klein, hetgeen de statistische beoordeling bemoeilijkt, maar in elk van de elf waarnemingen wordt informatie uit vele regio's samengebracht. Deze waarnemingen vormen dus een bredere informatiebasis dan ze op zich zouden doen vermoeden. Dit resultaat staat tegenover het in het verslag gegeven resultaat en suggereert dat nader onderzoek op dit gebied gerechtvaardigd is. De curve van de werkelijke en de aangepaste waarden op basis van deze regressie wordt ook gegeven in figuur 1. |
| --- | --- |

3.

De steekproef is weliswaar klein, hetgeen de statistische beoordeling bemoeilijkt, maar in elk van de elf waarnemingen wordt informatie uit vele regio's samengebracht. Deze waarnemingen vormen dus een bredere informatiebasis dan ze op zich zouden doen vermoeden. Dit resultaat staat tegenover het in het verslag gegeven resultaat en suggereert dat nader onderzoek op dit gebied gerechtvaardigd is. De curve van de werkelijke en de aangepaste waarden op basis van deze regressie wordt ook gegeven in figuur 1.

Tabel 1

Regressie van de gemiddelde verandering in bnp per hoofd bij gemiddelde verandering van de bijdragen uit de Structuurfondsen per hoofd („EU structural funds per capita”, EUSFPC)

| Regressor | Coëfficiënt | Standaardfout | T-Ratio | [Kans] |
| --- | --- | --- | --- | --- |
| C | –2,0780 | 0,90194 | –2,3040 | [0,047] |
| EUSFPC | 2,8192 | 0,88559 | 3,1834 | [0,011] |

Regressor

Coëfficiënt

Standaardfout

T-Ratio

[Kans]

C

–2,0780

0,90194

–2,3040

[0,047]

EUSFPC

2,8192

0,88559

3,1834

[0,011]

| R-kwadraat | 0,52963 | R-kwadraat na correctie | | 0,47737 |
| --- | --- | --- | --- | --- |
| Standaardfout in de regressie | 1,2355 | F-stat. F (1,9) | 10,1340 | [0,011] |
| Gemiddelde van de afhankelijke variabele | 0,53688 | Standaardafstand van de afhankelijke variabele | | 1,7089 |
| Som van de overige kwadraten | 13,7371 | Vergelijking logaritmische waarschijnlijkheid | | –16,8304 |
| Akaike-Informatiecriterium | –18,8304 | Schwarz Bayesian-criterium | | –19,2283 |
| Deadweightstatistiek | 1,8219 | | | |

R-kwadraat

0,52963

R-kwadraat na correctie

0,47737

Standaardfout in de regressie

1,2355

F-stat. F (1,9)

10,1340

[0,011]

Gemiddelde van de afhankelijke variabele

0,53688

Standaardafstand van de afhankelijke variabele

1,7089

Som van de overige kwadraten

13,7371

Vergelijking logaritmische waarschijnlijkheid

–16,8304

Akaike-Informatiecriterium

–18,8304

Schwarz Bayesian-criterium

–19,2283

Deadweightstatistiek

1,8219

Image

---

BIJLAGE IV

HERMIN-simulaties en werkloosheid

| 1. | Het HERMIN-model is toegepast op basis van een „gemiddelde” (medium-medium) hypothese betreffende aanbodseffecten of -elasticiteiten inzake menselijk kapitaal en infrastructuur. De betrouwbaarheid van deze resultaten is geverifieerd met behulp van een gevoeligheidsanalyse op basis van twee verdere hypothesen:







  nul-nul-effect | : | — | geringe neoklassieke effecten (via veranderingen in de relatieve prijzen); |
| --- | --- | --- | --- | --- |

1.

Het HERMIN-model is toegepast op basis van een „gemiddelde” (medium-medium) hypothese betreffende aanbodseffecten of -elasticiteiten inzake menselijk kapitaal en infrastructuur. De betrouwbaarheid van deze resultaten is geverifieerd met behulp van een gevoeligheidsanalyse op basis van twee verdere hypothesen:

nul-nul-effect

:

—

geringe neoklassieke effecten (via veranderingen in de relatieve prijzen);

| — | geen aanbodseffecten (in termen van verbeteringen in de infrastructuur en het menselijk kapitaal) of geringe elasticiteiten in de output en de factorproductiviteit met betrekking tot fysieke infrastructuur en menselijk kapitaal; |
| --- | --- |

—

geen aanbodseffecten (in termen van verbeteringen in de infrastructuur en het menselijk kapitaal) of geringe elasticiteiten in de output en de factorproductiviteit met betrekking tot fysieke infrastructuur en menselijk kapitaal;

hoog-hoog-effect

:

| — | veel meer uitgesproken aanbodseffecten (in termen van fysieke infrastructuur en menselijk kapitaal) die nog aanhouden na de CB-periode. |
| --- | --- |

—

veel meer uitgesproken aanbodseffecten (in termen van fysieke infrastructuur en menselijk kapitaal) die nog aanhouden na de CB-periode.

| 2. | Wat betreft werkloosheid lieten de HERMIN-simulaties voor Oost-Duitsland, Spanje, Griekenland, Ierland en Portugal naar gelang van de drie hypothesen verschillende veranderingen zien. Om de relevantie van deze resultaten beter te evalueren, heeft de Rekenkamer de dalingen (of stijgingen) van de werkloosheidsgraad omgezet in netto gecreëerde (of verdwenen) arbeidsplaatsen. De resultaten van deze omzetting zijn te zien in tabel 1. |
| --- | --- |

2.

Wat betreft werkloosheid lieten de HERMIN-simulaties voor Oost-Duitsland, Spanje, Griekenland, Ierland en Portugal naar gelang van de drie hypothesen verschillende veranderingen zien. Om de relevantie van deze resultaten beter te evalueren, heeft de Rekenkamer de dalingen (of stijgingen) van de werkloosheidsgraad omgezet in netto gecreëerde (of verdwenen) arbeidsplaatsen. De resultaten van deze omzetting zijn te zien in tabel 1.

Tabel 1

HERMIN-simulaties

| | Netto aantal gecreëerde banen |
| --- | --- |
| Nul-nul hypothese | Medium-medium hypothese | Hoog-hoog hypothese |
| Oost-Duitsland | 822 308 | 729 923 | 635 755 |
| Spanje | 1 051 135 | 241 789 | – 806 026 |
| Griekenland | 303 034 | 190 825 | 65 969 |
| Ierland | 86 679 | 64 621 | 36 335 |
| Portugal | 497 445 | 250 502 | – 253 299 |

Netto aantal gecreëerde banen

Nul-nul hypothese

Medium-medium hypothese

Hoog-hoog hypothese

Oost-Duitsland

822 308

729 923

635 755

Spanje

1 051 135

241 789

– 806 026

Griekenland

303 034

190 825

65 969

Ierland

86 679

64 621

36 335

Portugal

497 445

250 502

– 253 299

| 3. | De geldigheid van deze resultaten moet worden beoordeeld in het licht van de volgende opmerkingen.






  a) | Bij de nieuwe Duitse deelstaten zijn de bottom-upgegevens nog onvolledig, maar kan worden geconcludeerd dat de cijfers die met behulp van HERMIN zijn verkregen voor het aantal netto gecreëerde banen in alle hypothesen aanzienlijk hoger blijken te liggen dan de cijfers die worden verkregen bij rechtstreeks toezicht op de projecten zelf (ongeveer 500 000 gecreëerde of in stand gehouden banen) (1). |
| --- | --- | --- |

3.

De geldigheid van deze resultaten moet worden beoordeeld in het licht van de volgende opmerkingen.

a)

Bij de nieuwe Duitse deelstaten zijn de bottom-upgegevens nog onvolledig, maar kan worden geconcludeerd dat de cijfers die met behulp van HERMIN zijn verkregen voor het aantal netto gecreëerde banen in alle hypothesen aanzienlijk hoger blijken te liggen dan de cijfers die worden verkregen bij rechtstreeks toezicht op de projecten zelf (ongeveer 500 000 gecreëerde of in stand gehouden banen) (1).

| b) | Ten aanzien van Ierland blijkt uit een vergelijking met andere gegevens dat het netto aantal van 64 621 gecreëerde banen die worden toegeschreven aan het communautair bestek (CB), enigszins ondergewaardeerd lijkt in vergelijking met het andere bewijsmateriaal. De cijfers van het toezicht wijzen uit dat met het operationeel programma voor het bedrijfsleven bruto ongeveer 212 000 en netto 90 000 banen zijn gecreëerd. Voorts is het totale aantal banen voor alle economische sectoren samen met 395 075 gestegen (2). De evaluatoren merken tevens op dat het van belang is, verder te kijken dan het CB en dus rekening te houden met elementen van het beleid, zoals maatregelen ter stimulering van rechtstreekse buitenlandse investeringen en het beleid ter beteugeling van looninflatie, die het CB begeleiden. Met andere woorden: in het model wordt geen rekening gehouden met deze elementen, die het aan het CB toegeschreven effect vergroten. |
| --- | --- |

b)

Ten aanzien van Ierland blijkt uit een vergelijking met andere gegevens dat het netto aantal van 64 621 gecreëerde banen die worden toegeschreven aan het communautair bestek (CB), enigszins ondergewaardeerd lijkt in vergelijking met het andere bewijsmateriaal. De cijfers van het toezicht wijzen uit dat met het operationeel programma voor het bedrijfsleven bruto ongeveer 212 000 en netto 90 000 banen zijn gecreëerd. Voorts is het totale aantal banen voor alle economische sectoren samen met 395 075 gestegen (2). De evaluatoren merken tevens op dat het van belang is, verder te kijken dan het CB en dus rekening te houden met elementen van het beleid, zoals maatregelen ter stimulering van rechtstreekse buitenlandse investeringen en het beleid ter beteugeling van looninflatie, die het CB begeleiden. Met andere woorden: in het model wordt geen rekening gehouden met deze elementen, die het aan het CB toegeschreven effect vergroten.

| c) | Op basis van de gemiddelde hypothese is het Spaanse CB voor doelstelling 1, dat het grootste CB vormt, in termen van gecreëerde banen veel minder succesvol dan het nieuwe Duitse deelstaten-CB voor doelstelling 1. Het doet het op dit gebied slechts beter dan laatstgenoemd bestek wanneer de vraageffecten als dominant worden beschouwd. Maar volgens deze hypothese vormde het netto aantal banen dat in de periode 1994-1999 is gecreëerd dankzij het CB van doelstelling 1 ongeveer 40 % van de groei in de werkgelegenheid in Spanje tussen 1995 en 2000, hetgeen nogal optimistisch lijkt. |
| --- | --- |

c)

Op basis van de gemiddelde hypothese is het Spaanse CB voor doelstelling 1, dat het grootste CB vormt, in termen van gecreëerde banen veel minder succesvol dan het nieuwe Duitse deelstaten-CB voor doelstelling 1. Het doet het op dit gebied slechts beter dan laatstgenoemd bestek wanneer de vraageffecten als dominant worden beschouwd. Maar volgens deze hypothese vormde het netto aantal banen dat in de periode 1994-1999 is gecreëerd dankzij het CB van doelstelling 1 ongeveer 40 % van de groei in de werkgelegenheid in Spanje tussen 1995 en 2000, hetgeen nogal optimistisch lijkt.

| d) | Past men op Portugal de gemiddelde hypothese en die van dominante vraageffecten toe, dan liggen de schattingen betreffende de netto gecreëerde banen veel hoger dan die van de nationale autoriteiten (3). Dit is echter niet onderzocht. |
| --- | --- |

d)

Past men op Portugal de gemiddelde hypothese en die van dominante vraageffecten toe, dan liggen de schattingen betreffende de netto gecreëerde banen veel hoger dan die van de nationale autoriteiten (3). Dit is echter niet onderzocht.

| e) | Hetzelfde geldt voor Griekenland; de schattingen door de nationale autoriteiten van het netto aantal gecreëerde banen liggen hoger dan die welke met het HERMIN-model (in alle hypothesen) voor de afname van de werkloosheid zijn verkregen. Volgens het nationale rapport leidde het CB van 1994 tot 1999 tot een jaarlijkse netto stijging van het werkgelegenheidscijfer met 1,7 % van het arbeidsbestand (4), hetgeen neerkomt op een netto aantal van meer dan 400 000 gecreëerde banen. |
| --- | --- |

e)

Hetzelfde geldt voor Griekenland; de schattingen door de nationale autoriteiten van het netto aantal gecreëerde banen liggen hoger dan die welke met het HERMIN-model (in alle hypothesen) voor de afname van de werkloosheid zijn verkregen. Volgens het nationale rapport leidde het CB van 1994 tot 1999 tot een jaarlijkse netto stijging van het werkgelegenheidscijfer met 1,7 % van het arbeidsbestand (4), hetgeen neerkomt op een netto aantal van meer dan 400 000 gecreëerde banen.

| f) | De cijfers voor verloren arbeidsplaatsen volgens de hoog-hoog hypothese voor het Spaanse en het Portugese CB lijken niet geloofwaardig. |
| --- | --- |

f)

De cijfers voor verloren arbeidsplaatsen volgens de hoog-hoog hypothese voor het Spaanse en het Portugese CB lijken niet geloofwaardig.

---

(1)  Evaluatieverslag voor Duitsland (doelstelling 1), (blz. 42, 48, 70, 72, 85 en 86).

(2)  Evaluatieverslag voor Ierland (blz. 61 en 92).

(3)  Ministerie Prognoses en planning van Portugal.

(4)  Nationaal verslag, blz. 210.

---

ANTWOORDEN VAN DE COMMISSIE

SAMENVATTING

| VI. | De Commissie is zich ten volle bewust van de beperkingen van het onderzoek, die grotendeels zijn toe te schrijven aan gegevensbeperkingen, en zij zal stappen ondernemen om de uitvoerbaarheid van de evaluaties achteraf in de toekomst te verbeteren. |
| --- | --- |

VI.

De Commissie is zich ten volle bewust van de beperkingen van het onderzoek, die grotendeels zijn toe te schrijven aan gegevensbeperkingen, en zij zal stappen ondernemen om de uitvoerbaarheid van de evaluaties achteraf in de toekomst te verbeteren.

| VII. | Ofschoon er zich enige moeilijkheden hebben voorgedaan op het gebied van de gegevens, is er bij de evaluatie van verschillende gegevenssoorten gebruikgemaakt om de conclusies te trekken (tussentijdse en definitieve evaluatieverslagen van de lidstaten, interviews, nationale workshops en casestudy's). |
| --- | --- |

VII.

Ofschoon er zich enige moeilijkheden hebben voorgedaan op het gebied van de gegevens, is er bij de evaluatie van verschillende gegevenssoorten gebruikgemaakt om de conclusies te trekken (tussentijdse en definitieve evaluatieverslagen van de lidstaten, interviews, nationale workshops en casestudy's).

| VIII. | De Commissie is van mening dat de taakomschrijvingen aan het doel beantwoordden, maar de evaluatie had te kampen met grote problemen, met name wat de beschikbaarheid van gegevens betreft. De Commissie heeft zowel met de positieve als met de negatieve aspecten van de verrichte werkzaamheden rekening gehouden.
  De Commissie is het er evenwel mee eens dat een voorbereidende analyse zinvol was geweest om sommige van de door de Rekenkamer beschreven gegevensproblemen te voorzien. |
| --- | --- |

VIII.

De Commissie is van mening dat de taakomschrijvingen aan het doel beantwoordden, maar de evaluatie had te kampen met grote problemen, met name wat de beschikbaarheid van gegevens betreft. De Commissie heeft zowel met de positieve als met de negatieve aspecten van de verrichte werkzaamheden rekening gehouden.

De Commissie is het er evenwel mee eens dat een voorbereidende analyse zinvol was geweest om sommige van de door de Rekenkamer beschreven gegevensproblemen te voorzien.

| X. | Ofschoon er zich moeilijkheden hebben voorgedaan, zijn de resultaten van de beoordelingen in de tussentijdse evaluatie meegenomen zoals gepland. |
| --- | --- |

X.

Ofschoon er zich moeilijkheden hebben voorgedaan, zijn de resultaten van de beoordelingen in de tussentijdse evaluatie meegenomen zoals gepland.

| XI. | De Commissie is van mening dat de evaluaties achteraf in de toekomst een sterkere focus moeten krijgen en dat ten volle rekening moet worden gehouden met de beperkingen op het gebied van gegevens en middelen.
  De Commissie is van mening dat macro-economische modellen een passend instrument zijn om het economische effect van grootschalige maatregelen te meten. In de HERMIN-modellen die voor de verschillende betrokken landen zijn ontwikkeld, is zo veel mogelijk rekening gehouden met de specifieke nationale kenmerken van de ontvangende economieën. Zoals bij ieder evaluatie-instrument kunnen evenwel verdere verbeteringen worden aangebracht om beperkingen, met name wat microgegevens betreft, aan te pakken.
  De Commissie is het ermee eens dat in evaluaties achteraf ten volle rekening moet worden gehouden met bestaande thematische studies.
  In de toekomstige evaluaties moet het aantal evaluatievragen naar omlaag. Op die manier kunnen bepaalde gebieden grondiger worden geanalyseerd en kan de Commissie gemakkelijker het overzicht behouden. |
| --- | --- |

XI.

De Commissie is van mening dat de evaluaties achteraf in de toekomst een sterkere focus moeten krijgen en dat ten volle rekening moet worden gehouden met de beperkingen op het gebied van gegevens en middelen.

De Commissie is van mening dat macro-economische modellen een passend instrument zijn om het economische effect van grootschalige maatregelen te meten. In de HERMIN-modellen die voor de verschillende betrokken landen zijn ontwikkeld, is zo veel mogelijk rekening gehouden met de specifieke nationale kenmerken van de ontvangende economieën. Zoals bij ieder evaluatie-instrument kunnen evenwel verdere verbeteringen worden aangebracht om beperkingen, met name wat microgegevens betreft, aan te pakken.

De Commissie is het ermee eens dat in evaluaties achteraf ten volle rekening moet worden gehouden met bestaande thematische studies.

In de toekomstige evaluaties moet het aantal evaluatievragen naar omlaag. Op die manier kunnen bepaalde gebieden grondiger worden geanalyseerd en kan de Commissie gemakkelijker het overzicht behouden.

INLEIDING

| 1. | De Rekenkamer heeft bij verschillende vorige gelegenheden opmerkingen gemaakt over de evaluaties in het algemeen en de evaluaties achteraf in het bijzonder, met name in Speciaal verslag nr. 15/1998 over de evaluatie van de bijstandsverlening van de structuurfondsen betreffende de perioden 1989-1993 en 1994-1999 en Speciaal verslag nr. 7/2003 over de uitvoering van de programmering van de acties in de periode 2000-2006 in het kader van de structuurfondsen. Hierin erkende de Rekenkamer dat er voor zulke evaluaties specifieke beperkingen gelden, en kwam hij tot een algemeen bevredigende beoordeling met vermelding van specifieke verbeterpunten. De Commissie verheugt zich over de opbouwende kritiek van de Rekenkamer ter zake. |
| --- | --- |

1.

De Rekenkamer heeft bij verschillende vorige gelegenheden opmerkingen gemaakt over de evaluaties in het algemeen en de evaluaties achteraf in het bijzonder, met name in Speciaal verslag nr. 15/1998 over de evaluatie van de bijstandsverlening van de structuurfondsen betreffende de perioden 1989-1993 en 1994-1999 en Speciaal verslag nr. 7/2003 over de uitvoering van de programmering van de acties in de periode 2000-2006 in het kader van de structuurfondsen. Hierin erkende de Rekenkamer dat er voor zulke evaluaties specifieke beperkingen gelden, en kwam hij tot een algemeen bevredigende beoordeling met vermelding van specifieke verbeterpunten. De Commissie verheugt zich over de opbouwende kritiek van de Rekenkamer ter zake.

| 4. | Voor de toekomst wil de Commissie de opzet van de evaluaties achteraf opnieuw bekijken, met name ten aanzien van de gegevensverzameling en de opstelling van het syntheseverslag.
  In de evaluatie achteraf van het ESF is gebruikgemaakt van de evaluatieverslagen die de lidstaten halverwege en aan het eind van de programmeringsperiode 1994-1999 hebben opgesteld. |
| --- | --- |

4.

Voor de toekomst wil de Commissie de opzet van de evaluaties achteraf opnieuw bekijken, met name ten aanzien van de gegevensverzameling en de opstelling van het syntheseverslag.

In de evaluatie achteraf van het ESF is gebruikgemaakt van de evaluatieverslagen die de lidstaten halverwege en aan het eind van de programmeringsperiode 1994-1999 hebben opgesteld.

EVALUATIE ACHTERAF VAN DOELSTELLING 1 DOOR DG REGIO

| 15. Kader 1. | De evaluatie achteraf is geen officieel verslag van de Commissie. De Commissie schaart zich evenwel achter de algemene conclusie van het verslag, die wordt onderbouwd door het derde verslag van de Commissie over de economische en sociale samenhang. |
| --- | --- |

15. Kader 1.

De evaluatie achteraf is geen officieel verslag van de Commissie. De Commissie schaart zich evenwel achter de algemene conclusie van het verslag, die wordt onderbouwd door het derde verslag van de Commissie over de economische en sociale samenhang.

| 16. | De Rekenkamer erkent de bijzondere uitdagingen en met name het gebrek aan gekwantificeerde indicatorgegevens waarmee de evaluatie achteraf te kampen had. De Commissie is het ermee eens dat de aanpak bij toekomstige evaluaties achteraf beter kan. Daarom wil zij vóór de volgende evaluatieronde een breder debat over de methodologie op gang brengen met de lidstaten en de academische wereld. Een punt dat zeker aan de orde moet worden gesteld, is of de focus op een klein aantal relevante evaluatievragen moet komen te liggen. De exercitie wordt in dat geval minder afhankelijk van gegevensbeperkingen. |
| --- | --- |

16.

De Rekenkamer erkent de bijzondere uitdagingen en met name het gebrek aan gekwantificeerde indicatorgegevens waarmee de evaluatie achteraf te kampen had. De Commissie is het ermee eens dat de aanpak bij toekomstige evaluaties achteraf beter kan. Daarom wil zij vóór de volgende evaluatieronde een breder debat over de methodologie op gang brengen met de lidstaten en de academische wereld. Een punt dat zeker aan de orde moet worden gesteld, is of de focus op een klein aantal relevante evaluatievragen moet komen te liggen. De exercitie wordt in dat geval minder afhankelijk van gegevensbeperkingen.

| 17. | Ofschoon het convergentietempo verschilt van regio tot regio, wordt de groei in doelstelling 1-regio’s niet alleen gedreven door een toename van de werkgelegenheid maar ook in sterke mate door productiviteitsstijgingen. Andere empirische onderzoeken geven aan dat productiviteit dé bepalende factor is voor een duurzaam groeitempo op de lange termijn (tenzij er een permanente instroom van migranten is). |
| --- | --- |

17.

Ofschoon het convergentietempo verschilt van regio tot regio, wordt de groei in doelstelling 1-regio’s niet alleen gedreven door een toename van de werkgelegenheid maar ook in sterke mate door productiviteitsstijgingen. Andere empirische onderzoeken geven aan dat productiviteit dé bepalende factor is voor een duurzaam groeitempo op de lange termijn (tenzij er een permanente instroom van migranten is).

| 18. | De Commissie is verheugd over de regressieanalyse die de Rekenkamer heeft verricht. Deze is evenwel op slechts één van de verklarende variabelen gebaseerd. Om vertekende resultaten te voorkomen, zou een controleanalyse voor de andere verklarende variabelen moeten worden uitgevoerd. |
| --- | --- |

18.

De Commissie is verheugd over de regressieanalyse die de Rekenkamer heeft verricht. Deze is evenwel op slechts één van de verklarende variabelen gebaseerd. Om vertekende resultaten te voorkomen, zou een controleanalyse voor de andere verklarende variabelen moeten worden uitgevoerd.

| 19. | In andere onderzoeken van de Commissie, bijvoorbeeld voor het derde cohesieverslag, zijn eveneens conclusies getrokken die verschillen van die van het syntheseverslag. In feite is er sprake van een gemengd beeld, waarbij in sommige lidstaten een toename van de werkgelegenheid de belangrijkste groeibepalende factor blijkt te zijn, terwijl dat in andere lidstaten productiviteitsstijgingen blijken te zijn (zie het derde cohesieverslag, blz. 3 en 4). |
| --- | --- |

19.

In andere onderzoeken van de Commissie, bijvoorbeeld voor het derde cohesieverslag, zijn eveneens conclusies getrokken die verschillen van die van het syntheseverslag. In feite is er sprake van een gemengd beeld, waarbij in sommige lidstaten een toename van de werkgelegenheid de belangrijkste groeibepalende factor blijkt te zijn, terwijl dat in andere lidstaten productiviteitsstijgingen blijken te zijn (zie het derde cohesieverslag, blz. 3 en 4).

| 20. | De Commissie erkent dat de beschikbare gegevens over de participatiegraad, het bruto nationaal product (bnp) en de productiviteit door de evaluator beter hadden kunnen worden benut. In andere studies zijn deze verbanden evenwel ook onderzocht. |
| --- | --- |

20.

De Commissie erkent dat de beschikbare gegevens over de participatiegraad, het bruto nationaal product (bnp) en de productiviteit door de evaluator beter hadden kunnen worden benut. In andere studies zijn deze verbanden evenwel ook onderzocht.

| 21. | De gegevens over de geplande en de werkelijke uitgaven kunnen niet per regio worden opgesplitst, omdat een aanzienlijk deel van de bijstand wordt verleend via nationale programma’s zoals voor vervoer, onderzoek, nationale steunregelingen of human resources, en de lidstaten geen statistieken over de toewijzing per regio bijhouden. Daardoor kon de regressie onvermijdelijkerwijs slechts een deel van de EU-uitgaven dekken. Dit was een inherente beperking van dit deel van de evaluatie. |
| --- | --- |

21.

De gegevens over de geplande en de werkelijke uitgaven kunnen niet per regio worden opgesplitst, omdat een aanzienlijk deel van de bijstand wordt verleend via nationale programma’s zoals voor vervoer, onderzoek, nationale steunregelingen of human resources, en de lidstaten geen statistieken over de toewijzing per regio bijhouden. Daardoor kon de regressie onvermijdelijkerwijs slechts een deel van de EU-uitgaven dekken. Dit was een inherente beperking van dit deel van de evaluatie.

| 23. | In haar derde cohesieverslag (blz. 147) heeft de Commissie aangetoond dat er een zeker verband bestaat tussen de omvang van de verstrekte structurele steun en de werkelijke groei van het bnp in doelstelling 1-regio’s. |
| --- | --- |

23.

In haar derde cohesieverslag (blz. 147) heeft de Commissie aangetoond dat er een zeker verband bestaat tussen de omvang van de verstrekte structurele steun en de werkelijke groei van het bnp in doelstelling 1-regio’s.

| 24. | Er werd reeds opgemerkt dat de evaluatie met serieuze gegevensbeperkingen te kampen had, met name wat nationale gegevens betreft over zowel uit publieke als uit particuliere middelen medegefinancierde uitgaven. De gepresenteerde gegevens waren doorgaans het resultaat van schattingen, wat in sommige gevallen tot fouten of discrepanties leidde. |
| --- | --- |

24.

Er werd reeds opgemerkt dat de evaluatie met serieuze gegevensbeperkingen te kampen had, met name wat nationale gegevens betreft over zowel uit publieke als uit particuliere middelen medegefinancierde uitgaven. De gepresenteerde gegevens waren doorgaans het resultaat van schattingen, wat in sommige gevallen tot fouten of discrepanties leidde.

| 26. | De participatie van de particuliere sector hangt af van de algemene economische omstandigheden van het land als geheel en de regio in kwestie. Het hefboomeffect van de EU-structuurfondsen verschilt sterk van land tot land. |
| --- | --- |

26.

De participatie van de particuliere sector hangt af van de algemene economische omstandigheden van het land als geheel en de regio in kwestie. Het hefboomeffect van de EU-structuurfondsen verschilt sterk van land tot land.

| 27. | Nader onderzoek van dit aspect werd gehinderd door de onzekerheid over cijfers voor de particuliere sector. |
| --- | --- |

27.

Nader onderzoek van dit aspect werd gehinderd door de onzekerheid over cijfers voor de particuliere sector.

| 28. | Marktfalen speelt een sleutelrol in het kader van de evaluatie achteraf. Ofschoon dit aspect is vermeld in de methodologische richtsnoeren die de evaluator heeft opgesteld, hoefde er volgens de taakomschrijving geen formele en grondige beoordeling van de geschiktheid te worden verricht. |
| --- | --- |

28.

Marktfalen speelt een sleutelrol in het kader van de evaluatie achteraf. Ofschoon dit aspect is vermeld in de methodologische richtsnoeren die de evaluator heeft opgesteld, hoefde er volgens de taakomschrijving geen formele en grondige beoordeling van de geschiktheid te worden verricht.

| 30. | De evaluatoren hebben hun oordeel grotendeels moeten baseren op informatie en gegevens die beschikbaar waren in de lidstaten. Als er geen gegevens beschikbaar waren, bijvoorbeeld over „deadweight”, moesten de evaluatoren deze gegevens volgens de taakomschrijving niet zelf verzamelen, aangezien er slechts beperkte middelen beschikbaar waren.
  Wat het concept van de communautaire meerwaarde betreft, is de Commissie van mening dat de inhoud daarvan afhankelijk is van de omstandigheden in de verschillende lidstaten. Zo kan de programmeringsaanpak in een lidstaat nieuw zijn en in een andere dan weer niet. Een kwalitatieve beoordeling lijkt in dat geval het best geschikt. |
| --- | --- |

30.

De evaluatoren hebben hun oordeel grotendeels moeten baseren op informatie en gegevens die beschikbaar waren in de lidstaten. Als er geen gegevens beschikbaar waren, bijvoorbeeld over „deadweight”, moesten de evaluatoren deze gegevens volgens de taakomschrijving niet zelf verzamelen, aangezien er slechts beperkte middelen beschikbaar waren.

Wat het concept van de communautaire meerwaarde betreft, is de Commissie van mening dat de inhoud daarvan afhankelijk is van de omstandigheden in de verschillende lidstaten. Zo kan de programmeringsaanpak in een lidstaat nieuw zijn en in een andere dan weer niet. Een kwalitatieve beoordeling lijkt in dat geval het best geschikt.

| 31. | Dit is in grote mate te wijten aan gegevens- en budgettaire beperkingen. Ofschoon een beoordeling van de resultaten van andere thematische studies de conclusies meer kracht had kunnen bijzetten, diende de evaluatie achteraf een breder toepassingsgebied te bestrijken. |
| --- | --- |

31.

Dit is in grote mate te wijten aan gegevens- en budgettaire beperkingen. Ofschoon een beoordeling van de resultaten van andere thematische studies de conclusies meer kracht had kunnen bijzetten, diende de evaluatie achteraf een breder toepassingsgebied te bestrijken.

| 32. | De twee evaluaties hebben een verschillende reikwijdte en omvang. Zo is de thematische evaluatie over het vervoer bijvoorbeeld ook gebaseerd op het Cohesiefonds en omvat zij alle doelstellingen. |
| --- | --- |

32.

De twee evaluaties hebben een verschillende reikwijdte en omvang. Zo is de thematische evaluatie over het vervoer bijvoorbeeld ook gebaseerd op het Cohesiefonds en omvat zij alle doelstellingen.

| 33. | Het is algemeen bekend dat het effect van de structuurfondssteun op de werkgelegenheid moeilijk te ramen valt en dat de resultaten van de raming naar gelang van de gebruikte methode kunnen uiteenlopen. Zij moeten derhalve met omzichtigheid worden geïnterpreteerd. De Commissie verricht verdere methodologische werkzaamheden in verband met de raming van de werkgelegenheidseffecten om de samenhang tussen de resultaten te verbeteren. |
| --- | --- |

33.

Het is algemeen bekend dat het effect van de structuurfondssteun op de werkgelegenheid moeilijk te ramen valt en dat de resultaten van de raming naar gelang van de gebruikte methode kunnen uiteenlopen. Zij moeten derhalve met omzichtigheid worden geïnterpreteerd. De Commissie verricht verdere methodologische werkzaamheden in verband met de raming van de werkgelegenheidseffecten om de samenhang tussen de resultaten te verbeteren.

| 34. | De methoden die in het syntheseverslag en het verslag van de thematische evaluatie zijn gebruikt om de werkgelegenheidseffecten te ramen, zijn niet vergelijkbaar. In het HERMIN-model wordt van solidere veronderstellingen uitgegaan en worden ook effecten aan de aanbodzijde meegenomen die verband houden met de investering in menselijk en materieel kapitaal, terwijl in de studie naar het vervoer de directe en indirecte kortetermijneffecten worden geraamd. |
| --- | --- |

34.

De methoden die in het syntheseverslag en het verslag van de thematische evaluatie zijn gebruikt om de werkgelegenheidseffecten te ramen, zijn niet vergelijkbaar. In het HERMIN-model wordt van solidere veronderstellingen uitgegaan en worden ook effecten aan de aanbodzijde meegenomen die verband houden met de investering in menselijk en materieel kapitaal, terwijl in de studie naar het vervoer de directe en indirecte kortetermijneffecten worden geraamd.

| 35 en 36. | Zoals hierboven werd opgemerkt, is het algemeen bekend dat het effect van de structuurfondssteun op de werkgelegenheid moeilijk te ramen valt en dat de resultaten van de raming naar gelang van de gebruikte methode kunnen uiteenlopen. In de thematische studie over het mkb is een grondigere analyse van mkb-acties verricht en is ook aandacht besteed aan andere bijstandsverlening buiten doelstelling 1-regio’s. |
| --- | --- |

35 en 36.

Zoals hierboven werd opgemerkt, is het algemeen bekend dat het effect van de structuurfondssteun op de werkgelegenheid moeilijk te ramen valt en dat de resultaten van de raming naar gelang van de gebruikte methode kunnen uiteenlopen. In de thematische studie over het mkb is een grondigere analyse van mkb-acties verricht en is ook aandacht besteed aan andere bijstandsverlening buiten doelstelling 1-regio’s.

| 37. | Monitoringgegevens van de lidstaten waren een noodzakelijke input voor de studie. Gelet op de beperkingen inzake tijd en middelen zou het onmogelijk zijn geweest de leemten en tekortkomingen in de gegevens te verhelpen. |
| --- | --- |

37.

Monitoringgegevens van de lidstaten waren een noodzakelijke input voor de studie. Gelet op de beperkingen inzake tijd en middelen zou het onmogelijk zijn geweest de leemten en tekortkomingen in de gegevens te verhelpen.

| 38. | Gelet op het brede toepassingsgebied van de evaluatie was het onmogelijk alle punten in detail aan te pakken door middel van ad-hoconderzoeken of ander veldwerk. |
| --- | --- |

38.

Gelet op het brede toepassingsgebied van de evaluatie was het onmogelijk alle punten in detail aan te pakken door middel van ad-hoconderzoeken of ander veldwerk.

| 39. | De Commissie is het ermee eens dat bij de evaluaties bestaande studies en literatuur als uitgangspunt voor de analyse moeten worden genomen. De thematische studies waren evenwel in een andere context verricht, namelijk als input ter voorbereiding van de programma’s voor de periode 2000-2006, terwijl de evaluatie achteraf op een later tijdstip kwam. |
| --- | --- |

39.

De Commissie is het ermee eens dat bij de evaluaties bestaande studies en literatuur als uitgangspunt voor de analyse moeten worden genomen. De thematische studies waren evenwel in een andere context verricht, namelijk als input ter voorbereiding van de programma’s voor de periode 2000-2006, terwijl de evaluatie achteraf op een later tijdstip kwam.

| 40. | Om geformaliseerde kwantitatieve methoden te kunnen gebruiken, moeten er voldoende en degelijke gegevens van de lidstaten voorhanden zijn. De Rekenkamer heeft terecht opgemerkt dat zulke gegevens voor de programmeringsperiode 1994-1999 vaak ontbraken. |
| --- | --- |

40.

Om geformaliseerde kwantitatieve methoden te kunnen gebruiken, moeten er voldoende en degelijke gegevens van de lidstaten voorhanden zijn. De Rekenkamer heeft terecht opgemerkt dat zulke gegevens voor de programmeringsperiode 1994-1999 vaak ontbraken.

| 41. | De reikwijdte van de doelstelling die in de taakomschrijving voor deze rubriek was vastgesteld, was redelijk beperkt. |
| --- | --- |

41.

De reikwijdte van de doelstelling die in de taakomschrijving voor deze rubriek was vastgesteld, was redelijk beperkt.

| 42. | Ondanks de moeilijkheden bij de gegevensverzameling als gevolg van de combinatie van verschillende vormen van bouwwerkzaamheden hebben de evaluatoren toch geprobeerd om voor sommige gebieden zoals wegenbouw, milieuprojecten en bij projecten in bedrijven gecreëerde banen vergelijkbare kosten per eenheid vast te stellen. |
| --- | --- |

42.

Ondanks de moeilijkheden bij de gegevensverzameling als gevolg van de combinatie van verschillende vormen van bouwwerkzaamheden hebben de evaluatoren toch geprobeerd om voor sommige gebieden zoals wegenbouw, milieuprojecten en bij projecten in bedrijven gecreëerde banen vergelijkbare kosten per eenheid vast te stellen.

| 43. | De Commissie is het ermee eens dat een grondigere analyse wenselijk is. De latere evaluatie achteraf van het Cohesiefonds heeft diepere inzichten over dit thema opgeleverd. In 1998 heeft de Commissie een gids opgesteld onder de titel „Understanding and monitoring the cost-determining factors of infrastructure projects — A user's guide”. |
| --- | --- |

43.

De Commissie is het ermee eens dat een grondigere analyse wenselijk is. De latere evaluatie achteraf van het Cohesiefonds heeft diepere inzichten over dit thema opgeleverd. In 1998 heeft de Commissie een gids opgesteld onder de titel „Understanding and monitoring the cost-determining factors of infrastructure projects — A user's guide”.

| 44. | Uit de formulering in de taakomschrijving bleek duidelijk dat deze taken uiterst moeilijk waren en slechts gedeeltelijke conclusies konden opleveren. Volgens de taakomschrijving hoefde geen evaluatie van publiek-private partnerschappen en aanbestedingsprocedures te worden verricht. Het thema van publiek-private partnerschappen is in de evaluatie achteraf van het Cohesiefonds behandeld. |
| --- | --- |

44.

Uit de formulering in de taakomschrijving bleek duidelijk dat deze taken uiterst moeilijk waren en slechts gedeeltelijke conclusies konden opleveren. Volgens de taakomschrijving hoefde geen evaluatie van publiek-private partnerschappen en aanbestedingsprocedures te worden verricht. Het thema van publiek-private partnerschappen is in de evaluatie achteraf van het Cohesiefonds behandeld.

| 46. | De evaluator heeft de medefinanciering uit de particuliere sector niet in het macro-economische model opgenomen omdat het de bedoeling was het algehele effect van door de EU en de openbare sector medegefinancierde uitgaven op de economie inclusief particuliere investeringen te kwantificeren. Investeringen uit de particuliere sector worden als een resultaat en niet als een afzonderlijke beleidsinput beschouwd. De Commissie verwijst naar haar antwoorden op de paragrafen 24 tot en met 27. De Commissie is evenals de Rekenkamer bezorgd over de moeilijkheid om parameters voor externaliteiten te specificeren. De gemaakte keuze was gebaseerd op internationale studies waaruit een reeks elasticiteitswaarden kon worden afgeleid. Toen de studie werd verricht, bestond er geen echt alternatief voor de effectbeoordeling. |
| --- | --- |

46.

De evaluator heeft de medefinanciering uit de particuliere sector niet in het macro-economische model opgenomen omdat het de bedoeling was het algehele effect van door de EU en de openbare sector medegefinancierde uitgaven op de economie inclusief particuliere investeringen te kwantificeren. Investeringen uit de particuliere sector worden als een resultaat en niet als een afzonderlijke beleidsinput beschouwd. De Commissie verwijst naar haar antwoorden op de paragrafen 24 tot en met 27. De Commissie is evenals de Rekenkamer bezorgd over de moeilijkheid om parameters voor externaliteiten te specificeren. De gemaakte keuze was gebaseerd op internationale studies waaruit een reeks elasticiteitswaarden kon worden afgeleid. Toen de studie werd verricht, bestond er geen echt alternatief voor de effectbeoordeling.

| 48. | Enkele van de opmerkingen die de Rekenkamer in de paragrafen 48 en 49 maakt, zijn afkomstig uit Speciaal verslag nr. 7/2003 over de uitvoering van de programmering van de acties in de periode 2000-2006 in het kader van de structuurfondsen. De Commissie verwijst naar de antwoorden in dat verslag.
  Het door de Rekenkamer voorgestelde alternatief was niet haalbaar. De vereisten inzake de verzameling van microgegevens waren onvoldoende gestandaardiseerd voor dit soort analyse. De Commissie is het ermee eens dat toekomstige macro-economische evaluaties meer op micro-economische gegevensanalysen gebaseerd moeten zijn. |
| --- | --- |

48.

Enkele van de opmerkingen die de Rekenkamer in de paragrafen 48 en 49 maakt, zijn afkomstig uit Speciaal verslag nr. 7/2003 over de uitvoering van de programmering van de acties in de periode 2000-2006 in het kader van de structuurfondsen. De Commissie verwijst naar de antwoorden in dat verslag.

Het door de Rekenkamer voorgestelde alternatief was niet haalbaar. De vereisten inzake de verzameling van microgegevens waren onvoldoende gestandaardiseerd voor dit soort analyse. De Commissie is het ermee eens dat toekomstige macro-economische evaluaties meer op micro-economische gegevensanalysen gebaseerd moeten zijn.

| 49. | a) | Dit waren de uitgangspunten van het HERMIN-model toen de evaluatie werd verricht. Bij de verdere ontwikkeling van het model moet evenwel meer aandacht worden besteed aan het belang van de dienstensector in doelstelling 1-economieën. |
| --- | --- | --- |

49.

a)

Dit waren de uitgangspunten van het HERMIN-model toen de evaluatie werd verricht. Bij de verdere ontwikkeling van het model moet evenwel meer aandacht worden besteed aan het belang van de dienstensector in doelstelling 1-economieën.

| b) | De kwestie van de structurele instabiliteit van het model zal in latere macro-economische werkzaamheden grondig worden onderzocht. |
| --- | --- |

b)

De kwestie van de structurele instabiliteit van het model zal in latere macro-economische werkzaamheden grondig worden onderzocht.

| c) | De Commissie erkent dat de modelexercitie nauwkeuriger was geweest indien er gegevenssets over werkelijke uitgaven beschikbaar waren geweest. De gebruikte gegevens over vastleggingen waren de enige beschikbare gegevens voor alle regio’s op het tijdstip van de evaluatie. |
| --- | --- |

c)

De Commissie erkent dat de modelexercitie nauwkeuriger was geweest indien er gegevenssets over werkelijke uitgaven beschikbaar waren geweest. De gebruikte gegevens over vastleggingen waren de enige beschikbare gegevens voor alle regio’s op het tijdstip van de evaluatie.

| e) | De elasticiteitswaarden die verband houden met investeringen in menselijk en materieel kapitaal en die in het HERMIN-model worden gebruikt, zijn gebaseerd op een hele reeks van academische studies. In het model komen verschillende scenario’s aan bod op basis van hoge, midden- en lage waarden. Deze gevoeligheidstest resulteert in een reeks effectwaarden.
  Alle macro-economische modellen hebben te kampen met gegevensproblemen. De modelexercitie is verricht met de beste beschikbare gegevens. De Commissie is het ermee eens dat extra werk moet worden verricht om de in het model gebruikte elasticiteitswaarden verder te verbeteren. |
| --- | --- |

e)

De elasticiteitswaarden die verband houden met investeringen in menselijk en materieel kapitaal en die in het HERMIN-model worden gebruikt, zijn gebaseerd op een hele reeks van academische studies. In het model komen verschillende scenario’s aan bod op basis van hoge, midden- en lage waarden. Deze gevoeligheidstest resulteert in een reeks effectwaarden.

Alle macro-economische modellen hebben te kampen met gegevensproblemen. De modelexercitie is verricht met de beste beschikbare gegevens. De Commissie is het ermee eens dat extra werk moet worden verricht om de in het model gebruikte elasticiteitswaarden verder te verbeteren.

| f) | In het HERMIN-model is het contrafactische scenario omschreven als de situatie zonder CB’s om aldus de afwijking ten opzichte van de uitgangswaarden te kunnen ramen. Andere additionaliteitsscenario’s zijn evenwel denkbaar, bijvoorbeeld uitsluitend met structuurfondsen en Cohesiefonds (zonder nationale medefinanciering). |
| --- | --- |

f)

In het HERMIN-model is het contrafactische scenario omschreven als de situatie zonder CB’s om aldus de afwijking ten opzichte van de uitgangswaarden te kunnen ramen. Andere additionaliteitsscenario’s zijn evenwel denkbaar, bijvoorbeeld uitsluitend met structuurfondsen en Cohesiefonds (zonder nationale medefinanciering).

| 50. | Volgens de Commissie zijn modellen van het type HERMIN, ondanks eventuele tekortkomingen, een waardevol instrument om inzicht te verwerven in de effecten van het cohesiebeleid en deze te kwantificeren. Dit standpunt wordt bevestigd door het feit dat steeds meer lidstaten het model gebruiken en er geen overtuigende alternatieve methoden voorhanden zijn. Het HERMIN-model is voor verbetering vatbaar en de Commissie werkt momenteel aan de ontwikkeling ervan voor de programmeringsperiode 2007-2013. |
| --- | --- |

50.

Volgens de Commissie zijn modellen van het type HERMIN, ondanks eventuele tekortkomingen, een waardevol instrument om inzicht te verwerven in de effecten van het cohesiebeleid en deze te kwantificeren. Dit standpunt wordt bevestigd door het feit dat steeds meer lidstaten het model gebruiken en er geen overtuigende alternatieve methoden voorhanden zijn. Het HERMIN-model is voor verbetering vatbaar en de Commissie werkt momenteel aan de ontwikkeling ervan voor de programmeringsperiode 2007-2013.

| 51. | Volgens de Commissie is het moeilijk om een lineair verband vast te stellen tussen een toename of afname van de werkloosheid en het aantal verloren of gecreëerde arbeidsplaatsen. Arbeidsmarktmechanismen zijn ingewikkelder en moeten nauwkeurig worden onderzocht voordat harde conclusies worden getrokken. |
| --- | --- |

51.

Volgens de Commissie is het moeilijk om een lineair verband vast te stellen tussen een toename of afname van de werkloosheid en het aantal verloren of gecreëerde arbeidsplaatsen. Arbeidsmarktmechanismen zijn ingewikkelder en moeten nauwkeurig worden onderzocht voordat harde conclusies worden getrokken.

| 52. | Er moet opnieuw worden opgemerkt dat de evaluatie afhankelijk was van de kwaliteit van de gegevens en de doelstellingen die de lidstaten hadden vastgesteld. Het ontbreken van deze gegevens maakte de evaluatie in vele gevallen moeilijk of zelfs onmogelijk. |
| --- | --- |

52.

Er moet opnieuw worden opgemerkt dat de evaluatie afhankelijk was van de kwaliteit van de gegevens en de doelstellingen die de lidstaten hadden vastgesteld. Het ontbreken van deze gegevens maakte de evaluatie in vele gevallen moeilijk of zelfs onmogelijk.

| 56. | Gedeeltelijk conflicterende of uiteenlopende aanbevelingen in verschillende evaluaties met verschillende vragen en methoden zijn een normaal en vaak voorkomend fenomeen bij economisch en sociologisch onderzoek. |
| --- | --- |

56.

Gedeeltelijk conflicterende of uiteenlopende aanbevelingen in verschillende evaluaties met verschillende vragen en methoden zijn een normaal en vaak voorkomend fenomeen bij economisch en sociologisch onderzoek.

| 57. | De aanbeveling in de evaluatie achteraf dat erop moet worden gelet dat de omvang van de toezichtcomités adequaat en werkbaar is, staat niet haaks op de aanbeveling van de thematische studie dat een brede samenstelling moet worden gewaarborgd. |
| --- | --- |

57.

De aanbeveling in de evaluatie achteraf dat erop moet worden gelet dat de omvang van de toezichtcomités adequaat en werkbaar is, staat niet haaks op de aanbeveling van de thematische studie dat een brede samenstelling moet worden gewaarborgd.

| 59. | De evaluatie achteraf berustte hier slechts op gedeeltelijke studies. De Commissie is het ermee eens dat de bevindingen over de beheerssystemen belangrijk genoeg waren om meer aandacht te krijgen. De diensten van de Commissie hebben dit thema in 2003 aan een specifieke evaluatie onderworpen („The efficiency of the implementation methods for Structural Funds” — december 2003). |
| --- | --- |

59.

De evaluatie achteraf berustte hier slechts op gedeeltelijke studies. De Commissie is het ermee eens dat de bevindingen over de beheerssystemen belangrijk genoeg waren om meer aandacht te krijgen. De diensten van de Commissie hebben dit thema in 2003 aan een specifieke evaluatie onderworpen („The efficiency of the implementation methods for Structural Funds” — december 2003).

| 60. | Evenals de andere thematische evaluatiestudies had de studie over het partnerschapsbeginsel tot doel informatie te verstrekken voor de programmering van de periode 2000-2006. De programmering was voltooid tegen de tijd dat de evaluatie achteraf was verricht. Het was derhalve misschien wel wenselijk, doch niet essentieel om dit punt in de evaluatie achteraf nader te bekijken. |
| --- | --- |

60.

Evenals de andere thematische evaluatiestudies had de studie over het partnerschapsbeginsel tot doel informatie te verstrekken voor de programmering van de periode 2000-2006. De programmering was voltooid tegen de tijd dat de evaluatie achteraf was verricht. Het was derhalve misschien wel wenselijk, doch niet essentieel om dit punt in de evaluatie achteraf nader te bekijken.

| 61. | De taakstelling en het budget van de evaluatie waren noodgedwongen beperkt.
  De door de Rekenkamer genoemde punten zijn behandeld in de studie waarnaar is verwezen in het antwoord op paragraaf 59. Projectselectieprocedures behoren ook tot de aspecten van beheers- en controlesystemen die in audits worden getoetst, aangezien zij een belangrijke voorwaarde voor gezond financieel beheer vormen.
  De Commissie is eerder de mening toegedaan dat toekomstige evaluaties achteraf minder vragen moeten omvatten. |
| --- | --- |

61.

De taakstelling en het budget van de evaluatie waren noodgedwongen beperkt.

De door de Rekenkamer genoemde punten zijn behandeld in de studie waarnaar is verwezen in het antwoord op paragraaf 59. Projectselectieprocedures behoren ook tot de aspecten van beheers- en controlesystemen die in audits worden getoetst, aangezien zij een belangrijke voorwaarde voor gezond financieel beheer vormen.

De Commissie is eerder de mening toegedaan dat toekomstige evaluaties achteraf minder vragen moeten omvatten.

| 62. | De Commissie is het ermee eens dat de beheers- en controlesystemen van de lidstaten voor de structuurfondsen in de periode 1994-1999 gebreken vertoonden. Met de invoering van de controleverordening (Verordening (EG) nr. 2064/97) trad evenwel een verbetering op naar het einde van die periode, die in de periode 2000-2006 aanhield. |
| --- | --- |

62.

De Commissie is het ermee eens dat de beheers- en controlesystemen van de lidstaten voor de structuurfondsen in de periode 1994-1999 gebreken vertoonden. Met de invoering van de controleverordening (Verordening (EG) nr. 2064/97) trad evenwel een verbetering op naar het einde van die periode, die in de periode 2000-2006 aanhield.

| 63. | De lidstaten en de Commissie zijn het erover eens dat het toezicht op de structuurfondsprogramma’s een zwak punt was in de programmeringsperiode 1994-1999. In de periode 2000-2006 zijn forse inspanningen geleverd om dit te verhelpen. Voor het eerst zijn systematische evaluaties (waaronder evaluaties vooraf en tussentijdse evaluaties) verricht voor alle structuurfondsprogramma’s. Dit heeft geleid tot een aanzienlijke verbetering in het systeem van indicatoren voor en toezicht op de structuurfondsen. |
| --- | --- |

63.

De lidstaten en de Commissie zijn het erover eens dat het toezicht op de structuurfondsprogramma’s een zwak punt was in de programmeringsperiode 1994-1999. In de periode 2000-2006 zijn forse inspanningen geleverd om dit te verhelpen. Voor het eerst zijn systematische evaluaties (waaronder evaluaties vooraf en tussentijdse evaluaties) verricht voor alle structuurfondsprogramma’s. Dit heeft geleid tot een aanzienlijke verbetering in het systeem van indicatoren voor en toezicht op de structuurfondsen.

| 64. | De financiële gegevens die de systemen verstrekten, waren grotendeels betrouwbaar. Dit was evenwel niet het geval voor de toezichtgegevens, ofschoon de beschikbaarheid van deze gegevens er in de latere fasen van de programmeringsperiode op vooruitging. |
| --- | --- |

64.

De financiële gegevens die de systemen verstrekten, waren grotendeels betrouwbaar. Dit was evenwel niet het geval voor de toezichtgegevens, ofschoon de beschikbaarheid van deze gegevens er in de latere fasen van de programmeringsperiode op vooruitging.

| 65. | „Interne evaluaties” waren geen wettelijke vereiste volgens de verordeningen, maar werden verricht om te beantwoorden aan specifieke behoeften in de lidstaten. Zij vormden een positief uitvloeisel van de evaluaties achteraf, dat nu grote navolging vindt. |
| --- | --- |

65.

„Interne evaluaties” waren geen wettelijke vereiste volgens de verordeningen, maar werden verricht om te beantwoorden aan specifieke behoeften in de lidstaten. Zij vormden een positief uitvloeisel van de evaluaties achteraf, dat nu grote navolging vindt.

| 66. | Voor de programmeringsperiode 2000-2006 zijn in de verordening voor het eerst precieze regels en voorwaarden vastgelegd. Op basis daarvan heeft de Commissie gedetailleerde werkdocumenten opgesteld over de onderdelen „toezicht” en „evaluatie”. De evaluaties vooraf, die systematisch worden verricht voor alle programma’s en doelstellingen, waren voor de lidstaten een ideale kans om te investeren in de vaststelling van indicatoren en gekwantificeerde doelstellingen. De meeste lidstaten hebben IT-oplossingen ingevoerd ter ondersteuning van een periodieke en systematische rapportage op basis van gekwantificeerde gegevens. De tussentijdse evaluatie bood de gelegenheid om de indicatoren en het gebruik ervan opnieuw te bekijken en te verbeteren. |
| --- | --- |

66.

Voor de programmeringsperiode 2000-2006 zijn in de verordening voor het eerst precieze regels en voorwaarden vastgelegd. Op basis daarvan heeft de Commissie gedetailleerde werkdocumenten opgesteld over de onderdelen „toezicht” en „evaluatie”. De evaluaties vooraf, die systematisch worden verricht voor alle programma’s en doelstellingen, waren voor de lidstaten een ideale kans om te investeren in de vaststelling van indicatoren en gekwantificeerde doelstellingen. De meeste lidstaten hebben IT-oplossingen ingevoerd ter ondersteuning van een periodieke en systematische rapportage op basis van gekwantificeerde gegevens. De tussentijdse evaluatie bood de gelegenheid om de indicatoren en het gebruik ervan opnieuw te bekijken en te verbeteren.

| 67. | a) | In de taakomschrijving was vermeld dat de in de lidstaten beschikbare gegevens mogelijkerwijs niet volledig waren, met name wanneer de lidstaat in kwestie niet voornemens was evaluaties achteraf te verrichten. |
| --- | --- | --- |

67.

a)

In de taakomschrijving was vermeld dat de in de lidstaten beschikbare gegevens mogelijkerwijs niet volledig waren, met name wanneer de lidstaat in kwestie niet voornemens was evaluaties achteraf te verrichten.

| b) | De mate waarin verdere gegevens konden worden verzameld, was beperkt door de beschikbare tijd en middelen. |
| --- | --- |

b)

De mate waarin verdere gegevens konden worden verzameld, was beperkt door de beschikbare tijd en middelen.

| c) | Er zijn methodologische moeilijkheden met de beoordeling van de netto-effecten met behulp van micro-economische methoden. Op dit gebied moeten evenwel verdere werkzaamheden worden verricht. |
| --- | --- |

c)

Er zijn methodologische moeilijkheden met de beoordeling van de netto-effecten met behulp van micro-economische methoden. Op dit gebied moeten evenwel verdere werkzaamheden worden verricht.

| d) | De Commissie is het ermee eens dat dit een belangrijke factor is in de beoordeling van de doeltreffendheid. Hiervoor hadden evenwel specifieke nadere studies moeten worden verricht, wat duur is. De Commissie moedigt de lidstaten evenwel aan zulke werkzaamheden te verrichten. |
| --- | --- |

d)

De Commissie is het ermee eens dat dit een belangrijke factor is in de beoordeling van de doeltreffendheid. Hiervoor hadden evenwel specifieke nadere studies moeten worden verricht, wat duur is. De Commissie moedigt de lidstaten evenwel aan zulke werkzaamheden te verrichten.

| e) | De potentiële verbanden tussen de strategie, de doeltreffendheid en de effecten zijn geanalyseerd in de evaluaties vooraf. |
| --- | --- |

e)

De potentiële verbanden tussen de strategie, de doeltreffendheid en de effecten zijn geanalyseerd in de evaluaties vooraf.

| f) en g) | De Commissie is van mening dat het beter is om in de taakomschrijving alleen de evaluatievragen vast te stellen en de inschrijvers de keuze te laten zelf een methode voor te stellen. |
| --- | --- |

f) en g)

De Commissie is van mening dat het beter is om in de taakomschrijving alleen de evaluatievragen vast te stellen en de inschrijvers de keuze te laten zelf een methode voor te stellen.

| 68. | Er is heel wat onderzoek naar convergentie verricht. De resultaten van recente werkzaamheden op dat gebied zijn samengevat in de cohesieverslagen van de Commissie. |
| --- | --- |

68.

Er is heel wat onderzoek naar convergentie verricht. De resultaten van recente werkzaamheden op dat gebied zijn samengevat in de cohesieverslagen van de Commissie.

| 69. | Dit had ook een interessante aanpak kunnen zijn, maar er was geen behoefte aan. Volgens de Commissie moeten in de toekomstige evaluaties duidelijke prioriteiten worden vastgelegd waarbij de reikwijdte van de vragen wordt beperkt. |
| --- | --- |

69.

Dit had ook een interessante aanpak kunnen zijn, maar er was geen behoefte aan. Volgens de Commissie moeten in de toekomstige evaluaties duidelijke prioriteiten worden vastgelegd waarbij de reikwijdte van de vragen wordt beperkt.

| 70. | De Commissie is van mening dat de taakomschrijving en de methodologische richtsnoeren aan het doel beantwoordden. |
| --- | --- |

70.

De Commissie is van mening dat de taakomschrijving en de methodologische richtsnoeren aan het doel beantwoordden.

| 72. | Op basis van lessen die zij uit de evaluatie achteraf heeft getrokken, doet de Commissie thans in een vroeger stadium een beroep op deskundigen bij methodologisch veeleisende evaluaties. |
| --- | --- |

72.

Op basis van lessen die zij uit de evaluatie achteraf heeft getrokken, doet de Commissie thans in een vroeger stadium een beroep op deskundigen bij methodologisch veeleisende evaluaties.

| 73. | De evaluatie achteraf voor de periode 1994-1999 had te kampen met specifieke problemen, met name op het gebied van de beschikbaarheid van de gegevens. |
| --- | --- |

73.

De evaluatie achteraf voor de periode 1994-1999 had te kampen met specifieke problemen, met name op het gebied van de beschikbaarheid van de gegevens.

| 75. | De Commissie heeft bij deze evaluatie gebruikgemaakt van de gebruikelijke beheerstechnieken zoals een geformaliseerd systeem van tussentijdse rapportage, toezicht door een stuurgroep, regelmatige werkvergaderingen en de inzet van deskundigen. Een en ander heeft geleid tot een verslag van aanvaardbare kwaliteit.
  De evaluatie achteraf was uitermate ingewikkeld. De Commissie zal de opgedane ervaring aanwenden om deze kwestie in de toekomst beter aan te pakken.
  De Commissie is het eens met de Rekenkamer dat het aantal evaluatievragen in toekomstige evaluaties naar omlaag moet. Op die manier kunnen bepaalde gebieden grondiger worden geanalyseerd en kan de Commissie gemakkelijker het overzicht behouden. |
| --- | --- |

75.

De Commissie heeft bij deze evaluatie gebruikgemaakt van de gebruikelijke beheerstechnieken zoals een geformaliseerd systeem van tussentijdse rapportage, toezicht door een stuurgroep, regelmatige werkvergaderingen en de inzet van deskundigen. Een en ander heeft geleid tot een verslag van aanvaardbare kwaliteit.

De evaluatie achteraf was uitermate ingewikkeld. De Commissie zal de opgedane ervaring aanwenden om deze kwestie in de toekomst beter aan te pakken.

De Commissie is het eens met de Rekenkamer dat het aantal evaluatievragen in toekomstige evaluaties naar omlaag moet. Op die manier kunnen bepaalde gebieden grondiger worden geanalyseerd en kan de Commissie gemakkelijker het overzicht behouden.

| 76. | De evaluatie gaat, zowel in de samenvatting als in hoofdstuk 9 over de aanbevelingen, veel verder dan alleen maar beheersaanbevelingen. De aanbevelingen zijn gericht op de steun uit de structuurfondsen in alle doelstelling 1-regio’s en hebben noodgedwongen een algemeen karakter. Er wordt nadruk gelegd op de rol van onderzoek en ontwikkeling, de behoefte aan meer aandacht voor verschillen binnen grote doelstelling 1-regio's, de behoefte aan betere coördinatie van de structuurfondsen met de overige steunverlening in plattelandsgebieden enz. |
| --- | --- |

76.

De evaluatie gaat, zowel in de samenvatting als in hoofdstuk 9 over de aanbevelingen, veel verder dan alleen maar beheersaanbevelingen. De aanbevelingen zijn gericht op de steun uit de structuurfondsen in alle doelstelling 1-regio’s en hebben noodgedwongen een algemeen karakter. Er wordt nadruk gelegd op de rol van onderzoek en ontwikkeling, de behoefte aan meer aandacht voor verschillen binnen grote doelstelling 1-regio's, de behoefte aan betere coördinatie van de structuurfondsen met de overige steunverlening in plattelandsgebieden enz.

| 77. | De Commissie is het eens met de evaluator dat de toezichtcomités meer aandacht moeten besteden aan strategische kwesties. Dit mag niet afleiden van de andere taken die de comités volgens de verordeningen moeten verrichten. |
| --- | --- |

77.

De Commissie is het eens met de evaluator dat de toezichtcomités meer aandacht moeten besteden aan strategische kwesties. Dit mag niet afleiden van de andere taken die de comités volgens de verordeningen moeten verrichten.

| 80. | De aanbeveling waarnaar de Rekenkamer in het bijzonder verwijst, is door de Commissie gevolgd voor de programmeringsperiode 2007-2013. |
| --- | --- |

80.

De aanbeveling waarnaar de Rekenkamer in het bijzonder verwijst, is door de Commissie gevolgd voor de programmeringsperiode 2007-2013.

EVALUATIE ACHTERAF VAN DE BIJSTANDSVERLENING UIT HET ESF (IN HET KADER VAN DE DOELSTELLINGEN 1 EN 3) DOOR DG EMPL

| 81. | In oktober 2002 heeft een coördinatievergadering plaatsgevonden tussen DG Regio, DG Empl en de personen die de evaluatie achteraf van het ESF zouden verrichten. Op deze vergadering is overeengekomen dat de ESF-evaluatoren toegang zouden hebben tot het materiaal dat werd verzameld door de EFRO-evaluatoren. Dit is nadien gebeurd. De twee evaluatieleiders maakten deel uit van de stuurgroep voor elkaars respectieve evaluatie en ontvingen op die manier documentatie die aan andere leden van die stuurgroep ter beschikking werd gesteld. De ESF-evaluatoren hebben gebruikgemaakt van het beschikbare EFRO-evaluatiemateriaal. |
| --- | --- |

81.

In oktober 2002 heeft een coördinatievergadering plaatsgevonden tussen DG Regio, DG Empl en de personen die de evaluatie achteraf van het ESF zouden verrichten. Op deze vergadering is overeengekomen dat de ESF-evaluatoren toegang zouden hebben tot het materiaal dat werd verzameld door de EFRO-evaluatoren. Dit is nadien gebeurd. De twee evaluatieleiders maakten deel uit van de stuurgroep voor elkaars respectieve evaluatie en ontvingen op die manier documentatie die aan andere leden van die stuurgroep ter beschikking werd gesteld. De ESF-evaluatoren hebben gebruikgemaakt van het beschikbare EFRO-evaluatiemateriaal.

| Kader 2. | De ESF-evaluatoren hebben uit diverse informatiebronnen geput. |
| --- | --- |

Kader 2.

De ESF-evaluatoren hebben uit diverse informatiebronnen geput.

| 82. | In het syntheseverslag alleen al is veel informatie opgenomen over de aanwending van ESF-middelen (aard, omvang, effect) voor de verschillende doelgroepen samen en volgens het soort maatregel voor alle lidstaten samen (zie met name hoofdstuk 2 van het syntheseverslag). |
| --- | --- |

82.

In het syntheseverslag alleen al is veel informatie opgenomen over de aanwending van ESF-middelen (aard, omvang, effect) voor de verschillende doelgroepen samen en volgens het soort maatregel voor alle lidstaten samen (zie met name hoofdstuk 2 van het syntheseverslag).

| 84. | De raming van het aantal begunstigden in de genoemde tabel is gebaseerd op de gegevens die afkomstig zijn uit de toezichtsystemen van de lidstaten. De problemen die zich hebben voorgedaan ten aanzien van de nauwkeurigheid van sommige gegevens, hadden geen noemenswaardige invloed op de nuttige vaststellingen die zijn gedaan.
  Het totale aantal begunstigden speelt slechts een rol bij i) de verantwoording en ii) de beperkte analyse van de kosten-batenverhoudingen.
  Bij de evaluatie achteraf zijn geen conclusies getrokken of aanbevelingen gedaan die slechts op één enkele informatiebron berustten. |
| --- | --- |

84.

De raming van het aantal begunstigden in de genoemde tabel is gebaseerd op de gegevens die afkomstig zijn uit de toezichtsystemen van de lidstaten. De problemen die zich hebben voorgedaan ten aanzien van de nauwkeurigheid van sommige gegevens, hadden geen noemenswaardige invloed op de nuttige vaststellingen die zijn gedaan.

Het totale aantal begunstigden speelt slechts een rol bij i) de verantwoording en ii) de beperkte analyse van de kosten-batenverhoudingen.

Bij de evaluatie achteraf zijn geen conclusies getrokken of aanbevelingen gedaan die slechts op één enkele informatiebron berustten.

| 85. | De Commissie erkent dat er problemen waren met het ramen van het aantal ESF-begunstigden. Zij is niettemin de mening toegedaan dat de tabel nuttige informatie bevat voor beleidsmakers.
  De evaluator heeft al — zeer correct — de twee informatiebronnen vermeld die bij de opstelling van de tabel zijn gebruikt, maar een nadere toelichting bij de samenstelling van de cijfers was inderdaad zinvol geweest. |
| --- | --- |

85.

De Commissie erkent dat er problemen waren met het ramen van het aantal ESF-begunstigden. Zij is niettemin de mening toegedaan dat de tabel nuttige informatie bevat voor beleidsmakers.

De evaluator heeft al — zeer correct — de twee informatiebronnen vermeld die bij de opstelling van de tabel zijn gebruikt, maar een nadere toelichting bij de samenstelling van de cijfers was inderdaad zinvol geweest.

| 86. | De opmerkingen in de tekst verwijzen naar gedetailleerdere informatie dan die welke in de begeleidende tabel is opgenomen. De tabel bevat gemiddelde waarden terwijl in de tekst een opsplitsing naar subcategorie wordt gegeven.
  De Commissie is van mening dat het weglaten van een grote reeks cijfers niets afdoet aan de waarde van de analyse. |
| --- | --- |

86.

De opmerkingen in de tekst verwijzen naar gedetailleerdere informatie dan die welke in de begeleidende tabel is opgenomen. De tabel bevat gemiddelde waarden terwijl in de tekst een opsplitsing naar subcategorie wordt gegeven.

De Commissie is van mening dat het weglaten van een grote reeks cijfers niets afdoet aan de waarde van de analyse.

| 87. | Met hoofdstuk 3 wordt beoogd contextuele informatie te verstrekken voor ESF-acties. Het overgrote deel van de cijfergegevens over het ESF is opgenomen in hoofdstuk 2. |
| --- | --- |

87.

Met hoofdstuk 3 wordt beoogd contextuele informatie te verstrekken voor ESF-acties. Het overgrote deel van de cijfergegevens over het ESF is opgenomen in hoofdstuk 2.

| Kader 3. | Het beperkte aantal discrepanties in de tekst doet niets af aan de juistheid en de bruikbaarheid van de gegevens in de tabel. |
| --- | --- |

Kader 3.

Het beperkte aantal discrepanties in de tekst doet niets af aan de juistheid en de bruikbaarheid van de gegevens in de tabel.

| 88. | Uit de tabel blijkt duidelijk algemene steun voor de genoemde hypothesen.
  Een nadere beschouwing van tabel 3 leert dat:






  a) | eender welke hypothese ten hoogste eenmaal op 30 wordt tegengesproken; |
| --- | --- | --- |

88.

Uit de tabel blijkt duidelijk algemene steun voor de genoemde hypothesen.

Een nadere beschouwing van tabel 3 leert dat:

a)

eender welke hypothese ten hoogste eenmaal op 30 wordt tegengesproken;

| b) | ten minste twee derde van de scores in de categorieën „sterk bewijsmateriaal” of „enig bewijsmateriaal” (20/30, 21/30, 22/30 en 26/30) valt. |
| --- | --- |

b)

ten minste twee derde van de scores in de categorieën „sterk bewijsmateriaal” of „enig bewijsmateriaal” (20/30, 21/30, 22/30 en 26/30) valt.

| 89. | Een legitiem aspect van evaluatiewerkzaamheden is ook dat tekortkomingen in de gegevens in kaart worden gebracht.
  In de taakomschrijving is duidelijk gesteld dat de evaluatie hoofdzakelijk een deskonderzoek is op basis van secundaire gegevens (gegevens en informatie uit de tussentijdse en eindevaluaties en uit de verslagen en toezichtsystemen van de beheersautoriteiten) en dat de evaluatoren zich niet uitgebreid moeten bezighouden met het verzamelen van primaire gegevens. Omvangrijke extra veldwerkzaamheden en steekproefnemingen zouden extra middelen hebben vereist en aanzienlijke extra kosten hebben veroorzaakt, met name omdat er informatie over de gehele programmeringsperiode diende te worden verzameld. De komende ESF-evaluatie achteraf voor de periode 2000-2006 zal worden voorafgegaan door een voorbereidende analyse. |
| --- | --- |

89.

Een legitiem aspect van evaluatiewerkzaamheden is ook dat tekortkomingen in de gegevens in kaart worden gebracht.

In de taakomschrijving is duidelijk gesteld dat de evaluatie hoofdzakelijk een deskonderzoek is op basis van secundaire gegevens (gegevens en informatie uit de tussentijdse en eindevaluaties en uit de verslagen en toezichtsystemen van de beheersautoriteiten) en dat de evaluatoren zich niet uitgebreid moeten bezighouden met het verzamelen van primaire gegevens. Omvangrijke extra veldwerkzaamheden en steekproefnemingen zouden extra middelen hebben vereist en aanzienlijke extra kosten hebben veroorzaakt, met name omdat er informatie over de gehele programmeringsperiode diende te worden verzameld. De komende ESF-evaluatie achteraf voor de periode 2000-2006 zal worden voorafgegaan door een voorbereidende analyse.

| 90. | In het syntheseverslag wordt verschillende malen verwezen naar het belang van „gecombineerde maatregelen” wat doeltreffendheid betreft. |
| --- | --- |

90.

In het syntheseverslag wordt verschillende malen verwezen naar het belang van „gecombineerde maatregelen” wat doeltreffendheid betreft.

| 92. | Ten eerste hebben de evaluatoren zich voorzichtig uitgedrukt en benadrukken zij dat hun conclusies niet definitief zijn door te schrijven dat de gecombineerde toewijzing van nationale middelen en ESF-middelen kennelijk niet heeft geleid tot een convergentie. Ten tweede tonen de cijfers (tabellen in hoofdstuk 3 en bijlage 2) inderdaad aan dat er bij een gecombineerde toewijzing met nationale middelen geen convergentie van uitgavenpatronen tussen landen is. Ten derde zijn, zoals eerder in het antwoord op paragraaf 87 (inclusief kader 3) is vermeld, de gegevens in de door de Rekenkamer genoemde tabellen van hoofdstuk 3 nauwkeurig en ondersteunen zij de genuanceerde vaststelling van de evaluatoren. Deze vaststelling is ook gebaseerd op de analyse van de arbeidsmarktontwikkelingen die in bijlage 2 bij het syntheseverslag (niet alleen hoofdstuk 3) is opgenomen. De Commissie heeft al opgemerkt dat de genoemde voorbeelden betrekking hebben op een beperkt aantal discrepanties in de tekst die niets afdoen aan de cijfers. |
| --- | --- |

92.

Ten eerste hebben de evaluatoren zich voorzichtig uitgedrukt en benadrukken zij dat hun conclusies niet definitief zijn door te schrijven dat de gecombineerde toewijzing van nationale middelen en ESF-middelen kennelijk niet heeft geleid tot een convergentie. Ten tweede tonen de cijfers (tabellen in hoofdstuk 3 en bijlage 2) inderdaad aan dat er bij een gecombineerde toewijzing met nationale middelen geen convergentie van uitgavenpatronen tussen landen is. Ten derde zijn, zoals eerder in het antwoord op paragraaf 87 (inclusief kader 3) is vermeld, de gegevens in de door de Rekenkamer genoemde tabellen van hoofdstuk 3 nauwkeurig en ondersteunen zij de genuanceerde vaststelling van de evaluatoren. Deze vaststelling is ook gebaseerd op de analyse van de arbeidsmarktontwikkelingen die in bijlage 2 bij het syntheseverslag (niet alleen hoofdstuk 3) is opgenomen. De Commissie heeft al opgemerkt dat de genoemde voorbeelden betrekking hebben op een beperkt aantal discrepanties in de tekst die niets afdoen aan de cijfers.

| 93. | Zoals in het geval van tabel 3 over individuele personen (zie paragraaf 88) blijkt uit de gegevens duidelijk algemene steun voor de genoemde hypothesen. |
| --- | --- |

93.

Zoals in het geval van tabel 3 over individuele personen (zie paragraaf 88) blijkt uit de gegevens duidelijk algemene steun voor de genoemde hypothesen.

| 95. | De Commissie is van mening dat haar kwaliteitsbeoordeling juist en evenwichtig was en rekening hield met zowel de positieve als de negatieve aspecten van de verrichte werkzaamheden (en niet alleen maar gericht was op een beperkt aantal negatieve aspecten).
  Gelet op het voorgaande en op het feit dat de resultaten en conclusies op verschillende informatiebronnen zijn gebaseerd, staat de Commissie onverminderd achter haar kwaliteitsbeoordeling. |
| --- | --- |

95.

De Commissie is van mening dat haar kwaliteitsbeoordeling juist en evenwichtig was en rekening hield met zowel de positieve als de negatieve aspecten van de verrichte werkzaamheden (en niet alleen maar gericht was op een beperkt aantal negatieve aspecten).

Gelet op het voorgaande en op het feit dat de resultaten en conclusies op verschillende informatiebronnen zijn gebaseerd, staat de Commissie onverminderd achter haar kwaliteitsbeoordeling.

| 97. | a) | Het wekt geen verbazing dat sommige evaluatieresultaten een kwalitatief karakter hebben aangezien de evaluatie gebruikmaakt van secundaire bronnen die zijn samengevat, en van primaire bronnen die een kwalitatief karakter hebben (interviews met betrokkenen en nationale workshops over de bevindingen van de evaluatie). In sommige gevallen kan de beschrijving van de resultaten alleen maar kwalitatief gebeuren. De raming van „deadweight” was geen aspect dat door de lidstaten in de programmeringsperiode 1994-1999 moest worden geanalyseerd, en maakte ook geen deel uit van de taakomschrijving van de evaluatie. Logischerwijze kon in de evaluatie achteraf alleen maar verslag worden uitgebracht over beschikbare „deadweight”-ramingen. |
| --- | --- | --- |

97.

a)

Het wekt geen verbazing dat sommige evaluatieresultaten een kwalitatief karakter hebben aangezien de evaluatie gebruikmaakt van secundaire bronnen die zijn samengevat, en van primaire bronnen die een kwalitatief karakter hebben (interviews met betrokkenen en nationale workshops over de bevindingen van de evaluatie). In sommige gevallen kan de beschrijving van de resultaten alleen maar kwalitatief gebeuren. De raming van „deadweight” was geen aspect dat door de lidstaten in de programmeringsperiode 1994-1999 moest worden geanalyseerd, en maakte ook geen deel uit van de taakomschrijving van de evaluatie. Logischerwijze kon in de evaluatie achteraf alleen maar verslag worden uitgebracht over beschikbare „deadweight”-ramingen.

| b) | Het Britse verslag verstrekt heel wat bewijsmateriaal ter staving van „zachte” resultaten.
  Ook in andere nationale verslagen wordt naar dit concept verwezen. |
| --- | --- |

b)

Het Britse verslag verstrekt heel wat bewijsmateriaal ter staving van „zachte” resultaten.

Ook in andere nationale verslagen wordt naar dit concept verwezen.

| c) | Het syntheseverslag en de nationale verslagen waarop dit is gebaseerd, bevatten talrijke vaststellingen in verband met de inhoud van ESF-acties (op financieel vlak, per doelgroep, per soort maatregel en prestatie, opmerkingen uit nationale evaluatieverslagen, opmerkingen uit interviews met betrokkenen).
  Prestatiegegevens zijn ook beschikbaar uit de casestudy’s. |
| --- | --- |

c)

Het syntheseverslag en de nationale verslagen waarop dit is gebaseerd, bevatten talrijke vaststellingen in verband met de inhoud van ESF-acties (op financieel vlak, per doelgroep, per soort maatregel en prestatie, opmerkingen uit nationale evaluatieverslagen, opmerkingen uit interviews met betrokkenen).

Prestatiegegevens zijn ook beschikbaar uit de casestudy’s.

| d) | Duurzame ontwikkeling was nog geen politieke prioriteit voor de structuurfondsen toen de programma’s voor de periode 1994-1999 werden opgesteld en was derhalve niet specifiek in de taakomschrijving opgenomen.
  Sociaaleconomische cohesie is niet in de taakomschrijving vermeld: dit thema is in het cohesieverslag behandeld. |
| --- | --- |

d)

Duurzame ontwikkeling was nog geen politieke prioriteit voor de structuurfondsen toen de programma’s voor de periode 1994-1999 werden opgesteld en was derhalve niet specifiek in de taakomschrijving opgenomen.

Sociaaleconomische cohesie is niet in de taakomschrijving vermeld: dit thema is in het cohesieverslag behandeld.

| e) | Elk van de door de Rekenkamer onderzochte nationale verslagen bevat heel wat gegevens over langdurig werklozen en jongeren. Het syntheseverslag bevat ook informatie over deze beide „doelgroepen”. |
| --- | --- |

e)

Elk van de door de Rekenkamer onderzochte nationale verslagen bevat heel wat gegevens over langdurig werklozen en jongeren. Het syntheseverslag bevat ook informatie over deze beide „doelgroepen”.

| f) | Er is reeds eerder opgemerkt dat de evaluatoren in sommige opzichten afhankelijk waren van de informatie van de lidstaten. Het ontbreken van „specifieke initiële doelstellingen” voor sommige programma’s was een extra belemmering voor de evaluatoren. |
| --- | --- |

f)

Er is reeds eerder opgemerkt dat de evaluatoren in sommige opzichten afhankelijk waren van de informatie van de lidstaten. Het ontbreken van „specifieke initiële doelstellingen” voor sommige programma’s was een extra belemmering voor de evaluatoren.

| g) | De ESF- en EFRO-evaluatoren hebben samengewerkt en de ESF-evaluatoren hebben gebruikgemaakt van de verslagen die hen door de evaluatoren van doelstelling 1-regio's ter beschikking zijn gesteld. Productiviteitsstijgingen bij ESF-begunstigden in termen van de voordelen voor de firma’s waarvoor zij werken, was geen aspect dat door de lidstaten voor de programmeringsperiode 1994-1999 moest worden geëvalueerd, en maakte ook geen deel uit van de taakomschrijving. Het is dan ook niet verwonderlijk dat dit aspect slechts af en toe aan de orde komt. |
| --- | --- |

g)

De ESF- en EFRO-evaluatoren hebben samengewerkt en de ESF-evaluatoren hebben gebruikgemaakt van de verslagen die hen door de evaluatoren van doelstelling 1-regio's ter beschikking zijn gesteld. Productiviteitsstijgingen bij ESF-begunstigden in termen van de voordelen voor de firma’s waarvoor zij werken, was geen aspect dat door de lidstaten voor de programmeringsperiode 1994-1999 moest worden geëvalueerd, en maakte ook geen deel uit van de taakomschrijving. Het is dan ook niet verwonderlijk dat dit aspect slechts af en toe aan de orde komt.

| 98. | In het syntheseverslag zijn talrijke factoren genoemd die een effect hebben op de ontwikkeling van actief arbeidsmarktbeleid (AAMB), zoals de omvang van de ESF-middelen, het planningproces van de structuurfondsen en de organisatorische regelingen voor het ESF. Ook de invloed van het ESF in de context van de Europese werkgelegenheidsstrategie (EWS) wordt redelijk concreet beschreven.
  Er werd reeds eerder opgemerkt dat de lidstaten voor de periode 1994-1999 geen netto-effectanalyse moesten verrichten. Het is dan ook normaal dat het thema niet in alle evaluatieverslagen van de lidstaten aan de orde wordt gesteld. Aangezien de evaluatoren was gevraagd geen grootschalige primaire-gegevensverzameling te verrichten, kan de personen die de evaluatie achteraf hebben uitgevoerd, niet worden verweten dat zij deze gegevens niet hebben verstrekt. |
| --- | --- |

98.

In het syntheseverslag zijn talrijke factoren genoemd die een effect hebben op de ontwikkeling van actief arbeidsmarktbeleid (AAMB), zoals de omvang van de ESF-middelen, het planningproces van de structuurfondsen en de organisatorische regelingen voor het ESF. Ook de invloed van het ESF in de context van de Europese werkgelegenheidsstrategie (EWS) wordt redelijk concreet beschreven.

Er werd reeds eerder opgemerkt dat de lidstaten voor de periode 1994-1999 geen netto-effectanalyse moesten verrichten. Het is dan ook normaal dat het thema niet in alle evaluatieverslagen van de lidstaten aan de orde wordt gesteld. Aangezien de evaluatoren was gevraagd geen grootschalige primaire-gegevensverzameling te verrichten, kan de personen die de evaluatie achteraf hebben uitgevoerd, niet worden verweten dat zij deze gegevens niet hebben verstrekt.

| 100. | Het sterkere strategische kader van de EWS zorgt voor doelstellingen waaraan de vooruitgang kan worden getoetst. Er zijn betere institutionele structuren opgezet om de vorderingen te meten. Tot slot stimuleert de EWS ook sterkere banden tussen mechanismen voor de financiering van EU-programma’s en andere beleidsinstrumenten, verordeningen en nationale programma’s. |
| --- | --- |

100.

Het sterkere strategische kader van de EWS zorgt voor doelstellingen waaraan de vooruitgang kan worden getoetst. Er zijn betere institutionele structuren opgezet om de vorderingen te meten. Tot slot stimuleert de EWS ook sterkere banden tussen mechanismen voor de financiering van EU-programma’s en andere beleidsinstrumenten, verordeningen en nationale programma’s.

| 101. | De Commissie gelooft dat in ieder nationaal verslag de aspecten van communautaire meerwaarde die in de taakomschrijving zijn genoemd (financiële en hefboomeffecten, beleids- en institutionele effecten, sociaal-culturele effecten en variatie in de doelstellingen als geheel), zijn behandeld. Zij erkent evenwel dat deze aspecten soms in andere delen van de nationale verslagen zijn behandeld.
  In de nationale verslagen van de evaluatie achteraf (en het syntheseverslag van de evaluatie achteraf) zijn deze verschillende aspecten bovendien nog eens samengevoegd tot een algemene analyse van de communautaire meerwaarde. |
| --- | --- |

101.

De Commissie gelooft dat in ieder nationaal verslag de aspecten van communautaire meerwaarde die in de taakomschrijving zijn genoemd (financiële en hefboomeffecten, beleids- en institutionele effecten, sociaal-culturele effecten en variatie in de doelstellingen als geheel), zijn behandeld. Zij erkent evenwel dat deze aspecten soms in andere delen van de nationale verslagen zijn behandeld.

In de nationale verslagen van de evaluatie achteraf (en het syntheseverslag van de evaluatie achteraf) zijn deze verschillende aspecten bovendien nog eens samengevoegd tot een algemene analyse van de communautaire meerwaarde.

| 102. | De nationale verslagen en het syntheseverslag bevatten heel wat informatie over de financiële middelen die aan ESF-acties zijn besteed.
  Voor zowel Spanje als Italië zijn de algehele conclusies van de evaluatie positief.
  In de evaluatie achteraf voor Spanje luidt de algemene conclusie dat de ESF-middelen in de periode 1994-1999 op passende en efficiënte wijze door de Spaanse autoriteiten zijn benut en dat de meeste programma’s volgens plan volledig zijn uitgevoerd (blz. 74).
  In de evaluatie achteraf voor Italië wordt geconcludeerd dat sommige kosten noodzakelijk zijn om het uitvoeringsproces performanter en transparanter te maken terwijl andere waarschijnlijk kunnen worden verlaagd door de procedure te vereenvoudigen (de vereenvoudiging van de procedures is een thema dat is opgenomen in de daaropvolgende programmeringsperiode 2000-2006). |
| --- | --- |

102.

De nationale verslagen en het syntheseverslag bevatten heel wat informatie over de financiële middelen die aan ESF-acties zijn besteed.

Voor zowel Spanje als Italië zijn de algehele conclusies van de evaluatie positief.

In de evaluatie achteraf voor Spanje luidt de algemene conclusie dat de ESF-middelen in de periode 1994-1999 op passende en efficiënte wijze door de Spaanse autoriteiten zijn benut en dat de meeste programma’s volgens plan volledig zijn uitgevoerd (blz. 74).

In de evaluatie achteraf voor Italië wordt geconcludeerd dat sommige kosten noodzakelijk zijn om het uitvoeringsproces performanter en transparanter te maken terwijl andere waarschijnlijk kunnen worden verlaagd door de procedure te vereenvoudigen (de vereenvoudiging van de procedures is een thema dat is opgenomen in de daaropvolgende programmeringsperiode 2000-2006).

| 104. | De Commissie is van mening dat het verslag toch nuttige informatie bevat voor de uitvoering van toekomstige evaluaties achteraf.
  Het verslag bevat redelijk uitgebreide evaluaties van methoden die zijn gebruikt voor de evaluatie van ESF-acties gericht op zowel individuele personen als systemen.
  Wat de methoden voor de beoordeling van het netto-effect op personen betreft, bevat het verslag talrijke verwijzingen naar technieken die zijn gehanteerd om het netto-effect op personen te ramen (zie met name blz. 14 t/m 16, maar ook de verdere verwijzingen op blz. 10, 12, 21 enz.). |
| --- | --- |

104.

De Commissie is van mening dat het verslag toch nuttige informatie bevat voor de uitvoering van toekomstige evaluaties achteraf.

Het verslag bevat redelijk uitgebreide evaluaties van methoden die zijn gebruikt voor de evaluatie van ESF-acties gericht op zowel individuele personen als systemen.

Wat de methoden voor de beoordeling van het netto-effect op personen betreft, bevat het verslag talrijke verwijzingen naar technieken die zijn gehanteerd om het netto-effect op personen te ramen (zie met name blz. 14 t/m 16, maar ook de verdere verwijzingen op blz. 10, 12, 21 enz.).

| 105. | Wat de aanbevelingen inzake beleidsanalyse betreft, blijkt uit het methodenrapport duidelijk dat de evaluatoren een aantal concrete aanbevelingen hebben opgesteld die betrekking hebben op beleidsanalyse, zoals strikt toezicht op het verband tussen ESF-maatregelen en de ontwikkeling van maatregelen op nationaal en regionaal niveau.
  In het methodenrapport wordt ook nader ingegaan op de „logische modellen” voor beleidsanalyse en worden evaluatievragen opgesteld in verband met de verantwoording voor ESF-acties.
  Van de evaluatoren werd niet verlangd dat zij een aanpak zouden voorstellen voor de selectie van geschikte indicatoren op verschillende strategische niveaus, omdat deze indicatoren al voor de gehele programmeringsperiode waren vastgesteld in richtsnoeren die de Commissie in 2000 had uitgevaardigd. |
| --- | --- |

105.

Wat de aanbevelingen inzake beleidsanalyse betreft, blijkt uit het methodenrapport duidelijk dat de evaluatoren een aantal concrete aanbevelingen hebben opgesteld die betrekking hebben op beleidsanalyse, zoals strikt toezicht op het verband tussen ESF-maatregelen en de ontwikkeling van maatregelen op nationaal en regionaal niveau.

In het methodenrapport wordt ook nader ingegaan op de „logische modellen” voor beleidsanalyse en worden evaluatievragen opgesteld in verband met de verantwoording voor ESF-acties.

Van de evaluatoren werd niet verlangd dat zij een aanpak zouden voorstellen voor de selectie van geschikte indicatoren op verschillende strategische niveaus, omdat deze indicatoren al voor de gehele programmeringsperiode waren vastgesteld in richtsnoeren die de Commissie in 2000 had uitgevaardigd.

| 106. | De Commissie is van mening dat de evaluatietaken duidelijk zijn gespecificeerd in de taakomschrijving. De conclusies in de nationale verslagen van de evaluatie achteraf zijn gebaseerd op diverse bronnen (interviews, casestudy’s enz.). Het syntheseverslag geeft een algemene analyse van de resultaten die in de nationale verslagen zijn opgenomen. De contractant heeft uitgelegd hoe deze informatiebronnen zijn gebruikt om de conclusies in het voorstel dat aan de Commissie is voorgelegd, te trekken.
  Als van tevoren alle aspecten van ESF-acties worden beschreven en alle aspecten van de evaluatie worden vastgesteld, zou de taakomschrijving onwerkbaar en rigide worden.
  Ten aanzien van de „concrete actie” om het effect op personen te evalueren wanneer de indicatoren niet concreet zijn vastgesteld of wanneer recentelijk geen specifieke statistische evaluaties zijn uitgevoerd, was — zoals eerder reeds vermeld — de gehele evaluatieaanpak van de evaluator erop gericht conclusies te trekken op basis van een hele reeks informatiebronnen (evaluatieverslagen van lidstaten, nationale workshops, persoonlijke interviews met betrokkenen van programma’s, casestudy’s).
  De omvang van de wanverhouding tussen de kwantitatieve doelstellingen en de beschikbare gegevens was niet bekend toen de taakomschrijving werd opgesteld; het lijkt derhalve niet logisch om te verlangen dat de taakomschrijving anders was geformuleerd.
  De hoofdcontractant heeft samen met de nationale contractanten operationele richtsnoeren opgesteld voor de werkzaamheden die op nationaal niveau moesten worden verricht. |
| --- | --- |

106.

De Commissie is van mening dat de evaluatietaken duidelijk zijn gespecificeerd in de taakomschrijving. De conclusies in de nationale verslagen van de evaluatie achteraf zijn gebaseerd op diverse bronnen (interviews, casestudy’s enz.). Het syntheseverslag geeft een algemene analyse van de resultaten die in de nationale verslagen zijn opgenomen. De contractant heeft uitgelegd hoe deze informatiebronnen zijn gebruikt om de conclusies in het voorstel dat aan de Commissie is voorgelegd, te trekken.

Als van tevoren alle aspecten van ESF-acties worden beschreven en alle aspecten van de evaluatie worden vastgesteld, zou de taakomschrijving onwerkbaar en rigide worden.

Ten aanzien van de „concrete actie” om het effect op personen te evalueren wanneer de indicatoren niet concreet zijn vastgesteld of wanneer recentelijk geen specifieke statistische evaluaties zijn uitgevoerd, was — zoals eerder reeds vermeld — de gehele evaluatieaanpak van de evaluator erop gericht conclusies te trekken op basis van een hele reeks informatiebronnen (evaluatieverslagen van lidstaten, nationale workshops, persoonlijke interviews met betrokkenen van programma’s, casestudy’s).

De omvang van de wanverhouding tussen de kwantitatieve doelstellingen en de beschikbare gegevens was niet bekend toen de taakomschrijving werd opgesteld; het lijkt derhalve niet logisch om te verlangen dat de taakomschrijving anders was geformuleerd.

De hoofdcontractant heeft samen met de nationale contractanten operationele richtsnoeren opgesteld voor de werkzaamheden die op nationaal niveau moesten worden verricht.

| 107. | Volgens de taakomschrijving hoefden de evaluatoren de geschiktheid van de keuzen bij programmawijzigingen niet te evalueren, maar deze alleen te beschrijven. In elk van de genoemde gevallen heeft de evaluator de programmawijzigingen beschreven op basis van de beschikbare informatie. |
| --- | --- |

107.

Volgens de taakomschrijving hoefden de evaluatoren de geschiktheid van de keuzen bij programmawijzigingen niet te evalueren, maar deze alleen te beschrijven. In elk van de genoemde gevallen heeft de evaluator de programmawijzigingen beschreven op basis van de beschikbare informatie.

| 108. | Voor de volgende exercitie wordt de mogelijkheid van een voorbereidende analyse overwogen. |
| --- | --- |

108.

Voor de volgende exercitie wordt de mogelijkheid van een voorbereidende analyse overwogen.

| 109. | De Commissie is van mening dat de gegevensproblemen waarmee de nationale evaluatoren te kampen hadden, geen afbreuk hebben gedaan aan de algehele kwaliteit van de evaluatie. De evaluatieopzet voorzag in het gebruik van een hele reeks van informatiebronnen. Behalve de beoordeling van de inhoud van de evaluatieverslagen van de lidstaten omvatten de nationale verslagen van de evaluatie achteraf informatie uit eindverslagen, casestudy's, nationale workshops en persoonlijke interviews.
  Wat vertragingen betreft, had de stuurgroep niet de mogelijkheid om algemene ESF-programma’s, die afhankelijk zijn van de tenuitvoerlegging door de beheersautoriteiten, sneller af te sluiten.
  Bij het begin van de evaluatie heeft de evaluator alle evaluatieverslagen ontvangen die de lidstaten tussen 1994 en 1999 hadden opgesteld. Verder heeft hij introductiebrieven ontvangen om het contact met nationale ESF-diensten te vergemakkelijken. |
| --- | --- |

109.

De Commissie is van mening dat de gegevensproblemen waarmee de nationale evaluatoren te kampen hadden, geen afbreuk hebben gedaan aan de algehele kwaliteit van de evaluatie. De evaluatieopzet voorzag in het gebruik van een hele reeks van informatiebronnen. Behalve de beoordeling van de inhoud van de evaluatieverslagen van de lidstaten omvatten de nationale verslagen van de evaluatie achteraf informatie uit eindverslagen, casestudy's, nationale workshops en persoonlijke interviews.

Wat vertragingen betreft, had de stuurgroep niet de mogelijkheid om algemene ESF-programma’s, die afhankelijk zijn van de tenuitvoerlegging door de beheersautoriteiten, sneller af te sluiten.

Bij het begin van de evaluatie heeft de evaluator alle evaluatieverslagen ontvangen die de lidstaten tussen 1994 en 1999 hadden opgesteld. Verder heeft hij introductiebrieven ontvangen om het contact met nationale ESF-diensten te vergemakkelijken.

| 111. | In de toekomst zal de Commissie alle maatregelen nemen die noodzakelijk zijn om de exercitie degelijk voor te bereiden en van nabij te volgen en erop toe te zien. |
| --- | --- |

111.

In de toekomst zal de Commissie alle maatregelen nemen die noodzakelijk zijn om de exercitie degelijk voor te bereiden en van nabij te volgen en erop toe te zien.

CONCLUSIES

| 115. | b) | De mate waarin verdere gegevens konden worden verzameld, was beperkt door de beschikbare tijd en middelen.
  Toch zijn heel wat extra kwalitatieve gegevens verzameld, bijvoorbeeld via interviews en workshops. De nationale afsluitende verslagen en de evaluatieverslagen die de lidstaten in de programmeringsperiode 1994-1999 hadden opgesteld, zijn ook beoordeeld. |
| --- | --- | --- |

115.

b)

De mate waarin verdere gegevens konden worden verzameld, was beperkt door de beschikbare tijd en middelen.

Toch zijn heel wat extra kwalitatieve gegevens verzameld, bijvoorbeeld via interviews en workshops. De nationale afsluitende verslagen en de evaluatieverslagen die de lidstaten in de programmeringsperiode 1994-1999 hadden opgesteld, zijn ook beoordeeld.

| c) | Er is uit een hele reeks van informatiebronnen geput om tot evenwichtige en weloverwogen conclusies te komen.
  In sommige gevallen kan de beschrijving van de resultaten alleen maar kwalitatief gebeuren. Dit is echter niet altijd het geval: de evaluatieresultaten bevatten ook een ruime hoeveelheid kwantitatieve informatie. |
| --- | --- |

c)

Er is uit een hele reeks van informatiebronnen geput om tot evenwichtige en weloverwogen conclusies te komen.

In sommige gevallen kan de beschrijving van de resultaten alleen maar kwalitatief gebeuren. Dit is echter niet altijd het geval: de evaluatieresultaten bevatten ook een ruime hoeveelheid kwantitatieve informatie.

| d) | De getrokken conclusies zijn gebaseerd op de gebruikte secundaire bronnen (die de evaluatoren hebben samengevat) en primaire bronnen van kwalitatieve aard (interviews met betrokkenen en nationale workshops over de evaluatiebevindingen).
  Zie ook het antwoord op de paragrafen 88, 92 en 96. |
| --- | --- |

d)

De getrokken conclusies zijn gebaseerd op de gebruikte secundaire bronnen (die de evaluatoren hebben samengevat) en primaire bronnen van kwalitatieve aard (interviews met betrokkenen en nationale workshops over de evaluatiebevindingen).

Zie ook het antwoord op de paragrafen 88, 92 en 96.

| e) | De taakomschrijving voorzag niet in een evaluatie van „deadweight”.
  In het algemeen moet worden opgemerkt dat in een evaluatie-exercitie niet alle thema’s aan de orde kunnen komen en dat aandacht moet worden gegeven aan prioritaire doelstellingen rekening houdende met wettelijke verplichtingen, beperkingen in tijd en middelen en het beoogde gebruik van de resultaten. De ervaringen van deze exercitie en de lessen die eruit zijn getrokken, zullen worden gebruikt voor de evaluatie achteraf van de periode 2000-2006. |
| --- | --- |

e)

De taakomschrijving voorzag niet in een evaluatie van „deadweight”.

In het algemeen moet worden opgemerkt dat in een evaluatie-exercitie niet alle thema’s aan de orde kunnen komen en dat aandacht moet worden gegeven aan prioritaire doelstellingen rekening houdende met wettelijke verplichtingen, beperkingen in tijd en middelen en het beoogde gebruik van de resultaten. De ervaringen van deze exercitie en de lessen die eruit zijn getrokken, zullen worden gebruikt voor de evaluatie achteraf van de periode 2000-2006.

| 116. | a) | Nader onderzoek van dit aspect werd gehinderd door de onzekerheid over de cijfers voor de particuliere sector. |
| --- | --- | --- |

116.

a)

Nader onderzoek van dit aspect werd gehinderd door de onzekerheid over de cijfers voor de particuliere sector.

| b) | De analyse was beperkt door problemen met de beschikbaarheid van gegevens en de ontoereikende vergelijkbaarheid als gevolg van verschillen in werkwijze en reikwijdte. |
| --- | --- |

b)

De analyse was beperkt door problemen met de beschikbaarheid van gegevens en de ontoereikende vergelijkbaarheid als gevolg van verschillen in werkwijze en reikwijdte.

| c) | Er is een poging gedaan om de doeltreffendheid te beoordelen op basis van een beperkt aantal projecten. |
| --- | --- |

c)

Er is een poging gedaan om de doeltreffendheid te beoordelen op basis van een beperkt aantal projecten.

| d) | In de HERMIN-modellen wordt wel degelijk rekening gehouden met de specifieke nationale kenmerken van de economieën, maar er zullen verdere werkzaamheden worden verricht om de beperkingen aan te pakken. |
| --- | --- |

d)

In de HERMIN-modellen wordt wel degelijk rekening gehouden met de specifieke nationale kenmerken van de economieën, maar er zullen verdere werkzaamheden worden verricht om de beperkingen aan te pakken.

De Commissie is van mening dat het beperkte aantal discrepanties in de tekst in hoofdstuk 3 van het verslag de juistheid, geldigheid en bruikbaarheid van de gegevens ter ondersteuning van de getrokken conclusies niet in het gedrang brengt. Uit de gegevens in de tabellen waarnaar de Rekenkamer in de paragrafen 88 en 92 verwijst, blijkt dat er aanzienlijk algemeen bewijsmateriaal voor de opgestelde hypothesen bestaat.

De problemen die zich hebben voorgedaan ten aanzien van de volledigheid van sommige gegevens, hadden geen noemenswaardige invloed op de nuttige vaststellingen die zijn gedaan.

| 117. | De Commissie is van mening dat de evaluatie is verricht op een solide grondslag waarbij uit een hele reeks van informatiebronnen is geput, en dat de conclusies degelijk zijn.
  In de toekomst zal de Commissie alle maatregelen nemen die noodzakelijk zijn om de exercitie degelijk voor te bereiden en van nabij te volgen en erop toe te zien.
  Zie het antwoord op paragraaf 111. |
| --- | --- |

117.

De Commissie is van mening dat de evaluatie is verricht op een solide grondslag waarbij uit een hele reeks van informatiebronnen is geput, en dat de conclusies degelijk zijn.

In de toekomst zal de Commissie alle maatregelen nemen die noodzakelijk zijn om de exercitie degelijk voor te bereiden en van nabij te volgen en erop toe te zien.

Zie het antwoord op paragraaf 111.

| 118. | In de toekomst zal de Commissie alle maatregelen nemen die noodzakelijk zijn om de exercitie degelijk voor te bereiden en van nabij te volgen en erop toe te zien. |
| --- | --- |

118.

In de toekomst zal de Commissie alle maatregelen nemen die noodzakelijk zijn om de exercitie degelijk voor te bereiden en van nabij te volgen en erop toe te zien.

AANBEVELINGEN

| 119. | Voor toekomstige evaluaties achteraf zullen voorbereidende analysen of haalbaarheidsstudies worden verricht om de beschikbaarheid van gegevens te beoordelen en na te gaan welke resultaten redelijkerwijs kunnen worden geleverd met inachtneming van het budget en het tijdschema. |
| --- | --- |

119.

Voor toekomstige evaluaties achteraf zullen voorbereidende analysen of haalbaarheidsstudies worden verricht om de beschikbaarheid van gegevens te beoordelen en na te gaan welke resultaten redelijkerwijs kunnen worden geleverd met inachtneming van het budget en het tijdschema.

| 120. | De Commissie is het ermee eens dat de kwaliteitscontroleprocedures die bij de evaluaties achteraf voor de periode 1994-1999 zijn toegepast, verder moeten worden verbeterd.
  De Commissie erkent dat, met het oog op de komende exercitie van evaluaties achteraf van de structuurfondsen, een voorbereidende analyse zinvol kan zijn om het werk van de contractanten tijdens de evaluaties zelf te vergemakkelijken.






  a) | De basisgegevens die bij de evaluatie achteraf worden gebruikt, worden door de lidstaten via het toezichtsysteem verzameld en verstrekt. De beschikbaarheid van betrouwbare gegevens kan een knelpunt bij de evaluatie vormen, maar in de periode 2000-2006 is er op dit gebied vooruitgang geboekt. |
| --- | --- | --- |

120.

De Commissie is het ermee eens dat de kwaliteitscontroleprocedures die bij de evaluaties achteraf voor de periode 1994-1999 zijn toegepast, verder moeten worden verbeterd.

De Commissie erkent dat, met het oog op de komende exercitie van evaluaties achteraf van de structuurfondsen, een voorbereidende analyse zinvol kan zijn om het werk van de contractanten tijdens de evaluaties zelf te vergemakkelijken.

a)

De basisgegevens die bij de evaluatie achteraf worden gebruikt, worden door de lidstaten via het toezichtsysteem verzameld en verstrekt. De beschikbaarheid van betrouwbare gegevens kan een knelpunt bij de evaluatie vormen, maar in de periode 2000-2006 is er op dit gebied vooruitgang geboekt.

| b) | Taakomschrijvingen moeten de Commissie in staat stellen te beoordelen of de kandidaat de evaluatie kan verrichten en of de vereiste resultaten kunnen worden bereikt met de specifieke combinatie van voorgestelde methoden en technieken.
  De Commissie deelt de mening van de Rekenkamer dat taakomschrijvingen belangrijk zijn om tot degelijke evaluatieresultaten te komen. |
| --- | --- |

b)

Taakomschrijvingen moeten de Commissie in staat stellen te beoordelen of de kandidaat de evaluatie kan verrichten en of de vereiste resultaten kunnen worden bereikt met de specifieke combinatie van voorgestelde methoden en technieken.

De Commissie deelt de mening van de Rekenkamer dat taakomschrijvingen belangrijk zijn om tot degelijke evaluatieresultaten te komen.

| c) | Gelet op de beperkingen in tijd en middelen zullen toekomstige evaluaties achteraf sterker worden gericht op cruciale evaluatievragen en in een vroeger stadium worden voorbereid en van start gaan dan de exercitie voor de periode 1994-1999. |
| --- | --- |

c)

Gelet op de beperkingen in tijd en middelen zullen toekomstige evaluaties achteraf sterker worden gericht op cruciale evaluatievragen en in een vroeger stadium worden voorbereid en van start gaan dan de exercitie voor de periode 1994-1999.

Op basis van de ervaringen voor de periode 1994-1999 zullen de toezicht- en supervisieregelingen worden aangescherpt en zal dit proces vroeger van start gaan.

| 121. | De Commissie is van mening dat macro-economische modellen relevant zijn voor het ramen van het economische effect van grootschalige maatregelen. Het HERMIN-model is begin jaren 1990 specifiek met dat doel ontworpen. Zoals bij ieder economisch model zullen evenwel verdere verbeteringen moeten worden aangebracht, met name met betrekking tot de microgegevens voor het ramen van het economische rendement van investeringen in menselijk en materieel kapitaal. De Commissie is van mening dat de toekomstige evaluaties achteraf een sterkere focus moeten krijgen. |
| --- | --- |

121.

De Commissie is van mening dat macro-economische modellen relevant zijn voor het ramen van het economische effect van grootschalige maatregelen. Het HERMIN-model is begin jaren 1990 specifiek met dat doel ontworpen. Zoals bij ieder economisch model zullen evenwel verdere verbeteringen moeten worden aangebracht, met name met betrekking tot de microgegevens voor het ramen van het economische rendement van investeringen in menselijk en materieel kapitaal. De Commissie is van mening dat de toekomstige evaluaties achteraf een sterkere focus moeten krijgen.

| 122. | De Commissie is het ermee eens dat in evaluaties achteraf ten volle rekening moet worden gehouden met bestaande thematische studies. Daarbij mag evenwel niet uit het oog worden verloren dat evaluaties achteraf en thematische studies een verschillend doel hebben en derhalve tot verschillende ramingen kunnen leiden. |
| --- | --- |

122.

De Commissie is het ermee eens dat in evaluaties achteraf ten volle rekening moet worden gehouden met bestaande thematische studies. Daarbij mag evenwel niet uit het oog worden verloren dat evaluaties achteraf en thematische studies een verschillend doel hebben en derhalve tot verschillende ramingen kunnen leiden.

| 123. | a) | De Commissie is het ermee eens dat particuliere investeringen een belangrijke drijvende kracht voor economische ontwikkeling vormen. De ervaring leert evenwel dat de invloed van de particuliere sector van land tot land verschilt naar gelang van de specifieke economische omstandigheden. |
| --- | --- | --- |

123.

a)

De Commissie is het ermee eens dat particuliere investeringen een belangrijke drijvende kracht voor economische ontwikkeling vormen. De ervaring leert evenwel dat de invloed van de particuliere sector van land tot land verschilt naar gelang van de specifieke economische omstandigheden.

| b) | Deze aanpak kan niet overal worden gevolgd omdat de economische omstandigheden in de lidstaten en regio’s sterk verschillen. |
| --- | --- |

b)

Deze aanpak kan niet overal worden gevolgd omdat de economische omstandigheden in de lidstaten en regio’s sterk verschillen.

| c) | De Commissie is zich ervan bewust dat verder systematisch werk vereist is op dit uiterst ingewikkelde terrein. |
| --- | --- |

c)

De Commissie is zich ervan bewust dat verder systematisch werk vereist is op dit uiterst ingewikkelde terrein.

| d) | De Commissie is zich ervan bewust dat ook op dit gebied verder werk vereist is. |
| --- | --- |

d)

De Commissie is zich ervan bewust dat ook op dit gebied verder werk vereist is.

| e) | Verslagen van evaluaties achteraf die waren opgesteld in opdracht van de lidstaten, waren een van de belangrijkste informatiebronnen voor de evaluaties van de periode 1994-1999. Ofschoon de Commissie primair verantwoordelijk is voor de evaluaties achteraf, moet de samenwerking met de lidstaten in de toekomst worden versterkt en zouden interne evaluaties een grotere rol kunnen spelen. |
| --- | --- |

e)

Verslagen van evaluaties achteraf die waren opgesteld in opdracht van de lidstaten, waren een van de belangrijkste informatiebronnen voor de evaluaties van de periode 1994-1999. Ofschoon de Commissie primair verantwoordelijk is voor de evaluaties achteraf, moet de samenwerking met de lidstaten in de toekomst worden versterkt en zouden interne evaluaties een grotere rol kunnen spelen.

| 124. | De Commissie onderneemt stappen om haar supervisie van het proces te verbeteren. |
| --- | --- |

124.

De Commissie onderneemt stappen om haar supervisie van het proces te verbeteren.

| 125. | De Commissie is het ermeee eens dat bij de evaluaties achteraf van de structuurfondsen ten volle profijt moet worden getrokken van de kennis die is opgedaan gedurende een volledige programmeringsperiode, en aanvaardt om deze reden het idee dat een voorbereidende analyse de taak van de contractanten zou kunnen vergemakkelijken en de kwaliteit van toekomstige evaluaties achteraf van structuurfondsen zou kunnen verbeteren.
  De Commissie werkt al nauw samen met onderzoeksinstituten en universiteiten en is bereid verdere opdrachten in overweging te nemen voor de door de Rekenkamer genoemde doeleinden. |
| --- | --- |

125.

De Commissie is het ermeee eens dat bij de evaluaties achteraf van de structuurfondsen ten volle profijt moet worden getrokken van de kennis die is opgedaan gedurende een volledige programmeringsperiode, en aanvaardt om deze reden het idee dat een voorbereidende analyse de taak van de contractanten zou kunnen vergemakkelijken en de kwaliteit van toekomstige evaluaties achteraf van structuurfondsen zou kunnen verbeteren.

De Commissie werkt al nauw samen met onderzoeksinstituten en universiteiten en is bereid verdere opdrachten in overweging te nemen voor de door de Rekenkamer genoemde doeleinden.

---

| 12.12.2006 | NL | Publicatieblad van de Europese Unie | C 302/41 |
| --- | --- | --- | --- |

12.12.2006

NL

Publicatieblad van de Europese Unie

C 302/41

---

ADVIES Nr. 6/2006

over een voorstel voor een besluit van het Europees Parlement en de Raad houdende wijziging en verlenging van Besluit nr. 804/2004/EG van het Europees Parlement en de Raad van 21 april 2004 tot vaststelling van een communautair actieprogramma ter bevordering van acties op het gebied van de bescherming van de financiële belangen van de Gemeenschap („Hercules II”-programma)

(uitgebracht krachtens artikel 248, lid 4, tweede alinea, van het EG-Verdrag)

(2006/C 302/02)

DE REKENKAMER VAN DE EUROPESE GEMEENSCHAPPEN

Gelet op het Verdrag tot oprichting van de Europese Gemeenschap, en met name op artikel 280, lid 4,

Gezien het voorstel voor een besluit van het Europees Parlement en de Raad houdende wijziging en verlenging van het communautaire actieprogramma ter bevordering van acties op het gebied van de bescherming van de financiële belangen van de Gemeenschap (1),

Gezien het op 14 juli 2006 bij de Rekenkamer ingekomen verzoek van de Raad om advies over dit voorstel,

Gezien Advies nr. 8/2003 van de Rekenkamer van 11 november 2003 over het oorspronkelijke communautaire actieprogramma,

Overwegende dat het voorgestelde besluit is gebaseerd op artikel 280, lid 4, van het Verdrag, dat bepaalt: „De Raad neemt [...], na raadpleging van de Rekenkamer, de nodige maatregelen aan op het gebied van de preventie en bestrijding van fraude waardoor de financiële belangen van de Gemeenschap worden geschaad”;

Overwegende dat met het voorstel van de Commissie vooral wordt beoogd het Hercules-programma (2) te verlengen met een periode van zeven jaar (2007-2013); dat de indicatieve toewijzing van 98,5 miljoen euro uiteenvalt in gemiddelde jaartranches van ongeveer 14 miljoen euro, en dat het programma OLAF de nodige financiële middelen verschaft voor het besturen van een dienstenplatform voor de lidstaten waarmee de fraudebestrijding op het niveau van de Europese Unie moet worden gecoördineerd (3),

BRENGT HET VOLGENDE ADVIES UIT:

| 1. | De voornaamste programmasectoren (technische bijstand, opleidingsactiviteiten en uitwisseling van informatie tussen de wettelijke instanties op het gebied van fraudebestrijding) werden niet geëvalueerd overeenkomstig het bepaalde in artikel 27, lid 3, van het Financieel Reglement, dat bepaalt dat de verwezenlijking van de doelstellingen moet worden gecontroleerd door resultatenindicatoren. In plaats daarvan werden de acties beoordeeld aan de hand van het activiteitenniveau, zonder meetbare indicatoren. Het is dan ook moeilijk vast te stellen of de verwachte resultaten werden bereikt en welke impact het programma had. |
| --- | --- |

1.

De voornaamste programmasectoren (technische bijstand, opleidingsactiviteiten en uitwisseling van informatie tussen de wettelijke instanties op het gebied van fraudebestrijding) werden niet geëvalueerd overeenkomstig het bepaalde in artikel 27, lid 3, van het Financieel Reglement, dat bepaalt dat de verwezenlijking van de doelstellingen moet worden gecontroleerd door resultatenindicatoren. In plaats daarvan werden de acties beoordeeld aan de hand van het activiteitenniveau, zonder meetbare indicatoren. Het is dan ook moeilijk vast te stellen of de verwachte resultaten werden bereikt en welke impact het programma had.

| 2. | Krachtens artikel 7, onder a), van het voorstel moet OLAF uiterlijk op 31 december 2010 verslag uitbrengen over de uitvoering van het programma en over het nut van voortzetting ervan. Onder b) wordt de evaluatie van de resultaten van het programma uitgesteld tot 31 december 2014. De Rekenkamer vindt dat te laat. Daarom stelt zij voor de onafhankelijke evaluatie uiterlijk in 2010 op te stellen en daarin een tussentijdse evaluatie op te nemen van de verwezenlijking van de programmadoelstellingen. Tevens moet informatie over de gefinancierde acties en de bereikte resultaten in het kader van het programma Hercules II worden gepresenteerd in het jaarverslag dat de Commissie uitbrengt overeenkomstig artikel 280, lid 5, van het Verdrag. In de bijlage bij het voorstel moeten de duidelijkheid en specificiteit van de vastgestelde algemene criteria worden verbeterd teneinde een eventuele evaluatie van het programma te vergemakkelijken. |
| --- | --- |

2.

Krachtens artikel 7, onder a), van het voorstel moet OLAF uiterlijk op 31 december 2010 verslag uitbrengen over de uitvoering van het programma en over het nut van voortzetting ervan. Onder b) wordt de evaluatie van de resultaten van het programma uitgesteld tot 31 december 2014. De Rekenkamer vindt dat te laat. Daarom stelt zij voor de onafhankelijke evaluatie uiterlijk in 2010 op te stellen en daarin een tussentijdse evaluatie op te nemen van de verwezenlijking van de programmadoelstellingen. Tevens moet informatie over de gefinancierde acties en de bereikte resultaten in het kader van het programma Hercules II worden gepresenteerd in het jaarverslag dat de Commissie uitbrengt overeenkomstig artikel 280, lid 5, van het Verdrag. In de bijlage bij het voorstel moeten de duidelijkheid en specificiteit van de vastgestelde algemene criteria worden verbeterd teneinde een eventuele evaluatie van het programma te vergemakkelijken.

| 3. | De overheidsopdrachten, bedoeld in titel V van het Financieel Reglement, bieden OLAF de mogelijkheid het programma te beheren. Deze procedure moet worden gezien als een welkom middel om het Bureau meer controle te geven over de uitvoering van het programma. |
| --- | --- |

3.

De overheidsopdrachten, bedoeld in titel V van het Financieel Reglement, bieden OLAF de mogelijkheid het programma te beheren. Deze procedure moet worden gezien als een welkom middel om het Bureau meer controle te geven over de uitvoering van het programma.

| 4. | De structuur van het programma wordt in het financieel memorandum bij het besluit weergegeven in operationele doelstellingen, die weer worden opgedeeld in acties. Deze structuur lijkt in eerste instantie te voldoen aan de voorschriften van artikel 27, lid 3, van het Financieel Reglement. Maar de structuur in het financieel memorandum komt niet overeen met de beheersstructuur van het programma, die uit drie afzonderlijke onderdelen bestaat. De benoeming van een programmacoördinator zal waarschijnlijk geen duidelijkheid brengen in de verwezenlijking van formele en verschillende doelstellingen, of in activiteiten die niet stroken met de praktijk van het beheer. Het zou dan ook wenselijk zijn dat de aangegeven doelstellingen worden geherformuleerd en beter aansluiten bij de doelen die de beheerders werkelijk nastreven. In het andere geval zal waarschijnlijk blijken dat de resultatenindicatoren zeer moeilijk in te voeren zijn. |
| --- | --- |

4.

De structuur van het programma wordt in het financieel memorandum bij het besluit weergegeven in operationele doelstellingen, die weer worden opgedeeld in acties. Deze structuur lijkt in eerste instantie te voldoen aan de voorschriften van artikel 27, lid 3, van het Financieel Reglement. Maar de structuur in het financieel memorandum komt niet overeen met de beheersstructuur van het programma, die uit drie afzonderlijke onderdelen bestaat. De benoeming van een programmacoördinator zal waarschijnlijk geen duidelijkheid brengen in de verwezenlijking van formele en verschillende doelstellingen, of in activiteiten die niet stroken met de praktijk van het beheer. Het zou dan ook wenselijk zijn dat de aangegeven doelstellingen worden geherformuleerd en beter aansluiten bij de doelen die de beheerders werkelijk nastreven. In het andere geval zal waarschijnlijk blijken dat de resultatenindicatoren zeer moeilijk in te voeren zijn.

| 5. | Nadat OLAF maatregelen had getroffen ter bestrijding van sigarettensmokkel, werd op 9 juni 2004 een overeenkomst bereikt tussen de Commissie, tien lidstaten en een grote tabaksfabrikant (4). In deze overeenkomst zegde de fabrikant toe, over een periode van twaalf jaar een bedrag van ongeveer 1 250 miljoen USD te zullen betalen. Dit bedrag, dat de Commissie deelt met de landen die de overeenkomst ondertekenden, is hoofdzakelijk bedoeld als extra financieringsbron voor initiatieven ter bestrijding van smokkel en namaak. Het jaarlijks budget van het programma Hercules II omvat op grond van deze overeenkomst dus een bedrag van ongeveer 6 miljoen euro. Hoewel het verstrekken van bijkomende middelen voor de fraudebestrijding in de tabakssector goedkeuring verdient, dienen passende maatregelen te worden genomen om ervoor te zorgen dat toereikende middelen beschikbaar zijn voor de bestrijding van fraude in andere sectoren die daarvoor even gevoelig zijn. |
| --- | --- |

5.

Nadat OLAF maatregelen had getroffen ter bestrijding van sigarettensmokkel, werd op 9 juni 2004 een overeenkomst bereikt tussen de Commissie, tien lidstaten en een grote tabaksfabrikant (4). In deze overeenkomst zegde de fabrikant toe, over een periode van twaalf jaar een bedrag van ongeveer 1 250 miljoen USD te zullen betalen. Dit bedrag, dat de Commissie deelt met de landen die de overeenkomst ondertekenden, is hoofdzakelijk bedoeld als extra financieringsbron voor initiatieven ter bestrijding van smokkel en namaak. Het jaarlijks budget van het programma Hercules II omvat op grond van deze overeenkomst dus een bedrag van ongeveer 6 miljoen euro. Hoewel het verstrekken van bijkomende middelen voor de fraudebestrijding in de tabakssector goedkeuring verdient, dienen passende maatregelen te worden genomen om ervoor te zorgen dat toereikende middelen beschikbaar zijn voor de bestrijding van fraude in andere sectoren die daarvoor even gevoelig zijn.

Dit advies werd door de Rekenkamer te Luxemburg vastgesteld op haar vergadering van 26 oktober 2006.

Voor de Rekenkamer

Hubert WEBER

President

---

(1)  COM(2006) 339 def. van 28 juni 2006.

1

(2)  Besluit nr. 804/2004/EG van het Europees Parlement en de Raad (PB L 143 van 30.4.2004, blz. 9).

2

(3)  Speciaal verslag nr. 1/2005 van de Rekenkamer, de paragrafen 50 en 76 (PB C 202 van 18.8.2005).

3

(4)  Philip Morris Groep (PMI).

4

---