NL Publicatieblad van de Europese Unie C 302/1

SPECIAAL VERSLAG Nr. 10/2006

over de evaluaties achteraf van de programma’s voor de doelstellingen 1 en 3 1994-1999 (Structuurfondsen), vergezeld van de antwoorden van de Commissie

(uitgebracht krachtens artikel 248, lid 4, tweede alinea, van het EG-Verdrag)

(2006/C 302/01)

INHOUD

Gebruikte termen

I-XI SAMENVATTING

1-9 INLEIDING

6-9 Kader voor de evaluatie

7-9 De basisdoelstellingen voor elke evaluatie

10-14 REIKWIJDTE VAN DE CONTROLE

15-80 EVALUATIE ACHTERAF VAN DOELSTELLING 1 DOOR DG REGIO

16-66 De beoordeling door de Rekenkamer van de kwaliteit van de evaluatie

16 Preliminaire opmerkingen

17-20 Ontwikkeling van kwesties waarmee de regio's sinds 1994 te maken hebben

21-28 Geschiktheid van de gekozen strategieën

29-40 Evaluatie van de doeltreffendheid

41-44 Evaluatie van de efficiëntie

45-53 Evaluatie van het effect van de SF’s

54-66 Evaluatie van de beheerssystemen

67-75 Geschiktheid van het kader voor de evaluatie

67-70 De taakomschrijving

71-75 Geschiktheid van de supervisie door de Commissie

76-80 Relevantie van de evaluatieaanbevelingen voor toekomstige programmeringsperioden

81-113 BEOORDELING ACHTERAF VAN DE BIJSTANDSVERLENING UIT HET ESF (IN HET KADER VAN DE DOELSTELLINGEN 1 EN 3) DOOR DG EMPL

82-113 Beoordeling door de Rekenkamer van de kwaliteit van de evaluatie

82-87 Beoordeling van tekortkomingen in de gegevens en in de analyse

88 Beoordeling van het effect van de ESF-acties

89 Evaluatie van het gelijkekansenbeleid

90-93 Andere onderzochte aspecten

94-96 Bespreking van de algemene beoordeling door de Commissie

97-102 Overige uit de nationale verslagen verkregen inzichten

103-110 Geschiktheid van het kader voor de evaluatie

111-113 Aanbevelingen tot besluit van de evaluatie

114-118 CONCLUSIES

119-125 AANBEVELINGEN

BIJLAGEN:

Bijlage I — Opsplitsing van de steun uit de Structuurfondsen

Bijlage II — BNP en werkgelegenheidsgraad

Bijlage III — Toename van het bnp en de Structuurfondsen

Bijlage IV — HERMIN-simulaties en werkloosheid

Antwoorden van de Commissie

GEBRUIKTE TERMEN AAMB Actief arbeidsmarktbeleid Aanloopverslag Rapport over methodologische kwesties, zoals de evaluatiedoelstellingen, het methodologische kader, de vragenlijsten en de organisaties waarmee contact moet worden opgenomen Adapt Aanpassing van de werknemers aan de gewijzigde omstandigheden in het bedrijfsleven (een communautair initiatief ter bevordering van de werkgelegenheid en de aanpassing van de werknemers aan de gewijzigde omstandigheden in het bedrijfsleven) CB Communautair bestek Comités van toezicht Comité dat toeziet op de strategische uitvoering van het financieringsprogramma Deadweight Veranderingen bij de rechtstreekse begunstigden na de bijstandsverlening, of die de rechtstreekse begunstigden toeschrijven aan de bijstandsverlening, maar die zich ook zonder de bijstandsverlening zouden hebben voorgedaan EFRO Europees Fonds voor Regionale Ontwikkeling ESF Europees Sociaal Fonds FIOV Financieel Instrument voor de Oriëntatie van de Visserij HERMIN-model Macro-economisch model voor het simuleren van het effect van Structuurfondsacties MBR Moeilijk te becijferen resultaat MKB Midden- en kleinbedrijf OTO Onderzoek en technologische ontwikkeling SF’s Structuurfondsen Syntheseverslag Eindverslagen van DG REGIO (over doelstelling 1) en van DG EMPL (over doelstelling 3) over de evaluatie achteraf van de bijstandsverlening uit het EFRO en het ESF Verplaatsingseffect In een subsidiabel gebied ten nadele van een ander gebied verkregen effect

SAMENVATTING

I. De controle betrof de evaluaties achteraf door de Commissie van de bijstandsverlening uit de Structuurfondsen in de doelstelling 1- en doelstelling 3-regio's gedurende de programmeringsperiode 1994-1999, voor een totaalbedrag van meer dan 245 miljard euro, met inbegrip van gezamenlijke investeringen uit de particuliere en de overheidssector.

II. Met evaluatie achteraf wordt beoogd, de werkelijke resultaten van de uitgaven te vergelijken met de oorspronkelijke doelstellingen. Met dit mechanisme worden inzichten die zijn verkregen gedurende één programmeringsperiode benut om toekomstige Structuurfondsuitgaven doeltreffender te maken. De evaluaties achteraf werden uitgevoerd door de Commissie en door externe consultants die daartoe werden gecontracteerd.

III. Met de controle werd beoogd, na te gaan of de Commissie bij de afsluiting van de evaluaties achteraf in staat was het effect te beoordelen van de bijstandsverlening ten opzichte van de doelstellingen en of de resultaten en aanbevelingen nuttig waren geweest voor de herziening van de programma’s vanaf 2000.

IV. Uitgangspunt voor de controle was het definitieve syntheseverslag voor elk fonds. Deze verslagen vatten de algemene beoordeling van het effect van de fondsen samen en bevatten de elementen die relevant zouden moeten zijn voor de besluiten betreffende latere programmeringsperioden. In een volgende fase van de controle werd beoordeeld in hoeverre eventueel geïdentificeerde tekortkomingen konden worden toegeschreven aan gebreken in de taakomschrijvingen of aan problemen gedurende de implementatie van het evaluatieproces.

V. De uitgaven van de Structuurfondsen evalueren is een intrinsiek ingewikkeld proces. De controle bracht echter gebreken in het evaluatieproces aan het licht die niet uitsluitend kunnen worden toegeschreven aan de inherente moeilijkheden.

VI. De Rekenkamer identificeerde de volgende gebreken in de evaluatie van de bijstandsverlening uit de Structuurfondsen in de regio's van doelstelling 1: — in de onderliggende gegevens kwamen discrepanties voor; — de beoordeling van de doeltreffendheid van de Structuurfondsuitgaven was niet degelijk genoeg, onder meer doordat de lidstaten weinig gegevens over output en resultaten hadden vergaard; — met de evaluatie is het niet volledig gelukt, de kosten per eenheid van projecten waaraan bijstand uit de Structuurfondsen was verleend te vergelijken; — de evaluatie was grotendeels gebaseerd op een macro-economisch model (HERMIN) dat ernstige beperkingen kende;

VII. De Rekenkamer constateerde dat de evaluatie van ESF-acties in het kader van de doelstellingen 1 en 3: — gedeeltelijk was gebaseerd op onbetrouwbare of onvolledige gegevens; — tot een aantal conclusies leidde die onvoldoende grond vonden in het bewijsmateriaal, hetgeen twijfels doet rijzen over de methoden waarmee ze waren bereikt.

VIII. De Commissie lijkt sommige moeilijkheden met de evaluaties niet te hebben voorzien in de taakomschrijvingen die zij daarvoor had geformuleerd. Ook heeft de Commissie de tekortkomingen in de evaluaties achteraf niet volledig verholpen. De bevindingen van de Rekenkamer wijzen erop dat er gebreken bestonden in het toezicht op de evaluaties.

IX. Wel verstrekten de evaluaties nuttige inzichten in de beheerssystemen voor de bijstandsverlening uit het EFRO en het ESF.

X. Maar hoewel er enige waardevolle en nuttige aanbevelingen voor toekomstige programmeringsperioden werden gedaan, kon de Commissie niet ten volle profiteren van de ervaring die met de programma’s voor 1994-1999 was opgedaan.

XI. De Rekenkamer beveelt het volgende aan: — de Commissie moet er bij toekomstige evaluaties voor zorgen dat de beschikbare gegevens en toegewezen middelen zijn afgestemd op de doelstellingen, die realistisch moeten zijn. De taakomschrijvingen moeten daaraan beantwoorden; — de Commissie moet bijzondere aandacht besteden aan de technieken waarmee het economische effect van de fondsen wordt gemeten. Indien een macro-economisch model wordt gehanteerd, moet dit voldoende zijn toegesneden op de kenmerken van de bestudeerde economieën. Idealiter zou het moeten kunnen worden bijgesteld aan de hand van de microgegevens die op projectniveau worden gegenereerd. — er moet voldoende rekening worden gehouden met de verbanden met andere studies over de evaluatie van de Structuurfondsen. — het zou nuttig zijn, een aantal specifieke kwesties in toekomstige evaluaties op te nemen, bijvoorbeeld gegevens over bijdragen uit de particuliere sector, „financial engineering”-maatregelen, het schatten van projectkosten, procedures voor de aanvraag en goedkeuring van projecten en interne evaluaties door nationale of regionale instanties; — het toezicht van de Commissie op het evaluatieproces moet worden verbeterd, onder meer door samenwerking met onderzoeksinstituten en universiteiten.

INLEIDING

1. Sinds 1996 ontwikkelt de Commissie een enkele regeling voor de evaluatie van de Structuurfondsen. Zij definieert de term „evaluatie” als het toetsen van acties aan de resultaten, het effect en de behoeften waarop ze zijn gericht (1). Hoofddoel van de evaluatie-activiteit is de besluitvorming te ondersteunen door informatie en oordelen te verschaffen over de relevantie, de zuinigheid, de efficiëntie, de doeltreffendheid, het nut en de duurzaamheid van het effect van EU-acties. Zulke informatie is cruciaal voor de verbetering van bestaande of voor het ontwerpen van nieuwe vormen van bijstandsverlening en voor het stellen van politieke prioriteiten en de toewijzing van middelen.

2. Op diverse niveaus en in diverse stadia van de programmeringscyclus (zes jaar) worden evaluaties verricht. De belangrijkste zijn: a) evaluaties vooraf, die worden verricht vóór de uitvoering van een actie om bij te dragen aan een betere opzet en kosteneffectiviteit ervan; b) tussentijdse evaluaties, verricht tijdens de uitvoering ter verbetering van het beheer van de actie; c) evaluaties achteraf, die na de voltooiing van een actie worden verricht om de bereikte resultaten en de daaruit te trekken lering te beoordelen.

3. De controle van de Rekenkamer betrof de evaluaties achteraf die de Commissie heeft verricht in het kader van de bijstandsverlening uit de Structuurfondsen in de regio's van de doelstellingen 1 en 3 gedurende de programmeringsperiode 1994-1999. Ten behoeve van deze controle wordt voor de reikwijdte van de evaluatie achteraf uitgegaan van de definitie in de MEANS-collectie (2): evaluatie achteraf is een recapitulatie en beoordeling van het gehele programma, met name het effect ervan. Ze heeft ten doel, verantwoording af te leggen van de wijze waarop de middelen zijn gebruikt en verslag uit te brengen over de doeltreffendheid en efficiëntie van de acties en de mate waarin het beoogde effect is bereikt. Zij spitst zich toe op de factoren die de actie doen slagen of mislukken en op de duurzaamheid van de resultaten en het effect. Gepoogd wordt, conclusies te trekken die kunnen worden veralgemeend en toegepast op andere programma’s en regio's (3). Tegen deze achtergrond zijn de evaluaties achteraf beoordeeld.

4. Het verrichten van evaluaties achteraf maakt deel uit van een „proces” waarbij wordt voortgebouwd op de resultaten van evaluaties vooraf en tussentijdse beoordeling. Voorts worden op verschillende niveaus, zowel per land als per thema, evaluaties verricht waarover een syntheseverslag wordt opgesteld. Samen vormen deze een belangrijk gegeven voor het beheer van de Structuurfondsen en met name voor de programmering en beoordeling van de bijstand van de Gemeenschap. De verantwoordelijkheid voor het evaluatieproces berust bij de Commissie (in partnerschap met de lidstaten). Het is aan de Commissie, te beslissen welke aspecten van de evaluatie intern zullen worden uitgevoerd, en welke zij moet uitbesteden. In beide gevallen berust de algemene en uiteindelijke verantwoordelijkheid bij de Commissie.

5. Gedurende de periode 1994-1999 beliep de geprogrammeerde steun in het kader van de Structuurfondsen (4) 136,4 miljard euro voor „doelstellingen” en 14,5 miljard euro voor „communautaire initiatieven”. Bijlage I geeft een uitsplitsing van eerstgenoemd bedrag per lidstaat en doelstelling en van laatstgenoemd bedrag per communautair initiatief. Bij deze middelen kwam ten minste nog eens 95 miljard euro aan soortgelijke investeringen uit de particuliere of overheidssector (5), hetgeen de totale investering op meer dan 245 miljard euro brengt.

Kader voor de evaluatie

6. De evaluaties achteraf zijn uitgevoerd uit naam en onder leiding van de Commissie. Op basis van een openbare aanbesteding werd voor elke gespecificeerde reeks doelstellingen en communautaire initiatieven een hoofdconsultant geselecteerd. In de meeste gevallen werd de consultant in de afzonderlijke lidstaten ondersteund door een team van evaluatoren (6) die tot taak hadden, de verschillende programma’s aan de nodige evaluaties te onderwerpen op basis van een gemeenschappelijk methodologisch kader. Bovendien werd op het evaluatieproces toegezien door een stuurgroep. Over de evaluaties stelden de nationale evaluatoren per gespecificeerde reeks doelstellingen rapporten per land, en de consultants een syntheseverslag op. Deze rapporten werden voltooid tussen begin 2003 en medio 2004.

De basisdoelstellingen voor elke evaluatie

7. De betrokken DG's opteerden voor een brede aanpak waarin tal van kwesties aan de orde kwamen. De algemene doelstellingen van de evaluaties waren: a) beoordeling van de resultaten en het effect van de acties in de lidstaten ten opzichte van de doelstellingen en het effect op personen en systemen; b) analyse van het effect en de doeltreffendheid van de communautaire acties betreffende specifieke structurele problemen en, voor zover mogelijk, vaststelling van de meerwaarde van de communautaire bijstand.

8. Om deze algemene doelstellingen te bereiken werd in de taakomschrijvingen een aantal essentiële kwesties bepaald in verband met de volgende thema’s: geschiktheid van de strategie, doeltreffendheid, efficiëntie, effect, beheers- en implementatiesystemen, communautaire meerwaarde en uit huidige en toekomstige programmering te trekken lering. Ter structurering van de werkzaamheden werd in de taakomschrijvingen ook een aantal specifieke taken en een aantal informatietechnieken en -bronnen vastgelegd.

9. De taakomschrijving voor elke doelstelling, zoals opgesteld door de Commissie, verschafte aldus de basis voor de werkzaamheden van de evaluatoren. Deze werden in januari 2002 aangevuld met het aanloopverslag en de methodologische gids voor doelstelling 1. Bij de acties van het ESF werden ze in december 2002 aangevuld met het methodologisch voortgangsverslag en de evaluatiekwesties die waren opgenomen in elk nationaal evaluatieverslag. Daartoe gingen de evaluatoren uit van studies van de literatuur, vragenlijsten, gesprekken met betrokkenen, de analyse van gevalstudies en zo nodig ander veldonderzoek.

REIKWIJDTE VAN DE CONTROLE

10. Met de controle werd in het algemeen beoogd, te onderzoeken of de evaluaties de Commissie toereikende informatie verschaften om het effect van de bijstandsverlening in vergelijking met de doelstellingen te ramen, en of de resultaten en aanbevelingen nuttig zijn geweest voor de herziening van de programma’s voor latere programmeringsperioden.

11. De controle was toegespitst op de evaluaties achteraf van de EFRO-bijstand in het kader van doelstelling 1, en de ESF-bijstand in het kader van de doelstellingen 1 en 3, die werd verleend door respectievelijk het directoraat-generaal Regionaal beleid (DG REGIO) en het directoraat-generaal Werkgelegenheid, sociale zaken en gelijke kansen (DG EMPL). De desbetreffende syntheseverslagen en een steekproef van nationale evaluaties werden onderzocht ten aanzien van deze geselecteerde doelstellingen en instrumenten (7) die samen goed waren voor 124 miljard euro, ofwel 82 % van de totale geplande steun in het kader van de Structuurfondsen voor de programmeringsperiode 1994-1999 (8).

12. Bij elke evaluatie trachtten de controleurs drie vragen te beantwoorden: a) Was de evaluatie van goede kwaliteit? b) In hoeverre waren de geconstateerde gebreken te wijten aan gebreken in de regels voor en de supervisie van de evaluatie? c) Waren de daaruit voortvloeiende aanbevelingen gegrond, nuttig en geschikt voor inachtneming in de volgende programmeringsperioden?

13. Met name werden in de controle de kwaliteit en volledigheid van de verslagen beoordeeld ten aanzien van de evaluatie van de geschiktheid van de beleidslijnen en de doeltreffendheid, de efficiëntie en het effect van de maatregelen. Ook werd beoordeeld hoe de maatregelen de beheerssystemen beïnvloedden, en in hoeverre de Commissie bij de voorbereiding, het toezicht en de supervisie van de evaluaties de juiste rol speelde.

14. Het eerste deel van dit verslag is gewijd aan de evaluatie achteraf van de EFRO-bijstandsverlening in regio's van doelstelling 1 (zie de paragrafen 15-80), terwijl het tweede deel de evaluatie achteraf van ESF-acties in het kader van de doelstellingen 1 en 3 behandelt (zie de paragrafen 81-113).

EVALUATIE ACHTERAF VAN DOELSTELLING 1 DOOR DG REGIO

15. Alvorens de gedetailleerde beoordeling van de kwaliteit van de evaluatie ter hand te nemen, is het dienstig hieronder (in tekstvak 1) een kort overzicht te geven van de conclusies van de evaluatie van de Commissie. Tekstvak 1De algemene conclusies van de evaluatie door DG REGIOIn het syntheseverslag werd erkend dat de Structuurfondsen een positief effect hebben gehad op het bnp van doelstelling 1-regio's en dat de algemene prestaties ervan, in vergelijking met de EU als geheel, verbeterd zijn. Geconcludeerd werd dat de mate waarin het effect gunstig was sterk afhing van zowel de institutionele capaciteiten als factoren zoals de structuur en openheid van de economie, en dat deze aspecten duidelijk van cruciaal belang zijn, in het bijzonder voor de capaciteit van de economie om de uitdagingen aan te gaan en de kansen waar te nemen van het proces van economische integratie. Opgemerkt werd echter dat het wegens de verschillen tussen landen en contexten en wegens de beperkingen van de beschikbare toezichtgegevens en het gebrek aan duidelijk omschreven doelstellingen niet mogelijk was, om uit de resultaten een betrouwbaar beeld van de algemene realisaties van doelstelling 1 samen te stellen.Als algemene beoordeling van de geschiktheid van de gehanteerde strategieën concludeert het verslag dat de strategische aanpak van doelstelling 1 die in 1994 werd gekozen in elk van de lidstaten als grotendeels adequaat moet worden beschouwd. In het verslag was de voornaamste kritiek op de strategieën dat ze niet veel meer vormden dan de som van hun onderdelen. Terwijl elk ervan een adequate reactie vormde op de geconstateerde behoeften op bepaalde gebieden waren er minder aanwijzingen over de vraag hoe deze verschillende elementen bijdroegen tot een overkoepelende ontwikkelingsstrategie.Ten aanzien van de doeltreffendheid werd in het verslag aangestipt dat de analyse wegens tekortkomingen in de beschikbare gegevens in hoge mate bestond uit beschrijvende oordelen en niet uit gekwantificeerde vergelijkingen van de resultaten met de doelstellingen. Het algemene commentaar in het verslag luidt dat veel van de kennelijk meest doeltreffende acties grotendeels een mainstream-karakter vertonen. De financiering tendeerde grotendeels tot het versterken van bestaande patronen van activiteit in verband met economische ontwikkeling in plaats van een basis te bieden voor de ontwikkeling van nieuwe activiteiten met het oog op de gekozen doelstellingen of ter stimulering van meer innovatieve benaderingen.Ten aanzien van het effect werd in het verslag bij de beoordeling van het effect van de Structuurfondsen op de economische en sociale cohesie voor de meeste regio's uitgegaan van macro-modellen. Erkend werd dat de gebleken resultaten onvermijdelijk in zekere mate voortvloeien uit veronderstellingen die in de modellen zijn ingebouwd. Volgens het verslag vormde de omvang van het effect veelal een afspiegeling van de relatieve betekenis en de toewijzing van de CB-middelen, en van factoren zoals de aanvankelijk gekozen factoren economische structuren, concurrentieniveaus en de mate van „openheid” van de betrokken economie. Het verslag bevatte algemene conclusies over het effect van de Structuurfondsen in vergelijking met andere externe factoren. Aangestipt werd dat weliswaar veel banen zijn gecreëerd, maar dat er waarschijnlijk ook veel deadweight en verplaatsingseffect is geweest.Het syntheseverslag omvatte ook een reeks opmerkingen betreffende het beheer en de uitvoering. De algemene conclusie betreffende deze aspecten luidde dat de regelingen voor het beheer en de uitvoering weliswaar vaak werden gekenmerkt door gebreken, maar doorgaans adequaat waren, en dat er aanzienlijke voordelen waren bereikt via de partnerschapsaanpak. De besluitvormingsstructuren gaven gewoonlijk geen duidelijke richting aan de strategie. Maar via de programmeringsaanpak en de ontwikkeling van beheerscapaciteit en -praktijken voor de overheidssector waren grote voordelen in de zin van een grotere „toegevoegde waarde” bereikt.

De beoordeling door de Rekenkamer van de kwaliteit van de evaluatie

Preliminaire opmerkingen

16. Bedacht dient te worden dat de gekozen ruime aanpak een aantal intrinsieke knelpunten vertoonde, met name: beperkingen qua tijd, een beperkt aantal gekwantificeerde doelstellingen en een gebrek aan gedetailleerde resultaat/effectindicatoren. Voorts was het effect dat rechtstreeks kan worden toegeschreven aan de programma’s en daarmee samenhangende maatregelen vaak moeilijk af te zonderen, aangezien de doelregio's vaak profiteerden van andere acties die bijdragen tot de verwezenlijking van soortgelijke doelstellingen. Het was ook moeilijk het indirecte effect van de uitgaven uit de Structuurfondsen te bepalen en te meten. De Rekenkamer is echter van mening dat sommige gebreken in het evaluatieproces niet uitsluitend kunnen worden toegeschreven aan inherente knelpunten, maar te wijten waren aan gebreken in het evaluatieproces die moeten worden aangepakt, met name vóór de beoordeling achteraf van de programmeringsperiode 2000-2006.

Ontwikkeling van kwesties waarmee de regio's sinds 1994 te maken hebben

17. Het syntheseverslag begint met een korte analyse van de ontwikkelingen in het bnp per hoofd van de bevolking, alsmede werkloosheids- en werkgelegenheidspercentages in de diverse betrokken regio's (9). Het verslag komt tot de bevinding dat de gestegen bnp-niveaus per hoofd gewoonlijk niet het gevolg zijn van toegenomen werkgelegenheid ten gevolge van gecreëerde arbeidsplaatsen (10). Een dergelijke conclusie zou belangrijk kunnen zijn voor beleidsmakers. Zij suggereert dat de voornaamste doelstelling van het cohesiebeleid, namelijk het dichten van de bnp-kloof, verre van bereikt is door de verbetering van de arbeidsparticipatie (11). Deze conclusie is voor de Structuurfondsen van groot belang.

18. Op basis van de informatie in het syntheseverslag kan moeilijk worden beoordeeld wat de hierboven geciteerde verklaring waard is. Er zijn veel regio's waar het bnp per hoofd is gestegen, evenals de arbeidsparticipatie. Er zijn echter enige regio's waar ofwel het bnp per hoofd, ofwel de participatiegraad gedaald of slechts marginaal gestegen is. De Rekenkamer heeft getracht, de in paragraaf 17 geciteerde bewering te verifiëren door statistische technieken toe te passen op de in het syntheseverslag gepubliceerde gegevens. De technische details van deze analyse worden in bijlage II gegeven. Hieronder volgen in het kort de voornaamste punten.

19. De verkregen resultaten wijzen erop dat de veranderingen in de werkgelegenheid een statistisch significant effect op het werkelijke bnp per hoofd hebben gehad. Met name ging een stijging van de werkgelegenheid met een percentpunt gedurende de referentieperiode gepaard met een stijging van het bnp per hoofd met 0,24 percentpunten. Dit resultaat komt niet overeen met de hiervoor geciteerde conclusie van het syntheseverslag. Het suggereert ook dat het in feite wel mogelijk zou zijn om de bnp-kloof te dempen door de arbeidsparticipatie te verbeteren — uit beleidsoogpunt een relevant resultaat.

20. Om verder na te gaan hoe steekhoudend bovengenoemd resultaat is, voerde de Rekenkamer een identieke analyse uit bij 145 regio's waarvoor constante gegevens beschikbaar waren (dat wil zeggen niet uitsluitend doelstelling 1-regio's). De ook in bijlage II gegeven resultaten geven overal in de Unie een zeer uniform beeld te zien. Daaruit blijkt dat de uit de basisgegevens verkregen informatie niet voldoende was geanalyseerd en dat er een belangrijk verband bestaat tussen stijgingen in het bnp en stijgingen in de werkgelegenheidsgraad, waarop in het syntheseverslag niet is gewezen.

Geschiktheid van de gekozen strategieën

21. Het tweede hoofdstuk van het syntheseverslag behandelt de geschiktheid van de gekozen strategieën wat betreft het geografisch en programma-evenwicht, alsook het evenwicht tussen de fondsen. De geplande en werkelijke uitgaven voor de programma’s (12) van de Structuurfondsen worden geanalyseerd per lidstaat en per soort fonds, maar niet per relevante regio — in tegenstelling met wat is gedaan in het verslag over bnp per hoofd en werkgelegenheids- en werkloosheidsgraden in de diverse doelstelling 1-regio's. Zoals wordt opgemerkt in het verslag zelf, dat de resultaten bevat van een regressieanalyse waarin wordt gepoogd, de EU-middelen per hoofd en per lidstaat te relateren aan het bnp per hoofd van de bevolking, beperkt dit de analysemogelijkheden (13). Bijgevolg zijn de in het verslag opgenomen resultaten statistisch niet significant en dus van geringe waarde.

22. De Rekenkamer paste op dezelfde gegevens als in het verslag echter enigszins andere statistische technieken toe. De technische details van deze analyse worden in bijlage III gegeven. Hieronder volgen in het kort de voornaamste punten.

23. De verkregen resultaten onderbouwen de voor de hand liggende conclusie dat in de lidstaten de toename van het bnp per hoofd van de bevolking hoger is naarmate de EU meer middelen per hoofd verstrekt. Dit resultaat wijst uit dat men met een ruimere aanpak tot relevante constateringen kan komen, zelfs op basis van het nodeloos beperkte gegevensbestand dat bij het onderzoek van deze belangrijke kwestie is gehanteerd.

24. In de evaluatie die in deze afdeling van het syntheseverslag voorkomt staan een vergelijking van de diverse categorieën geplande uitgaven in 1994 en de geraamde werkelijke uitgaven in 1999 centraal. In de verstrekte gegevens komt echter een aantal ernstige fouten of discrepanties voor waardoor de geldigheid van de mogelijke conclusies wordt beperkt. Met name verschilt bij vijf lidstaten het cijfer voor werkelijke uitgaven in de kolom „totaal” (in de desbetreffende tabel van het syntheseverslag) van de som van de cijfers in de afzonderlijke kolommen voor uitgaven in respectievelijk de EU-, de overheids- en de particuliere sector (zoals die in dezelfde tabel voorkomen). Deze discrepanties worden samengevat in tabel 1. Het discrepantiepercentage, dat te zien is in de laatste kolom van deze tabel, is significant en wijst op een ontoereikende kwaliteitscontrole bij de formulering van de inhoud van het verslag en de resultaten.

25. Ondanks deze discrepanties kunnen na omrekening van de gegevens per hoofd van de bevolking (14) een aantal nuttige constateringen worden gedaan die in sommige opzichten afwijken van de conclusies van het syntheseverslag. Tabel 2 geeft de werkelijke uitgaven per hoofd, gerangschikt van hoog tot laag voor elke categorie.

Tabel 1

Samenvatting van de in paragraaf 24 vermelde discrepanties

Som van de kolommen (15) Gepubliceerd totaal (15) Verschil (15) Discrepantiepercentage Duitsland 41 015 48 243 7 228 –15 Italië 34 804 30 547 –4 257 14 Verenigd Koninkrijk 3 961 4 803 842 –18 Frankrijk 3 339 4 019 680 –17 Oostenrijk 1 116 1 040 –76 7





Tabel 2

Werkelijke uitgaven (16)

Totaal werkelijk/per hoofd Uitgaven EU per hoofd Overheid werkelijk/per hoofd Particulier werkelijk/per hoofd Oostenrijk 3 866 Ierland 1 653 Nederland 1 822 Oostenrijk 2 458 Nederland 3 438 Griekenland 1 580 Oostenrijk 1 033 Duitsland 1 299 Duitsland 2 933 Portugal 1 403 Griekenland 739 Nederland 1 039 Ierland 2 926 Spanje 1 143 Ierland 703 België 705 Griekenland 2 716 Duitsland 884 Portugal 621 Ierland 570 Portugal 2 472 Oostenrijk 657 Spanje 582 Portugal 448 Spanje 1 725 Italië 652 Frankrijk 485 Griekenland 396 België 1 587 Frankrijk 621 België 456 Frankrijk 205 Frankrijk 1 579 Verenigd Koninkrijk 605 Verenigd Koninkrijk 381 Verenigd Koninkrijk 174 Italië 1 445 Nederland 578 Duitsland 311 Spanje n.v.t. Verenigd Koninkrijk 1 407 België 427 Italië n.v.t. Italië n.v.t. Gemiddeld per hoofd 2 104 1 033 419 377

26. Uit de tabel blijkt dat het totaal van de werkelijke bedragen gemiddeld 2 104 euro per persoon bedroeg. De Structuurfondsen van de EU droegen daarin voor ongeveer de helft bij, terwijl drie van de vier cohesielidstaten ongeveer 50 % meer beheerden dan het gemiddelde van 1 033 euro per persoon. Van bijzonder belang is de bijdrage van de particuliere sector, met name in het licht van de nadruk op langetermijneffecten wat de voorziening betreft op de regio's. Sommige doelstelling 1-regio's in de lidstaten, zoals Oostenrijk, Duitsland en Nederland, blijken er bijzonder goed in te zijn geslaagd, particuliere investeringen te combineren met de Structuurfondsen, waarbij zij de gemiddelde bijdrage uit de Structuurfondsen van de EU — in het geval van Duitsland en Oostenrijk zelfs aanzienlijk — overtroffen.

27. De factoren die bijdragen tot een hogere participatie door de particuliere sector blijven in het verslag echter buiten beschouwing. Resulteerde die bijvoorbeeld uit de aard van de gekozen projecten, de vaardigheden van de beschikbare arbeidskrachten of uit een ander soort bijstand die uit de fondsen aan de particuliere sector werd verleend? Volgens de Rekenkamer verdienden deze aspecten nader onderzoek.

28. De beoordeling van de geschiktheid was zelden gebaseerd op formeel vastgelegde technieken (17) en de praktijken van de nationale evaluatoren liepen sterk uiteen en waren in de regel grotendeels beschrijvend. De vraag in hoeverre de Structuurfondsbijstand uitkomst biedt voor „gebreken van de markt” was zelden het expliciete onderwerp van de evaluatie achteraf. Evenzo zijn de veranderingen in de strategie gedurende de programmeringsperiode niet grondig op geschiktheid onderzocht.

Evaluatie van de doeltreffendheid

29. De doeltreffendheid van de Structuurfondsen wordt behandeld in specifieke hoofdstukken van de nationale evaluaties en in hoofdstuk 3 van het syntheseverslag, op basis van de mate waarin het verwachte effect is verkregen en de doelstellingen zijn bereikt. Er worden vijf thema’s onderzocht, namelijk vervoer, MKB, OTO, onderwijs en opleiding en plattelandsontwikkeling. Ook worden er twee horizontale thema’s in verband met het milieu en gelijke kansen onderzocht.

30. De analyse is gebaseerd op een steekproef van 70 % van de waarde van de doelstelling 1-programma’s. De nadruk lag echter sterk op kwalitatieve beoordelingen, bijvoorbeeld op het waarderen van de toegevoegde waarde van de EU-steun aan de hand van „ja” of „neen”-antwoorden. Dergelijke beoordelingen en standpunten zijn vaak ruim, en niet altijd objectief te verifiëren. Er is niet gepoogd, aan de hand van daarvoor eventueel geschikte criteria concretere doelen te stellen, en er zijn geen extra gegevens ten behoeve van een microanalyse verzameld. Belangrijke overwegingen voor een vollediger beoordeling van de doeltreffendheid, zoals deadweight- en verplaatsingseffecten, bleven vaak buiten beschouwing, en wanneer deze aspecten toch aan bod kwamen, werden ze niet nauwkeurig genoeg geanalyseerd.

31. Hoewel er in een aantal afdelingen waardevolle en nuttige opmerkingen voorkomen, acht de Rekenkamer dit cruciale hoofdstuk (18) van het syntheseverslag niet degelijk genoeg: er ontbreken gegevens, de conclusies zijn vaak zwak en de resultaten van andere thematische studies die DG REGIO voor de Structuurfondsen voor de programmeringsperiode 1994-1999 in opdracht had gegeven zijn niet of onvoldoende beoordeeld.

32. Zo is in de afdeling beoordeling achteraf over vervoer, in de tabellen met de werkelijke en nagestreefde kilometers verbeterd wegennet per land ongeveer de helft van de te verstrekken informatie ofwel afwezig ofwel onvolledig, waardoor het moeilijk wordt een gedegen conclusie over de verwezenlijkingen ten opzichte van de doelstellingen te trekken. Wel levert de thematische evaluatie (19) van het effect van de Structuurfondsen op de vervoersinfrastructuur voor dezelfde programmeringsperiode, die vaak wordt geciteerd in het verslag, een meer volledige en strikte beoordeling van de resultaten per lidstaat op.

33. Van bijzonder belang voor de beoordeling achteraf is het geraamde effect op de werkgelegenheid van transportprogramma’s dat wordt beschreven in het thematische evaluatieverslag over het vervoer. Het totale directe en indirecte effect op de werkgelegenheid bedraagt 2,3 miljoen mensjaren (20). Voorts worden de in de studie genoemde economische voordelen van de transportprogramma’s als significant beoordeeld. Voor Ierland wordt bij wegenprojecten een rendementspercentage van 13 % opgegeven, voor Spanje 23 % (21).

34. Deze twee relevante conclusies in het thematische evaluatieverslag over het vervoer blijven in het syntheseverslag buiten beschouwing. Voorts komt de raming van het werkgelegenheidseffect in de thematische evaluatie niet overeen met die in de studie over de beoordeling achteraf. Op basis van berekeningen van de Rekenkamer is het uit de studie blijkende totale werkgelegenheidseffect van de Structuurfondsen gedurende de periode 1994-1999 (22) (op basis van het HERMIN-model en de beoordeling van andere regio's) 1,62 miljoen banen, hetgeen niet overeenkomt met de raming van 2,3 miljoen banen in het thematische verslag, te meer daar het vervoer slechts goed is voor ongeveer 20 % van alle Structuurfondsuitgaven.

35. Daarentegen worden de resultaten van de thematische evaluatie van het effect van de Structuurfondsen op het MKB wél gebruikt in het syntheseverslag, volgens hetwelk de thematische evaluatie van het effect van de Structuurfondsen op het MKB de aanbeveling bevat, in de toekomst van subsidiëring van uitgaven over te stappen op financial engineeringmaatregelen zoals aanloop- en risicokapitaalfondsen, leningen, rentesubsidies, omdat deze methoden op lange termijn duurzamer zijn (23). Dit vormt een belangrijke conclusie binnen de thematische studie, die in de ex-post-beoordeling terecht wordt benadrukt (24). Ondanks de belangrijke eventuele implicaties voor toekomstige programma’s wordt hierop in het verslag echter niet nader ingegaan.

36. In het syntheseverslag wordt uit de thematische evaluatie over het effect van de Structuurfondsen op het MKB een passage geciteerd, waarin wordt geschat dat zonder de bijstand van de Structuurfondsen 70 % van de investeringsprojecten ofwel helemaal niet zouden zijn doorgegaan, ofwel kleinschaliger zouden zijn geweest of uitgesteld. In de thematische evaluatie werd verder geschat dat deze bijstand had bijgedragen tot het creëren van meer dan 300 000 extra banen, zelfs na inachtneming van „deadweight”- en substitutie-effecten. In de evaluatie achteraf van doelstelling 1 kunnen deze cijfers niet worden overgenomen bij gebrek aan vergelijkbare en betrouwbare gegevens waarop dergelijke schattingen zouden kunnen steunen (25). Daar de verschillende resultaten zo significant zijn en de twee studies voor dezelfde contractant zijn verricht, hetzelfde onderwerp behandelden, dezelfde periode bestreken en slechts met twee à drie jaar tijdsverschil werden gepubliceerd, was een grondiger behandeling van de verschillen gewettigd geweest.

37. Na bovenstaande verklaring wordt in een afdeling van het syntheseverslag over een algemene analyse wel een schatting gegeven van het aantal banen dat dankzij de Structuurfondsen in het MKB is gecreëerd. Uit de beschikbare informatie zou blijken dat doelstelling 1 de ontwikkeling van ongeveer 800 000 banen ten goede is gekomen. Dit is een bruto-cijfer waarbij geen rekening is gehouden met substitutie-, deadweight- en vermenigvuldigingseffecten. De algemene doeltreffendheid in termen van netto-effecten kan niet worden berekend (26). Deze conclusie krijgt niet de nodige aandacht, vooral niet in het licht van de schatting die in de thematische studie over het MKB wordt gegeven. Voorts verschaft de tabel in de studie over de beoordeling achteraf, waarin de per lidstaat gecreëerde werkgelegenheid wordt uitgesplitst, geen details over Spanje, zodat de gemaakte schatting duidelijk onvolledig is (27). Dit aspect verdiende een grondiger onderzoek in de evaluatie achteraf.

38. Bij de overige onderwerpen die in het syntheseverslag met betrekking tot doeltreffendheid worden behandeld komt een nuttige, zij het korte samenvatting voor van diverse relevante kwesties, verdeeld over een aantal rubrieken. Een onderliggende beperking vormt echter het gebrekkige vergelijkingsmateriaal waardoor slechts een kwalitatieve beoordeling mogelijk was, en geen gedetailleerde beoordeling op basis van de projecten (28). Een gedeelte van deze kwalitatieve beoordeling had beter gekoppeld kunnen worden aan de andere verrichte thematische studies, zoals de thematische evaluatie over OTO. In de taakomschrijving wordt verklaard dat een ruim opgezette studie van de literatuur zou worden verricht om belangrijke kwesties bij de implementatie van de Structuurfondsen te identificeren (29). Er doen zich echter tekortkomingen voor in de wijze waarop dergelijke implicaties worden gerapporteerd en gekoppeld worden aan latere bevindingen. In de zeldzame gevallen waarin een dergelijke integratie met de beoordeling bestaat, zijn de voordelen voor de kwaliteit van het verslag onmiskenbaar.

39. Zo meldt de beoordeling achteraf dat in de thematische evaluatie over OTO wordt geconstateerd dat in de activiteiten de nadruk beter zou kunnen worden gelegd op de ontwikkeling van regiospecifieke innovatiestrategieën ter benutting van de bestaande capaciteit inzake OTO, en niet op geconstateerde „technologische lacunes”. Volgens de studie over de beoordeling achteraf was dit in een aantal gevallen geschied, en had deze gerichtheid op lokale sterke punten tot veel betere resultaten geleid (30). Uit dit voorbeeld blijkt duidelijk hoe belangrijk het is, voort te bouwen op wat andere rapporten en studies hebben aangetoond, zoals wordt beklemtoond in de criteria die zijn ontwikkeld in het kader van het MEANS-programma en de update daarvan, die in de taakomschrijving van dit evaluatieproject is opgenomen (31).

40. De nationale evaluaties waren zelden gebaseerd op een geformaliseerde of kwantitatieve analyse van de effecten. Voorts gebruikten de nationale evaluatoren zelden de resultaten van door andere partijen verrichte kwantitatieve analysen.

Evaluatie van de efficiëntie

41. Deze rubriek van het syntheseverslag heeft ten doel, de efficiëntie van de implementatie van grote projecten te onderzoeken die doelstelling 1-regio's worden gesteund. De analyse is gebaseerd op een geografisch en thematisch representatieve steekproef van ongeveer 60 grote projecten (32). Onder efficiëntie wordt verstaan de mate waarin de effecten tegen een redelijke kostprijs worden verkregen. Hoofddoel is, de kosten per eenheid vast te stellen, dat wil zeggen de kosten per bereikte output. De analyse moet ook betrekking hebben op de kwaliteit van het beheer van grote projecten door de eindbegunstigden. Op EU-niveau moeten de kosten per eenheid in alle doelstelling 1-regio's worden geanalyseerd. Significante verschillen in de kosten per eenheid over de regio's moeten zo mogelijk worden verklaard en er moet een lijst met acceptabele kosten worden opgesteld die in de toekomst kan worden gebruikt als basis voor benchmarking (33). Deze doelstellingen zijn zinvol en vormen een wezenlijk bestanddeel van efficiënt projectbeheer in de hele EU.

42. Bij de beoordeling achteraf werden deze doelstellingen echter bij lange na niet bereikt. Dit wordt toegegeven in het syntheseverslag, met de verklaring dat de projectbeheerders het vrijwel onmogelijk achtten, de afzonderlijke bestanddelen van het project te bepalen, en bijgevolg de kosten per eenheid niet konden berekenen (34). Een dergelijke algemene verklaring impliceert dat het met de kennis over belangrijke uit de Structuurfondsen gefinancierde projecten zo slecht gesteld is, dat deze doelstelling uit de taakomschrijving niet kan worden bereikt. Het had ten minste mogelijk moeten zijn, voor typische outputs tot vergelijkbare kosten te komen, bijvoorbeeld de kosten per vierkante meter voor de bouw van een fabriek, of per kilometer aangelegde weg.

43. Sommige gedeeltelijke resultaten worden weergegeven in drie tabellen over wegenaanleg in de lidstaten, milieuprojecten in Spanje en kosten per gecreëerde baan bij projecten in industriële projecten (35). Deze resultaten zijn echter niet grondig geëvalueerd of geanalyseerd, bijvoorbeeld ter verrekening van het effect van uiteenlopende arbeidskosten en bijzondere geografische kenmerken bij wegenaanleg.

44. Het syntheseverslag kwam tot gedegen conclusies betreffende de timing van de projecten en de inachtneming van budgettaire beperkingen. Een eerste conclusie was dat slechts één derde van de 60 onderzochte projecten binnen het oorspronkelijke tijdsbestek werden afgerond en dat meer dan een derde een jaar vertraging opliep. Ten tweede werd in ongeveer twee derde van de onderzochte projecten het budget overschreden, waarbij 20 % van de projecten meer dan 30 % meer kostte dan oorspronkelijk gepland. De analyse blijft echter beperkt tot een paar algemene opmerkingen, die weinig of geen evaluatie inhouden van de kwaliteit van het beheer door de eindbegunstigden, zoals voorgeschreven in de taakomschrijving (36). Voorts werd het relatieve belang van de publiek-private partnerschappen en van de gehanteerde aanbestedingsprocedures niet geëvalueerd.

Evaluatie van het effect van de SF’s

45. Volgens het syntheseverslag hebben de Structuurfondsen voornamelijk ten doel het aanbodpotentieel van de economie op lange termijn te beïnvloeden (37). Deze aanbodzijde-effecten werken via een aantal kanalen die zijn opgezet om: a) de investeringen te verhogen om de fysieke infrastructuur te verbeteren als een input in de productieve activiteit van de particuliere sector; b) het menselijke kapitaal te vergroten via investeringen in opleiding, om bij te dragen aan de productieve activiteit van de particuliere sector c) financiële steun van de overheid naar de particuliere sector te leiden om investeringen te stimuleren en zo de factor productiviteit te verhogen en de sectorale kosten van de productie en van het kapitaal te drukken (38).

46. Vervolgens wordt in het verslag het belang besproken van wat positieve externe effecten worden genoemd — omstandigheden waarin particuliere firma’s kosteloos gebruik kunnen maken van aanvullende productiefactoren en zo het concurrentievermogen qua productiviteit en kosten van de economie verbeteren. Deze overwegingen zijn van belang voor een evaluatie achteraf. De cofinanciering uit de particuliere sector werd echter uit de analyse geweerd wegens onzekerheden over de stuwende mechanismen ervan (39). Deze beperkte benadering leidt tot een ernstige onderschatting van het effect van sommige uitgaven uit de Structuurfondsen doordat een van de voornaamste effecten aan de aanbodzijde op lange termijn wordt uitgesloten. Dit komt duidelijk tot uiting in het voorbeeld van een in het syntheseverslag gepresenteerde ontwikkelingsmaatschappij (40) waarvan de gecofinancierde uitgaven veel extra investeringen uit de particuliere sector hebben aangetrokken. In plaats van zich te richten op de meer direct waarneembare gevolgen van de uitgaven uit de Structuurfondsen voor investeringen in de particuliere sector, is de studie toegespitst op pogingen om de zogenaamde externe effecten te beoordelen. Hierbij werden vrij povere ramingstechnieken gehanteerd ten gevolge van een gebrek aan studies die metingen van elasticiteiten verstrekken die relevant zijn voor de regio's in kwestie.

47. Om het effect van de Structuurfondsen op economische en sociale cohesie te schatten, werd een macro-economische modellenaanpak op basis van het HERMIN-model toegepast op vier lidstaten (Griekenland, Ierland, Portugal en Spanje) (41) alsmede op de regio's van de nieuwe Duitse deelstaten en Noord-Ierland (42). Deze benadering was bedoeld om de impact van de doelstelling 1-programma’s te meten wat betreft de effecten ervan op het bnp en de werkgelegenheid.

48. Een alternatief beoordelingsscenario zou erin bestaan, micro-economische gegevens uit de projecten te gebruiken om te komen tot de totale of gezamenlijke invloed van de Structuurfondsen op regionale of nationale basis. Ondanks het gebruik van gestandaardiseerde voorschriften inzake gegevens in alle doelstelling 1-regio's zijn er echter moeilijkheden met het verzamelen van micro-economische gegevens. Dit leidt tot pogingen om het effect uitsluitend uit macro-economische modellen af te leiden, waardoor er veel beperkingen en veronderstellingen ontstaan die om de hieronder opgegeven redenen de beoordeling aanzienlijk kunnen inperken, en dus ook de gevolgtrekkingen daaruit voor het beleid.

49. De voornaamste moeilijkheden met de specifieke toepassing van het macro-model HERMIN bij de onderzochte beoordeling achteraf waren de volgende: a) in de structuur van het model wordt te veel nadruk gelegd op de fabricagesector, terwijl de economieën van de meeste onderzochte regio's of landen zich de laatste 10 jaar meer hebben ontwikkeld op het gebied van commerciële dienstverlening, zoals toerisme en in sommige gevallen de financiële sector. De stuwende mechanismen achter deze dienstverlening zijn anders dan bij de fabricage, die sterker onderhevig is geworden aan de invloed van de globalisatie. Daarom moet de oriëntatie van het macromodel naar dit aspect verschuiven. Het gehanteerde model voorzag hier niet in en er zijn weinig aanwijzingen in het verslag dat dit aspect onderkend is als ernstige tekortkoming, hoewel toerisme zo belangrijk is voor de economieën van vele van de betrokken regio's; b) het gehanteerde model is gebaseerd op jaargegevens vanaf 1980. Wegens de snel veranderende structuur van de betrokken regio's gedurende deze tijdspanne kan structurele instabiliteit van de geschatte parameters echter een significante beperking vormen van de gekozen benadering op basis van een macromodel. Ook met dit aspect is geen rekening gehouden; c) er wordt uitgegaan van geplande in plaats van werkelijke uitgaven (43), hetgeen normaliter eerder bij een projectie vooraf dan bij een evaluatie achteraf zou mogen worden verwacht; d) de effectramingen worden sterk neerwaarts beïnvloed doordat de cofinanciering uit de particuliere sector van het model zijn uitgesloten (zie ook paragraaf 46), alsmede door de toevloed aan investeringen uit de particuliere sector die uit de bijstandsverlening van de Structuurfondsen resulteert. Indien de SF’s bijvoorbeeld bijstand verlenen voor de bouw van een fabriek, blijft het effect op de economie van de regio niet beperkt tot het oprichten van het gebouw, maar heeft het ook betrekking op de vaste banen die het doet ontstaan ten gevolge van de investeringen uit de particuliere sector die voortvloeien uit de bouw van de fabriek; e) het effect op lange termijn van de Structuurfondsen op de gehele openbare infrastructuur en het menselijk kapitaal (positieve externe effecten) speelt een cruciale rol bij het vaststellen van het effect van de Structuurfondsen in het syntheseverslag. Voor het HERMIN-model moeten elasticiteiten in de externe effecten uit andere specifieke studies worden ingebracht. Maar omdat deze elasticiteiten voor geen enkele van de relevante regio's in de EU beschikbaar zijn, is gebruik gemaakt van empirische literatuur die goeddeels is gebaseerd op regio's van de Verenigde Staten die, zoals in het verslag zelf wordt opgemerkt, enigszins vaag is wat betreft de precieze omvang van de externe effecten (44). Bijgevolg is niet duidelijk in hoeverre het geschatte effect is gebaseerd op een beoordeling of op feiten; f) wat de additionaliteit betreft, worden in de simulaties van het HERMIN-model de situaties met en zonder steunverlening uit de CB’s vergeleken. Het scenario zonder CB-financiering veronderstelt dat noch de EU-middelen, noch de gecofinancierde bedragen worden besteed. De gegrondheid van een dergelijke hypothese is voor discussie vatbaar (45).

50. Zoals het is toegepast blijkt het HERMIN-model dan ook ongeschikt voor het schatten van het effect van de bijstandsverlening uit de Structuurfondsen in de regio's van doelstelling 1.

51. De Rekenkamer heeft de resultaten van HERMIN-simulaties met betrekking tot veranderingen in het werkloosheidspercentage geanalyseerd in vergelijking met een aantal vooraf bepaalde hypothesen (46). De uitkomst wordt gegeven in bijlage IV. Wat betreft werkloosheid wijken de resultaten sterk af van de beschikbare gegevens uit andere bronnen.

52. Ten slotte werd de mate waarin de tussengelegen doelen waren bereikt veelal niet geëvalueerd.

53. Wat de strategische doelstelling convergentie betreft, wordt in het syntheseverslag alleen maar vermeld dat de algehele convergentie tussen de lidstaten erop vooruit gaat, maar niet in dezelfde mate in alle regio's van Europa. Of de convergentie aan de Structuurfondsen te danken is, vormt een punt van discussie (47).

Evaluatie van de beheerssystemen

54. De regelingen voor het beheer en de uitvoering die zijn vastgesteld voor de programma’s van doelstelling 1 moeten een cruciale rol spelen als bijdrage tot de doeltreffendheid, de efficiëntie en het effect van de Structuurfondsen. Dit aspect werd zowel in de taakomschrijving als in de methodologische gids behandeld, en opgenomen in de nationale evaluaties (48). De nationale evaluatieverslagen beschreven het effect op de beheerssystemen, maar wezen ook op situaties waarin het effect op de beheerssystemen meer uitgesproken had kunnen zijn.

55. Het belang van dit onderwerp wordt ook erkend in het syntheseverslag en in de afdeling met aanbevelingen (49) hebben niet minder dan 13 van de 19 aanbevelingen betrekking op beheerskwesties.

56. Het syntheseverslag verstrekt een aantal relevante inzichten in het beheer van de Structuurfondsen van de EU en verwijst naar meerdere conclusies van de thematische evaluatie van het partnerschapsprincipe die in 1999 werd verricht. Deze voorziet in continuïteit in de beoordeling, en in enige informatie, al dan niet ter onderbouwing van in de eerdere studie gemaakte opmerkingen. Op een aantal gebieden spreken de bereikte conclusies de thematische evaluatie echter tegen.

57. Het syntheseverslag bevat een overzicht van het gemiddelde ledenaantal van de comités van toezicht (CvT’s) per lidstaat. Het algemene gemiddelde bedroeg 44 leden, maar het aantal varieerde sterk, en wel van 15 tot 85 leden. Het verslag concludeert dat het grote ledenaantal werd beschouwd als ernstig knelpunt voor de efficiëntie van de comités van toezicht, en dat dit in alle lidstaten het geval was (50). In de thematische studie werd daarentegen geconcludeerd dat niets erop wees dat een groter aantal leden schadelijk was voor de efficiëntie. Gezien het grote verschil tussen de conclusies van de verschillende rapporten over dit aspect, zou het passend zijn geweest, dit aspect grondiger te analyseren in het syntheseverslag, en concretere aanbevelingen te doen over de te volgen weg.

58. Een ander terrein in verband met de thematische evaluatie was het beheer van de verschillende fondsen. In beide evaluaties luidde de conclusie dat de fondsen functioneerden volgens verschillende beginselen en met verschillende financiële voorschriften, en dat dit de synergie tussen de fondsen beperkte. Deze belangrijke opmerking geeft de standpunten weer die de Rekenkamer reeds heeft ingenomen (51) en wijst op de noodzaak, naar grotere synergie tussen de fondsen te streven.

59. De beoordeling van de doeltreffendheid van de beheerssystemen als geheel brengt ook enige gebreken aan het licht. Volgens het syntheseverslag werden de beheerssystemen in de nationale evaluaties in iets minder dan de helft van de subsidiabele lidstaten als toereikend beschouwd. Dit is een belangrijk resultaat en er had een gedetailleerde beoordeling van zowel de successen als de aangetroffen tekortkomingen mogen worden verwacht. Hoewel sommige aangestipte punten nader worden besproken, ontbreekt het doorgaans aan duidelijkheid in het verslag over de werkelijke bevindingen.

60. De thematische evaluatie van het partnerschapsbeginsel met betrekking tot de Structuurfondsen (1999) constateerde dat dit beginsel een aantal voordelen vertoonde voor de implementatie van de Structuurfondsen (52). Volgens het syntheseverslag werden deze voordelen doorgaans ook erkend door de lidstaten die betrokken waren bij de implementatie van het programma 1994-1999 voor doelstelling 1, en horizontaal partnerschap werd toegejuicht als één van de meerwaarde-aspecten van de Europese programmering (53). Dit is een relevant resultaat, en hoewel een aantal uiteenlopende gevallen nader worden besproken, met inbegrip van korte commentaren over negatieve ervaringen of ondervonden moeilijkheden, had de discussie meer gericht kunnen worden op verbeteringen die konden worden aangebracht, op basis van de vermelde ervaringen, om het partnerschapsbeginsel doeltreffender te maken.

61. Het proces van aanvraag/selectie van de projecten vormt één van de twee processen waarbij het vaakst administratieve problemen worden gemeld. Er wordt een aantal voorbeelden gegeven, die wijzen op een gebrek aan duidelijkheid in de procedures en een dringende noodzaak voor de Commissie om een benchmark voor de beste praktijk op te zetten. In een tabel wordt de duur van het proces van de selectie van projecten per land opgegeven, hoewel voor drie lidstaten geen gegevens worden verstrekt. De duur van het proces bij de resterende lidstaten varieert van twee tot negen maanden, met een gemiddelde van vijf maanden. Uit de verstrekte informatie blijkt dat er nog werk moet worden verzet om het aanvraagproces te stroomlijnen. In dit verband is geen grondige analyse uitgevoerd met betrekking tot de respectieve verdiensten en/of doeltreffendheid van de keuze tussen het proces waarbij concurrentie een rol speelt en het proces waarbij de aanvragen in volgorde van binnenkomst worden behandeld.

62. De nodige aandacht moet worden besteed aan het proces van toezicht en controle. In het syntheseverslag wordt beweerd dat de systemen voor financiële controle in de lidstaten vrij goed lijken te hebben gefunctioneerd in het kader van doelstelling 1 1994-1999, hoewel in 1997 een aantal aanpassingen moesten worden verricht met het oog op de nieuwe financiële reglementen. In de meeste lidstaten werden de controlesystemen daarvoor geschikt geacht en functioneerden ze relatief efficiënt. De financiële controle lijkt doorgaans betrouwbaar en in overeenstemming met de 5 %-regel te zijn geweest (54). Deze bevinding komt niet overeen met de diverse verslagen van de Rekenkamer (55) waarin erop wordt gewezen dat het Structuurfondsprogramma 1994-1999 te lijden had van ernstige gebreken in de financiële controle.

63. Het andere element van het toezichtproces dat administratieve problemen veroorzaakt houdt verband met de niet-financiële toezicht- en evaluatiesystemen. Zware kritiek wordt op het toezicht geuit. Het syntheseverslag concludeert dat het toezicht grote gebreken bleef vertonen ondanks de nadruk op de ontwikkeling van de rol ervan sinds de eerste programmeringsperiode. De beschikbare gegevens zijn fragmentarisch, onsamenhangend, al te zeer gericht op fysieke resultaten en vaak van twijfelachtige betrouwbaarheid (56). Bovendien zouden in alle lidstaten de bij de aanvang van het programma gestelde doelen niet genoeg gekwantificeerd zijn (57). Aan zeven van de tien lidstaten in de lijst wordt een gering, aan één een variabel en aan twee een toereikend kwantificatieniveau toegekend, en dit laatste slechts bij de start van het programma. Voor elke lidstaat wordt een kort overzicht, maar geen nadere uitleg gegeven.

64. Een andere bevinding luidt dat de computersystemen voor het toezicht op het programma 1994-1999 vaak werden gekritiseerd wegens hun gebrek aan integratie met andere programma’s en fondsen. Dit was van invloed op de mate waarin de beheersautoriteiten doorlopend de voortgang van de programma’s konden overzien en leverde problemen op bij latere evaluaties (58). Deze bevindingen moeten ook twijfel doen rijzen over de gegrondheid van de eerdere conclusie in het verslag dat het financiële beheer van het programma goed functioneerde indien het toezicht op de informatie, dat zulk een belangrijke voorwaarde voor het beheersproces vormt, als fragmentarisch, onsamenhangend en van twijfelachtige betrouwbaarheid wordt beschouwd (56).

65. Het syntheseverslag bevat ook een paar korte besprekingen van zogeheten „interne evaluaties (59)”. Opgemerkt wordt dat deze interne evaluaties werden uitgevoerd door de ministeries of de regionale autoriteiten, bijgestaan door universiteiten en externe agentschappen. De mate waarin de evaluatie werd uitgevoerd kan misschien verrassen in het licht van de gebreken van de toezichtsystemen. Dit komt misschien doordat de behoefte werd gevoeld, evaluaties te verrichten, ook al waren de resultaten vaak van invloed op het programmabeheer (60). In het licht van deze opmerking zou men kunnen denken dat het nuttig zou zijn geweest, meer aandacht te besteden aan deze interne evaluaties, en voort te bouwen op de resultaten die de desbetreffende ministeries of regionale autoriteiten hadden bereikt. Het syntheseverslag bevat daarentegen slechts enige zeer algemene opmerkingen van geringe relevantie voor de algehele beoordeling achteraf.

66. Met betrekking tot de programmeringsperiode 2000-2006 wordt in het syntheseverslag opgemerkt dat is gepoogd, het in de periode 1994-1999 ondervonden toezichtprobleem aan te pakken (61).

Geschiktheid van het kader voor de evaluatie

De taakomschrijving

67. In het licht van de diverse problemen die zijn geconstateerd bij de analyse van het syntheseverslag is het noodzaak specifiek aandacht te besteden aan de oorspronkelijke taakomschrijving. Samen met het aanloopverslag en de methodologische gids kende deze een aantal gebreken, met name: a) het gebrek aan gekwantificeerde doelstellingen werd er niet mee aangepakt. Bovendien werd in de taakomschrijving en de methodologische gids te weinig gedaan aan het tekort aan geschikte indicatoren; b) evenzo werd de evaluator niet verzocht om aanvullende gegevens over de prestatie-indicatoren te verzamelen. In de taakomschrijving (62) werd het verrichten van beoordelingen ter plaatse belangrijk geacht indien bij de lidstaat geen gegevens voorhanden waren, maar dit punt werd in de methodologische gids niet nader uitgewerkt (63); c) er werd te weinig nadruk gelegd op de noodzaak om de netto-effecten te bepalen (64), met uitzondering van een aantal economische effecten; d) in de taakomschrijving kregen met name de doeltreffendheid en het deadweight-effect te weinig aandacht. Dit valt te betreuren, daar deadweight vaak wordt beschouwd als een relevante factor op belangrijke gebieden, zoals subsidies voor zakelijke investeringen, directe steun voor werkgelegenheid, en beroepsopleiding die de toegang tot arbeidsplaatsen verbetert; e) te weinig aandacht ging uit naar de analyse van de potentiële verbanden tussen de geschiktheid, de doeltreffendheid en het effect van de strategie (65). Evenzo werd er weinig moeite gedaan om de gekozen doelstellingen, zelfs wanneer ze niet waren gekwantificeerd, te relateren aan één of andere rangschikking van de behoeften waarin de CB’s trachten te voorzien; f) behalve bij de toepassing van het HERMIN-model en de verwijzing naar de kritische analyse van de gevolgen die voor de casestudies werd gesuggereerd (66), werden er geen andere evaluatietechnieken voorgesteld binnen de taakomschrijving en het aanloopverslag; g) met betrekking tot de landenspecifieke kwesties die in de taakomschrijving worden aangeduid (67), werd geen duidelijke indicatie gegeven betreffende de te hanteren methodologie.

68. Voorts werd aan de versterking van de economische en sociale cohesie in de EU en aan de convergentie van de minder ontwikkelde lidstaten in de taakomschrijving onvoldoende prioriteit gegeven, ook al behoren deze tot de voornaamste doelstellingen van de structurele maatregelen. Het aanloopverslag bevatte een aantal vragen over de gebruikte ontwikkelingsmodellen, de knelpunten voor de groei die moeten worden aangepakt en de kanalen waarlangs een effect op de regionale economie kan worden verwacht (68). De evaluatie achteraf had idealiter echter empirische studies moeten omvatten over de convergentie tussen regio's en de vermindering van de verschillen ten gevolge van factoren als investeringen in de infrastructuur, ontwikkelingen in het onderwijssysteem en in OTO-capaciteit.

69. Voorts zou het passend geweest zijn om als evaluatiedoelstelling specifieke casestudies te identificeren en te analyseren die benchmarks vormen voor regionaal en ontwikkelingsbeleid, bijvoorbeeld op het gebied van clusters of groeipolen.

70. Toen de evaluatie van start ging, werd de kwestie van de geschiktheid van de strategie aangepakt door middel van een lijst met kwesties en vragen. Maar de evaluatierichtlijnen in de taakomschrijving (69) en de methodologische gids waren niet precies of concreet genoeg.

Geschiktheid van de supervisie door de Commissie

71. Het (algemene) contract tussen de Commissie en de consultants die waren geselecteerd voor de uitvoering van de evaluatie bepaalde dat bij de evaluatie technische bijstand zou worden verleend onder leiding en toezicht van ambtenaren van de Commissie. De kwaliteit van de evaluatie zou worden beoordeeld door de Commissie op basis van de criteria die in het MEANS-programma waren ontwikkeld.

72. De door DG REGIO voorgezeten stuurgroep, met vertegenwoordigers van andere DG's, was betrokken bij de opstelling van de taakomschrijving en keurde de methoden en het gedetailleerde werkplan (in het aanloopverslag) goed. Een panel van vier experts werd ter assistentie aangesteld, met als voornaamste doelstelling, ervoor te zorgen dat er evaluaties van goede kwaliteit werden verricht. Zij traden echter te laat op, zodat het proces geen noemenswaardige verbeteringen in de kwaliteit van de evaluatie kon opleveren.

73. Het contractueel overeengekomen tijdschema is niet nageleefd. De indiening van de verschillende verslagen liep vertraging op, zodat het definitieve syntheseverslag en de nationale verslagen niet binnen de geplande periode van twaalf maanden, namelijk uiterlijk 12 november 2002, maar pas in april 2003 bij de Commissie zijn ingediend, en in mei 2003 werden gepubliceerd. Het tijdschema bleek vanaf het begin veel te krap en omvatte niet voldoende reservetijd voor de behandeling van het vrij grote aantal veranderingen/wijzigingen in de rapporten die de experts en vertegenwoordigers in de stuurgroep verlangden. Dit heeft belangrijke gevolgen voor de toekomstige evaluaties achteraf.

74. Volgens de taakomschrijving (67) moesten twee specifieke thema’s per lidstaat worden onderzocht, en er werd een lijst van dergelijke thema’s voorgesteld. Geen enkel nationaal evaluatieverslag legde echter specifiek de nadruk op dit aspect. Hoewel in afzonderlijke hoofdstukken soms statistieken of een gedeeltelijke verkenning van deze thema’s voorkomen, zijn deze niet, zoals voorgeschreven in de taakomschrijving, specifiek onderzocht.

75. De algemene conclusie luidt dat het toezicht van de Commissie op het evaluatieproces moet worden verbeterd. Met name gezien het van meet af aan voorspelbare gebrek aan betrouwbare gegevens, prestatie-indicatoren en precieze doelstellingen had de Commissie er voor moeten zorgen dat er passende maatregelen werden getroffen om dit kritieke knelpunt aan te pakken. Verder had de evaluatie gezien het krappe tijdschema en de inherente knelpunten toegespitst moeten worden op essentiële elementen en niet op pogingen om een zo verstrekkende algehele beoordeling van de programmeringsperiode te ondernemen.

Relevantie van de evaluatieaanbevelingen voor toekomstige programmeringsperioden

76. Gezien de problemen waarop in de voorgaande afdelingen van dit verslag wordt gewezen, kon de evaluatie achteraf slechts in beperkte mate waardevolle aanbevelingen opleveren. Het evaluatieproces heeft weinig aanbevelingen opgeleverd over de inhoud van de programma’s, maar wel een aantal relevante en redelijke suggesties over de wijze waarop het beheer van de Structuurfondsen en de bijstandsverlening kunnen worden verbeterd (70).

77. In het verslag wordt aanbevolen, de rol van de comités van toezicht te verleggen van kwesties in verband met financieel beheer naar strategische leiding (71). De comités van toezicht moeten echter beide functies kunnen vervullen, zoals de regelgeving voorschrijft.

78. De evaluaties hebben geleid tot aanbevelingen voor de programmeringsperiode 2000-2006 die hoofdzakelijk de vraagstukken in verband met de beheerssystemen aanpakken. Er wordt een ruim scala van thema’s bestreken die doorgaans zijn toegesneden op de specifieke situatie van het betrokken land.

79. Met betrekking tot de programma’s 2000-2006 houden de voornaamste lessen uit de evaluatie achteraf van de voorgaande periode verband met de implementatie, met name betreffende de verrichte casestudies ter evaluatie van de doeltreffendheid en efficiëntie van de bijstandsverlening uit de Structuurfondsen.

80. Ten aanzien van de periode na 2006 zijn de aanbevelingen die in het syntheseverslag worden gedaan vrij beperkt en algemeen van aard. Niettemin zijn ze relevant en als zodanig nuttig. Zo wordt verklaard dat meer gebruik zou kunnen worden gemaakt van onafhankelijke, lopende evaluaties die een objectieve externe output opleveren (72). Dit is een zinvolle aanbeveling, maar om nuttig te zijn, had ze moeten worden gedaan vóór de start van de hier behandelde evaluatie achteraf.

BEOORDELING ACHTERAF VAN DE BIJSTANDSVERLENING UIT HET ESF (IN HET KADER VAN DE DOELSTELLINGEN 1 EN 3) DOOR DG EMPL

81. Tegelijkertijd met de evaluatie van de doelstelling 1-regio's onder leiding van DG REGIO is een andere evaluatie uitgevoerd, in dit geval onder leiding van DG EMPL, in verband met de bijstandsverlening uit het ESF in het kader van de doelstellingen 1, 3 en 4 en de communautaire initiatieven Employment en Adapt. De taakomschrijving voor deze evaluatie achteraf liep vooruit op de benutting van de resultaten van de evaluatie van de doelstelling 1-regio's. Ondanks organisatorische regelingen ter vergemakkelijking van een doeltreffende coördinatie tussen de twee evaluaties wijst vrijwel niets erop dat hiervan iets is terechtgekomen. Tekstvak 2De algemene conclusies van de evaluatie door DG WerkgelegenheidDe evaluatie had ten doel, bij personen en systemen het effect van de ESF-acties in de lidstaten te beoordelen. Ook werd getracht, het effect en de doeltreffendheid van de communautaire actie voor specifieke structurele problemen te analyseren en de communautaire meerwaarde te bepalen. In de methodologie waarmee werd beoogd, deze doelstellingen te verwezenlijken, werd de evaluatoren onder meer verzocht, aan te geven of de gevallen die zij moesten beoordelen een aantal hypothesen onderbouwden of tegenspraken.In het verslag werden een aantal sterke punten geconstateerd die als volgt kunnen worden samengevat: veel van de ESF-financiering was gericht op de langetermijnwerkloosheid en werd geschikt geacht omdat de werkloosheid bleef aanhouden. De verbetering van de arbeidsmarktpositie voor de begunstigden waren evenredig aan de uitgetrokken middelen. Er waren in verscheidene landen aanzienlijke verbeteringen in de werkgelegenheidsdiensten en de onderwijs- en opleidingsvoorzieningen. Met de benutte middelen konden sommige beleidsprioriteiten worden versterkt, zoals gelijke kansen, aanpassing van het personeelsbestand en ondersteuning van gehandicapten. Via het ESF nam de betrokkenheid van de sociale partners en de regionale autoriteiten toe. De middelen droegen op alle niveaus bij tot verbeteringen in de capaciteit om de bijstandsverlening op de arbeidsmarkt te beheren en te implementeren.In het verslag werden echter ook een aantal gebreken geconstateerd: acties vonden goeddeels plaats omdat er middelen beschikbaar waren en niet om beleidsredenen, en dit geschiedde parallel met en los van de desbetreffende beleidsdiscussies. De bijstandsverlening was grotendeels toegespitst op opleiding en werd hoofdzakelijk toegewezen aan dienstverleners, hetgeen, op zich, niet de meest doeltreffende manier is om de werkloosheid op lange termijn te verhelpen. Bijgevolg ging de bijstandsverlening waarschijnlijk gepaard met een hoge mate van deadweight. Ten slotte werden de administratieve regelingen als ingewikkeld ervaren en waren de regelingen voor de evaluatie gebrekkig en ongestructureerd.

Beoordeling door de Rekenkamer van de kwaliteit van de evaluatie

Beoordeling van tekortkomingen in de gegevens en in de analyse

82. De invloed van de ESF-bijstandsverlening neemt vaak de vorm aan van een bijdrage of een potentieel effect dat niet tastbaar en daardoor niet gemakkelijk te becijferen is (73). Ondanks dit intrinsieke probleem moet het beoordelen van het effect, en in samenhang daarmee ook de kwestie van doeltreffendheid en efficiëntie, een hoofddoelstelling van de evaluatie zijn. Dit is wat van de evaluatie achteraf werd verlangd.

83. In het syntheseverslag wordt gepoogd, het effect van de ESF-bijstandsverlening te analyseren, en daartoe worden schattingen gegeven van het aantal ESF-begunstigden per land en per doelstelling (74). Ter aanvulling van de nationale evaluatieverslagen trachtte de evaluatie achteraf ook informatie te verstrekken ter onderbouwing van een aantal vooraf opgestelde hypothesen (75). Een en ander wordt in de navolgende paragrafen besproken.

84. Eén van de meest fundamentele vereisten van de beoordeling achteraf van ESF-acties houdt verband met het aantal begunstigden van het programma in de periode 1994-1999. Het verslag bevat een tabel waarin het aantal begunstigden op 52 miljoen wordt geschat. De toelichting bij deze tabel doet echter ernstige twijfel rijzen over de gepresenteerde cijfers (76). De onzekerheid over de nauwkeurigheid van de gegevens leidt af van een aantal nuttige en relevante vaststellingen die uit andere delen van de beoordeling voortvloeien.

85. Het syntheseverslag (75) bevat schattingen van het effect van ESF-acties op personen. Deze informatie is potentieel belangrijk in een aantal opzichten, bijvoorbeeld bij de berekening van kosten per eenheid van programma’s en schattingen van de begunstigden die na twaalf maanden nog aan het werk zijn. Er zijn echter factoren die het nut van de informatie ernstig beperken, met name het gebrek aan toelichting over de vraag, hoe de gegevens zijn verkregen. Het verslag zegt daarover niet meer dan dat de ratio's, toegepast om tot de schattingen te komen, resulteren uit de afzonderlijke onderzochte gevallen en een studie van de literatuur (74). Een dergelijke verklaring kan niet als toereikend worden beschouwd. Er is meer gedetailleerde informatie over de herkomst van de diverse schattingen noodzakelijk om de toepasselijkheid van deze getallen beter te begrijpen, zoals benchmarks van de kosten per eenheid en de mate waarin de programma’s zijn geslaagd.

86. Een tweede onbevredigend aspect vormt de analyse waarvan de gegevens worden vergezeld. De informatie in de beoordeling stemt niet overeen met de gegevens in de begeleidende tabel. Zo wordt in de tekst beweerd dat de eenheidskosten grosso modo lager uitvielen voor werklozen en jonge werklozen, ongeveer 6 000 euro per actieve werkkracht beliepen, en — in uiteenlopende mate — veel hoger waren voor gehandicapten en langdurig werklozen (74). Maar volgens de tabel zijn de eenheidskosten voor de opleiding van werklozen het hoogst (6 000 euro) en die voor de integratie van gehandicapten het laagst (4 000 euro). Verder is het gebruikelijk, de marges van de variatie op te geven wanneer er sprake is van een zogeheten „grote variatie” tussen en binnen de programma’s. De analyse in deze afdeling is van beperkte waarde omdat daarbij al te zeer een enkel getal in aanmerking wordt genomen en geen relevant scala van waarden die een meer alomvattende analyse oplevert van de marges die in de diverse onderzochte gevallen zijn aangetroffen.

87. Deze discrepantie tussen de bespreking en de verstrekte cijfers komt in andere delen van hoofdstuk 3 voor (zie tekstvak 3 voor voorbeelden). Tekstvak 3Zo wordt verklaard dat de uitgaven per hoofd van de bevolking uit het ESF het hoogst waren in Ierland, Portugal en Griekenland (landen waarop doelstelling 1 geheel van toepassing is) en in Spanje (1). Niettemin geeft tabel 3.1 voor Portugal 2 086 euro per hoofd per jaar aan ESF-uitgaven te zien en voor Duitsland 405 euro, terwijl voor Ierland 12 euro en voor Griekenland 17 euro zijn opgegeven. De cijfers in de tabel komen duidelijk niet overeen met de bespreking in de tekst. Nog significanter is de bewering dat de ESF-uitgaven voor onderwijs op nationaal gebied in alle landen lager uitvielen dan de relatieve uitgaven voor AAMB. Het hoogst waren ze in Griekenland en Portugal (2). Niettemin worden voor Griekenland geen ESF-uitgaven opgegeven in de kolom van tabel 3.1 die betrekking heeft op ESF-uitgaven voor onderwijs in verhouding tot nationale uitgaven.Zo wordt in paragraaf 3.2.3 beweerd (3) dat de nationale uitgaven voor opleiding voor de arbeidsmarkt, in verhouding tot het bnp, varieerde van 0,2 % in Luxemburg tot 0,58 % in Zweden (4). Toch geeft tabel 3.3 voor de opleidingsuitgaven in Denemarken 0,94 % van het bnp te zien, bijna tweemaal het Zweedse cijfer. Een ander voorbeeld vormt paragraaf 3.2.6 (5), met betrekking tot de uitgaven voor de integratie van gehandicapten. In de tekst wordt beweerd dat de ESF-uitgaven vooral in Portugal, Spanje, Griekenland en Oostenrijk bijzonder hoog waren. Maar in tabel 3.6 worden voor Spanje en Griekenland geen uitgaven voor gehandicapten opgegeven. Nog een voorbeeld is aan te treffen in paragraaf 3.2.7 over de uitgaven voor onderwijs. Daar wordt beweerd dat de ESF-bijdrage het grootst was in Griekenland, Ierland en Portugal (6). Niettemin worden voor Griekenland in tabel 3.7 geen ESF-uitgaven voor onderwijs en opleiding vermeld.Syntheseverslag: (1) blz. 78; (2) blz. 79; (3) blz. 81; (4) blz. 81; (5) blz. 84; (6) blz. 85.

Beoordeling van het effect van de ESF-acties

88. Aan de evaluatoren die aan de studie deelnamen werd gevraagd, aan te geven of de onderzochte gevallen een aantal hypothesen onderbouwden of tegenspraken die waren geformuleerd op basis van een eerste studie van de literatuur en de bevindingen in de aanloopfase van de evaluatie. In de studie wordt verklaard dat er sterk bewijsmateriaal is ter onderbouwing van vier hypothesen (zie tabel 3 (77)). De gepresenteerde gegevens onderbouwen echter niet de bewering inzake sterk bewijsmateriaal. Zo verklaarden slechts 7 van de 30 evaluatoren dat er sterk bewijsmateriaal voor de eerste hypothese was. Een objectievere evaluatie van deze resultaten was gewettigd geweest.

Tabel 3

Opmerkingen over de hypothesen, bestudeerd in het onderzoek van de gevallen met effect op personen

Sterk bewijs-materiaal Enig bewijs-materiaal Geen bewijs-materiaal ter bevestiging of weer-legging Enig bewijs-materiaal ter weerlegging Sterk bewijs-materiaal ter weerlegging Vooralsnog geen oordeel 1. Het bereikte effect houdt verband met de onderliggende nationale en regionale marktvoorwaarden (de resultaten hangen bijvoorbeeld af van de economische cyclus en het niveau van de vraag en de werkloosheid). 7 14 8 0 1 0 2. Het bereikte effect houdt verband met de kenmerken van de doelgroepen van begunstigden (opleidingsmaatregelen zijn bijvoorbeeld doeltreffender voor vrouwen die herintreden op de arbeidsmarkt en voor opgeleide immigranten dan voor laaggeschoolde arbeiders en jongeren). 8 18 3 0 0 1 3. Het bereikte effect houdt verband met het soort maatregel. Sommige maatregelen vertonen een hoge mate van deadweight en andere zijn doeltreffend op kleine schaal maar bieden geen algemene oplossingen. 5 17 6 1 0 1 4. Het bereikte effect houdt nauw verband met het aspect structuur en beheer van de programma’s, met inbegrip van de kwaliteit van de analysen die de precieze reikwijdte van de acties bepalen (zo kunnen kleinschalige doelgerichte programma’s effectiever zijn dan grootschalige programma’s). 3 17 7 1 0 1

Evaluatie van het gelijkekansenbeleid

89. De taakomschrijving met betrekking tot het effect van ESF 1994-1999 schreef ook een evaluatie voor van de mate waarin de ESF-acties de doelstelling „gelijke kansen” (78) bevorderen. Dit aspect wordt behandeld in hoofdstuk 7 van het verslag. Daar wordt echter beweerd dat volgens een belangrijke bevinding niet stelselmatig voor elke ESF-doelstelling en communautair initiatief in de hele EU naar geslacht uitgesplitste gegevens worden verzameld (79). Daardoor wordt de mogelijkheid om met deze studie dit onderwerp te evalueren aanzienlijk ingeperkt. Het valt moeilijk, dit resultaat als belangrijke bevinding van het verslag te beschouwen, aangezien deze tekortkoming reeds uit een voorafgaande analyse had moeten blijken, waarna met veldwerk en steekproefneming deze beperking had moeten worden verholpen, in plaats van eenvoudigweg te concluderen dat er geen uitgesplitste gegevens beschikbaar zijn.

Andere onderzochte aspecten

90. Wat betreft het effect van ESF-acties op personen zijn de „gecombineerde maatregelen” (80), ondanks het grote percentage daaraan toegewezen ESF-middelen (18 %), niet specifiek onderzocht. De conclusies van het syntheseverslag zijn dan ook tamelijk bescheiden en luiden dat het meeste evaluatiewerk wijst op positieve resultaten, maar dat de evaluatiemethoden vaak gericht zijn op die bestanddelen van de programma’s die het doeltreffendst zijn, en niet op de beoordeling van de prestaties van gecombineerde maatregelen in vergelijking met bijstandsverlening via één enkele maatregel (81).

91. Wat betreft het effect van het actieve arbeidsmarktbeleid — AAMB, vooral ten aanzien van de landen van doelstelling 1, worden in het syntheseverslag enige conclusies getrokken zonder dat afdoende wordt verklaard waarop ze zijn gebaseerd.

92. Wat betreft de relatieve financiële bijdrage van het ESF concludeert het syntheseverslag (82) dat de gecombineerde toewijzing van nationale en ESF-middelen niet lijkt te hebben geleid tot een convergentie van de uitgavenpatronen van de landen, en evenmin tot de vaststelling van normen die de specifieke economische en arbeidsmarktvoorwaarden in verband brengen met de toewijzing van middelen (83). Hoe deze conclusie kan worden staande gehouden is gelet op het aantal fouten in de desbetreffende tabellen en/of fouten in de toelichting moeilijk in te zien. Evenzo luidt een andere belangrijke conclusie in dit gedeelte van het verslag dat de omstandigheden doen vermoeden dat waarschijnlijk niet alle bijstandsverlening uit het ESF additioneel is geweest. Additionaliteit, in de zin dat de uit het ESF gecofinancierde bijstandsverlening anders waarschijnlijk niet zou hebben plaatsgevonden, heeft zich met grotere waarschijnlijkheid voorgedaan waar de ESF-middelen uitsluitend gericht waren op bijzondere types van bijstandsverlening en waar de daarmee samenhangende nationale uitgaven en programma’s vrij klein waren, en minder ontwikkeld in vergelijking met landen met soortgelijke arbeidsmarktvoorwaarden. Ook hier is moeilijk te zien hoe deze conclusie voortvloeit uit het in dit hoofdstuk gepresenteerde bewijsmateriaal, te meer daar er tussen de analyse en de in de tabellen verstrekte gegevens geen overeenstemming bestaat.

93. Wat betreft de hypothesen over het effect van het ESF op de systemen, rijst er een probleem dat te vergelijken is met het hiervoor beschreven probleem. Ditmaal wordt beweerd dat er sterk bewijsmateriaal is ter onderbouwing van zeven hypothesen (84). Uit een analyse van de gepresenteerde gegevens blijkt echter ook dat de conclusie niet gewettigd is.

Bespreking van de algemene beoordeling door de Commissie

94. Al kan aan de knelpunten waarmee de beoordelaars te maken kregen het nodige gewicht worden gegeven, toch moet het volgende kritische commentaar worden gegeven op de beoordeling van de Commissie zelf van de evaluatie achteraf, waarvan de algemene conclusie bevredigend luidde.

95. De evaluatie van het verslag door DG EMPL is gebaseerd op acht prestatiecriteria en vier mogelijke kwaliteitsniveaus, namelijk: uitstekend, goed, aanvaardbaar en onaanvaardbaar. Geen der toegepaste criteria leverde de beoordeling „uitstekend” of „onaanvaardbaar” op. Viermaal luidt het oordeel „goed”. Het betreft dan: voorzien in de behoeften, relevante reikwijdte, verdedigbare opzet en duidelijke verslaglegging. Voor de vier overige criteria luidde het oordeel „aanvaardbaar”; het betrof betrouwbare gegevens, deugdelijke analyse, geloofwaardige resultaten en onpartijdige conclusies.

96. Het is tekenend dat DG EMPL de laatste vier criteria minder gunstig beoordeelde dan de eerste vier. Gezien de in dit verslag benadrukte problemen met de betrouwbaarheid van de gegevens en de inconsequenties in de toelichting daarop, acht de Rekenkamer het evaluatieverslag onbevredigend, vooral ten aanzien van betrouwbare gegevens, deugdelijke analyse, geloofwaardige resultaten en onpartijdige conclusies.

Overige uit de nationale verslagen verkregen inzichten

97. Met betrekking tot de doelstellingen en resultaten van de evaluatie kunnen ook een aantal pertinente opmerkingen worden gemaakt op basis van de nationale evaluatieverslagen: a) de evaluatieresultaten met betrekking tot het effect op personen waren vaak kwalitatief van aard; de mate van deadweight werd niet altijd geschat; b) aspecten van het effect die eerder kwalitatief van aard waren (85), de zogeheten soft outcomes, zijn niet stelselmatig onderzocht; c) behalve bij geïntegreerde of gemengde benaderingen kunnen uit de evaluaties niet veel algemene conclusies over de prestaties van de afzonderlijke maatregelen worden getrokken; d) belangrijke factoren, zoals de bijdrage tot duurzame ontwikkeling en de sociaaleconomische cohesie zijn niet systematisch beoordeeld; e) over doelgroepen zoals de langdurig werklozen en werkzoekende jongeren zijn niet stelselmatig specifieke conclusies opgenomen in de evaluatie van de gecofinancierde maatregelen; f) slechts in een paar gevallen konden de verwachtingen met de resultaten worden vergeleken; de evaluatie werd doorgaans belemmerd door het gebrek aan specifieke initiële doelstellingen en indicatoren en het ontbreken van nauwkeurige informatie; g) met de complementariteit tussen het ESF en andere acties is slechts zelden rekening gehouden om sommige resultaten te verklaren. De betekenis van de stijging in de productiviteit van afzonderlijke ESF-begunstigden, vertaald als voordelen voor de firma’s waarvoor zij werken, werd vrijwel nooit rechtstreeks bestudeerd.

98. De geselecteerde nationale verslagen geven niet altijd een grondige analyse van het effect van de bijstandsverlening uit het ESF op het nationale beleid. Meestal suggereren ze echter dat het ESF een effect had op de ontwikkeling van de AAMB’s, en in sommige gevallen werd een concreet, rechtstreeks effect geconstateerd. In een aantal andere gevallen werd echter een ander oordeel geveld, namelijk dat het moeilijk is, aan te tonen dat het ESF tot veranderingen in de AAMB’s heeft geleid.

99. Elk nationaal evaluatieverslag en het syntheseverslag beschrijven min of meer uitgebreid de effecten op de systemen wat betreft de werkgelegenheidsdiensten, basisonderwijs en -opleiding, voortgezet onderwijs en voortgezette opleiding, accrediteringssystemen en mechanismen voor het anticiperen van behoeften. Het effect op systemen betrof vaak een meer specifieke beleidscontext. Het was doorgaans moeilijk het netto-effect van de ESF-acties te bepalen (86); slechts in uitzonderingsgevallen was het netto-effect doeltreffend afgebakend (87).

100. Wat betreft de Europese werkgelegenheidsstrategie wezen de evaluatierapporten op de gunstige invloed van het ESF in een aantal lidstaten, zoals Griekenland, Frankrijk, Italië, Portugal en Spanje. Ten aanzien van Duitsland werd echter geconstateerd dat de top-downaanpak waarmee de Europese werkgelegenheidsstrategie (EWS) gepaard gaat wel eens zou kunnen botsen met de bottom-upaanpak van het ESF (88). Meer in het algemeen concludeert het syntheseverslag dat de EWS voor een sterker strategisch kader heeft gezorgd waarbinnen ESF-acties kunnen worden geprogrammeerd (89).

101. Tot de communautaire meerwaarde hebben de nationale evaluatieverslagen met enige relevante resultaten bijgedragen (90), hoewel sommige gespecificeerde vragen in een aantal nationale verslagen niet zijn behandeld.

102. De financiële gevolgen van beleidskeuzen zijn zelden in detail behandeld. Het syntheseverslag bevat voor sommige maatregelen een berekening van de kosten per eenheid, zij het op basis van ontoereikende gegevens. Wanneer kostenkwesties werden behandeld, bleken de bevindingen potentieel ernstig en was nadere analyse geboden. Zo zou het feit dat in Spanje de middelen dankzij het ESF ongeveer zijn verdubbeld volgens sommige experts tot verspilling van grote bedragen hebben geleid. De grotere middelenstroom is niet zozeer gebruikt voor de invoering van nieuwe maatregelen, als wel ter uitbreiding van de acties. Evenzo wordt voor Italië beweerd dat met het ESF aanzienlijke transactiekosten gepaard zijn gegaan, waarbij wordt verwezen naar kwesties van uitvoering en kosten in verband met partnerschapsopbouw en nieuwe beheersmethoden (91).

Geschiktheid van het kader voor de evaluatie

103. De volgende grote evaluatiethema’s zijn gespecificeerd in de taakomschrijving: de voornaamste kenmerken en verwezenlijkingen van de programmeringsperiode 1994-1999; het effect van het ESF op het nationaal beleid en de doeltreffendheid en het effect van de ESF-acties op personen en systemen.

104. De Commissie heeft een methodologierapport opgesteld, en een jaar later gepubliceerd, met een kritische beoordeling van de methodologieën die worden gehanteerd bij de beoordeling van de resultaten en van het effect op personen en systemen. Dit verslag had ten doel, de weg te effenen voor toekomstige evaluaties, maar het is de vraag of deze doelstelling werkelijk is bereikt. Het verslag kent diverse gebreken. De voorbereiding was niet gebaseerd op een voldoende grondig onderzoek van de gekozen benaderingen bij de beoordeling van het netto-effect op personen. Wat betreft de beoordeling van het effect op systemen wordt een model voor de classificatie van ESF-uitgaven en van het verwachte inherente effect daarvan voorgesteld (capaciteit, bekwaamheid en reactiviteit) (92), hoewel sommige kwesties nog moeten worden aangepakt (zie blz. 35 van het verslag).

105. In het methodologierapport zijn in het kader van de methoden voor de evaluatie van het beleid en de strategie op het gebied van het ESF (93), geen concrete aanbevelingen gedaan wat betreft beleidsanalyse. Het verslag verwijst slechts naar MEANS. Ook werd er niet verwezen naar de aanpak die moet worden gevolgd bij de selectie van geschikte indicatoren op de verschillende strategische niveaus.

106. Opgemerkt moet worden dat de relevante elementen voor sommige evaluatietaken in de taakomschrijving niet altijd duidelijk worden gespecificeerd. Bijvoorbeeld: de beschrijving van de taken wat betreft doeltreffendheid is tamelijk abstract, voornamelijk ten aanzien van de onderliggende concepten, de selectie van mechanismen voor het meten van het effect en de te hanteren evaluatietechnieken. Met name is geen concrete indicatie gegeven betreffende de methoden om het directe effect op personen uit de resultaten van de activiteiten in de verschillende lidstaten te extrapoleren naar het EU-niveau. Bij de formulering van de taken is onvoldoende rekening gehouden met de mogelijke wanverhouding tussen kwantitatieve doelstellingen en de beschikbare gegevens. Verder is er geen concrete actie gepland om het effect op personen te evalueren wanneer de indicatoren niet concreet zijn vastgesteld, of wanneer recentelijk geen specifieke statistische evaluaties zijn uitgevoerd. Ook de andere methodologische documenten, samengesteld na de taakomschrijving, bevatten niet de nodige toelichting.

107. De veranderingen in de programmering zijn niet altijd goed onderzocht. Zo is dit onderwerp niet behandeld in de studies over Noord-Ierland, Merseyside en Spanje. Zelfs wanneer veranderingen in de programmering zijn aangegeven, zijn ze verre van optimaal behandeld. In sommige gevallen heeft de evaluator geen duidelijke beoordeling gegeven van de relevante veranderingen en van de geschiktheid ervan (94).

108. De Commissie heeft vóór de evaluatie geen vluchtig of verkennend onderzoek verricht, waardoor zij de problemen die de evaluatoren hebben ondervonden moeilijker heeft kunnen voorzien.

109. Er zijn geen duidelijke aanwijzingen dat de stuurgroep voldoende besef had van het gebrek aan beschikbare gegevens voor de nationale evaluatoren, of van het effect dat dit zou hebben op de kwaliteit van de definitieve evaluaties of de problemen met de vertragingen. De stuurgroep heeft geen corrigerende maatregelen getroffen om dit te verhelpen.

110. Evenals bij de evaluatie voor doelstelling 1 moet het toezicht van de Commissie op het evaluatieproces worden verbeterd (zie paragraaf 75).

Aanbevelingen tot besluit van de evaluatie

111. Voor de meeste lidstaten betreffen de aanbevelingen die zijn afgeleid uit de beoordeling achteraf 1994-1999 hoofdzakelijk de beheerssystemen en -procedures. Ze houden verband met uiteenlopende kwesties en zijn doorgaans goed aangepast aan de specifieke situaties.

112. Minder vaak hadden de aanbevelingen voor 2000-2006 betrekking op de inhoud van het gecofinancierde beleid. Wanneer dergelijke aanbevelingen werden gedaan, lijken ze relevant (95).

113. Het syntheseverslag bevatte een lijst met sterke en zwakke punten voor elke doelstelling (96) en hoofdaanbevelingen voor de periode 2000-2006 en de periode na 2006 (97). Het betreft vrij algemene verklaringen die in bepaalde gevallen echter wel gegrond lijken, bijvoorbeeld waar wordt gewezen op de potentiële verschillen tussen EU-15 en EU-10 en de wijze waarop het beleid inspeelt op territoriale verschillen.

CONCLUSIES

114. Het evaluatieproces is van cruciaal belang wat betreft het verstrekken van informatie en oordelen over de geschiktheid, relevantie, zuinigheid, efficiëntie, doeltreffendheid en het effect van de bijstandsverlening van de EU. Zodoende kan het dienen ter onderbouwing van het besluitvormingsproces bij het stellen van politieke prioriteiten en het toewijzen van middelen. Maar wil het proces slagen, dan moet aan een aantal andere voorwaarden zijn voldaan, namelijk duidelijke doelstellingen voor beleidslijnen en programma’s, prestatie-indicatoren die op regelmatige basis zijn vastgelegd en die compleet, betrouwbaar en op de doelstellingen afgestemd zijn. Voorts moet ervoor worden gezorgd dat de beschikbare middelen voor de uitvoering van het proces zowel qua tijd als qua technische bekwaamheden zijn toegesneden op de doelstelling.

115. De Rekenkamer constateerde tijdens haar controle van de betrokken evaluaties achteraf een aantal ernstige tekortkomingen in de gekozen algemene aanpak en in de kwaliteit van de opgestelde beoordelingen: a) de in de programmeringsperiode 1994-1999 gestelde doelen waren niet duidelijk en coherent; b) hoewel er weinig prestatie-indicatoren beschikbaar waren, werden er weinig maatregelen genomen om dit manco te verhelpen door bijvoorbeeld aanvullend cijfermateriaal te verzamelen; c) bijgevolg werd er niet altijd een geschikt evenwicht tussen kwantitatieve en kwalitatieve analyse bereikt; d) daardoor werden er conclusies getrokken die niet op adequate analyse berustten; e) tegelijkertijd werd in de evaluatie niet altijd ingespeeld op een aantal thema’s die in een evaluatie achteraf aandacht verdienden, zoals deadweight, convergentie en de voorgestelde thema’s per lidstaat.

116. Wat betreft de diverse thema’s van de evaluaties, kunnen over de evaluatie voor doelstelling 1 de volgende conclusies worden getrokken: a) bij de beoordeling van de geschiktheid van de gekozen strategieën heeft de analyse te lijden van een aantal ernstige discrepanties in de gegevens, zoals gepubliceerd in het syntheseverslag, wat betreft de vergelijking tussen geplande en geschatte werkelijke uitgaven. Zelfs wanneer rekening wordt gehouden met gebreken in de beschikbare gegevens, had kunnen worden gepoogd, tot een diepgaandere analyse te komen die meer licht kon werpen op de investeringen uit de particuliere sector die verband houden met uitgaven van de SF’s; b) het onderzoek van de doeltreffendheid miste gedegenheid, onder meer wegens een ontoereikende of ongeschikte analyse en het verzuim, rekening te houden met een aantal belangrijke en relevante conclusies in de thematische studies; c) het onderzoek van de efficiëntie bleef beperkt tot enige algemene opmerkingen, terwijl de evaluatiedoelstellingen, namelijk het vaststellen van kostenbenchmarks en het verbeteren van de kwaliteit van het beheer van grote projecten, niet werden bereikt; d) wat betreft de evaluatie van het effect van de maatregelen was de evaluatie voornamelijk gebaseerd op het gebruik van samengevoegde macromodellen die een aantal beperkingen vertonen. Met het gehanteerde specifieke macro-economische model (HERMIN) konden niet de nodige aanpassingen worden gedaan om de eigen kenmerken van de geëvalueerde economieën in aanmerking te nemen (zoals het bestaan van een belangrijke toeristische sector). Bovendien waren er ernstige beperkingen in de schatting van sommige essentiële variabelen (zoals de keuze voor aanvullende gegevens uit studies van de economie van de Verenigde Staten voor de berekening van externe elasticiteiten, in plaats van actuele gegevens voor de betrokken Europese regio's, die niet beschikbaar waren). De evaluatie voor doelstelling 3 was gedeeltelijk gebaseerd op onbetrouwbare of onvolledige gegevens, en de verstrekte gegevens weken sterk af van de toelichting daarop. Verder ontbrak het aan overtuigend bewijs voor sommige opgestelde hypothesen, hetgeen twijfel doet rijzen over de methoden waarmee ze tot stand zijn gekomen.

117. Vele tekortkomingen van de evaluaties kunnen worden toegeschreven aan de omstandigheden waarin ze zijn uitgevoerd, met name de beperkte beschikbare informatie en de krappe tijdschema’s. Deze knelpunten hadden moeten worden voorzien, en de evaluaties hadden ofwel van de noodzakelijke middelen moeten worden voorzien, ofwel beperkt moeten blijven tot wat uitvoerbaar was. Voorts moet het toezicht van de Commissie op het evaluatieproces worden verbeterd.

118. Toch hebben de evaluaties achteraf een aantal waardevolle inzichten opgeleverd, met name in de beheersystemen die ten grondslag liggen aan de bijstandsverlening uit de SF’s. Bij de verlangde diepgaande analyse van de doeltreffendheid, de efficiëntie en het effect van de middelen ondervond de Commissie echter ernstige moeilijkheden, grotendeels wegens beperkingen in de gekozen aanpak en in de beschikbaarheid van de gegevens. Laatstgenoemd knelpunt was niet voldoende voorzien bij het begin van de evaluaties. Bij deze problemen kwamen zekere gebreken in de supervisie van het evaluatieproces door de Commissie. Bijgevolg werden er weliswaar een aantal waardevolle en nuttige aanbevelingen gedaan ten behoeve van toekomstige programmeringsperioden, maar kon de Commissie niet ten volle profiteren van de ervaring met de programmeringsperiode 1994-1999.

AANBEVELINGEN

119. Er moet vrij dringend een nieuwe beoordeling van de reikwijdte, procedures en aanpak van de evaluaties achteraf komen, en wel voordat aan het eind van de huidige programmeringsperiode 2000-2006 de volgende reeks contracten voor evaluaties achteraf wordt gesloten.

120. Om het evaluatieproces te verbeteren moet de Commissie betere procedures voor de kwaliteitscontrole invoeren en effectief toepassen, zodat de problemen die met de besproken evaluaties zijn ondervonden bij toekomstige beoordelingen achteraf niet terugkeren. Dergelijke procedures moeten ervoor zorgen: a) dat er regelmatig relevante en betrouwbare gegevens worden verzameld en in elk stadium van het evaluatieproces beschikbaar zijn; b) dat de taakomschrijving adequaat is en voorziet in de toepassing van geschikte methodologieën en correcte procedures door de contractanten; c) dat voor de evaluatieprocessen de nodige middelen en tijd worden uitgetrokken; d) dat er voldoende toezicht en supervisie door de Commissie is zodat de algemene kwaliteit van het proces kan worden gewaarborgd.

121. Ten tweede moet bijzondere aandacht uitgaan naar de keuze van geschikte technieken voor het vaststellen en meten van het economische effect. Indien een benadering met macro-economische modellen wordt gehanteerd om het effect van de Structuurfondsen te analyseren, moet deze worden aangepast om de kenmerken van de bestudeerde economieën in aanmerking te nemen. Deze beschouwing is met name relevant wanneer een evaluatie zal moeten worden uitgebreid tot de tien nieuwe lidstaten. In dit licht is de Rekenkamer van mening dat er een nieuwe beoordeling moet plaatsvinden van de geschiktheid van een aanpak van samengevoegde macro-economische modellen (bijvoorbeeld zoals die welke op het HERMIN-model is gebaseerd). De Commissie moet onderzoeken of er meer nadruk zou kunnen worden gelegd op modellen waarvoor wordt uitgegaan van microgegevens uit de projecten. Waarschijnlijk is ook dat een diepgaander evaluatie van sommige specifieke thema’s zou kunnen leiden tot een betere identificatie van de beste praktijk en aanvullende inzichten in bijzondere kwesties zou kunnen opleveren, bijvoorbeeld in het effect van clustering en de betekenis van groeipolen voor de regionale ontwikkeling met het oog op de algemene convergentiedoelstelling.

122. Ten derde moet meer nadruk worden gelegd op het vaststellen van verbanden tussen de beoordelingen achteraf en de thematische studies, en moet worden verzekerd dat de resultaten onderling overeenkomen. Indien de resultaten onverenigbaar blijken, moet dat aspect specifiek worden aangepakt. In de bestudeerde beoordelingen verbeterde de kwaliteit aanzienlijk wanneer de evaluatoren verbanden legden.

123. Ten vierde kan een aantal aanbevelingen worden gedaan voor toekomstige beoordelingen, meer bepaald voor doelstelling 1-regio's, namelijk: a) er moet specifieke aandacht komen voor de redenen waarom bijdragen uit de particuliere sector aan projecten van de Structuurfondsen van de ene tot de andere lidstaat aanmerkelijk uiteenlopen. Dit zou veel duidelijkheid kunnen brengen in de verschillende motoren van de economische ontwikkeling in de diverse regio's van doelstelling 1; b) een andere vraag waarop nader zou mogen worden ingegaan is of er in de toekomst een verschuiving moet komen van subsidiëring naar financial engineeringmaatregelen, zoals aanloop- en risicokapitaalfondsen, leningen en rentesubsidies, die op lange termijn duurzamer en efficiënter zouden kunnen blijken; c) er moet meer aandacht uitgaan naar de vaststelling van kosten per eenheid en benchmarks voor de diverse soorten projecten; d) zoals de evaluatoren hebben verklaard, moeten ook de procedures voor het aanvragen en goedkeuren van projecten extra aandacht krijgen; e) in toekomstige beoordelingen achteraf moet meer aandacht worden besteed aan interne evaluaties door de betrokken ministeries of regionale autoriteiten.

124. Ten slotte is het van belang, de capaciteit van de Commissie te versterken om het evaluatieproces te super