C 226/64 NL 8.8.2000 Publicatieblad van de Europese Gemeenschappen
Advies van het Comité van de Regio’s over het Verslag van de Commissie „Over de herziening
halverwege de looptijd van de programma’s voor de doelstellingen 1 en 6 (1994-1999) — Een
verantwoord beheer dankzij evaluatie: de beste aanpak toepassen”
(2000/C 226/17)
HET COMITE ´VAN DE REGIO’S,
gezien het verslag van de Commissie „Over de herziening halverwege de looptijd van de programma’s
voor de doelstellingen 1 en 6 (1994-1999) — Een verantwoord beheer dankzij evaluatie: de beste aanpak
toepassen” (COM(1998) 782 def.);
gezien het besluit van zijn bureau van 2 juni 1999 om overeenkomstig artikel 265 (vijfde alinea) van het
Verdrag tot oprichting van de Europese Gemeenschap een advies over deze problematiek op te stellen enzijn commissie 1 „Regionaal beleid, structuurfondsen, economische en sociale samenhang, grensover-
schrijdende en interregionale samenwerking” met de voorbereidende werkzaamheden te belasten;
gezien het ontwerpadvies van zijn commissie 1 d.d. 2 februari 2000 (CDR 389/99 rev. 2; rapporteur: de
heer Watson, lid van de Sefton Metropolitan Borough Council Town Hall, GB/EVP),
heeft tijdens zijn 33e zitting van 12 en 13 april 2000 (vergadering van 13 april) het volgende advies
uitgebracht.
1.Inleiding 2.De mid term-evaluatie
2.1. Hoofddoel van de Structuurfondsen is de economische
1.1. De hervorming van de Structuurfondsenregeling van en sociale verschillen terug te dringen, uitgaande van de
1998 voorziet in een evaluatie ex ante, een mid term review specifieke strategieën en prioriteiten van de lidstaten. De mid
en een evaluatie ex post van alle met EU-steun ten uitvoer term-evaluatie biedt dan ook een goede gelegenheid om na te
gelegde programma’s. Doel van deze permanente evaluatie is gaan in hoeverre de programma’s moeten worden aangepast
ervoor te zorgen dat de EU-middelen op een efficiënte manier om beter op de veranderende economische omstandigheden
worden gebruikt, met name in de zgn. doelstelling-1- en binnen de lidstaten te kunnen inspelen.
doelstelling-6-regio’s.
2.2. Dit geldt vooral voor de vier cohesielanden, die in hun
geheel, of in ieder geval voor het grootste deel, onder de1.2. Het verslag van de Commissie bestaat uit vier onderde-communautaire bestekken vallen. Zo is in het geval van Ierlandlen: de mid term review als zodanig, de voornaamste bevindin-al een accentverschuiving ten gunste van infrastructuurvoor-gen, de concrete resultaten en de implicaties voor de toekomsti-zieningen doorgevoerd, met als doel de economische groei tege programma’s. De Commissie formuleert ook een aantalversnellen. Ook in Italië zijn veranderingen in de programma’saanbevelingen voor de volgende programmeringsperiode. Ookaangebracht, enerzijds om de gevolgen van de aardbeving tehet Comité van de Regio’s wil een aantal aanbevelingen naarkunnen aanpakken en anderzijds om beter te kunnen inspelenvoren brengen.op de Europese werkgelegenheidsstrategie.
2.3. In mei 1997 heeft de Commissie een aantal prioriteiten 1.3. Het verslag begint met een samenvatting van de
voor de structurele steunverlening nà de mid term-evaluatie voornaamste „elementen” van de meer dan 100 mid term-
vastgelegd. Deze richtsnoeren, die zij op verzoek van de evaluaties waaraan de doelstelling-1- en doelstelling-6-pro-
lidstaten heeft uitgewerkt, zijn gebaseerd op de veranderende gramma’s in de programmeringsperiode 1994-1999 zijn
economische en sociale context binnen de Unie en geven aan onderworpen. Deze evaluaties hebben grotendeels in de perio-
met welke elementen bij de mid term-evaluatie rekening moet de 1997-1998 plaatsgehad en zijn dus conform de in mei 1997
worden gehouden. gepubliceerde richtsnoeren van de Commissie uitgevoerd.
2.4. De mid term-evaluaties zijn uitgevoerd aan de hand
van de financiële gegevens die door de bevoegde toezichtor- 1.4. De mid term-evaluatie valt onder de gezamenlijke
verantwoordelijkheid van de lidstaten, de betrokken regio’s en ganen zijn verstrekt. Er was op dat moment maar weinig
informatie over het langetermijneffect van de structurele de Europese Unie en heeft gemiddeld 0,1 % van de totale
budgetten gekost. steunverlening beschikbaar.
8.8.2000 NL C 226/65 Publicatieblad van de Europese Gemeenschappen
3.Voornaamste bevindingen 3.7. Volgens de Commissie heeft de mid term-evaluatie
enig inzicht gegeven in het macro-economische effect van de
3.1. Uit het grote aantal doorgevoerde evaluaties (meer dan communautaire bestekken in de grotere lidstaten (de vier
100) blijkt duidelijk hoeveel belang de Commissie en de cohesielanden, Italië en Duitsland). De structurele steunverle-
lidstaten aan het evaluatieproces hechten. Een van de voor- ning heeft in die lidstaten een duidelijk positief effect gehad op
naamste doelstellingen van de evaluatie was na te gaan in de economische groei en de werkgelegenheid, maar er moet
hoeverre een programma überhaupt geëvalueerd kan worden meer nadruk worden gelegd op het gebruik van geïntegreerde
en op welke manier daarbij het best te werk wordt gegaan. modellen om het effect aan zowel de aanbod- als de vraagzijde
Concreet moest worden onderzocht in hoeverre de doelstellin- te kunnen evalueren.
gen halverwege de looptijd van de programma’s waren ge-
realiseerd, in hoeverre de steunmaatregelen al enig effect
3.8. Over het geheel genomen was het effect op de werkge- hadden gesorteerd en op welke manier het beheer van de
legenheid procentueel gezien geringer dan het effect op de programma’s eventueel nog kon worden verbeterd.
economische groei, wat wordt toegeschreven aan de gestegen
3.2. Het is uiteraard van essentieel belang dat de evaluaties productiviteit als gevolg van het feit dat de bedrijven efficiënter
worden uitgevoerd door personen die onafhankelijk zijn van zijn gaan produceren. Er is duidelijk een inherente spanning
de uitvoerende en de beheersinstanties. In het verslag worden tussen economische groei en werkgelegenheid. Hoewel in
evenwel twee voorbeelden van zeer efficiënte interne evaluaties het kader van het structuurbeleid ook terdege naar het
gegeven, één in Italië (de „evaluatie-eenheid” van het Italiaanse werkgelegenheidseffect moet worden gekeken, moet het eco-
ministerie van Begroting) en één in Ierland. Welke methode nomisch rendement van de investeringen bij de evaluaties toch
ook wordt toegepast, de evaluaties dienen in ieder geval te de doorslag geven.
worden uitgevoerd aan de hand van vooraf vastgelegde criteria
en doelstellingen. Alleen op die manier kan worden nagegaan
3.9. Bij kleinere programma’s (meestal gaat het hier om of en in hoeverre de programma’s al resultaat hebben opgele-
programma’s in het kader van gecombineerde programme- verd en eventueel bijgestuurd moeten worden.
ringsdocumenten) is het macro-economisch effect moeilijker
3.3. In sommige gevallen willen de partners misschien ook te beoordelen vanwege de invloed van andere economische
met gespecialiseerde onderzoeksinstituten — b.v. onderzoeks- factoren. Volgens de Commissie is er in dergelijke gevallen
instituten aan een universiteit of hogeschool — of met sociaal- sprake van een „significant risico dat de groei na voltooiing
economische organisaties in zee gaan. Vaak hebben dergelijke van het GPD weer zal dalen”.
instituten of organisaties evenwel vertegenwoordigers in de
Toezichtcomités omdat de personen in kwestie de vereiste
3.10. De Commissie gaat in het verslag ook in op de kennis en kunde in huis hebben om de tenuitvoerlegging van
doeltreffendheid van de steunmaatregelen, die is beoordeeld de programma’s te evalueren. Het Comité zou het jammer
aan de hand van een aantal indicatoren. In vele gevallen heeft vinden als om deze reden de mogelijkheid van samenwerking
de evaluatie geleid tot een ingrijpende herziening van de met de betrokken instituties of organisaties zou worden
overeengekomen fysieke en effectindicatoren. Erg diepgaand uitgesloten. Wel moeten de taak en de verantwoordelijkheden
was de evaluatie van de doeltreffendheid van de maatregelen van de betrokkenen duidelijk worden omschreven om belan-
evenwel niet. genverstrengeling tegen te gaan.
3.4. De Toezichtcomités hebben zich ertoe verbonden toe
3.11. De Commissie erkent dat het niet gemakkelijk is om te zien op de naleving van de aanbevelingen die in het licht
een algemeen overzicht van de output en de resultaten te geven. van de evaluaties zijn geformuleerd. Er zijn ook specifieke
Het probleem is dat de programma’s niet altijd onderling instanties in het leven geroepen om de evaluaties zelf en de
vergelijkbaar zijn, o.m. als gevolg van het feit dat de Commissie daaruit voortvloeiende aanbevelingen uit te voeren.
en de lidstaten hebben nagelaten om vo ´o´r de tenuitvoerlegging
3.5. De rol van de regionale overheden varieert naar gelang van de maatregelen afspraken te maken over de te hanteren
van de politieke en institutionele situatie in elke lidstaat. indicatoren. Dit aspect moet nog verder worden geanalyseerd,
Duidelijk is evenwel dat de regionale instanties het nauwst temeer daar het niet uitgesloten is dat sommige indicatoren
bij de zaak betrokken waren wanneer met gecombineerde worden gewijzigd om beter te kunnen inspelen op de lokale
programmeringsdocumenten (GPD’s) werd gewerkt (commu- omstandigheden. Dit is volkomen aanvaardbaar als de econo-
nautaire bestekken zijn veeleer een nationale dan een regionale mische en sociale omstandigheden dit vereisen, maar het mag
aangelegenheid). in geen geval schering en inslag worden.
3.6. Over het geheel genomen kan men stellen dat de
evaluatieverslagen van hoge kwaliteit zijn en een duidelijk 3.12. Een van de essentiële onderdelen van de mid term-
evaluaties was de beoordeling van de toezichtsystemen en beeld geven van de vooruitgang die op dit belangrijke terrein
is geboekt. Dit is ten dele te danken aan het Means-programma, de selectiecriteria. Bij de huidige programma’s is heel wat
vooruitgang geboekt waar het gaat om het kwantificeren dat tot doel heeft de evaluaties binnen het kader van de
Structuurfondsenregeling te vergemakkelijken. Wel maakt de van indicatoren. Dit neemt niet weg dat over een aantal
programma’s onvoldoende informatie beschikbaar is om de Commissie gewag van het hoge academische gehalte van de
evaluaties, de beperkte draagwijdte ervan (te veel aandacht indicatoren te kunnen kwantificeren. Bij vele programma’s
wordt de beschikbare informatie niet ten volle als een beheers- voor het beheer en te weinig voor de resultaten en het effect
van de steunverlening), de geringe onafhankelijkheid van instrument benut en blijkt een adequaat systeem voor het
verzamelen van gegevens over de fysieke output, de resultaten de beoordelaars en het gebrek aan medewerking van de
overheidsinstanties, althans in een aantal gevallen. en de effecten te ontbreken.
C 226/66 NL 8.8.2000 Publicatieblad van de Europese Gemeenschappen
3.13. In sommige gevallen zijn gesofistikeerde selectiecri- 5. Aanbevelingen
teria ontwikkeld om de transparantie van de selectieprocedurete verbeteren. Bij vele evaluaties zijn vraagtekens geplaatst bij5.1. Het Comité vindt het een goede zaak dat de Commissiede efficiëntie van een dergelijk systeem, omdat transparantemet richtsnoeren voor de mid term-evaluaties komt, maarcriteria niet noodzakelijk garanderen dat de geselecteerdewijst erop dat zij deze tijdig aan de programmabeheerdersprojecten ook daadwerkelijk de beste zijn.moet doen toekomen, zodat de evaluaties met meer kennis
van zaken kunnen worden doorgevoerd.
3.14. De meeste mid term-evaluaties zijn voor de be-
leidsmakers een nuttig beleidsinstrument en een belangrijke5.2. Aangezien in de volgende programmeringsperiode eeninformatiebron gebleken. In de meeste gevallen hebben de„prestatiereserve” wordt ingevoerd, vestigt het Comité er deprogrammabeheerders de aanbevelingen daadwerkelijk teraandacht op dat de Commissie tijdig duidelijke informatieharte genomen. Ook is gebleken dat het succes van hetdient te geven over de (voor de gehele Unie geldende) criteriaevaluatieproces, en bijgevolg het welslagen van de program-waaraan de „prestaties” van de regio’s zullen worden getoetst.ma’s als zodanig, in belangrijke mate te danken is aan deDe Commissie dient alles in het werk te stellen om deze lijstinbreng van de bij het programma betrokken partners.van criteria nog vo ´o´r het van start gaan van de programma’s
rond te krijgen.
3.15. In de meeste gevallen hebben de mid term-evaluaties
geleid tot een „herschikking” van de beschikbare middelen5.3. Het Comité pleit voor voldoende duidelijkheid bij hetbinnen de communautaire bestekken of gecombineerde pro-opzetten van de evaluaties, zodat de resultaten, d.w.z. degrammeringsdocumenten. Uit het verslag blijkt dat daarbijconcrete bevindingen over de efficiëntie van de Structuurfond-vrijwel nooit is getornd aan de strategische prioriteiten van desen in de diverse EU-regio’s, met elkaar kunnen wordenprogramma’s. In enkele gevallen zijn nieuwe maatregelenvergeleken.geïntroduceerd.
5.4. Het pleit ook voor een meer pro-actieve aanpak van de3.16. De Commissie komt tot de conclusie dat niet altijduitwisseling van informatie over „goede methoden” tussengemakkelijk kan worden beoordeeld in hoeverre met de EU-degenen die bij de evaluatie van de programma’s betrokkenprioriteiten rekening is gehouden. Over het geheel genomen iszijn en degenen die met de tenuitvoerlegging van de program-vooral nadruk gelegd op de problematiek rond werkgelegen-ma’s belast zijn. De programma’s dienen op een zodanigeheid, milieu, duurzame ontwikkeling en informatietechnologie,manier te worden uitgewerkt en uitgevoerd dat een en andermaar in sommige periodes was de aandacht voor dezegemakkelijker kan worden geëvalueerd en dat gemakkelijkerprioriteiten minder geprononceerd dan in andere.kan worden uitgemaakt welke aanpak de beste is.
3.17. De Commissie concludeert dat in het kader van de5.5. Het Comité dringt erop aan een aantal gemeenschappe-toezichtprocedures niet alleen naar de financiële uitvoering,lijke indicatoren vast te stellen om de resultaten en het effectmaar ook naar de concrete resultaten en effecten moet wordenvan de structurele steunmaatregelen — i.p.v. de activiteiten, degekeken. Dit betekent dat voor het toezicht en de evaluatievastleggingen en de betalingen — te kunnen evalueren enduidelijke doelstellingen en indicatoren moeten worden vast-vergelijken. Daarbij mag niet uitsluitend naar het BBP wordengelegd, adequatere selectiecriteria moeten worden uitgewerkt,gekeken, maar moet de gehele economische, sociale en milieu-eenvoudiger beheersprocedures moeten worden ingevoerd enimpact van de steunverlening worden beoordeeld, met nameeen groter synergie-effect moet worden nagestreefd.in de nieuwe doelstelling-1-regio’s.
5.6. Dit zou het ook mogelijk maken de tussentijdse
evaluaties precies halverwege de looptijd van de programma’s 4.Toekomstige uitdagingen
uit te voeren. In de huidige programmeringsperiode hadden
deze meestal pas in het vierde jaar plaats, waardoor er maar4.1. De Commissie wijst erop dat moet worden voortge-weinig tijd overbleef om de aanbevelingen in praktijk tebouwd op de „goede methoden” die de mid term-evaluatiesbrengen. Volgens het Comité hebben de mid term-evaluatiesaan het licht hebben gebracht. Zij vermeldt in dit verband dedaardoor minder effect gesorteerd.volgende aspecten: evaluatiemethoden en -criteria, rol van de
„partners”, organisatie van de evaluaties en feedback bij debesluitvorming over latere programma’s. 5.7. Het Comité vindt het een goede zaak dat de mid term-
evaluatie als een gedeelde verantwoordelijkheid van de lidstaten
en de Commissie wordt bestempeld. Het is evenwel van4.2. Een goede evaluatie is van cruciaal belang voor eenoordeel dat dit beginsel dient te worden verruimd, zodat ingoed programmabeheer. Dit vereist evenwel adequate structu-de komende programmeringsperiode (2000-2006) ook deren voor de uitvoering van evaluatieactiviteiten binnen hetregionale en lokale overheden bij de evaluatie van de structurelekader van het partnerschap, verdere uitbouw van de toezicht-steunverlening kunnen worden betrokken.systemen, een betere integratie tussen de financiële en de
fysieke indicatoren, een adequate kwantificering van de referen-
tiesituatie, verbetering van de evaluatiemethodes via het Means- 5.8. Het Comité zou graag met de commissie regionaal
beleid van het Europees Parlement samenwerken om de programma en verspreiding van informatie over succesvolle
evaluatiemethoden. De Commissie stelt voor om een „hand- lidstaten ertoe aan te zetten via een strikt evaluatie- en
toezichtbeleid de doelmatigheid en doeltreffendheid van de boek” over evaluatiemethoden, met een lijst van mogelijke
indicatoren, uit te brengen. structurele steunverlening op de voet te volgen.
8.8.2000 NL C 226/67 Publicatieblad van de Europese Gemeenschappen
5.9. Het is het ermee eens dat de beoordelaars onafhankelijk ding van informatie over „succesvolle methoden” moet worden
gestreefd. Het Means-programma is hiervoor een nuttig instru- dienen te zijn, maar het wijst erop dat dit geen puur formele
vereiste mag zijn en dat het in de eerste plaats de bedoeling is ment, waarbij met name de voorgestelde „hulpmiddelen” en de
handleiding van goede methoden te vermelden zijn. Het is van het beheer en de tenuitvoerlegging van de programma’s te
verbeteren en efficiënter te maken. Als bijvoorbeeld de vereiste essentieel belang dat niet alleen de beoordelaars maar ook de
programmabeheerders hiervan kennis nemen. kennis en kunde bij technologische instituten of instellingen
voor hoger onderwijs te vinden is, mogen dergelijke instanties
niet worden uitgesloten. Wel moeten er duidelijke regels 5.11. Het Comité staat positief tegenover het gebruik van
worden opgesteld, zodat de selectie van beoordelaars op een macro-economische modellen als evaluatie-instrument in de
transparante en aanvaardbare manier kan geschieden. grotere lidstaten. Het acht het van essentieel belang dat in de
nieuwe „generatie” programma’s gebruik wordt gemaakt van
modellen waarbij zowel naar de vraag- als naar de aanbodzijde 5.10. Het Comité is van oordeel dat in de komende
programmeringsperiode naar een betere en snellere versprei- wordt gekeken.
Brussel, 13 april 2000.
De voorzitter
van het Comité van de Regio’s
Jos CHABERT