DA Den Europæiske Unions Tidende C 302/1

SÆRBERETNING Nr. 10/2006

om efterfølgende evalueringer af mål 1- og mål 3-programmer i perioden 1994-1999 (strukturfondene), med Kommissionens svar

(artikel 248, stk. 4, andet afsnit, EF)

(2006/C 302/01)

INDHOLD

Glossar

I-XI RESUMÉ

1-9 INDLEDNING

6-9 Evalueringsrammen

7-9 De grundlæggende mål for hver evaluering

10-14 REVISIONENS OMFANG

15-80 GD REGIO'S EFTERFØLGENDE VURDERING AF MÅL 1

16-66 Rettens vurdering af evalueringens kvalitet

16 Indledende bemærkninger

17-20 Udviklingen i regionernes problemer siden 1994

21-28 De anvendte strategiers hensigtsmæssighed

29-40 Evaluering af effektiviteten

41-44 Evaluering af produktiviteten

45-53 Evaluering af strukturfondenes effekt

54-66 Evaluering af forvaltningssystemerne

67-75 Rettens vurdering af, om evalueringsrammerne er fyldestgørende

67-70 Referencerammerne

71-75 Rettens vurdering af, om Kommissionens tilsyn er fyldestgørende

76-80 Relevansen af evalueringens anbefalinger for kommende programmeringsperioder

81-113 GD EMPL’S EFTERFØLGENDE EVALUERING AF ESF-AKTIONER(UNDER MÅL 1 OG 3)

82-113 Rettens vurdering af evalueringens kvalitet

82-87 Mangler i dataene og i analysen

88 Vurdering af ESF-aktionernes effekt

89 Evaluering af ligestilling

90-93 Andre undersøgte aspekter

94-96 Kommissionen samlede vurdering

97-102 Andre observationer fra de nationale rapporter

103-110 Rettens vurdering af, om evalueringsrammerne er fyldestgørende

111-113 Evalueringens anbefalinger

114-118 KONKLUSION

119-125 ANBEFALINGER

BILAG:

Bilag I — Disponible midler til EFSR 1994-1999

Bilag II — BNP og beskæftigelsesfrekvensen

Bilag III — BNP-vækst og strukturfondene

Bilag IV — HERMIN-simulationer og arbejdsløshed

Kommissionens svar

GLOSSAR Adapt Tilpasning af arbejdsstyrken til de strukturelle ændringer i industrien (et fællesskabsinitiativ til fremme af beskæftigelsen og tilpasning af arbejdsstyrken til de strukturelle ændringer i industrien) Blødt resultat Et resultat, som det er svært at måle kvantitativt. Dødvægt En ændring, der er observeret hos de direkte modtagere efter den offentlige intervention, eller som ifølge de direkte modtagere er en konsekvens af den offentlige intervention, men som også ville være sket uden interventionen. EFRU Den Europæiske Fond for Regionaludvikling EFSR EF-støtteramme ESF Den Europæiske Socialfond FIUF Det Finansielle Instrument til Udvikling af Fiskeriet Fortrængningseffekt En effekt, der opnås i et støtteberettiget område på bekostning af et andet område FTU Forskning og teknologisk udvikling HERMIN-model En makroøkonomisk model, der anvendes til simulering af effekten af strukturfondsinterventioner Indledende rapport En rapport, der indeholder metodologiske elementer såsom evalueringsmålene, den metodologiske ramme, spørgeskemaerne og en liste over de organisationer, der skal kontaktes OP Operationelt program Overvågningsudvalg Et udvalg, der overvåger den strategiske gennemførelse af finansieringsprogrammet Sammenfattende rapport Den endelige rapport fra GD REGIO (vedrørende mål 1) og GD EMPL (vedrørende mål 3) om den efterfølgende evaluering af aktioner finansieret af EFRU og ESF SMV Små og mellemstore virksomheder

RESUMÉ

I. Rettens revision vedrørte Kommissionens efterfølgende evalueringer af strukturfondsinterventioner i mål 1- og mål 3-regioner i programmeringsperioden 1994-1999. Der er tale om en samlet investering på over 245 milliarder euro inklusive tilsvarende private eller offentlige investeringer.

II. Formålet med efterfølgende evaluering er at sammenholde de faktiske udgiftsresultater med de oprindelige mål. Evaluering er den mekanisme, der skal sikre, at erfaringer fra én programmeringsperiode udnyttes, så fremtidige strukturfondsmidler bruges på en mere effektiv måde. Den efterfølgende evaluering blev foretaget af Kommissionen, som benyttede sig af eksterne konsulenter.

III. Målene for revisionen var at undersøge, om Kommissionen efter gennemførelsen af den efterfølgende evaluering kunne bedømme virkningerne af interventionerne i forhold til målene, og at undersøge, om resultaterne og anbefalingerne har været nyttige i forbindelse med revisionen af programmerne fra 2000 og fremefter.

IV. Udgangspunktet for revisionen var den endelige, sammenfattende rapport om hver fond. Disse rapporter sammenfatter den samlede vurdering af fondenes effekt og sætter fokus på de elementer, der bør tages hensyn til, når der skal træffes beslutninger vedrørende senere programmeringsperioder. Næste trin i revisionen var en vurdering af, i hvilket omfang identificerede mangler kunne spores tilbage til svagheder i referencerammerne eller problemer under gennemførelsen af evalueringsprocessen.

V. Evaluering af strukturfondsudgifter er som følge af udgifternes art en kompleks proces. Revisionen viste imidlertid, at der var svagheder i evalueringsprocessen, som ikke alene kan tilskrives sådanne iboende problemer.

VI. I evalueringen af strukturfondsinterventioner i mål 1-regioner identificerede Retten følgende svagheder: — Der var uoverensstemmelser i de underliggende data. — Vurderingen af strukturfondsudgifternes effektivitet var ikke robust nok, blandt andet fordi medlemsstaterne kun havde indsamlet data om output og resultater i begrænset omfang. — Man kan ikke på grundlag af evalueringen foretage en fuldstændig sammenligning af enhedsomkostningerne i forbindelse med projekter, der modtog støtte over strukturfondene. — Evalueringen var hovedsagelig baseret på en makroøkonomisk model (HERMIN), der havde væsentlige begrænsninger.

VII. Retten fandt, at evalueringen af ESF-aktioner under mål 1 og mål 3: — delvis var baseret på upålidelige eller ufuldstændige data — førte frem til en række konklusioner, som ikke var tilstrækkeligt underbygget af materialet, og det rejste tvivl om den metodologi, der er anvendt.

VIII. I de referencerammer, som Kommissionen fastsatte for evalueringerne, havde den tilsyneladende ikke taget hensyn til en del af de problemer, der var forbundet med evalueringsarbejdet, og den fik heller ikke gjort noget ved alle manglerne i den efterfølgende evaluering. Rettens revisionsresultater viser, at der var svagheder i tilsynet med evalueringerne.

IX. På den anden side indeholdt evalueringerne nyttige observationer om forvaltningssystemerne for EFRU- og ESF-finansierede interventioner.

X. Selv om der blev fremsat en række relevante og nyttige anbefalinger som input til senere programmeringsperioder, kunne Kommissionen ikke drage det fulde udbytte af erfaringerne fra programmerne i perioden 1994-1999.

XI. Retten anbefaler, at: — Kommissionen med henblik på fremtidige evalueringer sikrer, at de tilgængelige data og tildelte ressourcer er i overensstemmelse med de fastsatte mål, som skal være realistiske, og at referencerammerne tilpasses derefter — Kommissionen lægger særlig vægt på de teknikker, der anvendes til at måle fondenes økonomiske effekt. Hvis der anvendes en makroøkonomisk model, skal der tages behørigt hensyn til de undersøgte økonomiers karakteristiske træk. Ideelt set bør Kommissionen kunne gøre brug af mikrodata, der genereres på projektniveau — der lægges vægt på at få koblet evalueringerne sammen med andre undersøgelser, som er relevante for evalueringen af strukturfondene — en række specifikke emner behandles i fremtidige evalueringer, for eksempel den private sektors bidrag, finansieringstekniske foranstaltninger, vurderinger af projektomkostninger, ansøgnings- og godkendelsesprocesser og interne evalueringer, som er foretaget af nationale eller regionale myndigheder — Kommissionens tilsyn med evalueringsprocessen forbedres, blandt andet gennem samarbejde med forskningsinstitutter og universiteter.

INDLEDNING

1. Siden 1996 har Kommissionen udviklet evalueringen af strukturfondene inden for en fælles ramme. Evaluering defineres af Kommissionen som bedømmelse af interventionerne ud fra de opnåede resultater og den opnåede effekt og ud fra de behov, de skal opfylde (1). Hovedformålet med evalueringsarbejdet er at støtte beslutningsprocessen med oplysninger om og bedømmelser af, om EU-interventioner er relevante, om de opfylder principperne om sparsommelighed, produktivitet og effektivitet, og om de er nyttige og bæredygtige. Sådanne oplysninger er af afgørende betydning, når eksisterende interventioner skal forbedres, eller når der skal udformes nye interventioner, samt når der skal fastlægges politiske prioriteter og tildeles ressourcer.

2. Evalueringer udføres på forskellige niveauer og trin i programmeringscyklussen (som er på seks år), og de vigtigste typer er: a) forhåndsevalueringer, som foretages før gennemførelsen af en intervention, og som skal være en hjælp ved udformningen af interventionen og bidrage til at gøre den omkostningseffektiv b) interimsevalueringer, som foretages under gennemførelsen, og som skal forbedre forvaltningen af interventionen c) efterfølgende evalueringer, som foretages efter afslutningen af en intervention, og som er en vurdering af, hvilke resultater der er opnået, og hvilke erfaringer der kan uddrages.

3. Rettens revision vedrørte de efterfølgende evalueringer, som Kommissionen udførte i forbindelse med strukturfondsinterventioner i mål 1- og mål 3-regioner i programmeringsperioden 1994-1999. I forbindelse med denne revision antages det, at den efterfølgende evaluering har det omfang, som er defineret i MEANS-samlingen (2), hvor der står, at den efterfølgende evaluering er en opsummering og bedømmelse af hele programmet og især dets effekt. Formålet med evalueringen er at gøre rede for ressourcernes anvendelse, at beskrive interventionernes effektivitet og produktivitet samt at beskrive, i hvor høj grad den forventede effekt blev opnået. I evalueringen fokuseres der på faktorer, der medfører gode eller dårlige resultater, og på bæredygtigheden af programmets resultater og effekt. Der gøres forsøg på at drage konklusioner, som kan generaliseres og anvendes på andre programmer og andre regioner (3). Det er på denne baggrund, Kommissionens efterfølgende evaluering er blevet vurderet.

4. Den efterfølgende evaluering er en del af en proces, der også trækker på resultaterne af forhåndsevalueringen og interimsevalueringen. Desuden foretages der evalueringer på forskellige nationale og tematiske niveauer, og de samles i en sammenfattende rapport. Sammen udgør de et vigtigt element i forvaltningen af strukturfondene, især i forbindelse med programmering og revision af Fællesskabets interventioner. Ansvaret for evalueringsprocessen ligger hos Kommissionen (i partnerskab med medlemsstaterne). Det er op til Kommissionen at afgøre, hvilke aspekter af evalueringen den selv vil udføre, og hvilke den er nødt til at give i underentreprise. Kommissionen har under alle omstændigheder det overordnede og endelige ansvar.

5. I perioden 1994-1999 bestod den planlagte støtte fra strukturfondene (4) af 136,4 milliarder euro til »mål« og 14,5 milliarder euro til »fællesskabsinitiativer«. Bilag I er en oversigt over førstnævnte beløb fordelt på medlemsstater og mål og sidstnævnte beløb fordelt på fællesskabsinitiativer. Disse midler blev suppleret med yderligere mindst 95 milliarder euro i form af tilsvarende private eller offentlige investeringer (5), så den samlede investering kom op på over 245 milliarder euro.

Evalueringsrammen

6. De efterfølgende evalueringer blev foretaget på vegne af og under ledelse af Kommissionen. Efter en offentlig udbudsprocedure blev der valgt en hovedkonsulent for hvert specificeret sæt mål og fællesskabsinitiativer. I de fleste tilfælde blev konsulenten bistået af et hold evaluatorer i de enkelte medlemsstater (6), hvis rolle var at foretage de nødvendige evalueringer af de respektive programmer på grundlag af en fælles metodologisk ramme. Desuden blev evalueringsprocessen overvåget af en styregruppe. Evalueringerne resulterede i nationale rapporter, som blev udarbejdet af de nationale evaluatorer, og en sammenfattende rapport, som blev udarbejdet af konsulenterne for hvert specificeret sæt mål. Disse rapporter blev færdiggjort i perioden primo 2003-medio 2004.

De grundlæggende mål for hver evaluering

7. De involverede generaldirektorater valgte en bredspektret tilgang, som dækkede en lang række emner. De overordnede mål for evalueringerne var som følger: a) at vurdere resultaterne og effekten af aktionerne i medlemsstaterne i forhold til deres mål og effekten på enkeltpersoner og systemer b) at analysere effekten og effektiviteten af Fællesskabets interventioner vedrørende specifikke strukturelle problemer og så vidt muligt fastslå den europæiske merværdi af interventionerne.

8. Med henblik på opfyldelsen af disse overordnede mål blev der fastsat en række nøglespørgsmål i referencerammerne vedrørende hensigtsmæssig strategi, effektivitet, effekt, forvaltnings- og gennemførelsessystemer, europæisk merværdi og erfaringer fra nuværende programmering med henblik på fremtidig programmering. Med det formål at strukturere arbejdet blev der i disse rammer også fastsat en række specifikke opgaver og beskrevet forskellige teknikker og oplysningskilder.

9. De referencerammer, som Kommissionen opstillede for hvert mål, udgjorde således grundlaget for evaluatorernes arbejde. Disse rammer blev i januar 2002 suppleret med den indledende rapport og den metodologiske vejledning for mål 1. For ESF-aktionernes vedkommende blev de i december 2002 suppleret med den metodologiske situationsrapport og de evalueringsspørgsmål, som indgår i hver national evalueringsrapport. Til dette formål anvendte evaluatorerne relevant litteratur, spørgeskemaer, interviews med aktører, analyser af casestudier og andre undersøgelser i marken, som de anså for nødvendige.

REVISIONENS OMFANG

10. De generelle mål for revisionen var at undersøge, om evalueringerne gav Kommissionen tilstrækkelige oplysninger til at kunne bedømme virkningerne af interventionerne i forhold til målene, og at undersøge, om resultaterne og anbefalingerne havde været til nytte ved revisionen af programmerne med henblik på senere programmeringsperioder.

11. Revisionen vedrørte navnlig efterfølgende evalueringer af EFRU-interventioner under mål 1 og ESF-interventioner under mål 1 og 3, som blev foretaget af henholdsvis Generaldirektoratet for Regionalpolitik (GD REGIO) og Generaldirektoratet for Beskæftigelse, Sociale Anliggender, Arbejdsmarkedsforhold og Ligestilling (GD EMPL). Retten undersøgte de sammenfattende rapporter og en stikprøve af de nationale evalueringer, der vedrørte de valgte mål og instrumenter (7), som tilsammen tegnede sig for 124 milliarder euro, dvs. 82 % af den samlede planlagte støtte fra strukturfondene i programmeringsperioden 1994-1999 (8).

12. For hver evaluering var hensigten med revisionen at få svar på tre spørgsmål: a) Var evalueringen af god kvalitet? b) I hvilket omfang blev der identificeret svagheder, som skyldtes mangler i rammerne for og tilsynet med evalueringsarbejdet? c) Var de anbefalinger, der blev fremsat på baggrund af evalueringerne, velbegrundede, nyttige og relevante for de efterfølgende programmeringsperioder?

13. Der blev navnlig foretaget en vurdering af rapporternes kvalitet og fuldstændighed med hensyn til evalueringen af politikkernes hensigtsmæssighed og af foranstaltningernes effektivitet, produktivitet og effekt, samt af, hvordan foranstaltningerne indvirkede på forvaltningssystemerne. Det blev også vurderet, om Kommissionen havde ydet en tilstrækkelig stor indsats i forbindelse med forberedelsen og overvågningen af samt tilsynet med evalueringerne.

14. Den første del af denne beretning omhandler den efterfølgende evaluering af EFRU-interventioner i mål 1-regioner (punkt 15-80), mens den anden del omhandler den efterfølgende evaluering af ESF-aktioner under mål 1 og mål 3 (punkt 81-113).

GD REGIO'S EFTERFØLGENDE VURDERING AF MÅL 1

15. Før den detaljerede vurdering af evalueringens kvalitet er det nyttigt at give en kort oversigt over konklusionerne i Kommissionens evaluering. De er sammenfattet nedenfor (jf. tekstboks 1). Tekstboks 1De overordnede konklusioner i GD REGIO's evaluering:I den sammenfattende rapport anerkendes det, at strukturfondene har haft en positiv effekt på BNP i mål 1-regionerne, og at der er sket en forbedring af deres samlede resultater i forhold til EU som helhed. Forfatterne mener, at både institutionel kapacitet og faktorer såsom økonomiens struktur og åbenhed i vid udstrækning har været bestemmende for den positive effekt, og at disse aspekter klart har stor betydning, især for økonomiens evne til at reagere på udfordringer og muligheder i den økonomiske integrationsproces. Det bemærkes imidlertid, at det på grund af forskelle mellem lande og sammenhænge, begrænsninger i de tilgængelige overvågningsdata og mangel på klart definerede mål ikke er muligt at aggregere resultaterne til et pålideligt billede af den samlede fremgang i mål 1-regioner.Som en overordnet vurdering af de anvendte strategiers hensigtsmæssighed konkluderes det, at den strategiske tilgang til mål 1, som blev vedtaget i 1994, stort set må betragtes som hensigtsmæssig i alle medlemsstaterne. Efter forfatternes mening gik den væsentligste kritik af strategierne på, at de ikke udgjorde meget mere end summen af deres dele. Hver strategi var en tilstrækkelig respons på de konstaterede behov inden for et specifikt område, men det fremgik ikke klart, hvordan disse forskellige elementer bidrog til en overordnet udviklingsstrategi.Med hensyn til effektivitet fremgår det af rapporten, at analysen på grund af mangler i de tilgængelige data i væsentlig grad bygger på kvalitative bedømmelser snarere end på kvantificerede sammenligninger af resultater med mål. Som en generel kommentar anføres det, at mange af de tilsyneladende mest effektive interventioner har været dem, der havde »mainstream«-karakter. Finansieringen har hovedsagelig styrket eksisterende mønstre i de aktiviteter, der vedrører økonomisk udvikling, i stedet for at danne basis for udvikling af nye aktiviteter med henblik på at nå specifikke mål eller stimulere mere innovative metoder.Til vurdering af strukturfondenes effekt på den økonomiske og sociale samhørighed anvender rapportens forfattere for de fleste regioners vedkommende en makromodelmetode. De anerkender, at det er uundgåeligt, at de fremkomne resultater i en vis grad er præget af antagelser, der gøres under opbygningen af modellen. I rapporten bemærkes det, at effektens omfang i forskellige tilfælde afspejlede mængden og tildelingen af EFSR-midler og afhang af faktorer såsom oprindelige »factor endowments«, økonomiske strukturer, konkurrenceevne og den pågældende økonomis grad af åbenhed. Der drages generelle konklusioner vedrørende strukturfondenes effekt sammenholdt med andre eksterne faktorer, og det anføres, at der ganske vist har været en betydelig jobskabelsesaktivitet, men at dødvægts- og fortrængningseffekten sandsynligvis også har haft et betydeligt omfang.Den sammenfattende rapport omfatter også en række bemærkninger om forvaltning og gennemførelse. Den overordnede konklusion om disse aspekter er, at forvaltnings- og gennemførelsesordningerne generelt var velegnede til formålet, selv om de ofte var behæftet med svagheder, og at der blev opnået væsentlige fordele ved partnerskabsmetoden. Beslutningsstrukturerne bidrog typisk ikke til at fastlægge en stærk strategisk linje. Der blev imidlertid opnået store fordele i form af merværdi takket være programmeringsmetoden og udviklingen af den offentlige sektors forvaltningskapacitet og -praksis.

Rettens vurdering af evalueringens kvalitet

Indledende bemærkninger

16. Det er vigtigt at gøre sig klart, at den brede tilgang, der blev anvendt, havde nogle iboende begrænsninger, hvoraf de væsentligste var begrænset tid, et begrænset antal kvantificerede mål og ingen detaljerede resultat- og effektindikatorer. Desuden var det tit vanskeligt at isolere den effekt, som direkte kunne tilskrives programmerne og de dermed forbundne foranstaltninger, eftersom målregionerne ofte nød godt af andre aktioner, som bidrager til opfyldelse af tilsvarende mål. Det var også vanskeligt at identificere og måle de indirekte virkninger af strukturfondenes udgifter. Visse svagheder i evalueringsprocessen kan imidlertid efter Rettens opfattelse ikke alene tilskrives iboende begrænsninger. De skyldes mangler i evalueringsprocessen, som bør afhjælpes, navnlig inden den efterfølgende vurdering af programmeringsperioden 2000-2006.

Udviklingen i regionernes problemer siden 1994

17. Den sammenfattende rapport indledes med en kort analyse af udviklingen i BNP pr. capita, arbejdsløshed og beskæftigelse i de forskellige berørte regioner (9). Det konkluderes, at det forhøjede BNP pr. indbygger generelt ikke skyldes øget beskæftigelse som følge af jobskabelse (10). En sådan konklusion kan være vigtig for de politiske beslutningstagere, for den antyder, at en øget deltagelsesfrekvens (11) for arbejdskraften ikke har bidraget væsentligt til opfyldelse af samhørighedspolitikkens hovedmål om at lukke BNP-gabet. En sådan konklusion har stor relevans for strukturfondene.

18. Ud fra oplysningerne i den sammenfattende rapport er det svært at bedømme, om denne konklusion er rigtig. BNP pr. capita steg i mange regioner, og det samme gjorde deltagelsesfrekvensen. Der er imidlertid nogle regioner, hvor enten BNP pr. capita eller deltagelsesfrekvensen faldt eller kun steg lidt. Retten har forsøgt at vurdere påstanden i punkt 17 ved at anvende statistiske teknikker på de data, der er angivet i den sammenfattende rapport. De tekniske detaljer vedrørende denne analyse findes i bilag II, og hovedpunkterne er kort sammenfattet nedenfor.

19. Resultaterne viser, at ændringer i beskæftigelsen havde en statistisk signifikant effekt på det reale BNP pr. indbygger. Nærmere bestemt viste det sig, at en stigning i beskæftigelsesfrekvensen på et procentpoint svarede til en stigning i BNP pr. capita på 0,24 procent i den vurderede periode. Dette resultat stemmer ikke overens med konklusionen i den sammenfattende rapport. Resultatet tyder på, at en øget deltagelsesfrekvens for arbejdskraften faktisk kunne være med til at lukke BNP-gabet — set ud fra det politiske perspektiv et relevant resultat.

20. For yderligere at undersøge dette resultats robusthed, foretog Retten en identisk analyse af 145 regioner, for hvilke der forelå ensartede data (dvs. ikke kun mål 1-regioner). Resultaterne, som også findes i bilag II, viste sig at være meget ens i hele EU. Det fremgår af disse resultater, at oplysninger i basisdataene ikke blev analyseret tilstrækkeligt, og at vigtige sammenhænge mellem BNP-stigninger og stigninger i beskæftigelsesfrekvensen ikke blev beskrevet i den sammenfattende rapport.

De anvendte strategiers hensigtsmæssighed

21. I den sammenfattende rapports andet kapitel undersøges det, om de anvendte strategier er hensigtsmæssige, for så vidt angår balancen mellem de geografiske områder, balancen mellem de forskellige programmer og balancen mellem fondene. De planlagte og faktiske strukturfondsudgifter (12) til programmerne analyseres, hvad angår fordelingen på medlemsstaterne og fordelingen på de forskellige fonde, men ikke fordelingen på de berørte regioner — sådanne analyser findes til gengæld i rapporten om BNP pr. capita og beskæftigelses- og arbejdsløshedsfrekvens i de forskellige mål 1-regioner. Det betyder, at der kun kan foretages en begrænset analyse, hvilket også anføres i selve rapporten. Den viser resultaterne af en regressionsanalyse, som er et forsøg på for hver medlemsstat at sammenholde EU-midlerne pr. capita med BNP pr. indbygger (13). Det følger heraf, at resultaterne i rapporten ikke er statistisk signifikante, og at de derfor er af begrænset værdi.

22. Retten anvendte imidlertid lidt anderledes statistiske teknikker på dataene i rapporten. De tekniske detaljer vedrørende denne analyse findes i bilag III, og hovedpunkterne er kort sammenfattet nedenfor.

23. De opnåede resultater bekræfter den intuitive konklusion, at jo flere EU-midler der gives pr. capita, desto højere er væksten i BNP pr. capita i medlemsstaterne. Dette resultat viser, at der med en bredere tilgang kan foretages relevante vurderinger, selv med den unødvendigt begrænsede database, som blev anvendt i forbindelse med dette vigtige område.

24. En central del af bedømmelsen i dette afsnit i den sammenfattende rapport bygger på en sammenligning af forskellige kategorier af planlagte udgifter i 1994 og de anslåede faktiske udgifter i 1999. De anførte data er imidlertid behæftet med en række alvorlige fejl eller uoverensstemmelser, som begrænser gyldigheden af de konklusioner, der kan drages. I forbindelse med fem medlemsstater forholder det sig nærmere bestemt sådan, at det tal for faktiske udgifter, som er anført i kolonnen »total« (i den relevante tabel i den sammenfattende rapport), ikke stemmer overens med summen af de tal, der er anført i de enkelte kolonner for henholdsvis EU, den offentlige sektors udgifter og den private sektors udgifter (i selv samme tabel). Disse uoverensstemmelser er sammenfattet i tabel 1. Den procentuelle uoverensstemmelse, som er angivet i tabellens sidste kolonne, er signifikant og vidner om utilstrækkelig kvalitetskontrol i forbindelse med udarbejdelsen af rapportens indhold og resultater.

25. Trods disse uoverensstemmelser giver transformation af de anførte data til tal pr. capita (14) en række nyttige oplysninger, som i nogle sammenhænge adskiller sig fra konklusionerne i den sammenfattende rapport. I tabel 2 vises de faktiske udgifter pr. capita opført i faldende orden for hver kategori.

Tabel 1

Sammenfatning af de uoverensstemmelser, der er beskrevet i punkt 24

Sum af kolonnerne (15) Angivet total (15) Forskel (15) Procentuel uoverensstemmelse Tyskland 41 015 48 243 7 228 –15 Italien 34 804 30 547 –4 257 14 Det Forenede Kongerige 3 961 4 803 842 –18 Frankrig 3 339 4 019 680 –17 Østrig 1 116 1 040 –76 7





Tabel 2

Faktiske udgifter (16)

I alt Faktiske udgifter pr. capita EU pr. capita Offentlig sektor Faktiske udgifter pr. capita Privat sektor Faktiske udgifter pr. capita Østrig 3 866 Irland 1 653 Nederlandene 1 822 Østrig 2 458 Nederlandene 3 438 Grækenland 1 580 Østrig 1 033 Tyskland 1 299 Tyskland 2 933 Portugal 1 403 Grækenland 739 Nederlandene 1 039 Irland 2 926 Spanien 1 143 Irland 703 Belgien 705 Grækenland 2 716 Tyskland 884 Portugal 621 Irland 570 Portugal 2 472 Østrig 657 Spanien 582 Portugal 448 Spanien 1 725 Italien 652 Frankrig 485 Grækenland 396 Belgien 1 587 Frankrig 621 Belgien 456 Frankrig 205 Frankrig 1 579 Det Forenede Kongerige 605 Det Forenede Kongerige 381 Det Forenede Kongerige 174 Italien 1 445 Nederlandene 578 Tyskland 311 Spanien uoplyst Det Forenede Kongerige 1 407 Belgien 427 Italien uoplyst Italien uoplyst Gennemsnit pr. capita 2 104 1 033 419 377

26. Tabellen viser, at det samlede gennemsnitsbeløb var 2 104 euro pr. person. EU-strukturfondene bidrog med ca. halvdelen af dette beløb, mens tre af de fire samhørighedsmedlemsstater betalte ca. 50 % mere end gennemsnittet på 1 033 euro pr. person. Den private sektors bidrag er særlig vigtigt, navnlig fordi der lægges vægt på støttens langsigtede udbudssidevirkninger i regionerne. Det lader til, at nogle mål 1-regioner i medlemsstater som Østrig, Tyskland og Nederlandene har haft særligt held med at kombinere private investeringer med strukturfondene, så de private investeringer er større end gennemsnitsbidraget fra EU-strukturfondene — i Østrig og Tyskland endog betydeligt større.

27. Det undersøges imidlertid ikke i rapporten, hvilke faktorer der bidrog til større deltagelse fra den private sektor. Skyldtes det for eksempel de valgte projekters art, kvalifikationerne hos den arbejdsstyrke, der var til rådighed, eller at fondene ydede en anden form for støtte til den private sektor? Efter Rettens mening burde disse aspekter have været undersøgt nærmere.

28. Vurderingen af strategiernes hensigtsmæssighed var sjældent baseret på formaliserede teknikker (17), og de praksis, der blev anvendt af de nationale evaluatorer, var meget forskellige og generelt overvejende deskriptive. Spørgsmålet om, i hvilken udstrækning strukturfondsinterventionerne er egnede reaktioner på markedssvigt, var sjældent direkte genstand for efterfølgende evaluering. Det var heller ikke blevet undersøgt grundigt, om strategiændringerne i løbet af programmeringsperioden var hensigtsmæssige.

Evaluering af effektiviteten

29. Særlige kapitler i de nationale evalueringer og kapitel 3 i den sammenfattende rapport er analyser af strukturfondenes effektivitet. Grundlaget for analyserne er, i hvilken udstrækning de forventede virkninger og målene er blevet opnået. Der undersøges fem temaer: transport, SMV'er, FoU, uddannelse og udvikling af landdistrikterne. Desuden undersøges to horisontale temaer vedrørende miljø og ligestilling.

30. Analysen er baseret på en stikprøve af 70 % af værdien af mål 1-programmerne. Der blev imidlertid lagt stor vægt på kvalitative bedømmelser, for eksempel ved kun at angive europæisk merværdi med »ja« eller »nej«. Sådanne bedømmelser og meninger samles ofte i for brede kategorier, og de kan ikke altid kontrolleres objektivt. Der var ikke gjort forsøg på at fastsætte mere konkrete mål ved hjælp af kriterier, som kunne have været nyttige i denne forbindelse, og der blev ikke indsamlet supplerende data med henblik på mikroanalyse. Ofte blev forhold, som er vigtige for en mere grundig vurdering af effektiviteten, såsom dødvægts- og fortrængningseffekten, ikke taget i betragtning, og når de blev behandlet, blev de ikke analyseret tilstrækkelig detaljeret.

31. Selv om der er en række afsnit med relevante og nyttige bemærkninger, mener Retten generelt, at dette vigtige kapitel (18) i den sammenfattende rapport er behæftet med svagheder, fordi der mangler data, fordi konklusionerne ofte ikke er præcise nok, og fordi resultaterne af de andre tematiske undersøgelser, som GD REGIO har ladet foretage af strukturfondene i programmeringsperioden 1994-1999, ikke vurderes i tilstrækkeligt omfang eller slet ikke vurderes.

32. I den efterfølgende vurderings afsnit om transport er der tabeller over faktiske resultater og mål med hensyn til, hvor mange kilometer vej der er forbedret i hvert land. Ca. halvdelen af måloplysningerne er ufuldstændige eller mangler helt, hvilket gør det vanskeligt at drage en robust konklusion om de opnåede resultater og målene. Men i den tematiske evaluering (19) af strukturfondenes effekt på transportinfrastrukturerne i den samme programmeringsperiode, som ofte citeres i rapporten, foretages der en mere fuldstændig og stringent vurdering af resultaterne i hver medlemsstat.

33. Særlig relevant for den efterfølgende vurdering er transportprogrammernes anslåede effekt på beskæftigelsen. Denne effekt oplyses i den tematiske evalueringsrapport om transport. Den samlede direkte og indirekte effekt på beskæftigelsen anslås til 2,3 millioner personår (20). Endvidere vurderes de økonomiske fordele ved transportprogrammerne i undersøgelsen at være betydelige. For Irland er der angivet en økonomisk afkastningsgrad for vejprojekter på 13 %, mens den for Spaniens vedkommende er 23 % (21).

34. Disse to relevante konklusioner i den tematiske evalueringsrapport om transport er ikke taget i betragtning i den sammenfattende rapport. Desuden stemmer den tematiske evaluerings skøn over effekten på beskæftigelsen ikke overens med skønnet i den efterfølgende undersøgelse. Ud fra beregninger foretaget af Retten på grundlag af undersøgelsen (22) (under anvendelse af HERMIN-modellen og vurderingen af de øvrige regioner) er strukturfondenes samlede effekt på beskæftigelsen 1,62 millioner arbejdspladser i perioden 1994-1999, hvilket ikke stemmer overens med den tematiske rapports skøn på 2,3 millioner arbejdspladser, især fordi transport kun tegner sig for ca. 20 % af de samlede strukturfondsudgifter.

35. Derimod anvendes resultaterne af den tematiske evaluering af strukturfondenes effekt på SMV'er i den sammenfattende rapport, hvor det anføres, at den tematiske evaluering anbefaler et skifte fra udgifter i form af tilskud til finansieringstekniske foranstaltninger såsom startkapital- og venturekapitalfonde, lån og rentegodtgørelser med den begrundelse, at disse metoder er mere bæredygtige på lang sigt (23). Dette er en vigtig konklusion i den tematiske undersøgelse, som med rette er taget med i den efterfølgende vurdering (24). Dette emne forfølges imidlertid ikke i rapporten, selv om det kunne have stor betydning for fremtidige programmer.

36. I den sammenfattende rapport citeres den tematiske evaluering af strukturfondenes effekt på SMV'er for et skøn, der siger, at uden fællesskabsstøtte ville 70 % af investeringsprojekterne ikke være blevet gennemført, have været mindre eller være blevet udsat. Endvidere skønnes det i den tematiske evaluering, at denne støtte bidrog til oprettelsen af 300 000 yderligere arbejdspladser, selv efter hensyntagen til dødvægts- og substitutionseffekten. Ifølge den sammenfattende rapports forfattere kan den efterfølgende evaluering af mål 1 ikke give de samme tal, da der ikke foreligger sammenlignelige og pålidelige data, som kan lægges til grund for sådanne skøn (25). I betragtning af den betydelige forskel mellem resultaterne og det forhold, at de to undersøgelser var udarbejdet til den samme kontrahent, omhandlede det samme emne og blev offentliggjort med kun to eller tre års mellemrum, burde der være foretaget en mere grundig behandling af forskellene.

37. Efter ovennævnte udtalelse i den sammenfattende rapport gives der faktisk — i et afsnit om en samlet analyse — et skøn over, hvor mange arbejdspladser der blev oprettet i SMV'er takket være strukturfondene. Det anføres, at det ud fra det tilgængelige materiale lader til, at mål 1 støttede udviklingen af ca. 800 000 arbejdspladser. Der er tale om bruttoarbejdspladser, og der er ikke taget hensyn til substitutions-, dødvægts- eller multiplikatoreffekten. Den samlede effektivitet målt i nettovirkninger kan ifølge forfatterne ikke bestemmes (26). Der følges ikke tilstrækkeligt op på denne konklusion, især i betragtning af det skøn, der gives i den tematiske undersøgelse vedrørende SMV'er. I den tabel i den efterfølgende undersøgelse, som giver en oversigt over oprettede arbejdspladser i de forskellige medlemsstater, mangler der desuden tal for Spanien, hvilket indebærer, at det anførte skøn klart ikke er dækkende (27). Dette aspekt burde have været undersøgt mere dybtgående i den efterfølgende evaluering.

38. I forbindelse med de andre emner, som i den sammenfattende rapport behandles i afsnittet om effektivitet, gives der en nyttig, om end kort, oversigt over forskellige relevante emner under en række forskellige overskrifter. Det fastslås imidlertid som en grundlæggende begrænsning, at svagheder i de sammenlignende data har nødvendiggjort en kvalitativ vurdering i stedet for en detaljeret, projektbaseret vurdering (28). En del af denne kvalitative vurdering kunne have været koblet bedre sammen med andre tematiske undersøgelser såsom den tematiske evaluering af FTU. I referencerammer er det fastsat, at der foretages en bredspektret gennemgang af den relevante litteratur med henblik på at identificere nøglespørgsmål i forbindelse med gennemførelsen af strukturfondene (29). Der er imidlertid mangler i den måde, hvorpå resultaterne af sådanne undersøgelser rapporteres og kobles sammen med senere konstateringer. I de få tilfælde, hvor dette aspekt er integreret i vurderingen, har det helt klart højnet rapportens kvalitet.

39. Det anføres for eksempel i rapporterne om efterfølgende vurdering, at det ifølge den tematiske evaluering af FTU ville være en fordel at fokusere aktiviteterne omkring udvikling af regionspecifikke innovationsstrategier for udnyttelse af eksisterende FTU-kapacitet i stedet for at basere aktiviteterne på teknologiske mangler. Det konstateres i den efterfølgende undersøgelse, at dette skete i en række tilfælde, og at resultaterne var meget bedre, når der blev fokuseret på lokalområdets stærke sider (30). Dette eksempel viser klart, at det er relevant at bygge på resultaterne af andre rapporter og undersøgelser, hvilket da også understreges i de kriterier, som er fastsat i MEANS-programmet og ajourføringen af dette program, der indgik som en del af referencerammerne for denne evaluering (31).

40. De nationale evalueringer byggede kun i meget få tilfælde på en formaliseret eller kvantitativ effektanalyse. Endvidere anvendte de nationale evaluatorer kun i meget få tilfælde resultater af kvantitative analyser, der var foretaget af andre aktører.

Evaluering af produktiviteten

41. Denne del af den sammenfattende rapport omhandler en undersøgelse af produktiviteten i gennemførelsen af store projekter, som blev støttet i mål 1-regioner. Analysen var baseret på en geografisk og tematisk repræsentativ stikprøve på ca. 60 store projekter (32). Ved produktivitet forstås, at effekten opnås for en rimelig udgift. I referencerammerne er det fastsat, at hovedmålet er at beregne enhedsomkostninger, dvs. omkostninger pr. opnået output. Analysen bør også omfatte kvaliteten af de endelige støttemodtageres forvaltning af store projekter. På EU-plan bør enhedsomkostningerne analyseres i alle mål 1-regioner. Væsentlige forskelle i enhedsomkostningerne mellem regionerne bør forklares, hvis det er muligt, og der bør fastsættes en acceptabel omkostningsskala, der kan anvendes som grundlag for fremtidig benchmarking (33). Disse mål er relevante og er af afgørende betydning for en effektiv forvaltning af projekter i hele EU.

42. I det store og hele blev disse mål imidlertid ikke nået i forbindelse med den efterfølgende vurdering. Dette erkendes i den sammenfattende rapport med den forklaring, at projektforvalterne praktisk talt fandt det umuligt at isolere et projekts enkelte bestanddele og derfor ikke kunne beregne enhedsomkostningerne (34). En så generel udtalelse vidner om, at kendskabet til store projekter, der finansieres over strukturfondene, er så ringe, at dette mål i referencerammerne ikke kan nås. Det burde som minimum have været muligt at beregne sammenlignelige omkostninger for typiske output, for eksempel omkostningerne pr. kvadratmeter i forbindelse med opførelsen af en fabrik, eller pr. kilometer anlagt vej.

43. Delvise resultater er vist i tre tabeller, der omhandler anlæggelse af veje i medlemsstaterne, miljøprojekter i Spanien og omkostninger pr. arbejdsplads oprettet i industriprojekter (35). Disse resultater evalueres eller analyseres næsten ikke, for eksempel har man ikke indregnet effekten af forskellige lønomkostninger og særlige geografiske karakteristika, eksempelvis ved anlæggelse af veje.

44. I den sammenfattende rapport drages der klare konklusioner om den tidsmæssige planlægning af projekterne og overholdelsen af budgetrammerne. For det første fastslås det, at kun en tredjedel af de 60 undersøgte projekter blev gennemført inden for den oprindelige tidsramme, mens over en tredjedel var mere end et år forsinket. For det andet blev budgettet overskredet i ca. to tredjedele af projekterne, og 20 % af projekterne kostede over 30 % mere end oprindelig planlagt. Analysen er imidlertid begrænset til nogle få generelle bemærkninger, og den vurdering af kvaliteten af de endelige støttemodtageres forvaltning, som er foreskrevet i referencerammerne (36), gives kun i begrænset omfang eller slet ikke. Desuden evalueres offentligt-private partnerskabers og udbudsprocedurernes relative effektivitet ikke.

Evaluering af strukturfondenes effekt

45. Ifølge den sammenfattende rapport er det primære formål med strukturfondene at påvirke økonomiens langsigtede forsyningspotentiale (37). Disse udbudssidevirkninger opnås via en række kanaler, der har følgende formål: a) øgede investeringer med henblik på forbedring af fysiske infrastrukturer som input til den produktive aktivitet i den private sektor; b) øget menneskelig kapital ved hjælp af investering i uddannelse som input til den produktive aktivitet i den private sektor; og c) kanalisering af offentlig finansieringsstøtte til den private sektor med henblik på at stimulere investeringer og dermed øge faktorproduktiviteten og reducere sektoromkostningerne i forbindelse med produktion og kapital (38).

46. Derefter drøfter forfatterne af rapporten betydningen af såkaldte positive eksterne virkninger — forhold, hvor private firmaer anvender yderligere produktive faktorer uden omkostninger for dem selv — som forbedrer økonomiens produktivitet og omkostningsmæssige konkurrenceevne. Disse overvejelser er relevante for en efterfølgende vurdering. Medfinansiering fra den private sektor blev imidlertid udelukket fra analysen på grund af usikkerhed med hensyn til finansieringens drivmekanismer (39). Denne begrænsede metode medfører, at effekten af visse strukturfondsudgifter angives alt for lavt, fordi en af de væsentlige langsigtede udbudssidevirkninger udelukkes. Et klart eksempel på dette er omtalen i den sammenfattende rapport (40) af et udviklingsselskab, hvis medfinansierede udgifter har tiltrukket store yderligere investeringer fra den private sektor. I stedet for at fokusere på den mere direkte mærkbare effekt af strukturfondsudgifterne på investeringer fra den private sektor er undersøgelsen koncentreret om et forsøg på at vurdere de såkaldte eksterne virkninger ved hjælp af skønsteknikker, som er temmelig begrænsede, fordi der mangler undersøgelser, som gør det muligt at måle de elasticiteter, som er relevante i forbindelse med de omhandlede regioner.

47. Med henblik på vurdering af strukturfondenes effekt på den økonomiske og sociale samhørighed blev der anvendt en metode med en makroøkonomisk model, som var baseret på HERMIN-modellen, på fire medlemsstater (Grækenland, Irland, Portugal og Spanien) (41) samt på regionerne i de nye tyske delstater og Nordirland (42). Formålet med denne metode var at måle mål 1-programmernes effekt på BNP og beskæftigelse.

48. Som en alternativ metode kunne der i vurderingen anvendes mikroøkonomiske data fra projekter til beregning af strukturfondenes samlede eller aggregerede effekt på de forskellige regioner eller lande. Trods ensartede datakrav i alle mål 1-regioner er der imidlertid vanskeligheder forbundet med indsamling af mikroøkonomiske data. Det betyder, at effekten forsøges målt alene ud fra makroøkonomiske modeller, hvilket sætter mange begrænsninger og indebærer antagelser, som af de grunde, der er beskrevet nedenfor, kan begrænse vurderingen betydeligt og dermed også begrænse de politiske konsekvenser, der kan drages af den.

49. De væsentligste problemer med anvendelsen af den HERMIN-makromodel, der blev brugt i den efterfølgende vurdering, som Retten reviderede, er følgende: a) Som modellen er opbygget, lægges der for megen vægt på produktionssektoren, selv om økonomierne i de fleste af de regioner eller lande, der undersøges, i de seneste 10 år har haft større udvikling inden for markedsmæssige tjenesteydelser såsom turisme og i nogle tilfælde den finansielle sektor. Drivmekanismerne bag disse tjenesteydelser er ikke de samme som drivmekanismerne bag produktionssektoren, som er blevet mere følsom over for globaliseringseffekten. Derfor bør makromodellen orienteres mod dette aspekt. Den anvendte model gav ikke mulighed for at tage sådanne hensyn, og der er ikke meget i rapporten, der tyder på, at dette forhold er blevet anerkendt som en alvorlig mangel, på trods af at turisme er meget vigtig for økonomien i en lang række af de pågældende regioner. b) Den anvendte model er baseret på årsdata med begyndelse i 1980. Eftersom strukturen i de pågældende regioner har ændret sig hurtigt i de forløbne år, kan det begrænse værdien af den anvendte makromodelmetode væsentligt, at de skønnede parametre er strukturelt ustabile. Dette aspekt blev der heller ikke taget højde for. c) Der anvendes planlagte udgifter i stedet for faktiske udgifter (43), hvilket man nok snarere ville forvente i en forhåndsprognose end i en efterfølgende evaluering. d) Effektskønnene er systematisk alt for lave, fordi medfinansiering fra den private sektor (jf. også punkt 46) og tilstrømningen af investeringer fra den private sektor som følge af strukturfondsinterventioner er udelukket fra modellen. Hvis strukturfondene for eksempel yder støtte til et fabriksbyggeri, er effekten på regionens økonomi ikke begrænset til opførelsen af bygningen, men omfatter også de permanente arbejdspladser, der skabes som følge af de investeringer fra den private sektor, der foretages efter opførelsen af fabrikken. e) Strukturfondenes langsigtede effekt på offentlig infrastruktur og menneskelig kapital (positive eksterne virkninger) spiller en afgørende rolle i den sammenfattende rapports vurdering af strukturfondenes effekt. HERMIN-modellen forudsætter tal for de eksterne virkningers elasticitet fra andre specifikke undersøgelser. Eftersom der ikke foreligger sådanne tal for nogen af de undersøgte regioner i EU, blev der anvendt empirisk litteratur om regioner i USA, og denne litteratur er, som nævnt i selve rapporten, noget uklar, når det gælder beregningen af de eksterne virkninger (44). Det indebærer, at det ikke klart fremgår, i hvilket omfang effektskønnet bygger på en vurdering eller på fakta. f) For så vidt angår additionalitetsprincippet, sammenligner HERMIN-modellen situationen med EFSR-finansiering og uden EFSR-finansiering. Scenariet uden EFSR-finansiering forudsætter, at hverken EU-midlerne eller de medfinansierede beløb anvendes. Gyldigheden af en sådan antagelse kan diskuteres (45).

50. HERMIN-modellen, sådan som den er blevet anvendt, kan således tilsyneladende ikke bruges til beregning af skøn over effekten af strukturinterventioner i mål 1-regioner.

51. Retten analyserede HERMIN-simulationerne af ændringer i arbejdsløsheden ud fra et sæt forudfastsatte hypoteser (46). Resultaterne er vist i bilag IV. Disse resultater afviger væsentligt fra andre kilders data om arbejdsløshed.

52. Endelig blev det i mange tilfælde ikke evalueret, i hvilken udstrækning målene på mellemlang sigt var nået.

53. For så vidt angår det strategiske mål om konvergens, anføres det kun i den sammenfattende rapport, at der sker fremskridt med hensyn til den overordnede konvergens mellem medlemsstaterne, men ikke i lige så stor grad mellem regionerne i Europa. Ifølge forfatterne kan det diskuteres, om konvergensen skyldes strukturfondene (47).

Evaluering af forvaltningssystemerne

54. De forvaltnings- og gennemførelsesordninger, der er vedtaget for mål 1-programmerne, har afgørende betydning for strukturfondenes effektivitet, produktivitet og effekt. Dette aspekt blev behandlet i både referencerammerne og den metodologiske vejledning, og det blev taget op i de nationale evalueringer (48). I de nationale evalueringsrapporter beskrives effekten på forvaltningssystemerne, men der omtales også situationer, hvor effekten på forvaltningssystemerne kunne have været mere udtalt.

55. Emnets vigtighed anerkendes også i den sammenfattende rapport, og i afsnittet med anbefalinger (49) omhandler ikke mindre end 13 af de 19 anbefalinger forvaltningsspørgsmål.

56. Den sammenfattende rapport indeholder en række relevante observationer vedrørende forvaltningen af EU's strukturfonde, og der henvises til adskillige konklusioner i den tematiske evaluering af partnerskabsprincippet, som blev foretaget i 1999. Det giver kontinuitet i vurderingen og kan be- eller afkræfte bemærkninger i den tidligere undersøgelse. På en række områder er konklusionerne imidlertid ikke i overensstemmelse med den tematiske evaluering.

57. Den sammenfattende rapport indeholder en oversigt over gennemsnitsstørrelsen af overvågningsudvalgene i de forskellige medlemsstater. Det samlede gennemsnit var 44 medlemmer, men der var stor variation fra så få som 15 til så mange som 85. Det konkluderes i rapporten, at det store antal medlemmer blev anset for at mindske overvågningsudvalgenes produktivitet væsentligt, og at dette gjaldt i alle medlemsstaterne (50). I den tematiske undersøgelse konkluderes det derimod, at der ikke var noget bevis for, at inddragelse af flere personer førte til mindsket produktivitet. I betragtning af den væsentlige forskel mellem rapporternes konklusioner vedrørende dette aspekt ville det have været hensigtsmæssigt at analysere det mere grundigt i den sammenfattende rapport og drage mere konkrete konklusioner om vejen frem.

58. Et andet område, som kobles sammen med den tematiske evaluering, vedrører forvaltningen af flere forskellige fonde. I begge evalueringer konkluderes det, at fondene fungerede efter forskellige principper og med forskellige finansielle krav, og at dette begrænsede synergien mellem fondene. Denne vigtige bemærkning svarer til de synspunkter, som Retten allerede har givet udtryk for (51), og understreger, at det er nødvendigt at arbejde hen imod større synergi mellem fondene.

59. Vurderingen af de overordnede forvaltningssystemer er også behæftet med svagheder. Det anføres i den sammenfattende rapport, at de nationale evaluatorer i knap halvdelen af de støtteberettigede medlemsstater fandt, at forvaltningssystemerne var tilstrækkelige. Det er et vigtigt resultat, og man kunne have forventet en detaljeret vurdering af både de vellykkede eksempler og de identificerede mangler. Nogle af de nævnte punkter undersøges nærmere, men generelt fremgår det ikke klart af rapporten, hvad der faktisk blev konstateret.

60. I den tematiske evaluering af partnerskabsprincippet i forbindelse med strukturfondene (1999) fastslås det, at dette princip indebar en række fordele for gennemførelsen af strukturfondene (52). Det anføres i den sammenfattende rapport, at disse fordele også generelt blev anerkendt af de medlemsstater, der var involveret i gennemførelsen af mål 1-programmet for 1994-1999, og at horisontalt partnerskabssamarbejde blev hilst velkommen som et af EU-programmeringens merværdiaspekter (53). Det er et relevant resultat, og selv om der præsenteres enkelte detaljer fra forskellige cases og i den forbindelse gives en kort beskrivelse af negative erfaringer eller problemer, kunne undersøgelsen have haft mere fokus på forbedringer, der kunne gennemføres på baggrund af de nævnte erfaringer og gøre partnerskabsprincippet mere effektivt.

61. Ansøgnings- og udvælgelsesprocessen for projekter identificeres som en af de to processer, der oftest bliver angivet som årsag til administrative problemer. Der gives en række eksempler, som viser, at procedurerne er uklare, og at der er et påtrængende behov for, at Kommissionen fastsætter et benchmark for bedste praksis. I en tabel vises udvælgelsesprocessens varighed i de forskellige lande, men for tre medlemsstater er der ingen data. Processens varighed i de resterende medlemsstater ligger i området fra to til ni måneder med et gennemsnit på fem måneder. Den fremlagte dokumentation viser, at der skal gøres mere for at strømline ansøgningsprocessen. I denne sammenhæng er der ikke blevet foretaget en grundig analyse af fordelene ved og/eller effektiviteten af henholdsvis konkurrenceprocessen og køprocessen.

62. Der skal også tages hensyn til overvågnings- og kontrolprocessen. I den sammenfattende rapport hævdes det, at finanskontrolsystemerne synes at have fungeret forholdsvis godt i medlemsstaterne i mål 1-programmeringsperioden 1994-1999, om end der måtte foretages nogle justeringer på baggrund af de nye finansforordninger i 1997. I de fleste medlemsstater følte man angiveligt, at finanskontrolsystemerne var velegnede til formålet og fungerede forholdsvis effektivt. Ifølge forfatterne syntes finanskontrollen generelt at have været pålidelig, og 5 %-reglen blev overholdt (54). Denne konstatering stemmer ikke overens med Rettens forskellige beretninger (55), som viser, at der i 1994-1999-programmet for strukturfondene var væsentlige mangler ved finanskontrollen.

63. Det andet element i overvågningsprocessen, som giver anledning til administrative problemer, er de ikke-finansielle overvågnings- og evalueringssystemer. Overvågningen får hård kritik. Det konkluderes i den sammenfattende rapport, at overvågningen fortsat var et af de meget svage punkter, selv om der siden den første programmeringsperiode var blevet lagt vægt på at udvikle dens rolle. Ifølge forfatterne var de tilgængelige data fragmenterede og modstridende, de var i for høj grad fokuseret på fysiske output, og der herskede ofte tvivl om deres pålidelighed (56). Det anføres også, at der i alle medlemsstaterne manglede kvantificering af de mål, der blev defineret ved programmets start (57). Af de ti nævnte medlemsstater klassificeres syv i gruppen med et meget lavt kvantificeringsniveau, én i gruppen med variabel kvantificering, og to med et tilstrækkeligt kvantificeringsniveau, men kun ved programmets start. Der gives en kort oversigt for hver medlemsstat, men ikke nærmere oplysninger.

64. Det anføres også, at computersystemerne til overvågning af programmet for 1994-1999 ofte blev kritiseret på grund af den manglende integration af programmer og fonde. Det gjorde det ifølge forfatterne vanskeligt for de forvaltende myndigheder hele tiden at bevare overblikket over udviklingen i programmerne, og det skabte problemer ved senere evalueringer (58). Og når det anføres, at overvågningsoplysningerne, som er et meget vigtigt input i forvaltningsprocessen, var fragmenterede og modstridende, og der ofte herskede tvivl om deres pålidelighed (56), må gyldigheden af rapportens tidligere konklusion om, at programmets finansforvaltning fungerede godt, desuden drages i tvivl.

65. Den sammenfattende rapport indeholder også nogle korte kommentarer om såkaldte interne evalueringer (59). Det bemærkes i rapporten, at disse interne evalueringer blev foretaget af ministerierne eller af de regionale myndigheder med bistand fra universiteter og eksterne organer. I betragtning af, at overvågningssystemerne er så svage, er det ifølge rapportens forfattere måske overraskende, at der blev foretaget evalueringer i så stort et omfang, som det faktisk var tilfældet. Forfatterne anfører, at det måske skyldes, at myndighederne har følt sig tvunget til at gennemføre evalueringer, men resultaterne fik ofte indflydelse på forvaltningen af programmerne (60). På baggrund af denne udtalelse kunne man måske med fordel fokusere mere på disse interne evalueringer og bygge på de pågældende ministeriers og regionale myndigheders resultater. Til gengæld indeholder den sammenfattende rapport kun meget generelle bemærkninger med begrænset relevans for den samlede efterfølgende vurdering.

66. Med hensyn til programmeringsperioden 2000-2006 noteres det i den sammenfattende rapport, at der er gjort forsøg på at afhjælpe de overvågningsproblemer, som blev konstateret i perioden 1994-1999 (61).

Rettens vurdering af, om evalueringsrammerne er fyldestgørende

Referencerammerne

67. På baggrund af de forskellige problemer, der er blevet identificeret i analysen af den sammenfattende rapport, er det nødvendigt at fokusere specifikt på de oprindelige referencerammer. De var, ligesom den indledende rapport og den metodologiske vejledning, behæftet med visse svagheder. Blandt andet kan følgende nævnes: a) Der blev ikke gjort noget ved problemet med manglen på kvantificerede mål. Og i referencerammerne og den metodologiske vejledning blev det ikke påpeget stærkt nok, at der kun var meget få egnede indikatorer. b) Det blev heller ikke krævet, at evaluator skulle indsamle yderligere data om resultatindikatorerne. I referencerammerne (62) var det fastsat, at der skulle udarbejdes en feltrapport efter behov, hvis der ikke forelå data i medlemsstaterne, men dette blev ikke forklaret nærmere i den metodologiske vejledning (63). c) Der blev ikke lagt tilstrækkelig vægt på behovet for at vurdere nettoeffekten (64), undtagen i forbindelse med nogle økonomiske virkninger. d) I referencerammerne var der ikke tilstrækkeligt fokus på spørgsmålet om især effektivitet og dødvægtseffekt. Det er beklageligt, da dødvægt ofte anses for at være en relevant faktor på vigtige områder såsom tilskud til virksomheders investeringer, direkte støtte til beskæftigelse og erhvervsuddannelse, som letter adgangen til beskæftigelse. e) Der blev ikke lagt tilstrækkelig vægt på analyser af de potentielle sammenhænge mellem strategiens hensigtsmæssighed, effektiviteten og effekten (65). Og der var ikke gjort forsøg på at beskrive sammenhængen mellem de identificerede mål — uanset at de ikke er kvantificeret — og en rangordning af de behov, som EFSR har til formål at dække. f) Bortset fra anvendelsen af HERMIN-modellen og henvisningen til den spotevaluering, som blev foreslået til casestudier (66), var der ikke foreslået evalueringsteknikker i referencerammerne og den indledende rapport. g) Med hensyn til de landespecifikke spørgsmål i referencerammerne (67) var det ikke klart angivet, hvilken metodologi der skulle anvendes.

68. Dertil kommer, at styrkelsen af den økonomiske og sociale samhørighed i EU og konvergensen i de mindre udviklede medlemsstater ikke var prioriteret tilstrækkelig højt i referencerammerne, selv om det er nogle af hovedformålene med strukturforanstaltninger. Den indledende rapport havde ganske vist nogle spørgsmål om de anvendte udviklingsmodeller, om de problemer, der hæmmer væksten, og som der skal tages fat på, og om de kanaler, der kan forventes at have en effekt på den regionale økonomi (68). Den efterfølgende evaluering burde imidlertid ideelt have omfattet empiriske undersøgelser af konvergensen mellem regioner og mindskelsen af forskelle som følge af faktorer såsom investeringer i infrastruktur, udvikling i uddannelsessystemet og udvikling i FoU-kapacitet.

69. Som et evalueringsmål ville det endvidere have været hensigtsmæssigt at identificere og analysere specifikke cases, der kunne anvendes som benchmarks for regionale udviklingspolitikker, f.eks. inden for sådanne områder som klyngedannelse eller vækstpoler.

70. Da evalueringen blev indledt, blev spørgsmålet om strategiens hensigtsmæssighed vurderet på grundlag af en liste med emner og spørgsmål. Retningslinjerne for evaluering i referencerammerne (69) og den metodologiske vejledning var imidlertid ikke tilstrækkelig præcise eller konkrete.

Rettens vurdering af, om Kommissionens tilsyn er fyldestgørende

71. Det var fastsat i den (generelle) kontrakt mellem Kommissionen og de konsulenter, der blev valgt til at foretage evalueringen, at ansatte ved Kommissionen var ansvarlige for og skulle føre tilsyn med den faglige bistand i forbindelse med evalueringen. Evalueringens kvalitet skulle vurderes af Kommissionen på grundlag af de kriterier, der var udviklet i MEANS-programmet.

72. Styregruppen, der havde en repræsentant for GD REGIO som formand og omfattede repræsentanter for andre GD’er, var involveret i udarbejdelsen af referencerammerne, godkendelsen af metodologien og den detaljerede arbejdsplan (i den indledende rapport) og undersøgelsen af de nationale rapporter og den sammenfattende rapport. Et panel bestående af fire eksperter blev udpeget til at bistå styregruppen. Hovedformålet var at sikre, at der blev produceret evalueringer af høj kvalitet. Eksperterne blev imidlertid inddraget for sent i arbejdet til at sikre væsentlige forbedringer af evalueringens kvalitet.

73. Den tidsplan, som var fastsat i kontrakten, blev ikke overholdt. De forskellige rapporter blev indsendt for sent, hvilket betød, at den endelige sammenfattende rapport og de nationale rapporter ikke blev indsendt til Kommissionen i den planlagte periode på 12 måneder, dvs. senest den 12. november 2002, men først i april 2003, og de blev offentliggjort i maj 2003. Tidsplanen var tilsyneladende unødvendigt stram fra starten, og der var ikke afsat tilstrækkelig ekstra tid til behandling af det forholdsvis store antal ændringer og ændringsforslag, som eksperter og repræsentanter i styregruppen havde til rapporterne. Dette har væsentlige konsekvenser for fremtidige efterfølgende evalueringer.

74. I referencerammerne (67) var det fastsat, at to specifikke temaer skulle undersøges i alle medlemsstater, og der var foreslået en liste over sådanne temaer. Der blev imidlertid ikke fokuseret på dette aspekt i nogen af de nationale evalueringsrapporter. Enkelte kapitler indeholder statistik eller en delvis undersøgelse af disse temaer, men de har ikke, som fastsat i referencerammerne, været genstand for specifik granskning.

75. Generelt må det konkluderes, at Kommissionens tilsyn med evalueringsprocessen bør forbedres. Eftersom manglen på pålidelige data, resultatindikatorer og præcise mål kunne forudses fra begyndelsen, burde Kommissionen især have sørget for, at der blev truffet hensigtsmæssige foranstaltninger til at få afhjulpet denne afgørende mangel. På grund af den stramme tidsplan og de iboende begrænsninger burde evalueringen endvidere have været koncentreret om hovedelementer, og man burde ikke have forsøgt at foretage en så omfattende samlet vurdering af programmeringsperioden.

Relevansen af evalueringens anbefalinger for kommende programmeringsperioder

76. På grund af de problemer, som er blevet påpeget i denne beretnings foregående afsnit, kunne processen med efterfølgende evaluering kun i begrænset omfang føre til brugbare anbefalinger. Processen førte kun til få anbefalinger om programindholdet, men gav en række relevante og fornuftige forslag til, hvordan forvaltningen og gennemførelsen af strukturfondene kan forbedres (70).

77. Det anbefales i rapporten, at overvågningsudvalgenes rolle ændres, så de beskæftiger sig med strategisk styring i stedet for finansforvaltning (71). Overvågningsudvalgene bør imidlertid kunne varetage begge funktioner, sådan som det er fastsat i forordningerne.

78. Evalueringerne har ført til anbefalinger vedrørende programmeringsperioden 2000-2006, som hovedsagelig omhandler forvaltningssystemer. Anbefalingerne dækker en bred vifte af temaer, og de passer generelt godt til den specifikke situation i det pågældende land.

79. Med hensyn til programmerne i perioden 2000-2006 er de vigtigste erfaringer, som kan uddrages af den efterfølgende evaluering af den foregående periode, dem, der vedrører gennemførelsen, især de casestudier, der blev foretaget for at evaluere strukturfondsaktionernes effektivitet og produktivitet.

80. Hvad angår tiden efter 2006, er den sammenfattende rapports anbefalinger temmelig begrænsede og generelle. De er dog stadig relevante og som sådan nyttige. For eksempel siges det, at der kunne gøres mere brug af uafhængige, løbende evalueringer, som giver et objektivt, eksternt input (72). Dette er en fornuftig anbefaling, men den havde gjort mere gavn, hvis den var blevet vedtaget, før arbejdet med den efterfølgende evaluering, som Retten reviderede, blev iværksat.

GD EMPL’S EFTERFØLGENDE EVALUERING AF ESF-AKTIONER (UNDER MÅL 1 OG 3)

81. Sammen med evalueringen af mål 1-regioner under ledelse af GD REGIO blev der foretaget en anden evaluering under ledelse af GD EMPL, som skulle omfatte ESF-aktioner under mål 1, 3 og 4 og fællesskabsinitiativerne Employment og Adapt. I referencerammerne for denne efterfølgende evaluering var det fastsat, at resultaterne af evalueringen af mål 1-regionerne skulle anvendes. Men selv om der blev etableret ordninger, som skulle fremme effektiv koordinering af de to evalueringer, er der ikke meget, der tyder på, at det skete i praksis. Tekstboks 2De overordnede konklusioner i evalueringen udarbejdet af GD for Beskæftigelse, Sociale Anliggender, Arbejdsmarkedsforhold og Ligestilling:Formålet med evalueringen var at vurdere effekten af ESF-aktioner i medlemsstaterne såvel på personer som på systemer. Hensigten var også at analysere effekten og effektiviteten af Fællesskabets interventioner vedrørende specifikke strukturelle problemer og at måle den europæiske merværdi. I den metodologi, der blev vedtaget med henblik på at nå disse mål, blev evaluatorerne blandt andet bedt om at angive, om de cases, som de blev anmodet om at vurdere, be- eller afkræftede en række hypoteser.I rapporten blev der fremhævet en række styrker, som kan opsummeres således: En stor del af ESF-finansieringen var målrettet til de langtidsledige, hvilket blev anset for hensigtsmæssigt på grund af problemets vedvarende karakter. Forbedringerne af modtagernes stilling på arbejdsmarkedet stod i et rimeligt forhold til de anvendte ressourcer. I flere medlemsstater blev arbejdsformidlingerne og uddannelsesbestemmelserne forbedret væsentligt. De anvendte ressourcer gjorde det muligt at styrke visse politiske prioriteter såsom ligestilling, tilpasning af arbejdsstyrken og målrettet hjælp til handicappede. Gennem ESF blev arbejdsmarkedets parter og de regionale myndigheder involveret mere end tidligere. Fondens midler bidrog til at øge kapaciteten til at forvalte og gennemføre arbejdsmarkedsinterventioner på alle niveauer.I rapporten blev der imidlertid også påpeget en række svagheder: Hvad midlerne blev anvendt til, blev hovedsagelig dikteret af, hvilke ressourcer der var til rådighed, og ikke af politikken, og finansieringen foregik parallelt med og uden forbindelse til de relevante politiske drøftelser. Interventionerne var hovedsagelig koncentreret om uddannelse og blev som regel tildelt tjenesteydere. Denne metode er, når den anvendes isoleret, ikke den mest effektive til at hjælpe langtidsledige, og det er derfor sandsynligt, at der var en betydelig dødvægt forbundet med interventionen. Endelig blev de administrative ordninger opfattet som komplekse, mens evalueringsordningerne var svage og ustrukturerede.

Rettens vurdering af evalueringens kvalitet

Mangler i dataene og i analysen

82. ESF-interventioners indflydelse har ofte form af et bidrag eller en potentiel effekt, som er uhåndgribelig og derfor ikke let kan kvantificeres (73). Uagtet dette iboende problem må et af de primære formål med en evaluering stadig være at vurdere effekten og i den forbindelse også at tage stilling til spørgsmålet om effektivitet og produktivitet. Det var kravet til denne efterfølgende evaluering.

83. Den sammenfattende rapport har en analyse af effekten af ESF-interventioner med skøn over antallet af ESF-støttemodtagere pr. land og pr. mål (74). Som supplement til de nationale evalueringsrapporter ville man i den efterfølgende evaluering desuden føre bevis for en række forudfastsatte hypoteser (75). Dette behandles i de følgende punkter.

84. Et af de mest grundlæggende krav til den efterfølgende evaluering af ESF-aktioner vedrører antallet af støttemodtagere under programmet i perioden 1994-1999. Rapporten indeholder en tabel, hvor antallet af støttemodtagere skønnes at være 52 millioner. Supplerende noter til denne tabel rejser imidlertid alvorlig tvivl om de anførte tal (76). Denne usikkerhed om dataenes nøjagtighed svækker vurderingen, som andre steder indeholder nyttige og relevante bemærkninger.

85. Den sammenfattende rapport (75) indeholder skøn over ESF-interventioners effekt på enkeltpersoner. Disse oplysninger er potentielt vigtige i en række forskellige sammenhænge, herunder i forbindelse med beregningen af programmernes enhedsomkostninger og af skønnene over, hvor mange støttemodtagere der fortsat er beskæftiget efter 12 måneder. Der er imidlertid faktorer, der alvorligt begrænser brugbarheden af disse oplysninger, navnlig det forhold, at det ikke forklares, hvordan dataene er fremkommet. I rapporten anføres det blot, at de tal, der har ligget til grund for beregningen af disse skøn, var baseret på de enkelte cases, der blev undersøgt, og gennemgangen af den relevante litteratur (74). En sådan udtalelse kan ikke betegnes som tilstrækkelig, og der er behov for mere detaljerede oplysninger om, hvordan de forskellige skøn er beregnet, så man bedre kan forstå, hvad disse tal kan bruges til, for eksempel som benchmarks for enhedsomkostninger og programresultater.

86. Et andet utilfredsstillende aspekt er den analyse, der ledsager dataene. Der er uoverensstemmelse mellem det, der siges i vurderingen, og det, der er anført i den tilhørende tabel. For eksempel står der i teksten, at enhedsomkostningerne generelt var lavere for arbejdsløse og unge arbejdsløse, ca. 6 000 euro pr. arbejder i beskæftigelse, og væsentlig højere og mere omfattende for handicappede og langtidsledige (74). Men i tabellen optræder enhedsomkostningerne for uddannelse af arbejdsløse som de højeste (6 000 euro), mens enhedsomkostningerne for integration af handicappede er blandt de laveste (4 000 euro). Desuden er det almindelig praksis at oplyse skalaens højeste og laveste beløb, når der angiveligt er stor variation både i og mellem programmerne. Analysen i dette afsnit er af begrænset værdi, fordi den i for høj grad er en vurdering af enkelte tal. I stedet burde der have været defineret en relevant værdiskala og foretaget en mere omfattende analyse af de variationer, der blev konstateret i de undersøgte tilfælde.

87. Sådanne uoverensstemmelser mellem tekst og tal findes andre steder i kapitel 3 (jf. eksemplerne i tekstboks 3). Tekstboks 3Der står for eksempel, at ESF-udgifterne pr. capita var størst i Irland, Portugal og Grækenland (rene mål 1-lande) og i Spanien (1). Men af tabel 3.1 fremgår det, at ESF-udgifterne pr. capita var på 2 086 euro i Portugal og 405 euro i Tyskland, mens de var på 12 euro i Irland og 17 euro i Grækenland. Tabellens tal passer helt klart ikke sammen med det, der står teksten. Endnu mere grel er oplysningen om, at ESF-udgifterne til uddannelse i forhold til de nationale udgifter i alle landene var lavere end udgifterne til aktive arbejdsmarkedspolitiske tiltag, og at de var højest i Grækenland og Portugal (2). I tabel 3.1 er der nemlig ikke angivet nogen ESF-udgifter ud for Grækenland i den kolonne, der viser ESF-udgifterne til uddannelse i forhold til de nationale udgifter.I punkt 3.2.3 (3) står der, at de nationale udgifter til arbejdsmarkedsuddannelse som andel af BNP varierede fra 0,2 % i Luxembourg til 0,58 % i Sverige (4). Men af tabel 3.3 fremgår det, at udgifterne til uddannelse i Danmark udgjorde 0,94 % af BNP, dvs. næsten det dobbelte af andelen i Sverige. Et yderligere eksempel findes i punkt 3.2.6 (5), som omhandler udgifterne til integration af handicappede. I teksten står der, at ESF spillede en særlig vigtig rolle i Portugal, Spanien, Grækenland og Østrig. Men ifølge tabel 3.6 blev der ikke afholdt ESF-udgifter til handicappede i Spanien og Grækenland. Endnu et eksempel findes i punkt 3.2.7, som omhandler udgifter til uddannelse. Der står, at ESF-bidraget var størst i Grækenland, Irland og Portugal (6). Men ifølge tabel 3.7 blev der ikke afholdt ESF-udgifter til uddannelse i Grækenland.(Den sammenfattende rapport: (1) s. 78, (2) s. 79, (3) s. 81, (4) s. 81, (5) s. 84, (6) s. 85.)

Vurdering af ESF-aktionernes effekt

88. De evaluatorer, der deltog i undersøgelsen, blev bedt om at angive, om de vurderede cases be- eller afkræftede en række hypoteser, som var blevet opstillet på grundlag af en første gennemgang af den relevante litteratur og resultaterne af evalueringens indledende fase. Ifølge undersøgelsen er der stærke beviser for fire hypoteser (jf. tabel 3 (77)). De fremlagte data underbygger imidlertid ikke påstanden om stærke beviser. For eksempel sagde kun syv af de 30 evaluatorer, at der var stærke beviser for den første hypotese. En mere objektiv evaluering af disse resultater ville have været på sin plads.

Tabel 3

Bemærkninger til de hypoteser, der blev brugt ved undersøgelsen af effekten på enkeltpersoner

Stærke beviser for Nogle beviser for Ingen beviser for eller imod Nogle beviser imod Stærke beviser imod Ingen holdning på dette tidspunkt 1. Der er en sammenhæng mellem den opnåede effekt og de grundlæggende nationale og regionale markedsbetingelser (f.eks. afhænger resultaterne af den økonomiske cyklus, efterspørgslen og arbejdsløsheden). 7 14 8 0 1 0 2. Der er en sammenhæng mellem effekten og de støttemodtagende gruppers karakteristika (f.eks. er uddannelsesforanstaltninger mere effektive for kvinder, der vender tilbage til arbejdsmarkedet, og uddannede indvandrere end for kortuddannede arbejdstagere og unge). 8 18 3 0 0 1 3. Der er en sammenhæng mellem effekten og typen af foranstaltning. Ved nogle foranstaltninger er der stor dødvægt, og nogle er effektive i lille målestok, men giver ikke generelle løsninger. 5 17 6 1 0 1 4. Der er en nær sammenhæng mellem effekten og programmernes struktur og forvaltning, herunder kvaliteten af de analyser, som definerer aktionernes præcise omfang (f.eks. kan små, målrettede programmer være mere effektive end store programmer). 3 17 7 1 0 1

Evaluering af ligestilling

89. I referencerammerne vedrørende effekten af ESF i 1994-1999 var det også fastsat, at der skulle foretages en evaluering af, i hvilket omfang ESF-aktioner bidrager til opfyldelse af målet om ligestilling (78). Dette aspekt behandles i rapportens kapitel 7. Det anføres imidlertid, at det er væsentligt, at der ikke systematisk i hele EU blev indsamlet kønsspecifikke data for hvert ESF-mål og fællesskabsinitiativ (79). Det begrænsede i væsentlig grad mulighederne for at evaluere dette emne i undersøgelsen. Det er svært at betegne denne iagttagelse som væsentlig, eftersom en indledende analyse ville have påvist manglen. For at overvinde denne begrænsning burde man have udført feltarbejde og stikprøveundersøgelser i stedet for blot at konkludere, at der ikke foreligger kønsspecifikke data.

Andre undersøgte aspekter

90. Der er ikke foretaget en særlig undersøgelse af de interventioner, der kaldes kombinerede foranstaltninger (80), for at måle ESF-aktionernes effekt på enkeltpersoner, selv om disse foranstaltninger har fået en stor procentdel af ESF-ressourcerne (18 %). Som følge heraf er den sammenfattende rapports konklusioner ret beskedne. Ifølge forfatterne har størstedelen af evalueringsarbejdet vist positive resultater. De påpeger dog, at der er en tendens til, at der i evalueringerne fokuseres på at identificere de mest effektive programkomponenter i stedet for på at sammenligne resultaterne af kombinerede foranstaltninger med resultaterne af interventioner, som består af en enkelt foranstaltning (81).

91. Med hensyn til aktive arbejdsmarkedspolitiske tiltag, især i mål 1-lande, drages der i den sammenfattende rapport nogle konklusioner, men det forklares ikke indgående nok, hvordan man er nået frem til disse konklusioner.

92. Med hensyn til ESF’s finansielle bidrag set i forhold til andre finansielle bidrag konkluderes det i den sammenfattende rapport (82), at kombinationen af nationale midler og ESF-ressourcer tilsyneladende ikke har ført til konvergens mellem landenes udgiftsmønstre eller til vedtagelse af normer, der kobler specifikke økonomiske og arbejdsmarkedsmæssige betingelser sammen med tildelingen af ressourcer (83). Når man tænker på antallet af fejl i de relevante tabeller og/eller i den tilhørende tekst, er det svært at se, hvordan denne konklusion kan forsvares. En anden vigtig konklusion i denne del af rapporten er, at disse omstændigheder tyder på, at ESF-interventionerne sandsynligvis ikke altid har suppleret nationale interventioner. Ifølge forfatterne var der større sandsynlighed for additionalitet — i den forstand, at de ESF-medfinansierede interventioner ellers ikke ville være blevet gennemført — i de tilfælde, hvor ESF-ressourcerne var fokuseret på og koncentreret omkring særlige interventionstyper, og hvor de tilsvarende nationale udgifter og programmer var forholdsvis små og ikke så omfattende som i andre lande med lignende arbejdsmarkedsforhold. Her er det igen svært at se, hvordan denne konklusion uddrages af den dokumentation, der forelægges i kapitlet, især når man tænker på de uoverensstemmelser, der er mellem analysen og dataene i tabellerne.

93. Med hensyn til hypoteserne om ESF’s effekt på systemer opstår der et problem, som minder om det, der blev beskrevet ovenfor. Denne gang hævdes det, at der var stærke beviser for syv hypoteser (84). Også her viser en analyse af de fremlagte data imidlertid, at konklusionen ikke kan underbygges.

Kommissionens samlede vurdering

94. Selv om der tages behørigt hensyn til de begrænsninger, evaluatorerne var underlagt, har Retten en række kritiske kommentarer til Kommissionens egen vurdering af den efterfølgende evaluering, hvor evalueringen som helhed blev betegnet som tilfredsstillende.

95. GD EMPL’s evaluering af rapporten er baseret på otte resultatkriterier og fire mulige kvalitetsniveauer: udmærket, godt, acceptabelt og uacceptabelt. Ingen af de anvendte kriterier giver anledning til en bedømmelse som udmærket eller uacceptabelt. Fire resultater bedømmes som værende gode, nemlig dækning af behov, relevant omfang, forsvarlig udformning og klar rapport. De fire andre resultater bedømmes som værende acceptable. Det gælder pålidelige data, forsvarlig analyse, troværdige resultater og uvildige konklusioner.

96. Det er væsentligt at bemærke, at GD EMPL fandt de sidste fire resultater mindre tilfredsstillende end de første fire. På grund af de problemer, Retten påpeger i denne beretning med hensyn til pålideligheden af dataene og uoverensstemmelserne i den tilhørende tekst, mener den imidlertid ikke, at evalueringsrapporten var tilfredsstillende, især ikke for så vidt angår kriterierne pålidelige data, forsvarlig analyse, troværdige resultater og uvildige konklusioner.

Andre observationer fra de nationale rapporter

97. Retten fremsætter følgende kommentarer til bemærkningerne i de nationale evalueringsrapporter om evalueringsmål og -resultater: a) Evalueringsresultaterne vedrørende effekten på enkeltpersoner er ofte kvalitative, og dødvægtseffekten er ikke altid beregnet. b) Effektaspekter af mere kvalitativ karakter (85), de såkaldt bløde resultater, er ikke blevet undersøgt systematisk. c) Når der ses bort fra de integrerede eller kombinerede metoder, kan der kun drages nogle få generelle konklusioner om de enkelte foranstaltningers resultater. d) Vigtige faktorer såsom bidrag til bæredygtig udvikling og socioøkonomisk samhørighed er ikke blevet vurderet systematisk. e) I evalueringen af de medfinansierede foranstaltninger blev der ikke systematisk udarbejdet særlige konklusioner om målgrupper såsom langtidsledige og unge, der søger ind på arbejdsmarkedet. f) Kun i enkelte tilfælde var det muligt at sammenligne forventningerne med resultaterne. Det svækkede evalueringen generelt, at der ikke var fastlagt specifikke mål og indikatorer, og at der ikke forelå nøjagtige oplysninger. g) Komplementariteten mellem ESF-aktioner og andre aktioner er kun sjældent taget i betragtning i analysen af bestemte resultater. Der blev næsten aldrig foretaget en direkte undersøgelse af de enkelte ESF-støttemodtageres bidrag til produktivitetsforøgelsen i form af fordele for de firmaer, der ansatte dem.

98. De undersøgte nationale rapporter giver ikke altid en grundig analyse af ESF-interventionernes effekt på nationale politikker. Det siges dog generelt, at ESF havde en effekt på udviklingen af aktive arbejdsmarkedspolitiske tiltag, og i nogle tilfælde påvises en konkret, direkte effekt. I andre tilfælde gives der dog en anden vurdering, nemlig at det er svært at påvise, at ESF har ført til ændringer i de aktive arbejdsmarkedspolitiske tiltag.

99. Både i de nationale rapporter og i den sammenfattende rapport gives der en mere eller mindre udførlig beskrivelse af effekten på sådanne systemer som arbejdsmarkedsformidling, grundlæggende uddannelse, videreuddannelse, godkendelsessystemer og mekanismer til forudberegning af behov. Effekten på systemerne indgik ofte i en mere specifik politisk sammenhæng. Generelt var det svært at identificere nettoeffekten af ESF-aktionerne (86). Kun i særlige tilfælde lykkedes det at afgrænse nettoeffekten (87).

100. Med hensyn til den europæiske beskæftigelsesstrategi fremhævede evalueringsrapporterne ESF’s positive indflydelse i nogle medlemsstater, for eksempel Grækenland, Frankrig, Italien, Portugal og Spanien. Det blev imidlertid bemærket i Tysklands tilfælde, at top-down-metoden, som er en del af den europæiske beskæftigelsesstrategi, kunne komme i konflikt med ESF’s bottom-up-metode (88). På et mere generelt plan konkluderes det i den sammenfattende rapport, at den europæiske beskæftigelsesstrategi har skabt en stærkere strategisk ramme for programmering af ESF-interventioner (89).

101. For så vidt angår europæisk merværdi, har de nationale evalueringsrapporter bidraget med nogle relevante resultater (90), selv om nogle af de specifikke spørgsmål ikke er behandlet i en del af de nationale rapporter.

102. De finansielle konsekvenser af politiske valg undersøges sjældent i detaljer. Den sammenfattende rapport indeholder en beregning af enhedsomkostningerne ved nogle foranstaltninger, men beregningen bygger på utilfredsstillende data. Når omkostningsspørgsmål endelig er blevet behandlet, har det været for at belyse potentielt alvorlige forhold, som kræver nærmere analyse. Med hensyn til Spanien anføres det for eksempel, at den omtrentlige fordobling af ressourcerne som følge af ESF-støtten ifølge nogle eksperter har ført til et omfattende spild af midler. De ekstra midler er blevet anvendt til at udvide aktioner og ikke i lige så høj grad til nye foranstaltninger. Tilsvarende anføres det med hensyn til Italien, at der har været betydelige ESF-relaterede transaktionsomkostninger. Der var tale om omkostninger forbundet med gennemførelsen af ESF, med partnerskabsopbygning og med indførelsen af nye forvaltningspraksis (91).

Rettens vurdering af, om evalueringsrammerne er fyldestgørende

103. Følgende hovedemner for evalueringer var specificeret i referencerammerne: De væsentligste karakteristika ved og resultater af programmeringen for 1994-1999, ESF’s effekt i forhold til nationale politikker og ESF-aktioners effektivitet og effekt på enkeltpersoner og systemer.

104. Med det formål at give en kritisk gennemgang af de metodologier, der blev anvendt til vurdering af resultaterne og deres effekt på enkeltpersoner og systemer, udarbejdede Kommissionen en metoderapport, som blev offentliggjort et år senere. Denne rapport skulle danne grundlag for fremtidige evalueringer, men spørgsmålet er, om dette mål virkelig er nået. Rapporten er behæftet med forskellige svagheder. Den er ikke baseret på en tilstrækkelig grundig undersøgelse af metoderne til vurdering at nettoeffekten på enkeltpersoner. Med hensyn til evalueringen af effekten på systemer foreslås der ganske vist en model til klassificering af ESF-udgifter og de forventede virkninger af disse udgifter (kapacitet, funktionalitet og fleksibilitet) (92), men en række spørgsmål er endnu ikke blevet behandlet (jf. rapportens side 35).

105. I metoderapportens afsnit om metoder til evaluering af politik og strategi på ESF-området (93) gives der ingen konkrete anbefalinger om analyse af politikker, der henvises blot til MEANS. Tilsvarende er der ingen omtale af, hvilken metode der skal anvendes til valg af hensigtsmæssige indikatorer på forskellige strategiske niveauer.

106. Det skal bemærkes, at det ikke altid er klart specificeret i referencerammerne, hvilke elementer evalueringsopgaverne skal omfatte. For eksempel er beskrivelsen af evalueringen af effektivitet temmelig abstrakt, især de grundlæggende begreber, valg af mekanismer til måling af effekten og evalueringsteknikker. Navnlig gives der ingen konkrete oplysninger om, hvordan det kan sikres, at den direkte effekt på enkeltpersoner, som er opnået gennem aktiviteterne i de forskellige medlemsstater, kan udnyttes på EU-plan. Ved beskrivelsen af opgaverne er der ikke taget tilstrækkeligt hensyn til, at der kan være uoverensstemmelser mellem de kvantitative mål og de tilgængelige data. Desuden er der ikke truffet konkrete bestemmelser om, at effekten på enkeltpersoner skal evalueres, når der ikke er konkrete indikatorer, eller når der ikke for nylig er foretaget specifikke statistiske evalueringer. De andre metodologiske dokumenter, som blev udarbejdet efter referencerammerne, indeholder heller ikke de ønskede forklaringer.

107. Programmeringsændringer er ikke altid blevet undersøgt tilstrækkeligt. For eksempel blev dette emne ikke behandlet i undersøgelserne vedrørende Nordirland, Merseyside og Spanien. Selv når programmeringsændringer er omtalt, er behandlingen af dem langt fra optimal. I nogle tilfælde har evaluator ikke givet en klar vurdering af de pågældende ændringer og deres hensigtsmæssighed (94).

108. Kommissionen foretog ikke en undersøgelse eller rekognoscering forud for evalueringen, og det har gjort det vanskeligere for den at forudsige de problemer, som evaluatorerne er stødt på.

109. Der er ingen klare beviser for, at styregruppen var tilstrækkelig opmærksom på, at de nationale evaluatorer manglede data, og at dette ville indvirke på kvaliteten af de endelige evalueringer, eller at der var problemer med forsinkelser. Styregruppen traf ingen foranstaltninger til at få gjort noget ved disse problemer.

110. Ligesom det var tilfældet i forbindelse med mål 1-evalueringen, bør Kommissionens tilsyn med evalueringsprocessen forbedres (jf. punkt 75).

Evalueringens anbefalinger

111. Anbefalingerne udarbejdet på grundlag af den efterfølgende evaluering af perioden 1994-1999 går for de fleste medlemsstaters vedkommende på forvaltningssystemer og -procedurer. De berører forskellige emner og passer generelt godt til de specifikke situationer.

112. Et mindre antal anbefalinger med henblik på perioden 2000-2006 omhandler indholdet af de medfinansierede politikker. Når der er fremsat sådanne anbefalinger, forekommer de at være relevante (95).

113. Den sammenfattende rapport indeholder for hvert mål (96) en liste over styrker og svagheder og de vigtigste anbefalinger med henblik på perioden 2000-2006 og perioden efter 2006 (97). Disse er ret generelle, men de forekommer at være gyldige i visse tilfælde. Som eksempler kan nævnes fremhævelsen af de potentielle forskelle mellem EU-15 og EU-10 og den politiske reaktion på territoriale forskelle.

KONKLUSION

114. Evalueringsprocessen er af afgørende betydning, fordi den giver oplysninger om og bedømmelser af, om EU-interventionerne er hensigtsmæssige og relevante, om de opfylder principperne om sparsommelighed, produktivitet og effektivitet og om deres effekt. På denne måde kan den støtte beslutningsprocessen, når der skal fastlægges politiske prioriteter og tildeles ressourcer. For at processen kan blive vellykket, skal der imidlertid være visse forudsætninger til stede, nemlig klare mål for politikker og programmer samt resultatindikatorer, som udarbejdes regelmæssigt, og som er fuldstændige, pålidelige og relevante i forhold til de fastsatte mål. Desuden skal det sikres, at der afsættes tilstrækkelige ressourcer til gennemførelsen af processen, både hvad angår tid og tekniske kompetencer.

115. Ved sin revision af de efterfølgende evalueringer konstaterede Retten en række væsentlige mangler ved den overordnede metode og ved kvaliteten af de foretagne vurderinger: a) De mål, der blev sat i løbet af programmeringsperioden 1994-1999, manglede klarhed og sammenhæng. b) Der fandtes ikke ret mange resultatindikatorer, og der blev kun truffet nogle få foranstaltninger til at afhjælpe denne mangel, for eksempel indsamling af yderligere kvantitative data. c) Som følge heraf var der ikke altid en hensigtsmæssig balance mellem kvantitativ og kvalitativ analyse. d) Dette betød, at der blev draget konklusioner, som ikke var underbygget af tilstrækkelig analyse. e) Samtidig forholdt det sig sådan, at en række temaer, der burde behandles i en efterfølgende evaluering — såsom dødvægt, konvergens og undersøgelse af de temaer, der var fastlagt for hver medlemsstat — ikke altid blev taget i betragtning.

116. Med hensyn til evalueringernes forskellige temaer kan der drages følgende konklusioner om mål 1-evalueringen: a) I vurderingen af de anvendte strategiers hensigtsmæssighed svækkes analysen af alvorlige uoverensstemmelser i den sammenfattende rapports data om sammenligninger af de planlagte udgifter og de anslåede faktiske udgifter. Selv med de begrænsede data, der er tilgængelige, kunne man med en mere dybtgående analyse have forsøgt at belyse sammenhængen mellem investeringer fra den private sektor og strukturfondsudgifter nærmere. b) Resultaterne af effektivitetsundersøgelsen var ikke pålidelige, blandt andet fordi analyserne ikke var tilstrækkelige eller ikke dækkende, og fordi der ikke var taget hensyn til en række vigtige og relevante konklusioner i tematiske studier. c) Produktivitetsundersøgelsen var begrænset til nogle generelle bemærkninger, og evalueringsmålene om fastsættelse af omkostningsbenchmarks og fokusering på kvaliteten af forvaltningen af store projekter blev ikke nået. d) Evalueringen af foranstaltningernes effekt byggede primært på aggregerede makromodeller, som har visse begrænsninger. Den makroøkonomiske model, der blev anvendt (HERMIN), gav ikke mulighed for at foretage de justeringer, som var nødvendige for at tage hensyn til de specifikke forhold i de evaluerede økonomier (såsom eksistensen af en vigtig turistsektor). Desuden var der kritiske begrænsninger forbundet med beregningen af bestemte nøglevariabler (der var valgt proxydata fra undersøgelser af den amerikanske økonomi til beregning af de eksterne virkningers elasticitet i stedet for data fra de relevante europæiske regioner, da der ikke forelå sådanne). Mål 3-evalueringen var delvis baseret på upålidelige eller ufuldstændige data, og der var væsentlige uoverensstemmelser mellem de forelagte data og den tilhørende tekst. Endvidere manglede der overbevisende data til støtte for nogle af de opstillede hypoteser, og det rejser tvivl om den metodologi, der har ført frem til hypoteserne.

117. Mange af manglerne i evalueringerne kan tilskrives de omstændigheder, hvorunder de blev foretaget, især de begrænsede oplysninger og den stramme tidsplan. Det burde have været muligt at forudse disse begrænsninger og enten afsætte de nødvendige ressourcer til evalueringsarbejdet eller begrænse det, så det blev mere overkommeligt. Desuden bør Kommissionens tilsyn med evalueringsprocessen forbedres.

118. Til trods for ovennævnte forhold indeholder de efterfølgende evalueringer relevante observationer, især vedrørende de forvaltningssystemer, der ligger til grund for gennemførelsen af strukturfondene. Men Kommissionen havde alvorlige problemer med at foretage den ønskede, dybtgående analyse af interventionernes effektivitet, produktivitet og effekt, og det skyldtes hovedsagelig begrænsninger som følge af den valgte metode og som følge af, at der ikke var data til rådighed. Da arbejdet begyndte, havde man ikke taget tilstrækkeligt højde for, at indsamling af data kunne give problemer. Disse problemer blev forværret af svagheder i Kommissionens tilsyn med processen. Så selv om der blev fremsat en række relevante og nyttige anbefalinger som input til senere programmeringsperioder, kunne Kommissionen ikke drage det fulde udbytte af erfaringerne fra programmerne i perioden 1994-1999.

ANBEFALINGER

119. De efterfølgende evalueringers omfang og de anvendte procedurer og metoder bør tages op til revision, og det haster temmelig meget, for det bør ske, før de næste kontrakter om efterfølgende evalueringer indgås ved afslutningen af den nuværende programmeringsperiode 2000-2006.

120. Skal man forbedre evalueringsprocessen, er man nødt til at tage fat på spørgsmålet om kvalitet. Kommissionen bør indføre bedre kvalitetskontrolprocedurer og anvende dem effektivt, så de problemer, der blev konstateret i de reviderede evalueringer, ikke gentager sig i fremtidige efterfølgende evalueringer. Sådanne procedurer bør sikre følgende: a) at der regelmæssigt indsamles relevante og pålidelige data, som er tilgængelige på alle trin i evalueringsprocessen b) at referencerammerne er egnede til formålet og giver kontrahenterne mulighed for at anvende hensigtsmæssige metodologier c) at der afsættes tilstrækkelige ressourcer og tilstrækkelig tid til evalueringsprocesserne d) at Kommissionen overvåger og fører tilsyn i det nødvendige omfang, så der sikres god kvalitet i hele processens forløb.

121. For det andet er det særlig vigtigt, at der vælges hensigtsmæssige teknikker til vurdering og måling af den økonomiske effekt. Hvis strukturfondenes effekt analyseres ved hjælp af en makroøkonomisk model, skal modellen tilpasses, så der tages behørigt hensyn til de pågældende økonomiers karakteristiske træk. Dette er især relevant, når evalueringen skal udvides til at omfatte de ti nye medlemsstater. På denne baggrund mener Retten, at det bør genovervejes, om det er hensigtsmæssigt at anvende en metode med en aggregeret makroøkonomisk model (for eksempel baseret på HERMIN-modellen). Kommissionen bør undersøge, om der kan lægges større vægt på modeller, der anvender mikrodata fra projekter. Det er også sandsynligt, at en mere dybtgående evaluering af specifikke temaer kunne gøre det lettere at identificere bedste praksis og give mere viden om særlige emner, for eksempel om effekten af klyngedannelse og om vækstpolers betydning i regional udvikling i forhold til det overordnede konvergensmål.

122. For det tredje skal der lægges større vægt på at få koblet de efterfølgende evalueringer sammen med tematiske studier og på at få sikret, at resultaterne stemmer overens. Stemmer resultaterne tilsyneladende ikke overens, må der gøres noget på dette område. I de reviderede evalueringer var kvaliteten af vurderingerne klart bedre i de tilfælde, hvor evaluatorerne havde beskrevet sådanne sammenkoblinger.

123. For det fjerde anbefaler Retten følgende med henblik på fremtidige vurderinger, især vedrørende mål 1-regioner: a) Der skal fokuseres specifikt på årsagerne til den markante forskel mellem den private sektors bidrag til strukturfondsprojekterne i de forskellige medlemsstater. Det kan give vigtige oplysninger om de faktorer, der fremmer økonomisk udvikling i de forskellige mål 1-regioner. b) Et andet spørgsmål, som er værd at undersøge, er, om man i fremtiden bør gå bort fra tilskudssystemet og i stedet gå over til finansieringstekniske foranstaltninger såsom startkapital- og venturekapitalfonde, lån og rentegodtgørelser, som kan vise sig at være mere bæredygtige og effektive på lang sigt. c) Der skal lægges mere vægt på fastsættelse af enhedsomkostninger og benchmarks for forskellige typer projekter. d) Der bør også lægges mere vægt på ansøgnings- og godkendelsesprocessen for projekter, som det blev påpeget af evaluatorerne. e) I fremtidige efterfølgende evalueringer bør der være mere fokus på interne evalueringer, som er foretaget af de relevante ministerier eller regionale myndigheder.

124. Endelig er det vigtigt, at Kommissionen får styrket sin kapacitet til at føre tilsyn med evalueringsprocessen, herunder anvendelsen af komplekse makroøkonometriske modeller. I den forbindelse ville det være en mulighed, at de relevante generaldirektorater indledte et tættere samarbejde med forskningsinstitutter og universiteter, som er specialiseret i denne form for vurderinger. Hensigtsmæssigt og rettidigt tilsyn med konsulenter er afgørende for at sikre, at målene nås, og at sådanne efterfølgende evalueringer giver valuta for pengene.

125. Retten konkluderer, at arbejdet med efterfølgende evaluering ikke blot skal bestå i at indsamle selvstændige vurderinger med faste mellemrum, men også bør betragtes og forvaltes som en integrerende del af en samlet proces. Også i denne forbindelse kunne et tættere og længerevarende samarbejde med forskningsinstitutter eller universiteter i væsentlig grad bidrage til at skabe en mere effektiv ramme for integrering af de forskellige rapporter og anbefalinger på hvert trin i evalueringsprocessen.

Vedtaget af Revisionsretten i Luxembourg på mødet den 20. juli 2006. På Revisionsrettens vegne Hubert WEBER Formand

(1) SEC(2000) 1051: Meddelelse til Kommissionen »Focus on Results: Strengthening Evaluation of Commission Activities« af 26.7.2000.

(2) MEANS-programmet blev iværksat af Kommissionen som reaktion på kravet om udvikling af en evalueringsmetodologi. MEANS-samlingen består af seks bind om evaluering af socioøkonomiske programmer.

(3) MEANS Collection, No 1, s. 53.

(4) Den Europæiske Fond for Regionaludvikling (EFRU), Den Europæiske Socialfond (ESF), Den Europæiske Udviklings- og Garantifond for Landbruget (EUGFL) og Det Finansielle Instrument til Udvikling af Fiskeriet (FIUF).

(5) Den sammenfattende rapport, s. 53.

(6) I det følgende benævnt »nationale evaluatorer«.

(7) De nationale evalueringer, der blev undersøgt, vedrører: Mål 1: Belgien, Grækenland, Spanien, Tyskland, Italien, Irland, Portugal Mål 3 og mål 1 (ESF): Spanien, Frankrig, Italien, Tyskland, Det Forenede Kongerige.

(8) De samlede beløb er angivet i punkt 5.

(9) Den sammenfattende rapport, s. 61-64.

(10) Den sammenfattende rapport, s. 62.

(11) Anvendes her om den aktive arbejdsstyrke som procentdel af befolkningen i den arbejdsdygtige alder.

(12) Den sammenfattende rapport, tabel 2.1, s. 75, tabel 2.5 og 2.6, s. 88-89.

(13) Den sammenfattende rapport, s. 75.

(14) Tal pr. capita er i denne sammenhæng beregnet i forhold til hele medlemsstatens befolkning.

(15) Millioner euro.

(16) Dataene i rapporten er anvendt til udarbejdelsen af tabel 2. Den beregning giver for medlemsstaterne i tabel 1 det resultat, at summen af de tre kolonner i denne tabel ikke stemmer overens med tallet i kolonnen »I alt«.

(17) Denne vurdering forudsætter, at der inden for en global ramme foretages identifikation og undersøgelse af årsagssammenhængene mellem behovene, de strategiske mål, programmernes/underprogrammernes/foranstaltningernes mål og tildelingen af ressourcer. Den forudsætter i princippet også en rangordning af behovene og af utilfredsstillende socioøkonomiske situationer, som EF-støtterammen tager sigte på at afhjælpe, samt et hierarki af iboende faktorer, som der skal tages hensyn til for at sikre, at ressourcerne målrettes optimalt for at dække behovene.

(18) Kapitel 3.

(19) En tematisk evaluering er en evaluering, hvor der foretages en tværgående analyse af et bestemt punkt (et tema) i forbindelse med flere interventioner inden for et enkelt program eller i flere programmer, som gennemføres i forskellige lande eller regioner.

(20) Thematic Evaluation of the Impact of Structural Funds on Transport Infrastructures, Final Report, november 2000, s. 8.

(21) I Irlands tilfælde indebærer dette resultat, at for hver 100 euro, der blev investeret i form af anlægs- og driftsomkostninger, var værdien af besparelserne i forbindelse med rejsetid, omkostninger til drift af køretøjer og sikkerhedsfordele 13 euro pr. år. Det vil sige, at investeringen faktisk tjente sig selv ind på otte år. (Thematic Evaluation of the Impact of Structural Funds on Transport Infrastructures, s. 8).

(22) Jf. afsnittet om effekt.

(23) Den sammenfattende rapport, s. 105.

(24) Kommentaren hertil var, at dette syntes at være en logisk anbefaling, men at den sammenhæng, hvori den blev givet, viste sig at spille en væsentlig rolle (Den sammenfattende rapport, s. 105).

(25) Den sammenfattende rapport, s. 108.

(26) Den sammenfattende rapport, s. 130.

(27) Ifølge undersøgelsen mener nogle, at den mest effektive mekanisme til oprettelse og bevarelse af arbejdspladser er direkte støtte til produktiv investering, men eftersom der ikke tages hensyn til chance- og substitutionseffekten, mener forfatterne ikke, at den samlede effektivitet kan bedømmes (Den sammenfattende rapport, s. 130).

(28) I et senere afsnit vil konsekvenserne af svage data blive beskrevet og kommenteret generelt.

(29) Referencerammerne, s. 90.

(30) Den sammenfattende rapport, s. 111.

(31) Referencerammerne, s. 11.

(32) Infrastrukturprojekter på over 25 millioner euro og projekter for produktive investeringer på over 15 millioner euro.

(33) Referencerammerne, s. 13.