SL Uradni list Evropske unije C 302/1

POSEBNO POROČILO št. 10/2006

o naknadnih vrednotenjih programov Ciljev 1 in 3 za obdobje 1994–1999 (strukturni skladi), z odgovori Komisije

(v skladu z drugim pododstavkom člena 248(4) ES)

(2006/C 000/01)

KAZALO

Glosar

I–XI POVZETEK

1–9 UVOD

6–9 Okvir vrednotenja

7–9 Osnovni cilji, določeni za vsako vrednotenje

10–14 OBSEG REVIZIJE

15–80 NAKNADNO VREDNOTENJE CILJA 1 S STRANI GD ZA REGIONALNO POLITIKO (GD REGIO)

16–66 Ocena kakovosti vrednotenja, ki jo je izvedlo Sodišče

16 Predhodne pripombe

17–20 Razvoj vprašanj, s katerimi se soočajo regije, od leta 1994

21–28 Primernost sprejetih strategi

29–40 Vrednotenje uspešnosti

41–44 Vrednotenje učinkovitosti

45–53 Vrednotenje vpliva strukturnih skladov

54–66 Vrednotenje upravljavskih sistemov

67–75 Ustreznost okvira vrednotenja

67–70 Projektna naloga

71–75 Ustreznost nadzora s strani Komisije

76–80 Relevantnost priporočil vrednotenja za prihodnja programska obdobja

81–113 NAKNADNO OCENJEVANJE DEJAVNOSTI ESS (V OKVIRU CILJEV 1 IN 3) S STRANI GD ZA ZAPOSLOVANJE IN SOCIALNE ZADEVE (GD EMPL)

82–113 Ocena kakovosti vrednotenja s strani Sodišča

82–87 Pregled pomanjkljivosti podatkov in analize

88 Ocenjevanje vpliva dejavnosti ESS

89 Vrednotenje enakih možnosti

90–93 Drugi preučeni vidiki

94–96 Pripombe o splošni oceni, ki jo je opravila Komisija

97–102 Drugi vpogledi iz nacionalnih poročil

103–110 Ustreznost okvira vrednotenja

111–113 Priporočila, ki zaključujejo vrednotenje

114–118 ZAKLJUČKI

119–125 PRIPOROČILA

PRILOGE:

Priloga I – Razčlenitev pomoči v okviru strukturnih skladov

Priloga II – BDP in stopnja zaposlenosti

Priloga III – Rast BDP in strukturni skladi

Priloga IV – Simulacije HERMIN in brezposelnost

Odgovori Komisije

GLOSAR ADAPT Prilagoditev delovne sile spremembam v industriji (pobuda Skupnosti za spodbujanje zaposlovanja in prilagoditve delovne sile spremembam v industriji) Mrtve izgube Sprememba, opažena med neposrednimi naslovniki po javnih ukrepih pomoči, ali za katero neposredni naslovniki izjavijo, da je posledica javnega ukrepa pomoči, vendar bi do nje prišlo tudi brez ukrepa pomoči. Premestitveni učinek Učinek, dosežen na upravičenem področju na račun drugega področja. ESRR Evropski sklad za regionalni razvoj ESS Evropski socialni sklad Model HERMIN Makroekonomski model, ki se uporablja za simulacije vpliva ukrepov pomoči iz strukturnih skladov Začetno poročilo Poročilo, ki vsebuje metodološka vprašanja, kot so cilji vrednotenja, metodološki okvir, vprašalniki in organizacije, s katerimi je treba stopiti v stik Nadzorni odbori Odbor, ki nadzira strateško izvajanje programa financiranja. RTD Raziskave in tehnološki razvoj MSP Mala in srednje velika podjetja Sintezno poročilo Končni poročili GD za regionalno politiko – GD REGIO (v zvezi s Ciljem 1) in GD za zaposlovanje, socialne zadeve in enake možnosti – GD EMPL (v zvezi s Ciljem 3) o naknadnem vrednotenju dejavnosti, financiranih iz ESRR in ESS

POVZETEK

I. Revizija je zadevala Komisijina naknadna vrednotenja ukrepov pomoči iz strukturnih skladov v regijah Ciljev 1 in 3 v programskem obdobju 1994–1999, ki so skupaj znašali več kot 245 milijard EUR, vključno z dodatnimi naložbami zasebnega in javnega sektorja.

II. Naknadno vrednotenje skuša dejanske dosežke odhodkov primerjati s prvotnimi cilji. Je mehanizem, pri katerem se vpogled, pridobljen v enem programskem obdobju, izkoristi, da so prihodnji odhodki iz strukturnih skladov uspešnejši. Naknadna vrednotenja je izvedla Komisija s pomočjo pogodbenih zunanjih svetovalcev.

III. Cilj revizije je bil pregledati, ali je na koncu naknadnega vrednotenja Komisija lahko ocenila učinke ukrepov pomoči glede na cilje ter ali so bili rezultati in priporočila koristni pri spreminjanju programov od leta 2000 naprej.

IV. Izhodišče revizije so bila končna sintezna poročila za vsak sklad. Ta poročila povzemajo splošno oceno vpliva skladov in zajemajo elemente, ki bi morali biti relevantni pri sprejemanju odločitev za naslednja programska obdobja. Kot naslednji korak je bilo pri reviziji ocenjeno, do kakšne mere je vsaki ugotovljeni nepopolnosti mogoče slediti do slabosti v projektni nalogi (Terms of reference) ali do težav pri izvajanju procesa vrednotenja.

V. Vrednotenje odhodkov iz strukturnih skladov je samo po sebi zapleten proces. Vendar so bile pri reviziji ugotovljene slabosti v procesu vrednotenja, ki jih ni mogoče pripisati zgolj takšnim pripadajočim omejitvam.

VI. Sodišče je pri vrednotenju ukrepov pomoči iz strukturnih skladov v regijah Cilja 1 ugotovilo naslednje slabosti: — odstopanja pri z ukrepi povezanih podatkih, — ocena uspešnosti odhodkov iz strukturnih skladov ni bila dovolj robustna, za kar so bili med drugim krivi omejeni podatki o izložkih in rezultatih, ki jih zberejo države članice, — pri vrednotenju ni v celoti uspelo primerjati stroškov na enoto pri projektih, ki prejemajo pomoč iz strukturnih skladov, — ocena je v veliki meri temeljila na makroekonomskem modelu (HERMIN), ki je vseboval znatne omejitve.

VII. Sodišče je ugotovilo, da je vrednotenje dejavnosti ESS v okviru Ciljev 1 in 3: — deloma temeljilo na nezanesljivih ali nepopolnih podatkih, — prišlo do nekaterih zaključkov, ki niso bili ustrezno podprti z dokazi, zato se poraja dvom v metodologijo, uporabljeno pri sprejemanju zaključkov.

VIII. Zdi se, da Komisija v projektni nalogi (Terms of reference), ki jo je pripravila za vrednotenja, ni predvidela nekaterih z vrednotenji povezanih težav. Komisija tudi ni v celoti odpravila pomanjkljivosti v naknadnem vrednotenju. Ugotovitve Sodišča kažejo na slabosti pri Komisijinem nadzoru vrednotenj.

IX. Po drugi strani so vrednotenja prinesla koristne vpoglede v upravljavske sisteme za ukrepe pomoči, financirane iz ESRR in ESS.

X. Toda kljub nekaterim dobrim in koristnim priporočilom, ki so prispevek za prihodnja programska obdobja, Komisija ni mogla v celoti izkoristiti izkušenj programov iz obdobja 1994–1999.

XI. Sodišče priporoča, da: — Komisija pri prihodnjih vrednotenjih zagotovi, da so razpoložljivi podatki in dodeljeni viri usklajeni z zastavljenimi cilji, ki morajo biti realistični, projektna naloga pa je pripravljena v skladu s tem, — Komisija posveti posebno pozornost tehnikam, uporabljenim za merjenje gospodarskega vpliva skladov. Če uporabi makroekonomski model, mora ustrezno upoštevati značilnosti gospodarstev, ki jih pregleduje. Idealno bi bilo, če bi lahko izkoristila mikro podatke s projektne ravni, — je treba ustrezno upoštevati povezave z drugimi študijami, relevantnimi za vrednotenje strukturnih skladov, — bi bilo v prihodnja vrednotenja koristno vključiti veliko število specifičnih zadev, ki so na primer povezane s prispevki iz zasebnega sektorja, ukrepi „finančnega inženirstva“, ocenjevanjem stroškov projekta, postopki v zvezi s projektnimi vlogami in postopki odobritve projektov ter notranjimi vrednotenji s strani nacionalnih ali regionalnih oblasti, — je treba izboljšati Komisijin nadzor procesa vrednotenja, med drugim prek sodelovanja z raziskovalnimi inštituti in univerzami.

UVOD

1. Komisija od leta 1996 razvija vrednotenje strukturnih skladov znotraj enotnega okvira. Izraz „vrednotenje“ opredeljuje kot „presojanje ukrepov pomoči glede na njihove rezultate, vplive in potrebe, ki jih skušajo zadovoljiti“ (1). Glavni namen dejavnosti vrednotenja je pomagati pri sprejemanju odločitev z zagotavljanjem informacij in presoje o relevantnosti, gospodarnosti, učinkovitosti, uspešnosti, uporabnosti in trajnosti vplivov ukrepov pomoči s strani EU. Takšne informacije so bistvenega pomena za izboljšanje obstoječih ali načrtovanje novih ukrepov pomoči in določanje političnih prednostnih nalog ter dodeljevanje virov.

2. Vrednotenja se izvajajo na različnih ravneh in stopnjah programskega ciklusa (šest let), najpomembnejša pa so: (a) predhodna vrednotenja, ki se opravijo pred izvajanjem ukrepa pomoči, da prispevajo k njegovi zasnovi in stroškovni učinkovitosti; (b) vmesna vrednotenja, ki se opravijo med izvajanjem, da se izboljša upravljanje ukrepa pomoči; (c) naknadna vrednotenja, ki se opravijo po zaključku ukrepa pomoči, da se oceni dosežene rezultate in pridobljene izkušnje.

3. Revizija Sodišča je zadevala naknadna vrednotenja, ki jih je Komisija izvedla v zvezi z ukrepi pomoči iz strukturnih skladov v regijah Cilja 1 in 3 v programskem obdobju 1994–1999. Pri tej reviziji se za obseg naknadnega vrednotenja upošteva opredelitev iz zbirke MEANS (MEANS collection) (2), namreč: „Naknadno vrednotenje povzema in presoja celoto programa, zlasti njegove vplive. Cilj vrednotenja je utemeljiti uporabo sredstev in poročati o uspešnosti in učinkovitosti ukrepov pomoči ter o tem, v kakšni meri so bili doseženi pričakovani učinki. Osredotočeno je na dejavnike uspeha ali neuspeha ter na trajnost rezultatov in vplivov. Skuša priti do zaključkov, ki jih je mogoče posplošiti in uporabiti za druge programe in regije (3)“. Naknadno vrednotenje je bilo ocenjeno glede na ta načela.

4. Naloga naknadnega vrednotenja je del „procesa“, pri katerem se uporabljajo tudi rezultati predhodne ocene in vmesnega pregleda. Razen tega se vrednotenja izvajajo na različnih nacionalnih in tematskih ravneh ter se zaključijo s sinteznim poročilom. Skupaj tvorijo pomemben element upravljanja strukturnih skladov ter zlasti programskega načrtovanja in pregledovanja pomoči Skupnosti. Za proces vrednotenja je odgovorna Komisija (v sodelovanju z državami članicami). Komisija odloča, katere vidike vrednotenja izvede sama in katere prepusti podizvajalcem, v vsakem primeru pa nosi splošno in končno odgovornost za vrednotenja.

5. V obdobju 1994–1999 je pomoč, predvidena v okviru strukturnih skladov (4), za „cilje“ znašala 136,4 milijarde EUR, za „pobude Skupnosti“ pa 14,5 milijarde EUR. V Prilogi I je prikazana razčlenitev prvega zneska po državah članicah in ciljih ter razčlenitev drugega zneska po pobudah Skupnosti. Ta sredstva so bila dopolnjena s še vsaj 95 milijardami EUR dodatnih naložb zasebnega in javnega sektorja (5), tako da je bil celotni obseg naložb več kot 245 milijard EUR.

Okvir vrednotenja

6. Naknadna vrednotenja so bila izvedena v imenu Komisije in pod njenim vodstvom. Po javnem razpisnem postopku je bil za vsak določen sklop ciljev ali pobud Skupnosti izbran glavni svetovalec. V večini primerov je svetovalcu pomagala ekipa izvajalcev vrednotenj v posameznih državah članicah (6), katere naloga je bila opraviti potrebna vrednotenja posameznih programov na podlagi skupnega metodološkega okvira. Poleg tega je proces vrednotenja spremljala usmerjevalna skupina. Rezultat vrednotenj so bila nacionalna poročila, ki so jih pripravili nacionalni izvajalci vrednotenj, in sintezno poročilo, ki so ga pripravili pogodbeni svetovalci za vsak določen sklop ciljev. Ta poročila so bila končana med začetkom leta 2003 in sredino leta 2004.

Osnovni cilji, določeni za vsako vrednotenje

7. Udeleženi generalni direktorati so se odločili za širok pristop, ki je zajel dolg seznam področij. Splošna cilja vrednotenj sta bila: (a) oceniti rezultate in vplive dejavnosti v državah članicah glede na njihove cilje in vplive na osebe in sisteme; (b) analizirati vpliv ukrepov Skupnosti na specifične strukturne težave in uspešnost teh ukrepov ter, kolikor je to mogoče, ugotoviti dodano vrednost pomoči Skupnosti.

8. Za doseganje teh splošnih ciljev je bilo v projektnih nalogah postavljeno veliko število ključnih vprašanj v zvezi s temami primernosti strategije, uspešnosti, učinkovitosti, vpliva, sistemov upravljanja in izvajanja, dodane vrednosti Skupnosti in izkušenj sedanjega programskega načrtovanja za bodoče programsko načrtovanje. Za strukturiranje dela je bilo v nalogah določeno tudi veliko število opredeljenih nalog ter določeno število tehnik in virov informacij.

9. Projektne naloge za vsak cilj, ki jih je pripravila Komisija, so tako zagotovile osnovo za delo izvajalcev vrednotenj. Projektne naloge sta januarja 2002 dopolnila začetno poročilo in metodološki priročnik za Cilj 1. Te so za dejavnosti ESS dopolnjevali poročilo o pregledu in posodobitvi metodologije (decembra 2002) ter vprašanja vrednotenja, vključena v vsako nacionalno poročilo o vrednotenju. Pri sestavljanju vprašanj so se izvajalci vrednotenja opirali na preglede literature, vprašalnike, pogovore z zainteresiranimi stranmi, analize študij primerov in druge raziskave na terenu, kot se je štelo za potrebno.

OBSEG REVIZIJE

10. Splošni cilj revizije je bil pregledati, ali so vrednotenja Komisiji zagotovila ustrezne informacije za oceno učinkov ukrepov pomoči v povezavi s cilji ter ali so rezultati in priporočila koristili pri spreminjanju programov za naslednja programska obdobja.

11. Revizija je bila osredotočena na naknadna vrednotenja v zvezi z ukrepi pomoči iz ESRR v okviru Cilja 1 in ukrepov pomoči iz ESS v okviru Ciljev 1 in 3, ki sta jih ločeno izvedla Generalni direktorat za regionalno politiko (GD REGIO) in Generalni direktorat za zaposlovanje, socialne zadeve in enake možnosti (GD EMPL). Relevantna sintezna poročila in vzorec nacionalnih vrednotenj so bili preučeni glede na te izbrane cilje in instrumente (7), ki so skupaj predstavljali 124 milijard EUR, tj. 82 % skupne predvidene pomoči iz strukturnih skladov v programskem obdobju 1994–1999 (8).

12. Glede vsakega vrednotenja je revizija skušala odgovoriti na tri vprašanja: (a) Je bilo vrednotenje kakovostno? (b) V kolikšni meri so bile za ugotovljene slabosti krive nepopolnosti v okviru in nadzoru vrednotenja? (c) So imela priporočila, ki so izhajala iz vrednotenja, dobro podlago, so bila koristna in primerna za upoštevanje v naslednjih programskih obdobjih?

13. Pri reviziji sta bili zlasti ocenjeni kakovost in celovitost poročil pri vrednotenju primernosti politik, uspešnosti, učinkovitosti in vpliva ukrepov, pa tudi vpliva ukrepov na sisteme upravljanja. Ocenjeno je bilo tudi, ali je Komisija pri pripravljanju, spremljanju in nadzoru vrednotenj igrala ustrezno vlogo.

14. Prvi del tega revizijskega poročila je posvečen naknadnemu vrednotenju ukrepov pomoči iz ESRR v regijah Cilja 1 (odstavki 15 do 80), drugi pa zajema naknadno vrednotenje dejavnosti ESS v okviru Ciljev 1 in 3 (odstavki 81 do 113).

NAKNADNO VREDNOTENJE CILJA 1 S STRANI GD ZA REGIONALNO POLITIKO (GD REGIO)

15. Pred začetkom podrobnega ocenjevanja kakovosti vrednotenja je koristno dodati kratek pregled zaključkov Komisijinega vrednotenja. Ti so povzeti v nadaljnjem besedilu (glej Okvir 1). Okvir 1Splošni zaključki vrednotenja, ki ga je izvedel GD REGIO:V sinteznem poročilu je bilo ugotovljeno, da so imeli strukturni skladi pozitiven vpliv na BDP v regijah Cilja 1 in da se je glede na celotno EU izboljšala njihova splošna uspešnost. V njem je bilo izraženo mnenje, da je bil obseg koristnega vpliva močno odvisen od institucionalnih zmogljivosti in dejavnikov, kot sta struktura in odprtost gospodarstva, ter da „so ti dejavniki očitno bistveni predvsem za zmogljivost gospodarstva pri odzivanju na izzive in priložnosti procesa gospodarskega povezovanja“. Vendar je poročilo ugotovilo, da glede na razlike med državami in konteksti zaradi omejitev razpoložljivih podatkov o spremljanju ter pomanjkanja jasno opredeljenih ciljev ni bilo mogoče zbrati podatkov tako, da bi dali zanesljivo podobo splošnih dosežkov Cilja 1.V smislu splošne ocene primernosti sprejetih strategij je poročilo zaključilo, da je treba na strateški pristop za Cilj 1, sprejet leta 1994, „gledati kot na v veliki meri primernega za vsako državo članico“. V njem je bilo izraženo mnenje: „Najpomembnejša kritika strategij je bila, da skupaj niso pomenile veliko več kot vsoto posameznih delov. Medtem ko je bila vsaka ustrezen odgovor na ugotovljene potrebe na posameznih področjih, je bilo manj jasno, kako so ti različni deli prispevali k skupni razvojni strategiji.“Glede uspešnosti je bilo v poročilu navedeno, da se je analiza zaradi pomanjkljivih razpoložljivih podatkov v veliki meri opirala „na kvalitativne presoje in ne na količinske primerjave rezultatov s cilji“. Kot splošen komentar poročilo navaja: „Več ukrepov, ki so se zdeli najuspešnejši, je bilo v veliki meri najbolj splošne narave. Financiranje je v veliki meri težilo h krepitvi obstoječih vzorcev dejavnosti, povezane z gospodarskim razvojem, ne pa k zagotavljanju osnove za razvoj novih dejavnosti za doseganje opredeljenih ciljev ali spodbujanju inovativnejših pristopov.“Glede vpliva se je poročilo pri ocenjevanju vpliva strukturnih skladov na ekonomsko in socialno kohezijo za večino regij opiralo na makromodelski pristop. Priznalo je dejstvo, da: „Nastajajoči rezultati do neke mere neizogibno izhajajo iz predpostavk procesa modeliranja.“ Poročilo je ugotovilo, da je obseg vpliva v različnih primerih odražal relativno pomembnost in dodelitev sredstev okvira podpore Skupnosti ter dejavnike, kot so začetna faktorska opremljenost, gospodarske strukture, stopnje konkurenčnosti in stopnja „odprtosti“ zadevnega gospodarstva. Oblikovalo je splošne zaključke o vplivu strukturnih skladov glede na druge zunanje dejavnike in navedlo, da je bilo ustvarjenih veliko novih delovnih mest, toda veliki bodo verjetno tudi mrtve izgube in premestitveni učinek.V sintezno poročilo je bil vključen tudi niz ugotovitev o upravljanju in izvajanju. Njegov splošni zaključek glede teh vidikov je bil: Za ureditve upravljanja in izvajanja so pogosto značilne slabosti, na splošno pa ustrezajo namenu in s partnerskim pristopom so bile dosežene znatne koristi. Strukturam odločanja je praviloma spodletelo pri uvajanju močnega strateškega vodstva. Toda s programskim pristopom ter razvojem zmogljivosti in praks upravljanja javnega sektorja so bile dosežene pomembne koristi pri širši „dodani vrednosti.“

Ocena kakovosti vrednotenja, ki jo je izvedlo Sodišče

Predhodne pripombe

16. Pomembno je priznati, da se je širok pristop, ki je bil sprejet, soočal z notranjimi omejitvami, med katerimi so bile poglavitne: časovne omejitve, omejen obseg količinsko določenih ciljev in pomanjkanje podrobnih kazalnikov rezultata/vpliva. Razen tega je bilo pogosto težko ločiti, kateri vpliv je mogoče pripisati neposredno programom in z njimi povezanim ukrepom, ker so ciljne regije pogosto imele korist od drugih dejavnosti, ki se uporabljajo za doseganje podobnih ciljev. Težko je bilo tudi ugotoviti in izmeriti posredne učinke odhodkov iz strukturnih skladov. Vendar Sodišče meni, da določenih slabosti v procesu vrednotenja ni mogoče pripisati samo pripadajočim omejitvam, temveč so jih zakrivile nepopolnosti v procesu vrednotenja, ki jih je treba odpraviti, še posebno pred naknadno oceno programskega obdobja 2000–2006.

Razvoj vprašanj, s katerimi se soočajo regije od leta 1994

17. Sintezno poročilo se začenja s kratko analizo sprememb v BDP na prebivalca, stopenj brezposelnosti in zaposlenosti v različnih zadevnih regijah (9). Poročilo ugotavlja, da: „Zvišane ravni BDP na prebivalca na splošno niso rezultat povečanih stopenj zaposlenosti, ki bi izhajale iz ustvarjanja novih delovnih mest (10).“ Takšen zaključek je za oblikovalce politik potencialno pomemben, saj nakazuje, da izboljšanje stopenj delovne aktivnosti (11) ni bistveno pripomoglo h glavnemu cilju kohezijske politike, zmanjšanju razlik v BDP, kar je zaključek, ki je za strukturne sklade zelo pomemben.

18. Na osnovi informacij, predstavljenih v sinteznem poročilu, je težko presoditi tehtnost zgoraj navedene izjave. V veliko regijah se je BDP na prebivalca zvišal, prav tako pa stopnje delovne aktivnosti. Toda v nekaterih regijah se je ali BDP na prebivalca ali stopnja delovne aktivnosti zmanjšala ali le nekoliko zvišala. Sodišče je oceno, navedeno v odstavku 17 zgoraj, skušalo oceniti z uporabo statističnih tehnik pri podatkih, objavljenih v sinteznem poročilu. Tehnične podrobnosti te analize so navedene v Prilogi II, bistvene točke pa so na kratko povzete v nadaljnjem besedilu.

19. Pridobljeni rezultati kažejo, da so imele spremembe pri zaposlovanju statistično značilen vpliv na realni BDP na prebivalca. Zlasti je bilo povečanje stopnje zaposlenosti za eno odstotno točko povezano s povečanjem BDP na prebivalca za 0,24 odstotne točke v ocenjevanem obdobju. Ta rezultat ni v skladu z zaključkom zgoraj navajanega sinteznega poročila. Poleg tega nakazuje, da bi lahko izboljšanje stopenj delovne aktivnosti dejansko imelo nekaj potenciala za zmanjševanje razlik v BDP, kar je z vidika politike relevanten rezultat.

20. Za podrobnejšo preučitev robustnosti zgoraj navedenega rezultata je Sodišče izvedlo identično analizo 145 regij, za katere so bili podatki dosledno na voljo (tj. ne le za regije Cilja 1). Rezultati, ki so navedeni tudi v Prilogi II, so po vsej Uniji zelo podobni. Kažejo, da informacije, pridobljene iz osnovnih podatkov, niso bile zadostno analizirane, in nakazujejo pomembno razmerje med povečanji BDP in povečanji stopnje zaposlenosti, ki v sinteznem poročilu ni bilo izpostavljeno.

Primernost sprejetih strategij

21. V drugem poglavju sinteznega poročila je preučena primernost strategij, sprejetih glede geografskega ravnovesja in ravnovesja med programi, pa tudi ravnovesja med skladi. Načrtovani in dejanski odhodki programov (12) strukturnih skladov so analizirani po državah članicah in po vrsti sklada, ne pa po relevantnih regijah – za razliko od poročila o BDP na prebivalca ter stopnjah zaposlenosti in brezposelnosti v različnih regijah Cilja 1. To omejuje analizo, ki jo je mogoče izvesti, kot ugotavlja samo poročilo, ko navaja rezultate regresijske analize, ki skuša sredstva EU na prebivalca po državah članicah povezati z BDP na prebivalca (13). V skladu s tem rezultati, navedeni v poročilu, niso statistično značilni in so zato omejene vrednosti.

22. Toda Sodišče je uporabilo nekoliko drugačne statistične tehnike, ampak enake podatke kot poročilo. Tehnične podrobnosti te analize so navedene v Prilogi III, bistvene točke pa so na kratko povzete v nadaljnjem besedilu.

23. Pridobljeni rezultati podpirajo intuitivni zaključek, da čim večja so sredstva EU, zagotovljena na prebivalca, tem večja je rast BDP na prebivalca v državah članicah. Ta rezultat kaže, da je s širšim pristopom mogoče priti do relevantnih ocen celo z nepotrebno omejeno bazo podatkov, uporabljeno na tem pomembnem obravnavanem področju.

24. Osrednji del ocene v tem oddelku sinteznega poročila temelji na primerjavi različnih kategorij načrtovanih odhodkov za leto 1994 in ocene dejanskih odhodkov za leto 1999. Vendar je v predstavljenih podatkih veliko resnih napak ali odstopanj, kar omejuje veljavnost zaključkov, ki jih je mogoče sprejeti. Zlasti je v primeru 5 držav članic znesek dejanskih odhodkov, naveden v stolpcu „skupaj“ (v relevantni tabeli, objavljeni v sinteznem poročilu) drugačen od vsote zneskov, ki so navedeni pod posameznimi stolpci za odhodke EU, odhodke javnega sektorja in odhodke zasebnega sektorja (iz iste tabele). Ta odstopanja so povzeta v Tabeli 1. Odstopanje v odstotkih, prikazano v zadnjem stolpcu te tabele, je značilno in pomeni neustrezno kontrolo kakovosti pri oblikovanju vsebine in rezultatov poročila.

25. Kljub tem odstopanjem preoblikovanje navedenih podatkov na osnovi prebivalca (14) zagotavlja nekaj koristnih ugotovitev, ki se v nekaterih kontekstih razlikujejo od zaključkov sinteznega poročila. V Tabeli 2 so navedeni dejanski odhodki na prebivalca, ki so v vsaki kategoriji razvrščeni od najvišjega do najnižjega.

Tabela 1

Povzetek odstopanj iz odstavka 24

Vsota stolpcev (15) Objavljeni skupni znesek (15) Razlika (15) Odstopanje v odstotkih Nemčija 41 015 48 243 7 228 –15 Italija 34 804 30 547 –4 257 14 Združeno kraljestvo 3 961 4 803 842 –18 Francija 3 339 4 019 680 –17 Avstrija 1 116 1 040 –76 7





Tabela 2

Dejanski odhodki (16)

Dejanski skupni odhodki na prebivalca Odhodki EU na prebivalca Dejanski odhodki javnega sektorja na prebivalca Dejanski odhodki zasebnega sektorja na prebivalca Avstrija 3 866 Irska 1 653 Nizozemska 1 822 Avstrija 2 458 Nizozemska 3 438 Grčija 1 580 Avstrija 1 033 Nemčija 1 299 Nemčija 2 933 Portugalska 1 403 Grčija 739 Nizozemska 1 039 Irska 2 926 Španija 1 143 Irska 703 Belgija 705 Grčija 2 716 Nemčija 884 Portugalska 621 Irska 570 Portugalska 2 472 Avstrija 657 Španija 582 Portugalska 448 Španija 1 725 Italija 652 Francija 485 Grčija 396 Belgija 1 587 Francija 621 Belgija 456 Francija 205 Francija 1 579 Združeno kraljestvo 605 Združeno kraljestvo 381 Združeno kraljestvo 174 Italija 1 445 Nizozemska 578 Nemčija 311 Španija ni na voljo Združeno kraljestvo 1 407 Belgija 427 Italija ni na voljo Italija ni na voljo Povprečje na prebivalca 2 104 1 033 419 377

26. Tabela kaže, da je bilo skupno povprečje dejanskih sredstev 2 104 EUR na osebo. Strukturni skladi EU so k temu prispevali približno polovico, medtem ko so tri od štirih držav članic, ki prejemajo kohezijska sredstva, upravljale približno 50 % več od povprečja 1 033 EUR na prebivalca. Zlasti pomemben je prispevek zasebnega sektorja, še posebno v luči poudarka na dolgoročnih ponudbenih vplivih na regije. Zdi se, da so bile nekatere regije Cilja 1 v državah članicah, kot so Avstrija, Nemčija in Nizozemska, posebej uspešne pri združevanju zasebnih naložb s sredstvi iz strukturnih skladov, saj so zasebne naložbe celo presegle, v primeru Avstrije in Nemčije znatno, povprečni prispevek iz strukturnih skladov EU.

27. Vendar dejavniki, ki prispevajo k večjemu sodelovanju zasebnega sektorja, v poročilu niso bili raziskani. Na primer, je bil to rezultat narave izbranih projektov, spretnosti in znanj razpoložljivih človeških virov ali drugačne vrste pomoči, ki jo prejema zasebni sektor iz skladov? Po mnenju Sodišča so si ti vidiki zaslužili nadaljnje preučevanje.

28. Ocena primernosti je redko temeljila na formaliziranih tehnikah (17) in prakse, ki so jih uporabljali nacionalni izvajalci vrednotenj, so se dokaj razlikovale in bile na splošno v veliki meri opisne. Primernost stopnje, do katere ukrepi pomoči iz strukturnih skladov obravnavajo „tržne nepopolnosti“, je bila redko izrecno predmet naknadnega vrednotenja. Podobno ni bila temeljito preučena primernost sprememb strategije sredi programskega obdobja.

Vrednotenje uspešnosti

29. Specifična poglavja nacionalnih vrednotenj in poglavje 3 sinteznega poročila se ukvarjajo z uspešnostjo strukturnih skladov na podlagi obsega, v katerem so bili pridobljeni pričakovani učinki in doseženi cilji. Raziskanih je pet tem, in sicer promet, mala in srednje velika podjetja (MSP), raziskave in razvoj, izobraževanje in usposabljanje ter razvoj podeželja. Preučeni sta tudi dve horizontalni temi v zvezi z okoljem in enakimi možnostmi.

30. Analiza temelji na vzorcu 70 % vrednosti programov Cilja 1. Vendar so bile velikega poudarka deležne kvalitativne ocene, na primer ocenjevanje dodane vrednosti Skupnosti z „da“ ali „ne“. Takšne ocene in mnenja so pogosto razvrščeni preohlapno in niso vedno objektivno preverljivi. Ni se skušalo določiti konkretnejših ciljev s pomočjo opredelitve meril, ki bi lahko bila koristna za ta namen, in ni se zbralo dodatnih podatkov za mikroanalizo. Pomembni oziri za popolnejše ocenjevanje uspešnosti, kot sta učinek mrtvih izgub in premestitveni učinek, pogosto niso bili upoštevani, kadar so bili, pa niso bili analizirani dovolj podrobno.

31. Čeprav so v veliko oddelkih tehtne in koristne ugotovitve, Sodišče za to bistveno poglavje (18) sinteznega poročila na splošno meni, da mu zaradi manjkajočih podatkov in pogosto šibkih zaključkov ter nezadovoljive ali manjkajoče ocene rezultatov drugih tematskih študij, ki jih je naročil GD za regionalno politiko v zvezi s strukturnimi skladi za program 1994–1999, manjka robustnosti.

32. Na primer, v oddelku naknadnega vrednotenja, ki zadeva promet, v tabelah s podatki o dejanskih in ciljnih kilometrih izboljšanih cest, razvrščenih po državah, polovica ciljnih informacij manjka ali je nepopolna, zato je težko priti do robustnega zaključka o dosežkih v primerjavi s cilji. Vendar tematsko vrednotenje (19) vpliva strukturnih skladov na prometne infrastrukture za isto programsko obdobje, na katerega se poročilo pogosto sklicuje, zagotavlja popolnejšo in strožjo oceno rezultatov po državah članicah.

33. Za naknadno oceno je zlasti pomembna ocena vpliva prometnih programov na zaposlenost, ki je navedena v Poročilu o tematskem vrednotenju v zvezi s prometom. Skupni posredni in neposredni vpliv na zaposlovanje je ocenjen na 2,3 milijona delovnih let (20). Poleg tega se za gospodarske koristi prometnih programov, navedene v študiji, ocenjuje, da so pomembne. Za Irsko je navedena gospodarska stopnja donosa za cestne projekte 13 %, za Španijo pa 23 % (21).

34. Ta relevantna zaključka poročila o tematskem vrednotenju v zvezi s prometom v sinteznem poročilu nista upoštevana. Poleg tega je ocena vpliva na zaposlenost v tematskem vrednotenju neskladna z oceno v študiji o naknadnih vrednotenjih. Na podlagi izračunov Sodišča je skupni vpliv strukturnih skladov na zaposlenost v obdobju od 1994 do 1999, ki izhaja iz študije (22) (za katero so bili uporabljeni model HERMIN in ocene drugih regij), 1,62 milijona delovnih mest, kar se ne sklada z oceno o 2,3 milijona delovnih mest v tematskem Poročilu, zlasti ker promet znaša le približno 20 % skupnih odhodkov strukturnih skladov.

35. Za razliko od tega so rezultati tematskega vrednotenja vpliva strukturnih skladov na MSP uporabljeni v sinteznem poročilu, ki navaja: „V tematskem vrednotenju vpliva strukturnih skladov na MSP je priporočeno, da se v prihodnosti izvede preusmeritev z odhodkov v obliki donacij na ukrepe finančnega inženirstva, kot so sredstva izhodiščnega ali tveganega kapitala, posojila in subvencioniranje obrestnih mer, z argumentom, da so te metode dolgoročno bolj trajnostne“ (23). To je pomemben zaključek tematske študije, zato je dobro, da je omenjen v naknadni oceni (24). Toda poročilo se ne ukvarja nadalje s tem vprašanjem, čeprav bi iz tega lahko izšle pomembne implikacije za programe v prihodnosti.

36. Sintezno poročilo navaja, da je tematsko vrednotenje vpliva strukturnih skladov na MSP ocenilo, da se „brez pomoči Skupnosti 70 % naložbenih projektov sploh ne bi izvajalo ali pa bi bili manjšega obsega oziroma odloženi“. Tematsko vrednotenje „ocenjuje tudi, da je takšna pomoč prispevala k nastanku več kot 300 000 dodatnih delovnih mest, celo z upoštevanjem učinkov ‚mrtve izgube’ in nadomestitve. Naknadno vrednotenje Cilja 1 ne more ponovno priti do teh podatkov, ker manjka primerljivih in robustnih podatkov, na katerih bi temeljila takšna ocena (25)“. Zaradi pomena različnosti rezultatov in ker sta bili študiji pripravljeni za istega pogodbenika, se ukvarjali z istim vprašanjem in enakim obdobjem ter bili objavljeni le z razmikom dveh ali treh let, bi bilo treba podrobneje obravnavati razlike med njima.

37. Po zgoraj navedeni izjavi sintezno poročilo v oddelku „Splošna analiza“ navaja oceno števila delovnih mest, ustvarjenih v MSP kot rezultat strukturnih sredstev. „Po razpoložljivih dokazih se zdi, da je Cilj 1 podpiral ustvarjenje približno 800 000 delovnih mest. To je bruto število delovnih mest, pri katerem niso upoštevani učinka nadomestitve in mrtvih izgub ter multiplikacijski učinek. Splošno uspešnost v smislu neto učinkov je nemogoče ugotoviti (26)“. Temu zaključku ni posvečena zadostna pozornost, zlasti v luči ocene iz tematske študije o MSP. Poleg tega tabela v študiji o naknadnih vrednotenjih, v kateri so ustvarjena delovna mesta razčlenjena po državah članicah, ne zagotavlja podrobnosti za Španijo, tako da je navedena ocena očitno nepopolna (27). Ta vidik si je pri naknadnem vrednotenju zaslužil bolj poglobljeno preučitev.

38. V delu „druge teme“, zajetem v sintezno poročilo pod Uspešnost, je koristen, čeprav kratek povzetek različnih s tem povezanih zadev, razdeljen na več naslovov. Toda ena od s tem povezanih omejitev so „pomanjkljivi primerjalni podatki, zaradi česar je lahko nastala le kvalitativna ocena namesto podrobne ocene, ki bi temeljila na projektu (28)“. Del te kvalitativne ocene bi bilo mogoče bolje povezati z drugimi izvajanimi tematskimi študijami, kot je tematsko vrednotenje raziskav in tehnološkega razvoja. V projektni nalogi je navedeno: „Izveden bo pregled literature v širokem obsegu, da se opredelijo ključna vprašanja pri izvajanju strukturnih skladov (29)“. Toda način poročanja o takšnih implikacijah in njihovo povezovanje z naknadnimi ugotovitvami sta pomanjkljiva. V redkih primerih, kjer prihaja do takšnega povezovanja z oceno, je koristnost jasno vidna pri kakovosti poročila.

39. Na primer, naknadna ocena poroča, da je v tematskem vrednotenju raziskav in tehnološkega razvoja navedeno, da bi bilo bolje, če bi bilo težišče dejavnosti usmerjeno na razvoj inovacijskih strategij, specifičnih za regije, da bi tako izkoristili obstoječo kapaciteto raziskav in tehnološkega razvoja, ne pa, da temelji na zaznanih tehnoloških vrzelih. Študija o naknadnih vrednotenjih poroča, da je bilo tako v velikem številu primerov, rezultati pa so bili pri osredotočenosti na lokalne prednosti veliko uspešnejši (30). Ta primer jasno osvetljuje, kako relevantno je graditi na tem, kar so pokazali druga poročila in študije, kot je poudarjeno v merilih, razvitih v programu MEANS in v njegovi posodobitvi, ki so bila omenjena v projektni nalogi za to vrednotenje (31).

40. Nacionalna vrednotenja so redko temeljila na formalizirani ali kvantitativni analizi učinkov. Poleg tega so nacionalni izvajalci vrednotenj redko uporabljali rezultate kvantitativnih analiz, ki so jih izvedli drugi.

Vrednotenje učinkovitosti

41. Pri tem naslovu je bil cilj sinteznega poročila preučiti učinkovitost izvajanja velikih projektov, ki se jih podpira v regijah Cilja 1. Analiza je temeljila na geografsko in tematsko reprezentativnem vzorcu približno 60 velikih projektov (32). Učinkovitost pomeni učinke, dosežene z razumnimi stroški. „Glavni cilj je določiti stroške na enoto, tj. stroške na doseženi izložek. Analiza bi morala obravnavati tudi kakovost upravljanja velikih projektov s strani končnih upravičencev. Na ravni EU bi morali biti stroški na enoto analizirani po vseh regijah Cilja 1. Znatne razlike v stroških na enoto med regijami bi morale biti pojasnjene, kjer je to mogoče, in ugotoviti bi bilo treba razpon primernih stroškov, ki ga je v prihodnosti mogoče uporabiti kot osnovo za primerjave glede na merilo uspešnosti (33)“. Ti cilji so relevantni in tvorijo kritični element učinkovitega upravljanja projektov po vsej EU.

42. Vendar naknadna ocena večinoma ni dosegla teh ciljev. Sintezno poročilo to priznava in pojasnjuje, da je vodjem projektov skoraj nemogoče določiti posamezne sestavne dele projekta, zato niso mogli izračunati stroškov na enoto (34). Tako splošna izjava kaže, da je poznavanje glavnih projektov, financiranih iz strukturnih skladov, tako slabo, da je ta cilj projektne naloge nedosegljiv. Minimum bi bil, da se določijo vsaj primerljivi stroški značilnih izložkov, npr. stroški na kvadratni meter gradnje tovarne ali na kilometer zgrajene ceste.

43. Nekaj delnih rezultatov je predstavljenih v treh tabelah o gradnji cest v državah članicah, okoljskih projektih v Španiji in stroških na ustvarjeno delovno mesto pri industrijskih projektih (35). Vendar je le malo vrednotenja ali analiziranja teh rezultatov, da bi se jih na primer upoštevalo pri vplivu različnih stroškov dela in posebnih geografskih značilnosti, recimo pri gradnji cest.

44. Sintezno poročilo je prišlo do trdnih zaključkov o časovni razporeditvi projektov in spoštovanju omejitev proračuna. Prvič, le tretjina pregledanih šestdesetih projektov je bila končana v prvotno načrtovanem časovnem okviru, več kot tretjina pa jih je imela leto dni zamude. Drugič, približno dve tretjini pregledanih projektov sta prekoračili proračun, od tega pa jih je 20 % stalo več kot 30 % več, kot je bilo prvotno načrtovano. Toda analiza je omejena na nekaj splošnih pripomb in zagotavlja le malo ali nobenega ocenjevanja kakovosti upravljanja s strani končnih upravičencev, kot ga zahteva projektna naloga (36). Poleg tega ni bila ocenjena relativna učinkovitost javno zasebnih partnerstev in uporabljenih razpisnih postopkov.

Vrednotenje vpliva strukturnih skladov

45. Sintezno poročilo trdi, da je osnovni cilj strukturnih skladov vplivati na dolgoročni ponudbeni potencial gospodarstva (37). Ti ponudbeni učinki delujejo po različnih poteh, ki so zasnovane za: (a) Povečanje naložb, da se izboljša fizična infrastruktura kot vložek v proizvodno dejavnost zasebnega sektorja; (b) Povečanje človeškega kapitala zaradi vlaganja v usposabljanje kot vložek v proizvodno dejavnost zasebnega sektorja; in (c) Usmerjanje pomoči iz javnega financiranja v zasebni sektor, da se spodbudijo naložbe ter s tem poveča faktorska produktivnost in zmanjšajo sektorski stroški produkcije in kapitala (38).

46. Poročilo nadaljuje z obravnavanjem pomena tako imenovanih pozitivnih zunanjih učinkov – „pogojev, ko zasebna podjetja uporabljajo dodatne produkcijske faktorje brez vsakih lastnih stroškov“, s čimer se izboljšata produktivnost in stroškovna konkurenčnost gospodarstva. Ti oziri so za naknadno oceno pomembni. Toda sofinanciranje zasebnega sektorja v analizo ni bilo vključeno zaradi negotovosti glede njegovih „gonilnih mehanizmov (39)“. Ta omejeni pristop vodi k resnemu podcenjevanju vpliva določenih odhodkov iz strukturnih skladov, saj izključuje enega od glavnih dolgoročnih ponudbenih učinkov. To jasno prikazuje tudi v sinteznem poročilu predstavljen primer razvojnega podjetja (40), čigar sofinancirani odhodki so pritegnili pomembne dodatne naložbe zasebnega sektorja. Namesto da bi se študija osredotočila na bolj neposredno razviden vpliv odhodkov strukturnih skladov na naložbe zasebnega sektorja, se osredotoča na poskuse, da bi ocenila tako imenovane zunanje učinke, in sicer z dokaj omejenimi tehnikami ocenjevanja, ki so posledica pomanjkanja študij, ki bi izmerile elastičnosti, relevantne za obravnavane regije.

47. Za oceno vpliva strukturnih skladov na ekonomsko in socialno kohezijo je bil za štiri države članice (Grčijo, Irsko, Portugalsko in Španijo) (41) in za regije novih nemških zveznih dežel in Severne Irske (42) uporabljen makroekonomski pristop modeliranja, ki temelji na modelu HERMIN. Namen tega pristopa je bil izmeriti vpliv programov Cilja 1 pri učinkih na BDP in zaposlovanje.

48. Druga možnost pri ocenjevanju bi bila uporaba mikroekonomskih podatkov iz projektov, da bi dobili skupni ali agregatni vpliv strukturnih skladov na temelju regije ali države. Vendar so kljub uporabi standardiziranih zahtev po podatkih po vseh regijah Cilja 1 pri zbiranju mikroekonomskih podatkov težave. Zato prihaja do poskusov, da bi vplive izmerili izključno z makroekonometričnimi modeli, zaradi česar prihaja do številnih omejitev in predpostavk, kar lahko iz spodaj navedenih razlogov pomembno omeji oceno in s tem tudi politične implikacije, ki jih je mogoče izpeljati.

49. Poglavitne težave, ugotovljene s specifično uporabo makromodela HERMIN, uporabljenega v pregledani naknadni oceni, so: (a) Struktura modela preveč poudarja proizvodni sektor, medtem ko so gospodarstva večine obravnavanih regij ali držav v zadnjih 10 letih večji razvoj doživela pri trgovanih storitvah, kot je turizem, in v nekaterih primerih v finančnem sektorju. Gonilni mehanizmi teh storitev se razlikujejo od mehanizmov v proizvodnem sektorju, ki je postal dovzetnejši za vpliv globalizacije. Zato je treba makromodel usmeriti k temu vidiku. Uporabljeni model tega ni omogočal in v poročilu je le malo dokazov, da je bil ta vidik priznan za resno nepopolnost, čeprav je turizem zelo pomemben za gospodarstva velikega števila zadevnih regij. (b) Uporabljeni model temelji na letnih podatkih od leta 1980 naprej. Toda zaradi hitro spreminjajoče se strukture zadevnih regij v vmesnem časovnem okviru je lahko strukturna nestabilnost ocenjenih parametrov pomembna omejitev sprejetega pristopa, ki temelji na makro modelu. Ta vidik ni bil upoštevan. (c) Uporabljajo se načrtovani in ne dejanski odhodki (43), kar bi bilo bolj smiselno pričakovati pri predhodni projekciji kot pri naknadnem vrednotenju. (d) Ocene vpliva so značilno pristranske navzdol zaradi izključitve sofinanciranja zasebnega sektorja iz modela (glej tudi odstavek 46), pa tudi toka naložb zasebnega sektorja, ki je posledica ukrepov pomoči iz strukturnih skladov. Če na primer strukturni skladi zagotovijo pomoč pri gradnji tovarne, vpliv na gospodarstvo regije ni omejen na gradnjo stavbe, temveč je povezan tudi s stalnimi delovnimi mesti, ki so rezultat naložb iz zasebnega sektorja, do katerih pride, ko je tovarna zgrajena. (e) Dolgoročni vpliv, ki ga imajo strukturni skladi na zaloge javne infrastrukture in človeškega kapitala (pozitivni zunanji učinki), igra ključno vlogo pri ocenjevanju vpliva strukturnih skladov v sinteznem poročilu. Model HERMIN zahteva, da se elastičnost zunanjih učinkov pridobi iz drugih specifičnih študij. Toda ker ta elastičnost ni na voljo za nobeno od relevantnih regij EU, je bila uporabljena empirična literatura, ki v veliki meri temelji na regijah ZDA in je, kot omenja samo poročilo, „nekoliko dvoumna glede primerne vrednosti zunanjih učinkov“ (44). Posledično ni jasno, do kakšne mere ocena vplivov temelji na presoji in do kakšne mere na dejstvih. (f) V zvezi z dodatnostjo simulacije modela HERMIN primerjajo situacije z in brez financiranja okvira podpore Skupnosti. Pri možnosti brez financiranja okvira podpore Skupnosti se uporablja predpostavka, da niso porabljena ne sredstva EU ne sofinancirani zneski. Tehtnost takšne predpostavke je vprašljiva (45).

50. Zato se model HERMIN na način, na katerega je bil uporabljen, zdi neprimeren za nalogo ocenjevanja učinkov ukrepov pomoči strukturnih skladov v regijah Cilja 1.

51. Sodišče je rezultate simulacij HERMIN v zvezi s spremembami stopnje brezposelnosti primerjalo s sklopom vnaprej vzpostavljenih hipotez (46). Izid je prikazan v Prilogi IV. V zvezi z brezposelnostjo se ti rezultati močno razlikujejo od rezultatov iz drugih virov.

52. In končno, v veliko primerih ni bilo ovrednoteno, do kakšne mere so bili doseženi vmesni cilji.

53. Glede strateškega cilja konvergence je v sinteznem poročilu omenjeno le, da „splošna konvergenca med državami članicami napreduje, vendar med regijami po vsej Evropi do tega ne prihaja v enaki meri. O tem, ali je konvergenca posledica strukturnih skladov, je mogoče razpravljati (47)“.

Vrednotenje upravljavskih sistemov

54. Upravljavske in izvajalske ureditve, sprejete za programe Cilja 1, igrajo ključno vlogo pri prispevku k uspešnosti, učinkovitosti in vplivu strukturnih skladov. Ta vidik je bil obravnavan tako v projektni nalogi kot v metodološkem priročniku in so ga prevzela tudi nacionalna vrednotenja (48). Nacionalna poročila o vrednotenju so opisala vpliv na upravljavske sisteme, pa tudi ugotovila situacije, kjer bi bili učinki na upravljavske sisteme lahko izrazitejši.

55. Pomembnost te teme je prepoznana tudi v sinteznem poročilu in v oddelku s priporočili (49) je bilo celih 13 od 19 priporočil posvečenih upravljavskim vprašanjem.

56. Sintezno poročilo zagotavlja veliko relevantnih vpogledov v upravljanje strukturnih skladov EU in se sklicuje na več zaključkov tematskega vrednotenja načela partnerstva, ki je bilo izvedeno leta 1999. To zagotavlja povezanost ocenjevanja in nekaj dokazov v podporo ugotovitvam prejšnje študije oziroma proti njim. Toda na velikem številu področij so doseženi zaključki v nasprotju s tematskim vrednotenjem.

57. Sintezno poročilo zagotavlja povzetek povprečnega števila članov nadzornih odborov po državah članicah. Splošno povprečje je bilo 44, toda med najnižjim številom 15 in najvišjim številom 85 je bila velika razlika. Poročilo dejansko meni, da se je na visoko število članov gledalo kot na ključno omejitev učinkovitosti nadzornih odborov, kar je veljalo za vse države članice (50). Nasprotno je tematska študija zaključila, da ni bilo dokazov, ki bi nakazovali izgubo učinkovitosti zaradi večjega članstva. Zaradi pomembnih razlik v zaključkih različnih poročil v zvezi s tem vidikom bi ga bilo primerno temeljiteje analizirati v sinteznem poročilu in pri tem priti do konkretnejših zaključkov.

58. Naslednje področje, ki je bilo povezano s tematskim vrednotenjem, zadeva upravljanje različnih skladov. Obe vrednotenji sta prišli do zaključka, da skladi delujejo po različnih načelih in z različnimi finančnimi zahtevami ter da to omejuje sinergijo med skladi. Ta pomembna ugotovitev odraža poglede, ki jih je že izrazilo Sodišče (51), in poudarja potrebo po prizadevanjih za večjo sinergijo med skladi.

59. Tudi ocena uspešnosti splošnih upravljavskih sistemov kaže nekatere slabosti. Sintezno poročilo navaja: „Po mnenju nacionalnih vrednotenj v nekaj manj kot polovici upravičenih držav članic so bili sistemi upravljanja ustrezni“. To je pomemben rezultat in pričakovati bi bilo mogoče podrobno oceno tako primerov uspeha kot ugotovljenih neustreznosti. Čeprav so nekatera omenjena vprašanja nadalje razdelana, poročilo glede dejanskih ugotovitev na splošno ni jasno.

60. Tematsko vrednotenje načela partnerstva v povezavi s strukturnimi skladi (1999) je ugotovilo, da je to načelo izvajanju strukturnih skladov zagotovilo številne prednosti (52). Sintezno poročilo navaja, da „so te prednosti na splošno priznale tudi države članice, ki so vključene v izvajanje programa Cilja 1 za obdobje 1994–1999, in da je bilo delo v horizontalnem partnerstvu z zadovoljstvom sprejeto kot eden od vidikov ‚dodane vrednosti’ evropskega načrtovanja programov (53)“. To je relevanten rezultat in čeprav so predstavljene bistvene točke različnih primerov, vključno s kratkimi pripombami o negativnih izkušnjah ali težavah, ki so se pojavile, bi bila razprava lahko bolj usmerjena k poudarjanju izboljšav, ki bi bile možne na podlagi omenjenih izkušenj, da načelo partnerstva postane uspešnejše.

61. Postopek projektnih vlog/izbire projektov je opredeljen kot eden od dveh procesov, za katera je bilo najpogosteje navedeno, da sta povzročala administrativne težave. Navedenih je več primerov, kar kaže na pomanjkanje jasnosti postopkov in nujo, da Komisija določi merilo uspešnosti glede na najboljšo prakso. Na vpogled je tabela, ki navaja trajanje procesa izbire projektov po državah, čeprav za tri države članice niso zagotovljeni nobeni podatki. V ostalih državah članicah postopek traja od dveh do devetih mesecev, povprečje pa je pet mesecev. Navedeni dokazi kažejo, da so za racionalizacijo postopka projektnih vlog potrebna dodatna prizadevanja. V tem kontekstu pri izbiri med postopkom, ki temelji na konkurenci, in postopkom čakanja (queuing process) ni bila izvedena nobena temeljita analiza koristi in/ali uspešnosti posameznega od teh postopkov.

62. Upoštevati je treba tudi postopek spremljanja in kontrolni postopek. V sinteznem poročilu je trditev, da „se zdi, da so sistemi finančne kontrole v državah članicah v okviru Cilja 1 v obdobju 1994–1999 delovali relativno dobro, čeprav je bilo leta 1997 potrebnih nekaj popravkov v skladu z novimi finančnimi predpisi. V večini držav članic naj bi bili sistemi finančne kontrole primerni za ta namen in naj bi delovali relativno učinkovito. Kaže, da je bila finančna kontrola na splošno zanesljiva in je upoštevala pravilo 5 % (54)“. Ta ugotovitev ne sovpada z različnimi poročili Sodišča (55), ki kažejo, da je program strukturnih skladov za obdobje 1994–1999 trpel zaradi pomembnih nepopolnosti v finančni kontroli.

63. Drugi element postopka spremljanja, ki povzroča administrativne težave, je povezan s sistemi nefinančnega spremljanja in vrednotenja. Spremljanje je močno grajano. Sintezno poročilo meni, da je „spremljanje ostalo ena od glavnih slabosti kljub poudarku na razvijanju njegove vloge od prvega programskega obdobja. Razpoložljivi podatki so razdrobljeni, nedosledni, preveč osredotočeni na fizične izložke in so pogosto dvomljive zanesljivosti (56)“. Navaja tudi: „Po vseh državah članicah so bili cilji, opredeljeni na začetku programa, premalo količinsko določeni (57)“. Od desetih navedenih držav članic jih je sedem uvrščenih med države z nizko ravnijo količinske določenosti, ena sodi med spremenljive, dve pa med države, kjer je bila raven ustrezna le na začetku programa. Za vsako državo članico je naveden kratek povzetek. Toda dodatnega vpogleda ni na voljo.

64. Navedlo je tudi, da so bili računalniški sistemi, vzpostavljeni za spremljanje programa za obdobje 1994–1999, „pogosto grajani zaradi pomanjkanja integracije med programi in skladi. To je vplivalo na tekočo sposobnost upravljavskih organov za doseganje pregleda nad napredkom znotraj programov, pa tudi povzročilo problem za nadaljnja vrednotenja (58)“. Te ugotovitve tako tudi vzbujajo dvom o tehtnosti zgodnejšega zaključka v poročilu, da je bilo finančno upravljanje programa dobro, čeprav je bilo za informacije o spremljanju, ki so tako pomemben prispevek k postopku upravljanja, ugotovljeno, da so „razdrobljene, nedosledne in dvomljive zanesljivosti“ (56).

65. Sintezno poročilo zagotavlja tudi nekaj kratkih pripomb o tako imenovanih „notranjih vrednotenjih (59)“. Vsebuje naslednjo pripombo: „Ta notranja vrednotenja so izvajala ministrstva ali regionalne oblasti s pomočjo univerz ali zunanjih agencij. Stopnja, do katere je bilo vrednotenje izvedeno, je glede na slabosti v sistemih spremljanja lahko presenetljiva. Morda to odseva opaženo zahtevo po izvajanju dejavnosti vrednotenja, čeprav so bili rezultati pogosto upoštevani pri upravljanju programa (60)“. Glede na to izjavo se zdi, da bi se bilo koristno bolj osredotočiti na ta notranja vrednotenja in graditi na rezultatih, ki so jih dosegla zadevna ministrstva ali regionalne oblasti. Nasprotno sintezno poročilo navaja le nekaj zelo splošnih pripomb, katerih relevantnost za splošno naknadno ocenjevanje je omejena.

66. Za programsko obdobje 2000–2006 sintezno poročilo ugotavlja, da je prišlo do poskusov reševanja problema spremljanja iz obdobja 1994–1999 (61).

Ustreznost okvira vrednotenja

Projektna naloga

67. Glede na različne težave, ugotovljene v analizi sinteznega poročila, se je treba posebno osredotočiti na prvotno projektno nalogo. Prav tako kot začetno poročilo in metodološki priročnik je vsebovala določene slabosti, zlasti: (a) Ni obravnavala vprašanja pomanjkanja količinsko določenih ciljev. Poleg tega projektna naloga in metodološki priročnik nista v zadostni meri obravnavala maloštevilnosti ustreznih kazalnikov. (b) Podobno ni bilo zahtevano, da izvajalci vrednotenj zberejo dodatne podatke o kazalnikih uspešnosti. Projektna naloga (62) je predvidela izvajanje pregleda na terenu „po potrebi, če podatki v državah članicah niso na voljo“, vendar ta točka v metodološkem priročniku (63) ni bila podrobneje opredeljena. (c) Premalo je bila poudarjena potreba po oceni neto učinkov (64), z izjemo nekaterih gospodarskih vplivov. (d) Projektna naloga je premalo poudarila vprašanje učinkov uspešnosti in zlasti mrtvih izgub. To je obžalovanja vredno, saj mrtve izgube pogosto štejejo za relevanten dejavnik na pomembnih področjih, kot so subvencije za poslovne naložbe, neposredna pomoč zaposlovanju in poklicno usposabljanje, ki olajšuje dostop do zaposlitve. (e) Premajhna pozornost je bila posvečena analizi možnih povezav med primernostjo strategije, uspešnostjo in vplivom (65). Podobno ni bilo veliko prizadevanj, da bi se opredeljene cilje, četudi ne količinsko določene, povezalo z razvrstitvijo potreb, ki jih skuša reševati okvir podpore Skupnosti. (f) Razen uporabe modela HERMIN in omembe analize kritične incidence, predlagane za „študije primerov (66)“, v projektni nalogi in začetnem poročilu niso bile predlagane nobene druge tehnike vrednotenja. (g) Za „vprašanja, specifična za posamezne države“, opredeljena v projektni nalogi (67), ni bila jasno navedena metodologija, ki naj bi se uporabljala.

68. Poleg tega krepitev ekonomske in socialne kohezije v EU ter konvergenca v manj razvitih državah članicah v projektni nalogi nista bili ustrezno prednostno obravnavani, čeprav sta med glavnimi cilji strukturnih ukrepov. Začetno poročilo je vključevalo nekaj vprašanj o uporabljenih razvojnih modelih, omejitvah rasti, ki jih je treba obravnavati, in kanalih, po katerih je mogoče pričakovati vpliv na regionalno gospodarstvo (68). Vendar bi naknadno vrednotenje idealno vsebovalo empirične študije o konvergenci med regijami in zmanjšanju razlik kot rezultat dejavnikov, kot so naložbe v infrastrukturo ter razvoj izobraževalnega sistema in zmogljivosti na področju raziskav in razvoja.

69. Poleg tega bi bilo kot enega od ciljev vrednotenja primerno opredeliti in analizirati specifične študije primerov, ki predstavljajo merila uspešnosti regionalnih razvojnih politik, na primer na področju zbiranja (clustering) ali žarišč rasti (growth hubs).

70. Ob začetku vrednotenja je bilo vprašanje primernosti strategije obravnavano prek seznama zadev in vprašanj. Toda smernice vrednotenja, ki sta jih zagotovila projektna naloga (69) in metodološki priročnik, niso bile dovolj natančne ali konkretne.

Ustreznost nadzora s strani Komisije

71. (Splošna) pogodba med Komisijo in svetovalci, izbranimi za izvajanje vrednotenja, je določila, da bodo ti zagotavljali tehnično pomoč pri vrednotenju pod nadzorom uradnikov Komisije in v okviru njihove odgovornosti. Kakovost vrednotenja naj bi ocenila Komisija na osnovi meril, razvitih v okviru programa MEANS.

72. Usmerjevalna skupina pod vodstvom GD REGIO, ki je vključevala predstavnike drugih generalnih direktoratov, je sodelovala pri sestavljanju projektne naloge, odobritvi metodologije in podrobnega delovnega načrta (v začetnem poročilu) ter preučevanju nacionalnih poročil in sinteznega poročila. Za pomoč je bila imenovana komisija štirih izvedencev, katere poglavitni cilj je bil zagotavljanje izdelave visokokakovostnih vrednotenj. Toda njihov poseg je bil prepozen, zato ta postopek ni mogel privesti do znatnih izboljšav pri kakovosti vrednotenja.

73. Pogodbeno dogovorjeni časovni načrt ni bil upoštevan. Različna poročila so bila oddana z zamudo, zato končno sintezno poročilo in nacionalna poročila Komisiji niso bila predložena v načrtovanem dvanajstmesečnem roku, tj. do 12. novembra 2002, temveč šele aprila 2003, objavljena pa so bila maja 2003. Kaže, da je bil časovni načrt od samega začetka pretirano omejen in ni vseboval zadostnih časovnih rezerv za obravnavanje relativno velikega števila sprememb/dopolnil k poročilom, ki so jih zahtevali izvedenci in predstavniki v usmerjevalni skupini. To ima pomembne posledice za naknadna vrednotenja v prihodnosti.

74. Projektna naloga (67) je zahtevala preučitev dveh specifičnih tem po državah članicah in predlagan je bil seznam takšnih tem. Toda nanje se ni posebej osredotočilo nobeno od nacionalnih poročil o vrednotenju. Čeprav posamezna poglavja včasih zagotavljajo statistične podatke ali delno preučitev teh tem, te niso bile predmet specifične raziskave, kot določa projektna naloga.

75. Splošni zaključek je, da je Komisijino nadziranje procesa vrednotenja treba izboljšati. Zlasti bi glede na to, da je bilo pomanjkanje zanesljivih podatkov, kazalnikov uspešnosti in natančno določenih ciljev mogoče predvideti od samega začetka, Komisija morala zagotoviti sprejem primernih ukrepov za odpravljanje te kritične omejitve. Poleg tega bi glede na omejenost časovnega načrta in pripadajoče omejitve moralo biti vrednotenje osredotočeno na bistvene dele, namesto da se je skušalo izvesti tako široko splošno oceno programskega obdobja.

Relevantnost priporočil vrednotenja za prihodnja programska obdobja

76. Glede na težave, opredeljene v prejšnjih oddelkih tega poročila, je bila sposobnost procesa naknadnega vrednotenja za prispevanje koristnih priporočil omejena. Medtem ko je ta proces prispeval le malo priporočil v zvezi z vsebino programa pa je doprinesel veliko relevantnih in preudarnih predlogov izboljšav pri upravljanju strukturnih skladov in njihovem izvajanju (70).

77. Poročilo priporoča, da se „vloga nadzornih odborov premakne v smer strateške usmeritve, ne pa zadev, povezanih s finančnim poslovodenjem (71)“. Toda nadzorni odbori bi morali biti sposobni opravljati obe nalogi, kot zahtevajo predpisi.

78. Vrednotenja so privedla do priporočil za programsko obdobje 2000–2006, ki večinoma obravnavajo vprašanja upravljavskih sistemov. Priporočila zajemajo širok razpon tem in so na splošno primerna za specifične razmere zadevne države.

79. Glede programov za obdobje 2000–2006 so ključne izkušnje, ki jih je mogoče potegniti iz naknadnega vrednotenja predhodnega obdobja, povezane z izvajanjem, zlasti glede dela v zvezi s študijami primerov, pričetega za vrednotenje uspešnosti in učinkovitosti dejavnosti strukturnih skladov.

80. V zvezi z obdobjem po letu 2006 so priporočila iz sinteznega poročila dokaj omejena in splošne narave. Vendar so še vedno relevantna in kot takšna koristna. Na primer, navedeno je, da „bi bilo mogoče bolje izkoristiti neodvisna tekoča vrednotenja, ki zagotavljajo nepristranski zunanji prispevek (72)“. Medtem ko je to preudarno priporočilo, bi bilo koristno, če bi bilo sprejeto pred začetkom pregledovanega naknadnega vrednotenja.

NAKNADNO OCENJEVANJE DEJAVNOSTI ESS (V OKVIRU CILJEV 1 IN 3) S STRANI GD ZA ZAPOSLOVANJE IN SOCIALNE ZADEVE (GD EMPL)

81. Skupaj z vrednotenjem regij Cilja 1, ki ga je vodil GD REGIO, je bilo izvedeno še eno vrednotenje, v tem primeru pod vodstvom GD EMPL, ki je zajelo dejavnosti ESS v okviru Ciljev 1, 3 in 4 ter pobudi Skupnosti Zaposlovanje (Employment) in Adapt. Projektna naloga za slednje naknadno vrednotenje je predvidela uporabo rezultatov, pridobljenih pri vrednotenju regij Cilja 1. Toda kljub organizacijskim ureditvam, namenjenim omogočanju uspešnega usklajevanja med obema vrednotenjema, je le malo dokazov, da je bilo v praksi to doseženo. Okvir 2Splošni zaključki vrednotenja, ki ga je izvedel GD za zaposlovanjeCilj vrednotenja je bil oceniti vpliv dejavnosti ESS v državah članicah na ravni posameznikov in sistemov. Vrednotenje je skušalo tudi analizirati vpliv in uspešnost ukrepov Skupnosti glede specifičnih strukturnih problemov in ugotoviti dodano vrednost Skupnosti. Po metodologiji, sprejeti za obravnavanje teh ciljev, so izvajalce vrednotenja med drugim prosili, da navedejo, ali primeri, ki so jih ocenjevali, potrjujejo veliko število hipotez ali pa tem hipotezam nasprotujejo.Poročilo je ugotovilo veliko število prednosti, ki jih je mogoče povzeti, kot sledi: Velik del financiranja ESS je bil usmerjen k dolgotrajno brezposelnim, kar se je glede na vztrajnost pojava dolgotrajne brezposelnosti štelo za primerno. Izboljšave položaja upravičencev na trgu dela so bile sorazmerne z zadevnimi viri. V več nacionalnih kontekstih je prišlo do pomembnih izboljšav zavodov za zaposlovanje ter zagotavljanja izobraževanja in usposabljanja. Uporabljeni viri so omogočili krepitev določenih prednostnih nalog politike, kot so enake možnosti, prilagajanje delovne sile in ciljna usmerjenost na invalide. Prek ESS je prišlo do povečanega sodelovanja s socialnimi partnerji in regionalnimi organi oblasti. Skladi so na vseh ravneh prispevali k izboljšanju zmogljivosti za upravljanje in izvajanje ukrepov pomoči na trgu dela.Ampak poročilo je ugotovilo tudi številne slabosti: Uvajanje ukrepov je v veliki meri usmerjala razpoložljivost virov, ne pa politika, potekalo pa je vzporedno z relevantnimi orientacijskimi razpravami in ločeno od njih. Ukrepi pomoči so bili v veliki meri osredotočeni na usposabljanje in so bili večinoma dodeljeni ponudnikom storitev, kar v odsotnosti drugih ukrepov ni najučinkovitejši način pomoči dolgotrajno brezposelnim, zato je verjetno, da je bila z ukrepom pomoči povezana visoka stopnja mrtvih izgub. In nazadnje, upravne ureditve so bile dojete kot zapletene, medtem ko so bile ureditve vrednotenja šibke in nestrukturirane.

Ocena kakovosti vrednotenja s strani Sodišča

Pregled pomanjkljivosti podatkov in analize

82. Vpliv ukrepov pomoči iz ESS ima pogosto obliko prispevka ali možnega učinka, ki je neoprijemljiv in ga zato ni lahko količinsko opredeliti (73). Ne glede na ta notranji problem mora biti glavni cilj vrednotenja še naprej ocena vpliva, skupaj z njo pa pregled uspešnosti in učinkovitosti. To je bila naloga naknadnega vrednotenja.

83. Pri prizadevanju za analizo vpliva ukrepov pomoči iz ESS sintezno poročilo zagotavlja ocene števila upravičencev za ESS po državi in po cilju (74). Kot dopolnilo nacionalnih poročil o vrednotenju je naknadno vrednotenje skušalo tudi zagotoviti dokaze za več vnaprej vzpostavljenih hipotez (75). Ti oziri so obravnavani v naslednjih odstavkih.

84. Ena od najosnovnejših zahtev naknadne ocene dejavnosti ESS je povezana s številom upravičencev programa v obdobju 1994–1999. Poročilo zagotavlja tabelo, v kateri je število upravičencev ocenjeno na 52 milijonov. Toda dodatne opombe k tej tabeli vzbujajo resen dvom o navedenih številkah (76). Negotovost glede točnosti podatkov odvrača pozornost od nekaterih koristnih in relevantnih ugotovitev iz drugih delov ocene.

85. Sintezno poročilo (75) zagotavlja ocene vplivov ukrepov pomoči iz ESS na posameznike. Te informacije so potencialno pomembne z več vidikov, vključno z izračunom stroškov na enoto pri programu in ocenami števila upravičencev, ki so po 12 mesecih še vedno zaposleni. Vendar uporabnost teh informacij resno omejujejo nekateri dejavniki, predvsem pomanjkanje pojasnil glede tega, kako so bili podatki izpeljani. Poročilo navaja le: „Podatki za razmerja, uporabljena za izpeljavo teh ocen, so bili pridobljeni iz posameznih preučenih primerov in pregleda literature“ (74). Takšna izjava ne more šteti za zadovoljivo in potrebne so podrobnejše informacije o izpeljavi različnih ocen, da bo bolj razumljiva uporabnost teh številk, kot so merila uspešnosti za stroške na enoto in stopnja uspešnosti programov.

86. Drugi nezadovoljivi vidik je analiza, ki spremlja podatke. Navedbe v oceni se ne ujemajo z vsebino tabele, ki jo spremlja. Na primer, besedilo navaja, da „so bili širše gledano stroški na enoto nižji pri brezposelnih in mladih brezposelnih, na zaposlenega delavca so znašali približno 6 000 EUR, za invalide in dolgotrajno brezposelne pa so bili znatno višji in zelo različni (74)“. Vendar tabela kot najvišje navaja stroške na enoto pri usposabljanju brezposelnih (6 000 EUR), vključevanje invalidov pa je navedeno med najnižjimi stroški (4 000 EUR). Poleg tega je običajna praksa, da se navede variacijski razpon, če naj bi se med programi in znotraj njih pojavljale „velike variacije“. Analiza v tem oddelku je omejene vrednosti, ker se pretirano opira na omejitev ocene na eno samo številko, namesto da bi opredelila relevanten razpon vrednosti in zagotovila celostnejšo analizo teh razponov, ugotovljenih v različnih preučenih primerih.

87. Neujemanje pojasnil z navedenimi podatki se pojavlja tudi v drugih delih poglavja 3 (za primere glej Okvir 3 spodaj). Okvir 3Na primer, navedeno je: „Odhodki iz ESS na prebivalca so bili najvišji na Irskem, Portugalskem in v Grčiji (v celoti države Cilja 1) ter v Španiji (1)“. Toda Tabela 3.1 letne odhodke iz ESS na prebivalca navaja kot 2 086 EUR za Portugalsko in 405 EUR za Nemčijo, medtem ko je za Irsko naveden podatek 12 EUR, za Grčijo pa 17 EUR. Podatki v tabeli se očitno ne ujemajo z besedilom. Še bolj pomenljiva je izjava: „Odhodki iz ESS za izobraževanje so bili glede na nacionalne odhodke v vseh državah nižji od odhodkov glede na aktivne politike trga dela. Najvišji so bili v Grčiji in na Portugalskem (2)“. Vendar je v Tabeli 3.1 za Grčijo v relevantnem stolpcu, ki navaja odhodke iz ESS za izobraževanje glede na nacionalne odhodke, navedeno, da nima odhodkov iz ESS.Na primer, v odstavku 3.2.3 (3) je navedeno: „Nacionalni odhodki za usposabljanje za trg dela kot delež BDP so znašali od 0,2 % za Luksemburg do 0,58 % za Švedsko (4)“. Ampak v Tabeli 3.3 so odhodki za usposabljanje na Danskem prikazani kot 0,94 % BDP, kar je skoraj dvakrat več kot za Švedsko. Še en primer je odstavek 3.2.6 (5), ki obravnava odhodke za vključevanje invalidov. V besedilu je najti naslednjo izjavo: „ESS je bil zlasti pomemben na Portugalskem, v Španiji, Grčiji in Avstriji.“ Toda v Tabeli 3.6 je za Španijo in Grčijo navedeno, da nimata nobenih odhodkov iz ESS za invalide. Nadaljnji primer je najti v odstavku 3.2.7, ki obravnava odhodke za izobraževanje. Navedeno je: „Prispevek ESS je bil najpomembnejši v Grčiji, na Irskem in Portugalskem (6).“ Vendar je v Tabeli 3.7 za Grčijo navedeno, da ni imela odhodkov iz ESS za izobraževanje in usposabljanje.(Sintezno poročilo: (1) str. 78; (2) str. 79; (3) str. 81; (4) str. 81; (5) str. 84; (6) str. 85.)

Ocenjevanje vpliva dejavnosti ESS

88. Izvajalce vrednotenja, ki so sodelovali pri študiji, so prosili, naj navedejo, ali ocenjeni primeri potrjujejo številne hipoteze, oblikovane na podlagi prvotnega pregleda literature, in ugotovitve začetne faze vrednotenja, ali pa jim nasprotujejo. Študija trdi, da „za štiri hipoteze obstajajo močni dokazi v podporo“ (glej Tabelo 3 (77)). Vendar prikazani podatki ne potrjujejo trditve o močnih dokazih v podporo. Na primer, le 7 od 30 izvajalcev vrednotenj je menilo, da za prvo hipotezo obstajajo „močni dokazi v podporo“. Na mestu bi bilo objektivnejše vrednotenje teh rezultatov.

Tabela 3

Ugotovitve glede hipotez, obravnavanih pri pregledovanju primerov vpliva na posameznike

Močni dokazi v podporo Nekaj dokazov v podporo Nobenih dokazov v podporo ali nasprotnih dokazov Nekaj nasprotnih dokazov Močni nasprotni dokazi Na tej stopnji ni mnenja 1. Dosežena stopnja vpliva je v zvezi s tem povezanimi nacionalnimi in regionalnimi tržnimi razmerami (npr. rezultati so odvisni od gospodarskega cikla ter ravni povpraševanja in brezposelnosti). 7 14 8 0 1 0 2. Stopnja vpliva je povezana z značilnostmi ciljnih skupin upravičencev (npr. ukrepi usposabljanja so uspešnejši pri ženskah, ki se ponovno vključujejo v trg dela, in pri izobraženih priseljencih, kot pri nizko kvalificiranih delavcih in mladih). 8 18 3 0 0 1 3. Stopnja vpliva je povezana z vrsto ukrepa. Nekateri ukrepi kažejo visoko raven mrtvih izgub in nekateri so uspešni v majhnem merilu, ne zagotavljajo pa splošnih rešitev. 5 17 6 1 0 1 4. Stopnja vpliva je tesno povezana z vidikom strukture in upravljanja programov, vključno s kakovostjo analiz, ki opredeljujejo natančen obseg ukrepov pomoči (npr. majhni ciljni programi so lahko uspešnejši od programov širokega obsega). 3 17 7 1 0 1

Vrednotenje enakih možnosti

89. Projektna naloga v zvezi z vplivom ESS v obdobju 1994–1999 je zahtevala tudi vrednotenje obsega, v katerem dejavnosti ESS zagotavljajo podporo cilju „enakih možnosti (78)“. S tem vidikom se ukvarja poglavje 7 poročila. Vendar trdi: „Ena od glavnih ugotovitev je, da po spolu razčlenjeni podatki niso bili sistematično zbrani za vsakega od ciljev ESS in vsako od pobud Skupnosti po vsej EU (79)“. To je močno omejilo sposobnost študije za vrednotenje te teme. Ta rezultat je težko sprejeti kot eno od glavnih ugotovitev tega poročila, saj bi to pomanjkljivost razkrila predhodna analiza, zaradi katere bi bilo za odpravo te omejitve treba izvesti delo na terenu in vzorčne analize, ne pa le priti do zaključka, da razčlenjeni podatki niso na razpolago.

Drugi preučeni vidiki

90. Čeprav je bil ukrepom pomoči „sestavljeni ukrepi“ (80) dodeljen znaten odstotek sredstev iz ESS (18 %), ti niso bili specifično pregledani glede vpliva dejavnosti ESS na posameznike. Posledično so zaključki sinteznega poročila dokaj skromni: „Večina dela v zvezi z vrednotenjem kaže na pozitivne izide. Vendar se metode vrednotenja pogosto osredotočajo na ugotavljanje delov programov, ki so najuspešnejši, ne pa na presojanje uspešnosti sestavljenih ukrepov v primerjavi s posameznimi ukrepi pomoči (81)“.

91. Glede vpliva aktivnih politik trga dela, zlasti v zvezi z državami Cilja 1, so bili v sinteznem poročilu sprejeti nekateri zaključki, ne da bi bilo ustrezno pojasnjeno, kako so nastali.

92. Glede relativnega finančnega prispevka ESS sintezno poročilo (82) ugotavlja: „zdi se, da kombinacija dodelitve nacionalnih odhodkov in sredstev iz ESS ni privedla do konvergence vzorcev odhodkov med državami, sprejetje norm, ki povezujejo specifične gospodarske pogoje in razmere na trgu dela, pa ni privedlo do dodelitve sredstev“ (83). Glede na stopnjo napak v relevantnih tabelah in/ali napake v razpravi je težko razumeti, kako je mogoče zagovarjati ta zaključek. Podobno še en pomemben zaključek v tem delu poročila navaja, da: „Te okoliščine nakazujejo, da ni verjetno, da so bili vsi ukrepi pomoči iz ESS dodatni. Bolj verjetno je, da je do dodatnosti v smislu ukrepov pomoči, do katerih ne bi prišlo, če ne bi bili sofinancirani iz ESS, prišlo tam, kjer so bili viri ESS osredotočeni in koncentrirani na posebne vrste ukrepov pomoči in kjer so bili s tem povezani nacionalni odhodki in programi v primerjavi z državami s podobnimi razmerami na trgu dela relativno majhni in manj razviti.“ Tu je znova težko razumeti, kako je iz dokazov, predstavljenih v tem poglavju, lahko nastal tak zaključek, zlasti glede na neujemanje med analizo in podatki, navedenimi v tabelah.

93. Glede hipotez o vplivu ESS na sisteme se pojavlja problem, podoben prej opisanemu. Tokrat naj bi obstajali močni dokazi v podporo sedmim hipotezam (84). Vendar analiza predstavljenih podatkov kaže, da zaključek ni utemeljen.

Pripombe o splošni oceni, ki jo je opravila Komisija

94. Kljub upoštevanju omejitev, s katerimi se soočajo izvajalci vrednotenja, je vseeno treba podati naslednje kritične pripombe na Komisijino lastno oceno naknadnega vrednotenja, ki se je končala z zadovoljivo splošno oceno.

95. Vrednotenje poročila, ki ga je izvedel GD EMPL, temelji na osmih merilih uspešnosti in štirih možnih ravneh kakovosti, namreč: odlično, dobro, sprejemljivo in nesprejemljivo. Nobeno od uporabljenih meril ni ocenjeno kot odlično ali nesprejemljivo. Štiri merila so ocenjena kot dobra, namreč: zadovoljevanje potreb, relevantni obseg, upravičljiv načrt in jasno poročilo. Druga štiri upoštevana merila so ocenjena kot sprejemljiva. Ta so povezana z zanesljivimi podatki, dobro analizo, verodostojnimi rezultati in nepristranskimi zaključki.

96. Pomenljivo je, da je GD EMPL položaj po zadnjih 4 merilih ocenil kot manj zadovoljiv kot po prejšnjih 4. Toda glede na težave, ki se pojavljajo v zvezi z zanesljivostjo podatkov in nedoslednostjo pojasnil k njim, kot je poudarjeno v tem poročilu, Sodišče meni, da je bilo poročilo o vrednotenju nezadovoljivo, zlasti glede zanesljivosti podatkov, dobre analize, verodostojnih rezultatov in nepristranskih zaključkov.

Drugi vpogledi iz nacionalnih poročil

97. Tudi glede nacionalnih poročil o vrednotenju je mogoče dati nekatere relevantne pripombe v zvezi s cilji in rezultati vrednotenja: (a) Rezultati vrednotenja glede na vpliv na posameznike so bili pogosto kvalitativne narave; mrtve izgube niso bile vedno ocenjene. (b) Vidiki vpliva, ki so bolj kvalitativne narave (85) in jih je težko kvantitativno izmeriti (soft outcomes), niso bili sistematično preučeni. (c) Z izjemo celostnega ali mešanega pristopa je iz vrednotenj mogoče izpeljati le malo splošnih izjav v zvezi z uspešnostjo posameznih ukrepov. (d) Pomembni dejavniki, kot je prispevek k trajnostnemu razvoju in socialno-ekonomski koheziji, niso bili sistematično ocenjeni. (e) Ciljne skupine, kot so dolgotrajno brezposelni in mladi, ki se želijo vključiti v delovno silo, niso bile sistematično predmet specifičnih zaključkov v vrednotenju sofinanciranih ukrepov. (f) Le v nekaj primerih je bilo pričakovanja mogoče primerjati z rezultati; vrednotenje sta običajno ovirala pomanjkanje specifičnih prvotnih ciljev in kazalnikov ter nerazpoložljivost natančnih informacij. (g) Dopolnjevanje med ESS in drugimi ukrepi se je pri pojasnjevanju določenih rezultatov le redko upoštevalo. Pomen povečanja produktivnosti posameznih upravičencev za ESS glede na koristi za podjetja, kjer so bili zaposleni, ni bil skoraj nikoli neposredno preučen.

98. V vzorec zajeta nacionalna poročila ne predstavijo vedno temeljite analize vpliva ukrepov pomoči iz ESS na nacionalne politike. Vendar običajno nakazujejo, da je imel ESS vpliv na razvoj aktivnih politik trga dela, v nekaterih primerih pa je bil naveden konkreten, neposreden učinek. Toda v nekaterih drugih primerih je nastala drugačna ocena, namreč da je težko pokazati, da so ESS privedli do sprememb v aktivnih politikah trga dela.

99. Vsako nacionalno poročilo o vrednotenju in sintezno poročilo v bolj ali manj razširjeni obliki opisuje vplive na sisteme v zvezi z zavodi za zaposlovanje, začetnim izobraževanjem in usposabljanjem, stalnim izobraževanjem in usposabljanjem, akreditacijskimi sistemi in mehanizmi za predvidevanje potreb. Vplivi na sisteme so pogosto zadevali specifičnejši kontekst politike. Na splošno je bilo težko ugotoviti neto vpliv dejavnosti ESS (86); le v izjemnih primerih je bil neto vpliv uspešno razmejen (87).

100. V zvezi z evropsko strategijo zaposlovanja so poročila o vrednotenju poudarila pozitiven vpliv ESS v nekaterih državah članicah, kot so Grčija, Francija, Italija, Portugalska in Španija. Toda v primeru Nemčije je bilo ugotovljeno, da lahko pride do navzkrižja med pristopom „od zgoraj navzdol“, povezanim z evropsko strategijo zaposlovanja, in s pristopom „od spodaj navzgor“, ki ga uporablja ESS (88). Na splošnejši ravni je sintezno poročilo prišlo do zaključka, da je evropska strategija zaposlovanja zagotovila močnejši strateški okvir, znotraj katerega se programirajo ukrepi pomoči iz ESS (89).

101. Glede dodane vrednosti Skupnosti so nacionalna poročila o vrednotenju prispevala nekaj relevantnih rezultatov (90), čeprav v nekaterih nacionalnih poročilih niso bila obravnavana nekatera izrecna vprašanja.

102. Finančne posledice odločitev pri politiki so bile redko podrobno obravnavane. Sintezno poročilo vsebuje izračun stroškov na enoto glede nekaterih ukrepov, vendar to temelji na nezadovoljivih podatkih. Kjer so bila vprašanja v zvezi s stroški obravnavana, se zdi, da poudarjajo morebiti resne ugotovitve, ki si zaslužijo nadaljnjo analizo. Na primer, za Španijo se trdi: „Viri, ki so se kot rezultat ESS približno podvojili, naj bi po mnenju nekaterih izvedencev privedli do velike potratnosti pri porabi. Večji vir sredstev se je bolj kot za uvajanje novih ukrepov uporabljal za razširitev dejavnosti.“ Podobno naj bi v Italiji prišlo do z ESS povezanih in omembe vrednih stroškov transakcij, ki se nanašajo na izvajalske zadeve in stroške, povezane z izgradnjo partnerstva in novimi upravljavskimi praksami (91).

Ustreznost okvira vrednotenja

103. V projektni nalogi so bile določene naslednje glavne teme vrednotenja: Osnovne značilnosti in dosežki programskega obdobja 1994–1999; vpliv ESS v zvezi z nacionalnimi politikami ter uspešnost in vpliv dejavnosti ESS na posameznike in sisteme.

104. Komisija je pripravila in leto dni zatem objavila poročilo o metodah, da bi zagotovila kritičen pregled metodologij, sprejetih za ocenjevanje rezultatov in njihovih vplivov na posameznike in sisteme. To poročilo naj bi utiralo pot prihodnjim vrednotenjem, toda vprašljivo je, ali je bil ta cilj uspešno dosežen. V poročilu je več različnih slabosti. Kar zadeva pristope, uporabljene pri ocenjevanju neto vpliva na posameznike, njegova priprava ni temeljila na dovolj temeljitih poizvedbah. Glede vrednotenja vpliva na sisteme poročilo predlaga model za razvrstitev odhodkov ESS in predvidenih z njimi povezanih vplivov (zmogljivost, sposobnost in odzivnost) (92), vendar je nekatera vprašanja treba še obravnavati (glej str. 35 poročila).

105. V poročilu o metodah znotraj konteksta „Metod za vrednotenje politike in strategije na področju ESS (93)“ niso bila predstavljena konkretna priporočila v zvezi z analizo politike, saj je poročilo omenilo le MEANS. Podobno ni bil omenjen pristop, ki ga je treba uporabljati pri izbiri primernih kazalnikov na različnih strateških ravneh.

106. Omeniti je treba, da elementi, relevantni za nekatere naloge vrednotenja, niso vedno jasno navedeni v projektni nalogi. Na primer: Opis nalog je v zvezi z uspešnostjo dokaj abstrakten, zlasti glede s tem povezanih konceptov, izbire mehanizmov za merjenje vpliva in tehnik vrednotenja, ki naj se uporabijo. Zlasti niso konkretno navedene metode posploševanja, na ravni EU, neposrednega vpliva na posameznike, ki ga imajo rezultati dejavnosti v različnih državah članicah. Pri oblikovanju nalog ni bila dovolj upoštevana možnost neujemanja med količinskimi cilji in razpoložljivimi podatki. Poleg tega ni bil predviden noben konkreten ukrep za oceno vpliva na posameznike, če kazalniki niso konkretno vzpostavljeni ali v zadnjem času niso bila izvedena specifična statistična vrednotenja. Drugi metodološki dokumenti, pripravljeni po projektni nalogi, prav tako ne vsebujejo zaželenih pojasnil.

107. Spremembe pri načrtovanju programov niso bile vedno ustrezno preučene. Na primer, to področje ni bilo obravnavano v študijah v zvezi s Severno Irsko, Merseysidom in Španijo. Celo če so bile spremembe v načrtovanju programov navedene, še zdaleč niso obravnavane optimalno. V večini primerov izvajalec vrednotenja ni zagotovil jasne ocene relevantnih sprememb in njihove primernosti (94).

108. Komisija pred vrednotenjem ni izvedla analize ali raziskave, zato težje predvidi težave, s katerimi se srečujejo izvajalci vrednotenj.

109. Ni jasnih dokazov, da se je usmerjevalna skupina v zadostni meri zavedala pomanjkanja podatkov, ki so na voljo nacionalnim izvajalcem vrednotenj, pa tudi ne vpliva, ki ga ima to na kakovost končnih vrednotenj ali težav z zamudami. Usmerjevalna skupina ni izvedla nobenih popravnih ukrepov za odpravljanje te težave.

110. Enako kot pri vrednotenju Cilja 1 je tudi tu potrebno izboljšati Komisijino nadziranje procesa vrednotenja (glej odstavek 75).

Priporočila, ki zaključujejo vrednotenje

111. Pri večini držav članic so priporočila, izpeljana iz naknadnega ocenjevanja za obdobje 1994–1999, v glavnem obravnavala upravljavske sisteme in postopke. Povezana so z veliko različnimi zadevami in so na splošno dobro prilagojena specifičnim situacijam.

112. Za obdobje 2000–2006 je manj priporočil zadevalo vsebino sofinanciranih politik. Kjer pa je do takšnih priporočil prišlo, se zdijo relevantna (95).

113. Sintezno poročilo prinaša seznam prednosti in slabosti za vsak cilj (96) ter glavna priporočila za obdobje 2000–2006 in obdobje po letu 2006 (97). Te izjave so dokaj splošne, čeprav se v nekaterih primerih zdijo tehtne. Tako je na primer pri poudarjanju možnih razlik med EU–15 in EU–10 ter v odzivu politike na razlike med področji.

ZAKLJUČKI

114. Proces vrednotenja je izjemnega pomena pri zagotavljanju informacij in presoje o primernosti, relevantnosti, gospodarnosti, učinkovitosti, uspešnosti in vplivov ukrepov pomoči EU. Na ta način je lahko v podporo procesu odločanja pri določanju političnih prednostnih nalog ter dodeljevanju virov. Za uspešnost procesa pa je treba upoštevati določene predpogoje, namreč jasne cilje politik in programov, kazalnike uspešnosti, ki se pripravljajo redno in so celoviti, zanesljivi in povezani z zastavljenimi cilji. Razen tega je treba zagotoviti, da razpoložljivi viri za izvajanje procesa ustrezajo namenu tako glede časa in tehničnih zmogljivosti.

115. Pri reviziji pregledanih naknadnih vrednotenj, ki jo je opravilo Sodišče, je bilo ugotovljeno veliko število znatnih pomanjkljivosti pri splošnem pristopu, ki je bil sprejet, in pri kakovosti izdelanih ocen: (a) cilji, določeni v programskem obdobju 1994–1999, so bili premalo jasni in koherentni; (b) čeprav je bilo na voljo malo kazalnikov uspešnosti, je bilo sprejetih le malo ukrepov za odpravljanje te nepopolnosti, na primer z zbiranjem dodatnih kvantitativnih podatkov; (c) zato ni bilo vedno doseženo primerno ravnovesje med kvantitativno in kvalitativno analizo; (d) zaradi takšnega položaja so nastali zaključki, ki niso bili podprti z ustrezno analizo; (e) hkrati veliko tem, ki bi si zaslužile obravnavo v naknadnem vrednotenju, kot so mrtve izgube, konvergenca in predlagane teme po državah članicah, ni bilo vedno del vrednotenja.

116. Glede na različne teme vrednotenj je iz vrednotenja Cilja 1 mogoče potegniti naslednje zaključke: (a) pri ocenjevanju primernosti sprejetih strategij so v analizi resna odstopanja v podatkih, objavljenih v sinteznem poročilu, ki so povezana s primerjavo med načrtovanimi in ocenjenimi dejanskimi odhodki. Celo z upoštevanjem omejitev razpoložljivih podatkov bi lahko poskusili izvesti bolj poglobljeno analizo, ki bi bolje osvetlila naložbe zasebnega sektorja, povezane z odhodki iz strukturnih skladov; (b) pregled uspešnosti je bil med drugim premalo robusten in to zaradi neustrezne ali nezadovoljive analize in neupoštevanja nekaterih pomembnih in relevantnih zaključkov tematskih študij; (c) pregled učinkovitosti je bil omejen na nekaj splošnih ugotovitev, medtem ko cilji vrednotenja v zvezi z določanjem stroškovnih meril uspešnosti in izboljšanjem kakovosti upravljanja velikih projektov niso bili doseženi; (d) kar zadeva vrednotenje vpliva ukrepov je vrednotenje temeljilo predvsem na uporabi agregatnih makromodelov, kar predstavlja določene omejitve. Specifični uporabljeni makroekonomski model (HERMIN) ni dovoljeval potrebnih popravkov, ki bi upoštevali posebnosti vrednotenih gospodarstev (kot je obstoj pomembnega turističnega sektorja). Poleg tega so bile tu kritične omejitve pri oceni določenih ključnih spremenljivk (kot je izbor vzorčnih podatkov, pridobljenih iz študij o gospodarstvu ZDA, za izračun elastičnosti zunanjih učinkov, namesto dejanskih podatkov za relevantne evropske regije, ki niso bili na voljo). Vrednotenje Cilja 3 je deloma temeljilo na nezanesljivih ali nepopolnih podatkih, medtem ko so bila med zagotovljenimi podatki in pojasnili o njih resna neujemanja. Poleg tega je bilo premalo prepričljive podpore nekaterim predloženim hipotezam, zaradi česar se poraja dvom v metodologijo, s pomočjo katere so bile dosežene.

117. Veliko pomanjkljivosti vrednotenj izvira iz okoliščin, v katerih so bila izvedena, predvsem omejenosti razpoložljivih informacij in strogih časovnih omejitev, ki so bile določene. Te omejitve bi morale biti predvidljive in vrednotenju bi bilo treba dodeliti potrebne vire ali pa bi moral biti obseg vrednotenja omejen na to, kar je bolj izvedljivo. Razen tega je treba izboljšati Komisijin nadzor procesa nadziranja.

118. Naknadna vrednotenja so vseeno zagotovila nekaj dragocenih vpogledov, predvsem v upravljavske sisteme, povezane z izvajanjem strukturnih skladov. Vendar se je Komisija soočila z resnimi težavami pri zagotavljanju zaželene poglobljene analize uspešnosti, učinkovitosti in vpliva skladov, kar so v veliki meri zakrivile omejitve sprejetega pristopa in omejena razpoložljivost podatkov. Slednja omejitev v začetku vrednotenja ni bila ustrezno predvidena. Te težave so bile še večje zaradi nekaterih slabosti pri Komisijinem nadziranju procesa. Posledično Komisija kljub nekaterim dobrim in koristnim priporočilom, ki so prispevek za prihodnja programska obdobja, ni mogla v celoti izkoristiti izkušenj programskega obdobja 1994–1999.

PRIPOROČILA

119. Nujno je treba izvesti ponovno ocenjevanje obsega, postopkov in pristopa, ki se uporabljajo pri naknadnih ocenjevanjih, preden bo na koncu trenutnega programskega obdobja 2000–2006 izdan naslednji sveženj pogodb za naknadna vrednotenja.

120. Za izboljšanje procesa vrednotenja mora Komisija uvesti in učinkovito uporabljati boljše postopke za kontrolo kakovosti, da se težave pri preučenih vrednotenjih ne bodo ponavljale pri prihodnjih naknadnih ocenjevanjih. Takšni postopki bi morali zagotoviti, da: (a) se redno zbirajo relevantni in zanesljivi podatki ter da so ti na voljo v vsaki fazi procesa vrednotenja; (b) so projektne naloge ustrezne ter zagotavljajo, da izvajalci uporabljajo primerne metodologije; (c) so procesom vrednotenja dodeljeni ustrezni viri in čas; (d) Komisija izvaja primerno spremljanje in nadzor ter tako zagotovi splošno kakovost procesa.

121. Drugič, posebno pozornost je treba nameniti izbiri primernih tehnik ocenjevanja in merjenja gospodarskega vpliva. Če se za analizo vpliva strukturnih skladov uporabi pristop makroekonomskega modeliranja, ga je treba prilagoditi, da ustrezno upošteva značilnosti pregledovanih gospodarstev. To je v položaju, ko bo vrednotenje treba razširiti, da bo zajelo deset novih držav članic, še posebno relevantno. V tej luči Sodišče meni, da je treba ponovno oceniti primernost pristopa agregatnega makroekonomskega modeliranja (npr. kot je pristop, ki temelji na modelu HERMIN). Komisija bi morala raziskati, ali bi se lahko večji poudarek namenil modelom, ki se opirajo na uporabo mikro podatkov, izpeljanih iz projektov. Verjetno je tudi, da bi bolj poglobljeno vrednotenje določenih, specifičnih tem lažje vodilo k ugotovitvi najboljših praks in zagotovilo dodaten vpogled v posebna vprašanja, kot sta na primer vpliv zbiranja (clustering) in pomen žarišč rasti (growth hubs) v regionalnem razvoju v zvezi s splošnim ciljem konvergence.

122. Tretjič, več poudarka je treba nameniti vzpostavljanju povezav med naknadnimi ocenami in tematskimi študijami ter zagotavljanju, da so rezultati dosledni. Če se rezultati zdijo nezdružljivi, se je temu vidiku treba še posebej posvetiti. V pregledovanih vrednotenjih, kjer so povezave razvili izvajalci vrednotenj, se je kakovost ocene opazno popravila.

123. Četrtič, za prihodnja ocenjevanja, posebno za regije Cilja 1, je mogoče dati več priporočil, namreč: (a) Posebej se je treba osredotočiti na razloge za to, da se prispevki zasebnega sektorja strukturnim skladom med državami članicami izrazito razlikujejo. To lahko pomembno osvetli različne gonilne sile gospodarskega razvoja v različnih regijah Cilja 1. (b) Še ena tema, ki jo je vredno raziskati, je, ali bi bilo v prihodnosti treba izvesti preusmeritev z odhodkov v obliki donacij na ukrepe finančnega inženirstva, kot so sredstva izhodiščnega ali tveganega kapitala, posojila in subvencioniranje obrestnih mer, ki so morda dolgoročno bolj trajnostni in učinkoviti. (c) Večjo pozornost je treba posvetiti izračunu stroškov na enoto in določitvi meril uspešnosti za različne tipe projektov. (d) Dodatno pozornost je treba posvetiti tudi postopku projektnih vlog in odobritve projektov, kot so opozorili izvajalci vrednotenj. (e) Relevantna ministrstva ali regionalne oblasti bi morali pri prihodnjih naknadnih ocenjevanjih večjo pozornost nameniti notranjim vrednotenjem.

124. Na koncu, pomembno je okrepiti zmogljivost Komisije za nadzor procesa vrednotenja, vključno z uporabo kompleksnih makroekonometričnih modelov. V tem kontekstu je ena od možnosti, o katerih je treba razmisliti, da relevantni generalni direktorati skušajo tesneje sodelovati z raziskovalnimi inštituti in univerzami, specializiranimi za to področje ocenjevanja. Primeren in pravočasen nadzor pogodbenih svetovalcev je bistvenega pomena za zagotovitev, da se cilji dosežejo in da iz takšnih naknadnih ocen sledi smotrna poraba sredstev.

125. Zaradi tega torej naknadno vrednotenje ne sme biti le zbiranje ločenih, ob določenem času izvajanih ocenjevanj, temveč si ga je treba predstavljati kot sestavni del splošnega procesa in ga kot takšnega tudi upravljati. Tudi pri tem vidiku bi tesnejše in dolgoročno sodelovanje z raziskovalnimi inštituti ali univerzami lahko močno koristilo pri zagotavljanju uspešnejšega okvira, ki bi združeval specifična poročila in priporočila, ki nastanejo v vsaki fazi procesa vrednotenja.

To poročilo je sprejelo Računsko sodišče v Luxembourgu na svojem zasedanju dne 20. julija 2006. Za Računsko sodišče Hubert WEBER Predsednik

(1) SEC(2000) 1051: Sporočilo Komisiji „Težišče na rezultatih: Krepitev vrednotenja dejavnosti Komisije“ z dne 26. julija 2000.

(2) Komisija je program MEANS začela kot odziv na zahtevo po razvijanju metodologije vrednotenja. Zbirko MEANS sestavlja 6 zvezkov o vrednotenju socialno-ekonomskih programov.

(3) Zbirka MEANS, št. 1, str. 53.

(4) Zajema Evropski sklad za regionalni razvoj (ESRR), Evropski socialni sklad (ESS), Evropski kmetijski usmerjevalni in jamstveni sklad (EKUJS) in Finančni instrument za usmerjanje ribištva (FIUR).

(5) Sintezno poročilo, str. 53.

(6) V nadaljevanju „nacionalni izvajalci vrednotenj“.

(7) Preučena nacionalna vrednotenja se nanašajo na: O1 Belgija, Grčija, Španija, Nemčija, Italija, Irska, Portugalska O3 in O1 (ESS): Španija, Francija, Italija, Nemčija, Združeno kraljestvo.

(8) Za skupne zneske glej odstavek 5.

(9) Sintezno poročilo, str. 61–64.

(10) Op. cit., str. 62.

(11) Se nanaša na aktivno delovno silo v odstotkih delovno sposobnega prebivalstva.

(12) Sintezno poročilo, Tabela 2.1, str. 75, Tabeli 2.5 in 2.6, str. 88–89.

(13) Op. cit., str. 75.

(14) Podatki na prebivalca so bili v tem kontekstu izračunani ob upoštevanju celotne nacionalne populacije.

(15) v milijonih EUR

(16) Pri pripravi Tabele 2 so bili uporabljeni enaki podatki, kot so bili objavljeni v poročilu. Zato je razvidno, da se za države članice iz Tabele 1 vsota treh stolpcev v tej tabeli razlikuje od stolpca „skupaj“.

(17) Ta ocena potrebuje opredelitev in pregled znotraj globalnega okvira vzročnih povezav med potrebami, strateškimi cilji, cilji programov/podprogramov/ukrepov in dodelitvijo virov. Načeloma potrebuje tudi razvrstitev potreb in nezadovoljivih socialno-ekonomskih razmer, ki jih okvir podpore Skupnosti skuša odpravljati ter hierarhijo pripadajočih notranjih dejavnikov, ki jih je treba upoštevati za zagotovitev optimalne ciljne usmerjenosti virov k zadovoljevanju potreb.

(18) Poglavje 3.

(19) Tematsko vrednotenje je vrednotenje, ki transverzalno analizira določeno točko (temo) v kontekstu več ukrepov pomoči znotraj enega ali več programov, ki se izvajajo v različnih državah ali regijah.

(20) Tematsko vrednotenje vpliva strukturnih skladov na prometne infrastrukture, končno poročilo, november 2000, str. 8.

(21) Na primer, v primeru Irske ta rezultat pomeni, da je „za vsakih 100 EUR, vloženih v gradnjo in stroške poslovanja, vrednost privarčevanega potovalnega časa, stroškov delovanja vozil in koristi pri varnosti vsako leto znašala 13 EUR. Tako se je naložba v osmih letih uspešno poplačala.“ Op. cit., str. 8.

(22) Glej oddelek o vplivu.

(23) Sintezno poročilo, str. 105.

(24) Natančneje se je pripomba glasila: „Čeprav se to priporočilo zdi logično, se za pomemben ozir izkaže kontekst, v katerem se uporablja“. Op. cit., str. 105.

(25) Op. cit., str. 108.

(26) Op. cit., str. 130.

(27) Če znova navajamo študijo: „Najučinkovitejši mehanizem ustvarjanja in ohranjanja delovnih mest naj bi bila neposredna podpora produktivnim naložbam, čeprav ni mogoče presoditi njene splošne uspešnosti, saj se pri tem ne upošteva učinkov mrtvih izgub in nadomestitve“. Op cit, str. 130.

(28) Implikacije, ki izhajajo iz pomanjkljivih podatkov, in nekaj splošnih pripomb o njih so obravnavane v poznejšem oddelku.

(29) Projektna naloga, str. 90.

(30) Sintezno poročilo, str. 111.

(31) Projektna naloga, str. 11.

(32) Več kot 25 milijonov EUR za infrastrukturo in več kot 15 milijonov EUR za projekte produktivnih naložb.

(33) Projektna naloga, str. 13.

(34) Sintezno poročilo, str. 143.

(35) Sintezno poročilo, Tabele 4.6, 4.7 in 4.8.

(36) Kakor je navedeno zgoraj.

(37) Op. cit., str. 71.

(38) Op. cit., str. 72.

(39) ‚Vključitev sofinanciranja zasebnega sektorja je vprašljive vrednosti za vrednotenje vpliva, ki temelji na uporabi formalnega makro modela, in ker gonilne mehanizme za odhodke sofinanciranja okvira podpore Skupnosti s strani zasebnega sektorja obdajata znatna negotovost in dvoumnost, smo jih izključili iz naše analize’. (Op. cit., str. 71).

(40) Združeno kraljestvo – projekt Speke Garston; v tem primeru je bila pritegnjena dodatna naložba zasebnega sektorja v višini 223 milijonov GBP, pri čemer je bilo ustvarjenih 4 600 delovnih mest pri neposrednem zaposlovanju. Op cit., str. 204.

(41) Štiri države, ki v celoti štejejo kot regije Cilja 1.

(42) V primeru Italije načrtovana izdelava modela HERMIN, predvidena v projektni nalogi, ni bila izvedena zaradi „pogodbenih težav“. Pri preostalih regijah, v katerih model HERMIN ni bil na voljo, se je izvajala tako imenovana ocena „od spodaj navzgor“.

(43) Poročilo navaja: „Idealno bi bilo uporabiti dejanske naknadno realizirane odhodke okvira podpore Skupnosti. Vendar ti niso bili na voljo za vsako državo ali regijo, razdruženi po prednostni obravnavi in na letni osnovi. V interesu enotnosti smo uporabili načrtovane odhodke okvira podpore Skupnosti iz programskih dokumentov, povezanih z okvirom podpore Skupnosti za obdobje 1994–1999. Medtem ko ti navajajo dokaj natančen skupni znesek odhodkov, ne dajejo vedno natančne podobe naknadnega časovnega razporeda odhodkov.“ (Sintezno poročilo, str. 150).

(44) Op. cit., str. 161.

(45) Pravzaprav nekatere študije trdijo, da financiranje s strani EU izrinja nacionalne naložbe, tako da bi bila pot rasti gospodarstva brez financiranja okvira podpore Skupnosti boljša od podobe, pridobljene s simulacijami HERMIN.

(46) Ta analiza občutljivosti je bila izvedena za vzhodno Nemčijo, Španijo, Grčijo, Irsko in Portugalsko.

(47) Sintezno poročilo, str. 183–184.

(48) Ta kažejo pozitiven učinek strukturnih skladov na razvoj večletnega programskega načrtovanja, uporabo zasnove programa in na ciljih temelječega upravljanja, vzpostavitev upravljavskih struktur in postopkov, zlasti sistemov spremljanja in kazalnikov, sistemov zagotavljanja kakovosti javnih naročil, razpisnih postopkov za vladno pomoč, razvoj sistemov vrednotenja, zmogljivosti in kulture, ter postopke za izbiro projektov in kontrolne sisteme za projekte. Strukturni skladi spodbujajo razvoj primernejših struktur in zmogljivosti za obravnavanje razvojnih projektov.

(49) Sintezno poročilo, oddelek 9.1.

(50) Sintezno poročilo, str. 196.

(51) Mnenje št. 2/2005 o predlogu za Uredbo Sveta o splošnih določbah o Evropskem skladu za regionalni razvoj, Evropskem socialnem skladu in Kohezijskem skladu (COM(2004) 492 konč. z dne 14.7.2004) (UL C 121, 20.5.2005, str. 18); Posebno poročilo št. 7/2003 o izvajanju načrtovanja za pomoč za obdobje od leta 2000 do 2006 v okviru strukturnih skladov, odstavek 90 (UL C 174, 23.7.2003, str. 22).

(52) Te so vključevale: večjo uspešnost pri razvijanju in spremljanju programov, uspešnejšo izbiro projektov, večjo legitimnost in preglednost odločitev in postopkov odločanja, večjo zavezanost in lastništvo rezultatov programov itd. Glej tematsko vrednotenje načela partnerstva, str. II.

(53) Sintezno poročilo, str. 188.

(54) Op. cit., str. 218.

(55) Letni poročili za proračunsko leto 2003, odstavki 5.22, 5.32(d), 5.33 in 5.34 (UL C 293, 30.11.2004, str. 162). Letni poročili za proračunsko leto 2004, odstavek 5.30 (UL C 301, 30.11.2005, str. 143).

(56) Sintezno poročilo, str. 224.

(57) Op. cit., str. 219.

(58) Op. cit., str. 221.

(59) V tem kontekstu v povezavi s tekočimi vrednotenji.

(60) Sintezno poročilo, str. 222.

(61) Npr. Op. cit., str. 246. „obstajajo jasni dokazi, da so se sporazumi o partnerstvu poglobili in razširili ter da se odgovornost odločanja vse bolj prenaša na programsko partnerstvo“.

(62) Projektna naloga, str. 16.

(63) Metodološki priročnik, str. 16 in 17.

(64) „Neto“ vplivi se ocenijo tako, da se od bruto vplivov odštejeta vsak učinek mrtvih izgub in vsak premestitveni učinek/učinek nadomestitve.

(65) Zlasti povezavam med rezultati analiz vpliva in analize uspešnosti in primernosti strategije.

(66) Začetno poročilo, str. 7.

(67) Projektna naloga, str. 102–109.

(68) Začetno poročilo, stran 13. Podobno metodološki priročnik vsebuje ključna vprašanja, kot so: „kakšen je bil splošni vpliv strukturnih skladov na podpiranje regionalne konvergence v obdobju 1994–1999? Kakšni so bili ekonomski učinki naložb strukturnih skladov glede konvergence ravni dohodkov?“ (str. 24).

(69) Projektna naloga, str. 94–95 (O1).

(70) Npr. v Op. cit., str. 249, se je zagovarjalo naslednje: Zagotovitev veliko večje diskrecije državam članicam, ki imajo uspešne domače sisteme spremljanja, pri uporabi lastnih zahtev spremljanja v zvezi s pobudami, ki jih podpira EU. To bi znižalo s tem povezane stroške, ugotovljeni podatki pa bi verjetno imeli večji pomen.

(71) Op. cit., str. 249.

(72) Op. cit., str. 251.

(73) Npr. zaradi usposabljanja povečana „prožnost“ delovne sile.

(74) Sintezno poročilo, str. 124.

(75) Op cit., str. 125–126.

(76) Na primer, v opombah je brati, da se podatke za Francijo, ki skupaj znašajo 17 milijonov, „drugič preverja“ zaradi možnosti „dvojnega štetja“, medtem ko podatke za Nizozemsko, ki znašajo 8,7 milijona, prav tako „drugič preverjajo s pomočjo nacionalnih ekip“. Poleg tega je navedeno, da manjka velik del podatkov za Nemčijo, Irsko in Združeno kraljestvo – čeprav je za slednjega navedeno, da ima 7,9 milijona upravičencev, za Irsko pa, da ima 680 000 upravičencev.

(77) V Tabeli 3 je prikazan del Tabele 4.8 iz sinteznega poročila.

(78) Tu se izraz nanaša predvsem na enakost spolov.

(79) Sintezno poročilo, str.173.

(80) Sestavljeni ukrepi vsebujejo intenzivno svetovanje in usposabljanje, delovne izkušnje in usposabljanje ter spodbude za zaposlovanje in usposabljanje.

(81) Op. cit., str. 122.

(82) Odstavek 3.2.8.

(83) Op. cit. str. 86.

(84) Op. cit., str. 144.

(85) Na primer, doseganje kvalifikacij in rezultatov, ki jih je težko kvantitativno izmeriti (soft outcomes), prikazanih v poročilu Združenega kraljestva o vrednotenju (ki predstavljajo „razdaljo, prepotovano proti trgu dela“).

(86) Isto so izjavili nekateri izvajalci vrednotenja (Španija in Italija).

(87) Na primer v španskih primerih.

(88) En tak primer je bil naveden v primeru Nemčije.

(89) Evropska strategija zaposlovanja zlasti spodbuja močnejše povezave med mehanizmi EU za financiranje programov in drugimi instrumenti politike, predpisi in nacionalnimi programi, vključno s pasivnimi politikami trga dela.

(90) Na primer glede Nemčije: podpora ciljem, ki so usmerjeni na prikrajšane dele prebivalstva, trajnostni razvoj, enake možnosti, učinke finančnega vzvodja na nove zvezne dežele. Podobno so bile v drugih nacionalnih poročilih poudarjene različne druge teme.

(91) Nacionalno poročilo, str. 95.

(92) Poročilo o metodah, str. 24–40.

(93) Poročilo o metodah, str. 44–49.

(94) Glej vrednotenja v zvezi s Francijo, Španijo in Italijo.

(95) Primeri so: potreba po močnejši povezavi med načrtovanimi cilji in lokalnim socialno ekonomskim kontekstom (Italija); boljšem ciljnem izbiranju upravičencev (Francija); širitvi integriranih pristopov k ukrepom pomoči (Združeno kraljestvo); širitvi obsega programov na inovativnejše in bolj tvegane ukrepe (Španija); krepitvi ukrepov na podlagi predvidevanj na področju usposabljanja (Španija); usmerjanju večje pozornosti na regije z omejenimi možnostmi tako, da se večja teža nameni spremenljivkam, kot so brezposelnost, dolgotrajna brezposelnost in socialna izključenost (Španija).

(96) Sintezno poročilo, str. 188–189 za Cilja 1 in 3.

(97) Op cit., str. 198–204.

PRILOGA I Razčlenitev pomoči v okviru strukturnih skladov – Razpoložljiva sredstva, povezana z okvirom podpore Skupnosti 1994–1999 (v milijonih EUR) Belgija Danska Nemčija Grčija Španija Francija Irska Italija Luksemburg Nizozemska Portugalska Združeno kraljestvo Avstrija Finska Švedska Skupaj O1 748,50 13 985,30 14 333,90 26 965,80 2 245,40 5 762,30 15 236,20 153,80 14 333,90 2 419,70 171,50 96 356,30 O2 349,40 123,00 1 604,80 2 474,80 3 866,40 1 498,20 15,40 666,20 4 693,40 104,40 165,40 189,30 15 750,70 O3/O4 476,50 308,40 1 990,00 1 888,60 3 282,20 1 757,40 23,60 1 105,70 3 460,50 408,30 354,10 537,60 15 592,90 O5a ribištvo 25,10 143,20 76,30 122,20 194,40 137,60 1,10 47,70 90,80 2,10 23,80 41,40 905,70 O5b 78,90 55,30 1 257,30 680,40 2 293,30 923,30 6,10 153,70 837,20 424,90 201,00 142,70 7 054,10 O6 475,90 26