SL Uradni list Evropske unije C 26/1

POSEBNO POROČILO št. 9/2007

o „ocenjevanju okvirnih programov EU za raziskave in tehnološki razvoj (RTR) – je mogoče pristop Komisije izboljšati?“ z odgovori Komisije

(v skladu z drugim pododstavkom člena 248(4) ES)

(2008/C 26/01)

KAZALO

I–V POVZETEK

1–14 UVOD

1–7 Vloga Evropske unije pri podpiranju dejavnosti RTR

8–14 Ocenjevanje in spremljanje OP

15–18 OBSEG REVIZIJE IN REVIZIJSKI PRISTOP

19–109 REVIZIJSKA OPAŽANJA

19–37 Logika posega, določanje ciljev in kazalniki uspešnosti

38–49 Strategija ocenjevanja

50–68 Organizacija ocenjevanja OP

69–97 Metodologije in tehnike ocenjevanja

98–109 Razširjanje in uporaba ugotovitev ocenjevanja

110–118 SPLOŠNI ZAKLJUČEK

Priloga I: Merjenje učinka in rezultatov javnega posega na področju RTR

Priloga II: Določbe o spremljanju in ocenjevanju v zakonodajnih aktih za OP4 do OP7

Priloga III: Glavne razlike pri naknadnem ocenjevanju raziskovalnih programov med EU (OP4–OP6), ZDA in Kanado

Priloga IV: Možna struktura odborov za OP7

Odgovori Komisije

POVZETEK

I. Okvirni programi Skupnosti za RTR (OP) so največji vir javnega financiranja raziskav v Evropski uniji. Za upravljanje OP in ocenjevanje njihovih rezultatov je odgovorna Komisija.

II. V revizijo so bile zajete ureditve o spremljanju in ocenjevanju, ki veljajo od leta 1995 za vsaj tri programska obdobja (OP4, OP5, OP6), vsebuje pa tudi pogled na OP7 (2007–2013). Revizija je bila izvedena skupaj z revizijskim odborom EFTE in s pomočjo zunanjih strokovnjakov.

III. Predmet revizije je bilo vprašanje, ali je bil pristop Komisije k ocenjevanju OP ustrezen. Sodišče je v okviru tega preverilo, ali je Komisija izpolnjevala pravne zahteve za ocenjevanje in ocenilo, ali je njen sistem za ocenjevanje in spremljanje izpolnil pričakovanja zainteresiranih strani. Sodišče je zastavilo predvsem naslednja vprašanja: (i) ali je pri OP in njihovih programih obstajala osnovna logika posega, ki je nudila dobro podlago za ocenjevanje in spremljanje; (ii) ali je Komisija za OP opredelila strategijo ocenjevanja; (iii) ali je organizacijska struktura Komisijinega sistema ocenjevanja za OP zagotavljala, da je bilo ocenjevanje ustrezno koordinirano, da so bili zanj na voljo ustrezni viri in da je bilo po mnenju zainteresiranih strani dovolj neodvisno; (iv) ali so bile za ocenjevanje uporabljene zadovoljive metodologije in (v) ali so dejavnosti ocenjevanja in spremljanja zagotovile informacije in analizo, ki jih je bilo mogoče uporabiti za izboljšanje tekočih programov in pripravo prihodnjih OP.

IV. Sodišče je prišlo do naslednjih ugotovitev in zaključkov: (i) pomanjkanje jasne logike posega, slabo opredeljeni programski cilji in šibko merjenje uspešnosti so oslabili uspešno spremljanje in ocenjevanje; (ii) ker ni bilo celostne strategije ocenjevanja za OP, dogovorjene med „generalnimi direktorati, povezanimi z raziskavami“, ki izvajajo OP, pristopi različnih služb Komisije niso bili dosledni. To je zlasti razvidno iz nezadostnega ocenjevanja pomembnih delov OP; (iii) ocenjevanje OP je bilo decentralizirano, obstoječi mehanizmi za koordinacijo med generalnimi direktorati, ki izvajajo OP, niso bili uspešni, osrednje službe Komisije pa niso imele pooblastil za uveljavljanje. Vendar so „GD, povezani z raziskavami“ na splošno delovali v skladu z uradnimi zahtevami Komisije glede ocenjevanja. Na splošno je bila uporaba odborov, sestavljenih iz zunanjih strokovnjakov na visoki ravni, ki jih imenuje Komisija pri večjih ocenjevanjih, za kontekst Skupnosti zelo primerna. Vendar ti začasni odbori niso bili dovolj zgodaj vključeni v proces, da bi lahko vplivali na zbiranje dokazov in so imeli le omejene možnosti za redno spremljanje pomembnih vprašanj. Z uporabo skupnega odbora za OP (poleg posebnega odbora za posamezni posebni program) ni bilo dovolj pozornosti posvečene posebnim vprašanjem, povezanim z različnimi znanstvenimi področji v okviru OP; (iv) pripravljene metodološke smernice niso bile ustrezne, ocenjevalci so imeli težave pri zbiranju ustreznih podatkov in ni bilo nobenih ocenjevalnih študij, ki bi obravnavale dolgoročne izide in učinke OP namesto kratkoročnih vprašanj, povezanih z izvajanjem programa, ter (v) zaradi navedenega in ker so bile ocene pogosto pripravljene prezgodaj, da bi bilo mogoče obravnavati najpomembnejša vprašanja, je bila koristnost Komisijinega sistema ocenjevanja OP za nosilce političnih odločitev, za zainteresirane strani in celo za Komisijo, omejena. Kot zadnje, o doseganju programskih ciljev in o rezultatih OP je znanega zelo malo.

V. Sodišče priporoča: (i) da se v prihodnji zakonodaji jasno opredeli logika posega. Treba je pojasniti osnovne predpostavke, razjasniti povezavo med znanstvenimi in socialno-ekonomskimi cilji ter razviti ustrezne kazalnike uspešnosti; (ii) da generalni direktorati, ki izvajajo OP, pripravijo celostno strategijo ocenjevanja (in se o njej dogovorijo). To zlasti pomeni uporabo doslednega pristopa glede minimalne ravni, na kateri mora biti izvedeno podrobno ocenjevanje, da se upoštevajo specifične značilnosti vsakega znanstvenega področja; (iii) razmisliti bi bilo treba o ustanovitvi skupnega urada za ocenjevanje, ki bi koordiniral dejavnosti ocenjevanja „GD, povezanih z raziskavami“ za OP kot celoto, in o vzpostavitvi sistema odborov (in pododborov), sestavljenih iz zunanjih strokovnjakov. Ti odbori bi morali biti ustanovljeni dovolj zgodaj, da bi Komisiji zagotavljali učinkovito pomoč med celotnim programskim obdobjem in po njem; (iv) zahteve glede podatkov za ocenjevanje in spremljanje bi bilo treba ustrezno analizirati in v večji meri uporabiti druge obstoječe vire podatkov. Komisija bi morala tudi racionalizirati zahteve za poročanje, ki veljajo za udeležence. Kot zadnje, za OP bi morala pripraviti izčrpen priročnik za ocenjevanje ter razviti več različnih metodologij in tehnik za ocenjevanje na tem področju, in (v) da Komisija določi vrsto in obseg ocenjevanja, ki ga je mogoče razumno pričakovati ob datumih, določenih v zakonodaji o OP7, ter da pojasni, kako je ocene mogoče uporabiti za prilagajanje programov („programi učenja“) in kako lahko prispevajo k sprejemanju odločitev na področju te politike.

UVOD

Vloga Evropske unije pri podpiranju dejavnosti RTR

1. Raziskave in tehnološki razvoj (RTR) (1) so glavno gonilo znanstvenega in tehničnega napredka in inovativnosti ter kot take pomembno prispevajo k izboljšanju življenjskega standarda. Javni poseg v RTR je na splošno utemeljen kot korektiv za tako imenovane „tržne neuspehe“, pri čemer javna podpora zmanjša negotovost, saj zagotavlja naložbe tam, kjer so raziskave javno dobro ali kjer obstajajo pomembni zunanji vplivi.

2. Vlogo Skupnosti pri podpiranju RTR določa člen 163 Pogodbe ES: „Cilj Skupnosti je okrepiti znanstvene in tehnološke temelje industrije Skupnosti ter jo spodbujati, da postane bolj konkurenčna na mednarodni ravni, pri čemer pospešuje vse raziskovalne dejavnosti, ki se zdijo potrebne …“. V členih 164–173 so določene dejavnosti, ki se izvajajo v ta namen, ter področje uporabe in izvajanje večletnih okvirnih programov za RTR (OP). Za pripravo predlogov za OP je odgovorna Komisija, medtem ko sklepe o OP ter pravila za sodelovanje in razširjanje skupaj sprejmeta Evropski parlament in Svet s postopkom soodločanja. Posebne programe sprejme Svet sam. OP skupaj izvaja šest generalnih direktoratov (GD), to so tako imenovani „GD, povezani z raziskavami“ (2).

3. V širokem razponu politik, ki jih Evropska unija izvaja za krepitev inovativnosti in konkurenčnosti, so OP najpomembnejši finančni instrument, ki na ravni Skupnosti prispeva k uresničevanju lizbonske strategije (3) in barcelonskega cilja (4).

4. Komisija z OP zagotavlja sredstva raziskovalcem v Evropski uniji, pridruženih državah in mednarodnih organizacijah. Njihovi proračuni so se z leti močno povečali in za OP7 znašajo 7 217 milijonov EUR na leto v primerjavi z 2 761 milijoni EUR, kolikor so znašali v okviru OP4 (glej diagram 1). Kar zadeva proračunske odobritve, te predstavljajo največje področje, ki ga Komisija neposredno centralizirano upravlja (5).

5. OP se od številnih nacionalnih programov razlikujejo v tem, da pokrivajo tako temeljne kot uporabne raziskave z udeležbo industrije in javnih raziskovalnih organizacij (6). Okvirne programe sestavljajo posebni programi (in podprogrami), ki se nanašajo na širša znanstvena področja. Ti običajno zajemajo več tematskih področij, ki so osredotočena na bolj specifična znanstvena področja. Ta tematska področja se nato po razpisih za zbiranje predlogov izvajajo prek projektov (imenovanih „posredni ukrepi“). Na ta način je na vsakem tematskem področju financiranih na stotine posameznih projektov.

6. Skupni delež OP v celotnem javnem financiranju RTR v Evropski uniji in njenih državah članicah se giblje med 4 % in 5 %. Kljub temu je njegov vpliv na to, katere vrste raziskovalnih dejavnosti se izvajajo v Evropi, bistveno večji. To je tako zato, ker donacije Skupnosti na splošno zagotavljajo samo del vseh sredstev za projekt. Poleg tega morajo raziskovalci ob oddaji vloge za sredstva dokazati, da se njihovi projekti nanašajo na cilje, opredeljene v razpisih za zbiranje predlogov. Tako OP spodbujajo usmerjanje dejavnosti RTR k specifičnim ciljem EU.

7. V zadnjih letih je prišlo pri OP do pomembnih sprememb, ki so posledica: — novih političnih izzivov (lizbonska strategija in barcelonski cilji, ustanovitev evropskega raziskovalnega prostora (European Research Area – ERA) in vedno večje uporabe odprte metode koordinacije (7) na področju politike raziskav in inovacij), — spremembe usmerjenosti OP od preprostega reševanja tehničnih težav v okviru OP4 in reševanja specifičnih družbenih težav v okviru OP5 do spodbujanja sodelovanja raziskovalnih organizacij v evropskem raziskovalnem prostoru ter prispevanja k vzpostavljanju na znanju temelječega gospodarstva in družbe v okviru OP6 in OP7, — daljših programskih obdobij (prej 4 leta, zdaj 7 let za OP7 v skladu s finančno perspektivo 2007–2013), — udeležbe več držav članic in sodelujočih držav, — povečanega financiranja, zlasti v okviru sedanje finančne perspektive, — ustanovitve Evropskega raziskovalnega sveta (European Research Council – ERC) in prenosa dejavnosti upravljanja programov na izvajalske agencije, ki se je začel v okviru OP7, ter — naraščajoče uporabe obsežnih instrumentov financiranja (npr. mreže odličnosti, integrirani projekti, projekti po členu 169, skupne tehnološke pobude).

Ocenjevanje in spremljanje OP

8. Komisija je odgovorna za izvajanje programov in za ocenjevanje njihovih rezultatov (8). Na Komisiji ocene decentralizirano pripravljajo posamezni generalni direktorati (zlasti GD za proračun in generalni sekretariat), osrednje službe pa zagotavljajo podporo in koordinacijo.

9. V tem poročilu so uporabljene opredelitve Komisije, ki „ocenjevanje“ opredeljuje kot „presojo posegov glede na njihove rezultate, učinke in potrebe, ki naj bi jih zadovoljili“ (9), ter „spremljanje“ kot zagotavljanje informacij o izvajanju tekočih programov in projektov za obravnavanje upravljavskih potreb (10). Tako sta ti dve dejavnosti ločeni tudi v sedanji zakonodaji o OP7.

10. V nadaljnjem besedilu se za opisovanje rezultatov dejavnosti RTR uporabljajo naslednji izrazi: — „izložki“ so znanje, blago in storitve, ki so neposredno proizvedeni kot posledica javnega posega (publikacije, konferenčni dokumenti, patenti, licence, prototipi, standardi, usposobljeni znanstveniki itd.), — „izidi“ so zapozneli rezultat predelave izložkov s strani uporabnikov in — „učinki“ so dolgoročne socialno-ekonomske in politične spremembe, ki jih povzroči javni poseg. Okvir 1Primer „globalnega sistema za mobilno komunikacijo“ (GSM)V tem primeru so bili „izložki“ financiranja Skupnosti takojšnji rezultati projekta, kot je razvoj standarda GSM. „Izid“ je predstavljalo dejstvo, da je bil v Evropi in zunaj nje sprejet kot standard za digitalno celično telefonijo, kar je v veliki meri prispevalo k razvoju industrije telekomunikacij. Kot zadnje, „učinki“ so bile gospodarske, socialne in politične posledice mednarodne uporabe te tehnologije. To zajema tudi prispevek k ustvarjanju delovnih mest na področju telekomunikacij in s tem povezanih industrij ter naraščanje pomembnosti tega industrijskega sektorja za evropsko gospodarstvo. GSM je ljudem zagotovil tudi nov način medsebojne komunikacije.

11. Vendar se pri ocenjevanju teh rezultatov pojavljajo številne metodološke težave (glej Prilogo I). Socialno-ekonomske spremembe so zapletene, zlasti je raziskovalno dejavnost pogosto težko povezati z opaženimi izidi in učinki. Čeprav te metodološke težave predstavljajo precejšen izziv, pa ne preprečujejo nujno uspešnega ocenjevanja.

12. Komisija ima od 1980-ih vzpostavljen sistem za spremljanje in ocenjevanje OP (11). Sistem za spremljanje in ocenjevanje, ki se je začel z OP4 sredi 1990-ih, je sestavljalo več delno povezanih dejavnosti, med katerimi sta bili: — letno spremljanje (v glavnem izvajanja programov) in — petletne ocene dejavnosti OP (in od OP6 naprej dodatne ocene specifičnih vprašanj). Obe dejavnosti je bilo treba izvajati s pomočjo zunanjih strokovnjakov (glej diagram 2 in Prilogo II). Diagram 2 OP4 do OP7 – Ključne zahteve pri spremljanju in ocenjevanju OP4 (1995–1998) OP5 (1999–2002) OP6 (2003–2006) OP7 (2007–2013) Dve ocenjevanji (vmesno in končno), v obeh primerih za njegovih 20 podprogramov in OP; končna ocena se prekriva z vmesnim ocenjevanjem OP5. Dve sočasni ocenjevanji (vmesni), v obeh primerih za njegovih 7 posebnih programov in OP. Eno ocenjevanje za OP in njegove 3 posebne programe (vmesno), vendar ne posebej za vseh 20 podprogramov, to je bilo dopolnjeno s posebno oceno in poročili o rednem napredku (tj. spremljanju). Vsaj pet ocenjevanj (predhodna, vmesna in končna), vključno s posebnim poročilom o napredku pred vmesnim ocenjevanjem. 1. Predhodno: ne 1. Predhodno: ne 1. Predhodno: ne 1. Predhodno: vključeno v Oceno učinka v Komisijinem predlogu za OP7 (2005) 2. Vmesno: — „Petletna ocena“: na sredi izvajanja OP, pred naslednjim OP (1997) 2. Vmesno: — Petletna ocena: pred predstavitvijo predloga za naslednji OP (2000) — pregled napredka na sredi izvajanja OP (2001) 2. Vmesno: — ocenjevanje uspešnosti instrumentov (2004) — petletna ocena, pred predstavitvijo predloga za naslednji OP (2004) — poročila o rednem napredku (tj. spremljanju) 2. Vmesno: — naknadno, 2 leti po koncu prejšnjega OP (2008) — poročilo o napredku pred vmesnim ocenjevanjem (pred 2010) — vmesno ocenjevanje (2010) 3. Končno: — ob zaključku o OP (1999) 3. Končno: ne 3. Končno: ne [spremenjeno s Sklepom o OP7] 3. Končno: dve leti po zaključku OP (2015), podpirajo ga posebne študije, vmesne ocene in druge ocenjevalne dejavnosti, ki se izvajajo ves čas trajanja OP Vir: Glej Prilogo II.

13. Do danes so bile izvedene tri petletne ocene (12), na podlagi katerih so nastala „Davignonovo“, „Majójevo“ in „Ormalovo“ poročilo (v letih 1997, 2000 in 2004). GD za informacijsko družbo je ob tem izvajal tudi ciljne ocene za svoje posebne programe. Omeniti je treba, da so bile petletne ocene z zakonodajo o OP7 ukinjene, kar je odstranilo omejitev, da so morale biti glavne ocene osredotočene na predhodnih pet let in zaradi tega pokrivati dele dveh zaporednih programskih obdobij. Leta 2004 je bilo objavljeno tudi „Marimónovo poročilo“ (13), ki je posebna ocena o uspešnosti novih instrumentov, uvedenih z OP6.

14. Komisijin okvir za dejavnosti ocenjevanja je bil pregledan v letih 2000 in 2002 (14). Obe sporočili sta bili v letu 2007 posodobljeni ob upoštevanju posledic upravne reforme Komisije in nove Finančne uredbe (15). V teh dokumentih sta vloga in funkcija ocenjevanja opisani v kontekstu celotnega cikla načrtovanja, programiranja in poročanja Komisije, ob tem pa je določen tudi sklop 21 standardov ocenjevanja in 18 modelov „dobre prakse“. Poleg tega je v teh dokumentih obravnavana tudi uporaba ocen pri pripravi in poenostavitvi zakonodaje EU.

OBSEG REVIZIJE IN REVIZIJSKI PRISTOP

15. Glavni cilj revizije je bil ugotoviti, ali je imela Komisija ustrezen pristop k ocenjevanju rezultatov okvirnih programov za RTR.

16. V ta namen je Sodišče ocenilo, v kolikšnem obsegu: — imajo OP in programi, ki jih sestavljajo, jasno logiko posega, na podlagi katere je mogoče meriti in ocenjevati izložke, izide in učinke, kar zagotavlja dobro osnovo za ocenjevanje in spremljanje, — je bila za OP opredeljena strategija ocenjevanja, ki spodbuja uspešno in dosledno ocenjevanje, — organizacijska struktura sistema ocenjevanja zagotavlja, da je v celotnem OP ocenjevanje primerno koordinirano, da so zanj na voljo ustrezni viri in da je po mnenju zainteresiranih strani dovolj neodvisno, — metodologije, ki se uporabljajo za ocenjevanje, zagotavljajo, da se relevantna vprašanja obravnavajo na ustrezen način, tako da je ocenjevanje verodostojno, in — v kolikšnem obsegu dejavnosti ocenjevanja in spremljanja zagotavljajo informacije in analizo, ki jih je mogoče uporabiti za izboljšanje tekočih programov („programi učenja“) in pripravo prihodnjih OP.

17. V tem poročilu so zajete ustrezne ureditve za OP4 (1995–1998), OP5 (1999–2002) in OP6 (2003–2006). V njem so obravnavane tudi pravne zahteve, ki trenutno veljajo za OP7 (2007–2013), vendar ne zagotavlja ocene Komisijinega dokumenta „Ocena učinka in predhodno vrednotenje“ (16) za OP7. Poročilo je osredotočeno na spremljanje in naknadno ocenjevanje programov in ne na predhodno ocenjevanje predlogov projektov ali naknadno ocenjevanje samih projektov.

18. Revizija je bila izvedena s sodelovanjem revizijskega odbora EFTE in s pomočjo zunanjih strokovnjakov. Revizijski dokazi so bili zbrani z: — revizijskim delom na Komisiji (pregled dokumentacije in pogovori z uslužbenci), ki je zajemalo opredelitev pravnih in statutarnih zahtev, pregled ciljev in meril uspešnosti, analizo več kot 80 poročil o spremljanju in ocenjevanju ter analizo organizacije dejavnosti ocenjevanja znotraj Komisije, — razgovori z več kot 90 strokovnjaki, ki so bili opredeljeni kot zainteresirane strani v državah članicah in pridruženih državah (Češka, Nemčija, Estonija, Španija, Francija, Italija, Luksemburg, Nizozemska, Avstrija, Finska, Švedska, Združeno kraljestvo in Norveška), — anketami pri institucionalnih zainteresiranih straneh v odboru Evropskega parlamenta ITRE (17) in odboru Sveta CREST (18), — posvetovanjem z več kot 65 strokovnjaki s področja ocenjevanja raziskav v ZDA in Kanadi, ki so predstavljali mednarodno skupino za primerjavo, — pregledom strokovne literature o sedanjih trendih na področju ocenjevanja raziskav in — z razpravo o revizijskih ugotovitvah, zaključkih in priporočilih s strokovnjaki za ocenjevanje raziskav iz Evrope in Severne Amerike na več moderiranih srečanjih tematskih skupin februarja 2007.

REVIZIJSKA OPAŽANJA

Logika posega, določanje ciljev in kazalniki uspešnosti

19. Uspešno ocenjevanje in spremljanje zahteva jasne cilje in ustrezne kazalnike uspešnosti na ravni politike, programov in projektov, glede na katere je mogoče ocenjevati rezultate javnega posega. Dobra praksa na drugih področjih proračuna EU in širše kaže, da je te cilje in kazalnike treba opredeliti v okviru logike posega.

20. Logiko posega je mogoče opredeliti kot sklop hipotetičnih povezav med vzroki in posledicami, ki opisujejo, kako naj bi poseg po pričakovanjih dosegel svoje globalne cilje (19). V smernicah Komisije za ocenjevanje je navedeno, da logika posega zagotavlja konceptualno povezavo med vložki posega in njegovimi izložki, ter posledično z njegovimi učinki na družbo z vidika rezultatov in izidov (20). V tem poročilu je ta opredelitev dosledno uporabljena.

21. Sodišče je ocenilo, v kolikšnem obsegu je bila za OP in njihove programe oblikovana logika posega, ki zagotavlja dobro podlago za ocenjevanje in spremljanje.

Logika posega za OP ni bila jasno opredeljena

22. Opredelitev logike posega bi morala biti že od samega začetka ključni element zasnove programa. Izhodišče za takšno logiko posega za OP bi moral nuditi člen 163 Pogodbe, v katerem je navedena potreba po krepitvi znanstvene in tehnološke podlage in večji konkurenčnosti (glej odstavek 2). Logika posega bi morala biti bolj podrobno določena glede na posamezna znanstvena področja, ki jih pokrivajo OP, in glede na različne uporabljene instrumente.

23. Vendar na vseh ravneh manjka jasno opredeljen logični model, ki bi pojasnjeval, kako OP in njihovi programi prispevajo k znanstvenemu in tehnološkemu napredku ter inovacijam.

24. Pomanjkanje logike posega pri OP je poudaril tudi odbor za petletno oceno iz leta 2004, ki je izjavil, da takšne odbore ponavadi zaprosijo, da zapolnijo vrzel med dokazi, večinoma zbranimi na ravni projektov, na eni strani in socialno-ekonomskimi cilji za raziskovalno politiko na višji ravni na drugi strani. Vendar je zaradi načina načrtovanja OP v tem trenutku to povezavo težko ugotoviti. OP manjka jasna logika, ki bi povezovala najvišje cilje s specifičnimi cilji v raziskavah in znanju (21).

25. Nekatere države članice (npr. Nizozemska, Finska) in ZDA (glej diagram 3) uporabljajo drugačen pristop, kjer je opredelitev logike posega veliko bolj pogosta, prav tako Kanada, kjer je obvezna za vse programe (glej Prilogo III). Uporaba logike posega tam dejansko prinaša bolj osredotočene in bolje strukturirane programe. Tudi Komisija jo uvaja na drugih področjih politike Skupnosti (npr. zunanja pomoč) (22). Diagram 3 Opredelitev hierarhije ciljev na podlagi logičnih modelov – Primer raziskav na področju kmetijstva v ZDA Politika Program Projekt Cilj politike : prispevati k boljšemu življenju kmečkih družin Namen : večja kmetijska proizvodnja, produktivnost in prihodki v kmečkih gospodinjstvih Cilj programa : prispevati k povečanju kmetijske proizvodnje, produktivnosti in prihodkov v kmečkih gospodinjstvih Pričakovani rezultati : večja uporaba izboljšanih kmetijskih tehnologij med ciljnimi kmeti Namen : večja uporaba izboljšanih kmetijskih tehnologij s strani kmetov (npr. pri rižu) Cilj projekta : prispevati k večji uporabi priporočenih izboljšanih tehnologij Pričakovani rezultat : priporočila za ciljne kmete zagotovljena/razširjena Namen : zagotovljena priporočila za izboljšane tehnologije, primerne za ciljne kmete Pričakovani rezultati (npr.): 1. ugotovljene tehnologije na podlagi prednostnih nalog kmetov 2. ustvarjene in prilagojene tehnologije 3. tehnologije, preverjene na poljih kmetov Vir: Nacionalni svet ZDA za kmetijske raziskave.

26. Ker določitev osnovnih razlogov za javni poseg in predvidenih vzročnih povezav (v skladu s katerimi se nato podrobno načrtuje, izvaja in oceni program) ni pravno predpisana, to negativno vpliva na uspešno ocenjevanje in spremljanje OP. To je zlasti posledica načina, kako so opredeljeni cilji programa in kazalniki uspešnosti.

Brez jasnega logičnega modela je težje določiti skladne programske cilje

27. Če osnovni razlogi za javni poseg niso jasno izraženi, je težje skladno določiti in strukturirati programske cilje. To odražata dejstvi, da: — ni jasno, kako so programski cilji OP povezani s cilji politike, kot so splošni cilj iz člena 163 Pogodbe ter cilji iz lizbonske strategije in barcelonske deklaracije (glej odstavka 2 in 7), — povezave med posameznimi programskimi cilji niso vedno očitne niti na različnih ravneh zakonodaje (kot so sklep o OP, odločba o posebnem programu ter pravila o udeležbi in razširjanju) niti med osnovnimi akti in delovnimi programi Komisije.

28. Komisija je skušala operativne cilje določiti v delovnih programih, ki temeljijo na programskih ciljih, opredeljenih v zakonodaji o OP. Vendar tem pobudam v skoraj nobenem primeru ni uspelo pojasniti logike, na kateri temelji program, cilji, navedeni v delovnih programih, pa niso bili specifični, merljivi, dosegljivi, relevantni in pravočasni (SMART). S Finančno uredbo (23) leta 2003 je to postalo pravna zahteva.

29. Ni jasno, v kolikšnem obsegu je ciljem politike mogoče slediti po specifičnih programih, delovnih programih in razpisih za zbiranje predlogov za posamezne projekte, ki jih sofinancira Skupnost. Če te povezave niso razjasnjene, ni mogoče oceniti prispevka OP in njihovih programov k doseganju ciljev te politike. Z revizijo je bilo ugotovljeno, da je Komisija v svojih ocenah zagotovila malo ali nobenih prepričljivih dokazov o doseganju dolgoročnih ciljev, tako na ravni projekta kot programa (glej odstavek 82).

Ker ni jasne logike posega in jasnih ciljev, je težje pripraviti kazalnike uspešnosti

30. Ker ni jasnega logičnega modela in jasno zastavljenih programskih ciljev, je bilo težko razviti tudi kazalnike uspešnosti za spremljanje doseganja programskih ciljev v obliki izložkov, izidov in učinkov, in sicer v tolikšni meri, da doslej takšni kazalniki „uspešnosti“ za OP sploh niso bili opredeljeni (glej odstavek 73).

31. V takšnih razmerah je tudi težje pregledovati tekoče projekte, ki se financirajo iz teh programov, in naknadno ocenjevati dokončane projekte, hkrati pa to prispeva k težavam pri pripravi agregatov ocen posameznih projektov na programski ravni (glej Prilogo I in odstavek 84).

ABB/ABM, kot se trenutno izvaja, ni ustrezno orodje za merjenje uspešnosti OP

32. Nekateri kazalniki za spremljanje uspešnosti izvajanja programa (npr. čas, potreben za podpis pogodb, in čas za plačila) so navedeni v letnih poročilih Komisije o spremljanju ter v okviru Komisijinega sistema upravljanja na podlagi dejavnosti (ABM).

33. Vendar do zdaj „GD, povezani z raziskavami“ niti pri izvajanju istega posebnega programa (ali podprograma) niso uporabljali standardizirane ali primerljive nomenklature k dejavnostim usmerjenega proračuna (ABB) in s tem povezanih kazalnikov. Zato teh kazalnikov ni mogoče uporabiti za primerjavo uspešnosti med programi in znotraj njih. Okvir 2ABB/ABM, kot ga trenutno izvajajo „GD, povezani z raziskavami“V sistemu ABB/ABM pokrivata OP dve različni področji politik, v katerih so dejavnosti OP predstavljene v skladu z nomenklaturo (24), ki se uporablja v posameznem generalnem direktoratu. To velja celo za tiste posebne programe in podprograme, ki jih izvaja več kot en GD. Cilji ABM so bili opredeljeni v skladu z različnimi osnovnimi načeli (25) in so bili, kot je navedla služba Komisije za notranjo revizijo (26), večinoma oblikovani na splošno, tako da so opisovali prizadevanja ali dejavnosti. Kazalniki so bili na splošno usmerjeni na vložke (npr. število sestankov itd). Nekateri so se nanašali na učinkovitost procesa (npr. čas, potreben za sklenitev pogodbe ali za plačilo), vendar med programi in med generalnimi direktorati niso bili primerljivi zaradi razlik v nomenklaturi ABB, v predpostavkah, značilnih za posamezne GD (kot sta začetek in konec specifičnih upravnih procesov) in v osnovni populaciji (npr. vrsta sporazuma o donaciji, vrsta plačila), ki je bila upoštevana za njihov izračun.

Priporočila

34. Komisija bi morala v prihodnjih zakonodajnih predlogih Svetu in Evropskemu parlamentu določiti jasno logiko posega za OP kot celoto in za njegove sestavne dele. 35. Za OP7 bi Komisija morala: — jasno opisati cilje OP in njegovih posebnih programov (in podprogramov) ter kako bi jih bilo treba doseči, — za vsak posebni program (in podprogram) pojasniti povezavo med znanstvenimi in socialno-ekonomskimi cilji ter — opredeliti relevantne operativne cilje. 36. Komisija bi morala za svoj sistem spremljanja OP7 za vsak posebni program (in podprogram) uvesti omejen, vendar uravnotežen sklop kazalnikov uspešnosti za merjenje učinkovitosti in uspešnosti izvajanja programa. 37. „GD, povezani z raziskavami“ bi morali uskladiti svojo nomenklaturo ABM/ABB, da bi bili kazalniki uspešnosti primerljivi tako časovno kot, kjer je mogoče, med posebnimi programi (in podprogrami).

Strategija ocenjevanja

38. Strategija ocenjevanja zagotavlja konceptualni okvir, v katerem se zasnujejo, načrtujejo, izvajajo in uporabljajo dejavnosti ocenjevanja. Dobra praksa na drugih proračunskih področjih EU in širše kaže, da bi morala biti v takšni strategiji upoštevana glavna pravna, organizacijska in metodološka vprašanja, povezana z ocenjevanjem programa. To pomeni sprejeti odločitve o tem, kakšna ocenjevanja se bodo izvajala, kdo jih bo izvajal in kdaj, kako se bodo zbirali podatki, kakšni metodološki pristopi se bodo uporabljali, kako se bodo sporočale ugotovitve in kakšno bo nadaljnje ukrepanje po njih.

39. Oblikovanje takšne strategije in zagotavljanje njenega izvajanja sta prva pogoja za vključitev ocenjevanja v Komisijino organizacijsko kulturo in proces odločanja. Vendar Sodišče priznava, da bi morala takšna strategija glede na raznolikost znanstvenih področij, ki jih pokrivajo OP, vsem odgovornim generalnim direktoratom zagotavljati ustrezno raven prožnosti in ne bi smela biti preveč predpisovalna.

40. Sodišče je preverilo, v kolikšnem obsegu je imela Komisija za OP vzpostavljeno takšno strategijo ocenjevanja.

Ni celostne strategije ocenjevanja za OP

41. Komisija je za OP prvič javno objavila svoj pristop k ocenjevanju v 1980-ih (27). Ta je bil posodobljen leta 1996, ko je Komisija obvestila Evropski parlament in Svet o tem, za kar je takrat menila, da so pomembna osnovna načela za spremljanje in ocenjevanje, ter po sprejetju OP4 (28) predstavila svoj načrtovani pristop. Vendar to ni sestavljalo celostne strategije ocenjevanja, kot je določena zgoraj (glej odstavka 38 in 39). Poleg tega Komisija od leta 1996 do 2006 ni ponovno temeljito preučila svojega pristopa k ocenjevanju OP5 in OP6, kljub temu, da sta se OP spremenila tako po obsegu kot po usmerjenosti (glej odstavek 7). Zlasti se „GD, povezani z raziskavami“ niso dogovorili o doslednem pristopu k ocenjevanju OP in njihovih programov, ki bi presegal zakonodajne zahteve, sprejete v letih 1999 (za OP5), 2002 (za OP6) in 2006 (za OP7) (29).

42. Za tekoče programsko obdobje je pomanjkanje takšnega strateškega pristopa k ocenjevanju na tem področju še posebna težava glede na to, da OP7 skupaj izvaja več generalnih direktoratov, Evropski raziskovalni svet in več izvajalskih agencij ter glede na obvezne menjave osebja na občutljivih delovnih mestih, ki jih predpisuje Finančna uredba. Prav tako je v nasprotju s sedanjo prakso na področju zunanje pomoči (ki je drugo največje področje, ki ga neposredno upravlja Komisija). Na tem področju so se pristojni generalni direktorati od leta 2002 dogovorili o skupnih večletnih strategijah ocenjevanja, povezanih s programskimi obdobji (glej odstavek 52).

43. To pomanjkanje jasno oblikovane strategije ocenjevanja je tudi močno v nasprotju s stanjem v ZDA in Kanadi, kjer strategijo zahteva zakonski okvir (glej Prilogo III).

44. Kot je prikazano v nadaljevanju, obstajajo precejšnje razlike v pokritju in intenzivnosti ocenjevanja med različnimi OP. Obstajale so tudi druge pomanjkljivosti, kot so težave pri koordinaciji, razlike v metodoloških pristopih, težave s časovnim načrtovanjem ter pomanjkljivosti pri sporočanju ugotovitev ocenjevanja in nadaljnjem ukrepanju po njih, obravnavane v nadaljevanju tega poročila. To odraža pomanjkanje celostne strategije ocenjevanja za OP.

Razlike v pokritju in intenzivnosti ocenjevanja med OP

45. OP sestavljajo številni posebni programi (in podprogrami), ki se lahko precej razlikujejo glede na svoj namen, osnovno dinamiko in proračunske odobritve (za OP7 glej Prilogo IV). Posebne določbe različnih sklepov o OP in Finančne uredbe (30) (ki zahteva ocenjevanje programov in dejavnosti, ki predstavljajo večjo porabo), upoštevane skupaj, kažejo, da že od OP4 velja pravna zahteva za ocenjevanje tako OP kot celote kot večine posebnih programov, ki ga sestavljajo.

46. Komisija ni določila pravila o tem, kdaj morajo biti posebni programi ali podprogrami OP ocenjeni, niti skupnega praga, nad katerim mora biti izvedeno ocenjevanje. To je povzročalo nedosledne razlage glede tega, kaj bi bilo treba oceniti in kako podrobno: — GD za informacijsko družbo je menil, da je program IST velik program porabe sam po sebi in je leta 2004 organiziral izvedbo celovite petletne ocene vzporedno z ocenjevanjem, ki se je izvajalo za OP kot celoto, — GD za raziskave ni sistematično organiziral takšnega ocenjevanja na ravni posebnih programov, kljub temu, da so bili proračuni za več programov pod njegovo odgovornostjo primerljive velikosti.

47. Posledično pri petletni oceni iz leta 2004 pomembni deli programov OP4 in OP5 sploh niso bili ocenjeni (kar ustreza 30 % vseh proračunskih odobritev za OP4 in 50 % za OP5). To pomeni, da Komisija ni izpolnila zahtev za ocenjevanje iz člena 27(4) Finančne uredbe.

48. Te razhajajoče se razlage glede minimalnih pravnih zahtev za ocenjevanje in posledično premalo ocenjevanja OP v preteklosti ponazarjajo pomanjkanje koordinacije in učinek pomanjkanja strateškega pristopa Komisije k ocenjevanju OP.

Priporočila

49. „GD, povezani z raziskavami“ bi morali čimprej razviti skupno strategijo ocenjevanja za OP in se o njej dogovoriti. Ta strategija ne bi smela biti pretirano predpisovalna, vendar bi morala privesti do doslednega pristopa k ocenjevanju OP in njihovih programov. Takšna strategija bi morala tudi zagotavljati smernice glede minimalne ravni, na kateri mora biti izvedeno podrobno ocenjevanje, da se upoštevajo specifične značilnosti vsakega znanstvenega področja.

Organizacija ocenjevanja OP

50. Ocenjevanje OP bi morale podpirati ustrezne organizacijske ureditve, ki bi morale izhajati iz Komisijine strateške usmeritve za ocenjevanje OP. Sodišče je preverilo, v kolikšnem obsegu je organizacijska struktura zagotavljala, da je bil sistem ocenjevanja ustrezno koordiniran, da so bili zanj na voljo ustrezni viri in da je bil po mnenju zainteresiranih strani tudi dovolj neodvisen.

Komisija

OP izvaja skupno več generalnih direktoratov, odgovornost za ocenjevanje pa je decentralizirana

51. V Komisiji so za ocenjevanje programov porabe odgovorni posamezni generalni direktorati (glej odstavek 8) in v vsakem je bila ustanovljena enota za ocenjevanje. Te enote so odgovorne za načrtovanje, koordinacijo in izvajanje ocenjevanja.

52. Ker ni posebnega koordinacijskega organa ali ene same enote za ocenjevanje OP kot celote, kot na primer skupni urad za ocenjevanje za „GD, povezane z raziskavami“, je to v nasprotju z drugimi področji politik. Na področju zunanje pomoči je bila za tri generalne direktorate (za razvoj, za zunanje odnose in EuropeAid) ustanovljena skupna enota za ocenjevanje, ki je odgovorna za ocenjevanje razvojnih programov Komisije v tretjih državah (glej odstavek 42).

53. GD za razvoj prek Komisijine notranje „mreže za ocenjevanje RTR“ zagotavlja izmenjavo znanja med enotami za ocenjevanje v različnih GD, vendar nima pooblastil, da bi določil sklop minimalnih zahtev za ocenjevanje. Ta mehanizem ni zadostoval za zagotovitev ustrezne koordinacije Komisijinega ocenjevanja OP.

54. Komisija je svoj splošni pristop k ocenjevanju pregledala v letih 2000 in 2002 ter ponovno v letu 2007 (glej odstavek 14). Čeprav niso bile opažene večje izboljšave pri načrtovanju, zasnovi in izvajanju ocenjevanja za OP in njihove programe, so „GD, povezani z raziskavami“ na splošno izpolnjevali uradne zahteve, ki veljajo za celotno Komisijo.

Osrednje službe Komisije: določanje standardov, vendar brez njihovega uveljavljanja

55. Osrednje službe Komisije (zlasti GD za proračun in generalni sekretariat) zagotavljajo metodološko svetovanje, opredeljujejo skupne standarde v Komisiji kot celoti in spremljajo, kako generalni direktorati in službe te standarde uporabljajo (glej odstavka 14 in 70). Vendar ne morejo določiti, kako naj se ocenjevanja izvajajo v praksi.

56. Izkušnje v ZDA in Kanadi kažejo, da uveljavljanje standardov s strani organov, ki jih določajo, pripomore k zagotavljanju uspešnega delovanja sistema ocenjevanja. V obeh državah zvezni oddelki določijo in uveljavljajo okvir, znotraj katerega se na koncu presoja o uspehu programa (glej Prilogo III). Čeprav je ozadje drugačno, njuna sistema kljub temu temeljita na enakem osnovnem načelu, da bi moral organ, ločen od organa, ki izvaja program, bolj podrobno oceniti zasnovo sistema ocenjevanja in skrbno pregledati njegovo uspešnost. Enako je mogoče opaziti v nekaterih državah članicah (npr. v Franciji (31), Španiji (32), Nemčiji (33)), kjer zunanji organi nadzirajo ocenjevanja, ki jih izvajajo agencije, ki zagotavljajo sredstva, ali pa celo sami izvajajo ta ocenjevanja.

Odbori

Odbori zunanjih strokovnjakov: zakonodaja o OP jih zahteva že od OP4

57. Od OP4 so morali vsa večja ocenjevanja (in letno spremljanje) OP izvajati odbori zunanjih strokovnjakov (ali pa pri tem pomagati) (glej Prilogo II). Kljub težavam pri iskanju ustreznih strokovnjakov imajo takšni odbori potencial, da zagotavljajo preglednost, nudijo določeno stopnjo neodvisnosti, olajšajo sodelovanje zainteresiranih strani in izkoriščajo znanje, pridobljeno pri samih OP, ocenjevanju in z njimi povezanih znanstvenih vprašanjih.

58. To je bilo potrjeno z anketami Sodišča, ki so pokazale, da so anketiranci menili, da Komisijin sistem ocenjevanja, ki temelji na odborih, nudi zagotovilo o neodvisnosti (glej diagram 4).

Pomanjkljivosti v pristopu z odbori, kot ga izvaja Komisija

59. Kot so člani odborov in udeležene strani povedali Sodišču med revizijo, so bile za Komisijino uporabo odborov za ocenjevanje OP kljub temu pozitivnemu mnenju značilne naslednje pomanjkljivosti: — odbori za ocenjevanje so ponavadi ustanovljeni manj kot leto dni, preden morajo oddati poročilo, in so sklicani samo za omejeno število srečanj. Zaradi tega člani odborov težko vplivajo na opredelitev podatkov in analizo, ki jih zahteva njihovo delo. Ker so poleg tega ti odbori priložnostni in začasni, ni mogoče zlahka nabirati znanja o programih in redno spremljati relevantnih vprašanj. Ta pomanjkljivost je še zlasti očitna, kadar je v celotnem programskem obdobju načrtovanih več večjih ocenjevanj (kot pri OP7) (glej Prilogo II). To je tudi v nasprotju s Komisijino prakso za njene svetovalne skupine strokovnjakov (Expert Advisory Group – EAG) za OP, ki so stalna telesa (34). Tudi v Kanadi (35) so ocenjevalni odbori stalni, da se zagotovi dosleden in skladen pristop (glej Prilogo III), — pri opredeljevanju delovnih pooblastil za odbore in podrobnem določanju ocenjevalnih vprašanj se Komisija ne posvetuje z zunanjimi zainteresiranimi stranmi, kot so industrija in glavne raziskovalne organizacije, ki sodelujejo v OP. To težavo je opazil tudi odbor za spremljanje za leto 2004, saj je izjavil, da bi morali potencialni uporabniki sodelovati v procesu že na zgodnji stopnji (36), in — ti odbori delujejo drugače kot „medsebojni pregledi“. Njihovi člani nimajo časa za izvajanje lastnih ocenjevanj, običajno svetujejo na podlagi podatkov in dokazov, ki so jim na voljo iz drugih virov. Zaradi časovnih omejitev so imeli odbori le omejene priložnosti za naročanje dodatnih študij, ki bi jih potrebovali za obravnavanje vprašanj, določenih v njihovih delovnih pooblastilih. V praksi so bile odborom za petletne ocene, z nekaj izjemami, na voljo samo informacije, ki jih je zagotovila Komisija.

Viri

Za ocenjevanje OP niso namensko določeni nobeni viri

60. Sredstva za ocenjevanje se zagotavljajo na letni osnovi v skladu s potrebami, ki jih določijo generalni direktorati, ki izvajajo OP. Trenutno se ocenjevanje financira s kombinacijo splošnih sredstev Komisije iz GD za proračun in sredstev iz administrativnega dela proračuna na ravni zadevnih generalnih direktoratov. Poleg tega se posebni ukrepi financirajo kot posredni ukrepi iz operativnega proračuna OP. To pomeni, da za ocenjevanje ni posebej določenega zneska.

61. Leta 2006 je bilo na Komisiji povprečje za uslužbence, ki delajo na področju ocenjevanja in upravljanja na podlagi dejavnosti, ocenjeno na približno 1 % vseh uslužbencev (37). Ustrezni številki za dejavnosti spremljanja in ocenjevanja okvirnih programov RTR v GD za raziskave in GD za informacijsko družbo sta bili 1,2 % oziroma 1,3 %. Vendar sta bili v GD za raziskave več kot dve tretjini teh kadrovskih virov dodeljeni oddelkom za operativno izvajanje programov, ne pa enoti za ocenjevanje, ocenjevanje pa je bilo le ena od številnih nalog, ki so jim bile dodeljene.

Sredstva za ocenjevanje OP manjša, kot jih priporoča Komisija

62. Sredstva, namenjena ocenjevanju, je mogoče izraziti tudi kot odstotek skupnih proračunskih sredstev, dodeljenih programu. Med revizijo pridobljeni podatki kažejo, da je v praksi za raziskovalne programe v državah članicah EU namenjenih od 0,1 % do 2 %. V smernicah Komisije je priporočeno, da se za ocenjevanje (38) nameni 0,5 % proračuna programa. Vendar pri večjih programih ekonomija obsega pomeni, da bi lahko zadoščal tudi manjši delež njihovih proračunov.

63. Primerjava Komisijinih podatkov o odhodkih za ocenjevanje v obdobju 2003–2006 in proračunskih odobritev za vsak generalni direktorat kaže, da skupno povprečje znaša približno 0,15 %, kar je precej nižje od stopnje, ki jo je predlagala Komisija. Podrobnejša analiza za leto 2006 kaže, da je GD za informacijsko družbo za ocenjevanje porabil približno štirikrat več kot GD za raziskave, v primerjavi s proračunskimi odobritvami, za katere sta odgovorna. Poleg tega je v Generalnem direktoratu za raziskave samo 0,7 % enega uslužbenca s polnim delovnim časom na milijon EUR letnega proračuna namenjenega ocenjevanju. Za primerjavo, GD za informacijsko družbo temu namenja dvakrat več človeških virov.

64. Kot je prikazano v tem poročilu, sta rezultat tega dodatnega prizadevanja GD za informacijsko družbo celovitejša pokritost ocenjevanja (glej odstavka 13 in 46) in, kot je prikazano v vzorcu ocenjevalnih študij, ki ga je pregledalo Sodišče, uporaba metodologij, ki bolje ustrezajo obravnavanju potreb po ocenjevanju (glej odstavek 84).

65. Ocena stroškov, ki jo je Sodišče izvedlo na podlagi podatkov, ki jih je zagotovila Komisija, kaže, da bi sistem ocenjevanja, ki bi temeljil na predlogih iz tega poročila, v povprečju predstavljal manj kot 0,4 % proračunskih odobritev za OP7. To bi pokrilo stroške odborov, študij, ki jih izvajajo podizvajalci, uslužbencev, zaposlenih tako v skupnem uradu za ocenjevanje kot v sedanjih enotah za ocenjevanje v posameznih generalnih direktoratih, ter druge različne stroške (39).

Priporočila

66. „GD, povezani z raziskavami“ bi morali razmisliti o ustanovitvi skupnega urada za ocenjevanje poleg sedanjih enot za ocenjevanje v posameznih generalnih direktoratih. V skladu s sedanjo prakso na drugih področjih politike bi ta urad lahko koordiniral Komisijine dejavnosti ocenjevanja za OP kot celoto. Takšne skupne podporne funkcije so že bile priporočene za generalne direktorate, ki izvajajo OP (40) in lahko postanejo v prihodnosti še pomembnejše z ustanovitvijo ERC in prenosom pooblastil za izvajanje programov na izvajalske agencije. 67. Komisija bi morala še naprej uporabljati ocenjevalne odbore, da ji pomagajo pri njenih dejavnostih ocenjevanja. Vendar bi Komisija morala razmisliti, kako naj uskladi strukturo odborov s splošno programsko strukturo OP. To je mogoče storiti tako, da ustanovi odbore za posebne programe in, kjer je ustrezno, podprograme (glej Prilogo IV). Poleg tega bi morali biti ti odbori ustanovljeni dovolj zgodaj, da bi Komisiji zagotavljali učinkovito pomoč med celotnim programskim obdobjem in po njem. 68. Komisija bi morala znova razmisliti o sredstvih, namenjenih za ocenjevanje OP in njihovih programov.

Metodologije in tehnike ocenjevanja

69. Uspešno ocenjevanje zahteva uporabo ustreznih metodologij in tehnik. Sodišče je preverilo, v kolikšnem obsegu so obstajale posebne smernice za ocenjevanje OP, ali so bile potrebe po informacijah redno ustrezno analizirane in ali so bili ustrezni podatki dani na voljo ocenjevalcem. Ob upoštevanju ocenjevalnih študij, ki jih je izvedla Komisija (ali pa so bile izvedene v njenem imenu), je Sodišče pregledalo, ali so tehnike, uporabljene za posamezne študije, zagotavljale zadostno osnovo za obravnavo ocenjevalnih vprašanj, določenih za petletno oceno. Upoštevan je bil tudi možni prispevek ocen na nacionalni ravni k ocenjevanju OP.

Uvajanje standardov in smernic, značilnih za OP

70. GD za proračun je izdal več sporočil, v katerih je navedel svojo ocenjevalno politiko in pravila za njeno izvajanje, ter določil sklop standardov, ki veljajo za celotno Komisijo (glej odstavka 14 in 55) (41). Tudi za druga področja politike so pristojni generalni direktorati razvili posebne ocenjevalne smernice (42).

71. Vendar pri OP to ni tako. Obstajajo številni metodološki priročniki in orodja za dejavnosti ocenjevanja na področju raziskav, ki jih je objavila (ali financirala) Komisija (43). Vendar v nobenem od njih ni specifičnih navodil za izvajanje ocenjevanja za OP niti niso opredeljeni ključni koncepti ali terminologija, ki naj bi jih uporabljali uslužbenci Komisije ali zunanji strokovnjaki. To je prispevalo k težavam, obravnavanim v nadaljevanju.

Potrebe po podatkih in zbiranje le-teh

Nezadostna analiza potreb po podatkih

72. „GD, povezani z raziskavami“ so premalo pozornosti posvetili temu, da bi razumeli, kateri podatki so potrebni za namene ocenjevanja in spremljanja. Namesto da bi sistematično in izčrpno analizirala potrebe po podatkih, je Komisija zahteve za podatke določila pozno v programskem obdobju in brez potrebnega upoštevanja splošnih potreb ocenjevanja. Socialno-ekonomski vprašalnik za OP6 je bil edini skupni poskus generalnih direktoratov, da bi se dogovorili o teh podatkih (glej odstavek 76). Vendar je bil ta vprašalnik dokončan v letu 2004 (tri leta po začetku programskega obdobja) in zajema predvsem vidike, kot so udeležba spolov in okoljski vplivi, ne pa tudi znanstvenih izložkov (kot so vprašanja intelektualne lastnine, objave itd.), izidov ali učinkov.

73. Ocenjevanje programov v veliki meri sloni na razpoložljivosti treh vrst podatkov: — podatkov, zbranih v skladu s kazalniki uspešnosti, katerih analiza zagotavlja poznavanje napredka pri doseganju programskih ciljev. Zgoraj omenjeno pomanjkanje logike posega pomeni, da je bilo takšne kazalnike težko opredeliti (glej odstavek 30). V praksi so bili zbrani podatki le malo pomembni za merjenje doseganja programskih ciljev, — podatkov o upravljanju programa (v skladu s kazalniki uspešnosti) in — podatkov o udeležencih (kot so stopnje udeležbe glavnih raziskovalnih organizacij).

74. Na Komisiji bi morali biti na voljo zlasti zadnji dve vrsti podatkov. Vendar je bilo zaradi težav s Komisijinimi notranjimi informacijskimi sistemi, ki so vir večine podatkov o upravljanju programov in udeležencih (44), v praksi (45) s tem precej težav.

75. To nazorno kažejo precejšnje zamude pri dajanju na voljo poročil iz člena 173 in letnih poročil o spremljanju (do 16 mesecev zamude pri poročilih iz člena 173 (46) in do 7 mesecev zamude pri letnih poročilih o spremljanju v obdobju od 2002 do 2005). Ker so te informacije dosledno zamujale, je bila njihova uporaba omejena.

Neuspešen pristop k pridobivanju podatkov od udeležencev

76. Komisija od OP5 naprej v pogodbah sistematično zahteva, da udeleženci zagotavljajo podatke, ki so potrebni za merjenje doseganja programskih ciljev z vidika izložkov, izidov in učinkov, kot sledi: — v okviru OP5 so morali udeleženci predložiti „tehnološki izvedbeni načrt“ skupaj s končnim poročilom po zaključku projekta. Ti dokumenti so bili pogosto slabe kakovosti ali pa sploh niso bili predloženi, — v okviru OP6 morajo pripraviti „načrt za razširjanje in uporabo znanja“ in ob predložitvi svojih letnih tehničnih poročil odgovoriti na standardiziran vprašalnik o socialno-ekonomskih vprašanjih.

77. Te pogodbene zahteve za zagotavljanje podatkov so udeležencem naložile nepotrebna administrativna bremena. Pri letnem vprašalniku za OP6, na primer, se podatki zbirajo veliko pogosteje, kot je potrebno, in iz celotne populacije projektov, čeprav bi zadostoval reprezentativni vzorec. To lahko povzroči „utrujenost od ocenjevanja“. Poleg tega so se ti podatki zbirali ob napačnem času, številna osnovna vprašanja, za katera se zbirajo podatki, so srednjeročne ali dolgoročne narave, tako da je zbiranje podatkov v času pogodbenega trajanja projekta po definiciji prezgodnje (47). Zaradi tega so bili podatki, ki so jih ta orodja za ocenjevanje zagotovila v okviru OP5 in OP6, v praksi uporabljeni v le omejenem obsegu.

78. Vendar noben od vzpostavljenih sistemov ne predvideva standardiziranega zbiranja podatkov ob (ali kmalu po) izteku projekta. Zainteresirane strani, s katerimi so bili opravljeni pogovori, so predlagale, da bi takšni podatki lahko zajemali doseganje ciljev projekta, načrtovane (in nenačrtovane) rezultate ter dodano vrednost, ki je po mnenju udeležencev nastala zaradi sodelovanja Skupnosti. Takšne informacije bi bile lahko tudi podlaga za zunanje preglede zaključenih projektov (48).

79. Skupaj z obsežnejšo uporabo scientometričnih pristopov (kot je analiza navedkov) za ocenjevanje rezultatov projektov (glej odstavek 83) bi to lahko Komisiji nudilo osnovo, da se pri dejavnostih RTR, ki jih sofinancira Skupnost (49), preusmeri k sistemu financiranja, ki bo bolj temeljil na rezultatih.

Drugi viri podatkov niso ustrezno uporabljeni

80. Drugi viri podatkov v Komisiji in državah članicah se premalo uporabljajo (npr. podatkovne zbirke nacionalnih programov RTR in agencij za zbiranje sredstev ter „Službe Skupnosti za informacije o raziskavah in razvoju“ (CORDIS), ki jo upravlja Komisijin Urad za publikacije (50)).

Ocenjevalne študije, ki jih izvaja Komisija

Poročila, ki jih je pregledalo Sodišče

81. Sodišče je pregledalo 86 ocenjevalnih študij, ki jih je od leta 2000 izvedla Komisija (ali pa so bile izvedene v njenem imenu). Med njimi je bilo vseh 36 študij, ki so bile podlaga za petletno oceno, objavljenih leta 2004 in dodatnih 50 študij, ki so bile dokončane od takrat. Samo 23 teh študij je mogoče šteti za pristna ocenjevanja OP in njihovih programov (glej diagram 5). Diagram 5 Pregled ocenjevalnih študij, ki jih je v obdobju od leta 2000 do 2006 izvedla Komisija (ali pa so bile izvedene v njenem imenu) Vrsta študije Število Opis Ocenjevanje dejavnosti programov OP 23 Ocenjevalne študije — so temeljile na priznanih metodologijah (51), — se posebej sklicujejo na cilje programov in na to, v kolikšnem obsegu so bili ti doseženi. Nacionalne ocene učinka, izvedene na ravni držav članic 12 Študije, ki so jih izvedle države članice in obravnavajo predvsem stopnje nacionalne udeležbe, ne vsebujejo pa zaključkov o ciljih programov. Metodološke študije 5 Študije, ki jih je organizirala Komisija, za pomoč pri razvoju metodologij ocenjevanja. Študije stanja na področju RTR v Evropi 2 Študije, ki obravnavajo kontekstualne analize raziskovalnega področja v Evropi, ne pa OP. Zlasti ne vsebujejo nobenega izrecnega sklicevanja na vpliv OP na nacionalne sisteme za raziskave in inovacije. Opisni in statistični dokumenti, ki niso analitične narave 33 Dokumenti, ki običajno obravnavajo dejavnosti OP na zelo posreden način, v njih pa so te dejavnosti pogosto bolj opisane kot pa analizirane. Drugi dokumenti 11 Sklop dokumentov, v katerih so obravnavana vprašanja, ki so v interesu splošne politike, ne da bi bili v tem kontekstu preučeni OP.

Ocenjevanja se osredotočajo na vprašanja spremljanja, namesto na izide in učinke

82. Iz meta-analize teh posebnih ocenjevalnih študij, ki jo je opravilo Sodišče, izhajata dve glavni opažanji: — čeprav si številne študije prizadevajo podati zaključke o programskih ciljih, so ti zaključki predstavljeni zelo nejasno in bralec ni povsem prepričan, da je bilo to vprašanje med ocenjevanjem dejansko res obravnavano. Do tega pogosto prihaja zato, ker pomanjkanje vsakršnih jasnih ciljev programa kritično ogroža proces (glej odstavek 28), — namesto da bi ocenjevali izide in učinke OP ali njihovih posebnih programov (in podprogramov), so številni dokumenti opisni in se v najboljšem primeru osredotočajo na neposredne izložke projekta in zadeve, povezane z vodenjem projekta. Ta poročila ne morejo zagotoviti prepričljivih dokazov o izidih ali učinkih.

Nezadostna osredotočenost na razvoj inovativnih metodologij

83. Pri ocenjevanjih, izvedenih v obdobju 2000–2006, prevladuje uporaba tradicionalnih metodologij in tehnik (zlasti anket, pregledov dokumentacije in pogovorov) (glej diagram 6). Poleg tega številne druge zahtevne, vendar kljub temu dobro uveljavljene ocenjevalne metodologije in tehnike niso bile uporabljene (ali pa zelo redko), zlasti: — scientometrični pristopi (kot je analiza navedkov) (52), — kvantitativni modeli (kot so razmerja med stroški in učinkovitostjo, stroški in uspešnostjo ter stroški in koristmi) (53) ali — modeli z akterji (ali vedenjski modeli) (ki se osredotočajo na perspektive tistih, ki sodelujejo v posegu, kot so značilnosti raziskovalnih mrež in njihove spremembe v času).

84. Ocenjevalne študije, ki so poskušale obravnavati nekatere metodološke težave pri ocenjevanju javnega posega na področju raziskav (glej Prilogo I), so bile uporabljene le pri omejenem številu primerov: — pred kratkim sta bili dokončani dve študiji o logiki posega (54), — samo za tri študije je bilo ugotovljeno, da so skušale oceniti vpliv, ki ga je imelo financiranje Skupnosti na vseevropsko vedenje raziskovalnih organizacij (55) glede mrežnega povezovanja. Tako je kljub dejstvu, da je predpostavka o pozitivnih učinkih mreženja v središču koncepta ERA, — v samo enem primeru je prišlo do poskusa, da bi se sprejeli zaključki o učinku, ki je bil dosežen na programski (ali podprogramski) ravni s kombiniranjem združevanja analiz ocenjevanja na ravni projektov z drugimi tehnikami ocenjevanja (56), in — nobenih dokazov ni bilo o uporabi drugih metodologij, kot so pristopi „v nasprotju z dejstvi“ (ali „kontrolne skupine“). Takšen pristop bi bil še posebej koristen za prikaz dodane vrednosti programov na ravni Skupnosti v primerjavi s stanjem, če posega sploh ne bi bilo (ali pa bi bil na nacionalni ali regionalni ravni).

85. Zainteresirane strani, s katerimi se je pogovarjalo Sodišče, so menile, da bi bilo možno koristnost in pomembnost Komisijinih ocenjevanj izboljšati. To nazorno kaže potrebo po nadaljnjem metodološkem razvoju, ki bi omogočil takšen razvoj sistema ocenjevanja, da bo upoštevana tudi spreminjajoča se narava OP (glej odstavek 7) (57).

Zapletenih vprašanj, ki so se pojavila pri petletnih ocenah, ni bilo mogoče obravnavati na podlagi Komisijinih posebnih ocenjevalnih študij

86. To nazorno kažejo tudi številne težave, s katerimi se je leta 2004 soočal odbor za petletno oceno (58) pri odgovarjanju na ocenjevalna vprašanja, predlagana v njegovih delovnih pooblastilih. Številnih od teh zapletenih vprašanj sploh ni bilo mogoče preučiti, ker Komisija pred tem ni izvedla ustreznih študij (ali pa niso bile izvedene v njenem imenu) in ker ni bilo možnosti, da bi lahko člani odbora sami pravočasno naročili takšne študije (glej diagram 7). Diagram 7 Obravnavanje ocenjevalnih vprašanj pri pripravi petletne ocene leta 2004 Ocenjevalno vprašanje Obravnavano v poročilu? IZVAJANJE Ali so bile dejavnosti učinkovito izvedene? delno Ali so bile dejavnosti stroškovno učinkovite? delno Ali so dejavnosti predstavljale najboljši način za doseganje zastavljenih ciljev? ne Ali so bili splošni pravni okvir (vključno s pravili za udeležbo in pogodbami), instrumenti politike in načini za izvajanje jasni, ustrezni in uspešni? ne Ali so bili stopnja financiranja in drugi razpoložljivi viri ustrezni? ne Ali so se bile ciljne industrijske in raziskovalne skupnosti, vključno z MSP, zmožne ustrezno odzvati? ne DOSEŽKI Ali so dejavnosti dosegle svoje cilje in v kolikšnem obsegu je prišlo do nepričakovanih rezultatov? ne Kateri so glavni rezultati, zlasti glede znanstvenih, tehnoloških, socialno-ekonomskih in okoljskih izložkov, glede mednarodnega sodelovanja, prenosa znanja in inovacij, prednormativnih dejavnosti, dostopnosti, razširjanja in razumevanja raziskav, razvoja človeških virov, mobilnosti in usposabljanja, ter glede podpiranja in krepitve koordinacije raziskovalnih dejavnosti? ne Ali so bili rezultati in njihovi vplivi in učinki globalno zadovoljivi z vidika posrednih ali neposrednih upravičencev in zainteresiranih strani? ne Ali so bile ciljne industrijske in raziskovalne skupnosti, vključno z MSP, zadovoljivo obravnavane? da Na kakšen način in kako daljnosežno so dejavnosti prispevale k izboljšani konkurenčnosti raziskav EU na mednarodni ravni? Ali so raziskave EU dosegle vodilni položaj na specifičnih področjih? delno Na kakšen način in kako daljnosežno so dejavnosti prispevale k politikam EU na splošno in k strategiji EU za trajnostni razvoj? ne Ali obstajajo dokazi o strukturni spremembi, ki vključuje zlasti mrežno povezovanje, povezovanje in koordinacijo raziskav na nacionalni ali mednarodni ravni kot rezultat raziskovalnih dejavnosti Skupnosti? ne Ali so programi zagotovili vrednost za vložena sredstva? Ali so imele dejavnosti trajne učinke? ne RAZVOJ IN PRIHODNJI IZGLEDI Kako so se okvirni programi razvijali glede na svojo smiselnost, cilje, tematske prednostne naloge, ravnotežje med prednostnimi nalogami od spodaj navzgor in od zgoraj navzdol ter med temeljnimi in uporabnimi raziskavami, instrumente, evropsko dodano vrednost in druge učinke, zlasti z vidika nastanka koncepta evropskega raziskovalnega prostora (ERA), lizbonskih ciljev in glavnih mednarodnih ekonomskih in raziskovalnih meril uspešnosti? da Kako je okvirni program dosegel evropsko dodano vrednost? da Ali je evropsko dodano vrednost mogoče doseči z drugimi mednarodnimi ali nacionalnimi mehanizmi? ne Ali so programski cilji politike, prednostne naloge, instrumenti in življenjski cikel primerni za prihodnost? da

87. Poleg tega je opaženo, da so lahko člani odbora odgovorili na vprašanja, določena v svojih delovnih pooblastilih, samo pri tistih vidikih, za katere so bili v programih natančno določeni jasni in količinsko izmerljivi cilji (kot je delež udeleženih malih in srednje velikih podjetij).

Ocenjevanja OP, izvedena na nacionalni ravni

88. Več držav članic in pridruženih držav izvaja svoja nacionalna ocenjevanja OP, pri katerih obravnavajo relevantna in zanimiva vprašanja s svojega vidika (59). V zadnjih 8 letih je bilo izdelanih 14 takšnih študij za 9 držav članic in eno pridruženo državo.

89. Čeprav je Komisija povsod, kjer je mogoče, spodbujala standardizirane pristope, so te nacionalne študije o učinku zelo raznolike (60). Zaradi tega ne sledijo usklajeni metodologiji, možnosti za zbiranje, združevanje ali primerjanje rezultatov pa so omejene. Poleg tega lahko te študije zaradi svojega nacionalnega značaja samo delno zajamejo razsežnost evropskega sodelovanja.

90. Komisija je leta 2007 v „zeleni knjigi“ o ERA trdila, da je pomembno, da so na ravni ERA na voljo točne analize o učinku in uspešnosti raziskovalnih dejavnosti in politik, vključno s tistimi v državah članicah in EU. Prav tako je priznala, da sedanja ureditev ni ustrezna za obravnavanje tega izziva, ker je vsaka raven posega izvajala ocenjevanja ločeno od ostalih (61).

Priporočila

91. Komisija bi morala pripraviti priročnik za ocenjevanje dejavnosti, ki se financirajo iz OP, ter v njem opredeliti temeljne koncepte in terminologijo ter vrsto ustreznih metodologij za določene dejavnosti ocenjevanja. Ta priročnik bi moral temeljiti na obstoječih smernicah in orodjih ter bi ga bilo treba redno posodabljati. 92. Komisija bi morala opredeliti svoje potrebe po informacijah, ter ob tem upoštevati potrebo po omejitvi administrativnega bremena za udeležence. 93. Komisija bi morala pravočasno zagotavljati informacije o spremljanju izvajanja OP. Kot zahtevajo „pravila za udeležbo“ za OP7, je treba nujno in čimprej odpraviti težave v Komisijinih informacijskih sistemih za upravljanje podatkov o vodenju programa in udeležencih. 94. Obveznosti udeležencev glede poročanja Komisiji je treba precej zmanjšati, ankete pa bi bilo treba izvajati samo na podlagi vzorca. Pogodbeno zahtevo za predložitev podatkov o učinku na podlagi kazalnikov za vsak projekt bi bilo treba nadomestiti s kratko samooceno ob zaključku projekta. 95. Komisija bi morala pri svojih ocenjevanjih v večji meri uporabljati obstoječe dopolnilne vire relevantnih podatkov (tako v Komisiji kot v državah članicah). 96. Komisija bi morala uporabljati celoten razpon razpoložljivih tehnik ocenjevanja. Poleg tega bi morala podpirati razvoj inovativnih pristopov k reševanju metodoloških težav, ki so značilne za ocenjevanje javnih posegov na področju raziskav (glej Prilogo I) in te pristope uporabljati pri svojih ocenjevanjih. 97. Komisija bi se morala z državami članicami posvetovati o tem, kako čim bolj povečati koristi ocenjevanj OP na nacionalni ravni.

Razširjanje in uporaba ugotovitev ocenjevanja

98. Ocenjevanje bi moralo zagotavljati relevantne informacije in analize, ki jih je mogoče uspešno uporabljati za vodenje programov in oblikovanje politike. Ocenjevanje bi moralo predvsem nuditi podlago za temeljit razmislek o prednostih in pomanjkljivostih javnega posega, ki bi temeljil na podatkih in ki je nujen za učenje. Sodišče je preverilo, v kolikšnem obsegu so bile ocene časovno dobro načrtovane, ugotovitve sporočene in razširjene med zainteresirane strani zunaj Komisije in kako je Komisija upoštevala priporočila za pregled tekočih programov („programi učenja“).

Pri časovnem načrtovanju ocen ni bilo upoštevano, kakšno vrsto informacij je dejansko mogoče pričakovati

99. Sodišče priznava, da nekatere vrste analize zahtevajo dolgoročno perspektivo (npr. ocena izidov in socialno-ekonomskih učinkov) ter da so nekateri vidiki povezani z določenim programskim obdobjem (npr. programski cilji, celo znotraj danega znanstvenega področja), drugi pa ne (glej diagram 8). Vendar Komisija pri svojih dejavnostih ocenjevanja ni sprejela pristopa, ki upošteva te časovne razpone.

100. Zakonodaja zahteva, da se Komisijine glavne dejavnosti ocenjevanja osredotočajo izključno na pet let pred pripravo petletne ocene ter tako pokrivajo dele dveh zaporednih programskih obdobij. Zaradi tega so bili srednjeročni in dolgoročni izidi in učinki le malo obravnavani. Posledično so se petletne ocene v glavnem osredotočale na vidike spremljanja, vprašanja, povezana s kratkoročno zasnovo programov, in splošna opažanja o usmeritvi OP. Sodišče pozdravlja dejstvo, da zakonodaja o OP7 ne zahteva več petletnih ocen ali kakršnih koli drugih vnaprej opredeljenih obdobij pokritosti. Diagram 8 Vprašanja spremljanja in ocenjevanja glede na različne časovne razpone Spremljanje izvajanja programa (v teku) — Vprašanja glede upravljanja programa (npr. čas, potreben za sklenitev pogodbe, čas, potreben za plačilo, stopnje vpisa in uspeha, izvrševanje proračuna, stopnje financiranja itd.) Ocenjevanje Kratkoročno (na primer, najprej po 1–2 letih) — Vprašanja glede vodenja programa (npr. učinkovitost upravnih postopkov) — Vprašanja glede zasnove programa (npr. dostopnost in prožnost instrumentov, ovire pri udeležbi, posledice neuspeha v razpisih za oddajo predlogov itd.) — Analiza profila udeležbe (na tej stopnji v glavnem kvantitativna) Ocenjevanje Vmesno (na primer, po 7 letih) — Vprašanja glede zasnove programa (npr. uspešnost instrumentov) — Analiza udeležbe, (kombiniranje kvalitativnih in kvantitativnih vidikov, npr. analiza raziskovalnih mrež, učinek na vedenje raziskovalcev itd.) — Analiza izložkov projekta (62) (npr. publikacije, dokumenti, patenti, licence, prototipi, usposobljeni znanstveniki itd.) Ocenjevanje Dolgoročno (na primer po > 10 letih) — Ocena izidov in učinkov Vir: Evropsko računsko sodišče.

101. Te pomanjkljivosti petletnih ocen pri ocenjevanju izidov in učinkov OP so opazili tudi strokovnjaki Komisije: — odbor za petletno oceno iz leta 2004 je izjavil, da bi moralo ocenjevanje zajemati tako dolgoročna kot kratkoročna vprašanja in jim namenjati dovolj pozornosti ter da bi bilo mogoče sprostiti vire, da se omogočijo ambicioznejše dolgoročne ocenjevalne študije, s katerimi bi bilo mogoče bolj sistematično raziskati strukturna in širša socialno-ekonomska vprašanja (63), — med študijo, ki jo je naročil GD za raziskave, je bilo ugotovljeno, da sedanje prakse EU za ocenjevanje RTR (ki zajemajo stalno spremljanje, petletne ocene in vmesno ocenjevanje) zaznamuje močna osredotočenost na spremljanje v primerjavi z ocenjevanjem učinkov in da bi bil za premik povpraševanja in pričakovanj v smeri socialno-ekonomskega učinka potreben nov okvir za ocenjevanje in spremljanje, ki bi zavezoval k večjemu prizadevanju na ravni učinkov in ne samo spremljanje izložkov (64).

102. Vprašanje časovnega načrtovanja vpliva tudi na posebne ocene, ki jih zahteva zakonodaja. Tako je bilo, na primer, Marimónovo poročilo leta 2004, v katerem so bili analizirani novi instrumenti, uvedeni z OP6 (2003–2006), zahtevano prezgodaj, posledica pa je bila, da je bilo malo ali nič praktičnih izkušenj in empiričnih dokazov, na katerih bi bili lahko utemeljeni njegovi zaključki (65).

Sporočanje in razširjanje

103. Komisija lahko sama razvije in prilagodi operativne delovne programe v skladu s kratkoročnimi cikli, vendar mora za to pridobiti odobritev ustreznega programskega odbora. To bi lahko predstavljalo priložnost za prilagoditve pri upravljanju programov in za proračunske prerazporeditve v podprogramih. Ni bilo dokazov, da Komisija uporablja to možnost (glej odstavek 107).

104. Poleg tega je glede na način oblikovanja in sprejemanja OP za Komisijo skoraj nemogoče, da bi sprejela kakršne koli pomembne spremembe, kot so spremembe programskih ciljev ali prerazporeditev proračunov med podprogrami. Takšne obširne spremembe lahko uveljavi samo zakonodajalec med pregledom zakonodaje o OP (kot v letu 2010 za OP7) ali pri sprejemanju naslednjega OP. Zato je zakonodaja običajno določala, da so glavna ocenjevanja časovno načrtovana tako, da je njihove rezultate mogoče kar se da koristno upoštevati pri oblikovanju politike.

105. Tako so nekateri glavni uporabniki Komisijinih ocenjevanj sami „GD, povezani z raziskavami“ (66). Zakonodaja o OP izrecno zahteva, da se ocene sporočijo tudi Evropskemu parlamentu in Svetu.

106. Vendar je v anketi, ki jo je Sodišče izvedlo v odboru Evropskega parlamenta ITRE in v odboru Sveta CREST, večina anketirancev navedla, da se ne počutijo dovolj obveščeni o izvajanju in rezultatih OP (glej diagram 9) (67).

Nadaljnje ukrepanje po ugotovitvah ocenjevanja

107. Komisija v svojih letnih pregledih ocenjevanja predstavi povzetek ugotovitev in izvedenih dejavnosti, ki izhajajo iz njenih ocenjevanj (68). Komisija je glede nadaljnjega ukrepanja zagotovila tudi formalne odgovore na ugotovitve in priporočila iz petletnih ocen ter iz posebnih ocen, ki jih zahteva zakonodaja, ter v možnem obsegu ustrezno ukrepala, da bi odpravila v njih opredeljene pomanjkljivosti. Vendar pri številnih drugih pregledanih ocenjevalnih poročilih to ni bilo tako ter ni bilo dokazov, da so bile njihove ugotovitve in priporočila upoštevana pri spremembi delovnih programov. Podobno v proračunskih izjavah generalnih direktoratov o ABB in njihovih letnih poročilih o dejavnostih ni navedeno, v kolikšnem obsegu se je ukrepalo po ugotovitvah iz ocen.

Priporočila

108. Komisija bi morala določiti vrsto in obseg ocene, ki jo je mogoče razumno pričakovati ob datumih, določenih v zakonodaji (2008, 2010 in 2015), pojasniti, kako je ocene mogoče uporabiti za prilagajanje programov („programi učenja“) in določiti, kako lahko ocenjevanja prispevajo k odločitvam na področju te politike. Komisija bi morala zlasti pojasniti, kakšen pristop načrtuje glede ocenjevanja dolgoročnih rezultatov preteklih in sedanjega OP, glede na to da lahko traja od 7 do 10 let, da takšni rezultati obrodijo sadove (glej diagram 8). 109. Komisija bi morala pregledati svojo prakso na področju sporočanja in razširjanja ugotovitev svojih ocenjevanj, da bi zagotovila, da udeležene strani prejmejo potrebne informacije. Predvsem bi morali „GD, povezani z raziskavami“ zagotoviti uraden odziv na vse ocene in te študije skupaj s svojimi odgovori pravočasno javno objaviti. „GD, povezani z raziskavami“ bi morali v svojih proračunskih izjavah o ABB in svojih letnih poročilih o dejavnostih poročati o tem, kako so ukrepali po ugotovitvah in kako so uporabili priporočila pri posodabljanju delovnih programov in zasnovi prihodnjih programov.

SPLOŠNI ZAKLJUČEK

110. Sodišče priznava, da je ocenjevanje programov RTR in zlasti ocenjevanje njihovih dolgoročnih rezultatov samo po sebi težko in da je opredeliti najboljšo prakso zahtevna naloga.

111. Po mnenju Sodišča je ocenjevanje bistvenega pomena za upravljanje programov, za prihodnje načrtovanje in za oblikovanje politike. Ocenjevanje zagotavlja tudi osnovo za odgovornost. Nudi dragocene informacije o tem, kateri načrtovani (ali nenačrtovani) rezultati so bili doseženi, v kolikšnem obsegu so bili doseženi programski cilji, o relevantnosti in uporabnosti programov ter o učinkovitosti in uspešnosti izvajanja programa. Ker o splošni usmeritvi, proračunskih zadevah in zasnovi programa OP odločata Evropski parlament in Svet, je potreben pregleden, verodostojen in trden sistem ocenjevanja, ki jima bo zagotavljal ustrezne informacije.

112. Komisija je v letih 2000 in 2002 vzpostavila skupni okvir ocenjevanja in ga pozneje v letu 2007 pregledala. Čeprav v obdobju, ki ga je revidiralo Sodišče, niso bile opažene nobene večje izboljšave pri načrtovanju, zasnovi in izvajanju ocenjevanja OP in njihovih programov, so „GD, povezani z raziskavami“ na splošno izpolnjevali uradne zahteve, ki veljajo za vso Komisijo.

113. „GD, povezani z raziskavami“ so imeli za obdobje, ki ga pokriva to poročilo, vzpostavljen sistem ocenjevanja, kot ga zahteva zakonodaja o OP, in Komisija lahko pokaže precejšnjo količino ocenjevalnih študij. Vendar ostaja dejstvo, da je o doseganju programskih ciljev in o rezultatih OP znanega malo ali nič. To je posledica tega, da so se ocene v glavnem osredotočale na kratkoročna vprašanja, povezana z izvajanjem programa. Zaradi tega je bila koristnost Komisijinih ocen za nosilce političnih odločitev, za zainteresirane strani in celo za samo Komisijo, omejena.

114. Glede na pomembnost ocenjevanja za upravljanje programov in oblikovanje politike je treba Komisijin pristop k ocenjevanju OP in programov, ki jih sestavljajo, ponovno preučiti z vidika novih političnih izzivov, povečanega financiranja, razširitve usmerjenosti politike Skupnosti na področju raziskav in nedavne reforme Komisije. To je priporočil tudi EURAB v svojem poročilu leta 2007.

115. Po mnenju Sodišča bi uporaba jasne logike posega pri zasnovi prihodnjih programov OP privedla do bolj osredotočenih in bolje strukturiranih programov. Prav tako bi prispevala h Komisijini politiki „boljših predpisov“, ki si prizadeva za bolje zasnovano, preprostejše, uspešnejše in bolje razumljeno zakonodajno okolje (69).

116. Ocenjevanje OP in njihovih programov bi bilo uspešnejše, če bi bili od samega začetka programski cilji in kazalniki bolj jasni, če bi se „GD, povezani z raziskavami“ dogovorili o trdni, a ne preveč predpisovalni ocenjevalni strategiji, in če bi se uporabljale naprednejše ocenjevalne metodologije, vključno s kvantitativnimi pristopi.

117. Sodišče je prav tako ugotovilo, da bi lahko Komisija z določenih vidikov ponovno razmislila o svojih obstoječih organizacijskih ureditvah za ocenjevanje OP. Prednosti so lahko v — zgodnejšem vključevanju ocenjevalnih odborov v proces ocenjevanja, ki bi tako lahko Komisiji nudili pomoč v celotnem programskem obdobju in po njem, ter večji specializiranosti z odbori za posebne programe in kjer je ustrezno, podprograme, — dopolnitvi obstoječih enot za ocenjevanje v posameznih generalnih direktoratih s skupnim uradom za ocenjevanje, ki bi bil odgovoren za koordinacijo ocenjevanja OP.

118. Priporočila v tem poročilu temeljijo bodisi na obstoječih praksah v Komisiji ali na mednarodni dobri praksi. Kar zadeva sredstva, je jasno, da bi uvedba predlaganega pristopa k ocenjevanju programov pomenila višje stroške. Vendar po mnenju Sodišča obstajajo velike možnosti, da bodo ti povišani stroški povzročili vsaj tako velik pozitivni protiučinek.

To poročilo je sprejelo Računsko sodišče v Luxembourgu na svojem zasedanju dne 22. novembra 2007. Za Računsko sodišče Hubert WEBER Predsednik

(1) OECD raziskave in razvoj opredeljuje kot ustvarjalno delo, ki ga sistematično opravljamo z namenom, da bi povečali znanje, vključno z znanjem o človeku, kulturi in družbi, ter uporabo tega znanja za razvoj novih aplikacij (glej OECD, Frascati Manual – Proposed standard practice for surveys on research and experimental development, Pariz, 2002, str. 30). V kontekstu Skupnosti se uporablja kratica RTR, ki zajema tehnologijo ter raziskave in razvoj.

(2) GD za raziskave je glavni generalni direktorat za upravljanje in koordinacijo OP. (Dele) posebnih programov upravlja še pet drugih generalnih direktoratov, med katerimi je najpomembnejši GD za informacijsko družbo in medije (ostali so GD za energetiko in promet, GD za podjetništvo in industrijo, GD za ribištvo ter Skupno raziskovalno središče, ki je v pristojnosti Komisije).

(3) Leta 2000 je Evropski svet na vrhu v Lizboni sprejel cilj, da bo EU do leta 2010 postala najbolj dinamično, konkurenčno in na znanju temelječe gospodarstvo na svetu, sposobno trajne gospodarske rasti, ki zagotavlja polno zaposlenost ter večjo ekonomsko in socialno kohezijo.

(4) Leta 2002 se je Evropski svet strinjal, da je treba povečati skupna vlaganja v RTR in inovacije z namenom, da se do leta 2010 približa cilju 3 % BDP. Ob tem je tudi pojasnil, da bi morali dve tretjini teh novih vlaganj izvirati iz zasebnega sektorja (glej Evropska komisija, „Vlaganje v raziskave: akcijski načrt za Evropo“, Sporočilo Komisije Svetu, Evropskemu parlamentu, Evropskemu ekonomsko-socialnemu odboru in Odboru regij, COM(2003) 226 konč., str. 7).

(5) Pri neposrednem upravljanju izvaja Komisija vse dejavnosti, ki so potrebne za njeno izvrševanje proračuna, brez sodelovanja držav članic ali tretjih držav, v katerih prebivajo prejemniki odhodkov iz proračuna.

(6) Od leta 2006 je samo v OP6 sodelovalo več kot 22 000 javnih in zasebnih pravnih oseb, v glavnem v večpartnerskih konzorcijih.

(7) To je metoda sodelovanja, ki temelji na načelu prostovoljnega medvladnega sodelovanja. Temelji zlasti na vzajemnem učenju, primerjanju uspešnosti in izmenjavi najboljših praks.

(8) Uredba Sveta (ES, Euratom) št. 1605/2002 z dne 25. junija 2002 (UL L 248, 16.9.2002, str. 1), členi 27, 48, 59 in 60.

(9) Evropska komisija, GD za proračun, Sporočilo gospe Grybauskaitė Komisiji v dogovoru s predsednikom, „Responding to strategic needs: reinforcing the use of evaluation“, SEC(2007) 213, 21. februar 2007; Evropska komisija, GD za proračun, Sporočilo gospe Schreyer Komisiji, „Focus on Results: Strengthening Evaluation of Commission Activities“, SEC(2000) 1051, 26. julij 2000.

(10) Sklep št. 1982/2006/ES Evropskega parlamenta in Sveta z dne 18. decembra 2006 o Sedmem okvirnem programu Evropske skupnosti za raziskave, tehnološki razvoj in predstavitvene dejavnosti (2007–2013) (UL L 412, 30.12.2006, str. 1). člen 7(1); podatki o spremljanju, ki jih mora Komisija zagotoviti programskim odborom, so opredeljeni v odločbah o posebnih programih (glej na primer Odločbo Sveta 2006/971/ES z dne 19. decembra 2006 o posebnem programu „Sodelovanje“ za izvajanje Sedmega okvirnega programa Evropske skupnosti za raziskave, tehnološki razvoj in predstavitvene dejavnosti (2007–2013) (UL L 400, 30.12.2006, str. 86), člen 8(4) in Priloga V).

(11) Evropska komisija, Sporočilo Svetu o akcijskem načrtu Skupnosti v zvezi z ocenjevanjem dejavnosti Skupnosti na področju R&R za obdobje 1987 do 1991, COM(86) 660 konč., 20. november 1986, v odgovor na resolucijo Sveta z dne 28. junija 1983.

(12) Evropska komisija, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996“; Poročilo neodvisnega odbora strokovnjakov, ki mu je predsedoval vikont Davignon (1997); Evropska komisija, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999“; Poročilo neodvisnega odbora strokovnjakov, ki mu je predsedoval Joan Majó (julij 2000); Evropska komisija, „Five-year Assessment of the European Union Research Framework Programmes, 1999–2003“; Poročilo neodvisnega odbora strokovnjakov, ki mu je predsedoval Erkki Ormala (15. december 2004).

(13) Evropska komisija, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI“, 21. junij 2004, poročilo odbora strokovnjakov na visoki ravni, ki ga je vodil profesor Ramon Marimón.

(14) Evropska komisija, GD za proračun, Sporočilo gospe Schreyer Komisiji, „Focus on Results: Strengthening Evaluation of Commission Activities“, julij 2000, SEC(2000) 1051; Evropska komisija, GD za proračun, Sporočilo predsednika in gospe Schreyer za Komisijo, „Evaluation Standards and Good Practice“, C(2002) 5267, 23.12.2002.

(15) Evropska komisija, GD za proračun, Sporočilo gospe Grybauskaitė Komisiji v dogovoru s predsednikom, „Responding to strategic needs: reinforcing the use of evaluation“, SEC(2007) 213, 21. februar 2007.

(16) Evropska komisija, delovni dokument uslužbencev, „Impact Assessment and ex-ante evaluation“, SEC(2005) 430.

(17) Odbor Evropskega parlamenta za industrijo, raziskave in energetiko (ITRE) je (zlasti) odgovoren za industrijsko politiko, raziskovalno politiko (vključno z razširjanjem in izkoriščanjem rezultatov raziskav), vesoljsko politiko, dejavnosti Skupnega raziskovalnega središča, Pogodbo Euratom ter informacijsko družbo in informacijsko tehnologijo.

(18) CREST (Odbor za znanstvene in tehnične raziskave) je bil ustanovljen z resolucijo Sveta z dne 14. januarja 1974, sestavljajo pa ga predstavniki nacionalnih organov, ki so odgovorni za politiko na področju znanosti in tehnologije v državah članicah. CREST ima svetovalno vlogo, saj Komisijo in Svet obvešča zlasti o zadevah v zvezi s koordinacijo nacionalnih politik na področju raziskav in razvoja ter v zvezi s spremljanjem in ocenjevanjem OP.

(19) Logični modeli, ki kažejo, kako vložki v različne dejavnosti vodijo do pričakovanih rezultatov, so najprimernejši način za ponazoritev logike posega. S temi modeli je možno jasno pojasniti predpostavke, na katerih temelji zasnova programa, in kako so splošni cilji razčlenjeni na operativne cilje.

(20) Evropska komisija, GD za proračun, „Evaluating EU activities: a practical guide for the Commission services“, julij 2004, str. 87 in 106.

(21) „Five year Assessment of the European Union Research Framework Programmes, 1999–2003“, Poročilo neodvisnega odbora strokovnjakov, ki ga je vodil Erkki Ormala (15. december 2004): Oddelek 6 „Evaluating the Framework Programme“, str. 19.

(22) Države prejemnice zunanje pomoči morajo za pridobitev sredstev Skupnosti predstaviti logične modele (Evropska komisija, Aid delivery methods, Zvezek 1, Project cycle management guidelines, marec 2004, Oddelek 5: The logical framework approach).

(23) Uredba (ES, Euratom) št. 1605/2002, člen 27(3).

(24) V letu 2006 je bilo področje „08 raziskave“ strukturirano na podlagi posebnih programov (in podprogramov) sedanjega programskega obdobja OP6 (in posledično zamenjano z drugačno strukturo v letu 2007), medtem ko sta bila na področju „09 informacijska družba“ sedanji in prejšnji posebni program združena kot ena dejavnost ABB (Evropska komisija, GD za raziskave, Direktorat A: Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006, 20.12.2005; Evropska komisija, GD za informacijsko družbo in medije, 2006 Annual management plan, 23.12.2005).

(25) V primeru GD za raziskave so se cilji ABM (in kazalniki, uporabljeni za merjenje njihovega doseganja) iz leta v leto spreminjali. GD za informacijsko družbo je po drugi strani uporabil večletne cilje, ki pa vseeno niso bili enaki kot programski cilji (ali tisti, navedeni na ravni delovnega programa).

(26) Evropska komisija, služba za notranjo revizijo, Review of effectiveness and efficiency of the SPP/ABM cycle – SG & DG Budget, 2005: odstavek 4.1, str. 31.

(27) Evropska komisija, Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes, COM(83) 1 konč., 19. januar 1983.

(28) Sporočilo Komisije Evropskemu parlamentu in Svetu, Independent external monitoring and evaluation of Community activities in the area of research and technological development, 22.5.1996 (COM(1996) 220 konč.)

(29) Vsak generalni direktorat, ki izvaja OP, dokumentira svoje načrtovano ocenjevanje v letnih (in večletnih) načrtih ocenjevanja. Vendar za te načrte ni mogoče reči, da predstavljajo strategijo ocenjevanja kot takšno.

(30) Uredba (ES, Euratom) št. 1605/2002, člen 27(4).

(31) „Loi de programme pour la recherche no 2006–450“ z dne 18.4.2006 in „Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)“ z dne 3.11.2006.

(32) Agencia Nacional de Evaluación y Prospectiva v okviru Ministerio de Educación y Ciencia: Orden ECI/1252/2005 z dne 4. maja 2005, ki ustanavlja „Comisión Asesora de Evaluación y Prospectiva“ (Svetovalna komisija za ocenjevanje in predvidevanje).

(33) Leta 2004 je „Deutsche Forschungsgemeinschaft“ (DFG) ustanovil specializiran institut, „Institut für Forschungsinformation und Qualitätssicherung“ (IFQ), ki je odgovoren za razvijanje in standardizacijo metodologij ocenjevanja, zagotavljanje kakovosti in izvajanje ocen dejavnosti RTR, ki jih financira DFG.

(34) Za OP7 je Komisija ustanovila 15 EAG v primerjavi z 12 EAG za OP6 in 17 EAG za OP5. Te svetovalne skupine strokovnjakov svetujejo Komisiji o političnih in programskih vprašanjih, povezanih z OP. Vendar je treba opozoriti, da ne pokrivajo celotne programske strukture OP. Drugače povedano, ni svetovalne skupine strokovnjakov za vsak posebni program (ali podprogram).

(35) V Kanadi so skoraj vsi oddelki zvezne vlade ustanovili stalne odbore za ocenjevanje, v katerih sodelujejo višji oddelčni uradniki in ponavadi tudi predstavniki zunanjih zainteresiranih strani, ki nadzirajo sistem ocenjevanja („Social Sciences and Humanities Research Council of Canada“: Evaluation Standing Committee – Mandate and Membership).

(36) Evropska komisija, „Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes“, avgust 2005, str. 5.

(37) Evropska komisija, „Planning and optimising Commission human resources to serve EU priorities“, SEC(2007) 530, 24. april 2007.

(38) Evropska komisija, Sporočilo predsednika in gospe Schreyer za Komisijo, „Evaluation standards and good practice“, C(2002) 5267, 23.12.2002; Evropska komisija, delovni dokument uslužbencev, „Impact assessment and ex-ante evaluation“, SEC(2005) 430, 6. april 2005, Priloga 1, sprotna opomba 209.

(39) Leta 2007 je tudi Evropski svetovalni odbor za raziskave (EURAB) priporočil povečanje virov, dodeljenih ocenjevanju OP (EURAB, „Recommendations on Ex-Post Impact Assessment“, julij 2007).

(40) Posebno poročilo št. 1/2004 Računskega sodišča o upravljanju posrednih ukrepov RTR v sklopu 5. okvirnega programa (OP5) za raziskave in tehnološki razvoj (1998–2002) (UL C 99, 23.4.2004), odstavka 116 in 122.

(41) Evropska komisija, GD za proračun, Sporočilo gospe Grybauskaitė Komisiji v dogovoru s predsednikom, „Responding to strategic needs: reinforcing the use of evaluation“, SEC(2007) 213, 21. februar 2007; Evropska komisija, Sporočilo predsednika in gospe Schreyer Komisiji, „Evaluation standards and good practice“, C(2002) 5267, 23.12.2002.

(42) 14 generalnih direktoratov ima takšne ocenjevalne priročnike za področja in programe, za katera so odgovorni (Evropska komisija, GD za proračun – enota za ocenjevanje, „Overview of Evaluation Guides in the Commission“, oktober 2004).

(43) Fahrenkrog, G. et al, RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; „Assessing the Socio-economic Impacts of the Framework Programme“; University of Manchester; 2002.

(44) Čeprav Komisija na splošno ima takšne podatke o udeležencih, jih pogosto ni mogoče zlahka uporabiti za podrobno analizo, ker se podatki o danem udeležencu niti ne hranijo na istem mestu niti niso nujno zabeleženi v združljivih formatih. Zaradi tega je težko slediti sodelovanju udeleženca v času, da bi se na primer ocenili razlogi za neudeležbo, ter razmerjem med udeleženci, na primer za preučevanje učinkov mreženja (glej odstavek 84).

(45) Letno poročilo za proračunsko leto 2006, tabela 2.3; Letno poročilo za proračunsko leto 2005, odstavek 7.13; Letno poročilo za proračunsko leto 2004, odstavka 6.8 in 6.10; Letno poročilo za proračunsko leto 2003, odstavka 6.9 in 6.70; Posebno poročilo Računskega sodišča št. 1/2004, odstavki 105–108; Mnenje Sodišča št. 1/2006 o predlogu uredbe Evropskega parlamenta in Sveta o določitvi pravil za udeležbo podjetij, raziskovalnih središč in univerz pri ukrepih v okviru sedmega okvirnega programa in razširjanju rezultatov raziskav (2007 do 2013) (UL C 203, 25.8.2006), odstavek 57.

(46) Pogodba o ustanovitvi Evropske skupnosti, člen 173: „Komisija na začetku vsakega leta pošlje Evropskemu parlamentu in Svetu poročilo. Poročilo zajema informacije o raziskovalnih in tehnološko razvojnih dejavnostih ter o razširjanju njihovih rezultatov v predhodnem letu, pa tudi delovni program za tekoče leto.“

(47) Ni bilo sistematičnega poskusa zbiranja podatkov pri udeležencih po dokončanju projekta, razen posebnih anket v okviru ocenjevanj. Uporabo anket je oviralo dejstvo, da udeleženci niso pravno zavezani zagotoviti takšnih analitičnih podatkov, tako kot v številnih nacionalnih programih RTR (npr. v Nemčiji).

(48) Posebno poročilo št. 1/2004, odstavek 94; Mnenje št. 1/2006, odstavek 56.

(49) Letno poročilo za proračunsko leto 2006, odstavek 7.33; Letno poročilo za proračunsko leto 2005, odstavka 7.8 in 7.29; Mnenje št. 1/2006, odstavki 58 do 61.

(50) CORDIS je edina podatkovna zbirka, ki zagotavlja informacije o predlogih, projektih in rezultatih, ki je skupna celotnemu OP, pokriva več programskih obdobij in je dostopna tudi zunaj Komisije. Vendar podatki v CORDIS za posamezne projekte pogosto niso posodobljeni po tem, ko je bil predlog izbran. Do vključno OP6 udeleženci v OP iz zasebnega in javnega sektorja niso imeli obveznosti, da svoje rezultate javno objavijo (Evropski svetovalni odbor za raziskave (EURAB), „Scientific publication: policy on open access“, december 2006).

(51) Hanne Foss Hansen, „Choosing evaluation models: A discussion on evaluation design,“Evaluation, Zvezek 11, št. 4, 2005, str. 447–462.

(52) Do vključno OP6 udeleženci v OP iz zasebnega in javnega sektorja niso imeli obveznosti, da javno objavijo svoje znanstvene rezultate. EURAB je decembra 2006 priporočil, da se javnosti zagotovi prost dostop do raziskav, ki jih financira Skupnost, in sicer tako, da postane objava rezultatov obvezna. Prav tako je bilo predlagano, naj Komisija ustanovi spletno odlagališče za objavljene rezultate projektov (glej EURAB, „Scientific publication: policy on open access“, december 2006).

(53) Opaženo je, da so bili takšni modeli uporabljeni za izdelavo napovedi o mikro- in makroekonomskih vplivih načrtovanega OP7 (glej Evropska komisija, „Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes“, avgust 2005, str. 23–25). Vendar ni nobenih dokazov, da je ta ocena potencialnih ekonomskih učinkov OP povezana s kakršnim koli načrtom za naknadno ocenjevanje.

(54) GD za informacijsko družbo in medije, „IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)“, 2005; „Networks of innovation in information society development and deployment in Europe“, 2006.

(55) GD za informacijsko družbo in medije: „ERAnets – Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area – (Final Report), 2005“; „Evaluation of progress towards a European Research Area for information society technologies“, 2005; „Networks of innovation in information society development and deployment in Europe“, 2006.

(56) GD za informacijsko družbo in medije: „Framework contract for Impact Assessments for research in the field of Information Society Technologies“.

(57) EURAB, „Recommendations on Ex-Post Impact Assessment“, julij 2007.

(58) Evropska komisija, „Five-year Assessment of the European Union Research Programmes, 1999–2003“. Poročilo odbora neodvisnih strokovnjakov, ki ga je vodil Erkki Ormala (15. december 2004), Priloga 1.

(59) Evropska komisija, „The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report“ (1995).

(60) Evropska komisija, „Design of an harmonized impact study methodology for the R&D EU Framework Programmes“, 1992.

(61) Evropska komisija, delovni dokument uslužbencev, „The European Research Area: new perspectives“, SEC(2007) 412/2, 4. april 2007, oddelek 3.3.3 „ERA and the implications for evidence-based monitoring and evaluation“, str. 93.

(62) Treba je povedati, da se sporazumi o donacijah za projekte podpisujejo v vsem programskem obdobju, prvi sporazumi ponavadi začnejo veljati ob koncu prvega leta programa. Ti sporazumi trajajo večinoma od tri do pet let, zaradi tega je končne izložke mogoče najbolj zgodaj pričakovati po štirih do šestih letih.

Vir: Evropsko računsko sodišče.

(63) Evropska komisija, „Five year Assessment of the European Union Research Framework Programmes, 1999–2003“, Poročilo neodvisnega odbora strokovnjakov, ki ga je vodil Erkki Ormala (15. december 2004): Oddelek 6 „Evaluating the Framework Programme“, str. 19.

(64) Evropska komisija, „Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies“, tako imenovan „EPUB Toolbox“, ki ga je izdalo Skupno raziskovalno središče (JRC) – Inštitut za tehnološka predvidevanja (IPTS) in Joanneum Research (avgust 2002), Povzetek, str. 9 in 12.

(65) Evropska komisija, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI“, 21. junij 2004, poročilo odbora strokovnjakov na visoki ravni, ki ga je vodil profesor Ramon Marimón, str. 20.

(66) European Policy Evaluation Consortium (EPEC), Technopolis France, „Study on the use of evaluation results in the Commission: Final report“, Dossier No 1 Synthesis report and annexes, maj 2005.

(67) Višja raven zadovoljstva, o kateri so poročali anketiranci iz odbora CREST, ki so pogosto tudi člani programskih odborov, je lahko posledica njihove formalne vloge pri spremljanju izvajanja programa.

(68) Evropska komisija, delovni dokument uslužbencev, „Annual Evaluation Review 2004 – Overview of the Commission's evaluation findings and activities“, SEC(2005) 587, 28. april 2005.

(69) Evropska komisija, GD za proračun, Sporočilo gospe Grybauskaitė Komisiji v dogovoru s predsednikom, „Responding to strategic needs: reinforcing the use of evaluation“, SEC(2007) 213, 21. februar 2007, str. 4.

PRILOGA I MERJENJE UČINKA IN REZULTATOV JAVNEGA POSEGA NA PODROČJU RTR Med glavnimi metodološkimi težavami pri merjenju učinka in rezultatov javnega posega na področju RTR so: — „težave s pripisovanjem“: Težave s pripisovanjem se kažejo pri ocenjevanju in merjenju uspešnosti. Tesno so povezane z vprašanjem „dodatnosti“, ki sprašuje, ali se ne bi spremembe vseeno zgodile. Na težave s pripisovanjem rezultatov specifičnemu javnemu posegu vplivajo tudi številni zunanji dejavniki (kot so vplivi drugih politik ali programov, spremembe pravnega okvira, družbene spremembe itd.). Poleg tega je lahko nedoseganje pričakovanih rezultatov pri raziskavah tudi uspeh. Dodatni zaplet povzroča navidezna težavnost pri jasnem pripisovanju raziskovalnih izložkov, kaj šele izidov in učinkov, specifičnim vidikom procesa RTR ali celo posameznim subjektom, ki sodelujejo pri raziskovalni dejavnosti. — „težave pri merjenju“: — „razpoložljivost podatkov“: Na splošno se večina podatkov, ki so na voljo, zlasti podatki, zbrani prek sistemov spremljanja, nanaša na vložke in izložke dejavnosti RTR, ne pa na izide ali učinke. — „razumevanje dinamike“: Glede na očitno težavo pri vzpostavljanju vzročnih razmerij med vložki in izložki je notranji ustroj raziskovalnega procesa nejasen in ker ni izrecne logike posega, se proces sam večinoma šteje za „črno škatlo“. — „primerljivost rezultatov“: Rezultate z različnih znanstvenih področij je mogoče primerjati v le omejenem obsegu, zato bi jih bilo na splošno treba razlagati v kontekstu posebnih programov in podprogramov. Poleg tega je ocenjevanje rezultatov težje pri osnovnih (ali temeljnih) raziskavah kot pri uporabnih raziskavah ali tehnološkem razvoju. Glavni razlog za to je dejstvo, da osnovne raziskave na splošno sestavljajo enkratni, neponovljivi postopki. Celo na področju uporabnih raziskav se rezultati močno razlikujejo in jih zato ni mogoče zlahka primerjati. — „agregacija“: Sprejemanje zaključkov na podlagi rezultatov ocenjevanj glede izložkov, izidov in učinkov, doseženih na nižji ravni, predstavlja težave za naslednjo višjo raven (na primer, pri agregaciji rezultatov projektov, najprej za grozde projektov, nato za tematska področja programa in kot zadnje na ravni samega programa). — „ustreznost kazalnikov“: Drugo vprašanje je, ali ocenjevalci merijo pravo stvar. Kazalniki morajo biti preprosti za merjenje, zahtevni za manipuliranje in spodbujati pravo vedenje. Vendar pa ni nujno, da „merljivi“ kazalnik za izložek omogoča sprejemanje zaključkov o izidih ali učinkih. — „težave pri načrtovanju časa“: Dodatna ovira je precejšnja časovna vrzel med raziskovalno dejavnostjo in generacijo izložkov in izidov, tako da je mogoče oceniti učinek. Podatke je treba zbirati v tako dolgem obdobju, da je na podlagi njih mogoče sprejeti smiselne in trdne zaključke. Takšni časovni razponi za ocenjevanje pogosto niso skladni s pričakovanji in potrebami nosilcev političnih odločitev in treba je najti kompromis med zgodnjim zagotavljanjem podatkov za oblikovanje politike in omogočanjem zadostnega časa, da se pokažejo vplivi. — „zmote pri projektu“: Pri ocenjevanju izidov in učinkov posameznih projektov v programu je treba upoštevati dilemo, da so bili tehnološki in znanstveni rezultati običajno doseženi z uporabo prejšnjega dela. Podobno lahko udeleženci pred objavo in izkoriščanjem znanstvenih rezultatov rezultate projekta uporabijo za drugo delo. Zato projekt sam po sebi ni nujno ustrezen okvir za ocenjevanje, zlasti kar zadeva dolgoročne učinke in izide. — „verodostojnost, poštenost in neodvisnost“: Kakovost ocenjevanja je v veliki meri odvisna od stopnje zavzetosti ocenjevalcev glede predmeta ocenjevanja, kar zajema kompromis med razumevanjem in strokovnostjo na eni strani ter neodvisnostjo in objektivnostjo na drugi. Prav tako je odvisna od predpostavk in interesov nosilcev političnih odločitev ter osnovnih razlogov in namenov ocenjevanja.

PRILOGA II DOLOČBE O SPREMLJANJU IN OCENJEVANJU V ZAKONODAJNIH AKTIH ZA OP4 DO OP7 OP4 (1995 do 1998) (1) OP5 (1999 do 2002) (2) OP6 (2003 do 2006) (3) OP7 (2007 do 2013) (4) Sklep o okvirnem programu – Svet in EP Sklep št. 1110/94/ES Evropskega parlamenta in Sveta z dne 26. aprila 1994 o Četrtem okvirnem programu (1994–1998) na področju raziskav in tehnološkega razvoja ter predstavitev: člen 4 Sklep št. 182/1999/ES Evropskega parlamenta in Sveta z dne 22. decembra 1998 o Petem okvirnem programu Evropske skupnosti na področju raziskav, tehnološkega razvoja in predstavitvenih dejavnosti (1998–2002): člena 5 in 6 Sklep št. 1513/2002/ES Evropskega parlamenta in Sveta z dne 27. junija 2002 o Šestem okvirnem programu Evropske skupnosti na področju raziskav, tehnološkega razvoja in predstavitvenih dejavnosti, ki prispeva k oblikovanju Evropskega raziskovalnega prostora in k inovacijam (2002–2006): uvodna izjava 20, člena 4 in 6, Priloga III Sklep št. 1982/2006/ES Evropskega parlamenta in Sveta z dne 18. decembra 2006 o Sedmem okvirnem programu Evropske skupnosti za raziskave, tehnološki razvoj in predstavitvene dejavnosti (2007–2013): člen 7 Spremljanje — z ustrezno pomočjo neodvisnih strokovnjakov stalno in sistematično spremljati napredek glede na začetne cilje (člen 4(1)) — vsako leto s pomočjo neodvisnih strokovnjakov stalno in sistematično spremljati izvajanje OP in njegovih posebnih programov glede na merila, določena v Prilogi I, ter znanstvene in tehnološke cilje, določene v Prilogi II (člen 5(1)) — s pomočjo neodvisnih strokovnjakov stalno in sistematično spremljati [vsako leto] izvajanje šestega okvirnega programa in njegovih posebnih programov (člena 4 in 6(1)) — stalno in sistematično spremljati izvajanje okvirnega programa in njegovih posebnih programov (člen 7(1)) — oceniti, ali so cilji, prednostne naloge in finančni viri še vedno ustrezni za spreminjajoče se stanje, in če niso, podati predloge za prilagoditev ali dopolnitev OP in/ali posebnih programov (člen 5(1)) — redno pregledovanje vseh raziskovalnih dejavnosti, zlasti spremljanje ravni raziskovalne odličnosti (Priloga III, 1. Instrumenti) — redno poročanje in razširjanje rezultatov tega spremljanja (člen 7(1)) Člen 173 – Letno poročilo — podrobno poročati o napredku pri izvajanju OP, še zlasti o napredku pri doseganju njegovih ciljev in prednostnih nalog, kot so določeni pod posameznimi naslovi v Prilogi I, vključno z informacijami o finančnih vidikih in uporabi instrumentov, v okviru letnega poročila, ki ga mora Komisija predložiti skladno s členom 173 Pogodbe (člen 4) Vmesna ocena — pregledati napredek programa na polovici trajanja OP (člen 6) — predložiti EP in Svetu na podlagi ocen različnih posebnih programov sporočilo, ki se mu priloži, če je to primerno, predlog za prilagoditev tega sklepa (člen 6) — najpozneje do leta 2010 ob pomoči zunanjih strokovnjakov pripraviti z dokazi podprto vmesno oceno tega okvirnega programa in njegovih posebnih programov, po zgledu naknadne ocene prejšnjega okvirnega programa, ta ocena pokriva zlasti kakovost tekočih raziskovalnih dejavnosti, kakovost izvajanja in vodenja ter napredka v smeri zastavljenih ciljev (člen 7(2)) — zaključke te ocene skupaj s svojimi pripombami in po potrebi predlogi za prilagoditev tega okvirnega programa predložiti Evropskemu parlamentu, Svetu, Evropskemu ekonomsko-socialnemu odboru in Odboru regij (člen 7(2)) — redno obveščati Evropski parlament in Svet o skupnem napredku izvajanja OP in posebnih programov (člen 5(4)) — Evropskemu parlamentu in Svetu predložiti redna poročila o napredku pri izvajanju OP (uvodna izjava 20) — izdelati poročilo o napredku (pred vmesno oceno), in sicer takoj, ko je na voljo dovolj podatkov, v katerem se navedejo začetne ugotovitve glede učinkovitosti novih dejavnosti, začetih v okviru OP7, in prizadevanj glede poenostavitve (člen 7(2)) — v letu 2004 neodvisni strokovnjaki izdelajo oceno učinkovitosti vsake od teh treh vrst instrumentov pri izvajanju programa (Priloga III, 1. Instrumenti) Petletna ocena — poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje upravljanja in napredka dejavnosti Skupnosti v petih letih pred tem ocenjevanjem (člen 4(2)) — poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje izvajanja dejavnosti in dosežkov Skupnosti v petih letih pred tem ocenjevanjem glede na merila, določena v Prilogi I, ter znanstvene in tehnološke cilje, določene v Prilogi II (člen 5(2)) — poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje izvajanja dejavnosti in dosežkov Skupnosti v petih letih pred tem ocenjevanjem (člen 6(2)) (glede na izvajanje podvzetih dejavnosti ob upoštevanju prispevka OP6 k oblikovanju evropskega raziskovalnega prostora (uvodna izjava 20) — sporočiti oceno, skupaj s pripombami Komisije, Evropskemu parlamentu, Svetu ter Ekonomsko-socialnemu odboru pred predložitvijo predloga