# Uradni list C 26/2008

| | ISSN 1725-5244 |
| --- | --- |
| Uradni list
  Evropske unije | C 26 |
| | |
| Slovenska izdaja | Informacije in objave | Zvezek 5130. januar 2008 |

ISSN 1725-5244

Uradni list

Evropske unije

C 26

Slovenska izdaja

Informacije in objave

Zvezek 5130. januar 2008

---

| Obvestilo št. | Vsebina | Stran |
| --- | --- | --- |
| | IV   Informacije |
| | INFORMACIJE INSTITUCIJ IN ORGANOV EVROPSKE UNIJE |
| | Računsko sodišče |
| 2008/C 026/01 | Posebno poročilo št. 9/2007 o ocenjevanju okvirnih programov EU za raziskave in tehnološki razvoj (RTR) – je mogoče pristop Komisije izboljšati? z odgovori Komisije | 1 |

Obvestilo št.

Vsebina

Stran

IV   Informacije

INFORMACIJE INSTITUCIJ IN ORGANOV EVROPSKE UNIJE

Računsko sodišče

2008/C 026/01

Posebno poročilo št. 9/2007 o ocenjevanju okvirnih programov EU za raziskave in tehnološki razvoj (RTR) – je mogoče pristop Komisije izboljšati? z odgovori Komisije

1

| SL | |
| --- | --- |

SL

---

IV Informacije

INFORMACIJE INSTITUCIJ IN ORGANOV EVROPSKE UNIJE

Računsko sodišče

| 30.1.2008 | SL | Uradni list Evropske unije | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

SL

Uradni list Evropske unije

C 26/1

---

POSEBNO POROČILO št. 9/2007

o „ocenjevanju okvirnih programov EU za raziskave in tehnološki razvoj (RTR) – je mogoče pristop Komisije izboljšati?“ z odgovori Komisije

(v skladu z drugim pododstavkom člena 248(4) ES)

(2008/C 26/01)

KAZALO

| I–V | POVZETEK |
| --- | --- |

I–V

| 1–14 | UVOD |
| --- | --- |

1–14

| 1–7 | Vloga Evropske unije pri podpiranju dejavnosti RTR |
| --- | --- |

1–7

| 8–14 | Ocenjevanje in spremljanje OP |
| --- | --- |

8–14

| 15–18 | OBSEG REVIZIJE IN REVIZIJSKI PRISTOP |
| --- | --- |

15–18

| 19–109 | REVIZIJSKA OPAŽANJA |
| --- | --- |

19–109

| 19–37 | Logika posega, določanje ciljev in kazalniki uspešnosti |
| --- | --- |

19–37

| 38–49 | Strategija ocenjevanja |
| --- | --- |

38–49

| 50–68 | Organizacija ocenjevanja OP |
| --- | --- |

50–68

| 69–97 | Metodologije in tehnike ocenjevanja |
| --- | --- |

69–97

| 98–109 | Razširjanje in uporaba ugotovitev ocenjevanja |
| --- | --- |

98–109

| 110–118 | SPLOŠNI ZAKLJUČEK |
| --- | --- |

110–118

Priloga I: Merjenje učinka in rezultatov javnega posega na področju RTR

Priloga II: Določbe o spremljanju in ocenjevanju v zakonodajnih aktih za OP4 do OP7

Priloga III: Glavne razlike pri naknadnem ocenjevanju raziskovalnih programov med EU (OP4–OP6), ZDA in Kanado

Priloga IV: Možna struktura odborov za OP7

Odgovori Komisije

POVZETEK

| I. | Okvirni programi Skupnosti za RTR (OP) so največji vir javnega financiranja raziskav v Evropski uniji. Za upravljanje OP in ocenjevanje njihovih rezultatov je odgovorna Komisija. |
| --- | --- |

I.

Okvirni programi Skupnosti za RTR (OP) so največji vir javnega financiranja raziskav v Evropski uniji. Za upravljanje OP in ocenjevanje njihovih rezultatov je odgovorna Komisija.

| II. | V revizijo so bile zajete ureditve o spremljanju in ocenjevanju, ki veljajo od leta 1995 za vsaj tri programska obdobja (OP4, OP5, OP6), vsebuje pa tudi pogled na OP7 (2007–2013). Revizija je bila izvedena skupaj z revizijskim odborom EFTE in s pomočjo zunanjih strokovnjakov. |
| --- | --- |

II.

V revizijo so bile zajete ureditve o spremljanju in ocenjevanju, ki veljajo od leta 1995 za vsaj tri programska obdobja (OP4, OP5, OP6), vsebuje pa tudi pogled na OP7 (2007–2013). Revizija je bila izvedena skupaj z revizijskim odborom EFTE in s pomočjo zunanjih strokovnjakov.

| III. | Predmet revizije je bilo vprašanje, ali je bil pristop Komisije k ocenjevanju OP ustrezen. Sodišče je v okviru tega preverilo, ali je Komisija izpolnjevala pravne zahteve za ocenjevanje in ocenilo, ali je njen sistem za ocenjevanje in spremljanje izpolnil pričakovanja zainteresiranih strani. Sodišče je zastavilo predvsem naslednja vprašanja:






  (i) | ali je pri OP in njihovih programih obstajala osnovna logika posega, ki je nudila dobro podlago za ocenjevanje in spremljanje; |
| --- | --- | --- |

III.

Predmet revizije je bilo vprašanje, ali je bil pristop Komisije k ocenjevanju OP ustrezen. Sodišče je v okviru tega preverilo, ali je Komisija izpolnjevala pravne zahteve za ocenjevanje in ocenilo, ali je njen sistem za ocenjevanje in spremljanje izpolnil pričakovanja zainteresiranih strani. Sodišče je zastavilo predvsem naslednja vprašanja:

(i)

ali je pri OP in njihovih programih obstajala osnovna logika posega, ki je nudila dobro podlago za ocenjevanje in spremljanje;

| (ii) | ali je Komisija za OP opredelila strategijo ocenjevanja; |
| --- | --- |

(ii)

ali je Komisija za OP opredelila strategijo ocenjevanja;

| (iii) | ali je organizacijska struktura Komisijinega sistema ocenjevanja za OP zagotavljala, da je bilo ocenjevanje ustrezno koordinirano, da so bili zanj na voljo ustrezni viri in da je bilo po mnenju zainteresiranih strani dovolj neodvisno; |
| --- | --- |

(iii)

ali je organizacijska struktura Komisijinega sistema ocenjevanja za OP zagotavljala, da je bilo ocenjevanje ustrezno koordinirano, da so bili zanj na voljo ustrezni viri in da je bilo po mnenju zainteresiranih strani dovolj neodvisno;

| (iv) | ali so bile za ocenjevanje uporabljene zadovoljive metodologije in |
| --- | --- |

(iv)

ali so bile za ocenjevanje uporabljene zadovoljive metodologije in

| (v) | ali so dejavnosti ocenjevanja in spremljanja zagotovile informacije in analizo, ki jih je bilo mogoče uporabiti za izboljšanje tekočih programov in pripravo prihodnjih OP. |
| --- | --- |

(v)

ali so dejavnosti ocenjevanja in spremljanja zagotovile informacije in analizo, ki jih je bilo mogoče uporabiti za izboljšanje tekočih programov in pripravo prihodnjih OP.

| IV. | Sodišče je prišlo do naslednjih ugotovitev in zaključkov:






  (i) | pomanjkanje jasne logike posega, slabo opredeljeni programski cilji in šibko merjenje uspešnosti so oslabili uspešno spremljanje in ocenjevanje; |
| --- | --- | --- |

IV.

Sodišče je prišlo do naslednjih ugotovitev in zaključkov:

(i)

pomanjkanje jasne logike posega, slabo opredeljeni programski cilji in šibko merjenje uspešnosti so oslabili uspešno spremljanje in ocenjevanje;

| (ii) | ker ni bilo celostne strategije ocenjevanja za OP, dogovorjene med „generalnimi direktorati, povezanimi z raziskavami“, ki izvajajo OP, pristopi različnih služb Komisije niso bili dosledni. To je zlasti razvidno iz nezadostnega ocenjevanja pomembnih delov OP; |
| --- | --- |

(ii)

ker ni bilo celostne strategije ocenjevanja za OP, dogovorjene med „generalnimi direktorati, povezanimi z raziskavami“, ki izvajajo OP, pristopi različnih služb Komisije niso bili dosledni. To je zlasti razvidno iz nezadostnega ocenjevanja pomembnih delov OP;

| (iii) | ocenjevanje OP je bilo decentralizirano, obstoječi mehanizmi za koordinacijo med generalnimi direktorati, ki izvajajo OP, niso bili uspešni, osrednje službe Komisije pa niso imele pooblastil za uveljavljanje. Vendar so „GD, povezani z raziskavami“ na splošno delovali v skladu z uradnimi zahtevami Komisije glede ocenjevanja. Na splošno je bila uporaba odborov, sestavljenih iz zunanjih strokovnjakov na visoki ravni, ki jih imenuje Komisija pri večjih ocenjevanjih, za kontekst Skupnosti zelo primerna. Vendar ti začasni odbori niso bili dovolj zgodaj vključeni v proces, da bi lahko vplivali na zbiranje dokazov in so imeli le omejene možnosti za redno spremljanje pomembnih vprašanj. Z uporabo skupnega odbora za OP (poleg posebnega odbora za posamezni posebni program) ni bilo dovolj pozornosti posvečene posebnim vprašanjem, povezanim z različnimi znanstvenimi področji v okviru OP; |
| --- | --- |

(iii)

ocenjevanje OP je bilo decentralizirano, obstoječi mehanizmi za koordinacijo med generalnimi direktorati, ki izvajajo OP, niso bili uspešni, osrednje službe Komisije pa niso imele pooblastil za uveljavljanje. Vendar so „GD, povezani z raziskavami“ na splošno delovali v skladu z uradnimi zahtevami Komisije glede ocenjevanja. Na splošno je bila uporaba odborov, sestavljenih iz zunanjih strokovnjakov na visoki ravni, ki jih imenuje Komisija pri večjih ocenjevanjih, za kontekst Skupnosti zelo primerna. Vendar ti začasni odbori niso bili dovolj zgodaj vključeni v proces, da bi lahko vplivali na zbiranje dokazov in so imeli le omejene možnosti za redno spremljanje pomembnih vprašanj. Z uporabo skupnega odbora za OP (poleg posebnega odbora za posamezni posebni program) ni bilo dovolj pozornosti posvečene posebnim vprašanjem, povezanim z različnimi znanstvenimi področji v okviru OP;

| (iv) | pripravljene metodološke smernice niso bile ustrezne, ocenjevalci so imeli težave pri zbiranju ustreznih podatkov in ni bilo nobenih ocenjevalnih študij, ki bi obravnavale dolgoročne izide in učinke OP namesto kratkoročnih vprašanj, povezanih z izvajanjem programa, ter |
| --- | --- |

(iv)

pripravljene metodološke smernice niso bile ustrezne, ocenjevalci so imeli težave pri zbiranju ustreznih podatkov in ni bilo nobenih ocenjevalnih študij, ki bi obravnavale dolgoročne izide in učinke OP namesto kratkoročnih vprašanj, povezanih z izvajanjem programa, ter

| (v) | zaradi navedenega in ker so bile ocene pogosto pripravljene prezgodaj, da bi bilo mogoče obravnavati najpomembnejša vprašanja, je bila koristnost Komisijinega sistema ocenjevanja OP za nosilce političnih odločitev, za zainteresirane strani in celo za Komisijo, omejena. Kot zadnje, o doseganju programskih ciljev in o rezultatih OP je znanega zelo malo. |
| --- | --- |

(v)

zaradi navedenega in ker so bile ocene pogosto pripravljene prezgodaj, da bi bilo mogoče obravnavati najpomembnejša vprašanja, je bila koristnost Komisijinega sistema ocenjevanja OP za nosilce političnih odločitev, za zainteresirane strani in celo za Komisijo, omejena. Kot zadnje, o doseganju programskih ciljev in o rezultatih OP je znanega zelo malo.

| V. | Sodišče priporoča:






  (i) | da se v prihodnji zakonodaji jasno opredeli logika posega. Treba je pojasniti osnovne predpostavke, razjasniti povezavo med znanstvenimi in socialno-ekonomskimi cilji ter razviti ustrezne kazalnike uspešnosti; |
| --- | --- | --- |

V.

Sodišče priporoča:

(i)

da se v prihodnji zakonodaji jasno opredeli logika posega. Treba je pojasniti osnovne predpostavke, razjasniti povezavo med znanstvenimi in socialno-ekonomskimi cilji ter razviti ustrezne kazalnike uspešnosti;

| (ii) | da generalni direktorati, ki izvajajo OP, pripravijo celostno strategijo ocenjevanja (in se o njej dogovorijo). To zlasti pomeni uporabo doslednega pristopa glede minimalne ravni, na kateri mora biti izvedeno podrobno ocenjevanje, da se upoštevajo specifične značilnosti vsakega znanstvenega področja; |
| --- | --- |

(ii)

da generalni direktorati, ki izvajajo OP, pripravijo celostno strategijo ocenjevanja (in se o njej dogovorijo). To zlasti pomeni uporabo doslednega pristopa glede minimalne ravni, na kateri mora biti izvedeno podrobno ocenjevanje, da se upoštevajo specifične značilnosti vsakega znanstvenega področja;

| (iii) | razmisliti bi bilo treba o ustanovitvi skupnega urada za ocenjevanje, ki bi koordiniral dejavnosti ocenjevanja „GD, povezanih z raziskavami“ za OP kot celoto, in o vzpostavitvi sistema odborov (in pododborov), sestavljenih iz zunanjih strokovnjakov. Ti odbori bi morali biti ustanovljeni dovolj zgodaj, da bi Komisiji zagotavljali učinkovito pomoč med celotnim programskim obdobjem in po njem; |
| --- | --- |

(iii)

razmisliti bi bilo treba o ustanovitvi skupnega urada za ocenjevanje, ki bi koordiniral dejavnosti ocenjevanja „GD, povezanih z raziskavami“ za OP kot celoto, in o vzpostavitvi sistema odborov (in pododborov), sestavljenih iz zunanjih strokovnjakov. Ti odbori bi morali biti ustanovljeni dovolj zgodaj, da bi Komisiji zagotavljali učinkovito pomoč med celotnim programskim obdobjem in po njem;

| (iv) | zahteve glede podatkov za ocenjevanje in spremljanje bi bilo treba ustrezno analizirati in v večji meri uporabiti druge obstoječe vire podatkov. Komisija bi morala tudi racionalizirati zahteve za poročanje, ki veljajo za udeležence. Kot zadnje, za OP bi morala pripraviti izčrpen priročnik za ocenjevanje ter razviti več različnih metodologij in tehnik za ocenjevanje na tem področju, in |
| --- | --- |

(iv)

zahteve glede podatkov za ocenjevanje in spremljanje bi bilo treba ustrezno analizirati in v večji meri uporabiti druge obstoječe vire podatkov. Komisija bi morala tudi racionalizirati zahteve za poročanje, ki veljajo za udeležence. Kot zadnje, za OP bi morala pripraviti izčrpen priročnik za ocenjevanje ter razviti več različnih metodologij in tehnik za ocenjevanje na tem področju, in

| (v) | da Komisija določi vrsto in obseg ocenjevanja, ki ga je mogoče razumno pričakovati ob datumih, določenih v zakonodaji o OP7, ter da pojasni, kako je ocene mogoče uporabiti za prilagajanje programov („programi učenja“) in kako lahko prispevajo k sprejemanju odločitev na področju te politike. |
| --- | --- |

(v)

da Komisija določi vrsto in obseg ocenjevanja, ki ga je mogoče razumno pričakovati ob datumih, določenih v zakonodaji o OP7, ter da pojasni, kako je ocene mogoče uporabiti za prilagajanje programov („programi učenja“) in kako lahko prispevajo k sprejemanju odločitev na področju te politike.

UVOD

Vloga Evropske unije pri podpiranju dejavnosti RTR

| 1. | Raziskave in tehnološki razvoj (RTR) (1) so glavno gonilo znanstvenega in tehničnega napredka in inovativnosti ter kot take pomembno prispevajo k izboljšanju življenjskega standarda. Javni poseg v RTR je na splošno utemeljen kot korektiv za tako imenovane „tržne neuspehe“, pri čemer javna podpora zmanjša negotovost, saj zagotavlja naložbe tam, kjer so raziskave javno dobro ali kjer obstajajo pomembni zunanji vplivi. |
| --- | --- |

1.

Raziskave in tehnološki razvoj (RTR) (1) so glavno gonilo znanstvenega in tehničnega napredka in inovativnosti ter kot take pomembno prispevajo k izboljšanju življenjskega standarda. Javni poseg v RTR je na splošno utemeljen kot korektiv za tako imenovane „tržne neuspehe“, pri čemer javna podpora zmanjša negotovost, saj zagotavlja naložbe tam, kjer so raziskave javno dobro ali kjer obstajajo pomembni zunanji vplivi.

| 2. | Vlogo Skupnosti pri podpiranju RTR določa člen 163 Pogodbe ES: „Cilj Skupnosti je okrepiti znanstvene in tehnološke temelje industrije Skupnosti ter jo spodbujati, da postane bolj konkurenčna na mednarodni ravni, pri čemer pospešuje vse raziskovalne dejavnosti, ki se zdijo potrebne ...“. V členih 164–173 so določene dejavnosti, ki se izvajajo v ta namen, ter področje uporabe in izvajanje večletnih okvirnih programov za RTR (OP). Za pripravo predlogov za OP je odgovorna Komisija, medtem ko sklepe o OP ter pravila za sodelovanje in razširjanje skupaj sprejmeta Evropski parlament in Svet s postopkom soodločanja. Posebne programe sprejme Svet sam. OP skupaj izvaja šest generalnih direktoratov (GD), to so tako imenovani „GD, povezani z raziskavami“ (2). |
| --- | --- |

2.

Vlogo Skupnosti pri podpiranju RTR določa člen 163 Pogodbe ES: „Cilj Skupnosti je okrepiti znanstvene in tehnološke temelje industrije Skupnosti ter jo spodbujati, da postane bolj konkurenčna na mednarodni ravni, pri čemer pospešuje vse raziskovalne dejavnosti, ki se zdijo potrebne ...“. V členih 164–173 so določene dejavnosti, ki se izvajajo v ta namen, ter področje uporabe in izvajanje večletnih okvirnih programov za RTR (OP). Za pripravo predlogov za OP je odgovorna Komisija, medtem ko sklepe o OP ter pravila za sodelovanje in razširjanje skupaj sprejmeta Evropski parlament in Svet s postopkom soodločanja. Posebne programe sprejme Svet sam. OP skupaj izvaja šest generalnih direktoratov (GD), to so tako imenovani „GD, povezani z raziskavami“ (2).

| 3. | V širokem razponu politik, ki jih Evropska unija izvaja za krepitev inovativnosti in konkurenčnosti, so OP najpomembnejši finančni instrument, ki na ravni Skupnosti prispeva k uresničevanju lizbonske strategije (3) in barcelonskega cilja (4). |
| --- | --- |

3.

V širokem razponu politik, ki jih Evropska unija izvaja za krepitev inovativnosti in konkurenčnosti, so OP najpomembnejši finančni instrument, ki na ravni Skupnosti prispeva k uresničevanju lizbonske strategije (3) in barcelonskega cilja (4).

Image

| 4. | Komisija z OP zagotavlja sredstva raziskovalcem v Evropski uniji, pridruženih državah in mednarodnih organizacijah. Njihovi proračuni so se z leti močno povečali in za OP7 znašajo 7 217 milijonov EUR na leto v primerjavi z 2 761 milijoni EUR, kolikor so znašali v okviru OP4 (glej diagram 1). Kar zadeva proračunske odobritve, te predstavljajo največje področje, ki ga Komisija neposredno centralizirano upravlja (5). |
| --- | --- |

4.

Komisija z OP zagotavlja sredstva raziskovalcem v Evropski uniji, pridruženih državah in mednarodnih organizacijah. Njihovi proračuni so se z leti močno povečali in za OP7 znašajo 7 217 milijonov EUR na leto v primerjavi z 2 761 milijoni EUR, kolikor so znašali v okviru OP4 (glej diagram 1). Kar zadeva proračunske odobritve, te predstavljajo največje področje, ki ga Komisija neposredno centralizirano upravlja (5).

| 5. | OP se od številnih nacionalnih programov razlikujejo v tem, da pokrivajo tako temeljne kot uporabne raziskave z udeležbo industrije in javnih raziskovalnih organizacij (6). Okvirne programe sestavljajo posebni programi (in podprogrami), ki se nanašajo na širša znanstvena področja. Ti običajno zajemajo več tematskih področij, ki so osredotočena na bolj specifična znanstvena področja. Ta tematska področja se nato po razpisih za zbiranje predlogov izvajajo prek projektov (imenovanih „posredni ukrepi“). Na ta način je na vsakem tematskem področju financiranih na stotine posameznih projektov. |
| --- | --- |

5.

OP se od številnih nacionalnih programov razlikujejo v tem, da pokrivajo tako temeljne kot uporabne raziskave z udeležbo industrije in javnih raziskovalnih organizacij (6). Okvirne programe sestavljajo posebni programi (in podprogrami), ki se nanašajo na širša znanstvena področja. Ti običajno zajemajo več tematskih področij, ki so osredotočena na bolj specifična znanstvena področja. Ta tematska področja se nato po razpisih za zbiranje predlogov izvajajo prek projektov (imenovanih „posredni ukrepi“). Na ta način je na vsakem tematskem področju financiranih na stotine posameznih projektov.

| 6. | Skupni delež OP v celotnem javnem financiranju RTR v Evropski uniji in njenih državah članicah se giblje med 4 % in 5 %. Kljub temu je njegov vpliv na to, katere vrste raziskovalnih dejavnosti se izvajajo v Evropi, bistveno večji. To je tako zato, ker donacije Skupnosti na splošno zagotavljajo samo del vseh sredstev za projekt. Poleg tega morajo raziskovalci ob oddaji vloge za sredstva dokazati, da se njihovi projekti nanašajo na cilje, opredeljene v razpisih za zbiranje predlogov. Tako OP spodbujajo usmerjanje dejavnosti RTR k specifičnim ciljem EU. |
| --- | --- |

6.

Skupni delež OP v celotnem javnem financiranju RTR v Evropski uniji in njenih državah članicah se giblje med 4 % in 5 %. Kljub temu je njegov vpliv na to, katere vrste raziskovalnih dejavnosti se izvajajo v Evropi, bistveno večji. To je tako zato, ker donacije Skupnosti na splošno zagotavljajo samo del vseh sredstev za projekt. Poleg tega morajo raziskovalci ob oddaji vloge za sredstva dokazati, da se njihovi projekti nanašajo na cilje, opredeljene v razpisih za zbiranje predlogov. Tako OP spodbujajo usmerjanje dejavnosti RTR k specifičnim ciljem EU.

| 7. | V zadnjih letih je prišlo pri OP do pomembnih sprememb, ki so posledica:






  — | novih političnih izzivov (lizbonska strategija in barcelonski cilji, ustanovitev evropskega raziskovalnega prostora (European Research Area – ERA) in vedno večje uporabe odprte metode koordinacije (7) na področju politike raziskav in inovacij), |
| --- | --- | --- |

7.

V zadnjih letih je prišlo pri OP do pomembnih sprememb, ki so posledica:

—

novih političnih izzivov (lizbonska strategija in barcelonski cilji, ustanovitev evropskega raziskovalnega prostora (European Research Area – ERA) in vedno večje uporabe odprte metode koordinacije (7) na področju politike raziskav in inovacij),

| — | spremembe usmerjenosti OP od preprostega reševanja tehničnih težav v okviru OP4 in reševanja specifičnih družbenih težav v okviru OP5 do spodbujanja sodelovanja raziskovalnih organizacij v evropskem raziskovalnem prostoru ter prispevanja k vzpostavljanju na znanju temelječega gospodarstva in družbe v okviru OP6 in OP7, |
| --- | --- |

—

spremembe usmerjenosti OP od preprostega reševanja tehničnih težav v okviru OP4 in reševanja specifičnih družbenih težav v okviru OP5 do spodbujanja sodelovanja raziskovalnih organizacij v evropskem raziskovalnem prostoru ter prispevanja k vzpostavljanju na znanju temelječega gospodarstva in družbe v okviru OP6 in OP7,

| — | daljših programskih obdobij (prej 4 leta, zdaj 7 let za OP7 v skladu s finančno perspektivo 2007–2013), |
| --- | --- |

—

daljših programskih obdobij (prej 4 leta, zdaj 7 let za OP7 v skladu s finančno perspektivo 2007–2013),

| — | udeležbe več držav članic in sodelujočih držav, |
| --- | --- |

—

udeležbe več držav članic in sodelujočih držav,

| — | povečanega financiranja, zlasti v okviru sedanje finančne perspektive, |
| --- | --- |

—

povečanega financiranja, zlasti v okviru sedanje finančne perspektive,

| — | ustanovitve Evropskega raziskovalnega sveta (European Research Council – ERC) in prenosa dejavnosti upravljanja programov na izvajalske agencije, ki se je začel v okviru OP7, ter |
| --- | --- |

—

ustanovitve Evropskega raziskovalnega sveta (European Research Council – ERC) in prenosa dejavnosti upravljanja programov na izvajalske agencije, ki se je začel v okviru OP7, ter

| — | naraščajoče uporabe obsežnih instrumentov financiranja (npr. mreže odličnosti, integrirani projekti, projekti po členu 169, skupne tehnološke pobude). |
| --- | --- |

—

naraščajoče uporabe obsežnih instrumentov financiranja (npr. mreže odličnosti, integrirani projekti, projekti po členu 169, skupne tehnološke pobude).

Ocenjevanje in spremljanje OP

| 8. | Komisija je odgovorna za izvajanje programov in za ocenjevanje njihovih rezultatov (8). Na Komisiji ocene decentralizirano pripravljajo posamezni generalni direktorati (zlasti GD za proračun in generalni sekretariat), osrednje službe pa zagotavljajo podporo in koordinacijo. |
| --- | --- |

8.

Komisija je odgovorna za izvajanje programov in za ocenjevanje njihovih rezultatov (8). Na Komisiji ocene decentralizirano pripravljajo posamezni generalni direktorati (zlasti GD za proračun in generalni sekretariat), osrednje službe pa zagotavljajo podporo in koordinacijo.

| 9. | V tem poročilu so uporabljene opredelitve Komisije, ki „ocenjevanje“ opredeljuje kot „presojo posegov glede na njihove rezultate, učinke in potrebe, ki naj bi jih zadovoljili“ (9), ter „spremljanje“ kot zagotavljanje informacij o izvajanju tekočih programov in projektov za obravnavanje upravljavskih potreb (10). Tako sta ti dve dejavnosti ločeni tudi v sedanji zakonodaji o OP7. |
| --- | --- |

9.

V tem poročilu so uporabljene opredelitve Komisije, ki „ocenjevanje“ opredeljuje kot „presojo posegov glede na njihove rezultate, učinke in potrebe, ki naj bi jih zadovoljili“ (9), ter „spremljanje“ kot zagotavljanje informacij o izvajanju tekočih programov in projektov za obravnavanje upravljavskih potreb (10). Tako sta ti dve dejavnosti ločeni tudi v sedanji zakonodaji o OP7.

| 10. | V nadaljnjem besedilu se za opisovanje rezultatov dejavnosti RTR uporabljajo naslednji izrazi:






  — | „izložki“ so znanje, blago in storitve, ki so neposredno proizvedeni kot posledica javnega posega (publikacije, konferenčni dokumenti, patenti, licence, prototipi, standardi, usposobljeni znanstveniki itd.), |
| --- | --- | --- |

10.

V nadaljnjem besedilu se za opisovanje rezultatov dejavnosti RTR uporabljajo naslednji izrazi:

—

„izložki“ so znanje, blago in storitve, ki so neposredno proizvedeni kot posledica javnega posega (publikacije, konferenčni dokumenti, patenti, licence, prototipi, standardi, usposobljeni znanstveniki itd.),

| — | „izidi“ so zapozneli rezultat predelave izložkov s strani uporabnikov in |
| --- | --- |

—

„izidi“ so zapozneli rezultat predelave izložkov s strani uporabnikov in

| — | „učinki“ so dolgoročne socialno-ekonomske in politične spremembe, ki jih povzroči javni poseg. |
| --- | --- |

—

„učinki“ so dolgoročne socialno-ekonomske in politične spremembe, ki jih povzroči javni poseg.

Okvir 1Primer „globalnega sistema za mobilno komunikacijo“ (GSM)V tem primeru so bili „izložki“ financiranja Skupnosti takojšnji rezultati projekta, kot je razvoj standarda GSM. „Izid“ je predstavljalo dejstvo, da je bil v Evropi in zunaj nje sprejet kot standard za digitalno celično telefonijo, kar je v veliki meri prispevalo k razvoju industrije telekomunikacij. Kot zadnje, „učinki“ so bile gospodarske, socialne in politične posledice mednarodne uporabe te tehnologije. To zajema tudi prispevek k ustvarjanju delovnih mest na področju telekomunikacij in s tem povezanih industrij ter naraščanje pomembnosti tega industrijskega sektorja za evropsko gospodarstvo. GSM je ljudem zagotovil tudi nov način medsebojne komunikacije.

| 11. | Vendar se pri ocenjevanju teh rezultatov pojavljajo številne metodološke težave (glej Prilogo I). Socialno-ekonomske spremembe so zapletene, zlasti je raziskovalno dejavnost pogosto težko povezati z opaženimi izidi in učinki. Čeprav te metodološke težave predstavljajo precejšen izziv, pa ne preprečujejo nujno uspešnega ocenjevanja. |
| --- | --- |

11.

Vendar se pri ocenjevanju teh rezultatov pojavljajo številne metodološke težave (glej Prilogo I). Socialno-ekonomske spremembe so zapletene, zlasti je raziskovalno dejavnost pogosto težko povezati z opaženimi izidi in učinki. Čeprav te metodološke težave predstavljajo precejšen izziv, pa ne preprečujejo nujno uspešnega ocenjevanja.

| 12. | Komisija ima od 1980-ih vzpostavljen sistem za spremljanje in ocenjevanje OP (11). Sistem za spremljanje in ocenjevanje, ki se je začel z OP4 sredi 1990-ih, je sestavljalo več delno povezanih dejavnosti, med katerimi sta bili:






  — | letno spremljanje (v glavnem izvajanja programov) in |
| --- | --- | --- |

12.

Komisija ima od 1980-ih vzpostavljen sistem za spremljanje in ocenjevanje OP (11). Sistem za spremljanje in ocenjevanje, ki se je začel z OP4 sredi 1990-ih, je sestavljalo več delno povezanih dejavnosti, med katerimi sta bili:

—

letno spremljanje (v glavnem izvajanja programov) in

| — | petletne ocene dejavnosti OP (in od OP6 naprej dodatne ocene specifičnih vprašanj). |
| --- | --- |

—

petletne ocene dejavnosti OP (in od OP6 naprej dodatne ocene specifičnih vprašanj).

Obe dejavnosti je bilo treba izvajati s pomočjo zunanjih strokovnjakov (glej diagram 2 in Prilogo II).

Diagram 2

OP4 do OP7 – Ključne zahteve pri spremljanju in ocenjevanju

| OP4 (1995–1998) | OP5 (1999–2002) | OP6 (2003–2006) | OP7 (2007–2013) |
| --- | --- | --- | --- |
| Dve ocenjevanji (vmesno in končno), v obeh primerih za njegovih 20 podprogramov in OP; končna ocena se prekriva z vmesnim ocenjevanjem OP5. | Dve sočasni ocenjevanji (vmesni), v obeh primerih za njegovih 7 posebnih programov in OP. | Eno ocenjevanje za OP in njegove 3 posebne programe (vmesno), vendar ne posebej za vseh 20 podprogramov, to je bilo dopolnjeno s posebno oceno in poročili o rednem napredku (tj. spremljanju). | Vsaj pet ocenjevanj (predhodna, vmesna in končna), vključno s posebnim poročilom o napredku pred vmesnim ocenjevanjem. |
| 1. | Predhodno: ne |

OP4 (1995–1998)

OP5 (1999–2002)

OP6 (2003–2006)

OP7 (2007–2013)

Dve ocenjevanji (vmesno in končno), v obeh primerih za njegovih 20 podprogramov in OP; končna ocena se prekriva z vmesnim ocenjevanjem OP5.

Dve sočasni ocenjevanji (vmesni), v obeh primerih za njegovih 7 posebnih programov in OP.

Eno ocenjevanje za OP in njegove 3 posebne programe (vmesno), vendar ne posebej za vseh 20 podprogramov, to je bilo dopolnjeno s posebno oceno in poročili o rednem napredku (tj. spremljanju).

Vsaj pet ocenjevanj (predhodna, vmesna in končna), vključno s posebnim poročilom o napredku pred vmesnim ocenjevanjem.

1.

Predhodno: ne

| 1. | Predhodno: ne |
| --- | --- |

1.

Predhodno: ne

| 1. | Predhodno: ne |
| --- | --- |

1.

Predhodno: ne

| 1. | Predhodno:
  vključeno v Oceno učinka v Komisijinem predlogu za OP7 (2005) |
| --- | --- |

1.

vključeno v Oceno učinka v Komisijinem predlogu za OP7 (2005)

| 2. | Vmesno:






  — | „Petletna ocena“: na sredi izvajanja OP, pred naslednjim OP (1997) |
| --- | --- | --- |

2.

—

„Petletna ocena“: na sredi izvajanja OP, pred naslednjim OP (1997)

| 2. | Vmesno:






  — | Petletna ocena: pred predstavitvijo predloga za naslednji OP (2000) |
| --- | --- | --- |

2.

—

Petletna ocena: pred predstavitvijo predloga za naslednji OP (2000)

| — | pregled napredka na sredi izvajanja OP (2001) |
| --- | --- |

—

pregled napredka na sredi izvajanja OP (2001)

| 2. | Vmesno:






  — | ocenjevanje uspešnosti instrumentov (2004) |
| --- | --- | --- |

2.

—

ocenjevanje uspešnosti instrumentov (2004)

| — | petletna ocena, pred predstavitvijo predloga za naslednji OP (2004) |
| --- | --- |

—

petletna ocena, pred predstavitvijo predloga za naslednji OP (2004)

| — | poročila o rednem napredku (tj. spremljanju) |
| --- | --- |

—

poročila o rednem napredku (tj. spremljanju)

| 2. | Vmesno:






  — | naknadno, 2 leti po koncu prejšnjega OP (2008) |
| --- | --- | --- |

2.

—

naknadno, 2 leti po koncu prejšnjega OP (2008)

| — | poročilo o napredku pred vmesnim ocenjevanjem (pred 2010) |
| --- | --- |

—

poročilo o napredku pred vmesnim ocenjevanjem (pred 2010)

| — | vmesno ocenjevanje (2010) |
| --- | --- |

—

vmesno ocenjevanje (2010)

| 3. | Končno:






  — | ob zaključku o OP (1999) |
| --- | --- | --- |

3.

—

ob zaključku o OP (1999)

| 3. | Končno:
  ne |
| --- | --- |

3.

ne

| 3. | Končno:
  ne

  [spremenjeno s Sklepom o OP7] |
| --- | --- |

3.

ne

[spremenjeno s Sklepom o OP7]

| 3. | Končno:
  dve leti po zaključku OP (2015), podpirajo ga posebne študije, vmesne ocene in druge ocenjevalne dejavnosti, ki se izvajajo ves čas trajanja OP |
| --- | --- |

3.

dve leti po zaključku OP (2015), podpirajo ga posebne študije, vmesne ocene in druge ocenjevalne dejavnosti, ki se izvajajo ves čas trajanja OP

Vir: Glej Prilogo II.

| 13. | Do danes so bile izvedene tri petletne ocene (12), na podlagi katerih so nastala „Davignonovo“, „Majójevo“ in „Ormalovo“ poročilo (v letih 1997, 2000 in 2004). GD za informacijsko družbo je ob tem izvajal tudi ciljne ocene za svoje posebne programe. Omeniti je treba, da so bile petletne ocene z zakonodajo o OP7 ukinjene, kar je odstranilo omejitev, da so morale biti glavne ocene osredotočene na predhodnih pet let in zaradi tega pokrivati dele dveh zaporednih programskih obdobij. Leta 2004 je bilo objavljeno tudi „Marimónovo poročilo“ (13), ki je posebna ocena o uspešnosti novih instrumentov, uvedenih z OP6. |
| --- | --- |

13.

Do danes so bile izvedene tri petletne ocene (12), na podlagi katerih so nastala „Davignonovo“, „Majójevo“ in „Ormalovo“ poročilo (v letih 1997, 2000 in 2004). GD za informacijsko družbo je ob tem izvajal tudi ciljne ocene za svoje posebne programe. Omeniti je treba, da so bile petletne ocene z zakonodajo o OP7 ukinjene, kar je odstranilo omejitev, da so morale biti glavne ocene osredotočene na predhodnih pet let in zaradi tega pokrivati dele dveh zaporednih programskih obdobij. Leta 2004 je bilo objavljeno tudi „Marimónovo poročilo“ (13), ki je posebna ocena o uspešnosti novih instrumentov, uvedenih z OP6.

| 14. | Komisijin okvir za dejavnosti ocenjevanja je bil pregledan v letih 2000 in 2002 (14). Obe sporočili sta bili v letu 2007 posodobljeni ob upoštevanju posledic upravne reforme Komisije in nove Finančne uredbe (15). V teh dokumentih sta vloga in funkcija ocenjevanja opisani v kontekstu celotnega cikla načrtovanja, programiranja in poročanja Komisije, ob tem pa je določen tudi sklop 21 standardov ocenjevanja in 18 modelov „dobre prakse“. Poleg tega je v teh dokumentih obravnavana tudi uporaba ocen pri pripravi in poenostavitvi zakonodaje EU. |
| --- | --- |

14.

Komisijin okvir za dejavnosti ocenjevanja je bil pregledan v letih 2000 in 2002 (14). Obe sporočili sta bili v letu 2007 posodobljeni ob upoštevanju posledic upravne reforme Komisije in nove Finančne uredbe (15). V teh dokumentih sta vloga in funkcija ocenjevanja opisani v kontekstu celotnega cikla načrtovanja, programiranja in poročanja Komisije, ob tem pa je določen tudi sklop 21 standardov ocenjevanja in 18 modelov „dobre prakse“. Poleg tega je v teh dokumentih obravnavana tudi uporaba ocen pri pripravi in poenostavitvi zakonodaje EU.

OBSEG REVIZIJE IN REVIZIJSKI PRISTOP

15.

| 15. | Glavni cilj revizije je bil ugotoviti, ali je imela Komisija ustrezen pristop k ocenjevanju rezultatov okvirnih programov za RTR. |
| --- | --- |

Glavni cilj revizije je bil ugotoviti, ali je imela Komisija ustrezen pristop k ocenjevanju rezultatov okvirnih programov za RTR.

| 16. | V ta namen je Sodišče ocenilo, v kolikšnem obsegu:






  — | imajo OP in programi, ki jih sestavljajo, jasno logiko posega, na podlagi katere je mogoče meriti in ocenjevati izložke, izide in učinke, kar zagotavlja dobro osnovo za ocenjevanje in spremljanje, |
| --- | --- | --- |

16.

V ta namen je Sodišče ocenilo, v kolikšnem obsegu:

—

imajo OP in programi, ki jih sestavljajo, jasno logiko posega, na podlagi katere je mogoče meriti in ocenjevati izložke, izide in učinke, kar zagotavlja dobro osnovo za ocenjevanje in spremljanje,

| — | je bila za OP opredeljena strategija ocenjevanja, ki spodbuja uspešno in dosledno ocenjevanje, |
| --- | --- |

—

je bila za OP opredeljena strategija ocenjevanja, ki spodbuja uspešno in dosledno ocenjevanje,

| — | organizacijska struktura sistema ocenjevanja zagotavlja, da je v celotnem OP ocenjevanje primerno koordinirano, da so zanj na voljo ustrezni viri in da je po mnenju zainteresiranih strani dovolj neodvisno, |
| --- | --- |

—

organizacijska struktura sistema ocenjevanja zagotavlja, da je v celotnem OP ocenjevanje primerno koordinirano, da so zanj na voljo ustrezni viri in da je po mnenju zainteresiranih strani dovolj neodvisno,

| — | metodologije, ki se uporabljajo za ocenjevanje, zagotavljajo, da se relevantna vprašanja obravnavajo na ustrezen način, tako da je ocenjevanje verodostojno, in |
| --- | --- |

—

metodologije, ki se uporabljajo za ocenjevanje, zagotavljajo, da se relevantna vprašanja obravnavajo na ustrezen način, tako da je ocenjevanje verodostojno, in

| — | v kolikšnem obsegu dejavnosti ocenjevanja in spremljanja zagotavljajo informacije in analizo, ki jih je mogoče uporabiti za izboljšanje tekočih programov („programi učenja“) in pripravo prihodnjih OP. |
| --- | --- |

—

v kolikšnem obsegu dejavnosti ocenjevanja in spremljanja zagotavljajo informacije in analizo, ki jih je mogoče uporabiti za izboljšanje tekočih programov („programi učenja“) in pripravo prihodnjih OP.

| 17. | V tem poročilu so zajete ustrezne ureditve za OP4 (1995–1998), OP5 (1999–2002) in OP6 (2003–2006). V njem so obravnavane tudi pravne zahteve, ki trenutno veljajo za OP7 (2007–2013), vendar ne zagotavlja ocene Komisijinega dokumenta „Ocena učinka in predhodno vrednotenje“ (16) za OP7. Poročilo je osredotočeno na spremljanje in naknadno ocenjevanje programov in ne na predhodno ocenjevanje predlogov projektov ali naknadno ocenjevanje samih projektov. |
| --- | --- |

17.

V tem poročilu so zajete ustrezne ureditve za OP4 (1995–1998), OP5 (1999–2002) in OP6 (2003–2006). V njem so obravnavane tudi pravne zahteve, ki trenutno veljajo za OP7 (2007–2013), vendar ne zagotavlja ocene Komisijinega dokumenta „Ocena učinka in predhodno vrednotenje“ (16) za OP7. Poročilo je osredotočeno na spremljanje in naknadno ocenjevanje programov in ne na predhodno ocenjevanje predlogov projektov ali naknadno ocenjevanje samih projektov.

| 18. | Revizija je bila izvedena s sodelovanjem revizijskega odbora EFTE in s pomočjo zunanjih strokovnjakov. Revizijski dokazi so bili zbrani z:






  — | revizijskim delom na Komisiji (pregled dokumentacije in pogovori z uslužbenci), ki je zajemalo opredelitev pravnih in statutarnih zahtev, pregled ciljev in meril uspešnosti, analizo več kot 80 poročil o spremljanju in ocenjevanju ter analizo organizacije dejavnosti ocenjevanja znotraj Komisije, |
| --- | --- | --- |

18.

Revizija je bila izvedena s sodelovanjem revizijskega odbora EFTE in s pomočjo zunanjih strokovnjakov. Revizijski dokazi so bili zbrani z:

—

revizijskim delom na Komisiji (pregled dokumentacije in pogovori z uslužbenci), ki je zajemalo opredelitev pravnih in statutarnih zahtev, pregled ciljev in meril uspešnosti, analizo več kot 80 poročil o spremljanju in ocenjevanju ter analizo organizacije dejavnosti ocenjevanja znotraj Komisije,

| — | razgovori z več kot 90 strokovnjaki, ki so bili opredeljeni kot zainteresirane strani v državah članicah in pridruženih državah (Češka, Nemčija, Estonija, Španija, Francija, Italija, Luksemburg, Nizozemska, Avstrija, Finska, Švedska, Združeno kraljestvo in Norveška), |
| --- | --- |

—

razgovori z več kot 90 strokovnjaki, ki so bili opredeljeni kot zainteresirane strani v državah članicah in pridruženih državah (Češka, Nemčija, Estonija, Španija, Francija, Italija, Luksemburg, Nizozemska, Avstrija, Finska, Švedska, Združeno kraljestvo in Norveška),

| — | anketami pri institucionalnih zainteresiranih straneh v odboru Evropskega parlamenta ITRE (17) in odboru Sveta CREST (18), |
| --- | --- |

—

anketami pri institucionalnih zainteresiranih straneh v odboru Evropskega parlamenta ITRE (17) in odboru Sveta CREST (18),

| — | posvetovanjem z več kot 65 strokovnjaki s področja ocenjevanja raziskav v ZDA in Kanadi, ki so predstavljali mednarodno skupino za primerjavo, |
| --- | --- |

—

posvetovanjem z več kot 65 strokovnjaki s področja ocenjevanja raziskav v ZDA in Kanadi, ki so predstavljali mednarodno skupino za primerjavo,

| — | pregledom strokovne literature o sedanjih trendih na področju ocenjevanja raziskav in |
| --- | --- |

—

pregledom strokovne literature o sedanjih trendih na področju ocenjevanja raziskav in

| — | z razpravo o revizijskih ugotovitvah, zaključkih in priporočilih s strokovnjaki za ocenjevanje raziskav iz Evrope in Severne Amerike na več moderiranih srečanjih tematskih skupin februarja 2007. |
| --- | --- |

—

z razpravo o revizijskih ugotovitvah, zaključkih in priporočilih s strokovnjaki za ocenjevanje raziskav iz Evrope in Severne Amerike na več moderiranih srečanjih tematskih skupin februarja 2007.

REVIZIJSKA OPAŽANJA

Logika posega, določanje ciljev in kazalniki uspešnosti

| 19. | Uspešno ocenjevanje in spremljanje zahteva jasne cilje in ustrezne kazalnike uspešnosti na ravni politike, programov in projektov, glede na katere je mogoče ocenjevati rezultate javnega posega. Dobra praksa na drugih področjih proračuna EU in širše kaže, da je te cilje in kazalnike treba opredeliti v okviru logike posega. |
| --- | --- |

19.

Uspešno ocenjevanje in spremljanje zahteva jasne cilje in ustrezne kazalnike uspešnosti na ravni politike, programov in projektov, glede na katere je mogoče ocenjevati rezultate javnega posega. Dobra praksa na drugih področjih proračuna EU in širše kaže, da je te cilje in kazalnike treba opredeliti v okviru logike posega.

| 20. | Logiko posega je mogoče opredeliti kot sklop hipotetičnih povezav med vzroki in posledicami, ki opisujejo, kako naj bi poseg po pričakovanjih dosegel svoje globalne cilje (19). V smernicah Komisije za ocenjevanje je navedeno, da logika posega zagotavlja konceptualno povezavo med vložki posega in njegovimi izložki, ter posledično z njegovimi učinki na družbo z vidika rezultatov in izidov (20). V tem poročilu je ta opredelitev dosledno uporabljena. |
| --- | --- |

20.

Logiko posega je mogoče opredeliti kot sklop hipotetičnih povezav med vzroki in posledicami, ki opisujejo, kako naj bi poseg po pričakovanjih dosegel svoje globalne cilje (19). V smernicah Komisije za ocenjevanje je navedeno, da logika posega zagotavlja konceptualno povezavo med vložki posega in njegovimi izložki, ter posledično z njegovimi učinki na družbo z vidika rezultatov in izidov (20). V tem poročilu je ta opredelitev dosledno uporabljena.

| 21. | Sodišče je ocenilo, v kolikšnem obsegu je bila za OP in njihove programe oblikovana logika posega, ki zagotavlja dobro podlago za ocenjevanje in spremljanje. |
| --- | --- |

21.

Sodišče je ocenilo, v kolikšnem obsegu je bila za OP in njihove programe oblikovana logika posega, ki zagotavlja dobro podlago za ocenjevanje in spremljanje.

Logika posega za OP ni bila jasno opredeljena

| 22. | Opredelitev logike posega bi morala biti že od samega začetka ključni element zasnove programa. Izhodišče za takšno logiko posega za OP bi moral nuditi člen 163 Pogodbe, v katerem je navedena potreba po krepitvi znanstvene in tehnološke podlage in večji konkurenčnosti (glej odstavek 2). Logika posega bi morala biti bolj podrobno določena glede na posamezna znanstvena področja, ki jih pokrivajo OP, in glede na različne uporabljene instrumente. |
| --- | --- |

22.

Opredelitev logike posega bi morala biti že od samega začetka ključni element zasnove programa. Izhodišče za takšno logiko posega za OP bi moral nuditi člen 163 Pogodbe, v katerem je navedena potreba po krepitvi znanstvene in tehnološke podlage in večji konkurenčnosti (glej odstavek 2). Logika posega bi morala biti bolj podrobno določena glede na posamezna znanstvena področja, ki jih pokrivajo OP, in glede na različne uporabljene instrumente.

| 23. | Vendar na vseh ravneh manjka jasno opredeljen logični model, ki bi pojasnjeval, kako OP in njihovi programi prispevajo k znanstvenemu in tehnološkemu napredku ter inovacijam. |
| --- | --- |

23.

Vendar na vseh ravneh manjka jasno opredeljen logični model, ki bi pojasnjeval, kako OP in njihovi programi prispevajo k znanstvenemu in tehnološkemu napredku ter inovacijam.

| 24. | Pomanjkanje logike posega pri OP je poudaril tudi odbor za petletno oceno iz leta 2004, ki je izjavil, da takšne odbore ponavadi zaprosijo, da zapolnijo vrzel med dokazi, večinoma zbranimi na ravni projektov, na eni strani in socialno-ekonomskimi cilji za raziskovalno politiko na višji ravni na drugi strani. Vendar je zaradi načina načrtovanja OP v tem trenutku to povezavo težko ugotoviti. OP manjka jasna logika, ki bi povezovala najvišje cilje s specifičnimi cilji v raziskavah in znanju (21). |
| --- | --- |

24.

Pomanjkanje logike posega pri OP je poudaril tudi odbor za petletno oceno iz leta 2004, ki je izjavil, da takšne odbore ponavadi zaprosijo, da zapolnijo vrzel med dokazi, večinoma zbranimi na ravni projektov, na eni strani in socialno-ekonomskimi cilji za raziskovalno politiko na višji ravni na drugi strani. Vendar je zaradi načina načrtovanja OP v tem trenutku to povezavo težko ugotoviti. OP manjka jasna logika, ki bi povezovala najvišje cilje s specifičnimi cilji v raziskavah in znanju (21).

| 25. | Nekatere države članice (npr. Nizozemska, Finska) in ZDA (glej diagram 3) uporabljajo drugačen pristop, kjer je opredelitev logike posega veliko bolj pogosta, prav tako Kanada, kjer je obvezna za vse programe (glej Prilogo III). Uporaba logike posega tam dejansko prinaša bolj osredotočene in bolje strukturirane programe. Tudi Komisija jo uvaja na drugih področjih politike Skupnosti (npr. zunanja pomoč) (22).
  Diagram 3
  Opredelitev hierarhije ciljev na podlagi logičnih modelov – Primer raziskav na področju kmetijstva v ZDA








  Politika | Program | Projekt |
| --- | --- | --- | --- |
| Cilj politike
  : prispevati k boljšemu življenju kmečkih družin | | |
| Namen
  : večja kmetijska proizvodnja, produktivnost in prihodki v kmečkih gospodinjstvih | Cilj programa
  : prispevati k povečanju kmetijske proizvodnje, produktivnosti in prihodkov v kmečkih gospodinjstvih | |
| Pričakovani rezultati
  : večja uporaba izboljšanih kmetijskih tehnologij med ciljnimi kmeti | Namen
  : večja uporaba izboljšanih kmetijskih tehnologij s strani kmetov (npr. pri rižu) | Cilj projekta
  : prispevati k večji uporabi priporočenih izboljšanih tehnologij |
| | Pričakovani rezultat
  : priporočila za ciljne kmete zagotovljena/razširjena | Namen
  : zagotovljena priporočila za izboljšane tehnologije, primerne za ciljne kmete |
| | | Pričakovani rezultati (npr.):








  1. | ugotovljene tehnologije na podlagi prednostnih nalog kmetov |

25.

Nekatere države članice (npr. Nizozemska, Finska) in ZDA (glej diagram 3) uporabljajo drugačen pristop, kjer je opredelitev logike posega veliko bolj pogosta, prav tako Kanada, kjer je obvezna za vse programe (glej Prilogo III). Uporaba logike posega tam dejansko prinaša bolj osredotočene in bolje strukturirane programe. Tudi Komisija jo uvaja na drugih področjih politike Skupnosti (npr. zunanja pomoč) (22).

Diagram 3

Opredelitev hierarhije ciljev na podlagi logičnih modelov – Primer raziskav na področju kmetijstva v ZDA

Politika

Program

Projekt

Cilj politike
  : prispevati k boljšemu življenju kmečkih družin

Namen
  : večja kmetijska proizvodnja, produktivnost in prihodki v kmečkih gospodinjstvih

Cilj programa
  : prispevati k povečanju kmetijske proizvodnje, produktivnosti in prihodkov v kmečkih gospodinjstvih

Pričakovani rezultati
  : večja uporaba izboljšanih kmetijskih tehnologij med ciljnimi kmeti

Namen
  : večja uporaba izboljšanih kmetijskih tehnologij s strani kmetov (npr. pri rižu)

Cilj projekta
  : prispevati k večji uporabi priporočenih izboljšanih tehnologij

Pričakovani rezultat
  : priporočila za ciljne kmete zagotovljena/razširjena

Namen
  : zagotovljena priporočila za izboljšane tehnologije, primerne za ciljne kmete

Pričakovani rezultati (npr.):

1.

ugotovljene tehnologije na podlagi prednostnih nalog kmetov

| 2. | ustvarjene in prilagojene tehnologije |
| --- | --- |

2.

ustvarjene in prilagojene tehnologije

| 3. | tehnologije, preverjene na poljih kmetov |
| --- | --- |

3.

tehnologije, preverjene na poljih kmetov

Vir: Nacionalni svet ZDA za kmetijske raziskave.

| 26. | Ker določitev osnovnih razlogov za javni poseg in predvidenih vzročnih povezav (v skladu s katerimi se nato podrobno načrtuje, izvaja in oceni program) ni pravno predpisana, to negativno vpliva na uspešno ocenjevanje in spremljanje OP. To je zlasti posledica načina, kako so opredeljeni cilji programa in kazalniki uspešnosti. |
| --- | --- |

26.

Ker določitev osnovnih razlogov za javni poseg in predvidenih vzročnih povezav (v skladu s katerimi se nato podrobno načrtuje, izvaja in oceni program) ni pravno predpisana, to negativno vpliva na uspešno ocenjevanje in spremljanje OP. To je zlasti posledica načina, kako so opredeljeni cilji programa in kazalniki uspešnosti.

Brez jasnega logičnega modela je težje določiti skladne programske cilje

| 27. | Če osnovni razlogi za javni poseg niso jasno izraženi, je težje skladno določiti in strukturirati programske cilje. To odražata dejstvi, da:






  — | ni jasno, kako so programski cilji OP povezani s cilji politike, kot so splošni cilj iz člena 163 Pogodbe ter cilji iz lizbonske strategije in barcelonske deklaracije (glej odstavka 2 in 7), |
| --- | --- | --- |

27.

Če osnovni razlogi za javni poseg niso jasno izraženi, je težje skladno določiti in strukturirati programske cilje. To odražata dejstvi, da:

—

ni jasno, kako so programski cilji OP povezani s cilji politike, kot so splošni cilj iz člena 163 Pogodbe ter cilji iz lizbonske strategije in barcelonske deklaracije (glej odstavka 2 in 7),

| — | povezave med posameznimi programskimi cilji niso vedno očitne niti na različnih ravneh zakonodaje (kot so sklep o OP, odločba o posebnem programu ter pravila o udeležbi in razširjanju) niti med osnovnimi akti in delovnimi programi Komisije. |
| --- | --- |

—

povezave med posameznimi programskimi cilji niso vedno očitne niti na različnih ravneh zakonodaje (kot so sklep o OP, odločba o posebnem programu ter pravila o udeležbi in razširjanju) niti med osnovnimi akti in delovnimi programi Komisije.

| 28. | Komisija je skušala operativne cilje določiti v delovnih programih, ki temeljijo na programskih ciljih, opredeljenih v zakonodaji o OP. Vendar tem pobudam v skoraj nobenem primeru ni uspelo pojasniti logike, na kateri temelji program, cilji, navedeni v delovnih programih, pa niso bili specifični, merljivi, dosegljivi, relevantni in pravočasni (SMART). S Finančno uredbo (23) leta 2003 je to postalo pravna zahteva. |
| --- | --- |

28.

Komisija je skušala operativne cilje določiti v delovnih programih, ki temeljijo na programskih ciljih, opredeljenih v zakonodaji o OP. Vendar tem pobudam v skoraj nobenem primeru ni uspelo pojasniti logike, na kateri temelji program, cilji, navedeni v delovnih programih, pa niso bili specifični, merljivi, dosegljivi, relevantni in pravočasni (SMART). S Finančno uredbo (23) leta 2003 je to postalo pravna zahteva.

| 29. | Ni jasno, v kolikšnem obsegu je ciljem politike mogoče slediti po specifičnih programih, delovnih programih in razpisih za zbiranje predlogov za posamezne projekte, ki jih sofinancira Skupnost. Če te povezave niso razjasnjene, ni mogoče oceniti prispevka OP in njihovih programov k doseganju ciljev te politike. Z revizijo je bilo ugotovljeno, da je Komisija v svojih ocenah zagotovila malo ali nobenih prepričljivih dokazov o doseganju dolgoročnih ciljev, tako na ravni projekta kot programa (glej odstavek 82). |
| --- | --- |

29.

Ni jasno, v kolikšnem obsegu je ciljem politike mogoče slediti po specifičnih programih, delovnih programih in razpisih za zbiranje predlogov za posamezne projekte, ki jih sofinancira Skupnost. Če te povezave niso razjasnjene, ni mogoče oceniti prispevka OP in njihovih programov k doseganju ciljev te politike. Z revizijo je bilo ugotovljeno, da je Komisija v svojih ocenah zagotovila malo ali nobenih prepričljivih dokazov o doseganju dolgoročnih ciljev, tako na ravni projekta kot programa (glej odstavek 82).

Ker ni jasne logike posega in jasnih ciljev, je težje pripraviti kazalnike uspešnosti

| 30. | Ker ni jasnega logičnega modela in jasno zastavljenih programskih ciljev, je bilo težko razviti tudi kazalnike uspešnosti za spremljanje doseganja programskih ciljev v obliki izložkov, izidov in učinkov, in sicer v tolikšni meri, da doslej takšni kazalniki „uspešnosti“ za OP sploh niso bili opredeljeni (glej odstavek 73). |
| --- | --- |

30.

Ker ni jasnega logičnega modela in jasno zastavljenih programskih ciljev, je bilo težko razviti tudi kazalnike uspešnosti za spremljanje doseganja programskih ciljev v obliki izložkov, izidov in učinkov, in sicer v tolikšni meri, da doslej takšni kazalniki „uspešnosti“ za OP sploh niso bili opredeljeni (glej odstavek 73).

| 31. | V takšnih razmerah je tudi težje pregledovati tekoče projekte, ki se financirajo iz teh programov, in naknadno ocenjevati dokončane projekte, hkrati pa to prispeva k težavam pri pripravi agregatov ocen posameznih projektov na programski ravni (glej Prilogo I in odstavek 84). |
| --- | --- |

31.

V takšnih razmerah je tudi težje pregledovati tekoče projekte, ki se financirajo iz teh programov, in naknadno ocenjevati dokončane projekte, hkrati pa to prispeva k težavam pri pripravi agregatov ocen posameznih projektov na programski ravni (glej Prilogo I in odstavek 84).

ABB/ABM, kot se trenutno izvaja, ni ustrezno orodje za merjenje uspešnosti OP

| 32. | Nekateri kazalniki za spremljanje uspešnosti izvajanja programa (npr. čas, potreben za podpis pogodb, in čas za plačila) so navedeni v letnih poročilih Komisije o spremljanju ter v okviru Komisijinega sistema upravljanja na podlagi dejavnosti (ABM). |
| --- | --- |

32.

Nekateri kazalniki za spremljanje uspešnosti izvajanja programa (npr. čas, potreben za podpis pogodb, in čas za plačila) so navedeni v letnih poročilih Komisije o spremljanju ter v okviru Komisijinega sistema upravljanja na podlagi dejavnosti (ABM).

| 33. | Vendar do zdaj „GD, povezani z raziskavami“ niti pri izvajanju istega posebnega programa (ali podprograma) niso uporabljali standardizirane ali primerljive nomenklature k dejavnostim usmerjenega proračuna (ABB) in s tem povezanih kazalnikov. Zato teh kazalnikov ni mogoče uporabiti za primerjavo uspešnosti med programi in znotraj njih.

  Okvir 2ABB/ABM, kot ga trenutno izvajajo „GD, povezani z raziskavami“V sistemu ABB/ABM pokrivata OP dve različni področji politik, v katerih so dejavnosti OP predstavljene v skladu z nomenklaturo (24), ki se uporablja v posameznem generalnem direktoratu. To velja celo za tiste posebne programe in podprograme, ki jih izvaja več kot en GD. Cilji ABM so bili opredeljeni v skladu z različnimi osnovnimi načeli (25) in so bili, kot je navedla služba Komisije za notranjo revizijo (26), večinoma oblikovani na splošno, tako da so opisovali prizadevanja ali dejavnosti. Kazalniki so bili na splošno usmerjeni na vložke (npr. število sestankov itd). Nekateri so se nanašali na učinkovitost procesa (npr. čas, potreben za sklenitev pogodbe ali za plačilo), vendar med programi in med generalnimi direktorati niso bili primerljivi zaradi razlik v nomenklaturi ABB, v predpostavkah, značilnih za posamezne GD (kot sta začetek in konec specifičnih upravnih procesov) in v osnovni populaciji (npr. vrsta sporazuma o donaciji, vrsta plačila), ki je bila upoštevana za njihov izračun. |
| --- | --- |

33.

Vendar do zdaj „GD, povezani z raziskavami“ niti pri izvajanju istega posebnega programa (ali podprograma) niso uporabljali standardizirane ali primerljive nomenklature k dejavnostim usmerjenega proračuna (ABB) in s tem povezanih kazalnikov. Zato teh kazalnikov ni mogoče uporabiti za primerjavo uspešnosti med programi in znotraj njih.

Okvir 2ABB/ABM, kot ga trenutno izvajajo „GD, povezani z raziskavami“V sistemu ABB/ABM pokrivata OP dve različni področji politik, v katerih so dejavnosti OP predstavljene v skladu z nomenklaturo (24), ki se uporablja v posameznem generalnem direktoratu. To velja celo za tiste posebne programe in podprograme, ki jih izvaja več kot en GD. Cilji ABM so bili opredeljeni v skladu z različnimi osnovnimi načeli (25) in so bili, kot je navedla služba Komisije za notranjo revizijo (26), večinoma oblikovani na splošno, tako da so opisovali prizadevanja ali dejavnosti. Kazalniki so bili na splošno usmerjeni na vložke (npr. število sestankov itd). Nekateri so se nanašali na učinkovitost procesa (npr. čas, potreben za sklenitev pogodbe ali za plačilo), vendar med programi in med generalnimi direktorati niso bili primerljivi zaradi razlik v nomenklaturi ABB, v predpostavkah, značilnih za posamezne GD (kot sta začetek in konec specifičnih upravnih procesov) in v osnovni populaciji (npr. vrsta sporazuma o donaciji, vrsta plačila), ki je bila upoštevana za njihov izračun.

Priporočila

34.

| 34. | Komisija bi morala v prihodnjih zakonodajnih predlogih Svetu in Evropskemu parlamentu določiti jasno logiko posega za OP kot celoto in za njegove sestavne dele. |
| --- | --- |

Komisija bi morala v prihodnjih zakonodajnih predlogih Svetu in Evropskemu parlamentu določiti jasno logiko posega za OP kot celoto in za njegove sestavne dele.

| 35. | Za OP7 bi Komisija morala:






  — | jasno opisati cilje OP in njegovih posebnih programov (in podprogramov) ter kako bi jih bilo treba doseči, |
| --- | --- | --- |

35.

Za OP7 bi Komisija morala:

—

jasno opisati cilje OP in njegovih posebnih programov (in podprogramov) ter kako bi jih bilo treba doseči,

| — | za vsak posebni program (in podprogram) pojasniti povezavo med znanstvenimi in socialno-ekonomskimi cilji ter |
| --- | --- |

—

za vsak posebni program (in podprogram) pojasniti povezavo med znanstvenimi in socialno-ekonomskimi cilji ter

| — | opredeliti relevantne operativne cilje. |
| --- | --- |

—

opredeliti relevantne operativne cilje.

| 36. | Komisija bi morala za svoj sistem spremljanja OP7 za vsak posebni program (in podprogram) uvesti omejen, vendar uravnotežen sklop kazalnikov uspešnosti za merjenje učinkovitosti in uspešnosti izvajanja programa. |
| --- | --- |

36.

Komisija bi morala za svoj sistem spremljanja OP7 za vsak posebni program (in podprogram) uvesti omejen, vendar uravnotežen sklop kazalnikov uspešnosti za merjenje učinkovitosti in uspešnosti izvajanja programa.

| 37. | „GD, povezani z raziskavami“ bi morali uskladiti svojo nomenklaturo ABM/ABB, da bi bili kazalniki uspešnosti primerljivi tako časovno kot, kjer je mogoče, med posebnimi programi (in podprogrami). |
| --- | --- |

37.

„GD, povezani z raziskavami“ bi morali uskladiti svojo nomenklaturo ABM/ABB, da bi bili kazalniki uspešnosti primerljivi tako časovno kot, kjer je mogoče, med posebnimi programi (in podprogrami).

Strategija ocenjevanja

| 38. | Strategija ocenjevanja zagotavlja konceptualni okvir, v katerem se zasnujejo, načrtujejo, izvajajo in uporabljajo dejavnosti ocenjevanja. Dobra praksa na drugih proračunskih področjih EU in širše kaže, da bi morala biti v takšni strategiji upoštevana glavna pravna, organizacijska in metodološka vprašanja, povezana z ocenjevanjem programa. To pomeni sprejeti odločitve o tem, kakšna ocenjevanja se bodo izvajala, kdo jih bo izvajal in kdaj, kako se bodo zbirali podatki, kakšni metodološki pristopi se bodo uporabljali, kako se bodo sporočale ugotovitve in kakšno bo nadaljnje ukrepanje po njih. |
| --- | --- |

38.

Strategija ocenjevanja zagotavlja konceptualni okvir, v katerem se zasnujejo, načrtujejo, izvajajo in uporabljajo dejavnosti ocenjevanja. Dobra praksa na drugih proračunskih področjih EU in širše kaže, da bi morala biti v takšni strategiji upoštevana glavna pravna, organizacijska in metodološka vprašanja, povezana z ocenjevanjem programa. To pomeni sprejeti odločitve o tem, kakšna ocenjevanja se bodo izvajala, kdo jih bo izvajal in kdaj, kako se bodo zbirali podatki, kakšni metodološki pristopi se bodo uporabljali, kako se bodo sporočale ugotovitve in kakšno bo nadaljnje ukrepanje po njih.

| 39. | Oblikovanje takšne strategije in zagotavljanje njenega izvajanja sta prva pogoja za vključitev ocenjevanja v Komisijino organizacijsko kulturo in proces odločanja. Vendar Sodišče priznava, da bi morala takšna strategija glede na raznolikost znanstvenih področij, ki jih pokrivajo OP, vsem odgovornim generalnim direktoratom zagotavljati ustrezno raven prožnosti in ne bi smela biti preveč predpisovalna. |
| --- | --- |

39.

Oblikovanje takšne strategije in zagotavljanje njenega izvajanja sta prva pogoja za vključitev ocenjevanja v Komisijino organizacijsko kulturo in proces odločanja. Vendar Sodišče priznava, da bi morala takšna strategija glede na raznolikost znanstvenih področij, ki jih pokrivajo OP, vsem odgovornim generalnim direktoratom zagotavljati ustrezno raven prožnosti in ne bi smela biti preveč predpisovalna.

| 40. | Sodišče je preverilo, v kolikšnem obsegu je imela Komisija za OP vzpostavljeno takšno strategijo ocenjevanja. |
| --- | --- |

40.

Sodišče je preverilo, v kolikšnem obsegu je imela Komisija za OP vzpostavljeno takšno strategijo ocenjevanja.

Ni celostne strategije ocenjevanja za OP

| 41. | Komisija je za OP prvič javno objavila svoj pristop k ocenjevanju v 1980-ih (27). Ta je bil posodobljen leta 1996, ko je Komisija obvestila Evropski parlament in Svet o tem, za kar je takrat menila, da so pomembna osnovna načela za spremljanje in ocenjevanje, ter po sprejetju OP4 (28) predstavila svoj načrtovani pristop. Vendar to ni sestavljalo celostne strategije ocenjevanja, kot je določena zgoraj (glej odstavka 38 in 39). Poleg tega Komisija od leta 1996 do 2006 ni ponovno temeljito preučila svojega pristopa k ocenjevanju OP5 in OP6, kljub temu, da sta se OP spremenila tako po obsegu kot po usmerjenosti (glej odstavek 7). Zlasti se „GD, povezani z raziskavami“ niso dogovorili o doslednem pristopu k ocenjevanju OP in njihovih programov, ki bi presegal zakonodajne zahteve, sprejete v letih 1999 (za OP5), 2002 (za OP6) in 2006 (za OP7) (29). |
| --- | --- |

41.

Komisija je za OP prvič javno objavila svoj pristop k ocenjevanju v 1980-ih (27). Ta je bil posodobljen leta 1996, ko je Komisija obvestila Evropski parlament in Svet o tem, za kar je takrat menila, da so pomembna osnovna načela za spremljanje in ocenjevanje, ter po sprejetju OP4 (28) predstavila svoj načrtovani pristop. Vendar to ni sestavljalo celostne strategije ocenjevanja, kot je določena zgoraj (glej odstavka 38 in 39). Poleg tega Komisija od leta 1996 do 2006 ni ponovno temeljito preučila svojega pristopa k ocenjevanju OP5 in OP6, kljub temu, da sta se OP spremenila tako po obsegu kot po usmerjenosti (glej odstavek 7). Zlasti se „GD, povezani z raziskavami“ niso dogovorili o doslednem pristopu k ocenjevanju OP in njihovih programov, ki bi presegal zakonodajne zahteve, sprejete v letih 1999 (za OP5), 2002 (za OP6) in 2006 (za OP7) (29).

| 42. | Za tekoče programsko obdobje je pomanjkanje takšnega strateškega pristopa k ocenjevanju na tem področju še posebna težava glede na to, da OP7 skupaj izvaja več generalnih direktoratov, Evropski raziskovalni svet in več izvajalskih agencij ter glede na obvezne menjave osebja na občutljivih delovnih mestih, ki jih predpisuje Finančna uredba. Prav tako je v nasprotju s sedanjo prakso na področju zunanje pomoči (ki je drugo največje področje, ki ga neposredno upravlja Komisija). Na tem področju so se pristojni generalni direktorati od leta 2002 dogovorili o skupnih večletnih strategijah ocenjevanja, povezanih s programskimi obdobji (glej odstavek 52). |
| --- | --- |

42.

Za tekoče programsko obdobje je pomanjkanje takšnega strateškega pristopa k ocenjevanju na tem področju še posebna težava glede na to, da OP7 skupaj izvaja več generalnih direktoratov, Evropski raziskovalni svet in več izvajalskih agencij ter glede na obvezne menjave osebja na občutljivih delovnih mestih, ki jih predpisuje Finančna uredba. Prav tako je v nasprotju s sedanjo prakso na področju zunanje pomoči (ki je drugo največje področje, ki ga neposredno upravlja Komisija). Na tem področju so se pristojni generalni direktorati od leta 2002 dogovorili o skupnih večletnih strategijah ocenjevanja, povezanih s programskimi obdobji (glej odstavek 52).

| 43. | To pomanjkanje jasno oblikovane strategije ocenjevanja je tudi močno v nasprotju s stanjem v ZDA in Kanadi, kjer strategijo zahteva zakonski okvir (glej Prilogo III). |
| --- | --- |

43.

To pomanjkanje jasno oblikovane strategije ocenjevanja je tudi močno v nasprotju s stanjem v ZDA in Kanadi, kjer strategijo zahteva zakonski okvir (glej Prilogo III).

| 44. | Kot je prikazano v nadaljevanju, obstajajo precejšnje razlike v pokritju in intenzivnosti ocenjevanja med različnimi OP. Obstajale so tudi druge pomanjkljivosti, kot so težave pri koordinaciji, razlike v metodoloških pristopih, težave s časovnim načrtovanjem ter pomanjkljivosti pri sporočanju ugotovitev ocenjevanja in nadaljnjem ukrepanju po njih, obravnavane v nadaljevanju tega poročila. To odraža pomanjkanje celostne strategije ocenjevanja za OP. |
| --- | --- |

44.

Kot je prikazano v nadaljevanju, obstajajo precejšnje razlike v pokritju in intenzivnosti ocenjevanja med različnimi OP. Obstajale so tudi druge pomanjkljivosti, kot so težave pri koordinaciji, razlike v metodoloških pristopih, težave s časovnim načrtovanjem ter pomanjkljivosti pri sporočanju ugotovitev ocenjevanja in nadaljnjem ukrepanju po njih, obravnavane v nadaljevanju tega poročila. To odraža pomanjkanje celostne strategije ocenjevanja za OP.

Razlike v pokritju in intenzivnosti ocenjevanja med OP

| 45. | OP sestavljajo številni posebni programi (in podprogrami), ki se lahko precej razlikujejo glede na svoj namen, osnovno dinamiko in proračunske odobritve (za OP7 glej Prilogo IV). Posebne določbe različnih sklepov o OP in Finančne uredbe (30) (ki zahteva ocenjevanje programov in dejavnosti, ki predstavljajo večjo porabo), upoštevane skupaj, kažejo, da že od OP4 velja pravna zahteva za ocenjevanje tako OP kot celote kot večine posebnih programov, ki ga sestavljajo. |
| --- | --- |

45.

OP sestavljajo številni posebni programi (in podprogrami), ki se lahko precej razlikujejo glede na svoj namen, osnovno dinamiko in proračunske odobritve (za OP7 glej Prilogo IV). Posebne določbe različnih sklepov o OP in Finančne uredbe (30) (ki zahteva ocenjevanje programov in dejavnosti, ki predstavljajo večjo porabo), upoštevane skupaj, kažejo, da že od OP4 velja pravna zahteva za ocenjevanje tako OP kot celote kot večine posebnih programov, ki ga sestavljajo.

| 46. | Komisija ni določila pravila o tem, kdaj morajo biti posebni programi ali podprogrami OP ocenjeni, niti skupnega praga, nad katerim mora biti izvedeno ocenjevanje. To je povzročalo nedosledne razlage glede tega, kaj bi bilo treba oceniti in kako podrobno:






  — | GD za informacijsko družbo je menil, da je program IST velik program porabe sam po sebi in je leta 2004 organiziral izvedbo celovite petletne ocene vzporedno z ocenjevanjem, ki se je izvajalo za OP kot celoto, |
| --- | --- | --- |

46.

Komisija ni določila pravila o tem, kdaj morajo biti posebni programi ali podprogrami OP ocenjeni, niti skupnega praga, nad katerim mora biti izvedeno ocenjevanje. To je povzročalo nedosledne razlage glede tega, kaj bi bilo treba oceniti in kako podrobno:

—

GD za informacijsko družbo je menil, da je program IST velik program porabe sam po sebi in je leta 2004 organiziral izvedbo celovite petletne ocene vzporedno z ocenjevanjem, ki se je izvajalo za OP kot celoto,

| — | GD za raziskave ni sistematično organiziral takšnega ocenjevanja na ravni posebnih programov, kljub temu, da so bili proračuni za več programov pod njegovo odgovornostjo primerljive velikosti. |
| --- | --- |

—

GD za raziskave ni sistematično organiziral takšnega ocenjevanja na ravni posebnih programov, kljub temu, da so bili proračuni za več programov pod njegovo odgovornostjo primerljive velikosti.

| 47. | Posledično pri petletni oceni iz leta 2004 pomembni deli programov OP4 in OP5 sploh niso bili ocenjeni (kar ustreza 30 % vseh proračunskih odobritev za OP4 in 50 % za OP5). To pomeni, da Komisija ni izpolnila zahtev za ocenjevanje iz člena 27(4) Finančne uredbe. |
| --- | --- |

47.

Posledično pri petletni oceni iz leta 2004 pomembni deli programov OP4 in OP5 sploh niso bili ocenjeni (kar ustreza 30 % vseh proračunskih odobritev za OP4 in 50 % za OP5). To pomeni, da Komisija ni izpolnila zahtev za ocenjevanje iz člena 27(4) Finančne uredbe.

| 48. | Te razhajajoče se razlage glede minimalnih pravnih zahtev za ocenjevanje in posledično premalo ocenjevanja OP v preteklosti ponazarjajo pomanjkanje koordinacije in učinek pomanjkanja strateškega pristopa Komisije k ocenjevanju OP. |
| --- | --- |

48.

Te razhajajoče se razlage glede minimalnih pravnih zahtev za ocenjevanje in posledično premalo ocenjevanja OP v preteklosti ponazarjajo pomanjkanje koordinacije in učinek pomanjkanja strateškega pristopa Komisije k ocenjevanju OP.

Priporočila

49.

| 49. | „GD, povezani z raziskavami“ bi morali čimprej razviti skupno strategijo ocenjevanja za OP in se o njej dogovoriti. Ta strategija ne bi smela biti pretirano predpisovalna, vendar bi morala privesti do doslednega pristopa k ocenjevanju OP in njihovih programov. Takšna strategija bi morala tudi zagotavljati smernice glede minimalne ravni, na kateri mora biti izvedeno podrobno ocenjevanje, da se upoštevajo specifične značilnosti vsakega znanstvenega področja. |
| --- | --- |

„GD, povezani z raziskavami“ bi morali čimprej razviti skupno strategijo ocenjevanja za OP in se o njej dogovoriti. Ta strategija ne bi smela biti pretirano predpisovalna, vendar bi morala privesti do doslednega pristopa k ocenjevanju OP in njihovih programov. Takšna strategija bi morala tudi zagotavljati smernice glede minimalne ravni, na kateri mora biti izvedeno podrobno ocenjevanje, da se upoštevajo specifične značilnosti vsakega znanstvenega področja.

Organizacija ocenjevanja OP

| 50. | Ocenjevanje OP bi morale podpirati ustrezne organizacijske ureditve, ki bi morale izhajati iz Komisijine strateške usmeritve za ocenjevanje OP. Sodišče je preverilo, v kolikšnem obsegu je organizacijska struktura zagotavljala, da je bil sistem ocenjevanja ustrezno koordiniran, da so bili zanj na voljo ustrezni viri in da je bil po mnenju zainteresiranih strani tudi dovolj neodvisen. |
| --- | --- |

50.

Ocenjevanje OP bi morale podpirati ustrezne organizacijske ureditve, ki bi morale izhajati iz Komisijine strateške usmeritve za ocenjevanje OP. Sodišče je preverilo, v kolikšnem obsegu je organizacijska struktura zagotavljala, da je bil sistem ocenjevanja ustrezno koordiniran, da so bili zanj na voljo ustrezni viri in da je bil po mnenju zainteresiranih strani tudi dovolj neodvisen.

Komisija

OP izvaja skupno več generalnih direktoratov, odgovornost za ocenjevanje pa je decentralizirana

| 51. | V Komisiji so za ocenjevanje programov porabe odgovorni posamezni generalni direktorati (glej odstavek 8) in v vsakem je bila ustanovljena enota za ocenjevanje. Te enote so odgovorne za načrtovanje, koordinacijo in izvajanje ocenjevanja. |
| --- | --- |

51.

V Komisiji so za ocenjevanje programov porabe odgovorni posamezni generalni direktorati (glej odstavek 8) in v vsakem je bila ustanovljena enota za ocenjevanje. Te enote so odgovorne za načrtovanje, koordinacijo in izvajanje ocenjevanja.

| 52. | Ker ni posebnega koordinacijskega organa ali ene same enote za ocenjevanje OP kot celote, kot na primer skupni urad za ocenjevanje za „GD, povezane z raziskavami“, je to v nasprotju z drugimi področji politik. Na področju zunanje pomoči je bila za tri generalne direktorate (za razvoj, za zunanje odnose in EuropeAid) ustanovljena skupna enota za ocenjevanje, ki je odgovorna za ocenjevanje razvojnih programov Komisije v tretjih državah (glej odstavek 42). |
| --- | --- |

52.

Ker ni posebnega koordinacijskega organa ali ene same enote za ocenjevanje OP kot celote, kot na primer skupni urad za ocenjevanje za „GD, povezane z raziskavami“, je to v nasprotju z drugimi področji politik. Na področju zunanje pomoči je bila za tri generalne direktorate (za razvoj, za zunanje odnose in EuropeAid) ustanovljena skupna enota za ocenjevanje, ki je odgovorna za ocenjevanje razvojnih programov Komisije v tretjih državah (glej odstavek 42).

| 53. | GD za razvoj prek Komisijine notranje „mreže za ocenjevanje RTR“ zagotavlja izmenjavo znanja med enotami za ocenjevanje v različnih GD, vendar nima pooblastil, da bi določil sklop minimalnih zahtev za ocenjevanje. Ta mehanizem ni zadostoval za zagotovitev ustrezne koordinacije Komisijinega ocenjevanja OP. |
| --- | --- |

53.

GD za razvoj prek Komisijine notranje „mreže za ocenjevanje RTR“ zagotavlja izmenjavo znanja med enotami za ocenjevanje v različnih GD, vendar nima pooblastil, da bi določil sklop minimalnih zahtev za ocenjevanje. Ta mehanizem ni zadostoval za zagotovitev ustrezne koordinacije Komisijinega ocenjevanja OP.

| 54. | Komisija je svoj splošni pristop k ocenjevanju pregledala v letih 2000 in 2002 ter ponovno v letu 2007 (glej odstavek 14). Čeprav niso bile opažene večje izboljšave pri načrtovanju, zasnovi in izvajanju ocenjevanja za OP in njihove programe, so „GD, povezani z raziskavami“ na splošno izpolnjevali uradne zahteve, ki veljajo za celotno Komisijo. |
| --- | --- |

54.

Komisija je svoj splošni pristop k ocenjevanju pregledala v letih 2000 in 2002 ter ponovno v letu 2007 (glej odstavek 14). Čeprav niso bile opažene večje izboljšave pri načrtovanju, zasnovi in izvajanju ocenjevanja za OP in njihove programe, so „GD, povezani z raziskavami“ na splošno izpolnjevali uradne zahteve, ki veljajo za celotno Komisijo.

Osrednje službe Komisije: določanje standardov, vendar brez njihovega uveljavljanja

| 55. | Osrednje službe Komisije (zlasti GD za proračun in generalni sekretariat) zagotavljajo metodološko svetovanje, opredeljujejo skupne standarde v Komisiji kot celoti in spremljajo, kako generalni direktorati in službe te standarde uporabljajo (glej odstavka 14 in 70). Vendar ne morejo določiti, kako naj se ocenjevanja izvajajo v praksi. |
| --- | --- |

55.

Osrednje službe Komisije (zlasti GD za proračun in generalni sekretariat) zagotavljajo metodološko svetovanje, opredeljujejo skupne standarde v Komisiji kot celoti in spremljajo, kako generalni direktorati in službe te standarde uporabljajo (glej odstavka 14 in 70). Vendar ne morejo določiti, kako naj se ocenjevanja izvajajo v praksi.

| 56. | Izkušnje v ZDA in Kanadi kažejo, da uveljavljanje standardov s strani organov, ki jih določajo, pripomore k zagotavljanju uspešnega delovanja sistema ocenjevanja. V obeh državah zvezni oddelki določijo in uveljavljajo okvir, znotraj katerega se na koncu presoja o uspehu programa (glej Prilogo III). Čeprav je ozadje drugačno, njuna sistema kljub temu temeljita na enakem osnovnem načelu, da bi moral organ, ločen od organa, ki izvaja program, bolj podrobno oceniti zasnovo sistema ocenjevanja in skrbno pregledati njegovo uspešnost. Enako je mogoče opaziti v nekaterih državah članicah (npr. v Franciji (31), Španiji (32), Nemčiji (33)), kjer zunanji organi nadzirajo ocenjevanja, ki jih izvajajo agencije, ki zagotavljajo sredstva, ali pa celo sami izvajajo ta ocenjevanja. |
| --- | --- |

56.

Izkušnje v ZDA in Kanadi kažejo, da uveljavljanje standardov s strani organov, ki jih določajo, pripomore k zagotavljanju uspešnega delovanja sistema ocenjevanja. V obeh državah zvezni oddelki določijo in uveljavljajo okvir, znotraj katerega se na koncu presoja o uspehu programa (glej Prilogo III). Čeprav je ozadje drugačno, njuna sistema kljub temu temeljita na enakem osnovnem načelu, da bi moral organ, ločen od organa, ki izvaja program, bolj podrobno oceniti zasnovo sistema ocenjevanja in skrbno pregledati njegovo uspešnost. Enako je mogoče opaziti v nekaterih državah članicah (npr. v Franciji (31), Španiji (32), Nemčiji (33)), kjer zunanji organi nadzirajo ocenjevanja, ki jih izvajajo agencije, ki zagotavljajo sredstva, ali pa celo sami izvajajo ta ocenjevanja.

Odbori

Odbori zunanjih strokovnjakov: zakonodaja o OP jih zahteva že od OP4

| 57. | Od OP4 so morali vsa večja ocenjevanja (in letno spremljanje) OP izvajati odbori zunanjih strokovnjakov (ali pa pri tem pomagati) (glej Prilogo II). Kljub težavam pri iskanju ustreznih strokovnjakov imajo takšni odbori potencial, da zagotavljajo preglednost, nudijo določeno stopnjo neodvisnosti, olajšajo sodelovanje zainteresiranih strani in izkoriščajo znanje, pridobljeno pri samih OP, ocenjevanju in z njimi povezanih znanstvenih vprašanjih. |
| --- | --- |

57.

Od OP4 so morali vsa večja ocenjevanja (in letno spremljanje) OP izvajati odbori zunanjih strokovnjakov (ali pa pri tem pomagati) (glej Prilogo II). Kljub težavam pri iskanju ustreznih strokovnjakov imajo takšni odbori potencial, da zagotavljajo preglednost, nudijo določeno stopnjo neodvisnosti, olajšajo sodelovanje zainteresiranih strani in izkoriščajo znanje, pridobljeno pri samih OP, ocenjevanju in z njimi povezanih znanstvenih vprašanjih.

| 58. | To je bilo potrjeno z anketami Sodišča, ki so pokazale, da so anketiranci menili, da Komisijin sistem ocenjevanja, ki temelji na odborih, nudi zagotovilo o neodvisnosti (glej diagram 4). |
| --- | --- |

58.

To je bilo potrjeno z anketami Sodišča, ki so pokazale, da so anketiranci menili, da Komisijin sistem ocenjevanja, ki temelji na odborih, nudi zagotovilo o neodvisnosti (glej diagram 4).

Image

Pomanjkljivosti v pristopu z odbori, kot ga izvaja Komisija

| 59. | Kot so člani odborov in udeležene strani povedali Sodišču med revizijo, so bile za Komisijino uporabo odborov za ocenjevanje OP kljub temu pozitivnemu mnenju značilne naslednje pomanjkljivosti:






  — | odbori za ocenjevanje so ponavadi ustanovljeni manj kot leto dni, preden morajo oddati poročilo, in so sklicani samo za omejeno število srečanj. Zaradi tega člani odborov težko vplivajo na opredelitev podatkov in analizo, ki jih zahteva njihovo delo. Ker so poleg tega ti odbori priložnostni in začasni, ni mogoče zlahka nabirati znanja o programih in redno spremljati relevantnih vprašanj. Ta pomanjkljivost je še zlasti očitna, kadar je v celotnem programskem obdobju načrtovanih več večjih ocenjevanj (kot pri OP7) (glej Prilogo II). To je tudi v nasprotju s Komisijino prakso za njene svetovalne skupine strokovnjakov (Expert Advisory Group – EAG) za OP, ki so stalna telesa (34). Tudi v Kanadi (35) so ocenjevalni odbori stalni, da se zagotovi dosleden in skladen pristop (glej Prilogo III), |
| --- | --- | --- |

59.

Kot so člani odborov in udeležene strani povedali Sodišču med revizijo, so bile za Komisijino uporabo odborov za ocenjevanje OP kljub temu pozitivnemu mnenju značilne naslednje pomanjkljivosti:

—

odbori za ocenjevanje so ponavadi ustanovljeni manj kot leto dni, preden morajo oddati poročilo, in so sklicani samo za omejeno število srečanj. Zaradi tega člani odborov težko vplivajo na opredelitev podatkov in analizo, ki jih zahteva njihovo delo. Ker so poleg tega ti odbori priložnostni in začasni, ni mogoče zlahka nabirati znanja o programih in redno spremljati relevantnih vprašanj. Ta pomanjkljivost je še zlasti očitna, kadar je v celotnem programskem obdobju načrtovanih več večjih ocenjevanj (kot pri OP7) (glej Prilogo II). To je tudi v nasprotju s Komisijino prakso za njene svetovalne skupine strokovnjakov (Expert Advisory Group – EAG) za OP, ki so stalna telesa (34). Tudi v Kanadi (35) so ocenjevalni odbori stalni, da se zagotovi dosleden in skladen pristop (glej Prilogo III),

| — | pri opredeljevanju delovnih pooblastil za odbore in podrobnem določanju ocenjevalnih vprašanj se Komisija ne posvetuje z zunanjimi zainteresiranimi stranmi, kot so industrija in glavne raziskovalne organizacije, ki sodelujejo v OP. To težavo je opazil tudi odbor za spremljanje za leto 2004, saj je izjavil, da bi morali potencialni uporabniki sodelovati v procesu že na zgodnji stopnji (36), in |
| --- | --- |

—

pri opredeljevanju delovnih pooblastil za odbore in podrobnem določanju ocenjevalnih vprašanj se Komisija ne posvetuje z zunanjimi zainteresiranimi stranmi, kot so industrija in glavne raziskovalne organizacije, ki sodelujejo v OP. To težavo je opazil tudi odbor za spremljanje za leto 2004, saj je izjavil, da bi morali potencialni uporabniki sodelovati v procesu že na zgodnji stopnji (36), in

| — | ti odbori delujejo drugače kot „medsebojni pregledi“. Njihovi člani nimajo časa za izvajanje lastnih ocenjevanj, običajno svetujejo na podlagi podatkov in dokazov, ki so jim na voljo iz drugih virov. Zaradi časovnih omejitev so imeli odbori le omejene priložnosti za naročanje dodatnih študij, ki bi jih potrebovali za obravnavanje vprašanj, določenih v njihovih delovnih pooblastilih. V praksi so bile odborom za petletne ocene, z nekaj izjemami, na voljo samo informacije, ki jih je zagotovila Komisija. |
| --- | --- |

—

ti odbori delujejo drugače kot „medsebojni pregledi“. Njihovi člani nimajo časa za izvajanje lastnih ocenjevanj, običajno svetujejo na podlagi podatkov in dokazov, ki so jim na voljo iz drugih virov. Zaradi časovnih omejitev so imeli odbori le omejene priložnosti za naročanje dodatnih študij, ki bi jih potrebovali za obravnavanje vprašanj, določenih v njihovih delovnih pooblastilih. V praksi so bile odborom za petletne ocene, z nekaj izjemami, na voljo samo informacije, ki jih je zagotovila Komisija.

Viri

Za ocenjevanje OP niso namensko določeni nobeni viri

| 60. | Sredstva za ocenjevanje se zagotavljajo na letni osnovi v skladu s potrebami, ki jih določijo generalni direktorati, ki izvajajo OP. Trenutno se ocenjevanje financira s kombinacijo splošnih sredstev Komisije iz GD za proračun in sredstev iz administrativnega dela proračuna na ravni zadevnih generalnih direktoratov. Poleg tega se posebni ukrepi financirajo kot posredni ukrepi iz operativnega proračuna OP. To pomeni, da za ocenjevanje ni posebej določenega zneska. |
| --- | --- |

60.

Sredstva za ocenjevanje se zagotavljajo na letni osnovi v skladu s potrebami, ki jih določijo generalni direktorati, ki izvajajo OP. Trenutno se ocenjevanje financira s kombinacijo splošnih sredstev Komisije iz GD za proračun in sredstev iz administrativnega dela proračuna na ravni zadevnih generalnih direktoratov. Poleg tega se posebni ukrepi financirajo kot posredni ukrepi iz operativnega proračuna OP. To pomeni, da za ocenjevanje ni posebej določenega zneska.

| 61. | Leta 2006 je bilo na Komisiji povprečje za uslužbence, ki delajo na področju ocenjevanja in upravljanja na podlagi dejavnosti, ocenjeno na približno 1 % vseh uslužbencev (37). Ustrezni številki za dejavnosti spremljanja in ocenjevanja okvirnih programov RTR v GD za raziskave in GD za informacijsko družbo sta bili 1,2 % oziroma 1,3 %. Vendar sta bili v GD za raziskave več kot dve tretjini teh kadrovskih virov dodeljeni oddelkom za operativno izvajanje programov, ne pa enoti za ocenjevanje, ocenjevanje pa je bilo le ena od številnih nalog, ki so jim bile dodeljene. |
| --- | --- |

61.

Leta 2006 je bilo na Komisiji povprečje za uslužbence, ki delajo na področju ocenjevanja in upravljanja na podlagi dejavnosti, ocenjeno na približno 1 % vseh uslužbencev (37). Ustrezni številki za dejavnosti spremljanja in ocenjevanja okvirnih programov RTR v GD za raziskave in GD za informacijsko družbo sta bili 1,2 % oziroma 1,3 %. Vendar sta bili v GD za raziskave več kot dve tretjini teh kadrovskih virov dodeljeni oddelkom za operativno izvajanje programov, ne pa enoti za ocenjevanje, ocenjevanje pa je bilo le ena od številnih nalog, ki so jim bile dodeljene.

Sredstva za ocenjevanje OP manjša, kot jih priporoča Komisija

| 62. | Sredstva, namenjena ocenjevanju, je mogoče izraziti tudi kot odstotek skupnih proračunskih sredstev, dodeljenih programu. Med revizijo pridobljeni podatki kažejo, da je v praksi za raziskovalne programe v državah članicah EU namenjenih od 0,1 % do 2 %. V smernicah Komisije je priporočeno, da se za ocenjevanje (38) nameni 0,5 % proračuna programa. Vendar pri večjih programih ekonomija obsega pomeni, da bi lahko zadoščal tudi manjši delež njihovih proračunov. |
| --- | --- |

62.

Sredstva, namenjena ocenjevanju, je mogoče izraziti tudi kot odstotek skupnih proračunskih sredstev, dodeljenih programu. Med revizijo pridobljeni podatki kažejo, da je v praksi za raziskovalne programe v državah članicah EU namenjenih od 0,1 % do 2 %. V smernicah Komisije je priporočeno, da se za ocenjevanje (38) nameni 0,5 % proračuna programa. Vendar pri večjih programih ekonomija obsega pomeni, da bi lahko zadoščal tudi manjši delež njihovih proračunov.

| 63. | Primerjava Komisijinih podatkov o odhodkih za ocenjevanje v obdobju 2003–2006 in proračunskih odobritev za vsak generalni direktorat kaže, da skupno povprečje znaša približno 0,15 %, kar je precej nižje od stopnje, ki jo je predlagala Komisija. Podrobnejša analiza za leto 2006 kaže, da je GD za informacijsko družbo za ocenjevanje porabil približno štirikrat več kot GD za raziskave, v primerjavi s proračunskimi odobritvami, za katere sta odgovorna. Poleg tega je v Generalnem direktoratu za raziskave samo 0,7 % enega uslužbenca s polnim delovnim časom na milijon EUR letnega proračuna namenjenega ocenjevanju. Za primerjavo, GD za informacijsko družbo temu namenja dvakrat več človeških virov. |
| --- | --- |

63.

Primerjava Komisijinih podatkov o odhodkih za ocenjevanje v obdobju 2003–2006 in proračunskih odobritev za vsak generalni direktorat kaže, da skupno povprečje znaša približno 0,15 %, kar je precej nižje od stopnje, ki jo je predlagala Komisija. Podrobnejša analiza za leto 2006 kaže, da je GD za informacijsko družbo za ocenjevanje porabil približno štirikrat več kot GD za raziskave, v primerjavi s proračunskimi odobritvami, za katere sta odgovorna. Poleg tega je v Generalnem direktoratu za raziskave samo 0,7 % enega uslužbenca s polnim delovnim časom na milijon EUR letnega proračuna namenjenega ocenjevanju. Za primerjavo, GD za informacijsko družbo temu namenja dvakrat več človeških virov.

| 64. | Kot je prikazano v tem poročilu, sta rezultat tega dodatnega prizadevanja GD za informacijsko družbo celovitejša pokritost ocenjevanja (glej odstavka 13 in 46) in, kot je prikazano v vzorcu ocenjevalnih študij, ki ga je pregledalo Sodišče, uporaba metodologij, ki bolje ustrezajo obravnavanju potreb po ocenjevanju (glej odstavek 84). |
| --- | --- |

64.

Kot je prikazano v tem poročilu, sta rezultat tega dodatnega prizadevanja GD za informacijsko družbo celovitejša pokritost ocenjevanja (glej odstavka 13 in 46) in, kot je prikazano v vzorcu ocenjevalnih študij, ki ga je pregledalo Sodišče, uporaba metodologij, ki bolje ustrezajo obravnavanju potreb po ocenjevanju (glej odstavek 84).

| 65. | Ocena stroškov, ki jo je Sodišče izvedlo na podlagi podatkov, ki jih je zagotovila Komisija, kaže, da bi sistem ocenjevanja, ki bi temeljil na predlogih iz tega poročila, v povprečju predstavljal manj kot 0,4 % proračunskih odobritev za OP7. To bi pokrilo stroške odborov, študij, ki jih izvajajo podizvajalci, uslužbencev, zaposlenih tako v skupnem uradu za ocenjevanje kot v sedanjih enotah za ocenjevanje v posameznih generalnih direktoratih, ter druge različne stroške (39). |
| --- | --- |

65.

Ocena stroškov, ki jo je Sodišče izvedlo na podlagi podatkov, ki jih je zagotovila Komisija, kaže, da bi sistem ocenjevanja, ki bi temeljil na predlogih iz tega poročila, v povprečju predstavljal manj kot 0,4 % proračunskih odobritev za OP7. To bi pokrilo stroške odborov, študij, ki jih izvajajo podizvajalci, uslužbencev, zaposlenih tako v skupnem uradu za ocenjevanje kot v sedanjih enotah za ocenjevanje v posameznih generalnih direktoratih, ter druge različne stroške (39).

Priporočila

66.

| 66. | „GD, povezani z raziskavami“ bi morali razmisliti o ustanovitvi skupnega urada za ocenjevanje poleg sedanjih enot za ocenjevanje v posameznih generalnih direktoratih. V skladu s sedanjo prakso na drugih področjih politike bi ta urad lahko koordiniral Komisijine dejavnosti ocenjevanja za OP kot celoto. Takšne skupne podporne funkcije so že bile priporočene za generalne direktorate, ki izvajajo OP (40) in lahko postanejo v prihodnosti še pomembnejše z ustanovitvijo ERC in prenosom pooblastil za izvajanje programov na izvajalske agencije. |
| --- | --- |

„GD, povezani z raziskavami“ bi morali razmisliti o ustanovitvi skupnega urada za ocenjevanje poleg sedanjih enot za ocenjevanje v posameznih generalnih direktoratih. V skladu s sedanjo prakso na drugih področjih politike bi ta urad lahko koordiniral Komisijine dejavnosti ocenjevanja za OP kot celoto. Takšne skupne podporne funkcije so že bile priporočene za generalne direktorate, ki izvajajo OP (40) in lahko postanejo v prihodnosti še pomembnejše z ustanovitvijo ERC in prenosom pooblastil za izvajanje programov na izvajalske agencije.

| 67. | Komisija bi morala še naprej uporabljati ocenjevalne odbore, da ji pomagajo pri njenih dejavnostih ocenjevanja. Vendar bi Komisija morala razmisliti, kako naj uskladi strukturo odborov s splošno programsko strukturo OP. To je mogoče storiti tako, da ustanovi odbore za posebne programe in, kjer je ustrezno, podprograme (glej Prilogo IV). Poleg tega bi morali biti ti odbori ustanovljeni dovolj zgodaj, da bi Komisiji zagotavljali učinkovito pomoč med celotnim programskim obdobjem in po njem. |
| --- | --- |

67.

Komisija bi morala še naprej uporabljati ocenjevalne odbore, da ji pomagajo pri njenih dejavnostih ocenjevanja. Vendar bi Komisija morala razmisliti, kako naj uskladi strukturo odborov s splošno programsko strukturo OP. To je mogoče storiti tako, da ustanovi odbore za posebne programe in, kjer je ustrezno, podprograme (glej Prilogo IV). Poleg tega bi morali biti ti odbori ustanovljeni dovolj zgodaj, da bi Komisiji zagotavljali učinkovito pomoč med celotnim programskim obdobjem in po njem.

| 68. | Komisija bi morala znova razmisliti o sredstvih, namenjenih za ocenjevanje OP in njihovih programov. |
| --- | --- |

68.

Komisija bi morala znova razmisliti o sredstvih, namenjenih za ocenjevanje OP in njihovih programov.

Metodologije in tehnike ocenjevanja

| 69. | Uspešno ocenjevanje zahteva uporabo ustreznih metodologij in tehnik. Sodišče je preverilo, v kolikšnem obsegu so obstajale posebne smernice za ocenjevanje OP, ali so bile potrebe po informacijah redno ustrezno analizirane in ali so bili ustrezni podatki dani na voljo ocenjevalcem. Ob upoštevanju ocenjevalnih študij, ki jih je izvedla Komisija (ali pa so bile izvedene v njenem imenu), je Sodišče pregledalo, ali so tehnike, uporabljene za posamezne študije, zagotavljale zadostno osnovo za obravnavo ocenjevalnih vprašanj, določenih za petletno oceno. Upoštevan je bil tudi možni prispevek ocen na nacionalni ravni k ocenjevanju OP. |
| --- | --- |

69.

Uspešno ocenjevanje zahteva uporabo ustreznih metodologij in tehnik. Sodišče je preverilo, v kolikšnem obsegu so obstajale posebne smernice za ocenjevanje OP, ali so bile potrebe po informacijah redno ustrezno analizirane in ali so bili ustrezni podatki dani na voljo ocenjevalcem. Ob upoštevanju ocenjevalnih študij, ki jih je izvedla Komisija (ali pa so bile izvedene v njenem imenu), je Sodišče pregledalo, ali so tehnike, uporabljene za posamezne študije, zagotavljale zadostno osnovo za obravnavo ocenjevalnih vprašanj, določenih za petletno oceno. Upoštevan je bil tudi možni prispevek ocen na nacionalni ravni k ocenjevanju OP.

Uvajanje standardov in smernic, značilnih za OP

| 70. | GD za proračun je izdal več sporočil, v katerih je navedel svojo ocenjevalno politiko in pravila za njeno izvajanje, ter določil sklop standardov, ki veljajo za celotno Komisijo (glej odstavka 14 in 55) (41). Tudi za druga področja politike so pristojni generalni direktorati razvili posebne ocenjevalne smernice (42). |
| --- | --- |

70.

GD za proračun je izdal več sporočil, v katerih je navedel svojo ocenjevalno politiko in pravila za njeno izvajanje, ter določil sklop standardov, ki veljajo za celotno Komisijo (glej odstavka 14 in 55) (41). Tudi za druga področja politike so pristojni generalni direktorati razvili posebne ocenjevalne smernice (42).

| 71. | Vendar pri OP to ni tako. Obstajajo številni metodološki priročniki in orodja za dejavnosti ocenjevanja na področju raziskav, ki jih je objavila (ali financirala) Komisija (43). Vendar v nobenem od njih ni specifičnih navodil za izvajanje ocenjevanja za OP niti niso opredeljeni ključni koncepti ali terminologija, ki naj bi jih uporabljali uslužbenci Komisije ali zunanji strokovnjaki. To je prispevalo k težavam, obravnavanim v nadaljevanju. |
| --- | --- |

71.

Vendar pri OP to ni tako. Obstajajo številni metodološki priročniki in orodja za dejavnosti ocenjevanja na področju raziskav, ki jih je objavila (ali financirala) Komisija (43). Vendar v nobenem od njih ni specifičnih navodil za izvajanje ocenjevanja za OP niti niso opredeljeni ključni koncepti ali terminologija, ki naj bi jih uporabljali uslužbenci Komisije ali zunanji strokovnjaki. To je prispevalo k težavam, obravnavanim v nadaljevanju.

Potrebe po podatkih in zbiranje le-teh

Nezadostna analiza potreb po podatkih

| 72. | „GD, povezani z raziskavami“ so premalo pozornosti posvetili temu, da bi razumeli, kateri podatki so potrebni za namene ocenjevanja in spremljanja. Namesto da bi sistematično in izčrpno analizirala potrebe po podatkih, je Komisija zahteve za podatke določila pozno v programskem obdobju in brez potrebnega upoštevanja splošnih potreb ocenjevanja. Socialno-ekonomski vprašalnik za OP6 je bil edini skupni poskus generalnih direktoratov, da bi se dogovorili o teh podatkih (glej odstavek 76). Vendar je bil ta vprašalnik dokončan v letu 2004 (tri leta po začetku programskega obdobja) in zajema predvsem vidike, kot so udeležba spolov in okoljski vplivi, ne pa tudi znanstvenih izložkov (kot so vprašanja intelektualne lastnine, objave itd.), izidov ali učinkov. |
| --- | --- |

72.

„GD, povezani z raziskavami“ so premalo pozornosti posvetili temu, da bi razumeli, kateri podatki so potrebni za namene ocenjevanja in spremljanja. Namesto da bi sistematično in izčrpno analizirala potrebe po podatkih, je Komisija zahteve za podatke določila pozno v programskem obdobju in brez potrebnega upoštevanja splošnih potreb ocenjevanja. Socialno-ekonomski vprašalnik za OP6 je bil edini skupni poskus generalnih direktoratov, da bi se dogovorili o teh podatkih (glej odstavek 76). Vendar je bil ta vprašalnik dokončan v letu 2004 (tri leta po začetku programskega obdobja) in zajema predvsem vidike, kot so udeležba spolov in okoljski vplivi, ne pa tudi znanstvenih izložkov (kot so vprašanja intelektualne lastnine, objave itd.), izidov ali učinkov.

| 73. | Ocenjevanje programov v veliki meri sloni na razpoložljivosti treh vrst podatkov:






  — | podatkov, zbranih v skladu s kazalniki uspešnosti, katerih analiza zagotavlja poznavanje napredka pri doseganju programskih ciljev. Zgoraj omenjeno pomanjkanje logike posega pomeni, da je bilo takšne kazalnike težko opredeliti (glej odstavek 30). V praksi so bili zbrani podatki le malo pomembni za merjenje doseganja programskih ciljev, |
| --- | --- | --- |

73.

Ocenjevanje programov v veliki meri sloni na razpoložljivosti treh vrst podatkov:

—

podatkov, zbranih v skladu s kazalniki uspešnosti, katerih analiza zagotavlja poznavanje napredka pri doseganju programskih ciljev. Zgoraj omenjeno pomanjkanje logike posega pomeni, da je bilo takšne kazalnike težko opredeliti (glej odstavek 30). V praksi so bili zbrani podatki le malo pomembni za merjenje doseganja programskih ciljev,

| — | podatkov o upravljanju programa (v skladu s kazalniki uspešnosti) in |
| --- | --- |

—

podatkov o upravljanju programa (v skladu s kazalniki uspešnosti) in

| — | podatkov o udeležencih (kot so stopnje udeležbe glavnih raziskovalnih organizacij). |
| --- | --- |

—

podatkov o udeležencih (kot so stopnje udeležbe glavnih raziskovalnih organizacij).

| 74. | Na Komisiji bi morali biti na voljo zlasti zadnji dve vrsti podatkov. Vendar je bilo zaradi težav s Komisijinimi notranjimi informacijskimi sistemi, ki so vir večine podatkov o upravljanju programov in udeležencih (44), v praksi (45) s tem precej težav. |
| --- | --- |

74.

Na Komisiji bi morali biti na voljo zlasti zadnji dve vrsti podatkov. Vendar je bilo zaradi težav s Komisijinimi notranjimi informacijskimi sistemi, ki so vir večine podatkov o upravljanju programov in udeležencih (44), v praksi (45) s tem precej težav.

| 75. | To nazorno kažejo precejšnje zamude pri dajanju na voljo poročil iz člena 173 in letnih poročil o spremljanju (do 16 mesecev zamude pri poročilih iz člena 173 (46) in do 7 mesecev zamude pri letnih poročilih o spremljanju v obdobju od 2002 do 2005). Ker so te informacije dosledno zamujale, je bila njihova uporaba omejena. |
| --- | --- |

75.

To nazorno kažejo precejšnje zamude pri dajanju na voljo poročil iz člena 173 in letnih poročil o spremljanju (do 16 mesecev zamude pri poročilih iz člena 173 (46) in do 7 mesecev zamude pri letnih poročilih o spremljanju v obdobju od 2002 do 2005). Ker so te informacije dosledno zamujale, je bila njihova uporaba omejena.

Neuspešen pristop k pridobivanju podatkov od udeležencev

| 76. | Komisija od OP5 naprej v pogodbah sistematično zahteva, da udeleženci zagotavljajo podatke, ki so potrebni za merjenje doseganja programskih ciljev z vidika izložkov, izidov in učinkov, kot sledi:






  — | v okviru OP5 so morali udeleženci predložiti „tehnološki izvedbeni načrt“ skupaj s končnim poročilom po zaključku projekta. Ti dokumenti so bili pogosto slabe kakovosti ali pa sploh niso bili predloženi, |
| --- | --- | --- |

76.

Komisija od OP5 naprej v pogodbah sistematično zahteva, da udeleženci zagotavljajo podatke, ki so potrebni za merjenje doseganja programskih ciljev z vidika izložkov, izidov in učinkov, kot sledi:

—

v okviru OP5 so morali udeleženci predložiti „tehnološki izvedbeni načrt“ skupaj s končnim poročilom po zaključku projekta. Ti dokumenti so bili pogosto slabe kakovosti ali pa sploh niso bili predloženi,

| — | v okviru OP6 morajo pripraviti „načrt za razširjanje in uporabo znanja“ in ob predložitvi svojih letnih tehničnih poročil odgovoriti na standardiziran vprašalnik o socialno-ekonomskih vprašanjih. |
| --- | --- |

—

v okviru OP6 morajo pripraviti „načrt za razširjanje in uporabo znanja“ in ob predložitvi svojih letnih tehničnih poročil odgovoriti na standardiziran vprašalnik o socialno-ekonomskih vprašanjih.

| 77. | Te pogodbene zahteve za zagotavljanje podatkov so udeležencem naložile nepotrebna administrativna bremena. Pri letnem vprašalniku za OP6, na primer, se podatki zbirajo veliko pogosteje, kot je potrebno, in iz celotne populacije projektov, čeprav bi zadostoval reprezentativni vzorec. To lahko povzroči „utrujenost od ocenjevanja“. Poleg tega so se ti podatki zbirali ob napačnem času, številna osnovna vprašanja, za katera se zbirajo podatki, so srednjeročne ali dolgoročne narave, tako da je zbiranje podatkov v času pogodbenega trajanja projekta po definiciji prezgodnje (47). Zaradi tega so bili podatki, ki so jih ta orodja za ocenjevanje zagotovila v okviru OP5 in OP6, v praksi uporabljeni v le omejenem obsegu. |
| --- | --- |

77.

Te pogodbene zahteve za zagotavljanje podatkov so udeležencem naložile nepotrebna administrativna bremena. Pri letnem vprašalniku za OP6, na primer, se podatki zbirajo veliko pogosteje, kot je potrebno, in iz celotne populacije projektov, čeprav bi zadostoval reprezentativni vzorec. To lahko povzroči „utrujenost od ocenjevanja“. Poleg tega so se ti podatki zbirali ob napačnem času, številna osnovna vprašanja, za katera se zbirajo podatki, so srednjeročne ali dolgoročne narave, tako da je zbiranje podatkov v času pogodbenega trajanja projekta po definiciji prezgodnje (47). Zaradi tega so bili podatki, ki so jih ta orodja za ocenjevanje zagotovila v okviru OP5 in OP6, v praksi uporabljeni v le omejenem obsegu.

| 78. | Vendar noben od vzpostavljenih sistemov ne predvideva standardiziranega zbiranja podatkov ob (ali kmalu po) izteku projekta. Zainteresirane strani, s katerimi so bili opravljeni pogovori, so predlagale, da bi takšni podatki lahko zajemali doseganje ciljev projekta, načrtovane (in nenačrtovane) rezultate ter dodano vrednost, ki je po mnenju udeležencev nastala zaradi sodelovanja Skupnosti. Takšne informacije bi bile lahko tudi podlaga za zunanje preglede zaključenih projektov (48). |
| --- | --- |

78.

Vendar noben od vzpostavljenih sistemov ne predvideva standardiziranega zbiranja podatkov ob (ali kmalu po) izteku projekta. Zainteresirane strani, s katerimi so bili opravljeni pogovori, so predlagale, da bi takšni podatki lahko zajemali doseganje ciljev projekta, načrtovane (in nenačrtovane) rezultate ter dodano vrednost, ki je po mnenju udeležencev nastala zaradi sodelovanja Skupnosti. Takšne informacije bi bile lahko tudi podlaga za zunanje preglede zaključenih projektov (48).

| 79. | Skupaj z obsežnejšo uporabo scientometričnih pristopov (kot je analiza navedkov) za ocenjevanje rezultatov projektov (glej odstavek 83) bi to lahko Komisiji nudilo osnovo, da se pri dejavnostih RTR, ki jih sofinancira Skupnost (49), preusmeri k sistemu financiranja, ki bo bolj temeljil na rezultatih. |
| --- | --- |

79.

Skupaj z obsežnejšo uporabo scientometričnih pristopov (kot je analiza navedkov) za ocenjevanje rezultatov projektov (glej odstavek 83) bi to lahko Komisiji nudilo osnovo, da se pri dejavnostih RTR, ki jih sofinancira Skupnost (49), preusmeri k sistemu financiranja, ki bo bolj temeljil na rezultatih.

Drugi viri podatkov niso ustrezno uporabljeni

| 80. | Drugi viri podatkov v Komisiji in državah članicah se premalo uporabljajo (npr. podatkovne zbirke nacionalnih programov RTR in agencij za zbiranje sredstev ter „Službe Skupnosti za informacije o raziskavah in razvoju“ (CORDIS), ki jo upravlja Komisijin Urad za publikacije (50)). |
| --- | --- |

80.

Drugi viri podatkov v Komisiji in državah članicah se premalo uporabljajo (npr. podatkovne zbirke nacionalnih programov RTR in agencij za zbiranje sredstev ter „Službe Skupnosti za informacije o raziskavah in razvoju“ (CORDIS), ki jo upravlja Komisijin Urad za publikacije (50)).

Ocenjevalne študije, ki jih izvaja Komisija

Poročila, ki jih je pregledalo Sodišče

| 81. | Sodišče je pregledalo 86 ocenjevalnih študij, ki jih je od leta 2000 izvedla Komisija (ali pa so bile izvedene v njenem imenu). Med njimi je bilo vseh 36 študij, ki so bile podlaga za petletno oceno, objavljenih leta 2004 in dodatnih 50 študij, ki so bile dokončane od takrat. Samo 23 teh študij je mogoče šteti za pristna ocenjevanja OP in njihovih programov (glej diagram 5).
  Diagram 5
  Pregled ocenjevalnih študij, ki jih je v obdobju od leta 2000 do 2006 izvedla Komisija (ali pa so bile izvedene v njenem imenu)








  Vrsta študije | Število | Opis |
| --- | --- | --- | --- |
| Ocenjevanje dejavnosti programov OP | 23 | Ocenjevalne študije






  — | so temeljile na priznanih metodologijah (51), |

81.

Sodišče je pregledalo 86 ocenjevalnih študij, ki jih je od leta 2000 izvedla Komisija (ali pa so bile izvedene v njenem imenu). Med njimi je bilo vseh 36 študij, ki so bile podlaga za petletno oceno, objavljenih leta 2004 in dodatnih 50 študij, ki so bile dokončane od takrat. Samo 23 teh študij je mogoče šteti za pristna ocenjevanja OP in njihovih programov (glej diagram 5).

Diagram 5

Pregled ocenjevalnih študij, ki jih je v obdobju od leta 2000 do 2006 izvedla Komisija (ali pa so bile izvedene v njenem imenu)

Vrsta študije

Število

Opis

Ocenjevanje dejavnosti programov OP

23

Ocenjevalne študije

—

so temeljile na priznanih metodologijah (51),

| — | se posebej sklicujejo na cilje programov in na to, v kolikšnem obsegu so bili ti doseženi. |
| --- | --- |

—

se posebej sklicujejo na cilje programov in na to, v kolikšnem obsegu so bili ti doseženi.

Nacionalne ocene učinka, izvedene na ravni držav članic

12

Študije, ki so jih izvedle države članice in obravnavajo predvsem stopnje nacionalne udeležbe, ne vsebujejo pa zaključkov o ciljih programov.

Metodološke študije

5

Študije, ki jih je organizirala Komisija, za pomoč pri razvoju metodologij ocenjevanja.

Študije stanja na področju RTR v Evropi

2

Študije, ki obravnavajo kontekstualne analize raziskovalnega področja v Evropi, ne pa OP. Zlasti ne vsebujejo nobenega izrecnega sklicevanja na vpliv OP na nacionalne sisteme za raziskave in inovacije.

Opisni in statistični dokumenti, ki niso analitične narave

33

Dokumenti, ki običajno obravnavajo dejavnosti OP na zelo posreden način, v njih pa so te dejavnosti pogosto bolj opisane kot pa analizirane.

Drugi dokumenti

11

Sklop dokumentov, v katerih so obravnavana vprašanja, ki so v interesu splošne politike, ne da bi bili v tem kontekstu preučeni OP.

Ocenjevanja se osredotočajo na vprašanja spremljanja, namesto na izide in učinke

| 82. | Iz meta-analize teh posebnih ocenjevalnih študij, ki jo je opravilo Sodišče, izhajata dve glavni opažanji:






  — | čeprav si številne študije prizadevajo podati zaključke o programskih ciljih, so ti zaključki predstavljeni zelo nejasno in bralec ni povsem prepričan, da je bilo to vprašanje med ocenjevanjem dejansko res obravnavano. Do tega pogosto prihaja zato, ker pomanjkanje vsakršnih jasnih ciljev programa kritično ogroža proces (glej odstavek 28), |
| --- | --- | --- |

82.

Iz meta-analize teh posebnih ocenjevalnih študij, ki jo je opravilo Sodišče, izhajata dve glavni opažanji:

—

čeprav si številne študije prizadevajo podati zaključke o programskih ciljih, so ti zaključki predstavljeni zelo nejasno in bralec ni povsem prepričan, da je bilo to vprašanje med ocenjevanjem dejansko res obravnavano. Do tega pogosto prihaja zato, ker pomanjkanje vsakršnih jasnih ciljev programa kritično ogroža proces (glej odstavek 28),

| — | namesto da bi ocenjevali izide in učinke OP ali njihovih posebnih programov (in podprogramov), so številni dokumenti opisni in se v najboljšem primeru osredotočajo na neposredne izložke projekta in zadeve, povezane z vodenjem projekta. Ta poročila ne morejo zagotoviti prepričljivih dokazov o izidih ali učinkih. |
| --- | --- |

—

namesto da bi ocenjevali izide in učinke OP ali njihovih posebnih programov (in podprogramov), so številni dokumenti opisni in se v najboljšem primeru osredotočajo na neposredne izložke projekta in zadeve, povezane z vodenjem projekta. Ta poročila ne morejo zagotoviti prepričljivih dokazov o izidih ali učinkih.

Nezadostna osredotočenost na razvoj inovativnih metodologij

| 83. | Pri ocenjevanjih, izvedenih v obdobju 2000–2006, prevladuje uporaba tradicionalnih metodologij in tehnik (zlasti anket, pregledov dokumentacije in pogovorov) (glej diagram 6). Poleg tega številne druge zahtevne, vendar kljub temu dobro uveljavljene ocenjevalne metodologije in tehnike niso bile uporabljene (ali pa zelo redko), zlasti:






  — | scientometrični pristopi (kot je analiza navedkov) (52), |
| --- | --- | --- |

83.

Pri ocenjevanjih, izvedenih v obdobju 2000–2006, prevladuje uporaba tradicionalnih metodologij in tehnik (zlasti anket, pregledov dokumentacije in pogovorov) (glej diagram 6). Poleg tega številne druge zahtevne, vendar kljub temu dobro uveljavljene ocenjevalne metodologije in tehnike niso bile uporabljene (ali pa zelo redko), zlasti:

—

scientometrični pristopi (kot je analiza navedkov) (52),

| — | kvantitativni modeli (kot so razmerja med stroški in učinkovitostjo, stroški in uspešnostjo ter stroški in koristmi) (53) ali |
| --- | --- |

—

kvantitativni modeli (kot so razmerja med stroški in učinkovitostjo, stroški in uspešnostjo ter stroški in koristmi) (53) ali

| — | modeli z akterji (ali vedenjski modeli) (ki se osredotočajo na perspektive tistih, ki sodelujejo v posegu, kot so značilnosti raziskovalnih mrež in njihove spremembe v času). |
| --- | --- |

—

modeli z akterji (ali vedenjski modeli) (ki se osredotočajo na perspektive tistih, ki sodelujejo v posegu, kot so značilnosti raziskovalnih mrež in njihove spremembe v času).

Image

| 84. | Ocenjevalne študije, ki so poskušale obravnavati nekatere metodološke težave pri ocenjevanju javnega posega na področju raziskav (glej Prilogo I), so bile uporabljene le pri omejenem številu primerov:






  — | pred kratkim sta bili dokončani dve študiji o logiki posega (54), |
| --- | --- | --- |

84.

Ocenjevalne študije, ki so poskušale obravnavati nekatere metodološke težave pri ocenjevanju javnega posega na področju raziskav (glej Prilogo I), so bile uporabljene le pri omejenem številu primerov:

—

pred kratkim sta bili dokončani dve študiji o logiki posega (54),

| — | samo za tri študije je bilo ugotovljeno, da so skušale oceniti vpliv, ki ga je imelo financiranje Skupnosti na vseevropsko vedenje raziskovalnih organizacij (55) glede mrežnega povezovanja. Tako je kljub dejstvu, da je predpostavka o pozitivnih učinkih mreženja v središču koncepta ERA, |
| --- | --- |

—

samo za tri študije je bilo ugotovljeno, da so skušale oceniti vpliv, ki ga je imelo financiranje Skupnosti na vseevropsko vedenje raziskovalnih organizacij (55) glede mrežnega povezovanja. Tako je kljub dejstvu, da je predpostavka o pozitivnih učinkih mreženja v središču koncepta ERA,

| — | v samo enem primeru je prišlo do poskusa, da bi se sprejeli zaključki o učinku, ki je bil dosežen na programski (ali podprogramski) ravni s kombiniranjem združevanja analiz ocenjevanja na ravni projektov z drugimi tehnikami ocenjevanja (56), in |
| --- | --- |

—

v samo enem primeru je prišlo do poskusa, da bi se sprejeli zaključki o učinku, ki je bil dosežen na programski (ali podprogramski) ravni s kombiniranjem združevanja analiz ocenjevanja na ravni projektov z drugimi tehnikami ocenjevanja (56), in

| — | nobenih dokazov ni bilo o uporabi drugih metodologij, kot so pristopi „v nasprotju z dejstvi“ (ali „kontrolne skupine“). Takšen pristop bi bil še posebej koristen za prikaz dodane vrednosti programov na ravni Skupnosti v primerjavi s stanjem, če posega sploh ne bi bilo (ali pa bi bil na nacionalni ali regionalni ravni). |
| --- | --- |

—

nobenih dokazov ni bilo o uporabi drugih metodologij, kot so pristopi „v nasprotju z dejstvi“ (ali „kontrolne skupine“). Takšen pristop bi bil še posebej koristen za prikaz dodane vrednosti programov na ravni Skupnosti v primerjavi s stanjem, če posega sploh ne bi bilo (ali pa bi bil na nacionalni ali regionalni ravni).

| 85. | Zainteresirane strani, s katerimi se je pogovarjalo Sodišče, so menile, da bi bilo možno koristnost in pomembnost Komisijinih ocenjevanj izboljšati. To nazorno kaže potrebo po nadaljnjem metodološkem razvoju, ki bi omogočil takšen razvoj sistema ocenjevanja, da bo upoštevana tudi spreminjajoča se narava OP (glej odstavek 7) (57). |
| --- | --- |

85.

Zainteresirane strani, s katerimi se je pogovarjalo Sodišče, so menile, da bi bilo možno koristnost in pomembnost Komisijinih ocenjevanj izboljšati. To nazorno kaže potrebo po nadaljnjem metodološkem razvoju, ki bi omogočil takšen razvoj sistema ocenjevanja, da bo upoštevana tudi spreminjajoča se narava OP (glej odstavek 7) (57).

Zapletenih vprašanj, ki so se pojavila pri petletnih ocenah, ni bilo mogoče obravnavati na podlagi Komisijinih posebnih ocenjevalnih študij

| 86. | To nazorno kažejo tudi številne težave, s katerimi se je leta 2004 soočal odbor za petletno oceno (58) pri odgovarjanju na ocenjevalna vprašanja, predlagana v njegovih delovnih pooblastilih. Številnih od teh zapletenih vprašanj sploh ni bilo mogoče preučiti, ker Komisija pred tem ni izvedla ustreznih študij (ali pa niso bile izvedene v njenem imenu) in ker ni bilo možnosti, da bi lahko člani odbora sami pravočasno naročili takšne študije (glej diagram 7).
  Diagram 7
  Obravnavanje ocenjevalnih vprašanj pri pripravi petletne ocene leta 2004 | Ocenjevalno vprašanje | Obravnavano v poročilu? |
| --- | --- | --- | --- |
| IZVAJANJE | Ali so bile dejavnosti učinkovito izvedene? | delno |
| Ali so bile dejavnosti stroškovno učinkovite? | delno |
| Ali so dejavnosti predstavljale najboljši način za doseganje zastavljenih ciljev? | ne |
| Ali so bili splošni pravni okvir (vključno s pravili za udeležbo in pogodbami), instrumenti politike in načini za izvajanje jasni, ustrezni in uspešni? | ne |
| Ali so bili stopnja financiranja in drugi razpoložljivi viri ustrezni? | ne |
| Ali so se bile ciljne industrijske in raziskovalne skupnosti, vključno z MSP, zmožne ustrezno odzvati? | ne |
| DOSEŽKI | Ali so dejavnosti dosegle svoje cilje in v kolikšnem obsegu je prišlo do nepričakovanih rezultatov? | ne |
| Kateri so glavni rezultati, zlasti glede znanstvenih, tehnoloških, socialno-ekonomskih in okoljskih izložkov, glede mednarodnega sodelovanja, prenosa znanja in inovacij, prednormativnih dejavnosti, dostopnosti, razširjanja in razumevanja raziskav, razvoja človeških virov, mobilnosti in usposabljanja, ter glede podpiranja in krepitve koordinacije raziskovalnih dejavnosti? | ne |
| Ali so bili rezultati in njihovi vplivi in učinki globalno zadovoljivi z vidika posrednih ali neposrednih upravičencev in zainteresiranih strani? | ne |
| Ali so bile ciljne industrijske in raziskovalne skupnosti, vključno z MSP, zadovoljivo obravnavane? | da |
| Na kakšen način in kako daljnosežno so dejavnosti prispevale k izboljšani konkurenčnosti raziskav EU na mednarodni ravni? Ali so raziskave EU dosegle vodilni položaj na specifičnih področjih? | delno |
| Na kakšen način in kako daljnosežno so dejavnosti prispevale k politikam EU na splošno in k strategiji EU za trajnostni razvoj? | ne |
| Ali obstajajo dokazi o strukturni spremembi, ki vključuje zlasti mrežno povezovanje, povezovanje in koordinacijo raziskav na nacionalni ali mednarodni ravni kot rezultat raziskovalnih dejavnosti Skupnosti? | ne |
| Ali so programi zagotovili vrednost za vložena sredstva? Ali so imele dejavnosti trajne učinke? | ne |
| RAZVOJ IN PRIHODNJI IZGLEDI | Kako so se okvirni programi razvijali glede na svojo smiselnost, cilje, tematske prednostne naloge, ravnotežje med prednostnimi nalogami od spodaj navzgor in od zgoraj navzdol ter med temeljnimi in uporabnimi raziskavami, instrumente, evropsko dodano vrednost in druge učinke, zlasti z vidika nastanka koncepta evropskega raziskovalnega prostora (ERA), lizbonskih ciljev in glavnih mednarodnih ekonomskih in raziskovalnih meril uspešnosti? | da |
| Kako je okvirni program dosegel evropsko dodano vrednost? | da |
| Ali je evropsko dodano vrednost mogoče doseči z drugimi mednarodnimi ali nacionalnimi mehanizmi? | ne |
| Ali so programski cilji politike, prednostne naloge, instrumenti in življenjski cikel primerni za prihodnost? | da |

86.

To nazorno kažejo tudi številne težave, s katerimi se je leta 2004 soočal odbor za petletno oceno (58) pri odgovarjanju na ocenjevalna vprašanja, predlagana v njegovih delovnih pooblastilih. Številnih od teh zapletenih vprašanj sploh ni bilo mogoče preučiti, ker Komisija pred tem ni izvedla ustreznih študij (ali pa niso bile izvedene v njenem imenu) in ker ni bilo možnosti, da bi lahko člani odbora sami pravočasno naročili takšne študije (glej diagram 7).

Diagram 7

Obravnavanje ocenjevalnih vprašanj pri pripravi petletne ocene leta 2004

Ocenjevalno vprašanje

Obravnavano v poročilu?

IZVAJANJE

Ali so bile dejavnosti učinkovito izvedene?

delno

Ali so bile dejavnosti stroškovno učinkovite?

delno

Ali so dejavnosti predstavljale najboljši način za doseganje zastavljenih ciljev?

ne

Ali so bili splošni pravni okvir (vključno s pravili za udeležbo in pogodbami), instrumenti politike in načini za izvajanje jasni, ustrezni in uspešni?

ne

Ali so bili stopnja financiranja in drugi razpoložljivi viri ustrezni?

ne

Ali so se bile ciljne industrijske in raziskovalne skupnosti, vključno z MSP, zmožne ustrezno odzvati?

ne

DOSEŽKI

Ali so dejavnosti dosegle svoje cilje in v kolikšnem obsegu je prišlo do nepričakovanih rezultatov?

ne

Kateri so glavni rezultati, zlasti glede znanstvenih, tehnoloških, socialno-ekonomskih in okoljskih izložkov, glede mednarodnega sodelovanja, prenosa znanja in inovacij, prednormativnih dejavnosti, dostopnosti, razširjanja in razumevanja raziskav, razvoja človeških virov, mobilnosti in usposabljanja, ter glede podpiranja in krepitve koordinacije raziskovalnih dejavnosti?

ne

Ali so bili rezultati in njihovi vplivi in učinki globalno zadovoljivi z vidika posrednih ali neposrednih upravičencev in zainteresiranih strani?

ne

Ali so bile ciljne industrijske in raziskovalne skupnosti, vključno z MSP, zadovoljivo obravnavane?

da

Na kakšen način in kako daljnosežno so dejavnosti prispevale k izboljšani konkurenčnosti raziskav EU na mednarodni ravni? Ali so raziskave EU dosegle vodilni položaj na specifičnih področjih?

delno

Na kakšen način in kako daljnosežno so dejavnosti prispevale k politikam EU na splošno in k strategiji EU za trajnostni razvoj?

ne

Ali obstajajo dokazi o strukturni spremembi, ki vključuje zlasti mrežno povezovanje, povezovanje in koordinacijo raziskav na nacionalni ali mednarodni ravni kot rezultat raziskovalnih dejavnosti Skupnosti?

ne

Ali so programi zagotovili vrednost za vložena sredstva? Ali so imele dejavnosti trajne učinke?

ne

RAZVOJ IN PRIHODNJI IZGLEDI

Kako so se okvirni programi razvijali glede na svojo smiselnost, cilje, tematske prednostne naloge, ravnotežje med prednostnimi nalogami od spodaj navzgor in od zgoraj navzdol ter med temeljnimi in uporabnimi raziskavami, instrumente, evropsko dodano vrednost in druge učinke, zlasti z vidika nastanka koncepta evropskega raziskovalnega prostora (ERA), lizbonskih ciljev in glavnih mednarodnih ekonomskih in raziskovalnih meril uspešnosti?

da

Kako je okvirni program dosegel evropsko dodano vrednost?

da

Ali je evropsko dodano vrednost mogoče doseči z drugimi mednarodnimi ali nacionalnimi mehanizmi?

ne

Ali so programski cilji politike, prednostne naloge, instrumenti in življenjski cikel primerni za prihodnost?

da

| 87. | Poleg tega je opaženo, da so lahko člani odbora odgovorili na vprašanja, določena v svojih delovnih pooblastilih, samo pri tistih vidikih, za katere so bili v programih natančno določeni jasni in količinsko izmerljivi cilji (kot je delež udeleženih malih in srednje velikih podjetij). |
| --- | --- |

87.

Poleg tega je opaženo, da so lahko člani odbora odgovorili na vprašanja, določena v svojih delovnih pooblastilih, samo pri tistih vidikih, za katere so bili v programih natančno določeni jasni in količinsko izmerljivi cilji (kot je delež udeleženih malih in srednje velikih podjetij).

Ocenjevanja OP, izvedena na nacionalni ravni

| 88. | Več držav članic in pridruženih držav izvaja svoja nacionalna ocenjevanja OP, pri katerih obravnavajo relevantna in zanimiva vprašanja s svojega vidika (59). V zadnjih 8 letih je bilo izdelanih 14 takšnih študij za 9 držav članic in eno pridruženo državo. |
| --- | --- |

88.

Več držav članic in pridruženih držav izvaja svoja nacionalna ocenjevanja OP, pri katerih obravnavajo relevantna in zanimiva vprašanja s svojega vidika (59). V zadnjih 8 letih je bilo izdelanih 14 takšnih študij za 9 držav članic in eno pridruženo državo.

| 89. | Čeprav je Komisija povsod, kjer je mogoče, spodbujala standardizirane pristope, so te nacionalne študije o učinku zelo raznolike (60). Zaradi tega ne sledijo usklajeni metodologiji, možnosti za zbiranje, združevanje ali primerjanje rezultatov pa so omejene. Poleg tega lahko te študije zaradi svojega nacionalnega značaja samo delno zajamejo razsežnost evropskega sodelovanja. |
| --- | --- |

89.

Čeprav je Komisija povsod, kjer je mogoče, spodbujala standardizirane pristope, so te nacionalne študije o učinku zelo raznolike (60). Zaradi tega ne sledijo usklajeni metodologiji, možnosti za zbiranje, združevanje ali primerjanje rezultatov pa so omejene. Poleg tega lahko te študije zaradi svojega nacionalnega značaja samo delno zajamejo razsežnost evropskega sodelovanja.

| 90. | Komisija je leta 2007 v „zeleni knjigi“ o ERA trdila, da je pomembno, da so na ravni ERA na voljo točne analize o učinku in uspešnosti raziskovalnih dejavnosti in politik, vključno s tistimi v državah članicah in EU. Prav tako je priznala, da sedanja ureditev ni ustrezna za obravnavanje tega izziva, ker je vsaka raven posega izvajala ocenjevanja ločeno od ostalih (61). |
| --- | --- |

90.

Komisija je leta 2007 v „zeleni knjigi“ o ERA trdila, da je pomembno, da so na ravni ERA na voljo točne analize o učinku in uspešnosti raziskovalnih dejavnosti in politik, vključno s tistimi v državah članicah in EU. Prav tako je priznala, da sedanja ureditev ni ustrezna za obravnavanje tega izziva, ker je vsaka raven posega izvajala ocenjevanja ločeno od ostalih (61).

Priporočila

91.

| 91. | Komisija bi morala pripraviti priročnik za ocenjevanje dejavnosti, ki se financirajo iz OP, ter v njem opredeliti temeljne koncepte in terminologijo ter vrsto ustreznih metodologij za določene dejavnosti ocenjevanja. Ta priročnik bi moral temeljiti na obstoječih smernicah in orodjih ter bi ga bilo treba redno posodabljati. |
| --- | --- |

Komisija bi morala pripraviti priročnik za ocenjevanje dejavnosti, ki se financirajo iz OP, ter v njem opredeliti temeljne koncepte in terminologijo ter vrsto ustreznih metodologij za določene dejavnosti ocenjevanja. Ta priročnik bi moral temeljiti na obstoječih smernicah in orodjih ter bi ga bilo treba redno posodabljati.

| 92. | Komisija bi morala opredeliti svoje potrebe po informacijah, ter ob tem upoštevati potrebo po omejitvi administrativnega bremena za udeležence. |
| --- | --- |

92.

Komisija bi morala opredeliti svoje potrebe po informacijah, ter ob tem upoštevati potrebo po omejitvi administrativnega bremena za udeležence.

| 93. | Komisija bi morala pravočasno zagotavljati informacije o spremljanju izvajanja OP. Kot zahtevajo „pravila za udeležbo“ za OP7, je treba nujno in čimprej odpraviti težave v Komisijinih informacijskih sistemih za upravljanje podatkov o vodenju programa in udeležencih. |
| --- | --- |

93.

Komisija bi morala pravočasno zagotavljati informacije o spremljanju izvajanja OP. Kot zahtevajo „pravila za udeležbo“ za OP7, je treba nujno in čimprej odpraviti težave v Komisijinih informacijskih sistemih za upravljanje podatkov o vodenju programa in udeležencih.

| 94. | Obveznosti udeležencev glede poročanja Komisiji je treba precej zmanjšati, ankete pa bi bilo treba izvajati samo na podlagi vzorca. Pogodbeno zahtevo za predložitev podatkov o učinku na podlagi kazalnikov za vsak projekt bi bilo treba nadomestiti s kratko samooceno ob zaključku projekta. |
| --- | --- |

94.

Obveznosti udeležencev glede poročanja Komisiji je treba precej zmanjšati, ankete pa bi bilo treba izvajati samo na podlagi vzorca. Pogodbeno zahtevo za predložitev podatkov o učinku na podlagi kazalnikov za vsak projekt bi bilo treba nadomestiti s kratko samooceno ob zaključku projekta.

| 95. | Komisija bi morala pri svojih ocenjevanjih v večji meri uporabljati obstoječe dopolnilne vire relevantnih podatkov (tako v Komisiji kot v državah članicah). |
| --- | --- |

95.

Komisija bi morala pri svojih ocenjevanjih v večji meri uporabljati obstoječe dopolnilne vire relevantnih podatkov (tako v Komisiji kot v državah članicah).

| 96. | Komisija bi morala uporabljati celoten razpon razpoložljivih tehnik ocenjevanja. Poleg tega bi morala podpirati razvoj inovativnih pristopov k reševanju metodoloških težav, ki so značilne za ocenjevanje javnih posegov na področju raziskav (glej Prilogo I) in te pristope uporabljati pri svojih ocenjevanjih. |
| --- | --- |

96.

Komisija bi morala uporabljati celoten razpon razpoložljivih tehnik ocenjevanja. Poleg tega bi morala podpirati razvoj inovativnih pristopov k reševanju metodoloških težav, ki so značilne za ocenjevanje javnih posegov na področju raziskav (glej Prilogo I) in te pristope uporabljati pri svojih ocenjevanjih.

| 97. | Komisija bi se morala z državami članicami posvetovati o tem, kako čim bolj povečati koristi ocenjevanj OP na nacionalni ravni. |
| --- | --- |

97.

Komisija bi se morala z državami članicami posvetovati o tem, kako čim bolj povečati koristi ocenjevanj OP na nacionalni ravni.

Razširjanje in uporaba ugotovitev ocenjevanja

| 98. | Ocenjevanje bi moralo zagotavljati relevantne informacije in analize, ki jih je mogoče uspešno uporabljati za vodenje programov in oblikovanje politike. Ocenjevanje bi moralo predvsem nuditi podlago za temeljit razmislek o prednostih in pomanjkljivostih javnega posega, ki bi temeljil na podatkih in ki je nujen za učenje. Sodišče je preverilo, v kolikšnem obsegu so bile ocene časovno dobro načrtovane, ugotovitve sporočene in razširjene med zainteresirane strani zunaj Komisije in kako je Komisija upoštevala priporočila za pregled tekočih programov („programi učenja“). |
| --- | --- |

98.

Ocenjevanje bi moralo zagotavljati relevantne informacije in analize, ki jih je mogoče uspešno uporabljati za vodenje programov in oblikovanje politike. Ocenjevanje bi moralo predvsem nuditi podlago za temeljit razmislek o prednostih in pomanjkljivostih javnega posega, ki bi temeljil na podatkih in ki je nujen za učenje. Sodišče je preverilo, v kolikšnem obsegu so bile ocene časovno dobro načrtovane, ugotovitve sporočene in razširjene med zainteresirane strani zunaj Komisije in kako je Komisija upoštevala priporočila za pregled tekočih programov („programi učenja“).

Pri časovnem načrtovanju ocen ni bilo upoštevano, kakšno vrsto informacij je dejansko mogoče pričakovati

| 99. | Sodišče priznava, da nekatere vrste analize zahtevajo dolgoročno perspektivo (npr. ocena izidov in socialno-ekonomskih učinkov) ter da so nekateri vidiki povezani z določenim programskim obdobjem (npr. programski cilji, celo znotraj danega znanstvenega področja), drugi pa ne (glej diagram 8). Vendar Komisija pri svojih dejavnostih ocenjevanja ni sprejela pristopa, ki upošteva te časovne razpone. |
| --- | --- |

99.

Sodišče priznava, da nekatere vrste analize zahtevajo dolgoročno perspektivo (npr. ocena izidov in socialno-ekonomskih učinkov) ter da so nekateri vidiki povezani z določenim programskim obdobjem (npr. programski cilji, celo znotraj danega znanstvenega področja), drugi pa ne (glej diagram 8). Vendar Komisija pri svojih dejavnostih ocenjevanja ni sprejela pristopa, ki upošteva te časovne razpone.

| 100. | Zakonodaja zahteva, da se Komisijine glavne dejavnosti ocenjevanja osredotočajo izključno na pet let pred pripravo petletne ocene ter tako pokrivajo dele dveh zaporednih programskih obdobij. Zaradi tega so bili srednjeročni in dolgoročni izidi in učinki le malo obravnavani. Posledično so se petletne ocene v glavnem osredotočale na vidike spremljanja, vprašanja, povezana s kratkoročno zasnovo programov, in splošna opažanja o usmeritvi OP. Sodišče pozdravlja dejstvo, da zakonodaja o OP7 ne zahteva več petletnih ocen ali kakršnih koli drugih vnaprej opredeljenih obdobij pokritosti.
  Diagram 8
  Vprašanja spremljanja in ocenjevanja glede na različne časovne razpone







  Spremljanje izvajanja programa

  (v teku) | — | Vprašanja glede upravljanja programa (npr. čas, potreben za sklenitev pogodbe, čas, potreben za plačilo, stopnje vpisa in uspeha, izvrševanje proračuna, stopnje financiranja itd.) |
| --- | --- | --- | --- |

100.

Zakonodaja zahteva, da se Komisijine glavne dejavnosti ocenjevanja osredotočajo izključno na pet let pred pripravo petletne ocene ter tako pokrivajo dele dveh zaporednih programskih obdobij. Zaradi tega so bili srednjeročni in dolgoročni izidi in učinki le malo obravnavani. Posledično so se petletne ocene v glavnem osredotočale na vidike spremljanja, vprašanja, povezana s kratkoročno zasnovo programov, in splošna opažanja o usmeritvi OP. Sodišče pozdravlja dejstvo, da zakonodaja o OP7 ne zahteva več petletnih ocen ali kakršnih koli drugih vnaprej opredeljenih obdobij pokritosti.

Diagram 8

Vprašanja spremljanja in ocenjevanja glede na različne časovne razpone

Spremljanje izvajanja programa

(v teku)

—

Vprašanja glede upravljanja programa (npr. čas, potreben za sklenitev pogodbe, čas, potreben za plačilo, stopnje vpisa in uspeha, izvrševanje proračuna, stopnje financiranja itd.)

Ocenjevanje

Kratkoročno

(na primer, najprej po 1–2 letih)

| — | Vprašanja glede vodenja programa (npr. učinkovitost upravnih postopkov) |
| --- | --- |

—

Vprašanja glede vodenja programa (npr. učinkovitost upravnih postopkov)

| — | Vprašanja glede zasnove programa (npr. dostopnost in prožnost instrumentov, ovire pri udeležbi, posledice neuspeha v razpisih za oddajo predlogov itd.) |
| --- | --- |

—

Vprašanja glede zasnove programa (npr. dostopnost in prožnost instrumentov, ovire pri udeležbi, posledice neuspeha v razpisih za oddajo predlogov itd.)

| — | Analiza profila udeležbe (na tej stopnji v glavnem kvantitativna) |
| --- | --- |

—

Analiza profila udeležbe (na tej stopnji v glavnem kvantitativna)

Ocenjevanje

Vmesno

(na primer, po 7 letih)

| — | Vprašanja glede zasnove programa (npr. uspešnost instrumentov) |
| --- | --- |

—

Vprašanja glede zasnove programa (npr. uspešnost instrumentov)

| — | Analiza udeležbe, (kombiniranje kvalitativnih in kvantitativnih vidikov, npr. analiza raziskovalnih mrež, učinek na vedenje raziskovalcev itd.) |
| --- | --- |

—

Analiza udeležbe, (kombiniranje kvalitativnih in kvantitativnih vidikov, npr. analiza raziskovalnih mrež, učinek na vedenje raziskovalcev itd.)

| — | Analiza izložkov projekta
   (62) (npr. publikacije, dokumenti, patenti, licence, prototipi, usposobljeni znanstveniki itd.) |
| --- | --- |

—

Analiza izložkov projekta
   (62) (npr. publikacije, dokumenti, patenti, licence, prototipi, usposobljeni znanstveniki itd.)

Ocenjevanje

Dolgoročno

(na primer po > 10 letih)

| — | Ocena izidov in učinkov |
| --- | --- |

—

Ocena izidov in učinkov

Vir: Evropsko računsko sodišče.

| 101. | Te pomanjkljivosti petletnih ocen pri ocenjevanju izidov in učinkov OP so opazili tudi strokovnjaki Komisije:






  — | odbor za petletno oceno iz leta 2004 je izjavil, da bi moralo ocenjevanje zajemati tako dolgoročna kot kratkoročna vprašanja in jim namenjati dovolj pozornosti ter da bi bilo mogoče sprostiti vire, da se omogočijo ambicioznejše dolgoročne ocenjevalne študije, s katerimi bi bilo mogoče bolj sistematično raziskati strukturna in širša socialno-ekonomska vprašanja (63), |
| --- | --- | --- |

101.

Te pomanjkljivosti petletnih ocen pri ocenjevanju izidov in učinkov OP so opazili tudi strokovnjaki Komisije:

—

odbor za petletno oceno iz leta 2004 je izjavil, da bi moralo ocenjevanje zajemati tako dolgoročna kot kratkoročna vprašanja in jim namenjati dovolj pozornosti ter da bi bilo mogoče sprostiti vire, da se omogočijo ambicioznejše dolgoročne ocenjevalne študije, s katerimi bi bilo mogoče bolj sistematično raziskati strukturna in širša socialno-ekonomska vprašanja (63),

| — | med študijo, ki jo je naročil GD za raziskave, je bilo ugotovljeno, da sedanje prakse EU za ocenjevanje RTR (ki zajemajo stalno spremljanje, petletne ocene in vmesno ocenjevanje) zaznamuje močna osredotočenost na spremljanje v primerjavi z ocenjevanjem učinkov in da bi bil za premik povpraševanja in pričakovanj v smeri socialno-ekonomskega učinka potreben nov okvir za ocenjevanje in spremljanje, ki bi zavezoval k večjemu prizadevanju na ravni učinkov in ne samo spremljanje izložkov (64). |
| --- | --- |

—

med študijo, ki jo je naročil GD za raziskave, je bilo ugotovljeno, da sedanje prakse EU za ocenjevanje RTR (ki zajemajo stalno spremljanje, petletne ocene in vmesno ocenjevanje) zaznamuje močna osredotočenost na spremljanje v primerjavi z ocenjevanjem učinkov in da bi bil za premik povpraševanja in pričakovanj v smeri socialno-ekonomskega učinka potreben nov okvir za ocenjevanje in spremljanje, ki bi zavezoval k večjemu prizadevanju na ravni učinkov in ne samo spremljanje izložkov (64).

| 102. | Vprašanje časovnega načrtovanja vpliva tudi na posebne ocene, ki jih zahteva zakonodaja. Tako je bilo, na primer, Marimónovo poročilo leta 2004, v katerem so bili analizirani novi instrumenti, uvedeni z OP6 (2003–2006), zahtevano prezgodaj, posledica pa je bila, da je bilo malo ali nič praktičnih izkušenj in empiričnih dokazov, na katerih bi bili lahko utemeljeni njegovi zaključki (65). |
| --- | --- |

102.

Vprašanje časovnega načrtovanja vpliva tudi na posebne ocene, ki jih zahteva zakonodaja. Tako je bilo, na primer, Marimónovo poročilo leta 2004, v katerem so bili analizirani novi instrumenti, uvedeni z OP6 (2003–2006), zahtevano prezgodaj, posledica pa je bila, da je bilo malo ali nič praktičnih izkušenj in empiričnih dokazov, na katerih bi bili lahko utemeljeni njegovi zaključki (65).

Sporočanje in razširjanje

| 103. | Komisija lahko sama razvije in prilagodi operativne delovne programe v skladu s kratkoročnimi cikli, vendar mora za to pridobiti odobritev ustreznega programskega odbora. To bi lahko predstavljalo priložnost za prilagoditve pri upravljanju programov in za proračunske prerazporeditve v podprogramih. Ni bilo dokazov, da Komisija uporablja to možnost (glej odstavek 107). |
| --- | --- |

103.

Komisija lahko sama razvije in prilagodi operativne delovne programe v skladu s kratkoročnimi cikli, vendar mora za to pridobiti odobritev ustreznega programskega odbora. To bi lahko predstavljalo priložnost za prilagoditve pri upravljanju programov in za proračunske prerazporeditve v podprogramih. Ni bilo dokazov, da Komisija uporablja to možnost (glej odstavek 107).

| 104. | Poleg tega je glede na način oblikovanja in sprejemanja OP za Komisijo skoraj nemogoče, da bi sprejela kakršne koli pomembne spremembe, kot so spremembe programskih ciljev ali prerazporeditev proračunov med podprogrami. Takšne obširne spremembe lahko uveljavi samo zakonodajalec med pregledom zakonodaje o OP (kot v letu 2010 za OP7) ali pri sprejemanju naslednjega OP. Zato je zakonodaja običajno določala, da so glavna ocenjevanja časovno načrtovana tako, da je njihove rezultate mogoče kar se da koristno upoštevati pri oblikovanju politike. |
| --- | --- |

104.

Poleg tega je glede na način oblikovanja in sprejemanja OP za Komisijo skoraj nemogoče, da bi sprejela kakršne koli pomembne spremembe, kot so spremembe programskih ciljev ali prerazporeditev proračunov med podprogrami. Takšne obširne spremembe lahko uveljavi samo zakonodajalec med pregledom zakonodaje o OP (kot v letu 2010 za OP7) ali pri sprejemanju naslednjega OP. Zato je zakonodaja običajno določala, da so glavna ocenjevanja časovno načrtovana tako, da je njihove rezultate mogoče kar se da koristno upoštevati pri oblikovanju politike.

| 105. | Tako so nekateri glavni uporabniki Komisijinih ocenjevanj sami „GD, povezani z raziskavami“ (66). Zakonodaja o OP izrecno zahteva, da se ocene sporočijo tudi Evropskemu parlamentu in Svetu. |
| --- | --- |

105.

Tako so nekateri glavni uporabniki Komisijinih ocenjevanj sami „GD, povezani z raziskavami“ (66). Zakonodaja o OP izrecno zahteva, da se ocene sporočijo tudi Evropskemu parlamentu in Svetu.

| 106. | Vendar je v anketi, ki jo je Sodišče izvedlo v odboru Evropskega parlamenta ITRE in v odboru Sveta CREST, večina anketirancev navedla, da se ne počutijo dovolj obveščeni o izvajanju in rezultatih OP (glej diagram 9) (67). |
| --- | --- |

106.

Vendar je v anketi, ki jo je Sodišče izvedlo v odboru Evropskega parlamenta ITRE in v odboru Sveta CREST, večina anketirancev navedla, da se ne počutijo dovolj obveščeni o izvajanju in rezultatih OP (glej diagram 9) (67).

Image

Nadaljnje ukrepanje po ugotovitvah ocenjevanja

| 107. | Komisija v svojih letnih pregledih ocenjevanja predstavi povzetek ugotovitev in izvedenih dejavnosti, ki izhajajo iz njenih ocenjevanj (68). Komisija je glede nadaljnjega ukrepanja zagotovila tudi formalne odgovore na ugotovitve in priporočila iz petletnih ocen ter iz posebnih ocen, ki jih zahteva zakonodaja, ter v možnem obsegu ustrezno ukrepala, da bi odpravila v njih opredeljene pomanjkljivosti. Vendar pri številnih drugih pregledanih ocenjevalnih poročilih to ni bilo tako ter ni bilo dokazov, da so bile njihove ugotovitve in priporočila upoštevana pri spremembi delovnih programov. Podobno v proračunskih izjavah generalnih direktoratov o ABB in njihovih letnih poročilih o dejavnostih ni navedeno, v kolikšnem obsegu se je ukrepalo po ugotovitvah iz ocen. |
| --- | --- |

107.

Komisija v svojih letnih pregledih ocenjevanja predstavi povzetek ugotovitev in izvedenih dejavnosti, ki izhajajo iz njenih ocenjevanj (68). Komisija je glede nadaljnjega ukrepanja zagotovila tudi formalne odgovore na ugotovitve in priporočila iz petletnih ocen ter iz posebnih ocen, ki jih zahteva zakonodaja, ter v možnem obsegu ustrezno ukrepala, da bi odpravila v njih opredeljene pomanjkljivosti. Vendar pri številnih drugih pregledanih ocenjevalnih poročilih to ni bilo tako ter ni bilo dokazov, da so bile njihove ugotovitve in priporočila upoštevana pri spremembi delovnih programov. Podobno v proračunskih izjavah generalnih direktoratov o ABB in njihovih letnih poročilih o dejavnostih ni navedeno, v kolikšnem obsegu se je ukrepalo po ugotovitvah iz ocen.

Priporočila

108.

| 108. | Komisija bi morala določiti vrsto in obseg ocene, ki jo je mogoče razumno pričakovati ob datumih, določenih v zakonodaji (2008, 2010 in 2015), pojasniti, kako je ocene mogoče uporabiti za prilagajanje programov („programi učenja“) in določiti, kako lahko ocenjevanja prispevajo k odločitvam na področju te politike. Komisija bi morala zlasti pojasniti, kakšen pristop načrtuje glede ocenjevanja dolgoročnih rezultatov preteklih in sedanjega OP, glede na to da lahko traja od 7 do 10 let, da takšni rezultati obrodijo sadove (glej diagram 8). |
| --- | --- |

Komisija bi morala določiti vrsto in obseg ocene, ki jo je mogoče razumno pričakovati ob datumih, določenih v zakonodaji (2008, 2010 in 2015), pojasniti, kako je ocene mogoče uporabiti za prilagajanje programov („programi učenja“) in določiti, kako lahko ocenjevanja prispevajo k odločitvam na področju te politike. Komisija bi morala zlasti pojasniti, kakšen pristop načrtuje glede ocenjevanja dolgoročnih rezultatov preteklih in sedanjega OP, glede na to da lahko traja od 7 do 10 let, da takšni rezultati obrodijo sadove (glej diagram 8).

| 109. | Komisija bi morala pregledati svojo prakso na področju sporočanja in razširjanja ugotovitev svojih ocenjevanj, da bi zagotovila, da udeležene strani prejmejo potrebne informacije. Predvsem bi morali „GD, povezani z raziskavami“ zagotoviti uraden odziv na vse ocene in te študije skupaj s svojimi odgovori pravočasno javno objaviti. „GD, povezani z raziskavami“ bi morali v svojih proračunskih izjavah o ABB in svojih letnih poročilih o dejavnostih poročati o tem, kako so ukrepali po ugotovitvah in kako so uporabili priporočila pri posodabljanju delovnih programov in zasnovi prihodnjih programov. |
| --- | --- |

109.

Komisija bi morala pregledati svojo prakso na področju sporočanja in razširjanja ugotovitev svojih ocenjevanj, da bi zagotovila, da udeležene strani prejmejo potrebne informacije. Predvsem bi morali „GD, povezani z raziskavami“ zagotoviti uraden odziv na vse ocene in te študije skupaj s svojimi odgovori pravočasno javno objaviti. „GD, povezani z raziskavami“ bi morali v svojih proračunskih izjavah o ABB in svojih letnih poročilih o dejavnostih poročati o tem, kako so ukrepali po ugotovitvah in kako so uporabili priporočila pri posodabljanju delovnih programov in zasnovi prihodnjih programov.

SPLOŠNI ZAKLJUČEK

| 110. | Sodišče priznava, da je ocenjevanje programov RTR in zlasti ocenjevanje njihovih dolgoročnih rezultatov samo po sebi težko in da je opredeliti najboljšo prakso zahtevna naloga. |
| --- | --- |

110.

Sodišče priznava, da je ocenjevanje programov RTR in zlasti ocenjevanje njihovih dolgoročnih rezultatov samo po sebi težko in da je opredeliti najboljšo prakso zahtevna naloga.

| 111. | Po mnenju Sodišča je ocenjevanje bistvenega pomena za upravljanje programov, za prihodnje načrtovanje in za oblikovanje politike. Ocenjevanje zagotavlja tudi osnovo za odgovornost. Nudi dragocene informacije o tem, kateri načrtovani (ali nenačrtovani) rezultati so bili doseženi, v kolikšnem obsegu so bili doseženi programski cilji, o relevantnosti in uporabnosti programov ter o učinkovitosti in uspešnosti izvajanja programa. Ker o splošni usmeritvi, proračunskih zadevah in zasnovi programa OP odločata Evropski parlament in Svet, je potreben pregleden, verodostojen in trden sistem ocenjevanja, ki jima bo zagotavljal ustrezne informacije. |
| --- | --- |

111.

Po mnenju Sodišča je ocenjevanje bistvenega pomena za upravljanje programov, za prihodnje načrtovanje in za oblikovanje politike. Ocenjevanje zagotavlja tudi osnovo za odgovornost. Nudi dragocene informacije o tem, kateri načrtovani (ali nenačrtovani) rezultati so bili doseženi, v kolikšnem obsegu so bili doseženi programski cilji, o relevantnosti in uporabnosti programov ter o učinkovitosti in uspešnosti izvajanja programa. Ker o splošni usmeritvi, proračunskih zadevah in zasnovi programa OP odločata Evropski parlament in Svet, je potreben pregleden, verodostojen in trden sistem ocenjevanja, ki jima bo zagotavljal ustrezne informacije.

| 112. | Komisija je v letih 2000 in 2002 vzpostavila skupni okvir ocenjevanja in ga pozneje v letu 2007 pregledala. Čeprav v obdobju, ki ga je revidiralo Sodišče, niso bile opažene nobene večje izboljšave pri načrtovanju, zasnovi in izvajanju ocenjevanja OP in njihovih programov, so „GD, povezani z raziskavami“ na splošno izpolnjevali uradne zahteve, ki veljajo za vso Komisijo. |
| --- | --- |

112.

Komisija je v letih 2000 in 2002 vzpostavila skupni okvir ocenjevanja in ga pozneje v letu 2007 pregledala. Čeprav v obdobju, ki ga je revidiralo Sodišče, niso bile opažene nobene večje izboljšave pri načrtovanju, zasnovi in izvajanju ocenjevanja OP in njihovih programov, so „GD, povezani z raziskavami“ na splošno izpolnjevali uradne zahteve, ki veljajo za vso Komisijo.

| 113. | „GD, povezani z raziskavami“ so imeli za obdobje, ki ga pokriva to poročilo, vzpostavljen sistem ocenjevanja, kot ga zahteva zakonodaja o OP, in Komisija lahko pokaže precejšnjo količino ocenjevalnih študij. Vendar ostaja dejstvo, da je o doseganju programskih ciljev in o rezultatih OP znanega malo ali nič. To je posledica tega, da so se ocene v glavnem osredotočale na kratkoročna vprašanja, povezana z izvajanjem programa. Zaradi tega je bila koristnost Komisijinih ocen za nosilce političnih odločitev, za zainteresirane strani in celo za samo Komisijo, omejena. |
| --- | --- |

113.

„GD, povezani z raziskavami“ so imeli za obdobje, ki ga pokriva to poročilo, vzpostavljen sistem ocenjevanja, kot ga zahteva zakonodaja o OP, in Komisija lahko pokaže precejšnjo količino ocenjevalnih študij. Vendar ostaja dejstvo, da je o doseganju programskih ciljev in o rezultatih OP znanega malo ali nič. To je posledica tega, da so se ocene v glavnem osredotočale na kratkoročna vprašanja, povezana z izvajanjem programa. Zaradi tega je bila koristnost Komisijinih ocen za nosilce političnih odločitev, za zainteresirane strani in celo za samo Komisijo, omejena.

| 114. | Glede na pomembnost ocenjevanja za upravljanje programov in oblikovanje politike je treba Komisijin pristop k ocenjevanju OP in programov, ki jih sestavljajo, ponovno preučiti z vidika novih političnih izzivov, povečanega financiranja, razširitve usmerjenosti politike Skupnosti na področju raziskav in nedavne reforme Komisije. To je priporočil tudi EURAB v svojem poročilu leta 2007. |
| --- | --- |

114.

Glede na pomembnost ocenjevanja za upravljanje programov in oblikovanje politike je treba Komisijin pristop k ocenjevanju OP in programov, ki jih sestavljajo, ponovno preučiti z vidika novih političnih izzivov, povečanega financiranja, razširitve usmerjenosti politike Skupnosti na področju raziskav in nedavne reforme Komisije. To je priporočil tudi EURAB v svojem poročilu leta 2007.

| 115. | Po mnenju Sodišča bi uporaba jasne logike posega pri zasnovi prihodnjih programov OP privedla do bolj osredotočenih in bolje strukturiranih programov. Prav tako bi prispevala h Komisijini politiki „boljših predpisov“, ki si prizadeva za bolje zasnovano, preprostejše, uspešnejše in bolje razumljeno zakonodajno okolje (69). |
| --- | --- |

115.

Po mnenju Sodišča bi uporaba jasne logike posega pri zasnovi prihodnjih programov OP privedla do bolj osredotočenih in bolje strukturiranih programov. Prav tako bi prispevala h Komisijini politiki „boljših predpisov“, ki si prizadeva za bolje zasnovano, preprostejše, uspešnejše in bolje razumljeno zakonodajno okolje (69).

| 116. | Ocenjevanje OP in njihovih programov bi bilo uspešnejše, če bi bili od samega začetka programski cilji in kazalniki bolj jasni, če bi se „GD, povezani z raziskavami“ dogovorili o trdni, a ne preveč predpisovalni ocenjevalni strategiji, in če bi se uporabljale naprednejše ocenjevalne metodologije, vključno s kvantitativnimi pristopi. |
| --- | --- |

116.

Ocenjevanje OP in njihovih programov bi bilo uspešnejše, če bi bili od samega začetka programski cilji in kazalniki bolj jasni, če bi se „GD, povezani z raziskavami“ dogovorili o trdni, a ne preveč predpisovalni ocenjevalni strategiji, in če bi se uporabljale naprednejše ocenjevalne metodologije, vključno s kvantitativnimi pristopi.

| 117. | Sodišče je prav tako ugotovilo, da bi lahko Komisija z določenih vidikov ponovno razmislila o svojih obstoječih organizacijskih ureditvah za ocenjevanje OP. Prednosti so lahko v






  — | zgodnejšem vključevanju ocenjevalnih odborov v proces ocenjevanja, ki bi tako lahko Komisiji nudili pomoč v celotnem programskem obdobju in po njem, ter večji specializiranosti z odbori za posebne programe in kjer je ustrezno, podprograme, |
| --- | --- | --- |

117.

Sodišče je prav tako ugotovilo, da bi lahko Komisija z določenih vidikov ponovno razmislila o svojih obstoječih organizacijskih ureditvah za ocenjevanje OP. Prednosti so lahko v

—

zgodnejšem vključevanju ocenjevalnih odborov v proces ocenjevanja, ki bi tako lahko Komisiji nudili pomoč v celotnem programskem obdobju in po njem, ter večji specializiranosti z odbori za posebne programe in kjer je ustrezno, podprograme,

| — | dopolnitvi obstoječih enot za ocenjevanje v posameznih generalnih direktoratih s skupnim uradom za ocenjevanje, ki bi bil odgovoren za koordinacijo ocenjevanja OP. |
| --- | --- |

—

dopolnitvi obstoječih enot za ocenjevanje v posameznih generalnih direktoratih s skupnim uradom za ocenjevanje, ki bi bil odgovoren za koordinacijo ocenjevanja OP.

| 118. | Priporočila v tem poročilu temeljijo bodisi na obstoječih praksah v Komisiji ali na mednarodni dobri praksi. Kar zadeva sredstva, je jasno, da bi uvedba predlaganega pristopa k ocenjevanju programov pomenila višje stroške. Vendar po mnenju Sodišča obstajajo velike možnosti, da bodo ti povišani stroški povzročili vsaj tako velik pozitivni protiučinek. |
| --- | --- |

118.

Priporočila v tem poročilu temeljijo bodisi na obstoječih praksah v Komisiji ali na mednarodni dobri praksi. Kar zadeva sredstva, je jasno, da bi uvedba predlaganega pristopa k ocenjevanju programov pomenila višje stroške. Vendar po mnenju Sodišča obstajajo velike možnosti, da bodo ti povišani stroški povzročili vsaj tako velik pozitivni protiučinek.

To poročilo je sprejelo Računsko sodišče v Luxembourgu na svojem zasedanju dne 22. novembra 2007.

Za Računsko sodišče

Hubert WEBER

Predsednik

---

(1)  OECD raziskave in razvoj opredeljuje kot ustvarjalno delo, ki ga sistematično opravljamo z namenom, da bi povečali znanje, vključno z znanjem o človeku, kulturi in družbi, ter uporabo tega znanja za razvoj novih aplikacij (glej OECD, Frascati Manual – Proposed standard practice for surveys on research and experimental development, Pariz, 2002, str. 30). V kontekstu Skupnosti se uporablja kratica RTR, ki zajema tehnologijo ter raziskave in razvoj.

1

Frascati Manual

Proposed standard practice for surveys on research and experimental development

(2)  GD za raziskave je glavni generalni direktorat za upravljanje in koordinacijo OP. (Dele) posebnih programov upravlja še pet drugih generalnih direktoratov, med katerimi je najpomembnejši GD za informacijsko družbo in medije (ostali so GD za energetiko in promet, GD za podjetništvo in industrijo, GD za ribištvo ter Skupno raziskovalno središče, ki je v pristojnosti Komisije).

2

(3)  Leta 2000 je Evropski svet na vrhu v Lizboni sprejel cilj, da bo EU do leta 2010 postala najbolj dinamično, konkurenčno in na znanju temelječe gospodarstvo na svetu, sposobno trajne gospodarske rasti, ki zagotavlja polno zaposlenost ter večjo ekonomsko in socialno kohezijo.

3

(4)  Leta 2002 se je Evropski svet strinjal, da je treba povečati skupna vlaganja v RTR in inovacije z namenom, da se do leta 2010 približa cilju 3 % BDP. Ob tem je tudi pojasnil, da bi morali dve tretjini teh novih vlaganj izvirati iz zasebnega sektorja (glej Evropska komisija, „Vlaganje v raziskave: akcijski načrt za Evropo“, Sporočilo Komisije Svetu, Evropskemu parlamentu, Evropskemu ekonomsko-socialnemu odboru in Odboru regij, COM(2003) 226 konč., str. 7).

4

(5)  Pri neposrednem upravljanju izvaja Komisija vse dejavnosti, ki so potrebne za njeno izvrševanje proračuna, brez sodelovanja držav članic ali tretjih držav, v katerih prebivajo prejemniki odhodkov iz proračuna.

5

(6)  Od leta 2006 je samo v OP6 sodelovalo več kot 22 000 javnih in zasebnih pravnih oseb, v glavnem v večpartnerskih konzorcijih.

6

(7)  To je metoda sodelovanja, ki temelji na načelu prostovoljnega medvladnega sodelovanja. Temelji zlasti na vzajemnem učenju, primerjanju uspešnosti in izmenjavi najboljših praks.

7

(8)  Uredba Sveta (ES, Euratom) št. 1605/2002 z dne 25. junija 2002 (UL L 248, 16.9.2002, str. 1), členi 27, 48, 59 in 60.

8

(9)  Evropska komisija, GD za proračun, Sporočilo gospe Grybauskaitė Komisiji v dogovoru s predsednikom, „Responding to strategic needs: reinforcing the use of evaluation“, SEC(2007) 213, 21. februar 2007; Evropska komisija, GD za proračun, Sporočilo gospe Schreyer Komisiji, „Focus on Results: Strengthening Evaluation of Commission Activities“, SEC(2000) 1051, 26. julij 2000.

9

Responding to strategic needs: reinforcing the use of evaluation

Focus on Results: Strengthening Evaluation of Commission Activities

(10)  Sklep št. 1982/2006/ES Evropskega parlamenta in Sveta z dne 18. decembra 2006 o Sedmem okvirnem programu Evropske skupnosti za raziskave, tehnološki razvoj in predstavitvene dejavnosti (2007–2013) (UL L 412, 30.12.2006, str. 1). člen 7(1); podatki o spremljanju, ki jih mora Komisija zagotoviti programskim odborom, so opredeljeni v odločbah o posebnih programih (glej na primer Odločbo Sveta 2006/971/ES z dne 19. decembra 2006 o posebnem programu „Sodelovanje“ za izvajanje Sedmega okvirnega programa Evropske skupnosti za raziskave, tehnološki razvoj in predstavitvene dejavnosti (2007–2013) (UL L 400, 30.12.2006, str. 86), člen 8(4) in Priloga V).

10

(11)  Evropska komisija, Sporočilo Svetu o akcijskem načrtu Skupnosti v zvezi z ocenjevanjem dejavnosti Skupnosti na področju R&R za obdobje 1987 do 1991, COM(86) 660 konč., 20. november 1986, v odgovor na resolucijo Sveta z dne 28. junija 1983.

11

(12)  Evropska komisija, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996“; Poročilo neodvisnega odbora strokovnjakov, ki mu je predsedoval vikont Davignon (1997); Evropska komisija, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999“; Poročilo neodvisnega odbora strokovnjakov, ki mu je predsedoval Joan Majó (julij 2000); Evropska komisija, „Five-year Assessment of the European Union Research Framework Programmes, 1999–2003“; Poročilo neodvisnega odbora strokovnjakov, ki mu je predsedoval Erkki Ormala (15. december 2004).

12

Five-year Assessment of the European Union Research and Technological Development Programmes

Five-year Assessment of the European Union Research and Technological Development Programmes

Five-year Assessment of the European Union Research Framework Programmes

(13)  Evropska komisija, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI“, 21. junij 2004, poročilo odbora strokovnjakov na visoki ravni, ki ga je vodil profesor Ramon Marimón.

13

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(14)  Evropska komisija, GD za proračun, Sporočilo gospe Schreyer Komisiji, „Focus on Results: Strengthening Evaluation of Commission Activities“, julij 2000, SEC(2000) 1051; Evropska komisija, GD za proračun, Sporočilo predsednika in gospe Schreyer za Komisijo, „Evaluation Standards and Good Practice“, C(2002) 5267, 23.12.2002.

14

Focus on Results: Strengthening Evaluation of Commission Activities

Evaluation Standards and Good Practice

(15)  Evropska komisija, GD za proračun, Sporočilo gospe Grybauskaitė Komisiji v dogovoru s predsednikom, „Responding to strategic needs: reinforcing the use of evaluation“, SEC(2007) 213, 21. februar 2007.

15

Responding to strategic needs

reinforcing the use of evaluation

(16)  Evropska komisija, delovni dokument uslužbencev, „Impact Assessment and ex-ante evaluation“, SEC(2005) 430.

16

Impact Assessment and

evaluation

(17)  Odbor Evropskega parlamenta za industrijo, raziskave in energetiko (ITRE) je (zlasti) odgovoren za industrijsko politiko, raziskovalno politiko (vključno z razširjanjem in izkoriščanjem rezultatov raziskav), vesoljsko politiko, dejavnosti Skupnega raziskovalnega središča, Pogodbo Euratom ter informacijsko družbo in informacijsko tehnologijo.

17

(18)  CREST (Odbor za znanstvene in tehnične raziskave) je bil ustanovljen z resolucijo Sveta z dne 14. januarja 1974, sestavljajo pa ga predstavniki nacionalnih organov, ki so odgovorni za politiko na področju znanosti in tehnologije v državah članicah. CREST ima svetovalno vlogo, saj Komisijo in Svet obvešča zlasti o zadevah v zvezi s koordinacijo nacionalnih politik na področju raziskav in razvoja ter v zvezi s spremljanjem in ocenjevanjem OP.

18

(19)  Logični modeli, ki kažejo, kako vložki v različne dejavnosti vodijo do pričakovanih rezultatov, so najprimernejši način za ponazoritev logike posega. S temi modeli je možno jasno pojasniti predpostavke, na katerih temelji zasnova programa, in kako so splošni cilji razčlenjeni na operativne cilje.

19

(20)  Evropska komisija, GD za proračun, „Evaluating EU activities: a practical guide for the Commission services“, julij 2004, str. 87 in 106.

20

Evaluating EU activities

a practical guide for the Commission services

(21)  „Five year Assessment of the European Union Research Framework Programmes, 1999–2003“, Poročilo neodvisnega odbora strokovnjakov, ki ga je vodil Erkki Ormala (15. december 2004): Oddelek 6 „Evaluating the Framework Programme“, str. 19.

21

Five year Assessment of the European Union Research Framework Programmes, 1999–2003

Evaluating the Framework Programme

(22)  Države prejemnice zunanje pomoči morajo za pridobitev sredstev Skupnosti predstaviti logične modele (Evropska komisija, Aid delivery methods, Zvezek 1, Project cycle management guidelines, marec 2004, Oddelek 5: The logical framework approach).

22

Aid delivery methods

Project cycle management guidelines

The logical framework approach

(23)  Uredba (ES, Euratom) št. 1605/2002, člen 27(3).

23

(24)  V letu 2006 je bilo področje „08 raziskave“ strukturirano na podlagi posebnih programov (in podprogramov) sedanjega programskega obdobja OP6 (in posledično zamenjano z drugačno strukturo v letu 2007), medtem ko sta bila na področju „09 informacijska družba“ sedanji in prejšnji posebni program združena kot ena dejavnost ABB (Evropska komisija, GD za raziskave, Direktorat A: Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006, 20.12.2005; Evropska komisija, GD za informacijsko družbo in medije, 2006 Annual management plan, 23.12.2005).

24

Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006

2006 Annual management plan

(25)  V primeru GD za raziskave so se cilji ABM (in kazalniki, uporabljeni za merjenje njihovega doseganja) iz leta v leto spreminjali. GD za informacijsko družbo je po drugi strani uporabil večletne cilje, ki pa vseeno niso bili enaki kot programski cilji (ali tisti, navedeni na ravni delovnega programa).

25

(26)  Evropska komisija, služba za notranjo revizijo, Review of effectiveness and efficiency of the SPP/ABM cycle – SG & DG Budget, 2005: odstavek 4.1, str. 31.

26

Review of effectiveness and efficiency of the SPP/ABM cycle – SG & DG Budget

(27)  Evropska komisija, Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes, COM(83) 1 konč., 19. januar 1983.

27

Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes

(28)  Sporočilo Komisije Evropskemu parlamentu in Svetu, Independent external monitoring and evaluation of Community activities in the area of research and technological development, 22.5.1996 (COM(1996) 220 konč.)

28

Independent external monitoring and evaluation of Community activities in the area of research and technological development

(29)  Vsak generalni direktorat, ki izvaja OP, dokumentira svoje načrtovano ocenjevanje v letnih (in večletnih) načrtih ocenjevanja. Vendar za te načrte ni mogoče reči, da predstavljajo strategijo ocenjevanja kot takšno.

29

(30)  Uredba (ES, Euratom) št. 1605/2002, člen 27(4).

30

(31)  „Loi de programme pour la recherche no 2006–450“ z dne 18.4.2006 in „Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)“ z dne 3.11.2006.

31

Loi de programme pour la recherche no

Décret no

(32)  Agencia Nacional de Evaluación y Prospectiva v okviru Ministerio de Educación y Ciencia: Orden ECI/1252/2005 z dne 4. maja 2005, ki ustanavlja „Comisión Asesora de Evaluación y Prospectiva“ (Svetovalna komisija za ocenjevanje in predvidevanje).

32

Agencia Nacional de Evaluación y Prospectiva

Ministerio de Educación y Ciencia

Orden

Comisión Asesora de Evaluación y Prospectiva

(33)  Leta 2004 je „Deutsche Forschungsgemeinschaft“ (DFG) ustanovil specializiran institut, „Institut für Forschungsinformation und Qualitätssicherung“ (IFQ), ki je odgovoren za razvijanje in standardizacijo metodologij ocenjevanja, zagotavljanje kakovosti in izvajanje ocen dejavnosti RTR, ki jih financira DFG.

33

Deutsche Forschungsgemeinschaft

Institut für Forschungsinformation und Qualitätssicherung

(34)  Za OP7 je Komisija ustanovila 15 EAG v primerjavi z 12 EAG za OP6 in 17 EAG za OP5. Te svetovalne skupine strokovnjakov svetujejo Komisiji o političnih in programskih vprašanjih, povezanih z OP. Vendar je treba opozoriti, da ne pokrivajo celotne programske strukture OP. Drugače povedano, ni svetovalne skupine strokovnjakov za vsak posebni program (ali podprogram).

34

(35)  V Kanadi so skoraj vsi oddelki zvezne vlade ustanovili stalne odbore za ocenjevanje, v katerih sodelujejo višji oddelčni uradniki in ponavadi tudi predstavniki zunanjih zainteresiranih strani, ki nadzirajo sistem ocenjevanja („Social Sciences and Humanities Research Council of Canada“: Evaluation Standing Committee – Mandate and Membership).

35

Social Sciences and Humanities Research Council of Canada

Evaluation Standing Committee – Mandate and Membership

(36)  Evropska komisija, „Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes“, avgust 2005, str. 5.

36

Monitoring Report 2004

Implementation of Activities under the EC and Euratom framework and corresponding specific programmes

(37)  Evropska komisija, „Planning and optimising Commission human resources to serve EU priorities“, SEC(2007) 530, 24. april 2007.

37

Planning and optimising Commission human resources to serve EU priorities

(38)  Evropska komisija, Sporočilo predsednika in gospe Schreyer za Komisijo, „Evaluation standards and good practice“, C(2002) 5267, 23.12.2002; Evropska komisija, delovni dokument uslužbencev, „Impact assessment and ex-ante evaluation“, SEC(2005) 430, 6. april 2005, Priloga 1, sprotna opomba 209.

38

Evaluation standards and good practice

Impact assessment and

evaluation

(39)  Leta 2007 je tudi Evropski svetovalni odbor za raziskave (EURAB) priporočil povečanje virov, dodeljenih ocenjevanju OP (EURAB, „Recommendations on Ex-Post Impact Assessment“, julij 2007).

39

Recommendations on Ex-Post Impact Assessment

(40)  Posebno poročilo št. 1/2004 Računskega sodišča o upravljanju posrednih ukrepov RTR v sklopu 5. okvirnega programa (OP5) za raziskave in tehnološki razvoj (1998–2002) (UL C 99, 23.4.2004), odstavka 116 in 122.

40

(41)  Evropska komisija, GD za proračun, Sporočilo gospe Grybauskaitė Komisiji v dogovoru s predsednikom, „Responding to strategic needs: reinforcing the use of evaluation“, SEC(2007) 213, 21. februar 2007; Evropska komisija, Sporočilo predsednika in gospe Schreyer Komisiji, „Evaluation standards and good practice“, C(2002) 5267, 23.12.2002.

41

Responding to strategic needs

reinforcing the use of evaluation

Evaluation standards and good practice

(42)  14 generalnih direktoratov ima takšne ocenjevalne priročnike za področja in programe, za katera so odgovorni (Evropska komisija, GD za proračun – enota za ocenjevanje, „Overview of Evaluation Guides in the Commission“, oktober 2004).

42

Overview of Evaluation Guides in the Commission

(43)  Fahrenkrog, G. et al, RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; „Assessing the Socio-economic Impacts of the Framework Programme“; University of Manchester; 2002.

43

RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies

Assessing the Socio-economic Impacts of the Framework Programme

University of Manchester

(44)  Čeprav Komisija na splošno ima takšne podatke o udeležencih, jih pogosto ni mogoče zlahka uporabiti za podrobno analizo, ker se podatki o danem udeležencu niti ne hranijo na istem mestu niti niso nujno zabeleženi v združljivih formatih. Zaradi tega je težko slediti sodelovanju udeleženca v času, da bi se na primer ocenili razlogi za neudeležbo, ter razmerjem med udeleženci, na primer za preučevanje učinkov mreženja (glej odstavek 84).

44

(45)  Letno poročilo za proračunsko leto 2006, tabela 2.3; Letno poročilo za proračunsko leto 2005, odstavek 7.13; Letno poročilo za proračunsko leto 2004, odstavka 6.8 in 6.10; Letno poročilo za proračunsko leto 2003, odstavka 6.9 in 6.70; Posebno poročilo Računskega sodišča št. 1/2004, odstavki 105–108; Mnenje Sodišča št. 1/2006 o predlogu uredbe Evropskega parlamenta in Sveta o določitvi pravil za udeležbo podjetij, raziskovalnih središč in univerz pri ukrepih v okviru sedmega okvirnega programa in razširjanju rezultatov raziskav (2007 do 2013) (UL C 203, 25.8.2006), odstavek 57.

45

(46)  Pogodba o ustanovitvi Evropske skupnosti, člen 173: „Komisija na začetku vsakega leta pošlje Evropskemu parlamentu in Svetu poročilo. Poročilo zajema informacije o raziskovalnih in tehnološko razvojnih dejavnostih ter o razširjanju njihovih rezultatov v predhodnem letu, pa tudi delovni program za tekoče leto.“

46

(47)  Ni bilo sistematičnega poskusa zbiranja podatkov pri udeležencih po dokončanju projekta, razen posebnih anket v okviru ocenjevanj. Uporabo anket je oviralo dejstvo, da udeleženci niso pravno zavezani zagotoviti takšnih analitičnih podatkov, tako kot v številnih nacionalnih programih RTR (npr. v Nemčiji).

47

(48)  Posebno poročilo št. 1/2004, odstavek 94; Mnenje št. 1/2006, odstavek 56.

48

(49)  Letno poročilo za proračunsko leto 2006, odstavek 7.33; Letno poročilo za proračunsko leto 2005, odstavka 7.8 in 7.29; Mnenje št. 1/2006, odstavki 58 do 61.

49

(50)  CORDIS je edina podatkovna zbirka, ki zagotavlja informacije o predlogih, projektih in rezultatih, ki je skupna celotnemu OP, pokriva več programskih obdobij in je dostopna tudi zunaj Komisije. Vendar podatki v CORDIS za posamezne projekte pogosto niso posodobljeni po tem, ko je bil predlog izbran. Do vključno OP6 udeleženci v OP iz zasebnega in javnega sektorja niso imeli obveznosti, da svoje rezultate javno objavijo (Evropski svetovalni odbor za raziskave (EURAB), „Scientific publication: policy on open access“, december 2006).

50

Scientific publication

policy on open access

(51)  Hanne Foss Hansen, „Choosing evaluation models: A discussion on evaluation design,“Evaluation, Zvezek 11, št. 4, 2005, str. 447–462.

51

Choosing evaluation models

A discussion on evaluation design

Evaluation

(52)  Do vključno OP6 udeleženci v OP iz zasebnega in javnega sektorja niso imeli obveznosti, da javno objavijo svoje znanstvene rezultate. EURAB je decembra 2006 priporočil, da se javnosti zagotovi prost dostop do raziskav, ki jih financira Skupnost, in sicer tako, da postane objava rezultatov obvezna. Prav tako je bilo predlagano, naj Komisija ustanovi spletno odlagališče za objavljene rezultate projektov (glej EURAB, „Scientific publication: policy on open access“, december 2006).

52

Scientific publication

policy on open access

(53)  Opaženo je, da so bili takšni modeli uporabljeni za izdelavo napovedi o mikro- in makroekonomskih vplivih načrtovanega OP7 (glej Evropska komisija, „Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes“, avgust 2005, str. 23–25). Vendar ni nobenih dokazov, da je ta ocena potencialnih ekonomskih učinkov OP povezana s kakršnim koli načrtom za naknadno ocenjevanje.

53

Monitoring Report 2004

Implementation of Activities under the EC and Euratom framework and corresponding specific programmes

(54)  GD za informacijsko družbo in medije, „IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)“, 2005; „Networks of innovation in information society development and deployment in Europe“, 2006.

54

IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)

Networks of innovation in information society development and deployment in Europe

(55)  GD za informacijsko družbo in medije: „ERAnets – Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area – (Final Report), 2005“; „Evaluation of progress towards a European Research Area for information society technologies“, 2005; „Networks of innovation in information society development and deployment in Europe“, 2006.

55

ERAnets – Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area – (Final Report), 2005

Evaluation of progress towards a European Research Area for information society technologies

Networks of innovation in information society development and deployment in Europe

(56)  GD za informacijsko družbo in medije: „Framework contract for Impact Assessments for research in the field of Information Society Technologies“.

56

Framework contract for Impact Assessments for research in the field of Information Society Technologies

(57)  EURAB, „Recommendations on Ex-Post Impact Assessment“, julij 2007.

57

Recommendations on Ex-Post Impact Assessment

(58)  Evropska komisija, „Five-year Assessment of the European Union Research Programmes, 1999–2003“. Poročilo odbora neodvisnih strokovnjakov, ki ga je vodil Erkki Ormala (15. december 2004), Priloga 1.

58

Five-year Assessment of the European Union Research Programmes

1999–2003

(59)  Evropska komisija, „The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report“ (1995).

59

The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report

(60)  Evropska komisija, „Design of an harmonized impact study methodology for the R&D EU Framework Programmes“, 1992.

60

Design of an harmonized impact study methodology for the R&D EU Framework Programmes

(61)  Evropska komisija, delovni dokument uslužbencev, „The European Research Area: new perspectives“, SEC(2007) 412/2, 4. april 2007, oddelek 3.3.3 „ERA and the implications for evidence-based monitoring and evaluation“, str. 93.

61

The European Research Area

new perspectives

ERA and the implications for evidence-based monitoring and evaluation

(62)  Treba je povedati, da se sporazumi o donacijah za projekte podpisujejo v vsem programskem obdobju, prvi sporazumi ponavadi začnejo veljati ob koncu prvega leta programa. Ti sporazumi trajajo večinoma od tri do pet let, zaradi tega je končne izložke mogoče najbolj zgodaj pričakovati po štirih do šestih letih.

62

Vir: Evropsko računsko sodišče.

Vir:

(63)  Evropska komisija, „Five year Assessment of the European Union Research Framework Programmes, 1999–2003“, Poročilo neodvisnega odbora strokovnjakov, ki ga je vodil Erkki Ormala (15. december 2004): Oddelek 6 „Evaluating the Framework Programme“, str. 19.

63

Five year Assessment of the European Union Research Framework Programmes, 1999–2003

Evaluating the Framework Programme

(64)  Evropska komisija, „Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies“, tako imenovan „EPUB Toolbox“, ki ga je izdalo Skupno raziskovalno središče (JRC) – Inštitut za tehnološka predvidevanja (IPTS) in Joanneum Research (avgust 2002), Povzetek, str. 9 in 12.

64

Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies

EPUB Toolbox

(65)  Evropska komisija, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI“, 21. junij 2004, poročilo odbora strokovnjakov na visoki ravni, ki ga je vodil profesor Ramon Marimón, str. 20.

65

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(66)  European Policy Evaluation Consortium (EPEC), Technopolis France, „Study on the use of evaluation results in the Commission: Final report“, Dossier No 1 Synthesis report and annexes, maj 2005.

66

European Policy Evaluation Consortium (EPEC), Technopolis France

Study on the use of evaluation results in the Commission

Final report

Dossier No

(67)  Višja raven zadovoljstva, o kateri so poročali anketiranci iz odbora CREST, ki so pogosto tudi člani programskih odborov, je lahko posledica njihove formalne vloge pri spremljanju izvajanja programa.

67

(68)  Evropska komisija, delovni dokument uslužbencev, „Annual Evaluation Review 2004 – Overview of the Commission's evaluation findings and activities“, SEC(2005) 587, 28. april 2005.

68

Annual Evaluation Review 2004 – Overview of the Commission's evaluation findings and activities

(69)  Evropska komisija, GD za proračun, Sporočilo gospe Grybauskaitė Komisiji v dogovoru s predsednikom, „Responding to strategic needs: reinforcing the use of evaluation“, SEC(2007) 213, 21. februar 2007, str. 4.

69

Responding to strategic needs

reinforcing the use of evaluation

---

PRILOGA I

MERJENJE UČINKA IN REZULTATOV JAVNEGA POSEGA NA PODROČJU RTR

Med glavnimi metodološkimi težavami pri merjenju učinka in rezultatov javnega posega na področju RTR so:

| — | „težave s pripisovanjem“: Težave s pripisovanjem se kažejo pri ocenjevanju in merjenju uspešnosti. Tesno so povezane z vprašanjem „dodatnosti“, ki sprašuje, ali se ne bi spremembe vseeno zgodile. Na težave s pripisovanjem rezultatov specifičnemu javnemu posegu vplivajo tudi številni zunanji dejavniki (kot so vplivi drugih politik ali programov, spremembe pravnega okvira, družbene spremembe itd.). Poleg tega je lahko nedoseganje pričakovanih rezultatov pri raziskavah tudi uspeh. Dodatni zaplet povzroča navidezna težavnost pri jasnem pripisovanju raziskovalnih izložkov, kaj šele izidov in učinkov, specifičnim vidikom procesa RTR ali celo posameznim subjektom, ki sodelujejo pri raziskovalni dejavnosti. |
| --- | --- |

—

„težave s pripisovanjem“: Težave s pripisovanjem se kažejo pri ocenjevanju in merjenju uspešnosti. Tesno so povezane z vprašanjem „dodatnosti“, ki sprašuje, ali se ne bi spremembe vseeno zgodile. Na težave s pripisovanjem rezultatov specifičnemu javnemu posegu vplivajo tudi številni zunanji dejavniki (kot so vplivi drugih politik ali programov, spremembe pravnega okvira, družbene spremembe itd.). Poleg tega je lahko nedoseganje pričakovanih rezultatov pri raziskavah tudi uspeh. Dodatni zaplet povzroča navidezna težavnost pri jasnem pripisovanju raziskovalnih izložkov, kaj šele izidov in učinkov, specifičnim vidikom procesa RTR ali celo posameznim subjektom, ki sodelujejo pri raziskovalni dejavnosti.

| — | „težave pri merjenju“:







  — | „razpoložljivost podatkov“: Na splošno se večina podatkov, ki so na voljo, zlasti podatki, zbrani prek sistemov spremljanja, nanaša na vložke in izložke dejavnosti RTR, ne pa na izide ali učinke. |
| --- | --- | --- |

—

„težave pri merjenju“:

—

„razpoložljivost podatkov“: Na splošno se večina podatkov, ki so na voljo, zlasti podatki, zbrani prek sistemov spremljanja, nanaša na vložke in izložke dejavnosti RTR, ne pa na izide ali učinke.

| — | „razumevanje dinamike“: Glede na očitno težavo pri vzpostavljanju vzročnih razmerij med vložki in izložki je notranji ustroj raziskovalnega procesa nejasen in ker ni izrecne logike posega, se proces sam večinoma šteje za „črno škatlo“. |
| --- | --- |

—

„razumevanje dinamike“: Glede na očitno težavo pri vzpostavljanju vzročnih razmerij med vložki in izložki je notranji ustroj raziskovalnega procesa nejasen in ker ni izrecne logike posega, se proces sam večinoma šteje za „črno škatlo“.

| — | „primerljivost rezultatov“: Rezultate z različnih znanstvenih področij je mogoče primerjati v le omejenem obsegu, zato bi jih bilo na splošno treba razlagati v kontekstu posebnih programov in podprogramov. Poleg tega je ocenjevanje rezultatov težje pri osnovnih (ali temeljnih) raziskavah kot pri uporabnih raziskavah ali tehnološkem razvoju. Glavni razlog za to je dejstvo, da osnovne raziskave na splošno sestavljajo enkratni, neponovljivi postopki. Celo na področju uporabnih raziskav se rezultati močno razlikujejo in jih zato ni mogoče zlahka primerjati. |
| --- | --- |

—

„primerljivost rezultatov“: Rezultate z različnih znanstvenih področij je mogoče primerjati v le omejenem obsegu, zato bi jih bilo na splošno treba razlagati v kontekstu posebnih programov in podprogramov. Poleg tega je ocenjevanje rezultatov težje pri osnovnih (ali temeljnih) raziskavah kot pri uporabnih raziskavah ali tehnološkem razvoju. Glavni razlog za to je dejstvo, da osnovne raziskave na splošno sestavljajo enkratni, neponovljivi postopki. Celo na področju uporabnih raziskav se rezultati močno razlikujejo in jih zato ni mogoče zlahka primerjati.

| — | „agregacija“: Sprejemanje zaključkov na podlagi rezultatov ocenjevanj glede izložkov, izidov in učinkov, doseženih na nižji ravni, predstavlja težave za naslednjo višjo raven (na primer, pri agregaciji rezultatov projektov, najprej za grozde projektov, nato za tematska področja programa in kot zadnje na ravni samega programa). |
| --- | --- |

—

„agregacija“: Sprejemanje zaključkov na podlagi rezultatov ocenjevanj glede izložkov, izidov in učinkov, doseženih na nižji ravni, predstavlja težave za naslednjo višjo raven (na primer, pri agregaciji rezultatov projektov, najprej za grozde projektov, nato za tematska področja programa in kot zadnje na ravni samega programa).

| — | „ustreznost kazalnikov“: Drugo vprašanje je, ali ocenjevalci merijo pravo stvar. Kazalniki morajo biti preprosti za merjenje, zahtevni za manipuliranje in spodbujati pravo vedenje. Vendar pa ni nujno, da „merljivi“ kazalnik za izložek omogoča sprejemanje zaključkov o izidih ali učinkih. |
| --- | --- |

—

„ustreznost kazalnikov“: Drugo vprašanje je, ali ocenjevalci merijo pravo stvar. Kazalniki morajo biti preprosti za merjenje, zahtevni za manipuliranje in spodbujati pravo vedenje. Vendar pa ni nujno, da „merljivi“ kazalnik za izložek omogoča sprejemanje zaključkov o izidih ali učinkih.

| — | „težave pri načrtovanju časa“: Dodatna ovira je precejšnja časovna vrzel med raziskovalno dejavnostjo in generacijo izložkov in izidov, tako da je mogoče oceniti učinek. Podatke je treba zbirati v tako dolgem obdobju, da je na podlagi njih mogoče sprejeti smiselne in trdne zaključke. Takšni časovni razponi za ocenjevanje pogosto niso skladni s pričakovanji in potrebami nosilcev političnih odločitev in treba je najti kompromis med zgodnjim zagotavljanjem podatkov za oblikovanje politike in omogočanjem zadostnega časa, da se pokažejo vplivi. |
| --- | --- |

—

„težave pri načrtovanju časa“: Dodatna ovira je precejšnja časovna vrzel med raziskovalno dejavnostjo in generacijo izložkov in izidov, tako da je mogoče oceniti učinek. Podatke je treba zbirati v tako dolgem obdobju, da je na podlagi njih mogoče sprejeti smiselne in trdne zaključke. Takšni časovni razponi za ocenjevanje pogosto niso skladni s pričakovanji in potrebami nosilcev političnih odločitev in treba je najti kompromis med zgodnjim zagotavljanjem podatkov za oblikovanje politike in omogočanjem zadostnega časa, da se pokažejo vplivi.

| — | „zmote pri projektu“: Pri ocenjevanju izidov in učinkov posameznih projektov v programu je treba upoštevati dilemo, da so bili tehnološki in znanstveni rezultati običajno doseženi z uporabo prejšnjega dela. Podobno lahko udeleženci pred objavo in izkoriščanjem znanstvenih rezultatov rezultate projekta uporabijo za drugo delo. Zato projekt sam po sebi ni nujno ustrezen okvir za ocenjevanje, zlasti kar zadeva dolgoročne učinke in izide. |
| --- | --- |

—

„zmote pri projektu“: Pri ocenjevanju izidov in učinkov posameznih projektov v programu je treba upoštevati dilemo, da so bili tehnološki in znanstveni rezultati običajno doseženi z uporabo prejšnjega dela. Podobno lahko udeleženci pred objavo in izkoriščanjem znanstvenih rezultatov rezultate projekta uporabijo za drugo delo. Zato projekt sam po sebi ni nujno ustrezen okvir za ocenjevanje, zlasti kar zadeva dolgoročne učinke in izide.

| — | „verodostojnost, poštenost in neodvisnost“: Kakovost ocenjevanja je v veliki meri odvisna od stopnje zavzetosti ocenjevalcev glede predmeta ocenjevanja, kar zajema kompromis med razumevanjem in strokovnostjo na eni strani ter neodvisnostjo in objektivnostjo na drugi. Prav tako je odvisna od predpostavk in interesov nosilcev političnih odločitev ter osnovnih razlogov in namenov ocenjevanja. |
| --- | --- |

—

„verodostojnost, poštenost in neodvisnost“: Kakovost ocenjevanja je v veliki meri odvisna od stopnje zavzetosti ocenjevalcev glede predmeta ocenjevanja, kar zajema kompromis med razumevanjem in strokovnostjo na eni strani ter neodvisnostjo in objektivnostjo na drugi. Prav tako je odvisna od predpostavk in interesov nosilcev političnih odločitev ter osnovnih razlogov in namenov ocenjevanja.

---

PRILOGA II

DOLOČBE O SPREMLJANJU IN OCENJEVANJU V ZAKONODAJNIH AKTIH ZA OP4 DO OP7

| OP4 (1995 do 1998)
   (1) | OP5 (1999 do 2002)
   (2) | OP6 (2003 do 2006)
   (3) | OP7 (2007 do 2013)
   (4) |
| --- | --- | --- | --- |
| Sklep o okvirnem programu – Svet in EP |
| Sklep št. 1110/94/ES Evropskega parlamenta in Sveta z dne 26. aprila 1994 o Četrtem okvirnem programu (1994–1998) na področju raziskav in tehnološkega razvoja ter predstavitev: člen 4 | Sklep št. 182/1999/ES Evropskega parlamenta in Sveta z dne 22. decembra 1998 o Petem okvirnem programu Evropske skupnosti na področju raziskav, tehnološkega razvoja in predstavitvenih dejavnosti (1998–2002): člena 5 in 6 | Sklep št. 1513/2002/ES Evropskega parlamenta in Sveta z dne 27. junija 2002 o Šestem okvirnem programu Evropske skupnosti na področju raziskav, tehnološkega razvoja in predstavitvenih dejavnosti, ki prispeva k oblikovanju Evropskega raziskovalnega prostora in k inovacijam (2002–2006): uvodna izjava 20, člena 4 in 6, Priloga III | Sklep št. 1982/2006/ES Evropskega parlamenta in Sveta z dne 18. decembra 2006 o Sedmem okvirnem programu Evropske skupnosti za raziskave, tehnološki razvoj in predstavitvene dejavnosti (2007–2013): člen 7 |
| Spremljanje |
| — | z ustrezno pomočjo neodvisnih strokovnjakov stalno in sistematično spremljati napredek glede na začetne cilje (člen 4(1)) |

OP4 (1995 do 1998)
   (1)

OP5 (1999 do 2002)
   (2)

OP6 (2003 do 2006)
   (3)

OP7 (2007 do 2013)
   (4)

Sklep o okvirnem programu – Svet in EP

Sklep št. 1110/94/ES Evropskega parlamenta in Sveta z dne 26. aprila 1994 o Četrtem okvirnem programu (1994–1998) na področju raziskav in tehnološkega razvoja ter predstavitev: člen 4

Sklep št. 182/1999/ES Evropskega parlamenta in Sveta z dne 22. decembra 1998 o Petem okvirnem programu Evropske skupnosti na področju raziskav, tehnološkega razvoja in predstavitvenih dejavnosti (1998–2002): člena 5 in 6

Sklep št. 1513/2002/ES Evropskega parlamenta in Sveta z dne 27. junija 2002 o Šestem okvirnem programu Evropske skupnosti na področju raziskav, tehnološkega razvoja in predstavitvenih dejavnosti, ki prispeva k oblikovanju Evropskega raziskovalnega prostora in k inovacijam (2002–2006): uvodna izjava 20, člena 4 in 6, Priloga III

Sklep št. 1982/2006/ES Evropskega parlamenta in Sveta z dne 18. decembra 2006 o Sedmem okvirnem programu Evropske skupnosti za raziskave, tehnološki razvoj in predstavitvene dejavnosti (2007–2013): člen 7

Spremljanje

—

z ustrezno pomočjo neodvisnih strokovnjakov stalno in sistematično spremljati napredek glede na začetne cilje (člen 4(1))

| — | vsako leto s pomočjo neodvisnih strokovnjakov stalno in sistematično spremljati izvajanje OP in njegovih posebnih programov glede na merila, določena v Prilogi I, ter znanstvene in tehnološke cilje, določene v Prilogi II (člen 5(1)) |
| --- | --- |

—

vsako leto s pomočjo neodvisnih strokovnjakov stalno in sistematično spremljati izvajanje OP in njegovih posebnih programov glede na merila, določena v Prilogi I, ter znanstvene in tehnološke cilje, določene v Prilogi II (člen 5(1))

| — | s pomočjo neodvisnih strokovnjakov stalno in sistematično spremljati [vsako leto] izvajanje šestega okvirnega programa in njegovih posebnih programov (člena 4 in 6(1)) |
| --- | --- |

—

s pomočjo neodvisnih strokovnjakov stalno in sistematično spremljati [vsako leto] izvajanje šestega okvirnega programa in njegovih posebnih programov (člena 4 in 6(1))

| — | stalno in sistematično spremljati izvajanje okvirnega programa in njegovih posebnih programov (člen 7(1)) |
| --- | --- |

—

stalno in sistematično spremljati izvajanje okvirnega programa in njegovih posebnih programov (člen 7(1))

| — | oceniti, ali so cilji, prednostne naloge in finančni viri še vedno ustrezni za spreminjajoče se stanje, in če niso, podati predloge za prilagoditev ali dopolnitev OP in/ali posebnih programov (člen 5(1)) |
| --- | --- |

—

oceniti, ali so cilji, prednostne naloge in finančni viri še vedno ustrezni za spreminjajoče se stanje, in če niso, podati predloge za prilagoditev ali dopolnitev OP in/ali posebnih programov (člen 5(1))

| — | redno pregledovanje vseh raziskovalnih dejavnosti, zlasti spremljanje ravni raziskovalne odličnosti (Priloga III, 1. Instrumenti) |
| --- | --- |

—

redno pregledovanje vseh raziskovalnih dejavnosti, zlasti spremljanje ravni raziskovalne odličnosti (Priloga III, 1. Instrumenti)

| — | redno poročanje in razširjanje rezultatov tega spremljanja (člen 7(1)) |
| --- | --- |

—

redno poročanje in razširjanje rezultatov tega spremljanja (člen 7(1))

Člen 173 – Letno poročilo

| — | podrobno poročati o napredku pri izvajanju OP, še zlasti o napredku pri doseganju njegovih ciljev in prednostnih nalog, kot so določeni pod posameznimi naslovi v Prilogi I, vključno z informacijami o finančnih vidikih in uporabi instrumentov, v okviru letnega poročila, ki ga mora Komisija predložiti skladno s členom 173 Pogodbe (člen 4) |
| --- | --- |

—

podrobno poročati o napredku pri izvajanju OP, še zlasti o napredku pri doseganju njegovih ciljev in prednostnih nalog, kot so določeni pod posameznimi naslovi v Prilogi I, vključno z informacijami o finančnih vidikih in uporabi instrumentov, v okviru letnega poročila, ki ga mora Komisija predložiti skladno s členom 173 Pogodbe (člen 4)

Vmesna ocena

| — | pregledati napredek programa na polovici trajanja OP (člen 6) |
| --- | --- |

—

pregledati napredek programa na polovici trajanja OP (člen 6)

| — | predložiti EP in Svetu na podlagi ocen različnih posebnih programov sporočilo, ki se mu priloži, če je to primerno, predlog za prilagoditev tega sklepa (člen 6) |
| --- | --- |

—

predložiti EP in Svetu na podlagi ocen različnih posebnih programov sporočilo, ki se mu priloži, če je to primerno, predlog za prilagoditev tega sklepa (člen 6)

| — | najpozneje do leta 2010 ob pomoči zunanjih strokovnjakov pripraviti z dokazi podprto vmesno oceno tega okvirnega programa in njegovih posebnih programov, po zgledu naknadne ocene prejšnjega okvirnega programa, ta ocena pokriva zlasti kakovost tekočih raziskovalnih dejavnosti, kakovost izvajanja in vodenja ter napredka v smeri zastavljenih ciljev (člen 7(2)) |
| --- | --- |

—

najpozneje do leta 2010 ob pomoči zunanjih strokovnjakov pripraviti z dokazi podprto vmesno oceno tega okvirnega programa in njegovih posebnih programov, po zgledu naknadne ocene prejšnjega okvirnega programa, ta ocena pokriva zlasti kakovost tekočih raziskovalnih dejavnosti, kakovost izvajanja in vodenja ter napredka v smeri zastavljenih ciljev (člen 7(2))

| — | zaključke te ocene skupaj s svojimi pripombami in po potrebi predlogi za prilagoditev tega okvirnega programa predložiti Evropskemu parlamentu, Svetu, Evropskemu ekonomsko-socialnemu odboru in Odboru regij (člen 7(2)) |
| --- | --- |

—

zaključke te ocene skupaj s svojimi pripombami in po potrebi predlogi za prilagoditev tega okvirnega programa predložiti Evropskemu parlamentu, Svetu, Evropskemu ekonomsko-socialnemu odboru in Odboru regij (člen 7(2))

| — | redno obveščati Evropski parlament in Svet o skupnem napredku izvajanja OP in posebnih programov (člen 5(4)) |
| --- | --- |

—

redno obveščati Evropski parlament in Svet o skupnem napredku izvajanja OP in posebnih programov (člen 5(4))

| — | Evropskemu parlamentu in Svetu predložiti redna poročila o napredku pri izvajanju OP (uvodna izjava 20) |
| --- | --- |

—

Evropskemu parlamentu in Svetu predložiti redna poročila o napredku pri izvajanju OP (uvodna izjava 20)

| — | izdelati poročilo o napredku (pred vmesno oceno), in sicer takoj, ko je na voljo dovolj podatkov, v katerem se navedejo začetne ugotovitve glede učinkovitosti novih dejavnosti, začetih v okviru OP7, in prizadevanj glede poenostavitve (člen 7(2)) |
| --- | --- |

—

izdelati poročilo o napredku (pred vmesno oceno), in sicer takoj, ko je na voljo dovolj podatkov, v katerem se navedejo začetne ugotovitve glede učinkovitosti novih dejavnosti, začetih v okviru OP7, in prizadevanj glede poenostavitve (člen 7(2))

| — | v letu 2004 neodvisni strokovnjaki izdelajo oceno učinkovitosti vsake od teh treh vrst instrumentov pri izvajanju programa (Priloga III, 1. Instrumenti) |
| --- | --- |

—

v letu 2004 neodvisni strokovnjaki izdelajo oceno učinkovitosti vsake od teh treh vrst instrumentov pri izvajanju programa (Priloga III, 1. Instrumenti)

Petletna ocena

| — | poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje upravljanja in napredka dejavnosti Skupnosti v petih letih pred tem ocenjevanjem (člen 4(2)) |
| --- | --- |

—

poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje upravljanja in napredka dejavnosti Skupnosti v petih letih pred tem ocenjevanjem (člen 4(2))

| — | poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje izvajanja dejavnosti in dosežkov Skupnosti v petih letih pred tem ocenjevanjem glede na merila, določena v Prilogi I, ter znanstvene in tehnološke cilje, določene v Prilogi II (člen 5(2)) |
| --- | --- |

—

poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje izvajanja dejavnosti in dosežkov Skupnosti v petih letih pred tem ocenjevanjem glede na merila, določena v Prilogi I, ter znanstvene in tehnološke cilje, določene v Prilogi II (člen 5(2))

| — | poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje izvajanja dejavnosti in dosežkov Skupnosti v petih letih pred tem ocenjevanjem (člen 6(2)) (glede na izvajanje podvzetih dejavnosti ob upoštevanju prispevka OP6 k oblikovanju evropskega raziskovalnega prostora (uvodna izjava 20) |
| --- | --- |

—

poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje izvajanja dejavnosti in dosežkov Skupnosti v petih letih pred tem ocenjevanjem (člen 6(2)) (glede na izvajanje podvzetih dejavnosti ob upoštevanju prispevka OP6 k oblikovanju evropskega raziskovalnega prostora (uvodna izjava 20)

| — | sporočiti oceno, skupaj s pripombami Komisije, Evropskemu parlamentu, Svetu ter Ekonomsko-socialnemu odboru pred predložitvijo predloga za naslednji OP (člen 4(2)) |
| --- | --- |

—

sporočiti oceno, skupaj s pripombami Komisije, Evropskemu parlamentu, Svetu ter Ekonomsko-socialnemu odboru pred predložitvijo predloga za naslednji OP (člen 4(2))

| — | sporočiti oceno, skupaj s pripombami Komisije, Evropskemu parlamentu, Svetu, Ekonomsko-socialnemu odboru in Odboru regij pred predložitvijo predloga za naslednji OP (člen 5(2)) |
| --- | --- |

—

sporočiti oceno, skupaj s pripombami Komisije, Evropskemu parlamentu, Svetu, Ekonomsko-socialnemu odboru in Odboru regij pred predložitvijo predloga za naslednji OP (člen 5(2))

| — | sporočiti zaključke te ocene, skupaj s pripombami Komisije, Evropskemu parlamentu, Svetu, Ekonomsko-socialnemu odboru in Odboru regij (člen 6(2)), pravočasno in pred predložitvijo predloga za naslednji OP (uvodna izjava 20) |
| --- | --- |

—

sporočiti zaključke te ocene, skupaj s pripombami Komisije, Evropskemu parlamentu, Svetu, Ekonomsko-socialnemu odboru in Odboru regij (člen 6(2)), pravočasno in pred predložitvijo predloga za naslednji OP (uvodna izjava 20)

Končna ocena

[glej Odločba o posebnih programih]

| — | dve leti po zaključku OP7 (tj. 2015) s pomočjo neodvisnih strokovnjakov opraviti zunanjo oceno smiselnosti, izvedbe in dosežkov programa (člen 7(3)) |
| --- | --- |

—

dve leti po zaključku OP7 (tj. 2015) s pomočjo neodvisnih strokovnjakov opraviti zunanjo oceno smiselnosti, izvedbe in dosežkov programa (člen 7(3))

| — | zaključke te ocene skupaj s svojimi pripombami in po potrebi predlogi za prilagoditev tega okvirnega programa predložiti Evropskemu parlamentu, Svetu, Evropskemu ekonomsko-socialnemu odboru in Odboru regij (člen 7(3)) |
| --- | --- |

—

zaključke te ocene skupaj s svojimi pripombami in po potrebi predlogi za prilagoditev tega okvirnega programa predložiti Evropskemu parlamentu, Svetu, Evropskemu ekonomsko-socialnemu odboru in Odboru regij (člen 7(3))

Neodvisni strokovnjaki

| — | zagotoviti, da se pri izbiri neodvisnih strokovnjakov uravnoteženo upoštevajo različne znanstvene, industrijske in druge skupnosti uporabnikov ter po imenovanju strokovnjakov objaviti njihova imena in strokovno usposobljenost (člen 5(3))
  [za dodatne določbe o neodvisnih strokovnjakih glej Sklep Sveta št. 1999/65/ES, člen 9] |
| --- | --- |

—

zagotoviti, da se pri izbiri neodvisnih strokovnjakov uravnoteženo upoštevajo različne znanstvene, industrijske in druge skupnosti uporabnikov ter po imenovanju strokovnjakov objaviti njihova imena in strokovno usposobljenost (člen 5(3))

[za dodatne določbe o neodvisnih strokovnjakih glej Sklep Sveta št. 1999/65/ES, člen 9]

| — | Komisija imenuje neodvisne strokovnjake, ki pomagajo pri ocenah, ki se zahtevajo v okviru šestega okvirnega programa in posebnih programov, ter za pomoč iz člena 10(6) in drugega pododstavka člena 18(1) |
| --- | --- |

—

Komisija imenuje neodvisne strokovnjake, ki pomagajo pri ocenah, ki se zahtevajo v okviru šestega okvirnega programa in posebnih programov, ter za pomoč iz člena 10(6) in drugega pododstavka člena 18(1)

| — | poleg tega lahko ustanovi skupine neodvisnih strokovnjakov za svetovanje o izvajanju raziskovalne politike Skupnosti |
| --- | --- |

—

poleg tega lahko ustanovi skupine neodvisnih strokovnjakov za svetovanje o izvajanju raziskovalne politike Skupnosti

| — | [za določbe o neodvisnih strokovnjakih glej Uredbo (ES) št. 2321/2002, člen 11] |
| --- | --- |

—

[za določbe o neodvisnih strokovnjakih glej Uredbo (ES) št. 2321/2002, člen 11]

Primer odločbe o posebnem programu – Svet

Odločba Sveta 94/801/ES z dne 23. novembra 1994: člen 4

Odločba Sveta 1999/168/ES z dne 25. januarja 1999: člena 4 in 6

Odločbi Sveta 2002/834/ES in 2002/835/ES z dne 30. septembra 2002: člen 8

Odločba Sveta 2006/971/ES z dne 19. decembra 2006 o posebnem programu „Sodelovanje“: člen 8

Spremljanje

| — | z ustrezno pomočjo neodvisnih zunanjih strokovnjakov stalno in sistematično spremljati napredek programa (člen 4(1)) |
| --- | --- |

—

z ustrezno pomočjo neodvisnih zunanjih strokovnjakov stalno in sistematično spremljati napredek programa (člen 4(1))

| — | z ustrezno pomočjo neodvisnih zunanjih strokovnjakov spremljati izvajanje posebnega programa in, kjer je ustrezno, Svetu podati predloge za njegovo prilagoditev v skladu s členom 5(1) Sklepa o OP5 (člen 4(a)) |
| --- | --- |

—

z ustrezno pomočjo neodvisnih zunanjih strokovnjakov spremljati izvajanje posebnega programa in, kjer je ustrezno, Svetu podati predloge za njegovo prilagoditev v skladu s členom 5(1) Sklepa o OP5 (člen 4(a))

| — | poskrbeti za neodvisno spremljanje in presojo iz člena 6 OP6, ki se izvajata v zvezi z dejavnostmi, ki jih pokriva posebni program (člen 8(2)) |
| --- | --- |

—

poskrbeti za neodvisno spremljanje in presojo iz člena 6 OP6, ki se izvajata v zvezi z dejavnostmi, ki jih pokriva posebni program (člen 8(2))

| — | zagotoviti v skladu s členom 7 okvirnega programa neodvisno spremljanje, oceno in pregled izvajanja dejavnosti na področjih, zajetih v tem posebnem programu (člen 9) |
| --- | --- |

—

zagotoviti v skladu s členom 7 okvirnega programa neodvisno spremljanje, oceno in pregled izvajanja dejavnosti na področjih, zajetih v tem posebnem programu (člen 9)

| — | informacije o spremljanju, ki jih mora Komisija priskrbeti programskemu odboru v skladu s členom 8(4), so določene v Prilogi V |
| --- | --- |

—

informacije o spremljanju, ki jih mora Komisija priskrbeti programskemu odboru v skladu s členom 8(4), so določene v Prilogi V

Člen 173 – Letno poročilo

| — | redno poročati o izvajanju posebnega programa v skladu s členom 4 Sklepa o OP6; vključene so informacije o finančnih vidikih in uporabi instrumentov (člen 8(1)) |
| --- | --- |

—

redno poročati o izvajanju posebnega programa v skladu s členom 4 Sklepa o OP6; vključene so informacije o finančnih vidikih in uporabi instrumentov (člen 8(1))

| — | vključiti glavne ugotovitve v zvezi s [Skladom za financiranje na osnovi delitve tveganja] v letno poročilo o dejavnostih RTR, ki ga bo v skladu s členom 173 Pogodbe poslala Evropskemu parlamentu in Svetu (Priloga III) |
| --- | --- |

—

vključiti glavne ugotovitve v zvezi s [Skladom za financiranje na osnovi delitve tveganja] v letno poročilo o dejavnostih RTR, ki ga bo v skladu s členom 173 Pogodbe poslala Evropskemu parlamentu in Svetu (Priloga III)

Petletna ocena

| — | poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje dejavnosti, ki se izvajajo na tematskih področjih, ki jih pokriva program ter njihovo upravljanje v petih letih pred tem ocenjevanjem (člen 4(2)) |
| --- | --- |

—

poskrbeti, da neodvisni strokovnjaki opravijo zunanje ocenjevanje dejavnosti, ki se izvajajo na tematskih področjih, ki jih pokriva program ter njihovo upravljanje v petih letih pred tem ocenjevanjem (člen 4(2))

| — | zagotoviti v skladu s členom 5(2) Sklepa o OP5 zunanje ocenjevanje izvajanja dejavnosti na področjih, zajetih v posebnem programu (člen 4(b)) |
| --- | --- |

—

zagotoviti v skladu s členom 5(2) Sklepa o OP5 zunanje ocenjevanje izvajanja dejavnosti na področjih, zajetih v posebnem programu (člen 4(b))

Končna ocena

| — | ob koncu vsakega posebnega programa zagotoviti neodvisno končno oceno doseženih rezultatov v primerjavi s cilji (člen 4(3)) |
| --- | --- |

—

ob koncu vsakega posebnega programa zagotoviti neodvisno končno oceno doseženih rezultatov v primerjavi s cilji (člen 4(3))

| — | poslati to oceno Evropskemu parlamentu, Svetu in Ekonomsko-socialnemu odboru (člen 4(3)) |
| --- | --- |

—

poslati to oceno Evropskemu parlamentu, Svetu in Ekonomsko-socialnemu odboru (člen 4(3))

Neodvisni strokovnjaki

| — | pripraviti delovna pooblastila za zunanjo oceno iz člena 5(2) Sklepa o OP5 (člen 6(2)) |
| --- | --- |

—

pripraviti delovna pooblastila za zunanjo oceno iz člena 5(2) Sklepa o OP5 (člen 6(2))

Osnovne informacije o strukturi OP

| — | OP4 (ES): 7 posebnih programov, ki zajemajo 17 podprogramov in dva grozda dejavnosti |
| --- | --- |

—

OP4 (ES): 7 posebnih programov, ki zajemajo 17 podprogramov in dva grozda dejavnosti

| — | OP5 (ES): 7 posebnih programov, od katerih so štirje tematski programi in trije horizontalni |
| --- | --- |

—

OP5 (ES): 7 posebnih programov, od katerih so štirje tematski programi in trije horizontalni

| — | OP6 (ES): 20 programov, od katerih jih je 10 združenih v 7 prednostnih tematskih področij, 4 se nanašajo na horizontalne raziskovalne dejavnosti, v posebnem programu „Osredotočanje in povezovanje raziskav Skupnosti“. Posebni program „Oblikovanje evropskega raziskovalnega prostora“ predstavlja 4 programe, posebni program „Krepitev temeljev evropskega raziskovalnega prostora“ pa 2 posebna programa |
| --- | --- |

—

OP6 (ES): 20 programov, od katerih jih je 10 združenih v 7 prednostnih tematskih področij, 4 se nanašajo na horizontalne raziskovalne dejavnosti, v posebnem programu „Osredotočanje in povezovanje raziskav Skupnosti“. Posebni program „Oblikovanje evropskega raziskovalnega prostora“ predstavlja 4 programe, posebni program „Krepitev temeljev evropskega raziskovalnega prostora“ pa 2 posebna programa

| — | OP7 (ES): 24 posebnih podprogramov, od katerih jih je 10 združenih v posebni program „Sodelovanje“, eden se nanaša na posebni program „Zamisli“, 5 podprogramov se nanaša na posebni program „Ljudje“ in 8 podprogramov se nanaša na posebni program „Zmogljivosti“ (1 od teh je namenjen nejedrskim dejavnostim Skupnega raziskovalnega središča) |
| --- | --- |

—

OP7 (ES): 24 posebnih podprogramov, od katerih jih je 10 združenih v posebni program „Sodelovanje“, eden se nanaša na posebni program „Zamisli“, 5 podprogramov se nanaša na posebni program „Ljudje“ in 8 podprogramov se nanaša na posebni program „Zmogljivosti“ (1 od teh je namenjen nejedrskim dejavnostim Skupnega raziskovalnega središča)

| — | Skupni proračun (ES): 11 046 milijonov EUR (tj. 2 761 milijonov EUR na leto) |
| --- | --- |

—

Skupni proračun (ES): 11 046 milijonov EUR (tj. 2 761 milijonov EUR na leto)

| — | Skupni proračun (ES) 13 700 milijonov EUR (tj. 3 425 milijonov EUR na leto, +24 %) |
| --- | --- |

—

Skupni proračun (ES) 13 700 milijonov EUR (tj. 3 425 milijonov EUR na leto, +24 %)

| — | Skupni proračun (ES) 16 270 milijonov EUR (tj. 4 061 milijonov EUR na leto, +19 %) po širitvi Unije na 25 članic povečan na |
| --- | --- |

—

Skupni proračun (ES) 16 270 milijonov EUR (tj. 4 061 milijonov EUR na leto, +19 %) po širitvi Unije na 25 članic povečan na

| — | Skupni proračun (ES) 17 883 milijonov EUR (tj. 4 447 milijonov EUR na leto, +10 %) |
| --- | --- |

—

Skupni proračun (ES) 17 883 milijonov EUR (tj. 4 447 milijonov EUR na leto, +10 %)

| — | Skupni proračun (ES): 50 521 milijonov EUR (tj. 7 217 milijonov EUR na leto, +62 %) |
| --- | --- |

—

Skupni proračun (ES): 50 521 milijonov EUR (tj. 7 217 milijonov EUR na leto, +62 %)

| — | 7 generalnih direktoratov: za raziskave, za informacijsko družbo, za energetiko, za promet, za ribištvo, za kmetijstvo, za podjetništvo |
| --- | --- |

—

7 generalnih direktoratov: za raziskave, za informacijsko družbo, za energetiko, za promet, za ribištvo, za kmetijstvo, za podjetništvo

| — | 5 generalnih direktoratov: RTD, za informacijsko družbo, za energetiko in promet, za ribištvo, za podjetništvo |
| --- | --- |

—

5 generalnih direktoratov: RTD, za informacijsko družbo, za energetiko in promet, za ribištvo, za podjetništvo

| — | 4 generalni direktorati: RTD, za informacijsko družbo, za energetiko in promet, za podjetništvo |
| --- | --- |

—

4 generalni direktorati: RTD, za informacijsko družbo, za energetiko in promet, za podjetništvo

| — | 5 generalnih direktoratov: RTD, za informacijsko družbo in medije, za energetiko in promet, Skupno raziskovalno središče (JRC); poleg tega „Evropski raziskovalni svet“ (ERC) in izvajalske agencije |
| --- | --- |

—

5 generalnih direktoratov: RTD, za informacijsko družbo in medije, za energetiko in promet, Skupno raziskovalno središče (JRC); poleg tega „Evropski raziskovalni svet“ (ERC) in izvajalske agencije

---

(1)  OP4: Informacijske in komunikacijske tehnologije (napredne komunikacijske tehnologije in storitve (ACTS); informacijske tehnologije (ESPRIT); telematske aplikacije); industrijske tehnologije (industrijske tehnologije in tehnologije materialov (BRITE/EURAM); standardi, meritve in preizkušanje (SMT)); okolje (okolje in podnebje, morske znanosti in tehnologije (MAST III)); znanosti in tehnologije o življenju (biotehnologija BIOTECH 2), biomedicina in zdravje (BIOMED 2), kmetijstvo in ribištvo (FAIR), etični, pravni in socialni vidiki (ELSA)); energija (raziskave in razvoj (JOULE), predstavitve (THERMIE)); promet (program za raziskave prometa), ciljno usmerjene socialno-ekonomske raziskave (ciljno usmerjene socialno-ekonomske raziskave (TSER), evropska mreža za tehnološko ocenjevanje (ETAN)); sodelovanje s tretjimi državami in mednarodnimi organizacijami (mednarodno sodelovanje (INCO)); razširjanje in izkoriščanje rezultatov (program za inovacije); spodbujanje usposabljanja in mobilnosti raziskovalcev (usposabljanje in mobilnost raziskovalcev (TMR), Združenje za štipendije Marie Curie).

(2)  OP5: 4 tematski programi (Kakovost življenja in ravnanje z življenjskimi viri (kakovost življenja), Uporabniku prijazna informacijska družba (IST), Konkurenčnostna in trajnostna rast (GROWTH), Energija, okolje in trajnostni razvoj (EESD)); 3 horizontalni programi (Spodbujanje mednarodnega znanstveno-tehnološkega sodelovanja v Evropi (INCO 2), Spodbujanje inovativnosti in udeležbe malih in srednjih podjetij (Innovation/SMEs); Razvoj raziskovalnega kadra in poglabljanje socialno-ekonomskih znanj (Improving)).

(3)  OP6:„Osredotočanje in povezovanje raziskav Skupnosti“

| — | 7 prednostnih tematskih področij, ki zajemajo 10 programov: Znanosti o življenju, genomika in biotehnologija za zdravje (vklj. sodobna genomika in njene aplikacije za zdravje, boj proti hudim boleznim), tehnologije informacijske družbe, nanotehnologije in nanoznanosti, večfunkcionalni materiali na osnovi novih znanj ter nove proizvodne metode in naprave; Aeronavtika in vesolje, Kakovost in varnost živil ter prehrane, Trajnostni razvoj, globalne spremembe in ekosistemi (vklj. trajnostni energetski sistemi, trajnostni površinski promet, globalne spremembe in ekosistemi), Državljani in upravljanje v družbi znanja, |
| --- | --- |

—

7 prednostnih tematskih področij, ki zajemajo 10 programov: Znanosti o življenju, genomika in biotehnologija za zdravje (vklj. sodobna genomika in njene aplikacije za zdravje, boj proti hudim boleznim), tehnologije informacijske družbe, nanotehnologije in nanoznanosti, večfunkcionalni materiali na osnovi novih znanj ter nove proizvodne metode in naprave; Aeronavtika in vesolje, Kakovost in varnost živil ter prehrane, Trajnostni razvoj, globalne spremembe in ekosistemi (vklj. trajnostni energetski sistemi, trajnostni površinski promet, globalne spremembe in ekosistemi), Državljani in upravljanje v družbi znanja,

| — | horizontalne raziskovalne dejavnosti pokrivajo širše področje raziskav in zajemajo 4 programe: podpora politiki in predvidevanje znanstvenih in tehnoloških potreb, horizontalne raziskovalne dejavnosti, ki vključujejo MSP, posebni ukrepi v podporo mednarodnemu sodelovanju; nejedrske dejavnosti Skupnega raziskovalnega središča (JRC); „Oblikovanje evropskega raziskovalnega prostora“ zajema 4 programe: raziskave in inovacije; človeški viri, raziskovalne infrastrukture; znanost in družba; „Krepitev temeljev evropskega raziskovalnega prostora“ zajema dva programa: podpora usklajevanju dejavnosti; podpora skladnemu razvoju politik. |
| --- | --- |

—

horizontalne raziskovalne dejavnosti pokrivajo širše področje raziskav in zajemajo 4 programe: podpora politiki in predvidevanje znanstvenih in tehnoloških potreb, horizontalne raziskovalne dejavnosti, ki vključujejo MSP, posebni ukrepi v podporo mednarodnemu sodelovanju; nejedrske dejavnosti Skupnega raziskovalnega središča (JRC); „Oblikovanje evropskega raziskovalnega prostora“ zajema 4 programe: raziskave in inovacije; človeški viri, raziskovalne infrastrukture; znanost in družba; „Krepitev temeljev evropskega raziskovalnega prostora“ zajema dva programa: podpora usklajevanju dejavnosti; podpora skladnemu razvoju politik.

(4)  OP7: posebni program „Sodelovanje“ predstavlja 10 podprogramov (zdravje, hrana, kmetijstvo in biotehnologija; informacijske in komunikacijske tehnologije; nanoznanosti, nanotehnologije, materiali in nove proizvodne tehnologije; energija; okolje (vključno s podnebnimi spremembami); promet (vključno z aeronavtiko); družbeno-ekonomske in humanistične znanosti; varnost; vesolje); posebni program „Zamisli“ predstavlja 1 podprogram (Evropski raziskovalni svet), posebni program „Ljudje“ predstavlja 5 podprogramov (začetno usposabljanje; vseživljenjsko usposabljanje; povezave in partnerstva med podjetji; mednarodna razsežnost; posebni ukrepi), posebni program „Zmogljivosti“ predstavlja 8 podprogramov (raziskovalne infrastrukture; raziskave v korist MSP; regije znanja; raziskovalni potencial; znanost v družbi; skladen razvoj raziskovalnih politik; mednarodno sodelovanje; „nejedrske dejavnosti JRC“).

---

PRILOGA III

GLAVNE RAZLIKE PRI NAKNADNEM OCENJEVANJU RAZISKOVALNIH PROGRAMOV MED EU (OP4–OP6), ZDA IN KANADO

| | EU (OP4–OP6) | ZDA | KANADA |
| --- | --- | --- | --- |
| Sistemska vprašanja |
| Logika posega | ni jasna | večinoma vzpostavljena, posredno jo zahteva PART (1) | kot sestavni del programskega predloga jo zahteva RMAF (2) |
| Strategija ocenjevanja | ni celostna | zahteva jo PART (1) | kot sestavni del programskega predloga jo zahteva RMAF (2) |
| Podrobna navedba pričakovanih rezultatov | ne | zahteva jo PART (1)(vključno z uporabo količinsko izmerljivih kazalnikov) | kot sestavni del programskega predloga jo zahteva RMAF (2) |
| Ocenjevalna vprašanja zastavlja | Komisija kot upravljavec programa | agencija kot upravljavec programa (ocenjeno v okviru OMB) | agencija kot upravljavec programa
  (ocenjeno v okviru TBS) |
| Organizacijska vprašanja |
| Faza zasnove | v programskem obdobju | v programskem obdobju | dokončana pred začetkom programa |
| Uporaba odborov | „priložnostni“ odbori za posamezna ocenjevanja | odvisno od agencije/programa | stalni odbori kot stalne komisije |
| Periodičnost | točno določeni datumi (vezani na programsko obdobje, pokrivajo preteklih pet let) | 2–3-letni cikel
  (vezano na odobritev proračuna) | ob podaljšanju programa |

EU (OP4–OP6)

ZDA

KANADA

Sistemska vprašanja

Logika posega

ni jasna

večinoma vzpostavljena, posredno jo zahteva PART (1)

kot sestavni del programskega predloga jo zahteva RMAF (2)

Strategija ocenjevanja

ni celostna

zahteva jo PART (1)

kot sestavni del programskega predloga jo zahteva RMAF (2)

Podrobna navedba pričakovanih rezultatov

ne

zahteva jo PART (1)(vključno z uporabo količinsko izmerljivih kazalnikov)

kot sestavni del programskega predloga jo zahteva RMAF (2)

Ocenjevalna vprašanja zastavlja

Komisija kot upravljavec programa

agencija kot upravljavec programa (ocenjeno v okviru OMB)

agencija kot upravljavec programa

(ocenjeno v okviru TBS)

Organizacijska vprašanja

Faza zasnove

v programskem obdobju

v programskem obdobju

dokončana pred začetkom programa

Uporaba odborov

„priložnostni“ odbori za posamezna ocenjevanja

odvisno od agencije/programa

stalni odbori kot stalne komisije

Periodičnost

točno določeni datumi (vezani na programsko obdobje, pokrivajo preteklih pet let)

2–3-letni cikel

(vezano na odobritev proračuna)

ob podaljšanju programa

---

(1)  Programme Assessment Rating Tool (PART) od leta 2002: glej Office of Management and
  Budget (OMB), izvršni urad predsednika, ZDA.

(2)  Management and Accountability Framework (RMAF), ki temelji na rezultatih: glej Treasury Board of Canada Secretariat (TBS).

---

PRILOGA IV

MOŽNA STRUKTURA ODBOROV ZA OP7

Image

---

ODGOVORI KOMISIJE

| I. | Okvirni programi (OP) Skupnosti za raziskave in tehnološki razvoj (RTR) so se skozi desetletja razvili v obsežen, a skladen sistem mehanizmov podpore za raziskovalce v 27 državah članicah EU, pridruženih državah in drugod po svetu.
  Okvirni programi so danes največji javni sistem financiranja večnacionalnih raziskav na svetu.
  OP trenutno predstavlja okoli 5 % celotnega javnega financiranja raziskav EU. Z vidika letne finančne udeležbe Skupnosti bo OP7 za približno 60 % večji od OP6.
  Ocenjevanje tako edinstvenega sistema je poseben izziv za vse vpletene akterje. Načini ocenjevanja in spremljanja so se v zadnjih letih izredno spremenili, nazadnje z uvedbo OP7 leta 2007.
  Sistem ocenjevanja in spremljanja, ki je vzpostavljen pri Komisiji, temelji na neposredni odgovornosti izvajalskih služb Komisije. Tu je na voljo najvišja stopnja tehničnega znanja.
  Ocenjevanja na ravni okvirnega programa se izvajajo z usklajenim prizadevanjem v vseh generalnih direktoratih (GD). |
| --- | --- |

I.

Okvirni programi (OP) Skupnosti za raziskave in tehnološki razvoj (RTR) so se skozi desetletja razvili v obsežen, a skladen sistem mehanizmov podpore za raziskovalce v 27 državah članicah EU, pridruženih državah in drugod po svetu.

Okvirni programi so danes največji javni sistem financiranja večnacionalnih raziskav na svetu.

OP trenutno predstavlja okoli 5 % celotnega javnega financiranja raziskav EU. Z vidika letne finančne udeležbe Skupnosti bo OP7 za približno 60 % večji od OP6.

Ocenjevanje tako edinstvenega sistema je poseben izziv za vse vpletene akterje. Načini ocenjevanja in spremljanja so se v zadnjih letih izredno spremenili, nazadnje z uvedbo OP7 leta 2007.

Sistem ocenjevanja in spremljanja, ki je vzpostavljen pri Komisiji, temelji na neposredni odgovornosti izvajalskih služb Komisije. Tu je na voljo najvišja stopnja tehničnega znanja.

Ocenjevanja na ravni okvirnega programa se izvajajo z usklajenim prizadevanjem v vseh generalnih direktoratih (GD).

| IV. | Komisija pozdravlja ugotovitev Sodišča, da so generalni direktorati, ki izvajajo OP („generalni direktorati za raziskave“), izpolnili zahteve Komisije, vključno s tistimi, opredeljenimi leta 2000 in 2002 v sporočilih o ocenjevanju.
  Pri ocenjevanju OP je prišlo do bistvenih sprememb, vključno z večjim prestrukturiranjem za OP7.
  Komisija prav tako meni, da:






  (i) | so OP vedno temeljili na dobro premišljeni logiki posega. V OP7 je to še izrazitejše, kar bo dodatno okrepilo sistem ocenjevanja in spremljanja Komisije; |
| --- | --- | --- |

IV.

Komisija pozdravlja ugotovitev Sodišča, da so generalni direktorati, ki izvajajo OP („generalni direktorati za raziskave“), izpolnili zahteve Komisije, vključno s tistimi, opredeljenimi leta 2000 in 2002 v sporočilih o ocenjevanju.

Pri ocenjevanju OP je prišlo do bistvenih sprememb, vključno z večjim prestrukturiranjem za OP7.

Komisija prav tako meni, da:

(i)

so OP vedno temeljili na dobro premišljeni logiki posega. V OP7 je to še izrazitejše, kar bo dodatno okrepilo sistem ocenjevanja in spremljanja Komisije;

| (ii) | so bili glavni strateški elementi pristopa Komisije k ocenjevanju in spremljanju opredeljeni v zaporednih zakonodajnih aktih za OP od sredine 90. let prejšnjega stoletja naprej.
  Vse od sprejetja zadnjega sporočila Komisije o ocenjevanju raziskav leta 1996 se je stalno izboljševal pristop Komisije k ocenjevanju OP in izvajanje ocenjevanja se je bistveno spremenilo.
  V obdobju, ki ga je pregledalo Sodišče, so se večja ocenjevanja OP, tako imenovane „petletne ocene“, izvedla vsake štiri leta; |
| --- | --- |

(ii)

so bili glavni strateški elementi pristopa Komisije k ocenjevanju in spremljanju opredeljeni v zaporednih zakonodajnih aktih za OP od sredine 90. let prejšnjega stoletja naprej.

Vse od sprejetja zadnjega sporočila Komisije o ocenjevanju raziskav leta 1996 se je stalno izboljševal pristop Komisije k ocenjevanju OP in izvajanje ocenjevanja se je bistveno spremenilo.

V obdobju, ki ga je pregledalo Sodišče, so se večja ocenjevanja OP, tako imenovane „petletne ocene“, izvedla vsake štiri leta;

| (iii) | OP skupaj izvajajo „generalni direktorati za raziskave“, ki delujejo neodvisno in po potrebi sodelujejo. Osrednje službe Komisije in zlasti GD za proračun dejavno sodelujejo v različnih fazah, povezanih s postopkom ocenjevanja.
  Glede na decentralizirano organizacijo Komisije in specifične značilnosti vsakega znanstvenega področja morajo ocenjevanja upravljati pristojne operativne službe.
  Pri koordinaciji se je za zelo uspešno izkazala interna „evalvacijska mreža RTR“ Komisije.
  Komisija se strinja, da bi odbori morali imeti pomembno vlogo pri ocenjevanju, in pozdravlja ugotovitev revizije, da so institucionalne zainteresirane strani njene odbore za „petletne ocene“ in druge pomembne ocene dojemale kot jamstvo za neodvisnost pristopa, ki ga je Komisija uporabila v obdobju, zajetem v reviziji; |
| --- | --- |

(iii)

OP skupaj izvajajo „generalni direktorati za raziskave“, ki delujejo neodvisno in po potrebi sodelujejo. Osrednje službe Komisije in zlasti GD za proračun dejavno sodelujejo v različnih fazah, povezanih s postopkom ocenjevanja.

Glede na decentralizirano organizacijo Komisije in specifične značilnosti vsakega znanstvenega področja morajo ocenjevanja upravljati pristojne operativne službe.

Pri koordinaciji se je za zelo uspešno izkazala interna „evalvacijska mreža RTR“ Komisije.

Komisija se strinja, da bi odbori morali imeti pomembno vlogo pri ocenjevanju, in pozdravlja ugotovitev revizije, da so institucionalne zainteresirane strani njene odbore za „petletne ocene“ in druge pomembne ocene dojemale kot jamstvo za neodvisnost pristopa, ki ga je Komisija uporabila v obdobju, zajetem v reviziji;

| (iv) | zagotavljanje neposrednih metodoloških smernic za ocenjevanja omejuje potreba po ohranitvi neodvisnosti ocenjevalcev. Komisija priznava težave v preteklosti pri zbiranju podatkov in sprejema, da je o dolgoročnih izidih in učinkih OP znanega zelo malo, kar velja za večino ocen javnih posegov na raziskovalnem področju in zunaj njega; |
| --- | --- |

(iv)

zagotavljanje neposrednih metodoloških smernic za ocenjevanja omejuje potreba po ohranitvi neodvisnosti ocenjevalcev. Komisija priznava težave v preteklosti pri zbiranju podatkov in sprejema, da je o dolgoročnih izidih in učinkih OP znanega zelo malo, kar velja za večino ocen javnih posegov na raziskovalnem področju in zunaj njega;

| (v) | je časovna razporeditev večine ocen opredeljena v zakonodaji o OP, ki sta jo sprejela Evropski parlament in Svet. Na splošno Komisija meni, da je njen sistem ocenjevanja in spremljanja OP učinkovit. S tem sta se strinjala tudi Evropski parlament in Svet, ko sta leta 2006 sprejela nedavne zakonodajne predloge Komisije za OP7. |
| --- | --- |

(v)

je časovna razporeditev večine ocen opredeljena v zakonodaji o OP, ki sta jo sprejela Evropski parlament in Svet. Na splošno Komisija meni, da je njen sistem ocenjevanja in spremljanja OP učinkovit. S tem sta se strinjala tudi Evropski parlament in Svet, ko sta leta 2006 sprejela nedavne zakonodajne predloge Komisije za OP7.

| V. | Ob upoštevanju priporočil Sodišča Komisija






  (i) | opozarja na izrecnejšo logiko posega, ki je zajeta v zakonodaji o OP7 (ki sta jo leta 2006 sprejela Evropski parlament in Svet), in bo okrepila uporabo izrecne logike posega v svojih prihodnjih zakonodajnih ukrepih. Poleg tega Komisija namerava dodatno pojasniti svoje operativne cilje za OP7 na ravni delovnih programov in nadgraditi svoj pristop za merjenje uspešnosti; |
| --- | --- | --- |

V.

Ob upoštevanju priporočil Sodišča Komisija

(i)

opozarja na izrecnejšo logiko posega, ki je zajeta v zakonodaji o OP7 (ki sta jo leta 2006 sprejela Evropski parlament in Svet), in bo okrepila uporabo izrecne logike posega v svojih prihodnjih zakonodajnih ukrepih. Poleg tega Komisija namerava dodatno pojasniti svoje operativne cilje za OP7 na ravni delovnih programov in nadgraditi svoj pristop za merjenje uspešnosti;

| (ii) | bo nadgradila svojo strategijo ocenjevanja za OP7 na podlagi predlogov v oceni učinka OP7. Posebna pozornost bo namenjena zagotovitvi ustrezne ravni prožnosti, tako da bo lahko vsaka posamezna operativna služba določila svoje specifične potrebe po ocenjevanju; |
| --- | --- |

(ii)

bo nadgradila svojo strategijo ocenjevanja za OP7 na podlagi predlogov v oceni učinka OP7. Posebna pozornost bo namenjena zagotovitvi ustrezne ravni prožnosti, tako da bo lahko vsaka posamezna operativna služba določila svoje specifične potrebe po ocenjevanju;

| (iii) | čeprav meni, da ni treba ustanoviti skupnega urada za ocenjevanje, soglaša, da se proučijo druge možnosti za izboljšanje koordinacije.
  Odbore je treba sklicati dovolj zgodaj, da se zagotovi podpora za posamezno ocenjevanje. Namenski odbori, sklicani za posebne namene, pa bodo veliko verjetneje koristnejši z vidika jasnosti in osredotočenosti; |
| --- | --- |

(iii)

čeprav meni, da ni treba ustanoviti skupnega urada za ocenjevanje, soglaša, da se proučijo druge možnosti za izboljšanje koordinacije.

Odbore je treba sklicati dovolj zgodaj, da se zagotovi podpora za posamezno ocenjevanje. Namenski odbori, sklicani za posebne namene, pa bodo veliko verjetneje koristnejši z vidika jasnosti in osredotočenosti;

| (iv) | je že sprejela ukrepe, da bi bolje izkoristila obstoječe in nove vire podatkov za svoja ocenjevanja.
  Zahteve za poročanje o OP7 so se delno pregledale na podlagi potreb po ocenjevanju in spremljanju.
  Poleg tega Komisija trenutno razvija nov informacijski sistem za OP7, ki naj bi zagotovil trdnejšo podlago z vidika podatkov o projektih.
  Komisija bo proučila možnost za nov priročnik o ocenjevanju OP, ob upoštevanju nedavno predstavljenih primerov; |
| --- | --- |

(iv)

je že sprejela ukrepe, da bi bolje izkoristila obstoječe in nove vire podatkov za svoja ocenjevanja.

Zahteve za poročanje o OP7 so se delno pregledale na podlagi potreb po ocenjevanju in spremljanju.

Poleg tega Komisija trenutno razvija nov informacijski sistem za OP7, ki naj bi zagotovil trdnejšo podlago z vidika podatkov o projektih.

Komisija bo proučila možnost za nov priročnik o ocenjevanju OP, ob upoštevanju nedavno predstavljenih primerov;

| (v) | namerava razviti in okrepiti svoje vnaprejšnje načrtovanje ocenjevanj v okviru OP7, ki bo odražalo možne prednosti za skladnost, in uveljavitev ugotovitev. |
| --- | --- |

(v)

namerava razviti in okrepiti svoje vnaprejšnje načrtovanje ocenjevanj v okviru OP7, ki bo odražalo možne prednosti za skladnost, in uveljavitev ugotovitev.

| 1–13. | Okvirni programi Skupnosti za raziskave in tehnološki razvoj (OP) so se skozi desetletja razvili v raznovrsten, a skladen sistem mehanizmov podpore za raziskovalce v 27 državah članicah EU, pridruženih državah in drugod po svetu.
  Okvirni programi (OP) so danes največji sistem financiranja večnacionalnih raziskav na svetu (glej odstavek 6 besedila Sodišča). Z vidika letne finančne udeležbe Skupnosti bo OP7 za približno 60 % večji od OP6 (glej diagram 1 v besedilu Sodišča).
  Ocenjevanje tako edinstvenega sistema je poseben izziv za vse vpletene akterje. Načini ocenjevanja so se v zadnjih letih izredno spremenili (glej diagram 2 besedila Sodišča), nedavno z uvedbo OP7 leta 2007 (glej na primer odgovore na odstavke 23, 30, 41, 46, 72, 76–78, 93). |
| --- | --- |

1–13.

Okvirni programi Skupnosti za raziskave in tehnološki razvoj (OP) so se skozi desetletja razvili v raznovrsten, a skladen sistem mehanizmov podpore za raziskovalce v 27 državah članicah EU, pridruženih državah in drugod po svetu.

Okvirni programi (OP) so danes največji sistem financiranja večnacionalnih raziskav na svetu (glej odstavek 6 besedila Sodišča). Z vidika letne finančne udeležbe Skupnosti bo OP7 za približno 60 % večji od OP6 (glej diagram 1 v besedilu Sodišča).

Ocenjevanje tako edinstvenega sistema je poseben izziv za vse vpletene akterje. Načini ocenjevanja so se v zadnjih letih izredno spremenili (glej diagram 2 besedila Sodišča), nedavno z uvedbo OP7 leta 2007 (glej na primer odgovore na odstavke 23, 30, 41, 46, 72, 76–78, 93).

| 14. | Generalni direktorati, ki izvajajo okvirne programe RTR („generalni direktorati za raziskave“), so izpolnili zahteve Komisije za ocenjevanje, vključno s tistimi, opredeljenimi leta 2000 in 2002 v sporočilih o ocenjevanju (glej odstavek 54 besedila Sodišča). |
| --- | --- |

14.

Generalni direktorati, ki izvajajo okvirne programe RTR („generalni direktorati za raziskave“), so izpolnili zahteve Komisije za ocenjevanje, vključno s tistimi, opredeljenimi leta 2000 in 2002 v sporočilih o ocenjevanju (glej odstavek 54 besedila Sodišča).

| 22. | Komisija se strinja s tem, da je dobro premišljena logika posega za zasnovo programa pomembna in da je pooblastilo, opredeljeno v členu 163 Pogodbe, ključni element v tej zvezi. Poleg tega je prispevek dejavnosti RTR, ki jih financira Komisija, k drugim politikam in ciljem Skupnosti izrednega pomena. Nedavno je bilo stališče Komisije o vlogi naložb EU v RTR podrobneje predstavljeno v prenovljeni „lizbonski“ strategiji in strategiji o „trajnostnem razvoju“ (1). |
| --- | --- |

22.

Komisija se strinja s tem, da je dobro premišljena logika posega za zasnovo programa pomembna in da je pooblastilo, opredeljeno v členu 163 Pogodbe, ključni element v tej zvezi. Poleg tega je prispevek dejavnosti RTR, ki jih financira Komisija, k drugim politikam in ciljem Skupnosti izrednega pomena. Nedavno je bilo stališče Komisije o vlogi naložb EU v RTR podrobneje predstavljeno v prenovljeni „lizbonski“ strategiji in strategiji o „trajnostnem razvoju“ (1).

| 23. | OP so vedno temeljili na dobro premišljeni logiki posega. V OP7 je to še izrazitejše (2), kar bo dodatno okrepilo sistem ocenjevanja in spremljanja Komisije. |
| --- | --- |

23.

OP so vedno temeljili na dobro premišljeni logiki posega. V OP7 je to še izrazitejše (2), kar bo dodatno okrepilo sistem ocenjevanja in spremljanja Komisije.

| 25. | Številne države, vključno z nekaterimi državami članicami, razvijajo ta pristop, vendar pa to nikakor ni enoten pristop. Pridobljena nova spoznanja iz ZDA in Kanade so težje prenosljiva kot tista iz držav članic EU. |
| --- | --- |

25.

Številne države, vključno z nekaterimi državami članicami, razvijajo ta pristop, vendar pa to nikakor ni enoten pristop. Pridobljena nova spoznanja iz ZDA in Kanade so težje prenosljiva kot tista iz držav članic EU.

| 26. | Komisija meni, da je v obdobju, ki ga je pregledalo Sodišče, imela vzpostavljen učinkovit sistem ocenjevanja in spremljanja (glej tudi odgovor na odstavek 23). |
| --- | --- |

26.

Komisija meni, da je v obdobju, ki ga je pregledalo Sodišče, imela vzpostavljen učinkovit sistem ocenjevanja in spremljanja (glej tudi odgovor na odstavek 23).

| 28. | Poseben izziv je zagotoviti, zlasti zaradi negotovosti raziskav, da vsi cilji natančno ustrezajo strogim opredelitvam meril SMART. Vsi delovni programi v okviru OP7 vsebujejo izjave o pričakovanem učinku, ki ustrezajo ciljem, utemeljitvi in dejavnostim, določenim v specifičnih programih. |
| --- | --- |

28.

Poseben izziv je zagotoviti, zlasti zaradi negotovosti raziskav, da vsi cilji natančno ustrezajo strogim opredelitvam meril SMART. Vsi delovni programi v okviru OP7 vsebujejo izjave o pričakovanem učinku, ki ustrezajo ciljem, utemeljitvi in dejavnostim, določenim v specifičnih programih.

| 29. | Večja pozornost je bila posvečena kratkoročnim dosežkom v obdobju, ki ga je pregledalo Sodišče; treba je narediti še več dolgoročnih analiz. |
| --- | --- |

29.

Večja pozornost je bila posvečena kratkoročnim dosežkom v obdobju, ki ga je pregledalo Sodišče; treba je narediti še več dolgoročnih analiz.

| 30. | Na ravni OP Komisija trenutno razvija sistem spremljanja za OP7, katerega cilj je zagotoviti skladnejšo in sistematično uporabo kazalnikov uspešnosti. Prav tako v različnih službah, ki izvajajo OP7, poteka več ločenih pobud za razvoj kazalnikov uspešnosti. |
| --- | --- |

30.

Na ravni OP Komisija trenutno razvija sistem spremljanja za OP7, katerega cilj je zagotoviti skladnejšo in sistematično uporabo kazalnikov uspešnosti. Prav tako v različnih službah, ki izvajajo OP7, poteka več ločenih pobud za razvoj kazalnikov uspešnosti.

| 34. | Komisija je že zavezana k zagotavljanju jasnejše logike posega v programe, pri čemer se opira na novosti, ki jih vsebujeta zakonodaja o OP7 in ocena učinka, tako bo proučila priporočilo Sodišča za prihodnje zakonodajne predloge. |
| --- | --- |

34.

Komisija je že zavezana k zagotavljanju jasnejše logike posega v programe, pri čemer se opira na novosti, ki jih vsebujeta zakonodaja o OP7 in ocena učinka, tako bo proučila priporočilo Sodišča za prihodnje zakonodajne predloge.

| 35. | Komisija pozdravlja priporočilo Sodišča, da se dodatno pojasnijo cilji programa OP7, in si bo v okviru omejitev posameznih osnovnih aktov, ki sta jih sprejela Evropski parlament in Svet, prizadevala to doseči. |
| --- | --- |

35.

Komisija pozdravlja priporočilo Sodišča, da se dodatno pojasnijo cilji programa OP7, in si bo v okviru omejitev posameznih osnovnih aktov, ki sta jih sprejela Evropski parlament in Svet, prizadevala to doseči.

| 36–37. | Komisija pozdravlja priporočila Sodišča in prevzema pobude za nadaljnji razvoj merjenja uspešnosti in spremembo nomenklature ABM/ABB. |
| --- | --- |

36–37.

Komisija pozdravlja priporočila Sodišča in prevzema pobude za nadaljnji razvoj merjenja uspešnosti in spremembo nomenklature ABM/ABB.

| 38–39. | Komisija meni, da bi njena strategija ocenjevanja za OP morala določati skupna načela za organizacijo in razvoj ocenjevanja in spremljanja OP. Strategija bi morala določiti namen, opredeliti ključne elemente sistema, vključno z glavnimi ocenjevanji, in razviti vizijo za prihodnost. Še naprej bi se morala osredotočati na strateško raven glede na decentralizirani sistem ocenjevanja Komisije za OP. |
| --- | --- |

38–39.

Komisija meni, da bi njena strategija ocenjevanja za OP morala določati skupna načela za organizacijo in razvoj ocenjevanja in spremljanja OP. Strategija bi morala določiti namen, opredeliti ključne elemente sistema, vključno z glavnimi ocenjevanji, in razviti vizijo za prihodnost. Še naprej bi se morala osredotočati na strateško raven glede na decentralizirani sistem ocenjevanja Komisije za OP.

| 41. | Glavni strateški elementi pristopa Komisije k ocenjevanju in spremljanju so bili opredeljeni v zaporednih zakonodajnih aktih za OP od sredine 90. let dvajsetega stoletja (glej Prilogo II).
  Ker je Komisija svoje sporočilo o ocenjevanju raziskav sprejela leta 1996, se je njen pristop k ocenjevanju OP stalno izboljševal in ocenjevanja so se bistveno spremenila (glej diagram 2 besedila Sodišča).
  Za trenutno programsko obdobje je načrtovana strategija ocenjevanja Komisije izrecneje določena v predhodni oceni učinka OP7 (SEC(2005) 430). Zajema zasnovo sistema ocenjevanja, način njegovega izvajanja in podrobni časovni razpored načrtovanih ocenjevanj na ravni OP.
  Veliko dela bo še treba opraviti, preden bo ta strategija dobila obliko konkretnih načrtov, Komisija pa bo v ta namen uporabila posebne koordinacijske strukture. |
| --- | --- |

41.

Glavni strateški elementi pristopa Komisije k ocenjevanju in spremljanju so bili opredeljeni v zaporednih zakonodajnih aktih za OP od sredine 90. let dvajsetega stoletja (glej Prilogo II).

Ker je Komisija svoje sporočilo o ocenjevanju raziskav sprejela leta 1996, se je njen pristop k ocenjevanju OP stalno izboljševal in ocenjevanja so se bistveno spremenila (glej diagram 2 besedila Sodišča).

Za trenutno programsko obdobje je načrtovana strategija ocenjevanja Komisije izrecneje določena v predhodni oceni učinka OP7 (SEC(2005) 430). Zajema zasnovo sistema ocenjevanja, način njegovega izvajanja in podrobni časovni razpored načrtovanih ocenjevanj na ravni OP.

Veliko dela bo še treba opraviti, preden bo ta strategija dobila obliko konkretnih načrtov, Komisija pa bo v ta namen uporabila posebne koordinacijske strukture.

| 43. | Čeprav Komisija priznava opažanje Sodišča, ugotavlja, da je stanje v ZDA in Kanadi veliko bolj raznoliko, kot bi to lahko predstavile enotne strategije ocenjevanja. |
| --- | --- |

43.

Čeprav Komisija priznava opažanje Sodišča, ugotavlja, da je stanje v ZDA in Kanadi veliko bolj raznoliko, kot bi to lahko predstavile enotne strategije ocenjevanja.

| 44. | Razlike pri uporabi ocenjevanja in pristopa k njemu med posameznimi OP odražajo decentralizirani sistem Komisije, ki ocenjevanje povezuje s sprejemanjem odločitev. |
| --- | --- |

44.

Razlike pri uporabi ocenjevanja in pristopa k njemu med posameznimi OP odražajo decentralizirani sistem Komisije, ki ocenjevanje povezuje s sprejemanjem odločitev.

| 46. | Glede na decentralizirano organizacijo Komisije morajo na vprašanje o ustrezni ravni za dejavnosti ocenjevanja odgovoriti pristojne operativne službe (glej tudi odgovora na odstavka 41 in 49).






  — | (druga alinea) Petletna ocena iz leta 2004 (1999–2003), ki jo je koordiniral GD za raziskave, je zagotovila oceno na ravni celotnega OP. Odločitev, ali se bodo izvedla ločena ocenjevanja na ravni programov, je izražala potrebe vpletenih služb in različnih okvirov ter obseg zadevnih dejavnosti. |
| --- | --- | --- |

46.

Glede na decentralizirano organizacijo Komisije morajo na vprašanje o ustrezni ravni za dejavnosti ocenjevanja odgovoriti pristojne operativne službe (glej tudi odgovora na odstavka 41 in 49).

—

(druga alinea) Petletna ocena iz leta 2004 (1999–2003), ki jo je koordiniral GD za raziskave, je zagotovila oceno na ravni celotnega OP. Odločitev, ali se bodo izvedla ločena ocenjevanja na ravni programov, je izražala potrebe vpletenih služb in različnih okvirov ter obseg zadevnih dejavnosti.

| 47. | Petletna ocena iz leta 2004 je dala usklajeno, obsežno in pravočasno oceno na ravni celotnega OP v skladu s Finančno uredbo. Izvedli so jo ugledni zunanji strokovnjaki, rezultati pa so bili dostopni širši javnosti. |
| --- | --- |

47.

Petletna ocena iz leta 2004 je dala usklajeno, obsežno in pravočasno oceno na ravni celotnega OP v skladu s Finančno uredbo. Izvedli so jo ugledni zunanji strokovnjaki, rezultati pa so bili dostopni širši javnosti.

| 48. | Glej odgovora na odstavka 41 in 46. |
| --- | --- |

48.

Glej odgovora na odstavka 41 in 46.

| 49. | Za trenutno programsko obdobje je načrtovana strategija ocenjevanja Komisije določena v predhodni oceni učinka OP7 (SEC(2005) 430). Zajema zasnovo sistema ocenjevanja, način njegovega izvajanja in podroben časovni razpored načrtovanih ocenjevanj na ravni OP.
  Komisija priznava, da bo treba opraviti še veliko dela, preden bo ta strategija dobila obliko konkretnih načrtov, Komisija pa bo v ta namen uporabila posebne koordinacijske strukture.
  Vendar pa Komisija meni, da minimalne ravni, na kateri mora biti izvedeno podrobno ocenjevanje, ni mogoče vedno določiti, ker je treba ohraniti zadostno prožnost za upravljanje, da se ugotovijo ustrezne potrebe po ocenjevanju. |
| --- | --- |

49.

Za trenutno programsko obdobje je načrtovana strategija ocenjevanja Komisije določena v predhodni oceni učinka OP7 (SEC(2005) 430). Zajema zasnovo sistema ocenjevanja, način njegovega izvajanja in podroben časovni razpored načrtovanih ocenjevanj na ravni OP.

Komisija priznava, da bo treba opraviti še veliko dela, preden bo ta strategija dobila obliko konkretnih načrtov, Komisija pa bo v ta namen uporabila posebne koordinacijske strukture.

Vendar pa Komisija meni, da minimalne ravni, na kateri mora biti izvedeno podrobno ocenjevanje, ni mogoče vedno določiti, ker je treba ohraniti zadostno prožnost za upravljanje, da se ugotovijo ustrezne potrebe po ocenjevanju.

| 51. | OP skupaj izvajajo „generalni direktorati za raziskave“, ki delujejo neodvisno in po potrebi sodelujejo. |
| --- | --- |

51.

OP skupaj izvajajo „generalni direktorati za raziskave“, ki delujejo neodvisno in po potrebi sodelujejo.

| 52. | EuropeAid ima operativne in upravljavske odgovornosti, ki jih izvaja v sodelovanju z delegacijami Komisije in izvajalskimi organi v tretjih državah. Zaradi tega je težko ta del Komisije obravnavati kot zgled, saj ga ni mogoče primerjati z decentraliziranim sistemom odgovornosti in vlog na raziskovalnem področju. |
| --- | --- |

52.

EuropeAid ima operativne in upravljavske odgovornosti, ki jih izvaja v sodelovanju z delegacijami Komisije in izvajalskimi organi v tretjih državah. Zaradi tega je težko ta del Komisije obravnavati kot zgled, saj ga ni mogoče primerjati z decentraliziranim sistemom odgovornosti in vlog na raziskovalnem področju.

| 53. | Notranja „evalvacijska mreža RTR“ Komisije je neformalni način za razvoj strategije ocenjevanja in koordinacijo ocenjevanj na ravni OP. Ta prožni mehanizem se je izkazal za zelo uporabnega. |
| --- | --- |

53.

Notranja „evalvacijska mreža RTR“ Komisije je neformalni način za razvoj strategije ocenjevanja in koordinacijo ocenjevanj na ravni OP. Ta prožni mehanizem se je izkazal za zelo uporabnega.

| 55. | Nedavna revizija notranjih standardov nadzora Komisije, sprejeta 16. oktobra 2007 (SEC(2007) 1341), zajema 21 standardov ocenjevanja, skladnost s temi standardi pa se bo vključila v okvir letnih poročil o dejavnostih generalnih direktoratov.
  Osrednje službe Komisije, zlasti GD za proračun, dejavno sodelujejo v različnih fazah, povezanih s postopkom ocenjevanja.
  Dejavnosti ocenjevanja služb so lahko podvržene reviziji notranjega revizijskega oddelka in notranje revizijske službe.
  V prihodnosti se bo pri presoji minimalnih zahtev glede kakovosti uporabil nedavno razvit „Okvir za oceno kakovosti“ Komisije (3). Od leta 2007 naprej pri nadzoru kakovosti za možno oceno učinka pomaga „odbor za oceno učinka“ Komisije. |
| --- | --- |

55.

Nedavna revizija notranjih standardov nadzora Komisije, sprejeta 16. oktobra 2007 (SEC(2007) 1341), zajema 21 standardov ocenjevanja, skladnost s temi standardi pa se bo vključila v okvir letnih poročil o dejavnostih generalnih direktoratov.

Osrednje službe Komisije, zlasti GD za proračun, dejavno sodelujejo v različnih fazah, povezanih s postopkom ocenjevanja.

Dejavnosti ocenjevanja služb so lahko podvržene reviziji notranjega revizijskega oddelka in notranje revizijske službe.

V prihodnosti se bo pri presoji minimalnih zahtev glede kakovosti uporabil nedavno razvit „Okvir za oceno kakovosti“ Komisije (3). Od leta 2007 naprej pri nadzoru kakovosti za možno oceno učinka pomaga „odbor za oceno učinka“ Komisije.

| 56. | Primerjava, navedena v Prilogi III, zajema obdobje, ki ga je Sodišče pregledalo. Zato ne upošteva pomembnih izboljšav v okviru OP7, zlasti kar zadeva novo strategijo ocenjevanja, izrazitejšo logiko posega in jasnih izjav o pričakovanih rezultatih v delovnih programih.
  Sodišče je izpostavilo nekatere države članice, v katerih je odgovornost za ocenjevanje in financiranje ločena. Prav tako obstajajo drugi primeri (kot je Združeno kraljestvo), kjer je ocenjevanje del upravljanja programa (kot to velja za Komisijo). V zvezi s ključnim vprašanjem neodvisnosti je revizija Sodišča pokazala, da so zunanje udeležene strani zadovoljne z uspešnostjo Komisije v tej točki (glej odstavek 58 in diagram 4 besedila Sodišča). |
| --- | --- |

56.

Primerjava, navedena v Prilogi III, zajema obdobje, ki ga je Sodišče pregledalo. Zato ne upošteva pomembnih izboljšav v okviru OP7, zlasti kar zadeva novo strategijo ocenjevanja, izrazitejšo logiko posega in jasnih izjav o pričakovanih rezultatih v delovnih programih.

Sodišče je izpostavilo nekatere države članice, v katerih je odgovornost za ocenjevanje in financiranje ločena. Prav tako obstajajo drugi primeri (kot je Združeno kraljestvo), kjer je ocenjevanje del upravljanja programa (kot to velja za Komisijo). V zvezi s ključnim vprašanjem neodvisnosti je revizija Sodišča pokazala, da so zunanje udeležene strani zadovoljne z uspešnostjo Komisije v tej točki (glej odstavek 58 in diagram 4 besedila Sodišča).

| 59. | — | (prva alinea) Težko je zagotoviti ustrezno vključevanje članov na visoki ravni za odbore, sklicane v daljših obdobjih. |
| --- | --- | --- |

59.

—

(prva alinea) Težko je zagotoviti ustrezno vključevanje članov na visoki ravni za odbore, sklicane v daljših obdobjih.

| — | (druga alinea) Delovna pooblastila za odbore na ravni OP so določena v odločbi Komisije po obsežnem neuradnem posvetovanju z udeleženimi stranmi, vključno z uradnim mnenjem programskih odborov za OP7, ki so sestavljeni iz predstavnikov držav članic in pridruženih držav. To bo veljalo tudi za naslednje naknadno ocenjevanje OP6 leta 2008. |
| --- | --- |

—

(druga alinea) Delovna pooblastila za odbore na ravni OP so določena v odločbi Komisije po obsežnem neuradnem posvetovanju z udeleženimi stranmi, vključno z uradnim mnenjem programskih odborov za OP7, ki so sestavljeni iz predstavnikov držav članic in pridruženih držav. To bo veljalo tudi za naslednje naknadno ocenjevanje OP6 leta 2008.

| 62. | Cilj, da se za ocenjevanje nameni 0,5 % proračuna programa, Komisija priporoča na splošno. Dejansko dodeljena sredstva so močno odvisna od vrste programa. |
| --- | --- |

62.

Cilj, da se za ocenjevanje nameni 0,5 % proračuna programa, Komisija priporoča na splošno. Dejansko dodeljena sredstva so močno odvisna od vrste programa.

| 66. | Čeprav Komisija meni, da ni treba ustanoviti skupnega urada za ocenjevanje, soglaša, da se proučijo druge možnosti za izboljšanje koordinacije.
  Povezava med ocenjevanjem in vodenjem sprejemanja odločitev se lahko najbolje doseže z ocenjevalnimi funkcijami v vsakem generalnem direktoratu in s spodbujanjem obstoječe notranje „evalvacijske mreže RTR“ Komisije ob podpori osrednjih služb. To je tudi v skladu z zakonodajnimi in proračunskimi postopki, kot jih zahtevajo Finančna uredba, Sporočilo Komisije o ocenjevanju iz leta 2007 in postopki v okviru ABM. |
| --- | --- |

66.

Čeprav Komisija meni, da ni treba ustanoviti skupnega urada za ocenjevanje, soglaša, da se proučijo druge možnosti za izboljšanje koordinacije.

Povezava med ocenjevanjem in vodenjem sprejemanja odločitev se lahko najbolje doseže z ocenjevalnimi funkcijami v vsakem generalnem direktoratu in s spodbujanjem obstoječe notranje „evalvacijske mreže RTR“ Komisije ob podpori osrednjih služb. To je tudi v skladu z zakonodajnimi in proračunskimi postopki, kot jih zahtevajo Finančna uredba, Sporočilo Komisije o ocenjevanju iz leta 2007 in postopki v okviru ABM.

| 67. | Komisija se strinja, da imajo lahko odbori pomembno vlogo pri ocenjevanju. Čeprav se prav tako strinja, da bi bilo treba odbore sklicati dovolj zgodaj, da se podpre posamezno ocenjevanje, meni, da v programskem obdobju ni primerno ustanavljanje stalnih odborov.
  Namenski odbor, sklican za določen namen, bi bil veliko verjetneje koristnejši z vidika jasnosti in osredotočenosti. |
| --- | --- |

67.

Komisija se strinja, da imajo lahko odbori pomembno vlogo pri ocenjevanju. Čeprav se prav tako strinja, da bi bilo treba odbore sklicati dovolj zgodaj, da se podpre posamezno ocenjevanje, meni, da v programskem obdobju ni primerno ustanavljanje stalnih odborov.

Namenski odbor, sklican za določen namen, bi bil veliko verjetneje koristnejši z vidika jasnosti in osredotočenosti.

| 68. | Komisija bo skrbno ocenila potrebe po sredstvih za izvedbo ocenjevanja OP v prihodnjih letih. |
| --- | --- |

68.

Komisija bo skrbno ocenila potrebe po sredstvih za izvedbo ocenjevanja OP v prihodnjih letih.

| 70–71. | Metodološke smernice za ocenjevanje, vključno z razpoložljivimi orodji in glosarjem izrazov, so navedene v priročniku GD za proračun (4), katerega storitve, vključno z „generalnimi direktorati za raziskave“, se trenutno posodabljajo.
  Poleg tega je GD za podjetništvo leta 2002 razvil posebne smernice za ocenjevanje, ki zajemajo vse dejavnosti, za katere je GD odgovoren, vključno z OP.
  Proučile se bodo dodatne podporne pobude za ponovno uvedbo „evropske evalvacijske mreže RTR“ (ki jo sestavljajo strokovnjaki iz držav članic in pridruženih držav) in notranje „evalvacijske mreže RTR“ Komisije. Komisija bo prav tako še naprej podpirala neodvisne študije in delavnice o metodologiji ocenjevanja. |
| --- | --- |

70–71.

Metodološke smernice za ocenjevanje, vključno z razpoložljivimi orodji in glosarjem izrazov, so navedene v priročniku GD za proračun (4), katerega storitve, vključno z „generalnimi direktorati za raziskave“, se trenutno posodabljajo.

Poleg tega je GD za podjetništvo leta 2002 razvil posebne smernice za ocenjevanje, ki zajemajo vse dejavnosti, za katere je GD odgovoren, vključno z OP.

Proučile se bodo dodatne podporne pobude za ponovno uvedbo „evropske evalvacijske mreže RTR“ (ki jo sestavljajo strokovnjaki iz držav članic in pridruženih držav) in notranje „evalvacijske mreže RTR“ Komisije. Komisija bo prav tako še naprej podpirala neodvisne študije in delavnice o metodologiji ocenjevanja.

| 72. | Komisija se strinja, da je postopek za redno zbiranje podatkov o projektih samo delno učinkovit. Postopki za poročanje o projektih so bili revidirani v okviru OP6 in se bodo še dodatno izboljšali za OP7 (npr. občasno poročanje bo poenostavljeno; vmesni vprašalniki so se ukinili; končno poročanje bo postalo uporabnejše, zlasti glede zbiranja podatkov o izvajanju in rezultatih projektov). |
| --- | --- |

72.

Komisija se strinja, da je postopek za redno zbiranje podatkov o projektih samo delno učinkovit. Postopki za poročanje o projektih so bili revidirani v okviru OP6 in se bodo še dodatno izboljšali za OP7 (npr. občasno poročanje bo poenostavljeno; vmesni vprašalniki so se ukinili; končno poročanje bo postalo uporabnejše, zlasti glede zbiranja podatkov o izvajanju in rezultatih projektov).

| 74. | „Generalni direktorati za raziskave“ trenutno razvijajo nov informacijski sistem za OP7 ob pomoči GD za informacijsko družbo. Namen tako okrepljene informacijske podpore je zagotoviti trdnejšo podlago za ocenjevanje in spremljanje. |
| --- | --- |

74.

„Generalni direktorati za raziskave“ trenutno razvijajo nov informacijski sistem za OP7 ob pomoči GD za informacijsko družbo. Namen tako okrepljene informacijske podpore je zagotoviti trdnejšo podlago za ocenjevanje in spremljanje.

| 76–78. | Pridobivanje podatkov o ocenjevanju je bilo v obdobju, ki ga zajema revizija, samo delno učinkovito. Komisija uvaja izboljšave v okviru OP7 (glej odgovor na odstavek 72). |
| --- | --- |

76–78.

Pridobivanje podatkov o ocenjevanju je bilo v obdobju, ki ga zajema revizija, samo delno učinkovito. Komisija uvaja izboljšave v okviru OP7 (glej odgovor na odstavek 72).

| 79. | Komisija želi spodbuditi tiste vrste kvalitativnih študij, ki jih je predlagalo Sodišče. |
| --- | --- |

79.

Komisija želi spodbuditi tiste vrste kvalitativnih študij, ki jih je predlagalo Sodišče.

| 81. | Po mnenju Komisije je bilo nedavno izvedenih veliko metodološko bolj zanimivih ocenjevanj (glej odstavek 84), vendar pa je treba razlikovati med obsežnejšimi ocenjevanji in bolj rutinskimi ocenami. |
| --- | --- |

81.

Po mnenju Komisije je bilo nedavno izvedenih veliko metodološko bolj zanimivih ocenjevanj (glej odstavek 84), vendar pa je treba razlikovati med obsežnejšimi ocenjevanji in bolj rutinskimi ocenami.

| 82. | Komisija priznava, da se je na splošno pri ocenjevanju večja pozornost posvetila kratkoročnim dosežkom, in soglaša, da je treba narediti še več analiz v zvezi z izidi in učinki. Vendar pa takšen pristop zahteva dolgoročno perspektivo, zato so ocenjevanja Komisije značilno primerljiva s podobnim delom drugod. |
| --- | --- |

82.

Komisija priznava, da se je na splošno pri ocenjevanju večja pozornost posvetila kratkoročnim dosežkom, in soglaša, da je treba narediti še več analiz v zvezi z izidi in učinki. Vendar pa takšen pristop zahteva dolgoročno perspektivo, zato so ocenjevanja Komisije značilno primerljiva s podobnim delom drugod.

| 83. | Komisija si prizadeva upoštevati neodvisnost strokovnjakov za ocenjevanje, zlasti glede izbire ustreznih metodologij.
  Za naslednjo naknadno oceno OP6 leta 2008 se predlaga, da se izvedejo študije o vedenjski dodatnosti, analizi mrež in uporabi scientometometričnih pristopov. |
| --- | --- |

83.

Komisija si prizadeva upoštevati neodvisnost strokovnjakov za ocenjevanje, zlasti glede izbire ustreznih metodologij.

Za naslednjo naknadno oceno OP6 leta 2008 se predlaga, da se izvedejo študije o vedenjski dodatnosti, analizi mrež in uporabi scientometometričnih pristopov.

| 84. | Meta-analizo prejšnjih ocenjevalnih študij je opravil neodvisni strokovnjak za petletno oceno v letu 2004 (1999–2003) (5).






  — | (druga alinea) Poleg študij, ki jih navaja Sodišče, so se leta 2007 začele dodatne večje študije (6). |
| --- | --- | --- |

84.

Meta-analizo prejšnjih ocenjevalnih študij je opravil neodvisni strokovnjak za petletno oceno v letu 2004 (1999–2003) (5).

—

(druga alinea) Poleg študij, ki jih navaja Sodišče, so se leta 2007 začele dodatne večje študije (6).

| 85. | Komisija se strinja, da je treba še dodatno razviti nove metodološke pristope kot odziv na spreminjajočo naravo OP. Takšen metodološki razvoj Komisija podpira in ga bo še naprej podpirala. |
| --- | --- |

85.

Komisija se strinja, da je treba še dodatno razviti nove metodološke pristope kot odziv na spreminjajočo naravo OP. Takšen metodološki razvoj Komisija podpira in ga bo še naprej podpirala.

| 86. | Ker so bila vprašanja, navedena v delovnih pooblastilih za petletno oceno iz leta 2004 (1999–2003), samo okvirna, je lahko odbor prosto izbiral področja, na katera se bo osredotočil in določil svoje načine dela. Člani odbora so pripomnili, da je bilo ocenjevanje odlično izvedeno (7). |
| --- | --- |

86.

Ker so bila vprašanja, navedena v delovnih pooblastilih za petletno oceno iz leta 2004 (1999–2003), samo okvirna, je lahko odbor prosto izbiral področja, na katera se bo osredotočil in določil svoje načine dela. Člani odbora so pripomnili, da je bilo ocenjevanje odlično izvedeno (7).

| 87. | Sama narava raziskovalnega programa, ki se spopada z negotovostjo, pomeni, da obstajajo omejitve glede obsega, v katerem se lahko opredelijo merljivi cilji. |
| --- | --- |

87.

Sama narava raziskovalnega programa, ki se spopada z negotovostjo, pomeni, da obstajajo omejitve glede obsega, v katerem se lahko opredelijo merljivi cilji.

| 90. | Leta 2007 je Komisija ponovno uvedla svojo „evropsko evalvacijsko mrežo RTR“, ki jo sestavljajo uradniki držav članic in strokovnjaki na področju ocenjevanja in ki jo namerava uporabiti za spodbujanje večje skladnosti pri dejavnostih ocenjevanja raziskav EU, zlasti v zvezi s študijami učinka na ravni držav članic. |
| --- | --- |

90.

Leta 2007 je Komisija ponovno uvedla svojo „evropsko evalvacijsko mrežo RTR“, ki jo sestavljajo uradniki držav članic in strokovnjaki na področju ocenjevanja in ki jo namerava uporabiti za spodbujanje večje skladnosti pri dejavnostih ocenjevanja raziskav EU, zlasti v zvezi s študijami učinka na ravni držav članic.

| 91. | Komisija bo proučila možnost za nov priročnik o ocenjevanju OP, ob upoštevanju nedavno predstavljenih primerov (8). |
| --- | --- |

91.

Komisija bo proučila možnost za nov priročnik o ocenjevanju OP, ob upoštevanju nedavno predstavljenih primerov (8).

| 92. | Postopki za poročanje o projektih so bili revidirani v okviru OP6 in se bodo za OP7 še dodatno izboljšali (glej odgovor na odstavek 72). |
| --- | --- |

92.

Postopki za poročanje o projektih so bili revidirani v okviru OP6 in se bodo za OP7 še dodatno izboljšali (glej odgovor na odstavek 72).

| 93. | Na ravni OP Komisija za OP7 trenutno razvija sistem spremljanja, katerega cilj je zagotoviti skladnejšo in sistematično uporabo kazalnikov uspešnosti (glej odgovor na odstavek 30).
  „Generalni direktorati za raziskave“ trenutno razvijajo nov informacijski sistem za OP7 ob pomoči GD za informacijsko družbo. Namen tako okrepljene informacijske podpore je zagotoviti trdnejšo podlago za ocenjevanje in spremljanje. |
| --- | --- |

93.

Na ravni OP Komisija za OP7 trenutno razvija sistem spremljanja, katerega cilj je zagotoviti skladnejšo in sistematično uporabo kazalnikov uspešnosti (glej odgovor na odstavek 30).

„Generalni direktorati za raziskave“ trenutno razvijajo nov informacijski sistem za OP7 ob pomoči GD za informacijsko družbo. Namen tako okrepljene informacijske podpore je zagotoviti trdnejšo podlago za ocenjevanje in spremljanje.

| 94. | Komisija soglaša s pomisleki Sodišča glede težave bremena poročanja in je to zlasti upoštevala pri opredelitvi zahtev glede poročanja za OP7 (glej odgovor na odstavek 72). |
| --- | --- |

94.

Komisija soglaša s pomisleki Sodišča glede težave bremena poročanja in je to zlasti upoštevala pri opredelitvi zahtev glede poročanja za OP7 (glej odgovor na odstavek 72).

| 95. | Komisija si trenutno prizadeva, da bi izkoristila obstoječe in nove vire podatkov za ocenjevanje in spremljanje (glej odgovor na odstavek 72). |
| --- | --- |

95.

Komisija si trenutno prizadeva, da bi izkoristila obstoječe in nove vire podatkov za ocenjevanje in spremljanje (glej odgovor na odstavek 72).

| 96. | V okviru OP7 obstaja posebno področje ukrepov v okviru teme 8 (Družbene in humanistične vede), ki obravnavajo inovativne pristope k ocenjevanju in spremljanju. |
| --- | --- |

96.

V okviru OP7 obstaja posebno področje ukrepov v okviru teme 8 (Družbene in humanistične vede), ki obravnavajo inovativne pristope k ocenjevanju in spremljanju.

| 97. | Leta 2007 je Komisija ponovno uvedla svojo evropsko evalvacijsko mrežo RTR (glej odgovore na odstavke 70–71 in 90), ki jo namerava uporabiti za spodbujanje večje skladnosti pri dejavnostih ocenjevanja raziskav EU, zlasti v zvezi s študijami učinka držav članic.
  Komisija prav tako namerava z delavnicami in drugimi dogodki ohraniti svoj vodilni položaj pri podpori mednarodnemu mrežnemu povezovanju in izmenjavi praks o ocenjevanju raziskav. |
| --- | --- |

97.

Leta 2007 je Komisija ponovno uvedla svojo evropsko evalvacijsko mrežo RTR (glej odgovore na odstavke 70–71 in 90), ki jo namerava uporabiti za spodbujanje večje skladnosti pri dejavnostih ocenjevanja raziskav EU, zlasti v zvezi s študijami učinka držav članic.

Komisija prav tako namerava z delavnicami in drugimi dogodki ohraniti svoj vodilni položaj pri podpori mednarodnemu mrežnemu povezovanju in izmenjavi praks o ocenjevanju raziskav.

| 99. | Časovni načrt ocenjevanja je določen z zahtevami, določenimi v osnovnih aktih, ki sta jih sprejela Evropski parlament in Svet. Komisija priznava, da je o dolgoročnih učinkih znanega zelo malo, in soglaša, da je treba na tem področju narediti še več. |
| --- | --- |

99.

Časovni načrt ocenjevanja je določen z zahtevami, določenimi v osnovnih aktih, ki sta jih sprejela Evropski parlament in Svet. Komisija priznava, da je o dolgoročnih učinkih znanega zelo malo, in soglaša, da je treba na tem področju narediti še več.

| 100. | Komisija soglaša, da so se petletne ocene poskušale bolj osredotočati na kratkoročno kot dolgoročno oceno. To pojasnjujejo dejavniki, vključno z interesom zunanjih udeleženih strani, kot sta Evropski parlament in Svet, o hitrih povratnih informacijah o uspešnosti OP, izzivu določitve učinkov na raziskave v daljšem časovnem obdobju in osrednji temi, ki jo izberejo neodvisni odbori, ki izvajajo ocenjevanja. Vendar pa se Komisija strinja, da je treba več pozornosti posvetiti oceni dolgoročnejših učinkov. |
| --- | --- |

100.

Komisija soglaša, da so se petletne ocene poskušale bolj osredotočati na kratkoročno kot dolgoročno oceno. To pojasnjujejo dejavniki, vključno z interesom zunanjih udeleženih strani, kot sta Evropski parlament in Svet, o hitrih povratnih informacijah o uspešnosti OP, izzivu določitve učinkov na raziskave v daljšem časovnem obdobju in osrednji temi, ki jo izberejo neodvisni odbori, ki izvajajo ocenjevanja. Vendar pa se Komisija strinja, da je treba več pozornosti posvetiti oceni dolgoročnejših učinkov.

| 108. | Komisija ravno načrtuje glavne dejavnosti ocenjevanja v okviru OP7 in bo priporočila Sodišča skrbno upoštevala. Komisija priznava, da je o dolgoročnih učinkih znanega zelo malo, in soglaša, da je treba na tem področju narediti še več. |
| --- | --- |

108.

Komisija ravno načrtuje glavne dejavnosti ocenjevanja v okviru OP7 in bo priporočila Sodišča skrbno upoštevala. Komisija priznava, da je o dolgoročnih učinkih znanega zelo malo, in soglaša, da je treba na tem področju narediti še več.

| 109. | Kot je Sodišče ugotovilo v odstavku 107, Komisija povzetek vseh ugotovitev in sprejetih ukrepov za ocenjevanja raziskav navaja v svojem letnem pregledu ocenjevanja. Komisija je zavezana k popolni preglednosti svojega ocenjevalnega dela in bo upoštevala priporočilo Sodišča, da se pregledajo sredstva za sporočanje in razširjanje ugotovitev. |
| --- | --- |

109.

Kot je Sodišče ugotovilo v odstavku 107, Komisija povzetek vseh ugotovitev in sprejetih ukrepov za ocenjevanja raziskav navaja v svojem letnem pregledu ocenjevanja. Komisija je zavezana k popolni preglednosti svojega ocenjevalnega dela in bo upoštevala priporočilo Sodišča, da se pregledajo sredstva za sporočanje in razširjanje ugotovitev.

| 110–111. | Komisija soglaša s Sodiščem, da je ocenjevanje raziskav, zlasti za tako obsežen program, kot je OP, poseben izziv.
  Ugotavlja, da se je sistem v zadnjih 25 letih bistveno izboljšal in da je bil celoten sistem učinkovit za tiste, ki odločajo o politikah, vodje raziskav in druge udeležene strani. |
| --- | --- |

110–111.

Komisija soglaša s Sodiščem, da je ocenjevanje raziskav, zlasti za tako obsežen program, kot je OP, poseben izziv.

Ugotavlja, da se je sistem v zadnjih 25 letih bistveno izboljšal in da je bil celoten sistem učinkovit za tiste, ki odločajo o politikah, vodje raziskav in druge udeležene strani.

| 112. | Komisija pozdravlja ugotovitev Sodišča, da so generalni direktorati, ki izvajajo OP, izpolnili zahteve Komisije, vključno s tistimi, ki so bile opredeljene leta 2000 in 2002 v sporočilih o ocenjevanju.
  Pri ocenjevanju OP so se uvedle znatne spremembe, vključno z večjim prestrukturiranjem za OP7, kot je določeno v strategiji, ki jo zagotavlja ocena učinka (SEC(2005) 430). |
| --- | --- |

112.

Komisija pozdravlja ugotovitev Sodišča, da so generalni direktorati, ki izvajajo OP, izpolnili zahteve Komisije, vključno s tistimi, ki so bile opredeljene leta 2000 in 2002 v sporočilih o ocenjevanju.

Pri ocenjevanju OP so se uvedle znatne spremembe, vključno z večjim prestrukturiranjem za OP7, kot je določeno v strategiji, ki jo zagotavlja ocena učinka (SEC(2005) 430).

| 113. | V zvezi z ustreznostjo in uporabnostjo ocenjevanj lahko Komisija opozori na splošno pozitivne povratne informacije, ki jih je prejela, zlasti z nedavnimi ključnimi ocenjevanji, kot je petletna ocena iz leta 2004 (1999–2003). Ugotovitve iz petletne ocene so se na široko razširjale in se tudi predstavile ključnim organom, kot so Evropski parlament, Svet, CREST in programski odbor OP. Glede na to, da je bila obvezna zahteva, da se to ocenjevanje izvede pred predlogom Komisije za nov okvirni program (v tem primeru OP7), njegovo celotno sprejemljivost nakazuje končno sprejetje OP7.
  To ne pomeni, da izboljšave niso mogoče, Komisija pa v celoti odobrava potrebo po skrbno pretehtanih spremembah, temelječih na elementih trenutnega pristopa, ki že deluje dobro. |
| --- | --- |

113.

V zvezi z ustreznostjo in uporabnostjo ocenjevanj lahko Komisija opozori na splošno pozitivne povratne informacije, ki jih je prejela, zlasti z nedavnimi ključnimi ocenjevanji, kot je petletna ocena iz leta 2004 (1999–2003). Ugotovitve iz petletne ocene so se na široko razširjale in se tudi predstavile ključnim organom, kot so Evropski parlament, Svet, CREST in programski odbor OP. Glede na to, da je bila obvezna zahteva, da se to ocenjevanje izvede pred predlogom Komisije za nov okvirni program (v tem primeru OP7), njegovo celotno sprejemljivost nakazuje končno sprejetje OP7.

To ne pomeni, da izboljšave niso mogoče, Komisija pa v celoti odobrava potrebo po skrbno pretehtanih spremembah, temelječih na elementih trenutnega pristopa, ki že deluje dobro.

| 114. | Komisija pozdravlja dejstvo, da je Sodišče priznalo pomen ocenjevanja in spremljanja, ter bo na podlagi že izvedenih bistvenih izboljšav še naprej dopolnjevala svoje trenutne prakse ob upoštevanju novih političnih in praktičnih stvarnosti. |
| --- | --- |

114.

Komisija pozdravlja dejstvo, da je Sodišče priznalo pomen ocenjevanja in spremljanja, ter bo na podlagi že izvedenih bistvenih izboljšav še naprej dopolnjevala svoje trenutne prakse ob upoštevanju novih političnih in praktičnih stvarnosti.

| 115. | Komisija je že zavezana k zagotavljanju večje jasnosti logike posega v programe, pri čemer se opira na novosti, ki jih vsebujejo zakonodaja o OP7 in ocene učinka, ter bo proučila priporočilo Sodišča za prihodnje zakonodajne predloge. |
| --- | --- |

115.

Komisija je že zavezana k zagotavljanju večje jasnosti logike posega v programe, pri čemer se opira na novosti, ki jih vsebujejo zakonodaja o OP7 in ocene učinka, ter bo proučila priporočilo Sodišča za prihodnje zakonodajne predloge.

| 116. | Komisija se na podlagi že izvedenih bistvenih izboljšav pri ocenjevanju OP strinja, da so izboljšave še vedno možne, vključno s tesnejšo koordinacijo na operativni ravni med zadevnimi službami. Komisija si bo še naprej prizadevala, da bo podpirala razvojne dosežke pri metodologiji ocenjevanja. |
| --- | --- |

116.

Komisija se na podlagi že izvedenih bistvenih izboljšav pri ocenjevanju OP strinja, da so izboljšave še vedno možne, vključno s tesnejšo koordinacijo na operativni ravni med zadevnimi službami. Komisija si bo še naprej prizadevala, da bo podpirala razvojne dosežke pri metodologiji ocenjevanja.

| 117. | V zvezi z organizacijskimi ureditvami Komisija meni, da






  — | (prva alinea) bi se odbori morali sklicati dovolj zgodaj, da se zagotovi podpora za posamezno ocenjevanje. Namenski odbori, sklicani za posebne namene, pa bodo verjetno veliko koristnejši z vidika jasnosti in osredotočenosti, |
| --- | --- | --- |

117.

V zvezi z organizacijskimi ureditvami Komisija meni, da

—

(prva alinea) bi se odbori morali sklicati dovolj zgodaj, da se zagotovi podpora za posamezno ocenjevanje. Namenski odbori, sklicani za posebne namene, pa bodo verjetno veliko koristnejši z vidika jasnosti in osredotočenosti,

| — | (druga alinea) je treba okrepiti koordinacijo med GD, ki izvajajo OP. Poleg nove strategije ocenjevanja OP7 je to mogoče doseči z uporabo posebnih koordinacijskih struktur, ki bodo dopolnile notranjo „evalvacijsko mrežo RTR“ Komisije, namesto da se ustanovi skupni urad za ocenjevanje. |
| --- | --- |

—

(druga alinea) je treba okrepiti koordinacijo med GD, ki izvajajo OP. Poleg nove strategije ocenjevanja OP7 je to mogoče doseči z uporabo posebnih koordinacijskih struktur, ki bodo dopolnile notranjo „evalvacijsko mrežo RTR“ Komisije, namesto da se ustanovi skupni urad za ocenjevanje.

---

(1)  Sporočilo Komisije spomladanskemu Evropskemu svetu – Izvajanje prenovljene lizbonske strategije za rast in delovna mesta (COM(2006) 816).

(2)  Predlog Komisije za OP7 se je na primer razvil na podlagi podrobne predhodne ocene učinka, ki je vključevala ekonometrično modeliranje morebitnih učinkov raziskovalne dejavnosti na vprašanja, kot sta gospodarska rast in odpiranje delovnih mest (glej Evropska komisija, Delovni dokument služb Komisije, „Ocena učinka in predhodna ocena predloga za sklepa Sveta in Evropskega parlamenta o Sedmem okvirnem programu (ES in Euratom)“, SEC(2005) 430). Sklepa o OP7 zagotavljata jasno strukturo, ki povezuje cilje, utemeljitev in dejavnosti. Poleg tega odločbe o posebnem programu OP7 določajo cilje, pristop in dejavnosti.

(3)  „Okvir za ocenjevanje kakovosti“ je na voljo na http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Evropska komisija, GD za proračun, „Evaluating EU activities: a practical guide for the Commission services“, julij 2004, je na voljo na http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, „What the Evaluation Record tells us about the Framework Programme Performance“, 2004.

(6)  GD za raziskave, „Structuring Effects of Community Research – The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation“, 2007; GD za informacijsko družbo in medije, „Effectiveness of IST-RTD Impacts on the EU Innovation System“, 2007.

(7)  Glej C. Mandl, „Evaluating Evaluations or The Case for Action Research“, Austrian Platform Newsletter, št. 30, junij 2007.

(8)  Glej na primer Evropska komisija, Skupno raziskovalno središče, „Assessing the Socio-Economic Impact of RTD-Policies“ (EPUB), 2002, in Univerza v Manchestru, „Assessing the Socio-economic Impacts of the Framework Programme“ (ASIF), 2002, oboje na voljo na http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Ti poročili sta bili dostopni širši javnosti ter dani na razpolago izvajalcem in strokovnjakom, ki so izvajali ocenjevalne študije v imenu Komisije.

---