# Euroopa Liidu C 26/2008

| | ISSN 1725-5171 |
| --- | --- |
| Euroopa Liidu
  Teataja | C 26 |
| | |
| Eestikeelne väljaanne | Teave ja teatised | 51. köide30. jaanuar 2008 |

ISSN 1725-5171

Euroopa Liidu

Teataja

C 26

Eestikeelne väljaanne

Teave ja teatised

51. köide30. jaanuar 2008

---

| Teatis nr | Sisukord | Lehekülg |
| --- | --- | --- |
| | IV   Teave |
| | TEAVE EUROOPA LIIDU INSTITUTSIOONIDELT JA ORGANITELT |
| | Kontrollikoda |
| 2008/C 026/01 | Eriaruanne nr 9/2007 Euroopa Liidu teadusuuringute ja tehnoloogiaarenduse raamprogrammide hindamise kohta — kas komisjoni lähenemisviisi on võimalik parandada? koos komisjoni vastustega | 1 |

Teatis nr

Sisukord

Lehekülg

IV   Teave

TEAVE EUROOPA LIIDU INSTITUTSIOONIDELT JA ORGANITELT

Kontrollikoda

2008/C 026/01

Eriaruanne nr 9/2007 Euroopa Liidu teadusuuringute ja tehnoloogiaarenduse raamprogrammide hindamise kohta — kas komisjoni lähenemisviisi on võimalik parandada? koos komisjoni vastustega

1

| ET | |
| --- | --- |

ET

---

IV Teave

TEAVE EUROOPA LIIDU INSTITUTSIOONIDELT JA ORGANITELT

Kontrollikoda

| 30.1.2008 | ET | Euroopa Liidu Teataja | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

ET

Euroopa Liidu Teataja

C 26/1

---

ERIARUANNE nr 9/2007

„Euroopa Liidu teadusuuringute ja tehnoloogiaarenduse raamprogrammide hindamise kohta — kas komisjoni lähenemisviisi on võimalik parandada?” koos komisjoni vastustega

(vastavalt EÜ asutamislepingu artikli 248 lõike 4 teisele lõigule)

(2008/C 26/01)

SISUKORD

| I–V | KOMMENTEERITUD KOKKUVÕTE |
| --- | --- |

I–V

| 1–14 | SISSEJUHATUS |
| --- | --- |

1–14

| 1–7 | Euroopa Liidu osatähtsus teadusuuringute ja tehnoloogiaarendusega seonduva tegevuse toetamisel |
| --- | --- |

1–7

| 8–14 | Raamprogrammide hindamine ja järelevalve |
| --- | --- |

8–14

| 15–18 | AUDITI ULATUS JA LÄHENEMISVIIS |
| --- | --- |

15–18

| 19–109 | AUDITI TÄHELEPANEKUD |
| --- | --- |

19–109

| 19–37 | Sekkumisloogika, eesmärkide püstitamine ja tulemusnäitajad |
| --- | --- |

19–37

| 38–49 | Hindamisstrateegia |
| --- | --- |

38–49

| 50–68 | Raamprogrammide hindamise korraldamine |
| --- | --- |

50–68

| 69–97 | Hindamismetoodika ja -tehnika |
| --- | --- |

69–97

| 98–109 | Hindamisleidude levitamine ja kasutamine |
| --- | --- |

98–109

| 110–118 | ÜLDINE JÄRELDUS |
| --- | --- |

110–118

I lisa: Teadusuuringute ja tehnoloogia arengu avaliku sekkumise mõju ja tulemuste hindamine

II lisa: Järelevalvet ja hindamist käsitlevad sätted raamprogrammide kohta tehtud otsustes neljandast seitsmenda raamprogrammini

III lisa: Uurimisprogrammide järelhindamiste peamised erinevused ELi, Ameerika Ühendriikide ja Kanada vahel (neljandast raamprogrammist kuuendani)

IV lisa: Seitsmenda raamprogrammi töörühma võimalik koosseis

Komisjoni vastused

KOMMENTEERITUD KOKKUVÕTE

| I. | Ühenduse teadusuuringute ja tehnoloogiaarenduse (TTA) raamprogrammid on suurim avaliku sektori allikas, millest Euroopa Liidu teadusuuringuid rahastatakse. Komisjon vastutab raamprogrammide haldamise ja nende tulemuste hindamise eest. |
| --- | --- |

I.

Ühenduse teadusuuringute ja tehnoloogiaarenduse (TTA) raamprogrammid on suurim avaliku sektori allikas, millest Euroopa Liidu teadusuuringuid rahastatakse. Komisjon vastutab raamprogrammide haldamise ja nende tulemuste hindamise eest.

| II. | Audit hõlmab alates 1995. aastast rakendatavat järelevalve ja hindamise korda kolmel viimasel programmitööperioodil (neljas, viies ja kuues raamprogramm) ja annab seitsmenda raamprogrammi (2007–2013) väljavaate. Audit viidi läbi koostöös EFTA audiitorkogu ja välisekspertidega. |
| --- | --- |

II.

Audit hõlmab alates 1995. aastast rakendatavat järelevalve ja hindamise korda kolmel viimasel programmitööperioodil (neljas, viies ja kuues raamprogramm) ja annab seitsmenda raamprogrammi (2007–2013) väljavaate. Audit viidi läbi koostöös EFTA audiitorkogu ja välisekspertidega.

| III. | Auditis vaadeldi, kas komisjoni raamprogrammide tulemuste hindamine oli piisav. Nimetatud kontekstis uuris kontrollikoda, kas komisjon järgis hindamisega seonduvaid õigusnorme ja komisjoni hindamis- ja järelevalvesüsteem vastas sidusrühmade ootustele. Kontrollikoda keskendus eelkõige järgmistele küsimustele:






  i) | kas raamprogrammide ja neis sisalduvate programmide puhul on olemas sekkumisloogika, mis annab hindamisele ja järelevalvele kindla aluse; |
| --- | --- | --- |

III.

Auditis vaadeldi, kas komisjoni raamprogrammide tulemuste hindamine oli piisav. Nimetatud kontekstis uuris kontrollikoda, kas komisjon järgis hindamisega seonduvaid õigusnorme ja komisjoni hindamis- ja järelevalvesüsteem vastas sidusrühmade ootustele. Kontrollikoda keskendus eelkõige järgmistele küsimustele:

i)

kas raamprogrammide ja neis sisalduvate programmide puhul on olemas sekkumisloogika, mis annab hindamisele ja järelevalvele kindla aluse;

| ii) | kas komisjon on määratlenud raamprogrammide hindamisstrateegia; |
| --- | --- |

ii)

kas komisjon on määratlenud raamprogrammide hindamisstrateegia;

| iii) | kas komisjoni raamprogrammide hindamissüsteemi organisatsiooniline ülesehitus tagab hindamise nõuetekohase kooskõlastatuse, asjakohase rahastatuse ja kas huvirühmade arvates on see piisavalt sõltumatu; |
| --- | --- |

iii)

kas komisjoni raamprogrammide hindamissüsteemi organisatsiooniline ülesehitus tagab hindamise nõuetekohase kooskõlastatuse, asjakohase rahastatuse ja kas huvirühmade arvates on see piisavalt sõltumatu;

| iv) | kas hindamismetoodika on rahuldav; |
| --- | --- |

iv)

kas hindamismetoodika on rahuldav;

| v) | kas hindamis- ja järelevalvetoimingud annavad teavet ja analüüsi, mida võiks kasutada käimasolevate programmide tõhustamiseks ja järgmiste raamprogrammide ettevalmistamiseks. |
| --- | --- |

v)

kas hindamis- ja järelevalvetoimingud annavad teavet ja analüüsi, mida võiks kasutada käimasolevate programmide tõhustamiseks ja järgmiste raamprogrammide ettevalmistamiseks.

| IV. | Kontrollikoja leiud ja järeldused olid järgmised:






  i) | selgesõnalise sekkumisloogika puudumine ja halvasti määratletud programmi eesmärgid ning ebatõhus tulemuslikkuse mõõtmine vähendas järelevalve ja hindamise mõjusust; |
| --- | --- | --- |

IV.

Kontrollikoja leiud ja järeldused olid järgmised:

i)

selgesõnalise sekkumisloogika puudumine ja halvasti määratletud programmi eesmärgid ning ebatõhus tulemuslikkuse mõõtmine vähendas järelevalve ja hindamise mõjusust;

| ii) | raamprogramme rakendavate teadusuuringute peadirektoraatide vahel kokkulepitud põhjaliku hindamisstrateegia puudumise tagajärjeks oli erinevate komisjoni talituste ebajärjekindel lähenemisviis, mida näitestab eelkõige raamprogrammide oluliselt suurte osade alahindamine; |
| --- | --- |

ii)

raamprogramme rakendavate teadusuuringute peadirektoraatide vahel kokkulepitud põhjaliku hindamisstrateegia puudumise tagajärjeks oli erinevate komisjoni talituste ebajärjekindel lähenemisviis, mida näitestab eelkõige raamprogrammide oluliselt suurte osade alahindamine;

| iii) | raamprogrammide hindamine oli detsentraliseeritud, raamprogramme rakendavate peadirektoraatide praegused kooskõlastamismehhanismid ei olnud mõjusad ja komisjoni kesktalitustel puudus täitmise tagamiseks oma osa. Teadusuuringute peadirektoraadid on üldiselt siiski järginud komisjoni hindamise vorminõudeid. Kõrgetasemelistest välisekspertidest koosnevate eksperdirühmade kasutus, keda komisjon oli määranud põhilisi hindamisi tegema, sobib hästi ühenduse konteksti. Nimetatud ajutisi eksperdirühmi ei ole siiski kaasatud protsessi piisavalt vara, et nad võinuks mõjutada tõendusmaterjali kogumist, lisaks olid nende võimalused oluliste teemade järgimisel kogu aja jooksul piiratud. Kuna kasutati ainult üldise raamprogrammi eksperdirühma (lisaks ühele eriprogrammi eksperdirühmale), ei pööratud raamprogrammide raames piisavalt tähelepanu konkreetsetele küsimustele erinevates teadusvaldkondades; |
| --- | --- |

iii)

raamprogrammide hindamine oli detsentraliseeritud, raamprogramme rakendavate peadirektoraatide praegused kooskõlastamismehhanismid ei olnud mõjusad ja komisjoni kesktalitustel puudus täitmise tagamiseks oma osa. Teadusuuringute peadirektoraadid on üldiselt siiski järginud komisjoni hindamise vorminõudeid. Kõrgetasemelistest välisekspertidest koosnevate eksperdirühmade kasutus, keda komisjon oli määranud põhilisi hindamisi tegema, sobib hästi ühenduse konteksti. Nimetatud ajutisi eksperdirühmi ei ole siiski kaasatud protsessi piisavalt vara, et nad võinuks mõjutada tõendusmaterjali kogumist, lisaks olid nende võimalused oluliste teemade järgimisel kogu aja jooksul piiratud. Kuna kasutati ainult üldise raamprogrammi eksperdirühma (lisaks ühele eriprogrammi eksperdirühmale), ei pööratud raamprogrammide raames piisavalt tähelepanu konkreetsetele küsimustele erinevates teadusvaldkondades;

| iv) | metoodikaalane juhendamine oli ebapiisav; hindajatel oli raske koguda asjakohaseid andmeid ja hindamisuuringutes ei käsitletud raamprogrammide pikaajalisi tulemusi ja mõjusid, eelistati keskenduda programmi rakendamisega seonduvatele lühiajalistele probleemidele; |
| --- | --- |

iv)

metoodikaalane juhendamine oli ebapiisav; hindajatel oli raske koguda asjakohaseid andmeid ja hindamisuuringutes ei käsitletud raamprogrammide pikaajalisi tulemusi ja mõjusid, eelistati keskenduda programmi rakendamisega seonduvatele lühiajalistele probleemidele;

| v) | eespool osutatud puuduste tõttu ja arvestades asjaolu, et hindamised tehti sageli liiga vara käsitlemaks kõige asjakohasemaid küsimusi, oli komisjoni raamprogrammide hindamissüsteemist vähe kasu poliitikakujundajatele, huvirühmadele ja isegi komisjonile endale. Lõpptulemusena on vähe teavet raamprogrammide programmieesmärkide saavutamise ja tulemuste kohta. |
| --- | --- |

v)

eespool osutatud puuduste tõttu ja arvestades asjaolu, et hindamised tehti sageli liiga vara käsitlemaks kõige asjakohasemaid küsimusi, oli komisjoni raamprogrammide hindamissüsteemist vähe kasu poliitikakujundajatele, huvirühmadele ja isegi komisjonile endale. Lõpptulemusena on vähe teavet raamprogrammide programmieesmärkide saavutamise ja tulemuste kohta.

| V. | Kontrollikoda soovitab järgmist:






  i) | tulevastes õigusaktides tuleb esitada selgesõnaline sekkumisloogika. Tuleks seletada selle aluseks olevaid kaalutlusi, selgitada teadusalaste ja sotsiaalmajanduslike eesmärkide seost ning välja töötada asjakohased tulemusnäitajad; |
| --- | --- | --- |

V.

Kontrollikoda soovitab järgmist:

i)

tulevastes õigusaktides tuleb esitada selgesõnaline sekkumisloogika. Tuleks seletada selle aluseks olevaid kaalutlusi, selgitada teadusalaste ja sotsiaalmajanduslike eesmärkide seost ning välja töötada asjakohased tulemusnäitajad;

| ii) | raamprogramme rakendavad peadirektoraadid peavad välja arendama põhjaliku (ja peadirektoraatide vahel kokku lepitud) hindamisstrateegia. See peab sisaldama eelkõige järjekindlat lähenemisviisi üksikasjalikuks hindamiseks vajaliku minimaalse taseme osas, et oleks võimalik arvesse võtta iga teadusvaldkonna eripärad; |
| --- | --- |

ii)

raamprogramme rakendavad peadirektoraadid peavad välja arendama põhjaliku (ja peadirektoraatide vahel kokku lepitud) hindamisstrateegia. See peab sisaldama eelkõige järjekindlat lähenemisviisi üksikasjalikuks hindamiseks vajaliku minimaalse taseme osas, et oleks võimalik arvesse võtta iga teadusvaldkonna eripärad;

| iii) | tuleks kaaluda ühise hindamisüksuse loomist, mille ülesandeks on kooskõlastada teadusuuringute peadirektoraatide hindamistegevust raamprogrammi suhtes tervikuna ja luua välisekspertide töörühmade (ja alatöörühmade) süsteem. Nimetatud eksperdirühmad tuleb luua piisavalt vara, et osutada tõhusat abi komisjonile ja jätkata sel viisil kogu programmitööperioodi jooksul ja pärast seda; |
| --- | --- |

iii)

tuleks kaaluda ühise hindamisüksuse loomist, mille ülesandeks on kooskõlastada teadusuuringute peadirektoraatide hindamistegevust raamprogrammi suhtes tervikuna ja luua välisekspertide töörühmade (ja alatöörühmade) süsteem. Nimetatud eksperdirühmad tuleb luua piisavalt vara, et osutada tõhusat abi komisjonile ja jätkata sel viisil kogu programmitööperioodi jooksul ja pärast seda;

| iv) | tuleks nõuetekohaselt analüüsida hindamise ja järelevalve andmevajadusi ja kasutada laialdasemalt teisi olemasolevaid andmeallikaid. Komisjon peaks ratsionaliseerima ka osalistele ettekirjutatud nõudeid. Lõpuks peaks komisjon koostama raamprogrammide hindamise põhjaliku käsiraamatu ja välja töötama laiema valiku hindamismeetoditest ja -tehnikatest nimetatud valdkonnas; |
| --- | --- |

iv)

tuleks nõuetekohaselt analüüsida hindamise ja järelevalve andmevajadusi ja kasutada laialdasemalt teisi olemasolevaid andmeallikaid. Komisjon peaks ratsionaliseerima ka osalistele ettekirjutatud nõudeid. Lõpuks peaks komisjon koostama raamprogrammide hindamise põhjaliku käsiraamatu ja välja töötama laiema valiku hindamismeetoditest ja -tehnikatest nimetatud valdkonnas;

| v) | komisjon peaks määratlema, mis tüüpi ja millise ulatusega hindamist võib põhjendatult eeldada kuupäevadeks, mis on kindlaks määratud seitsmenda raamprogrammiga seotud õigusnormides, ja selgitama, kuidas saab hindamist programmide kohandamisel kasutada („õppeprogrammid”) ja mil määral need saaksid kaasa aidata poliitiliste otsuste tegemisele. |
| --- | --- |

v)

komisjon peaks määratlema, mis tüüpi ja millise ulatusega hindamist võib põhjendatult eeldada kuupäevadeks, mis on kindlaks määratud seitsmenda raamprogrammiga seotud õigusnormides, ja selgitama, kuidas saab hindamist programmide kohandamisel kasutada („õppeprogrammid”) ja mil määral need saaksid kaasa aidata poliitiliste otsuste tegemisele.

SISSEJUHATUS

Euroopa Liidu osatähtsus teadusuuringute ja tehnoloogiaarendusega seonduva tegevuse toetamisel

| 1. | Teadusuuringud ja tehnoloogiaarendus (TTA) (1) on teadusliku ja tehnilise progressi ja uuenduste peamine liikumapanev jõud ning seega aitab see oluliselt kaasa elatustaseme parendamisele. Avalik sekkumine TTA valdkonnas on tavaliselt õigustatud nn parandusmeetmena turuprobleemide käsitlemisel ning riiklik toetus aitab vähendada ebakindlust ja hankida investeeringuid valdkondades, kus uurimistegevus on avalikkuse huvides või kui välised mõjud on olulised. |
| --- | --- |

1.

Teadusuuringud ja tehnoloogiaarendus (TTA) (1) on teadusliku ja tehnilise progressi ja uuenduste peamine liikumapanev jõud ning seega aitab see oluliselt kaasa elatustaseme parendamisele. Avalik sekkumine TTA valdkonnas on tavaliselt õigustatud nn parandusmeetmena turuprobleemide käsitlemisel ning riiklik toetus aitab vähendada ebakindlust ja hankida investeeringuid valdkondades, kus uurimistegevus on avalikkuse huvides või kui välised mõjud on olulised.

| 2. | Euroopa Ühenduse asutamislepingu artiklis 163 sätestatakse ühenduste osatähtsus TTA toetamisel järgmiselt, et „ühenduse eesmärk on tugevdada ühenduse tööstuse teaduslikke ja tehnoloogilisi aluseid ning toetada selle muutumist konkurentsivõimelisemaks rahvusvahelisel tasandil, samal ajal edendades kõiki teadusuuringuid, mida peetakse vajalikuks...”. Artiklitega 164–173 on kindlaks määratud selles valdkonnas läbiviidav tegevus ja mitmeaastaste TTA raamprogrammide ulatus ja rakendus. Komisjoni ülesanne on esitada ettepanekud raamprogrammide kohta, kusjuures otsused raamprogrammide kohta ning osalemise ja levitamise eeskirjad võetakse vastu Euroopa Parlamendi ja nõukogu kaasotsustamismenetluse teel. Eespool osutatud viisil võetakse vastu ainult eriprogrammid. Kuus nn teadusuuringute peadirektoraati rakendavad raamprogramme ühiselt (2). |
| --- | --- |

2.

Euroopa Ühenduse asutamislepingu artiklis 163 sätestatakse ühenduste osatähtsus TTA toetamisel järgmiselt, et „ühenduse eesmärk on tugevdada ühenduse tööstuse teaduslikke ja tehnoloogilisi aluseid ning toetada selle muutumist konkurentsivõimelisemaks rahvusvahelisel tasandil, samal ajal edendades kõiki teadusuuringuid, mida peetakse vajalikuks...”. Artiklitega 164–173 on kindlaks määratud selles valdkonnas läbiviidav tegevus ja mitmeaastaste TTA raamprogrammide ulatus ja rakendus. Komisjoni ülesanne on esitada ettepanekud raamprogrammide kohta, kusjuures otsused raamprogrammide kohta ning osalemise ja levitamise eeskirjad võetakse vastu Euroopa Parlamendi ja nõukogu kaasotsustamismenetluse teel. Eespool osutatud viisil võetakse vastu ainult eriprogrammid. Kuus nn teadusuuringute peadirektoraati rakendavad raamprogramme ühiselt (2).

| 3. | Paljude Euroopa Liidus innovatsiooni ja konkurentsivõime tugevdamiseks rakendatavate tegevuspõhimõtete seas on raamprogrammid kõige tähtsamad rahastamisvahendid, mis aitavad kaasa Lissaboni strateegia (3) edendamisele ja Barcelona eesmärgi (4) saavutamisele ühenduse tasandil. |
| --- | --- |

3.

Paljude Euroopa Liidus innovatsiooni ja konkurentsivõime tugevdamiseks rakendatavate tegevuspõhimõtete seas on raamprogrammid kõige tähtsamad rahastamisvahendid, mis aitavad kaasa Lissaboni strateegia (3) edendamisele ja Barcelona eesmärgi (4) saavutamisele ühenduse tasandil.

Image

| 4. | Raamprogrammide kaudu rahastab ühendus teadusuuringuid Euroopa Liidus, assotsieerunud riikides ja rahvusvahelistes organisatsioonides. Nimetatud raamprogrammide eelarve on aastate jooksul oluliselt suurenenud, ulatudes seitsmendas raamprogrammis 7 217 miljoni euroni aastas, võrreldes 2 761 miljoni euroga neljandas raamprogrammis (vt joonis 1). Raamprogrammid moodustavad kõige suurema osa otsese tsentraliseeritud halduse valdkonda kuuluvatest komisjoni eelarveassigneeringutest (5). |
| --- | --- |

4.

Raamprogrammide kaudu rahastab ühendus teadusuuringuid Euroopa Liidus, assotsieerunud riikides ja rahvusvahelistes organisatsioonides. Nimetatud raamprogrammide eelarve on aastate jooksul oluliselt suurenenud, ulatudes seitsmendas raamprogrammis 7 217 miljoni euroni aastas, võrreldes 2 761 miljoni euroga neljandas raamprogrammis (vt joonis 1). Raamprogrammid moodustavad kõige suurema osa otsese tsentraliseeritud halduse valdkonda kuuluvatest komisjoni eelarveassigneeringutest (5).

| 5. | Raamprogrammid erinevad paljudest riiklikest programmidest selle poolest, et hõlmavad ettevõtete ja avalike uurimisasutuste osalusega alus- ning rakendusuuringuid (6). Raamprogrammid koosnevad paljudest eriprogrammidest (ja alaprogrammidest), milles käsitletakse ulatuslikke teadusvaldkondi. Nimetatud raamprogrammid hõlmavad tavaliselt mitut valdkonda, milles keskendutakse konkreetsematele teadusharudele. Neid valdkondi rakendatakse seejärel projektikonkursi korras saadud projektide (nn „kaudsed meetmed”) kaudu. Sellisel viisil rahastatakse sadu üksikprojekte igas valdkonnas. |
| --- | --- |

5.

Raamprogrammid erinevad paljudest riiklikest programmidest selle poolest, et hõlmavad ettevõtete ja avalike uurimisasutuste osalusega alus- ning rakendusuuringuid (6). Raamprogrammid koosnevad paljudest eriprogrammidest (ja alaprogrammidest), milles käsitletakse ulatuslikke teadusvaldkondi. Nimetatud raamprogrammid hõlmavad tavaliselt mitut valdkonda, milles keskendutakse konkreetsematele teadusharudele. Neid valdkondi rakendatakse seejärel projektikonkursi korras saadud projektide (nn „kaudsed meetmed”) kaudu. Sellisel viisil rahastatakse sadu üksikprojekte igas valdkonnas.

| 6. | TTA rahastamisel avaliku sektori vahenditest moodustab raamprogrammide üldine osakaal Euroopa Liidus ja liikmesriikides 4–5 %. Vaatamata sellele on nende mõju Euroopas teostatud teadusuuringutele oluliselt suurem. Selle põhjuseks on asjaolu, et ühenduse toetustest rahastatakse projekti ainult osaliselt. Lisaks tuleb teadlastel näidata rahastamise taotlemisel, et nende projektides järgitakse projektikonkursiga kindlaksmääratud eesmärke. Sel viisil stimuleeritakse raamprogrammidega TTA tegevuse suunamist konkreetsete ELi eesmärkide järgimiseks. |
| --- | --- |

6.

TTA rahastamisel avaliku sektori vahenditest moodustab raamprogrammide üldine osakaal Euroopa Liidus ja liikmesriikides 4–5 %. Vaatamata sellele on nende mõju Euroopas teostatud teadusuuringutele oluliselt suurem. Selle põhjuseks on asjaolu, et ühenduse toetustest rahastatakse projekti ainult osaliselt. Lisaks tuleb teadlastel näidata rahastamise taotlemisel, et nende projektides järgitakse projektikonkursiga kindlaksmääratud eesmärke. Sel viisil stimuleeritakse raamprogrammidega TTA tegevuse suunamist konkreetsete ELi eesmärkide järgimiseks.

| 7. | Viimastel aastatel on toimunud olulised muudatused raamprogrammides seoses alljärgnevaga:






  — | uued poliitilised väljakutsed (Lissaboni strateegia ja Barcelona eesmärgid, Euroopa teadusruumi (ERA) loomine ja avatud kooskõlastusmeetodi (7) üha laialdasem kasutamine teadusuuuringute ja innovatsioonipoliitika valdkonnas); |
| --- | --- | --- |

7.

Viimastel aastatel on toimunud olulised muudatused raamprogrammides seoses alljärgnevaga:

—

uued poliitilised väljakutsed (Lissaboni strateegia ja Barcelona eesmärgid, Euroopa teadusruumi (ERA) loomine ja avatud kooskõlastusmeetodi (7) üha laialdasem kasutamine teadusuuuringute ja innovatsioonipoliitika valdkonnas);

| — | raamprogrammide suundumuse muutumine, alates tehniliste probleemide lahendamisest neljanda raamprogrammi raames ja konkreetsete sotsiaalsete probleemide käsitlemisest viienda raamprogrammi raames kuni ERAs tegutsevate uurimisasutuste koostöö edendamiseni ning teadmistepõhise majanduse ja ühiskonna loomise toetamiseni kuuenda ja seitsmenda raamprogrammi raames; |
| --- | --- |

—

raamprogrammide suundumuse muutumine, alates tehniliste probleemide lahendamisest neljanda raamprogrammi raames ja konkreetsete sotsiaalsete probleemide käsitlemisest viienda raamprogrammi raames kuni ERAs tegutsevate uurimisasutuste koostöö edendamiseni ning teadmistepõhise majanduse ja ühiskonna loomise toetamiseni kuuenda ja seitsmenda raamprogrammi raames;

| — | pikemad programmitööperioodid (enne neli aastat, praegu seitse aastat seitsmendas raamprogrammis kooskõlas perioodi 2007–2013 finantsperspektiividega); |
| --- | --- |

—

pikemad programmitööperioodid (enne neli aastat, praegu seitse aastat seitsmendas raamprogrammis kooskõlas perioodi 2007–2013 finantsperspektiividega);

| — | suurem arv liikmesriike ja osalevaid riike; |
| --- | --- |

—

suurem arv liikmesriike ja osalevaid riike;

| — | suurenenud rahastamine, eelkõige praeguste finantsperspektiivide raames; |
| --- | --- |

—

suurenenud rahastamine, eelkõige praeguste finantsperspektiivide raames;

| — | Euroopa Teadusnõukogu loomine ja programmijuhtimise delegeerimine täitevasutustele alates seitsmendast raamprogrammist; |
| --- | --- |

—

Euroopa Teadusnõukogu loomine ja programmijuhtimise delegeerimine täitevasutustele alates seitsmendast raamprogrammist;

| — | laiaulatuslike rahastamisvahendite üha suurem kasutamine (näiteks pädevusvõrgustikud, integreeritud projektid, projektid artikli 169 alusel, ühised tehnoloogiaalgatused). |
| --- | --- |

—

laiaulatuslike rahastamisvahendite üha suurem kasutamine (näiteks pädevusvõrgustikud, integreeritud projektid, projektid artikli 169 alusel, ühised tehnoloogiaalgatused).

Raamprogrammide hindamine ja järelevalve

| 8. | Komisjon vastutab programmi rakendamise ja tulemuste hindamise eest (8). Komisjonis on hindamine detsentraliseeritud peadirektoraatidele, kusjuures kesktalitused (eelkõige eelarve peadirektoraat ja peasekretariaat) tagavad toetuse ja kooskõlastamise. |
| --- | --- |

8.

Komisjon vastutab programmi rakendamise ja tulemuste hindamise eest (8). Komisjonis on hindamine detsentraliseeritud peadirektoraatidele, kusjuures kesktalitused (eelkõige eelarve peadirektoraat ja peasekretariaat) tagavad toetuse ja kooskõlastamise.

| 9. | Käesolevas aruandes kasutatakse komisjoni enda määratlusi, mille kohaselt on „hindamine” otsus sekkumiste kohta vastavalt selle tulemustele, mõjudele ja vajadustele, mida soovitakse rahuldada, (9) ja „järelevalve” on teabe andmine käimasolevate programmide ja projektide rakenduse kohta käsitlemaks haldamise vajadusi (10). Osutatud kahte tegevust määratletakse sellisel viisil, nagu praeguse seitsmenda raamprogrammiga seotud õigusnormides. |
| --- | --- |

9.

Käesolevas aruandes kasutatakse komisjoni enda määratlusi, mille kohaselt on „hindamine” otsus sekkumiste kohta vastavalt selle tulemustele, mõjudele ja vajadustele, mida soovitakse rahuldada, (9) ja „järelevalve” on teabe andmine käimasolevate programmide ja projektide rakenduse kohta käsitlemaks haldamise vajadusi (10). Osutatud kahte tegevust määratletakse sellisel viisil, nagu praeguse seitsmenda raamprogrammiga seotud õigusnormides.

| 10. | TTA toimingute tulemuste kirjeldamiseks kasutatud terminoloogia on järgmine:






  — | „väljundid” — avaliku sekkumise rakendamisest tulenevad otseselt saadud teadmised, kaubad ja teenused (väljaanded, konverentsi dokumendid, patendid, litsentsid, prototüübid, standardid, koolitatud teadlased jne); |
| --- | --- | --- |

10.

TTA toimingute tulemuste kirjeldamiseks kasutatud terminoloogia on järgmine:

—

„väljundid” — avaliku sekkumise rakendamisest tulenevad otseselt saadud teadmised, kaubad ja teenused (väljaanded, konverentsi dokumendid, patendid, litsentsid, prototüübid, standardid, koolitatud teadlased jne);

| — | „tulem” — kasutajate poolt väljundite töötlemisel saadud tulemus; |
| --- | --- |

—

„tulem” — kasutajate poolt väljundite töötlemisel saadud tulemus;

| — | „mõjud” — avaliku sekkumise rakendamisest tulenevad pikaajalised sotsiaalmajanduslikud ja poliitilised muutused. |
| --- | --- |

—

„mõjud” — avaliku sekkumise rakendamisest tulenevad pikaajalised sotsiaalmajanduslikud ja poliitilised muutused.

1. selgitusGlobaalne mobiilsidesüsteem (GSM)Käesolevas näites olid ühenduse rahastamise väljunditeks projekti kohesed tulemused, nagu globaalse mobiilsidestandardi (GSM) väljatöötamine. Tulemiks oli selle heakskiitmine digitaalse mobiilsidestandardina Euroopas ja väljaspool Euroopat, mis aitas suurel määral kaasa telekommunikatsioonitööstuse arengule. Mõjudeks olid nimetatud tehnoloogia rahvusvahelise kasutamise majanduslikud, sotsiaalsed ja poliitilised tagajärjed. Nende hulgas kaasaaitamine töökohtade loomisele telekommunikatsiooni ja sellega seotud valdkondades ning nimetatud tööstussektori tähtsuse kasv Euroopa majanduses. GSM on andnud uue inimestevahelise suhtlemisviisi.

| 11. | Nimetatud tulemuste hindamine tekitab siiski mitmeid metoodikaalaseid probleeme (vt I lisa). Sotsiaalmajanduslikud muutused on keerukad, täpsemalt öeldes on sageli raske järgida teadustegevuse ja tulemuste ning täheldatud tulemi ja mõjude vahelist seost. Tegemist on küll olulise probleemiga, kuid metoodikaalased probleemid ei pruugi tingimata takistada tõhusat hindamist. |
| --- | --- |

11.

Nimetatud tulemuste hindamine tekitab siiski mitmeid metoodikaalaseid probleeme (vt I lisa). Sotsiaalmajanduslikud muutused on keerukad, täpsemalt öeldes on sageli raske järgida teadustegevuse ja tulemuste ning täheldatud tulemi ja mõjude vahelist seost. Tegemist on küll olulise probleemiga, kuid metoodikaalased probleemid ei pruugi tingimata takistada tõhusat hindamist.

| 12. | Raamprogrammide järelevalve- ja hindamissüsteem on olnud komisjonis kasutusel alates 1980. aastatest (11). Alates neljandast raamprogrammist 1990. keskpaigas koosnes järelevalve- ja hindamissüsteem paljudest omavahel osaliselt seotud järgmistest toimingutest:






  — | iga-aastane järelevalve (peamiselt programmide rakendamise üle); |
| --- | --- | --- |

12.

Raamprogrammide järelevalve- ja hindamissüsteem on olnud komisjonis kasutusel alates 1980. aastatest (11). Alates neljandast raamprogrammist 1990. keskpaigas koosnes järelevalve- ja hindamissüsteem paljudest omavahel osaliselt seotud järgmistest toimingutest:

—

iga-aastane järelevalve (peamiselt programmide rakendamise üle);

| — | raamprogrammide viieaastane hindamine (ja alates kuuendast raamprogrammist konkreetsete teemade täiendav hindamine). |
| --- | --- |

—

raamprogrammide viieaastane hindamine (ja alates kuuendast raamprogrammist konkreetsete teemade täiendav hindamine).

Mõlemat toimingut tuli teostada välisekspertide kaasabil (vt joonis 2 ja II lisa).

Joonis 2

Järelevalve ja hindamise põhinõuded neljandas, viiendas, kuuendas ja seitsmendas raamprogrammis

| Neljas raamprogramm (1995–1998) | Viies raamprogramm (1999–2002) | Kuues raamprogramm (2003–2006) | Seitsmes raamprogramm (2007–2013) |
| --- | --- | --- | --- |
| kaks hindamist (vahe- ja lõplik hindamine) kõigi 20 alaprogrammi ning ka raamprogrammi osas; lõplik hindamine kattub viienda raamprogrammi vahehindamisega | kaks üheaegset hindamist (vahehindamine) kõigi seitsme eriprogrammi ning ka raamprogrammi osas | üks hindamine raamprogrammi ja selle kolme eriprogrammi osas (vahehindamine), kuid mitte eraldi 20 alaprogrammi osas; lisaks hindamisele veel erihindamine ja regulaarsed edenemise (nt järelevalve) aruanded | vähemalt viis hindamist (eel-, vahe- ja lõplik hindamine), sh edenemist käsitlevad erihindamised enne vahehindamist |
| 1. | Eelhindamine: ei |

Neljas raamprogramm (1995–1998)

Viies raamprogramm (1999–2002)

Kuues raamprogramm (2003–2006)

Seitsmes raamprogramm (2007–2013)

kaks hindamist (vahe- ja lõplik hindamine) kõigi 20 alaprogrammi ning ka raamprogrammi osas; lõplik hindamine kattub viienda raamprogrammi vahehindamisega

kaks üheaegset hindamist (vahehindamine) kõigi seitsme eriprogrammi ning ka raamprogrammi osas

üks hindamine raamprogrammi ja selle kolme eriprogrammi osas (vahehindamine), kuid mitte eraldi 20 alaprogrammi osas; lisaks hindamisele veel erihindamine ja regulaarsed edenemise (nt järelevalve) aruanded

vähemalt viis hindamist (eel-, vahe- ja lõplik hindamine), sh edenemist käsitlevad erihindamised enne vahehindamist

1.

Eelhindamine: ei

| 1. | Eelhindamine: ei |
| --- | --- |

1.

Eelhindamine: ei

| 1. | Eelhindamine: ei |
| --- | --- |

1.

Eelhindamine: ei

| 1. | Eelhindamine:
  liidetud seitsmendat raamprogrammi käsitleva komisjoni ettepanekuga seonduva mõju hindamisele (2005) |
| --- | --- |

1.

liidetud seitsmendat raamprogrammi käsitleva komisjoni ettepanekuga seonduva mõju hindamisele (2005)

| 2. | Vahehindamine:






  — | viieaastane hindamine: raamprogrammi perioodi keskel, enne järgmist raamprogrammi (1997) |
| --- | --- | --- |

2.

—

viieaastane hindamine: raamprogrammi perioodi keskel, enne järgmist raamprogrammi (1997)

| 2. | Vahehindamine:






  — | viieaastane hindamine: enne järgmise raamprogrammi ettepaneku esitamist (2000) |
| --- | --- | --- |

2.

—

viieaastane hindamine: enne järgmise raamprogrammi ettepaneku esitamist (2000)

| — | edenemise kontrollimine raamprogrammi perioodi keskel (2001) |
| --- | --- |

—

edenemise kontrollimine raamprogrammi perioodi keskel (2001)

| 2. | Vahehindamine:






  — | vahendite mõjususe hindamine (2004) |
| --- | --- | --- |

2.

—

vahendite mõjususe hindamine (2004)

| — | viieaastane hindamine enne järgmise raamprogrammi ettepaneku esitamist (2004) |
| --- | --- |

—

viieaastane hindamine enne järgmise raamprogrammi ettepaneku esitamist (2004)

| — | regulaarsed edenemise (nt järelevalve) aruanded |
| --- | --- |

—

regulaarsed edenemise (nt järelevalve) aruanded

| 2. | Vahehindamine:






  — | järelhindamine, kaks aastat pärast eelmise raamprogrammi lõppu (2008) |
| --- | --- | --- |

2.

—

järelhindamine, kaks aastat pärast eelmise raamprogrammi lõppu (2008)

| — | edenemist käsitlev aruanne enne vahehindamist (enne 2010) |
| --- | --- |

—

edenemist käsitlev aruanne enne vahehindamist (enne 2010)

| — | vahehindamine (2010) |
| --- | --- |

—

vahehindamine (2010)

| 3. | Lõplik hindamine:






  — | raamprogrammi lõpus (1999) |
| --- | --- | --- |

3.

—

raamprogrammi lõpus (1999)

| 3. | Lõplik hindamine:
  ei |
| --- | --- |

3.

ei

| 3. | Lõplik hindamine:
  ei

  [muudetud seitsmenda raamprogrammi otsusega] |
| --- | --- |

3.

ei

[muudetud seitsmenda raamprogrammi otsusega]

| 3. | Lõplik hindamine:
  kaks aastat pärast raamprogrammi lõppu (2015), lisaks eriuurimused, vahehindamine ja muu hindamistegevus kogu raamprogrammi vältel |
| --- | --- |

3.

kaks aastat pärast raamprogrammi lõppu (2015), lisaks eriuurimused, vahehindamine ja muu hindamistegevus kogu raamprogrammi vältel

Allikas: Vt II lisa.

| 13. | Kuni tänaseni on tehtud kolm viieaastast hindamist (12) ja koostatud aruanded „Davignon”, „Majó” ja „Ormala” (vastavalt aastatel 1997, 2000 ja 2004). Lisaks on infoühiskonna ja meedia peadirektoraat korraldanud oma eriprogrammi sihthindamise. Tuleb märkida, et viieaastane hindamine lõpetati vastavalt seitsmenda raamprogrammiga seotud õigusnormidele, mille alusel tühistati piirang, et peamiste hindamistoimingute puhul tuli keskenduda viiele eelnevale aastale ja seega hõlmata kahe järjestikuse programmitööperioodi osad. 2004. aastal avaldati ka aruanne „Marimón”, (13) mis oli kuuenda raamprogrammiga kasutusele võetud uute vahendite mõjususe erihindamine. |
| --- | --- |

13.

Kuni tänaseni on tehtud kolm viieaastast hindamist (12) ja koostatud aruanded „Davignon”, „Majó” ja „Ormala” (vastavalt aastatel 1997, 2000 ja 2004). Lisaks on infoühiskonna ja meedia peadirektoraat korraldanud oma eriprogrammi sihthindamise. Tuleb märkida, et viieaastane hindamine lõpetati vastavalt seitsmenda raamprogrammiga seotud õigusnormidele, mille alusel tühistati piirang, et peamiste hindamistoimingute puhul tuli keskenduda viiele eelnevale aastale ja seega hõlmata kahe järjestikuse programmitööperioodi osad. 2004. aastal avaldati ka aruanne „Marimón”, (13) mis oli kuuenda raamprogrammiga kasutusele võetud uute vahendite mõjususe erihindamine.

| 14. | Komisjoni hindamistegevuse raamistik vaadati uuesti läbi 2000. ja 2002. aastal (14). Need teatised ajakohastati 2007. aastal, võttes arvesse komisjoni haldusreformi tagajärjed ja uue finantsmääruse (15). Neis dokumentides kirjeldatakse hindamise osatähtsust ja funktsiooni komisjoni üldise kavandamise, programmitöö ja aruandlustsükli kontekstis ja määratakse kindlaks 21 hindamisstandardit ja 18 hea tava mudelit. Lisaks käsitletakse nendes dokumentides hindamise kasutamist ELi õigusaktide koostamisel ja lihtsustamisel. |
| --- | --- |

14.

Komisjoni hindamistegevuse raamistik vaadati uuesti läbi 2000. ja 2002. aastal (14). Need teatised ajakohastati 2007. aastal, võttes arvesse komisjoni haldusreformi tagajärjed ja uue finantsmääruse (15). Neis dokumentides kirjeldatakse hindamise osatähtsust ja funktsiooni komisjoni üldise kavandamise, programmitöö ja aruandlustsükli kontekstis ja määratakse kindlaks 21 hindamisstandardit ja 18 hea tava mudelit. Lisaks käsitletakse nendes dokumentides hindamise kasutamist ELi õigusaktide koostamisel ja lihtsustamisel.

AUDITI ULATUS JA LÄHENEMISVIIS

15.

| 15. | Auditi peamine eesmärk oli kindlaks määrata, kas komisjonil oli piisav TTA raamprogrammide tulemuste hindamist käsitlev lähenemisviis. |
| --- | --- |

Auditi peamine eesmärk oli kindlaks määrata, kas komisjonil oli piisav TTA raamprogrammide tulemuste hindamist käsitlev lähenemisviis.

| 16. | Selleks hindas kontrollikoda, mil määral:






  — | annab selge sekkumisloogika kindla aluse raamprogrammide ja neis sisalduvate programmide hindamisele ja järelevalvele, võimaldades mõõta ja hinnata väljundeid, tulemit ja mõju; |
| --- | --- | --- |

16.

Selleks hindas kontrollikoda, mil määral:

—

annab selge sekkumisloogika kindla aluse raamprogrammide ja neis sisalduvate programmide hindamisele ja järelevalvele, võimaldades mõõta ja hinnata väljundeid, tulemit ja mõju;

| — | määratleti raamprogrammide hindamisstrateegia mõjusa ja järjepideva hindamise edendamiseks; |
| --- | --- |

—

määratleti raamprogrammide hindamisstrateegia mõjusa ja järjepideva hindamise edendamiseks;

| — | tagab hindamissüsteemi organisatsiooniline ülesehitus, et hindamine on asjakohaselt kooskõlastatud kogu raamprogrammi lõikes tervikuna, selleks on piisavalt ressursse ja sõltumatuse määr on huvirühmade arvates piisav; |
| --- | --- |

—

tagab hindamissüsteemi organisatsiooniline ülesehitus, et hindamine on asjakohaselt kooskõlastatud kogu raamprogrammi lõikes tervikuna, selleks on piisavalt ressursse ja sõltumatuse määr on huvirühmade arvates piisav;

| — | tagab kasutatud hindamismetoodika, et olulisi küsimusi käsitletakse asjakohasel viisil, et hindamine oleks usaldusväärne; |
| --- | --- |

—

tagab kasutatud hindamismetoodika, et olulisi küsimusi käsitletakse asjakohasel viisil, et hindamine oleks usaldusväärne;

| — | hindamis- ja järelevalvetoimingutega saadakse teavet ja analüüse, mida on võimalik kasutada käimasolevate programmide parandamiseks („õppeprogrammid”) ja järgmiste programmide ettevalmistamiseks. |
| --- | --- |

—

hindamis- ja järelevalvetoimingutega saadakse teavet ja analüüse, mida on võimalik kasutada käimasolevate programmide parandamiseks („õppeprogrammid”) ja järgmiste programmide ettevalmistamiseks.

| 17. | Käesolev aruanne hõlmab asjakohast töökorraldust seoses neljanda (1995–1998), viienda (1999–2002) ja kuuenda raamprogrammiga (2003–2006). Selles arutletakse ka seitsmenda raamprogrammi (2007–2013) raames praegu kehtivate õigusnormide üle, kuid ei anta hinnangut komisjoni seitsmenda raamprogrammi mõju hindamise ja eelhindamise kohta (16). Aruandes keskendutakse programmide järelevalvele ja järelhindamisele, kuid mitte projektiettepanekute eelhindamisele või projektide järelhindamisele. |
| --- | --- |

17.

Käesolev aruanne hõlmab asjakohast töökorraldust seoses neljanda (1995–1998), viienda (1999–2002) ja kuuenda raamprogrammiga (2003–2006). Selles arutletakse ka seitsmenda raamprogrammi (2007–2013) raames praegu kehtivate õigusnormide üle, kuid ei anta hinnangut komisjoni seitsmenda raamprogrammi mõju hindamise ja eelhindamise kohta (16). Aruandes keskendutakse programmide järelevalvele ja järelhindamisele, kuid mitte projektiettepanekute eelhindamisele või projektide järelhindamisele.

| 18. | Audit viidi läbi koostöös EFTA audiitorkogu ja välisekspertidega. Auditi tõendusmaterjali koguti järgmisel viisil:






  — | audititöö komisjonis (dokumentaalne läbivaatus ja vestlused töötajatega), mis hõlmas õiguslike ja seadusjärgsete nõuete identifitseerimist, tulemuslikkuse eesmärkide ja kriteeriumide läbivaatamist, rohkem kui 80 järelevalve- ja hindamisaruande analüüsimist ja komisjoni hindamistegevuse korraldamise analüüsimist; |
| --- | --- | --- |

18.

Audit viidi läbi koostöös EFTA audiitorkogu ja välisekspertidega. Auditi tõendusmaterjali koguti järgmisel viisil:

—

audititöö komisjonis (dokumentaalne läbivaatus ja vestlused töötajatega), mis hõlmas õiguslike ja seadusjärgsete nõuete identifitseerimist, tulemuslikkuse eesmärkide ja kriteeriumide läbivaatamist, rohkem kui 80 järelevalve- ja hindamisaruande analüüsimist ja komisjoni hindamistegevuse korraldamise analüüsimist;

| — | intervjuud rohkem kui 90 eksperdiga, kes tunnistati huvirühmaks liikmes- ja assotsieerunud riikides (Tšehhi Vabariik, Saksamaa, Eesti, Hispaania, Prantsusmaa, Itaalia, Luksemburg, Madalmaad, Austria, Soome, Rootsi, Ühendkuningriik ja Norra); |
| --- | --- |

—

intervjuud rohkem kui 90 eksperdiga, kes tunnistati huvirühmaks liikmes- ja assotsieerunud riikides (Tšehhi Vabariik, Saksamaa, Eesti, Hispaania, Prantsusmaa, Itaalia, Luksemburg, Madalmaad, Austria, Soome, Rootsi, Ühendkuningriik ja Norra);

| — | institutsiooniliste huvirühmade küsitlused Euroopa Parlamendi tööstuse, teadusuuringute, transpordi ja energeetika komitees (ITRE) (17) ning nõukogu tehnika ja teadusuuringute komitees (CREST) (18); |
| --- | --- |

—

institutsiooniliste huvirühmade küsitlused Euroopa Parlamendi tööstuse, teadusuuringute, transpordi ja energeetika komitees (ITRE) (17) ning nõukogu tehnika ja teadusuuringute komitees (CREST) (18);

| — | nõupidamine teadusuuringute hindamise valdkonna rohkem kui 65 Ameerika Ühendriikide ja Kanada eksperdiga, kes moodustasid rahvusvahelise võrdlusgrupi; |
| --- | --- |

—

nõupidamine teadusuuringute hindamise valdkonna rohkem kui 65 Ameerika Ühendriikide ja Kanada eksperdiga, kes moodustasid rahvusvahelise võrdlusgrupi;

| — | teadusuuringute hindamise praeguseid suundi käsitleva erialase kirjanduse läbivaatamine; |
| --- | --- |

—

teadusuuringute hindamise praeguseid suundi käsitleva erialase kirjanduse läbivaatamine;

| — | auditileidude, järelduste ja soovituste arutamine teadusuuringute hindamise ekspertidega Euroopast ja Põhja-Ameerikast mitmel moderaatori osalusega sihtgrupi koosolekul veebruaris 2007. |
| --- | --- |

—

auditileidude, järelduste ja soovituste arutamine teadusuuringute hindamise ekspertidega Euroopast ja Põhja-Ameerikast mitmel moderaatori osalusega sihtgrupi koosolekul veebruaris 2007.

AUDITI TÄHELEPANEKUD

Sekkumisloogika, eesmärkide püstitamine ja tulemusnäitajad

| 19. | Tõhus hindamine ja järelevalve eeldab poliitika, programmi ja projekti tasandil selgeid eesmärke ja asjakohaseid tulemusnäitajaid, mille põhjal on võimalik hinnata avaliku sekkumise tulemusi. Teiste ELi eelarvevaldkondade ja muude tegevusvaldkondade hea tava kohaselt tuleks need määratleda sekkumisloogika raamistikus. |
| --- | --- |

19.

Tõhus hindamine ja järelevalve eeldab poliitika, programmi ja projekti tasandil selgeid eesmärke ja asjakohaseid tulemusnäitajaid, mille põhjal on võimalik hinnata avaliku sekkumise tulemusi. Teiste ELi eelarvevaldkondade ja muude tegevusvaldkondade hea tava kohaselt tuleks need määratleda sekkumisloogika raamistikus.

| 20. | Sekkumisloogikat saab määratleda kui põhjuse ja mõju hüpoteetiliste seoste kogumit, millega kirjeldatakse, kuidas loodetakse saavutada globaalseid üldeesmärke sekkumise abil (19). Komisjoni hindamissuunistes sätestatakse, et sekkumisloogika moodustab „kontseptuaalse seose sekkumise sisendites selle väljundite tootmise vahel ning seejärel seose ka selle mõjuni ühiskonnale suunatud tulemuste ja väljundite vahel” (20). Käesolevas aruandes kasutatakse eespool osutatud määratlust. |
| --- | --- |

20.

Sekkumisloogikat saab määratleda kui põhjuse ja mõju hüpoteetiliste seoste kogumit, millega kirjeldatakse, kuidas loodetakse saavutada globaalseid üldeesmärke sekkumise abil (19). Komisjoni hindamissuunistes sätestatakse, et sekkumisloogika moodustab „kontseptuaalse seose sekkumise sisendites selle väljundite tootmise vahel ning seejärel seose ka selle mõjuni ühiskonnale suunatud tulemuste ja väljundite vahel” (20). Käesolevas aruandes kasutatakse eespool osutatud määratlust.

| 21. | Kontrollikoda hindas, mil määral rakendati raamprogrammide ja neis sisalduvate programmide osas sekkumisloogikat, mis andis hindamisele ja järelevalvele kindla aluse. |
| --- | --- |

21.

Kontrollikoda hindas, mil määral rakendati raamprogrammide ja neis sisalduvate programmide osas sekkumisloogikat, mis andis hindamisele ja järelevalvele kindla aluse.

Raamprogrammidega seonduv sekkumisloogika ei ole olnud selge

| 22. | Sekkumisloogika määratlemine peaks algusest peale olema programmi kavandamise põhielement. EÜ asutamislepingu artiklis 163 sätestatakse vajadus tugevdada teaduslikku ja tehnilist baasi ning soodustada konkurentsivõime arendamist, millest tulekski raamprogrammidega seonduva sekkumisloogika puhul lähtuda (vt punkt 2). Sekkumisloogikat oleks vaja muuta konkreetsemaks raamprogrammidega hõlmatud erinevate teadusvaldkondade ja erinevate kasutatud vahendite suhtes. |
| --- | --- |

22.

Sekkumisloogika määratlemine peaks algusest peale olema programmi kavandamise põhielement. EÜ asutamislepingu artiklis 163 sätestatakse vajadus tugevdada teaduslikku ja tehnilist baasi ning soodustada konkurentsivõime arendamist, millest tulekski raamprogrammidega seonduva sekkumisloogika puhul lähtuda (vt punkt 2). Sekkumisloogikat oleks vaja muuta konkreetsemaks raamprogrammidega hõlmatud erinevate teadusvaldkondade ja erinevate kasutatud vahendite suhtes.

| 23. | Kõigil tasanditel puudub siiski selge loogiline mudel, mille abil selgitatakse, kuidas raamprogrammid ja neis sisalduvad programmid aitavad kaasa teaduslikule ja tehnoloogilisele progressile ning uuendustele. |
| --- | --- |

23.

Kõigil tasanditel puudub siiski selge loogiline mudel, mille abil selgitatakse, kuidas raamprogrammid ja neis sisalduvad programmid aitavad kaasa teaduslikule ja tehnoloogilisele progressile ning uuendustele.

| 24. | Eksperdirühm, kelle ülesanne oli teha viieaastane hindamine 2004. aastal, rõhutas samuti raamprogrammidega seonduva sekkumisloogika puudumist ja väitis, et nendega sarnastelt eksperdirühmadelt nõutakse ühelt poolt erinevuste kaotamist peamiselt projekti tasemel kogutud tõendusmaterjali ja teiselt poolt teaduspoliitika sotsiaalmajanduslike eesmärkide vahel. Praegusel hetkel on siiski raske luua seda seost raamprogrammi kavandamisviisi tõttu. Puudub selgesõnaline loogika, mis ühendaks kõrgeimad eesmärgid teadusuuringutele ja teadmistele püstitatud konkreetsete eesmärkidega (21). |
| --- | --- |

24.

Eksperdirühm, kelle ülesanne oli teha viieaastane hindamine 2004. aastal, rõhutas samuti raamprogrammidega seonduva sekkumisloogika puudumist ja väitis, et nendega sarnastelt eksperdirühmadelt nõutakse ühelt poolt erinevuste kaotamist peamiselt projekti tasemel kogutud tõendusmaterjali ja teiselt poolt teaduspoliitika sotsiaalmajanduslike eesmärkide vahel. Praegusel hetkel on siiski raske luua seda seost raamprogrammi kavandamisviisi tõttu. Puudub selgesõnaline loogika, mis ühendaks kõrgeimad eesmärgid teadusuuringutele ja teadmistele püstitatud konkreetsete eesmärkidega (21).

| 25. | Erinev lähenemisviis on kasutusel paljudes liikmesriikides (näiteks, Holland, Soome) ja Ameerika Ühendriikides (vt joonis 3), kus sekkumisloogika määratlemine on palju rohkem käibel, ja Kanadas, kus see on kõikide programmide puhul kohustuslik (vt III lisa). Sekkumisloogika kasutamisega programmi kavandamisel saadakse parema rõhuasetusega ja struktureeritumad programmid. Komisjon on võtnud kasutusele sellise loogika ka teistes poliitikavaldkondades (näiteks välisabi) (22).
  Joonis 3
  Loogilistel mudelitel põhinevate eesmärkide hierarhia määratlus — näide Ameerika Ühendriikides teostatud põllumajandusuuringu kohta








  Poliitika | Programm | Projekt |
| --- | --- | --- | --- |
| Poliitika eesmärk
  : aidata kaasa põllumajandustootjate perekondade toimetuleku parandamisele | | |
| Otstarve
  : põllumajandustootjate perekondade põllumajandustootmise, tootlikkuse ja sissetulekute kasv | Programmi eesmärk
  : aidata kaasa põllumajandustootjate põllumajandustootmise, tootlikkuse ja sissetulekute kasvule | |
| Eeldatav tulemus
  : tõhusamate põllumajandustehnoloogiate laiem kasutus sihtrühma kuuluvate põllumajandustootjate hulgas | Otstarve
  : tõhusamate põllumajandustehnoloogiate laiem kasutus sihtrühma kuuluvate põllumajandustootjate hulgas (nt riisikasvatuse puhul) | Projekti eesmärk
  : aidata kaasa soovitatavate tõhustatud tehnoloogiate laiemale kasutusele |
| | Eeldatav tulemus
  : soovituste andmine/levitamine sihtrühma kuuluvatele põllumajandustootjatele | Otstarve
  : tõhusamate tehnoloogiate osas antud soovituste esitamine sihtrühma kuuluvatele põllumajandustootjatele |
| | | Eeldatavad tulemused (näiteks):








  1. | tehnoloogiate määratlemine põllumajandustootjate prioriteetide põhjal |

25.

Erinev lähenemisviis on kasutusel paljudes liikmesriikides (näiteks, Holland, Soome) ja Ameerika Ühendriikides (vt joonis 3), kus sekkumisloogika määratlemine on palju rohkem käibel, ja Kanadas, kus see on kõikide programmide puhul kohustuslik (vt III lisa). Sekkumisloogika kasutamisega programmi kavandamisel saadakse parema rõhuasetusega ja struktureeritumad programmid. Komisjon on võtnud kasutusele sellise loogika ka teistes poliitikavaldkondades (näiteks välisabi) (22).

Joonis 3

Loogilistel mudelitel põhinevate eesmärkide hierarhia määratlus — näide Ameerika Ühendriikides teostatud põllumajandusuuringu kohta

Poliitika

Programm

Projekt

Poliitika eesmärk
  : aidata kaasa põllumajandustootjate perekondade toimetuleku parandamisele

Otstarve
  : põllumajandustootjate perekondade põllumajandustootmise, tootlikkuse ja sissetulekute kasv

Programmi eesmärk
  : aidata kaasa põllumajandustootjate põllumajandustootmise, tootlikkuse ja sissetulekute kasvule

Eeldatav tulemus
  : tõhusamate põllumajandustehnoloogiate laiem kasutus sihtrühma kuuluvate põllumajandustootjate hulgas

Otstarve
  : tõhusamate põllumajandustehnoloogiate laiem kasutus sihtrühma kuuluvate põllumajandustootjate hulgas (nt riisikasvatuse puhul)

Projekti eesmärk
  : aidata kaasa soovitatavate tõhustatud tehnoloogiate laiemale kasutusele

Eeldatav tulemus
  : soovituste andmine/levitamine sihtrühma kuuluvatele põllumajandustootjatele

Otstarve
  : tõhusamate tehnoloogiate osas antud soovituste esitamine sihtrühma kuuluvatele põllumajandustootjatele

Eeldatavad tulemused (näiteks):

1.

tehnoloogiate määratlemine põllumajandustootjate prioriteetide põhjal

| 2. | tehnoloogiate koostamine ja kohandamine |
| --- | --- |

2.

tehnoloogiate koostamine ja kohandamine

| 3. | tehnoloogiate kontrollimine põllumajandustootjate maadel |
| --- | --- |

3.

tehnoloogiate kontrollimine põllumajandustootjate maadel

Allikas: US National Agricultural Research Council.

| 26. | Kui ei kodeerita avaliku sekkumise aluseks oleva loogika põhiprintsiipe ja juhuslikkuse eeldatavaid seoseid (mis on programmi üksikasjaliku kavandamise, läbiviimise ja hindamise aluseks), siis kahjustab see oluliselt raamprogrammide tõhusat hindamist ja järelevalvet. See puudus tuleneb eelkõige programmi eesmärkide ja tulemusnäitajate määratlemise viisist. |
| --- | --- |

26.

Kui ei kodeerita avaliku sekkumise aluseks oleva loogika põhiprintsiipe ja juhuslikkuse eeldatavaid seoseid (mis on programmi üksikasjaliku kavandamise, läbiviimise ja hindamise aluseks), siis kahjustab see oluliselt raamprogrammide tõhusat hindamist ja järelevalvet. See puudus tuleneb eelkõige programmi eesmärkide ja tulemusnäitajate määratlemise viisist.

Ilma selge loogilise mudelita on programmi ühtseid eesmärke raskem püstitada

| 27. | Kui ei selgitata selgelt avaliku sekkumise aluseks oleva loogika põhiprintsiipe, on programmi ühtseid eesmärke raskem määratleda ja struktureerida. Seda väidet selgitab asjaolu, et:






  — | ei ole selge, kuidas raamprogrammi eesmärgid on seotud poliitiliste eesmärkidega, nagu üldised eesmärgid, mis on sätestatud Euroopa Ühenduse asutamislepingu artiklis 163, ja need, mis on sätestatud Lissaboni strateegias ja Barcelona deklaratsioonis (vt punktid 2 ja 7); |
| --- | --- | --- |

27.

Kui ei selgitata selgelt avaliku sekkumise aluseks oleva loogika põhiprintsiipe, on programmi ühtseid eesmärke raskem määratleda ja struktureerida. Seda väidet selgitab asjaolu, et:

—

ei ole selge, kuidas raamprogrammi eesmärgid on seotud poliitiliste eesmärkidega, nagu üldised eesmärgid, mis on sätestatud Euroopa Ühenduse asutamislepingu artiklis 163, ja need, mis on sätestatud Lissaboni strateegias ja Barcelona deklaratsioonis (vt punktid 2 ja 7);

| — | üksikute programmieesmärkide vaheline suhe ei ole alati ilmne seadusandluse erinevatel tasanditel (nagu raamprogrammi ja eriprogrammiga seonduvad otsused ning osaluse ja levitamise eeskirjad) ning põhiõigusaktide ja komisjoni tööprogrammide vahel. |
| --- | --- |

—

üksikute programmieesmärkide vaheline suhe ei ole alati ilmne seadusandluse erinevatel tasanditel (nagu raamprogrammi ja eriprogrammiga seonduvad otsused ning osaluse ja levitamise eeskirjad) ning põhiõigusaktide ja komisjoni tööprogrammide vahel.

| 28. | Komisjon on püüdnud esitada tööprogrammide tegevuseesmärgid, mis põhinevad raamprogrammidega seonduvates õigusaktides määratletud programmi eesmärkidel. Nende eraldi esitatud algatustega ei ole peaaegu helgi juhtu siiski õnnestunud selgitada programmide aluseks olevat loogikat ja tööprogrammides esitatud eesmärgid ei olnud konkreetsed, mõõdetavad, saavutatavad, asjakohased ja ajaliselt piiritletud (SMART). 2003. aastal muutus see finantsmääruse alusel õigusnormiks) (23). |
| --- | --- |

28.

Komisjon on püüdnud esitada tööprogrammide tegevuseesmärgid, mis põhinevad raamprogrammidega seonduvates õigusaktides määratletud programmi eesmärkidel. Nende eraldi esitatud algatustega ei ole peaaegu helgi juhtu siiski õnnestunud selgitada programmide aluseks olevat loogikat ja tööprogrammides esitatud eesmärgid ei olnud konkreetsed, mõõdetavad, saavutatavad, asjakohased ja ajaliselt piiritletud (SMART). 2003. aastal muutus see finantsmääruse alusel õigusnormiks) (23).

| 29. | Ei ole selge, mil määral on võimalik tuvastada poliitilisi eesmärke konkreetsete programmide, tööprogrammide ja projektikonkursside kaudu, mida kaasrahastab ühendus. Seni kuni neid seoseid ei selgitata, ei saa hinnata raamprogrammide ja neis sisalduvate programmide kaasabi poliitiliste eesmärkide saavutamisele. Auditiga on leitud, et nii projekti kui ka programmi tasandil on komisjon oma hindamistes esitanud vähe või ei ole üldse esitanud veenvat tõendusmaterjali pikemaajaliste eesmärkide saavutamise kohta (vt punkt 82). |
| --- | --- |

29.

Ei ole selge, mil määral on võimalik tuvastada poliitilisi eesmärke konkreetsete programmide, tööprogrammide ja projektikonkursside kaudu, mida kaasrahastab ühendus. Seni kuni neid seoseid ei selgitata, ei saa hinnata raamprogrammide ja neis sisalduvate programmide kaasabi poliitiliste eesmärkide saavutamisele. Auditiga on leitud, et nii projekti kui ka programmi tasandil on komisjon oma hindamistes esitanud vähe või ei ole üldse esitanud veenvat tõendusmaterjali pikemaajaliste eesmärkide saavutamise kohta (vt punkt 82).

Selge sekkumisloogika ja selgete eesmärkide puudumine raskendab tulemusnäitajate väljatöötamist

| 30. | Selge loogilise mudeli ja selgelt sõnastatud programmi eesmärkide puudumine on takistanud ka tulemusnäitajate väljatöötamist, et teostada järelevalvet programmi eesmärkide saavutamise üle väljunditest, tulemist ja mõjudest lähtuvalt, mille tulemusena ei ole raamprogrammide suhtes selliseid mõjususe näitajaid määratletud kuni tänaseni (vt punkt 73). |
| --- | --- |

30.

Selge loogilise mudeli ja selgelt sõnastatud programmi eesmärkide puudumine on takistanud ka tulemusnäitajate väljatöötamist, et teostada järelevalvet programmi eesmärkide saavutamise üle väljunditest, tulemist ja mõjudest lähtuvalt, mille tulemusena ei ole raamprogrammide suhtes selliseid mõjususe näitajaid määratletud kuni tänaseni (vt punkt 73).

| 31. | Sellises olukorras on raskem ka nende programmidega rahastatavate käimasolevate projektide läbivaatamine ja lõpetatud projektide järelhindamine, mis omakorda raskendab hindamistoimingute koondamist projekti tasandilt programmi tasandile (vt I lisa ja punkt 84). |
| --- | --- |

31.

Sellises olukorras on raskem ka nende programmidega rahastatavate käimasolevate projektide läbivaatamine ja lõpetatud projektide järelhindamine, mis omakorda raskendab hindamistoimingute koondamist projekti tasandilt programmi tasandile (vt I lisa ja punkt 84).

Praegu rakendatavad tegevuspõhise eelarvestamise/juhtimise süsteemid (ABB/ABM) on raamprogrammide tulemuslikkuse hindamiseks ebasobivad vahendid

| 32. | Mõned programmi rakendamise tõhusust käsitlevad näitajad (nt lepingu allkirjastamise tähtaeg, maksetähtaeg) on esitatud komisjoni iga-aastastes järelevalvearuannetes ja ka komisjoni tegevuspõhise eelarvestamise (ABM) süsteemi kontekstis. |
| --- | --- |

32.

Mõned programmi rakendamise tõhusust käsitlevad näitajad (nt lepingu allkirjastamise tähtaeg, maksetähtaeg) on esitatud komisjoni iga-aastastes järelevalvearuannetes ja ka komisjoni tegevuspõhise eelarvestamise (ABM) süsteemi kontekstis.

| 33. | Kuni tänaseni ei ole teadusuuringute peadirektoraadid rakendanud siiski ühtlustatud või võrreldavat tegevuspõhise eelarvestamise nomenklatuuri või sellega seonduvaid näitajaid, isegi juhul kui nad rakendavad sama eriprogrammi (või alaprogrammi). Seepärast ei saa neid näitajaid kasutada tulemuslikkuse võrdlemiseks programmide vahel ja nende raames.

  2. selgitusTegevuspõhise eelarvestamise/juhtimise süsteem (ABB/ABM), mida praegu rakendavad teadusuuringute peadirektoraadid:Tegevuspõhise eelarvestamise/juhtimise süsteemi (ABB/ABM) raames on raamprogrammidega hõlmatud kaks erinevat poliitikavaldkonda, milles on raamprogrammide tegevus esitatud vastavalt erineva peadirektoraadi spetsiifilisele nomenklatuurile (24). See kehtib isegi nende eriprogrammide ja alaprogrammide suhtes, mida rakendab rohkem kui üks peadirektoraat. Tegevuspõhise juhtimise süsteemi (ABM) eesmärgid on määratletud vastavalt erinevatele aluspõhimõtetele, (25) ja nagu on osutanud komisjoni siseauditi talitus, (26) on need sõnastatud väga üldiselt, kirjeldades eesmärke või toiminguid. Näitajad olid üldiselt suunatud sisendile (nt koosolekute arv jne). Mõned näitajad olid protsessi tõhususe kohta (nt lepingu allkirjastamise tähtaeg, maksetähtaeg), kuid mida ei saanud võrrelda programmide ja peadirektoraatide vahel tegevuspõhise eelarvestamise nomenklatuuri erinevuste, peadirektoraatide eriomaste eelduste (nagu konkreetsete haldusprotsesside algus ja lõpp) ja aluseks oleva populatsiooni (nt toetuslepingu liik, makseliik) tõttu, mida võeti arvutustes arvesse. |
| --- | --- |

33.

Kuni tänaseni ei ole teadusuuringute peadirektoraadid rakendanud siiski ühtlustatud või võrreldavat tegevuspõhise eelarvestamise nomenklatuuri või sellega seonduvaid näitajaid, isegi juhul kui nad rakendavad sama eriprogrammi (või alaprogrammi). Seepärast ei saa neid näitajaid kasutada tulemuslikkuse võrdlemiseks programmide vahel ja nende raames.

2. selgitusTegevuspõhise eelarvestamise/juhtimise süsteem (ABB/ABM), mida praegu rakendavad teadusuuringute peadirektoraadid:Tegevuspõhise eelarvestamise/juhtimise süsteemi (ABB/ABM) raames on raamprogrammidega hõlmatud kaks erinevat poliitikavaldkonda, milles on raamprogrammide tegevus esitatud vastavalt erineva peadirektoraadi spetsiifilisele nomenklatuurile (24). See kehtib isegi nende eriprogrammide ja alaprogrammide suhtes, mida rakendab rohkem kui üks peadirektoraat. Tegevuspõhise juhtimise süsteemi (ABM) eesmärgid on määratletud vastavalt erinevatele aluspõhimõtetele, (25) ja nagu on osutanud komisjoni siseauditi talitus, (26) on need sõnastatud väga üldiselt, kirjeldades eesmärke või toiminguid. Näitajad olid üldiselt suunatud sisendile (nt koosolekute arv jne). Mõned näitajad olid protsessi tõhususe kohta (nt lepingu allkirjastamise tähtaeg, maksetähtaeg), kuid mida ei saanud võrrelda programmide ja peadirektoraatide vahel tegevuspõhise eelarvestamise nomenklatuuri erinevuste, peadirektoraatide eriomaste eelduste (nagu konkreetsete haldusprotsesside algus ja lõpp) ja aluseks oleva populatsiooni (nt toetuslepingu liik, makseliik) tõttu, mida võeti arvutustes arvesse.

Soovitused

34.

| 34. | Komisjon peaks oma tulevastes seadusandlikes ettepanekutes nõukogule ja Euroopa Parlamendile esitama selgesõnalise sekkumisloogika raamprogrammile tervikuna ja seda moodustavatele osadele. |
| --- | --- |

Komisjon peaks oma tulevastes seadusandlikes ettepanekutes nõukogule ja Euroopa Parlamendile esitama selgesõnalise sekkumisloogika raamprogrammile tervikuna ja seda moodustavatele osadele.

| 35. | Seitsmenda raamprogrammi puhul peaks komisjon:






  — | kirjeldama selgelt raamprogrammi ja neis sisalduvate eriprogrammide (ja alaprogrammide) eesmärke ja nende saavutamise viise; |
| --- | --- | --- |

35.

Seitsmenda raamprogrammi puhul peaks komisjon:

—

kirjeldama selgelt raamprogrammi ja neis sisalduvate eriprogrammide (ja alaprogrammide) eesmärke ja nende saavutamise viise;

| — | selgitama seost teaduslike ja sotsiaalmajanduslike eesmärkide vahel iga eriprogrammi (ja alaprogrammi) puhul; |
| --- | --- |

—

selgitama seost teaduslike ja sotsiaalmajanduslike eesmärkide vahel iga eriprogrammi (ja alaprogrammi) puhul;

| — | määratlema asjakohased tegevuseesmärgid. |
| --- | --- |

—

määratlema asjakohased tegevuseesmärgid.

| 36. | Seitsmenda raamprogrammi järelevalvesüsteemiga seoses peaks komisjon võtma kasutusele piiratud, kuid proportsionaalse hulga tulemusnäitajaid, millega mõõta programmi rakendamise tõhusust ja mõjusust iga eriprogrammi (ja alaprogrammi) puhul. |
| --- | --- |

36.

Seitsmenda raamprogrammi järelevalvesüsteemiga seoses peaks komisjon võtma kasutusele piiratud, kuid proportsionaalse hulga tulemusnäitajaid, millega mõõta programmi rakendamise tõhusust ja mõjusust iga eriprogrammi (ja alaprogrammi) puhul.

| 37. | Teadusuuringute peadirektoraadid peaksid ühtlustama oma tegevuspõhise eelarvestamise/juhtimise süsteemi (ABM/ABB) nomenklatuuri, et tulemusnäitajaid oleks võimalik võrrelda ajaliselt ja võimaluse korral konkreetsete eriprogrammide ja (alaprogrammide) vahel. |
| --- | --- |

37.

Teadusuuringute peadirektoraadid peaksid ühtlustama oma tegevuspõhise eelarvestamise/juhtimise süsteemi (ABM/ABB) nomenklatuuri, et tulemusnäitajaid oleks võimalik võrrelda ajaliselt ja võimaluse korral konkreetsete eriprogrammide ja (alaprogrammide) vahel.

Hindamisstrateegia

| 38. | Hindamisstrateegia on kontseptuaalne raamistik, mille abil kavandatakse, planeeritakse, teostatakse ja kasutatakse hindamistegevust. Hea tava teistes ELi eelarvevaldkondades ja muudes tegevusvaldkondades näitab, et sellise strateegia puhul tuleks arvesse võtta põhilisi seadusandlikke, korralduslikke ja metoodikaalaseid küsimusi, mis on omased programmide hindamisele. See hõlmab teostatava hindamise viisi, hindamise teostajat ja aega, andmete kogumise viisi, kasutatavat metoodilist lähenemisviisi ning leidude edastamise ja järelkontrolli viisi. |
| --- | --- |

38.

Hindamisstrateegia on kontseptuaalne raamistik, mille abil kavandatakse, planeeritakse, teostatakse ja kasutatakse hindamistegevust. Hea tava teistes ELi eelarvevaldkondades ja muudes tegevusvaldkondades näitab, et sellise strateegia puhul tuleks arvesse võtta põhilisi seadusandlikke, korralduslikke ja metoodikaalaseid küsimusi, mis on omased programmide hindamisele. See hõlmab teostatava hindamise viisi, hindamise teostajat ja aega, andmete kogumise viisi, kasutatavat metoodilist lähenemisviisi ning leidude edastamise ja järelkontrolli viisi.

| 39. | Sellise strateegia olemasolu ja kasutamise tagamine on eeltingimus, et integreerida hindamine komisjoni organisatsioonikultuuri ja otsustamisprotsessi. Kontrollikoda tunnistab siiski, et raamprogrammidega hõlmatud teadusvaldkondade erinevust silmas pidades peaks selline strateegia võimaldama igale vastutavale peadirektoraadile vajalikul määral paindlikkust ja ei oleks liiga ettekirjutav. |
| --- | --- |

39.

Sellise strateegia olemasolu ja kasutamise tagamine on eeltingimus, et integreerida hindamine komisjoni organisatsioonikultuuri ja otsustamisprotsessi. Kontrollikoda tunnistab siiski, et raamprogrammidega hõlmatud teadusvaldkondade erinevust silmas pidades peaks selline strateegia võimaldama igale vastutavale peadirektoraadile vajalikul määral paindlikkust ja ei oleks liiga ettekirjutav.

| 40. | Kontrollikoda kontrollis, millises ulatuses oli komisjonil olemas selline raamprogrammide hindamisstrateegia. |
| --- | --- |

40.

Kontrollikoda kontrollis, millises ulatuses oli komisjonil olemas selline raamprogrammide hindamisstrateegia.

Raamprogrammide põhjaliku hindamisstrateegia puudumine

| 41. | Komisjon avaldas esmakordselt oma raamprogrammide hindamist käsitleva lähenemisviisi 1980. aastatel (27). Nimetatud lähenemisviisi ajakohastati 1996. aastal, kui komisjon teavitas Euroopa Parlamenti ja nõukogu oma asjakohastest järelevalve ja hindamise aluspõhimõtetest ning määratles kavandatava lähenemisviisi pärast neljanda raamprogrammi vastuvõtmist (28). Nimetatud lähenemisviis ei sisaldanud siiski põhjalikku hindamisstrateegiat, nagu on eespool esitatud (vt punktid 38 ja 39). Lisaks ei vaadanud komisjon ajavahemikul 1996–2006 uuesti põhjalikult läbi oma viienda ja kuuenda raamprogrammi hindamist käsitlevat lähenemisviisi, hoolimata asjaolust, et muutus raamprogrammide ulatus ja suunitlus (vt punkt 7). Eelkõige ei ole teadusuuringute peadirektoraadid kokku leppinud raamprogrammide ja neid moodustavate programmide hindamist käsitlevas järjepidevas lähenemisviisis lisaks 1999. aastal (seoses viienda raamprogrammiga), 2002. aastal (seoses kuuenda raamprogrammiga) ja 2006. aastal (seoses seitsmenda raamprogrammiga) vastu võetud ühenduse õigusnormidele (29). |
| --- | --- |

41.

Komisjon avaldas esmakordselt oma raamprogrammide hindamist käsitleva lähenemisviisi 1980. aastatel (27). Nimetatud lähenemisviisi ajakohastati 1996. aastal, kui komisjon teavitas Euroopa Parlamenti ja nõukogu oma asjakohastest järelevalve ja hindamise aluspõhimõtetest ning määratles kavandatava lähenemisviisi pärast neljanda raamprogrammi vastuvõtmist (28). Nimetatud lähenemisviis ei sisaldanud siiski põhjalikku hindamisstrateegiat, nagu on eespool esitatud (vt punktid 38 ja 39). Lisaks ei vaadanud komisjon ajavahemikul 1996–2006 uuesti põhjalikult läbi oma viienda ja kuuenda raamprogrammi hindamist käsitlevat lähenemisviisi, hoolimata asjaolust, et muutus raamprogrammide ulatus ja suunitlus (vt punkt 7). Eelkõige ei ole teadusuuringute peadirektoraadid kokku leppinud raamprogrammide ja neid moodustavate programmide hindamist käsitlevas järjepidevas lähenemisviisis lisaks 1999. aastal (seoses viienda raamprogrammiga), 2002. aastal (seoses kuuenda raamprogrammiga) ja 2006. aastal (seoses seitsmenda raamprogrammiga) vastu võetud ühenduse õigusnormidele (29).

| 42. | Praeguse programmitööperioodiga seoses on sellise strateegilise lähenemisviisi puudumine antud valdkonnas eriline probleem, pidades silmas mitmete peadirektoraatide, Euroopa Teadusnõukogu ja täitevasutuste seitsmenda raamprogrammi ühist rakendamist ja finantsmääruse kohast sunduslikku rotatsiooni tundlikel ametikohtadel. Samuti vastandub see praegusele välisabi praktikale (mis on suuruselt teine komisjoni otsese juhtimisega valdkond). Alates 2002. aastast on nimetatud valdkonna pädevad peadirektoraadid kokku leppinud programmitööperioodidega seotud ühises mitmeaastases hindamisstrateegias (vt punkt 52). |
| --- | --- |

42.

Praeguse programmitööperioodiga seoses on sellise strateegilise lähenemisviisi puudumine antud valdkonnas eriline probleem, pidades silmas mitmete peadirektoraatide, Euroopa Teadusnõukogu ja täitevasutuste seitsmenda raamprogrammi ühist rakendamist ja finantsmääruse kohast sunduslikku rotatsiooni tundlikel ametikohtadel. Samuti vastandub see praegusele välisabi praktikale (mis on suuruselt teine komisjoni otsese juhtimisega valdkond). Alates 2002. aastast on nimetatud valdkonna pädevad peadirektoraadid kokku leppinud programmitööperioodidega seotud ühises mitmeaastases hindamisstrateegias (vt punkt 52).

| 43. | Selgelt sõnastatud hindamisstrateegia puudumine vastandub ka oluliselt olukorrale Ameerika Ühendriikides ja Kanadas, kus õiguslik raamistik nõuab strateegia olemasolu (vt III lisa). |
| --- | --- |

43.

Selgelt sõnastatud hindamisstrateegia puudumine vastandub ka oluliselt olukorrale Ameerika Ühendriikides ja Kanadas, kus õiguslik raamistik nõuab strateegia olemasolu (vt III lisa).

| 44. | Nagu seda näitestatud allpool, erinevad raamprogrammide hindamise ulatus ja tõhusus oluliselt. Käesoleva aruande järgmistes jagudes arutatakse ka teisi puudusi, nagu kooskõlastamisprobleemid, erinevused metoodikaalases lähenemisviisis, ajastamisprobleemid ning puudused teabe edastamisel ja hindamisleidudest teavitamisel ja nende järelkäsitlusel. See kajastab raamprogrammide põhjaliku hindamisstrateegia puudumist. |
| --- | --- |

44.

Nagu seda näitestatud allpool, erinevad raamprogrammide hindamise ulatus ja tõhusus oluliselt. Käesoleva aruande järgmistes jagudes arutatakse ka teisi puudusi, nagu kooskõlastamisprobleemid, erinevused metoodikaalases lähenemisviisis, ajastamisprobleemid ning puudused teabe edastamisel ja hindamisleidudest teavitamisel ja nende järelkäsitlusel. See kajastab raamprogrammide põhjaliku hindamisstrateegia puudumist.

Erinev ulatus ja tõhusus erinevate raamprogrammide hindamisel

| 45. | Raamprogrammid koosnevad mitmetest eriprogrammidest (ja alaprogrammidest), mis võivad oluliselt erineda eesmärgi, aluseks oleva dünaamika ja eelarveassigneeringute poolest (seitsmenda raamprogrammiga seoses vt IV lisa). Konkreetsed sätted erinevates raamprogrammi käsitlevates otsustes ühelt poolt ja finantsmääruses (30) teiselt poolt (milles nõutakse programmide ja oluliste kuludega kaasnevate toimingute hindamist) kokku tähendavad, et raamprogrammi tervikuna ja enamiku neis sisalduvate eriprogrammide hindamise kohta käiv õigusnorm on olnud jõus alates neljandast raamprogrammist. |
| --- | --- |

45.

Raamprogrammid koosnevad mitmetest eriprogrammidest (ja alaprogrammidest), mis võivad oluliselt erineda eesmärgi, aluseks oleva dünaamika ja eelarveassigneeringute poolest (seitsmenda raamprogrammiga seoses vt IV lisa). Konkreetsed sätted erinevates raamprogrammi käsitlevates otsustes ühelt poolt ja finantsmääruses (30) teiselt poolt (milles nõutakse programmide ja oluliste kuludega kaasnevate toimingute hindamist) kokku tähendavad, et raamprogrammi tervikuna ja enamiku neis sisalduvate eriprogrammide hindamise kohta käiv õigusnorm on olnud jõus alates neljandast raamprogrammist.

| 46. | Komisjon ei ole kehtestanud reeglit, millal tuleb konkreetseid raamprogramme või alaprogramme hinnata, ega määratlenud ühist künnist alates millest tuleks hindamist alustada. Selle tulemusel on tekkinud vastuolulised tõlgendused selle kohta, mida ja kui detailselt hinnata:






  — | infoühiskonna peadirektoraat käsitas infoühiskonna tehnoloogia programmi iseseisva põhilise kuluprogrammina ja korraldas 2004. aastal täieliku viieaastase hindamise paralleelselt tervikliku raamprogrammi hindamisega; |
| --- | --- | --- |

46.

Komisjon ei ole kehtestanud reeglit, millal tuleb konkreetseid raamprogramme või alaprogramme hinnata, ega määratlenud ühist künnist alates millest tuleks hindamist alustada. Selle tulemusel on tekkinud vastuolulised tõlgendused selle kohta, mida ja kui detailselt hinnata:

—

infoühiskonna peadirektoraat käsitas infoühiskonna tehnoloogia programmi iseseisva põhilise kuluprogrammina ja korraldas 2004. aastal täieliku viieaastase hindamise paralleelselt tervikliku raamprogrammi hindamisega;

| — | teadusuuringute peadirektoraat ei korraldanud sellist hindamist eriprogrammi tasandil süstemaatiliselt, kuigi mitmete selle vastutusel olevate programmide eelarved olid sarnaste suurustega. |
| --- | --- |

—

teadusuuringute peadirektoraat ei korraldanud sellist hindamist eriprogrammi tasandil süstemaatiliselt, kuigi mitmete selle vastutusel olevate programmide eelarved olid sarnaste suurustega.

| 47. | Selle tulemusel jäid 2004. aastal teostatud viieaastasel hindamisel üldse hindamata neljanda ja viienda raamprogrammi oluliselt suured osad (neljanda raamprogrammi puhul moodustas see 30 % ja viienda raamprogrammi puhul 50 % kõigist eelarveassigneeringutest). See näitab, et komisjon ei järginud finantsmääruse artikliga 27 ettenähtud hindamisnõudeid. |
| --- | --- |

47.

Selle tulemusel jäid 2004. aastal teostatud viieaastasel hindamisel üldse hindamata neljanda ja viienda raamprogrammi oluliselt suured osad (neljanda raamprogrammi puhul moodustas see 30 % ja viienda raamprogrammi puhul 50 % kõigist eelarveassigneeringutest). See näitab, et komisjon ei järginud finantsmääruse artikliga 27 ettenähtud hindamisnõudeid.

| 48. | Hindamise õiguslikud miinimumnõuded erinevad tõlgendused ja selle tulemusel raamprogrammide varasem alahindamine näitestavad kooskõlastamise puudumist ja komisjoni strateegilise lähenemisviisi puudumise mõju raamprogrammide hindamisele. |
| --- | --- |

48.

Hindamise õiguslikud miinimumnõuded erinevad tõlgendused ja selle tulemusel raamprogrammide varasem alahindamine näitestavad kooskõlastamise puudumist ja komisjoni strateegilise lähenemisviisi puudumise mõju raamprogrammide hindamisele.

Soovitused

49.

| 49. | Teadusuuringute peadirektoraadid peaksid kiiresti välja töötama ühise raamprogrammide hindamisstrateegia ja selles osas kokku leppima. Olemata ülemäära ettekirjutav, peaks see strateegia kaasa tooma raamprogrammide ja neis sisalduvate programmide hindamist käsitleva järjekindla lähenemisviisi. Selline strateegia peaks andma ka suunised miinimumtaseme kohta, millest peab alustama üksikasjalikku hindamist, et võtta arvesse iga teadusvaldkonna eripärad. |
| --- | --- |

Teadusuuringute peadirektoraadid peaksid kiiresti välja töötama ühise raamprogrammide hindamisstrateegia ja selles osas kokku leppima. Olemata ülemäära ettekirjutav, peaks see strateegia kaasa tooma raamprogrammide ja neis sisalduvate programmide hindamist käsitleva järjekindla lähenemisviisi. Selline strateegia peaks andma ka suunised miinimumtaseme kohta, millest peab alustama üksikasjalikku hindamist, et võtta arvesse iga teadusvaldkonna eripärad.

Raamprogrammide hindamise korraldamine

| 50. | Raamprogrammide hindamist on vaja toetada asjakohase organisatoorse korraldusega, mis peaks tulenema komisjoni raamprogrammide hindamist käsitlevast strateegilisest suunitlusest. Kontrollikoda kontrollis, mil määral tagab organisatsiooniline ülesehitus, et see on kooskõlastatud asjakohaselt, selleks on piisavalt ressursse ja sõltumatuse määr on huvirühmade arvates piisav. |
| --- | --- |

50.

Raamprogrammide hindamist on vaja toetada asjakohase organisatoorse korraldusega, mis peaks tulenema komisjoni raamprogrammide hindamist käsitlevast strateegilisest suunitlusest. Kontrollikoda kontrollis, mil määral tagab organisatsiooniline ülesehitus, et see on kooskõlastatud asjakohaselt, selleks on piisavalt ressursse ja sõltumatuse määr on huvirühmade arvates piisav.

Komisjon

Paljud peadirektoraadid rakendavad raamprogramme ühiselt, kuigi vastutus nende hindamise eest on detsentraliseeritud

| 51. | Komisjonis vastutavad kuluprogrammide hindamise eest erinevad peadirektoraadid (vt punkt 8) ja igas peadirektoraadis on loodud hindamisüksused. Nimetatud hindamisüksuste ülesanne on hindamise planeerimine, kooskõlastamine ja teostamine. |
| --- | --- |

51.

Komisjonis vastutavad kuluprogrammide hindamise eest erinevad peadirektoraadid (vt punkt 8) ja igas peadirektoraadis on loodud hindamisüksused. Nimetatud hindamisüksuste ülesanne on hindamise planeerimine, kooskõlastamine ja teostamine.

| 52. | Raamprogrammide hindamiseks tervikuna puudub konkreetne kooskõlastamisasutus või üks üksus, nagu teadusuuringute peadirektoraatide ühine hindamisüksus, mis vastandub teistele poliitikavaldkondadele. Välisabi valdkonnas on loodud kolme peadirektoraadi kohta (arengu peadirektoraat, välissuhete peadirektoraat ja EuropeAid'i koostöötalitus) ühine hindamisüksus, kelle ülesanne on hinnata komisjoni arenguprogramme kolmandates riikides (vt punkt 42). |
| --- | --- |

52.

Raamprogrammide hindamiseks tervikuna puudub konkreetne kooskõlastamisasutus või üks üksus, nagu teadusuuringute peadirektoraatide ühine hindamisüksus, mis vastandub teistele poliitikavaldkondadele. Välisabi valdkonnas on loodud kolme peadirektoraadi kohta (arengu peadirektoraat, välissuhete peadirektoraat ja EuropeAid'i koostöötalitus) ühine hindamisüksus, kelle ülesanne on hinnata komisjoni arenguprogramme kolmandates riikides (vt punkt 42).

| 53. | Teadusuuringute peadirektoraat tagab komisjonisisese TTA hindamisvõrgustiku kaudu mitteametliku kogemuste vahetamise erinevate peadirektoraatide hindamisüksuste vahel, kuid tal puudub volitus kehtestada hindamise miinimumnõudeid. Selline mehhanism ei ole siiski piisav, et tagada komisjoni raamprogrammide hindamise asjakohane kooskõlastamine. |
| --- | --- |

53.

Teadusuuringute peadirektoraat tagab komisjonisisese TTA hindamisvõrgustiku kaudu mitteametliku kogemuste vahetamise erinevate peadirektoraatide hindamisüksuste vahel, kuid tal puudub volitus kehtestada hindamise miinimumnõudeid. Selline mehhanism ei ole siiski piisav, et tagada komisjoni raamprogrammide hindamise asjakohane kooskõlastamine.

| 54. | Komisjon muutis oma üldist hindamist käsitlevat lähenemisviisi aastatel 2000, 2002 ja uuesti 2007 (vt punkt 14). Kuigi olulist paranemist raamprogrammide ja neis sisalduvate programmide planeerimises, kavandamises ja rakendamises ei täheldatud, täidavad teadusuuringute peadirektoraadid üldiselt komisjonisiseseid vorminõudeid. |
| --- | --- |

54.

Komisjon muutis oma üldist hindamist käsitlevat lähenemisviisi aastatel 2000, 2002 ja uuesti 2007 (vt punkt 14). Kuigi olulist paranemist raamprogrammide ja neis sisalduvate programmide planeerimises, kavandamises ja rakendamises ei täheldatud, täidavad teadusuuringute peadirektoraadid üldiselt komisjonisiseseid vorminõudeid.

Komisjoni kesktalitused kehtestavad standardid, kuid ei teosta järelevalvet nende täitmise üle

| 55. | Komisjoni kesktalitused (eelkõige eelarve peadirektoraat ja peasekretariaat) annavad metoodikaalast nõu ja määratlevad ühtsed standardid komisjonis tervikuna ja teostavad järelevalvet peadirektoraatide ja talituste standardite rakendamise üle (vt punktid 14 ja 70). Kesktalitused ei saa aga kehtestada, kuidas hindamist praktikas teostada. |
| --- | --- |

55.

Komisjoni kesktalitused (eelkõige eelarve peadirektoraat ja peasekretariaat) annavad metoodikaalast nõu ja määratlevad ühtsed standardid komisjonis tervikuna ja teostavad järelevalvet peadirektoraatide ja talituste standardite rakendamise üle (vt punktid 14 ja 70). Kesktalitused ei saa aga kehtestada, kuidas hindamist praktikas teostada.

| 56. | Ameerika Ühendriikide ja Kanada kogemus näitab, et standardeid määratlevate asutuste kontroll standardite järgimise üle on oluline tagamaks hindamissüsteemi tõhus toimimine. Mõlemas riigis kehtestavad ja kontrollivad keskvalitsuse ministeeriumid raamistikku, mille alusel antakse programmi edukusele lõplik hinnang (vt III lisa). Kuigi taust on erinev, tuginevad nende süsteemid siiski samale aluspõhimõttele, mille kohaselt programmi rakendavast asutusest eraldi olev asutus on see, kes peaks hindama hindamissüsteemi kavandamise osa aspekte ja kontrollima nende mõjusust. Sama võib täheldada mõnes liikmesriigis (nt Prantsusmaal, (31) Hispaanias, (32) Saksamaal (33)), kus organisatsioonivälised asutused kontrollivad rahastamisasutuste teostatud hindamist või teostavad ise seda hindamist. |
| --- | --- |

56.

Ameerika Ühendriikide ja Kanada kogemus näitab, et standardeid määratlevate asutuste kontroll standardite järgimise üle on oluline tagamaks hindamissüsteemi tõhus toimimine. Mõlemas riigis kehtestavad ja kontrollivad keskvalitsuse ministeeriumid raamistikku, mille alusel antakse programmi edukusele lõplik hinnang (vt III lisa). Kuigi taust on erinev, tuginevad nende süsteemid siiski samale aluspõhimõttele, mille kohaselt programmi rakendavast asutusest eraldi olev asutus on see, kes peaks hindama hindamissüsteemi kavandamise osa aspekte ja kontrollima nende mõjusust. Sama võib täheldada mõnes liikmesriigis (nt Prantsusmaal, (31) Hispaanias, (32) Saksamaal (33)), kus organisatsioonivälised asutused kontrollivad rahastamisasutuste teostatud hindamist või teostavad ise seda hindamist.

Eksperdirühmad

Väliseksperdirühmad: kohustuslikud raamprogrammiga seotud õigusnormide kohaselt alates neljandast raamprogrammist

| 57. | Alates neljandast raamprogrammist on väliseksperdirühmad pidanud teostama kõiki põhilisi hindamisi (ja iga-aastast järelevalvet) (vt II lisa). Vaatamata raskustele asjakohaste ekspertide leidmisel on sellistel eksperdirühmadel potentsiaali, et anda läbipaistvust, võimaldada teatav iseseisvusaste, hõlbustada huvirühmade kaasamist ja kasutada raamprogrammidest, hindamisest ja aluseks olevatest teadustöödest saadud teadmisi. |
| --- | --- |

57.

Alates neljandast raamprogrammist on väliseksperdirühmad pidanud teostama kõiki põhilisi hindamisi (ja iga-aastast järelevalvet) (vt II lisa). Vaatamata raskustele asjakohaste ekspertide leidmisel on sellistel eksperdirühmadel potentsiaali, et anda läbipaistvust, võimaldada teatav iseseisvusaste, hõlbustada huvirühmade kaasamist ja kasutada raamprogrammidest, hindamisest ja aluseks olevatest teadustöödest saadud teadmisi.

| 58. | Seda kinnitasid kontrollikoja küsitlused, mis näitasid, et küsitletute arvates tagab komisjoni eksperdirühmade tööl põhinev hindamissüsteem sõltumatuse (vt joonis 4). |
| --- | --- |

58.

Seda kinnitasid kontrollikoja küsitlused, mis näitasid, et küsitletute arvates tagab komisjoni eksperdirühmade tööl põhinev hindamissüsteem sõltumatuse (vt joonis 4).

Image

Komisjoni rakendatud eksperdirühmade tööl põhineva lähenemisviisi puudused

| 59. | Vaatamata osutatud positiivsele arusaamale, millele eksperdirühma liikmed ja huvirühmad juhtisid auditi käigus komisjoni tähelepanu, on komisjoni eksperdirühmade tööl põhineval raamprogrammide hindamisel järgmised puudused:






  — | hindamiseksperdirühmad luuakse tavaliselt vähem kui aasta enne nende aruande esitamise kuupäeva ja need kutsutakse kokku ainult piiratud arvuks koosolekuteks. See raskendab eksperdirühma liikmetel mõjutada nende tööks vajalike andmete ja analüüside määratlust. Lisaks on raskusi teadmiste kogumisel programmide kohta ja ei ole võimalik püsivalt jälgida olulisi teemasid aja jooksul, kuna eksperdirühmad on ajutised ja moodustatud ainult teatavaks otstarbeks. See on eriline puudus, kui (seitsmenda raamprogrammiga seoses) kavandatakse mitu põhilist hindamist kogu programmitööperioodi jooksul (vt II lisa). Selline olukord vastandub samuti komisjoni praktikale seoses raamprogramme nõustavate eksperdirühmadega, mis on alalised organid (34). Ka Kanadas (35) on hindamiseksperdirühmad alalised, et tagada järjepidev ja ühtne lähenemisviis (vt III lisa); |
| --- | --- | --- |

59.

Vaatamata osutatud positiivsele arusaamale, millele eksperdirühma liikmed ja huvirühmad juhtisid auditi käigus komisjoni tähelepanu, on komisjoni eksperdirühmade tööl põhineval raamprogrammide hindamisel järgmised puudused:

—

hindamiseksperdirühmad luuakse tavaliselt vähem kui aasta enne nende aruande esitamise kuupäeva ja need kutsutakse kokku ainult piiratud arvuks koosolekuteks. See raskendab eksperdirühma liikmetel mõjutada nende tööks vajalike andmete ja analüüside määratlust. Lisaks on raskusi teadmiste kogumisel programmide kohta ja ei ole võimalik püsivalt jälgida olulisi teemasid aja jooksul, kuna eksperdirühmad on ajutised ja moodustatud ainult teatavaks otstarbeks. See on eriline puudus, kui (seitsmenda raamprogrammiga seoses) kavandatakse mitu põhilist hindamist kogu programmitööperioodi jooksul (vt II lisa). Selline olukord vastandub samuti komisjoni praktikale seoses raamprogramme nõustavate eksperdirühmadega, mis on alalised organid (34). Ka Kanadas (35) on hindamiseksperdirühmad alalised, et tagada järjepidev ja ühtne lähenemisviis (vt III lisa);

| — | eksperdirühmadele juhendite ja volituste määratlemisel ja hindamisküsimuste kindlaksmääramisel ei konsulteeri komisjon selliste komisjoniväliste huvirühmadega, nagu raamprogrammides osalevad ettevõtjad ja peamised uurimisasutused. 2004. aasta järelevalvetoimkond on täheldanud seda probleemi samuti, märkides et potentsiaalsed kasutajad tuleks kaasata protsessi varajases etapis (36); |
| --- | --- |

—

eksperdirühmadele juhendite ja volituste määratlemisel ja hindamisküsimuste kindlaksmääramisel ei konsulteeri komisjon selliste komisjoniväliste huvirühmadega, nagu raamprogrammides osalevad ettevõtjad ja peamised uurimisasutused. 2004. aasta järelevalvetoimkond on täheldanud seda probleemi samuti, märkides et potentsiaalsed kasutajad tuleks kaasata protsessi varajases etapis (36);

| — | eksperdirühmad toimivad viisil, mis erineb vastastikustest eksperdihinnangutest. Nende liikmetel ei ole aega teostada hinnanguid ise; tavaliselt nad annavad nõu, tuginedes muudest allikatest kättesaadavaks tehtud andmetele ja tõendusmaterjalile. Ajaliste piirangute tõttu on eksperdirühmadel olnud ainult piiratud võimalused täiendavate uuringute tellimiseks, mis on vajalikud nende juhendites ja volitustes kindlaksmääratud küsimuste käsitlemiseks. Praktikas mõne vähese erandiga oli viieaastase hindamise eest vastutavatele eksperdirühmadele kättesaadav ainult komisjoni antud teave. |
| --- | --- |

—

eksperdirühmad toimivad viisil, mis erineb vastastikustest eksperdihinnangutest. Nende liikmetel ei ole aega teostada hinnanguid ise; tavaliselt nad annavad nõu, tuginedes muudest allikatest kättesaadavaks tehtud andmetele ja tõendusmaterjalile. Ajaliste piirangute tõttu on eksperdirühmadel olnud ainult piiratud võimalused täiendavate uuringute tellimiseks, mis on vajalikud nende juhendites ja volitustes kindlaksmääratud küsimuste käsitlemiseks. Praktikas mõne vähese erandiga oli viieaastase hindamise eest vastutavatele eksperdirühmadele kättesaadav ainult komisjoni antud teave.

Vahendid

Raamprogrammi hindamiseks ei ole konkreetselt määratud vahendeid

| 60. | Igal aastal eraldatakse hindamiseks vajalikud vahendid vastavalt raamprogramme rakendavate peadirektoraatide kindlaksmääratud vajadustele. Praegu rahastatakse seda kombineeritult nii eelarve peadirektoraadi kogu komisjonile eraldatavatest kui ka asjaomase peadirektoraadi halduseelarvest eraldatavatest vahenditest. Lisaks rahastatakse raamprogrammide tegevuseelarvest kaudsete meetmetena ka erimeetmeid. Seega ei ole hindamisele kindlat summat määratud. |
| --- | --- |

60.

Igal aastal eraldatakse hindamiseks vajalikud vahendid vastavalt raamprogramme rakendavate peadirektoraatide kindlaksmääratud vajadustele. Praegu rahastatakse seda kombineeritult nii eelarve peadirektoraadi kogu komisjonile eraldatavatest kui ka asjaomase peadirektoraadi halduseelarvest eraldatavatest vahenditest. Lisaks rahastatakse raamprogrammide tegevuseelarvest kaudsete meetmetena ka erimeetmeid. Seega ei ole hindamisele kindlat summat määratud.

| 61. | 2006. aasta prognoosi kohaselt oli hindamise ja tegevuspõhise juhtimisega tegelevaid töötajaid komisjonis keskmiselt 1 % kogu töötajate arvust (37). Vastavad arvnäitajad teadusuuringute ja tehnoloogia arendamise raamprogrammide järelevalve ja hindamistegevusega tegelevate töötajate kohta teadusuuringute peadirektoraadis ja infoühiskonna peadirektoraadis olid 1,2 % ja 1,3 %. Teadusuuringute peadirektoraadis töötas rohkem kui kaks kolmandikku nimetatud töötajatest siiski pigem rakenduskavaga tegelevates osakondades kui hindamisüksuses ja hindamine oli ainult üks paljudest neile määratud ülesannetest. |
| --- | --- |

61.

2006. aasta prognoosi kohaselt oli hindamise ja tegevuspõhise juhtimisega tegelevaid töötajaid komisjonis keskmiselt 1 % kogu töötajate arvust (37). Vastavad arvnäitajad teadusuuringute ja tehnoloogia arendamise raamprogrammide järelevalve ja hindamistegevusega tegelevate töötajate kohta teadusuuringute peadirektoraadis ja infoühiskonna peadirektoraadis olid 1,2 % ja 1,3 %. Teadusuuringute peadirektoraadis töötas rohkem kui kaks kolmandikku nimetatud töötajatest siiski pigem rakenduskavaga tegelevates osakondades kui hindamisüksuses ja hindamine oli ainult üks paljudest neile määratud ülesannetest.

Raamprogrammi hindamise rahastamine on komisjoni soovitatust väiksem

| 62. | Hindamisele eraldatud vahendeid saab väljendada ka protsentuaalse osana eraldatud üldistest eelarveassigneeringutest. Auditi käigus saadud arvnäitajad osutavad, et praktikas on see liikmesriikides rakendatavate teadusuuringute programmide puhul 0,1–2 %. Komisjoni suunistes soovitatakse, et 0,5 % programmi eelarvest tuleks eraldada hindamisele (38). Suuremate programmide puhul võib siiski ka väiksem eelarve osa olla mastaabisäästu tõttu piisav. |
| --- | --- |

62.

Hindamisele eraldatud vahendeid saab väljendada ka protsentuaalse osana eraldatud üldistest eelarveassigneeringutest. Auditi käigus saadud arvnäitajad osutavad, et praktikas on see liikmesriikides rakendatavate teadusuuringute programmide puhul 0,1–2 %. Komisjoni suunistes soovitatakse, et 0,5 % programmi eelarvest tuleks eraldada hindamisele (38). Suuremate programmide puhul võib siiski ka väiksem eelarve osa olla mastaabisäästu tõttu piisav.

| 63. | Perioodi 2003–2006 hindamiskulutusi käsitlevate komisjoni arvnäitajate ja igale peadirektoraadile eraldatud eelarveassigneeringute võrdlus näitab, et üldine keskmine näitaja on ligikaudu 0,15 %, mis on komisjoni soovitatud tasemest oluliselt madalam. 2006. aasta täpsem analüüs näitab, et infoühiskonna ja meedia peadirektoraat kulutas hindamisele ligikaudu neli korda rohkem kui teadusuuringute peadirektoraat, kui seda võrrelda nende käsutuses olevate assigneeringutega. Lisaks moodustab hindamisega seotud hõivatus teadusuuringute peadirektoraadis ainult 0,7 % täistööajaga töötava ametniku tööajast, kusjuures nende aastaeelarve on üks miljon eurot. Infoühiskonna ja meedia peadirektoraadi puhul on see protsent eelnevaga võrreldes kaks korda suurem. |
| --- | --- |

63.

Perioodi 2003–2006 hindamiskulutusi käsitlevate komisjoni arvnäitajate ja igale peadirektoraadile eraldatud eelarveassigneeringute võrdlus näitab, et üldine keskmine näitaja on ligikaudu 0,15 %, mis on komisjoni soovitatud tasemest oluliselt madalam. 2006. aasta täpsem analüüs näitab, et infoühiskonna ja meedia peadirektoraat kulutas hindamisele ligikaudu neli korda rohkem kui teadusuuringute peadirektoraat, kui seda võrrelda nende käsutuses olevate assigneeringutega. Lisaks moodustab hindamisega seotud hõivatus teadusuuringute peadirektoraadis ainult 0,7 % täistööajaga töötava ametniku tööajast, kusjuures nende aastaeelarve on üks miljon eurot. Infoühiskonna ja meedia peadirektoraadi puhul on see protsent eelnevaga võrreldes kaks korda suurem.

| 64. | Nagu on näitestatud käesolevas aruandes, on infoühiskonna ja meedia peadirektoraadi täiendavate jõupingutuste tulemuseks põhjalikum hindamine (vt punktid 13 ja 46) ja sellise metoodika kasutamine, mis sobib hindamisvajaduste käsitlemiseks paremini, nagu on näidatud kontrollikoja läbivaadatud hindamisuuringute valimis (vt punkt 84). |
| --- | --- |

64.

Nagu on näitestatud käesolevas aruandes, on infoühiskonna ja meedia peadirektoraadi täiendavate jõupingutuste tulemuseks põhjalikum hindamine (vt punktid 13 ja 46) ja sellise metoodika kasutamine, mis sobib hindamisvajaduste käsitlemiseks paremini, nagu on näidatud kontrollikoja läbivaadatud hindamisuuringute valimis (vt punkt 84).

| 65. | Kontrollikoja koostatud komisjoni andmetel põhinev kulude prognoos näitab, et käesolevas aruandes tehtud ettepanekutel põhinev hindamissüsteem moodustab seitsmenda raamprogrammi eelarveassigneeringutest keskmiselt alla 0,4 %. See kataks nii eksperdirühmade kui ka lepingute alusel tehtud uuringud, ühise hindamisüksuse töötajate ning iga peadirektoraadi praeguste hindamisüksustega seotud kulud ja mitmesugused muud kulud (39). |
| --- | --- |

65.

Kontrollikoja koostatud komisjoni andmetel põhinev kulude prognoos näitab, et käesolevas aruandes tehtud ettepanekutel põhinev hindamissüsteem moodustab seitsmenda raamprogrammi eelarveassigneeringutest keskmiselt alla 0,4 %. See kataks nii eksperdirühmade kui ka lepingute alusel tehtud uuringud, ühise hindamisüksuse töötajate ning iga peadirektoraadi praeguste hindamisüksustega seotud kulud ja mitmesugused muud kulud (39).

Soovitused

66.

| 66. | Teadusuuringute peadirektoraadid peaksid kaaluma ühise hindamisüksuse loomist lisaks olemasolevatele hindamisüksustele igas peadirektoraadis. Kooskõlas praeguse praktikaga teistes poliitikavaldkondades võiks see üksus kooskõlastada komisjoni raamprogrammi hindamisega seonduvaid toiminguid tervikuna. Selliseid ühiseid tugifunktsioone on varem soovitatud raamprogramme rakendavatele peadirektoraatidele (40) ja need võivad osutuda veelgi tähtsamaks tulevikus seoses Euroopa Teadusnõukogu loomise ja programmi rakendamise delegeerimisega täitevasutustele. |
| --- | --- |

Teadusuuringute peadirektoraadid peaksid kaaluma ühise hindamisüksuse loomist lisaks olemasolevatele hindamisüksustele igas peadirektoraadis. Kooskõlas praeguse praktikaga teistes poliitikavaldkondades võiks see üksus kooskõlastada komisjoni raamprogrammi hindamisega seonduvaid toiminguid tervikuna. Selliseid ühiseid tugifunktsioone on varem soovitatud raamprogramme rakendavatele peadirektoraatidele (40) ja need võivad osutuda veelgi tähtsamaks tulevikus seoses Euroopa Teadusnõukogu loomise ja programmi rakendamise delegeerimisega täitevasutustele.

| 67. | Komisjon peaks oma hindamistegevuse abistamiseks jätkuvalt kasutama hindamiseksperdirühmi. Komisjon peaks siiski kaalutlema, kuidas viia eksperdirühma ülesehitus kooskõlla üldise raamprogrammi omaga. Sel eesmärgil võiks luua eksperdirühma igale eriprogrammile ja vajaduse korral igale alaprogrammile (vt IV lisa). Lisaks tuleks nimetatud eksperdirühmad luua piisavalt vara, et toetada tõhusalt komisjoni ja jätkata seda kogu programmitööperioodi jooksul ja pärast seda. |
| --- | --- |

67.

Komisjon peaks oma hindamistegevuse abistamiseks jätkuvalt kasutama hindamiseksperdirühmi. Komisjon peaks siiski kaalutlema, kuidas viia eksperdirühma ülesehitus kooskõlla üldise raamprogrammi omaga. Sel eesmärgil võiks luua eksperdirühma igale eriprogrammile ja vajaduse korral igale alaprogrammile (vt IV lisa). Lisaks tuleks nimetatud eksperdirühmad luua piisavalt vara, et toetada tõhusalt komisjoni ja jätkata seda kogu programmitööperioodi jooksul ja pärast seda.

| 68. | Komisjon peaks uuesti läbi vaatama raamprogrammide ja neis sisalduvate programmide hindamiseks kasutatavad vahendid. |
| --- | --- |

68.

Komisjon peaks uuesti läbi vaatama raamprogrammide ja neis sisalduvate programmide hindamiseks kasutatavad vahendid.

Hindamismetoodika ja -tehnika

| 69. | Tõhus hindamine nõuab asjakohase metoodika ja tehnika kasutamist. Kontrollikoda uuris, kas raamprogrammide hindamise spetsiaalsed hindamissuunised olid koostatud, kas teabevajadusi analüüsiti nõuetekohaselt ja asjakohased andmed tehti hindajatele kättesaadavaks. Arvestades komisjoni või (komisjoni nimel) teostatud hindamisuuringuid, kontrollis kontrollikoda, kas igaks konkreetseks uuringuks kasutatud tehnika andis piisava aluse viieaastasele hindamisele püstitatud hindamisküsimuste käsitlemiseks. Kontrollikoda võttis arvesse ka võimaliku kaasabi, mida siseriiklikul tasandil hindamine võib osutada raamprogrammide hindamisele. |
| --- | --- |

69.

Tõhus hindamine nõuab asjakohase metoodika ja tehnika kasutamist. Kontrollikoda uuris, kas raamprogrammide hindamise spetsiaalsed hindamissuunised olid koostatud, kas teabevajadusi analüüsiti nõuetekohaselt ja asjakohased andmed tehti hindajatele kättesaadavaks. Arvestades komisjoni või (komisjoni nimel) teostatud hindamisuuringuid, kontrollis kontrollikoda, kas igaks konkreetseks uuringuks kasutatud tehnika andis piisava aluse viieaastasele hindamisele püstitatud hindamisküsimuste käsitlemiseks. Kontrollikoda võttis arvesse ka võimaliku kaasabi, mida siseriiklikul tasandil hindamine võib osutada raamprogrammide hindamisele.

Raamprogrammi eristandardite ja -suuniste kasutuselevõtmine

| 70. | Eelarve peadirektoraat on välja andnud mitmed teatised, milles sätestatakse hindamispoliitika ja selle rakenduseeskirjad, ning kehtestanud kogu komisjoni ulatuses standardid (vt punktid 14 ja 55) (41). Teiste poliitikavaldkondade peadirektoraadid on välja töötanud ka valdkonnapõhised hindamissuunised (42). |
| --- | --- |

70.

Eelarve peadirektoraat on välja andnud mitmed teatised, milles sätestatakse hindamispoliitika ja selle rakenduseeskirjad, ning kehtestanud kogu komisjoni ulatuses standardid (vt punktid 14 ja 55) (41). Teiste poliitikavaldkondade peadirektoraadid on välja töötanud ka valdkonnapõhised hindamissuunised (42).

| 71. | Raamprogrammide puhul ei ole see siiski nii. Komisjon on hindamistoimingute käsitlemiseks teadusuuringute valdkonnas avaldanud (või rahastanud) rea hindamistoiminguid käsitlevaid metoodikaalaseid suuniseid ja vahendeid (43). Need ei sisalda siiski juhtnööre, kuidas teostada raamprogrammide hindamist, ega määratle, kuidas peavad komisjoni töötajad või väliseksperdid peamisi põhimõtteid või terminoloogiat kasutama. Nimetatud puudustega kaasnevad probleemid, mida järgnevalt käsitletakse. |
| --- | --- |

71.

Raamprogrammide puhul ei ole see siiski nii. Komisjon on hindamistoimingute käsitlemiseks teadusuuringute valdkonnas avaldanud (või rahastanud) rea hindamistoiminguid käsitlevaid metoodikaalaseid suuniseid ja vahendeid (43). Need ei sisalda siiski juhtnööre, kuidas teostada raamprogrammide hindamist, ega määratle, kuidas peavad komisjoni töötajad või väliseksperdid peamisi põhimõtteid või terminoloogiat kasutama. Nimetatud puudustega kaasnevad probleemid, mida järgnevalt käsitletakse.

Vajadus andmete järele ja nende kogumine

Teabevajaduste ebapiisav analüüs

| 72. | Teadusuuringute peadirektoraadid ei ole pööranud piisavat tähelepanu arusaamale, milliseid andmeid hindamiseks ja järelevalveks vajatakse. Teabevajaduste süstemaatilise ja põhjaliku analüüsi teostamise asemel on komisjon määranud andmevajadused kindlaks programmitööperioodi hilisemas etapis, arvestamata piisavalt hindamise üldiseid vajadusi. Kuuenda raamprogrammi sotsiaalmajanduslik küsimustik oli peadirektoraatide ainus ühine katse kokku leppida sellistes andmetes (vt punkt 76). Nimetatud küsimustik valmis siiski 2004. aastal (kolm aastat pärast programmiperioodi algust) ja see hõlmab peamiselt selliseid aspekte, nagu mõlemast soost uurijate osalus ja keskkonnamõjud, mitte teaduslikke väljundeid (nagu intellektuaalse omandiga seonduvad küsimused, trükiväljaanded jne) ja tulemit või mõju. |
| --- | --- |

72.

Teadusuuringute peadirektoraadid ei ole pööranud piisavat tähelepanu arusaamale, milliseid andmeid hindamiseks ja järelevalveks vajatakse. Teabevajaduste süstemaatilise ja põhjaliku analüüsi teostamise asemel on komisjon määranud andmevajadused kindlaks programmitööperioodi hilisemas etapis, arvestamata piisavalt hindamise üldiseid vajadusi. Kuuenda raamprogrammi sotsiaalmajanduslik küsimustik oli peadirektoraatide ainus ühine katse kokku leppida sellistes andmetes (vt punkt 76). Nimetatud küsimustik valmis siiski 2004. aastal (kolm aastat pärast programmiperioodi algust) ja see hõlmab peamiselt selliseid aspekte, nagu mõlemast soost uurijate osalus ja keskkonnamõjud, mitte teaduslikke väljundeid (nagu intellektuaalse omandiga seonduvad küsimused, trükiväljaanded jne) ja tulemit või mõju.

| 73. | Programmide hindamine tugineb suurel määral kolme liiki andmete kättesaadavusele:






  — | andmete kogumine vastavalt mõjususe näitajatele, mille analüüs annab teavet edusammude kohta eesmärkide saavutamisel. Eespool osutatud sekkumisloogika puudumine tähendab, et selliste näitajate määratlemine on olnud keeruline (vt punkt 30). Praktikas ei olnud programmi eesmärkide saavutamise mõõtmiseks kogutud andmed eriti asjakohased; |
| --- | --- | --- |

73.

Programmide hindamine tugineb suurel määral kolme liiki andmete kättesaadavusele:

—

andmete kogumine vastavalt mõjususe näitajatele, mille analüüs annab teavet edusammude kohta eesmärkide saavutamisel. Eespool osutatud sekkumisloogika puudumine tähendab, et selliste näitajate määratlemine on olnud keeruline (vt punkt 30). Praktikas ei olnud programmi eesmärkide saavutamise mõõtmiseks kogutud andmed eriti asjakohased;

| — | andmed programmijuhtimise kohta (vastavalt tõhususe näitajatele); |
| --- | --- |

—

andmed programmijuhtimise kohta (vastavalt tõhususe näitajatele);

| — | andmed osalejate kohta (nagu peamiste uurimisasutuste osalemise määr). |
| --- | --- |

—

andmed osalejate kohta (nagu peamiste uurimisasutuste osalemise määr).

| 74. | Eelkõige kaks viimati nimetatut peaksid olema komisjonis kättesaadavad. Komisjonisisestes, enamiku programmide haldamist ja osalejaid käsitlevaid andmeid sisaldavates andmebaasides on ilmnenud siiski probleeme, (44) mille tulemusel on selle praktikaga kaasnenud märkimisväärseid probleeme (45). |
| --- | --- |

74.

Eelkõige kaks viimati nimetatut peaksid olema komisjonis kättesaadavad. Komisjonisisestes, enamiku programmide haldamist ja osalejaid käsitlevaid andmeid sisaldavates andmebaasides on ilmnenud siiski probleeme, (44) mille tulemusel on selle praktikaga kaasnenud märkimisväärseid probleeme (45).

| 75. | Seda näitestavad märgatavad viivitused artiklis 173 sätestatud aruannete ja iga-aastaste järelevalvearuannete kättesaadavaks tegemisel (perioodil 2002–2005 artikliga 173 ettenähtud aruandeid on esitatud kuni 16 kuud hiljem (46) ja iga-aastaseid järelevalvearuandeid kuni seitse kuud hiljem). Kuna nimetatud teavet saadi pidevalt olulise hilinemisega, oli sellest kasu ainult vähesel määral. |
| --- | --- |

75.

Seda näitestavad märgatavad viivitused artiklis 173 sätestatud aruannete ja iga-aastaste järelevalvearuannete kättesaadavaks tegemisel (perioodil 2002–2005 artikliga 173 ettenähtud aruandeid on esitatud kuni 16 kuud hiljem (46) ja iga-aastaseid järelevalvearuandeid kuni seitse kuud hiljem). Kuna nimetatud teavet saadi pidevalt olulise hilinemisega, oli sellest kasu ainult vähesel määral.

Osalejatelt hindamisandmete saamist käsitlev ebatõhus lähenemisviis

| 76. | Alates viiendast raamprogrammist on komisjon nõudnud süstemaatiliselt, et osalejad esitaksid programmi eesmärkide saavutamise mõõtmiseks vajalikud lepingus sätestatud andmed väljundite, tulemi ja mõju kohta järgmiselt:






  — | viienda raamprogrammi raames nõuti, et osalejad esitaksid pärast projekti lõpuleviimist tehnoloogia rakenduskava koos lõpparuandega. Nimetatud dokumendid olid sageli puudulikud või neid ei esitatud; |
| --- | --- | --- |

76.

Alates viiendast raamprogrammist on komisjon nõudnud süstemaatiliselt, et osalejad esitaksid programmi eesmärkide saavutamise mõõtmiseks vajalikud lepingus sätestatud andmed väljundite, tulemi ja mõju kohta järgmiselt:

—

viienda raamprogrammi raames nõuti, et osalejad esitaksid pärast projekti lõpuleviimist tehnoloogia rakenduskava koos lõpparuandega. Nimetatud dokumendid olid sageli puudulikud või neid ei esitatud;

| — | kuuenda raamprogrammi raames nõutakse, et osalejad esitavad teadmiste levitamise ja kasutamise kava ning vastavad tehnilise aastaaruande esitamisel ka standardsele sotsiaalmajanduslikke küsimusi käsitlevale küsimustikule. |
| --- | --- |

—

kuuenda raamprogrammi raames nõutakse, et osalejad esitavad teadmiste levitamise ja kasutamise kava ning vastavad tehnilise aastaaruande esitamisel ka standardsele sotsiaalmajanduslikke küsimusi käsitlevale küsimustikule.

| 77. | Lepingus sätestatud andmete esitamisnõuded on osavõtjatele üleliigne haldusalane töökoormus. Näiteks kuuenda raamprogrammi iga-aastase küsimustikuga seoses kogutakse andmeid tunduvalt sagedamini kui nõutud ja kõikide projektide osas, kuigi piisaks representatiivsest valimist. Selline olukord toob tõenäoliselt kaasa nn hindamisest tingitud väsimuse. Peale selle on nimetatud teavet kogutud valel ajal; paljud aluseks olevad teemad, mille jaoks andmeid kogutakse, on laadilt keskpikad või pikaajalised, seega on kõik projekti lepingulise kestuse ajal kogutud andmed määratluse järgi enneaegsed (47). Seetõttu on nimetatud vahendite abil saadud teabel olnud praktikas vaid vähene kasu viienda ja kuuenda raamprogrammi hindamisel. |
| --- | --- |

77.

Lepingus sätestatud andmete esitamisnõuded on osavõtjatele üleliigne haldusalane töökoormus. Näiteks kuuenda raamprogrammi iga-aastase küsimustikuga seoses kogutakse andmeid tunduvalt sagedamini kui nõutud ja kõikide projektide osas, kuigi piisaks representatiivsest valimist. Selline olukord toob tõenäoliselt kaasa nn hindamisest tingitud väsimuse. Peale selle on nimetatud teavet kogutud valel ajal; paljud aluseks olevad teemad, mille jaoks andmeid kogutakse, on laadilt keskpikad või pikaajalised, seega on kõik projekti lepingulise kestuse ajal kogutud andmed määratluse järgi enneaegsed (47). Seetõttu on nimetatud vahendite abil saadud teabel olnud praktikas vaid vähene kasu viienda ja kuuenda raamprogrammi hindamisel.

| 78. | Mitte ühegi kasutusel oleva süsteemi osas ei kehtestata ühtset teabe kogumist projektitsükli lõpus (või kohe pärast seda). Intervjueeritud huvirühmad tegid ettepaneku, et selline teave võiks käsitleda projekti eesmärkide saavutamist, ettenähtud (ja plaaniväliseid) tulemusi ja osalejate arusaamist ühenduse lisandväärtusest. Nimetatud teave võiks olla aluseks ka lõpuleviidud projektide väliskontrollile (48). |
| --- | --- |

78.

Mitte ühegi kasutusel oleva süsteemi osas ei kehtestata ühtset teabe kogumist projektitsükli lõpus (või kohe pärast seda). Intervjueeritud huvirühmad tegid ettepaneku, et selline teave võiks käsitleda projekti eesmärkide saavutamist, ettenähtud (ja plaaniväliseid) tulemusi ja osalejate arusaamist ühenduse lisandväärtusest. Nimetatud teave võiks olla aluseks ka lõpuleviidud projektide väliskontrollile (48).

| 79. | Saientomeetrial põhineva lähenemisviisi (nagu tsitaatide analüüs) ulatuslikum kasutamine projekti tulemuste hindamisel (vt punkt 83) võiks olla komisjonile aluseks üleminekul tulemuspõhisemale rahastamissüsteemile TTA toimingutes, mille kaasrahastaja on ühendus (49). |
| --- | --- |

79.

Saientomeetrial põhineva lähenemisviisi (nagu tsitaatide analüüs) ulatuslikum kasutamine projekti tulemuste hindamisel (vt punkt 83) võiks olla komisjonile aluseks üleminekul tulemuspõhisemale rahastamissüsteemile TTA toimingutes, mille kaasrahastaja on ühendus (49).

Muud ebapiisavalt kasutatud andmeallikad

| 80. | Komisjonis ja liikmesriikides on ebapiisavalt kasutatud muid olemasolevaid andmeallikaid (nt riiklike TTA programmide ja rahastamisasutuste andmebaasid ning ühenduse teadus- ja arendustegevuse teabeteenistus (CORDIS), mida kasutab komisjoni väljaannete talitus (50)). |
| --- | --- |

80.

Komisjonis ja liikmesriikides on ebapiisavalt kasutatud muid olemasolevaid andmeallikaid (nt riiklike TTA programmide ja rahastamisasutuste andmebaasid ning ühenduse teadus- ja arendustegevuse teabeteenistus (CORDIS), mida kasutab komisjoni väljaannete talitus (50)).

Komisjoni läbiviidud hindamisuuringud

Kontrollikoja läbivaadatud aruanded

| 81. | Kontrollikoda vaatas uuesti läbi 86 hindamisuuringut, mis viidi läbi komisjonis (või komisjoni nimel) alates 2000. aastast. Need sisaldasid kõiki 2004. aastal avaldatud viieaastasel hindamisel aluseks võetud 36 uuringut ja 50 täiendavat uuringut, mis viidi lõpule pärast seda kuupäeva. Ainult 23 uuringut saab käsitleda raamprogrammide ja nende alaprogrammide tõelise hindamisena (vt joonis 5).
  Joonis 5
  Komisjoni poolt (või nimel) läbiviidud hindamisuuringud ajavahemikul 2000–2006








  Uuringute liik | Arv | Kirjeldus |
| --- | --- | --- | --- |
| Raamprogrammidega seonduvate toimingute hindamine | 23 | Hindamisuuringud






  — | põhinevad tunnustatud metoodikal (51); |

81.

Kontrollikoda vaatas uuesti läbi 86 hindamisuuringut, mis viidi läbi komisjonis (või komisjoni nimel) alates 2000. aastast. Need sisaldasid kõiki 2004. aastal avaldatud viieaastasel hindamisel aluseks võetud 36 uuringut ja 50 täiendavat uuringut, mis viidi lõpule pärast seda kuupäeva. Ainult 23 uuringut saab käsitleda raamprogrammide ja nende alaprogrammide tõelise hindamisena (vt joonis 5).

Joonis 5

Komisjoni poolt (või nimel) läbiviidud hindamisuuringud ajavahemikul 2000–2006

Uuringute liik

Arv

Kirjeldus

Raamprogrammidega seonduvate toimingute hindamine

23

Hindamisuuringud

—

põhinevad tunnustatud metoodikal (51);

| — | osutavad konkreetselt programmi eesmärkidele ja nende saavutamise määrale. |
| --- | --- |

—

osutavad konkreetselt programmi eesmärkidele ja nende saavutamise määrale.

Siseriikliku mõju hindamine, mis on teostatud liikmesriigi tasandil

12

Liikmesriikide teostatud uuringud, milles käsitletakse peamiselt liikmesriikide osalemise määra, mitte programmi eesmärkidest lähtuvaid järeldusi.

Metoodikaalased uuringud

5

Komisjoni korraldatud uuringud, et osutada abi hindamismetoodika väljaarendamisel.

Euroopa teadusuuringute ja tehnoloogiaarendusega seonduvate väljavaadete uuringud

2

Uuringud, milles käsitletakse kontekstil põhinevaid Euroopa teadusalaseid analüüse, kuid ei käsitleta raamprogramme. Eelkõige puudub selge viide selle kohta, et raamprogrammid mõjutavad liikmesriigi teadus- ja innovatsioonisüsteeme.

Kirjeldavad statistilised dokumendid, mis ei sisalda analüüse

33

Dokumendid, milles tavaliselt käsitletakse raamprogrammidega seonduvaid toiminguid väga kaudsel viisil, pigem neid kirjeldades kui analüüsides.

Muud dokumendid

11

Rida dokumente, milles kaalutletakse üldist huvi pakkuvaid küsimusi ilma raamprogramme nimetatud kontekstis vaatlemata.

Hindamisel keskendutakse pigem järelevalvega seonduvatele küsimustele kui tulemile ja mõjule

| 82. | Kaks põhilist tähelepanekut tulenevad kontrollikoja nimetatud konkreetsete hindamisuuringute metaanalüüsist:






  — | kuigi paljudes uuringutes püütakse teha järeldusi programmi eesmärkidest lähtudes, on need järeldused esitatud väga ebamäärasel viisil, mistõttu jääb lugejale ebaselgeks, kas kõnealust küsimust on hindamisel käsitletud või ei. Sageli on selle põhjuseks selgete programmi eesmärkide puudumine, mis kahjustab oluliselt protsessi (vt punkt 28); |
| --- | --- | --- |

82.

Kaks põhilist tähelepanekut tulenevad kontrollikoja nimetatud konkreetsete hindamisuuringute metaanalüüsist:

—

kuigi paljudes uuringutes püütakse teha järeldusi programmi eesmärkidest lähtudes, on need järeldused esitatud väga ebamäärasel viisil, mistõttu jääb lugejale ebaselgeks, kas kõnealust küsimust on hindamisel käsitletud või ei. Sageli on selle põhjuseks selgete programmi eesmärkide puudumine, mis kahjustab oluliselt protsessi (vt punkt 28);

| — | raamprogrammide ja nende eriprogrammide (ja alaprogrammide) tulemi ja mõju hindamise asemel on paljud dokumendid kirjeldavat laadi ja parimal juhul keskendutakse neis otsestele projekti väljunditele ja projektijuhtimise küsimustele. Nimetatud aruannete abil ei ole võimalik esitada tulemi ja mõju suhtes veenvat tõendusmaterjali. |
| --- | --- |

—

raamprogrammide ja nende eriprogrammide (ja alaprogrammide) tulemi ja mõju hindamise asemel on paljud dokumendid kirjeldavat laadi ja parimal juhul keskendutakse neis otsestele projekti väljunditele ja projektijuhtimise küsimustele. Nimetatud aruannete abil ei ole võimalik esitada tulemi ja mõju suhtes veenvat tõendusmaterjali.

Ebapiisav rõhuasetus uuendusliku metoodika väljatöötamisele

| 83. | Ajavahemikul 2000–2006 teostatud hindamistes kasutatakse traditsioonilist metoodikat ja tehnikat (eelkõige uuringud, dokumentide kontroll ja intervjuud) (vt joonis 6). Lisaks ei kasutatud (või kasutati väga harva) arvukaid teisi keerulisemaid, kuid sellest hoolimata edukalt kasutuse levõetud hindamismetoodikaid ja -tehnikaid, eelkõige:






  — | saientomeetrial põhinev lähenemisviis (nagu tsitaatide analüüsimine) (52); |
| --- | --- | --- |

83.

Ajavahemikul 2000–2006 teostatud hindamistes kasutatakse traditsioonilist metoodikat ja tehnikat (eelkõige uuringud, dokumentide kontroll ja intervjuud) (vt joonis 6). Lisaks ei kasutatud (või kasutati väga harva) arvukaid teisi keerulisemaid, kuid sellest hoolimata edukalt kasutuse levõetud hindamismetoodikaid ja -tehnikaid, eelkõige:

—

saientomeetrial põhinev lähenemisviis (nagu tsitaatide analüüsimine) (52);

| — | kvantitatiivsed mudelid (nagu kulutasuvus, kulusäästlikkus ja tulukus) (53); |
| --- | --- |

—

kvantitatiivsed mudelid (nagu kulutasuvus, kulusäästlikkus ja tulukus) (53);

| — | tegijatel põhinevad mudelid (käitumismudelid), (mille rõhuasetus on sekkumisega kaasnevatel visioonidel, nagu teadusuuringute võrgud ja nende muutused aja jooksul). |
| --- | --- |

—

tegijatel põhinevad mudelid (käitumismudelid), (mille rõhuasetus on sekkumisega kaasnevatel visioonidel, nagu teadusuuringute võrgud ja nende muutused aja jooksul).

Image

| 84. | Hindamisuuringuid, milles püüti käsitleda mõningaid metoodikaalaseid probleeme seoses avaliku sekkumise hindamisega teadusuuringutes (vt I lisa), kasutati ainult üksikutel juhtudel:






  — | hiljuti viidi lõpule kaks uuringut sekkumisloogika kohta (54); |
| --- | --- | --- |

84.

Hindamisuuringuid, milles püüti käsitleda mõningaid metoodikaalaseid probleeme seoses avaliku sekkumise hindamisega teadusuuringutes (vt I lisa), kasutati ainult üksikutel juhtudel:

—

hiljuti viidi lõpule kaks uuringut sekkumisloogika kohta (54);

| — | on tuvastatud kolm uuringut, milles püütakse hinnata komisjoni rahastamise mõju teadusuuringute organisatsioonide tööle üleeuroopalises võrgus (55) vaatamata asjaolule, et oletus võrgus töötamise positiivsete tulemuste kohta on Euroopa teadusruumi (ERA) kontseptsioonis kesksel kohal; |
| --- | --- |

—

on tuvastatud kolm uuringut, milles püütakse hinnata komisjoni rahastamise mõju teadusuuringute organisatsioonide tööle üleeuroopalises võrgus (55) vaatamata asjaolule, et oletus võrgus töötamise positiivsete tulemuste kohta on Euroopa teadusruumi (ERA) kontseptsioonis kesksel kohal;

| — | ainult ühe juhtumi korral on püütud teha järeldusi programmi (või alaprogrammi) tasandil saavutatud mõju kohta, ühendades projekti tasandil kogutavad hindamisanalüüsid muu hindamistehnikaga (56); |
| --- | --- |

—

ainult ühe juhtumi korral on püütud teha järeldusi programmi (või alaprogrammi) tasandil saavutatud mõju kohta, ühendades projekti tasandil kogutavad hindamisanalüüsid muu hindamistehnikaga (56);

| — | ei ole leitud tõendusmaterjali muu metoodika kasutamise kohta, nagu „vastandustel” (või „kontrollrühmal”) põhinev lähenemisviis. Nimetatud lähenemisviis on eriti kasulik näitestamaks programmide lisandväärtust ühenduse tasandil, võrreldes seda mittesekkumisega (või sekkumisega riiklikul või piirkondlikul tasandil). |
| --- | --- |

—

ei ole leitud tõendusmaterjali muu metoodika kasutamise kohta, nagu „vastandustel” (või „kontrollrühmal”) põhinev lähenemisviis. Nimetatud lähenemisviis on eriti kasulik näitestamaks programmide lisandväärtust ühenduse tasandil, võrreldes seda mittesekkumisega (või sekkumisega riiklikul või piirkondlikul tasandil).

| 85. | Kontrollikoja intervjueeritud huvirühmad olid arvamusel, et hindamistoimingute kasulikkust ja asjakohasust saaks parandada. See tõestab vajadust arendada edasi metoodikat, nii et hindamissüsteem saaks areneda, võtmaks arvesse raamprogrammide muutusi (vt punkt 7) (57). |
| --- | --- |

85.

Kontrollikoja intervjueeritud huvirühmad olid arvamusel, et hindamistoimingute kasulikkust ja asjakohasust saaks parandada. See tõestab vajadust arendada edasi metoodikat, nii et hindamissüsteem saaks areneda, võtmaks arvesse raamprogrammide muutusi (vt punkt 7) (57).

Komisjoni konkreetsete hindamisuuringute põhjal ei suudetud lahendada viieaastase hindamisega seonduvate toimingute käigus kerkinud olulisi küsimusi

| 86. | Seda näitestavad ka olulised probleemid, mis tekkisid 2004. aastal viieaastase hindamise eksperdirühmal (58) nende juhendites ja volitustes soovitatud küsimustele vastamisel. Paljusid lahendust vajavaid küsimusi ei suudetud uuridagi, kuna puudusid komisjoni (või komisjoni nimel) eelnevalt teostatud asjakohased uuringud ja eksperdirühma liikmetel ei olnud võimalik tellida selliseid uuringuid õigel ajal (vt joonis 7).
  Joonis 7
  Hindamisküsimuste käsitlemine 2004. aasta viieaastases hindamises | Hindamisküsimus | Hindamises käsitletud? |
| --- | --- | --- | --- |
| RAKENDAMINE | Kas meetmed rakendati tõhusalt? | osaliselt |
| Kas meetmed olid kulusäästlikud? | osaliselt |
| Kas meetmed olid parim viis seatud eesmärkide saavutamiseks? | ei |
| Kas üldine õigusraamistik (sh osalemise ja lepingutega seotud eeskirjad), poliitikavahendid ja rakendamist käsitlevad üksikasjalikud eeskirjad olid selged, asjakohased ja mõjusad? | ei |
| Kas rahalised vahendid ja muud kasutatavad ressursid olid piisavad? | ei |
| Kas sihtrühma kuulunud tööstus- ja teadusringkonnad, sh VKEd, olid võimelised asjakohaselt vastama? | jah |
| SAAVUTUSED | Kas meetmete vastavad eesmärgid saavutati ning millisel määral esines ootamatuid tulemusi? | ei |
| Mis olid peamised tulemused eelkõige seoses järgmisega: teaduse, tehnoloogia, sotsiaalmajanduslikud ja keskkonnaprobleemide väljundid, rahvusvaheline koostöö, teadmiste edastamine ja innovatsioon, normide koostamistegevused, kättesaadavus, teadusuuringute tulemuste levitamine ja kasutamine, inimressursside arendamine, mobiilsus ja koolitus ning teadustegevuse kooskõlastamise toetamine ja tõhustamine? | ei |
| Kas tulemused ning nende mõjud ja tagajärjed olid üldiselt rahuldavad otseste või kaudsete abisaajate või huvirühmade seisukohalt? | ei |
| Kas asjaomaseid tööstus- ja teadusringkondi, sh VKEd, võeti piisavalt arvesse? | jah |
| Kuidas ja mil määral on meetmed ELi teadusuuringute konkurentsivõimet rahvusvahelisel tasandil parandanud? Kas ELi teadusuuringud saavutasid mõnes konkreetses valdkonnas juhtpositsiooni? | osaliselt |
| Kuidas ja mil määral on meetmed kaasa aidanud nii ELi poliitikale üldiselt kui ka ELi säästva arengu strateegiale? | ei |
| Kas ühenduse teadustegevuse tulemusel on riiklikul ja rahvusvahelisel tasandil märgata struktuuriga seotud muutusi, sh eelkõige võrgustike edendamise või teadusuuringute integreerimise ja kooskõlastamise osas? | ei |
| Kas programmid olid tulusad? Kas meetmetel oli kestev mõju? | ei |
| ARENG JA TULEVIKUPERSPEKTIIVID | Kuidas arenesid raamprogrammid lähtepunktide, eesmärkide, prioriteetsete teemade, suunaga „alt üles” ja „ülevalt alla” prioriteetide osas, alusuuringute ja rakendusuuringute vahel ning vahendite, Euroopa tasandil saadava lisaväärtuse ja teiste mõjude osas, võttes arvesse eelkõige Euroopa teadusruumi kontseptsiooni kasutuse, Lissaboni eesmärgid ning rahvusvahelise majanduse ja teadusuuringute osas rakendatavad kesksed hindamispõhimõtted? | jah |
| Kuidas saavutati Euroopa tasandil saadav lisaväärtus raamprogrammi osas? | jah |
| Kas lisaväärtust on võimalik Euroopa tasandil saavutada muude rahvusvaheliste või siseriiklike mehhanismide abil? | ei |
| Kas programmide poliitikaeesmärgid, prioriteedid, vahendid ja elutsükkel on tuleviku seisukohast asjakohased? | jah |

86.

Seda näitestavad ka olulised probleemid, mis tekkisid 2004. aastal viieaastase hindamise eksperdirühmal (58) nende juhendites ja volitustes soovitatud küsimustele vastamisel. Paljusid lahendust vajavaid küsimusi ei suudetud uuridagi, kuna puudusid komisjoni (või komisjoni nimel) eelnevalt teostatud asjakohased uuringud ja eksperdirühma liikmetel ei olnud võimalik tellida selliseid uuringuid õigel ajal (vt joonis 7).

Joonis 7

Hindamisküsimuste käsitlemine 2004. aasta viieaastases hindamises

Hindamisküsimus

Hindamises käsitletud?

RAKENDAMINE

Kas meetmed rakendati tõhusalt?

osaliselt

Kas meetmed olid kulusäästlikud?

osaliselt

Kas meetmed olid parim viis seatud eesmärkide saavutamiseks?

ei

Kas üldine õigusraamistik (sh osalemise ja lepingutega seotud eeskirjad), poliitikavahendid ja rakendamist käsitlevad üksikasjalikud eeskirjad olid selged, asjakohased ja mõjusad?

ei

Kas rahalised vahendid ja muud kasutatavad ressursid olid piisavad?

ei

Kas sihtrühma kuulunud tööstus- ja teadusringkonnad, sh VKEd, olid võimelised asjakohaselt vastama?

jah

SAAVUTUSED

Kas meetmete vastavad eesmärgid saavutati ning millisel määral esines ootamatuid tulemusi?

ei

Mis olid peamised tulemused eelkõige seoses järgmisega: teaduse, tehnoloogia, sotsiaalmajanduslikud ja keskkonnaprobleemide väljundid, rahvusvaheline koostöö, teadmiste edastamine ja innovatsioon, normide koostamistegevused, kättesaadavus, teadusuuringute tulemuste levitamine ja kasutamine, inimressursside arendamine, mobiilsus ja koolitus ning teadustegevuse kooskõlastamise toetamine ja tõhustamine?

ei

Kas tulemused ning nende mõjud ja tagajärjed olid üldiselt rahuldavad otseste või kaudsete abisaajate või huvirühmade seisukohalt?

ei

Kas asjaomaseid tööstus- ja teadusringkondi, sh VKEd, võeti piisavalt arvesse?

jah

Kuidas ja mil määral on meetmed ELi teadusuuringute konkurentsivõimet rahvusvahelisel tasandil parandanud? Kas ELi teadusuuringud saavutasid mõnes konkreetses valdkonnas juhtpositsiooni?

osaliselt

Kuidas ja mil määral on meetmed kaasa aidanud nii ELi poliitikale üldiselt kui ka ELi säästva arengu strateegiale?

ei

Kas ühenduse teadustegevuse tulemusel on riiklikul ja rahvusvahelisel tasandil märgata struktuuriga seotud muutusi, sh eelkõige võrgustike edendamise või teadusuuringute integreerimise ja kooskõlastamise osas?

ei

Kas programmid olid tulusad? Kas meetmetel oli kestev mõju?

ei

ARENG JA TULEVIKUPERSPEKTIIVID

Kuidas arenesid raamprogrammid lähtepunktide, eesmärkide, prioriteetsete teemade, suunaga „alt üles” ja „ülevalt alla” prioriteetide osas, alusuuringute ja rakendusuuringute vahel ning vahendite, Euroopa tasandil saadava lisaväärtuse ja teiste mõjude osas, võttes arvesse eelkõige Euroopa teadusruumi kontseptsiooni kasutuse, Lissaboni eesmärgid ning rahvusvahelise majanduse ja teadusuuringute osas rakendatavad kesksed hindamispõhimõtted?

jah

Kuidas saavutati Euroopa tasandil saadav lisaväärtus raamprogrammi osas?

jah

Kas lisaväärtust on võimalik Euroopa tasandil saavutada muude rahvusvaheliste või siseriiklike mehhanismide abil?

ei

Kas programmide poliitikaeesmärgid, prioriteedid, vahendid ja elutsükkel on tuleviku seisukohast asjakohased?

jah

| 87. | Lisaks märgitakse, et eksperdirühma liikmed suutsid vastata oma juhendites ja volitustes kindlaksmääratud küsimustele ainult selliste aspektidega seoses, mille puhul olid programmides määratletud selged ja kvantifitseeritavad eesmärgid (nagu väikeste ja keskmise suurusega ettevõtete osalemise määr). |
| --- | --- |

87.

Lisaks märgitakse, et eksperdirühma liikmed suutsid vastata oma juhendites ja volitustes kindlaksmääratud küsimustele ainult selliste aspektidega seoses, mille puhul olid programmides määratletud selged ja kvantifitseeritavad eesmärgid (nagu väikeste ja keskmise suurusega ettevõtete osalemise määr).

Riiklikul tasandil teostatud raamprogrammide hindamine

| 88. | Mitmed liikmesriigid ja assotsieerunud riigid teostavad raamprogrammide siseriiklikku hindamist, milles käsitletakse asjakohaseid ja huvitavaid küsimusi nende endi seisukohast vaadatuna (59). Viimase kaheksa aasta jooksul on teostatud 14 sellist hindamist 9 liikmesriigi ja ühe assotsieerunud riigi kohta. |
| --- | --- |

88.

Mitmed liikmesriigid ja assotsieerunud riigid teostavad raamprogrammide siseriiklikku hindamist, milles käsitletakse asjakohaseid ja huvitavaid küsimusi nende endi seisukohast vaadatuna (59). Viimase kaheksa aasta jooksul on teostatud 14 sellist hindamist 9 liikmesriigi ja ühe assotsieerunud riigi kohta.

| 89. | Kuigi komisjon julgustas ühtlustatud lähenemisviisi kasutamist vastavalt võimalustele, on liikmesriigi tasandil teostatud mõju-uuringud väga ebaühtlased (60). Kuna need ei järgi ühtset metoodikat, on selle tulemusel tulemuste koondamise, seostamise ja võrdlemise võimalus piiratud. Lisaks arvestades nende riigisisest laadi, on võimalik nimetatud uuringutega hõlmata Euroopa koostöö mõõdet ainult osaliselt. |
| --- | --- |

89.

Kuigi komisjon julgustas ühtlustatud lähenemisviisi kasutamist vastavalt võimalustele, on liikmesriigi tasandil teostatud mõju-uuringud väga ebaühtlased (60). Kuna need ei järgi ühtset metoodikat, on selle tulemusel tulemuste koondamise, seostamise ja võrdlemise võimalus piiratud. Lisaks arvestades nende riigisisest laadi, on võimalik nimetatud uuringutega hõlmata Euroopa koostöö mõõdet ainult osaliselt.

| 90. | 2007. aasta rohelises raamatus Euroopa teadusruumi kohta pidas komisjon tähtsaks, et teadusuuringute ja teaduspoliitika (kaasa arvatud liikmesriikide ja ELi teadusuuringud ja teaduspoliitika) mõju ja mõjususe täpsed analüüsid oleksid Euroopa teadusruumi tasandil kättesaadavad. Samuti tunnistas komisjon, et praegune korraldus ei ole selle probleemi lahendamiseks piisav, kuna igal sekkumise tasandil korraldati hindamist eraldi (61). |
| --- | --- |

90.

2007. aasta rohelises raamatus Euroopa teadusruumi kohta pidas komisjon tähtsaks, et teadusuuringute ja teaduspoliitika (kaasa arvatud liikmesriikide ja ELi teadusuuringud ja teaduspoliitika) mõju ja mõjususe täpsed analüüsid oleksid Euroopa teadusruumi tasandil kättesaadavad. Samuti tunnistas komisjon, et praegune korraldus ei ole selle probleemi lahendamiseks piisav, kuna igal sekkumise tasandil korraldati hindamist eraldi (61).

Soovitused

91.

| 91. | Komisjon peaks koostama raamprogrammidega rahastatavate toimingute hindamise käsiraamatu, milles esitatakse põhimõistete ja terminoloogia määratlused ja määratakse kindlaks teatavaid hindamistoiminguid käsitlevad asjakohased meetodid. Nimetatud käsiraamat peaks põhinema olemasolevatel suunistel ja vahenditel ning seda tuleks korrapäraselt ajakohastada. |
| --- | --- |

Komisjon peaks koostama raamprogrammidega rahastatavate toimingute hindamise käsiraamatu, milles esitatakse põhimõistete ja terminoloogia määratlused ja määratakse kindlaks teatavaid hindamistoiminguid käsitlevad asjakohased meetodid. Nimetatud käsiraamat peaks põhinema olemasolevatel suunistel ja vahenditel ning seda tuleks korrapäraselt ajakohastada.

| 92. | Komisjon peaks määratlema oma teabevajadused, arvestades vajadust piirata osalejatel lasuvat haldusalast töökoormust. |
| --- | --- |

92.

Komisjon peaks määratlema oma teabevajadused, arvestades vajadust piirata osalejatel lasuvat haldusalast töökoormust.

| 93. | Komisjon peaks õigeaegselt esitama teavet raamprogrammide rakenduse järelevalve kohta. Vastavalt seitsmenda raamprogrammi osaluseeskirjadele tuleks kiiresti käsitleda komisjoni infotehnoloogia süsteeme seoses programmijuhtimist ja osalejaid käsitlevate andmete haldamisega. |
| --- | --- |

93.

Komisjon peaks õigeaegselt esitama teavet raamprogrammide rakenduse järelevalve kohta. Vastavalt seitsmenda raamprogrammi osaluseeskirjadele tuleks kiiresti käsitleda komisjoni infotehnoloogia süsteeme seoses programmijuhtimist ja osalejaid käsitlevate andmete haldamisega.

| 94. | Osalejate aruandluskohustust komisjoni ees tuleks oluliselt vähendada ja uurimusi tuleks läbi viia ainult valimimeetodi alusel. Lepingus sätestatud näitajapõhise mõju andmete esitamine iga projekti puhul tuleks asendada lühikese enesehindamisega pärast projekti lõpetamist. |
| --- | --- |

94.

Osalejate aruandluskohustust komisjoni ees tuleks oluliselt vähendada ja uurimusi tuleks läbi viia ainult valimimeetodi alusel. Lepingus sätestatud näitajapõhise mõju andmete esitamine iga projekti puhul tuleks asendada lühikese enesehindamisega pärast projekti lõpetamist.

| 95. | Komisjon peaks laialdasemalt kasutama hindamiseks vajalike asjakohaste andmete olemasolevaid täiendavaid allikaid (nii komisjonis kui ka liikmesriikides). |
| --- | --- |

95.

Komisjon peaks laialdasemalt kasutama hindamiseks vajalike asjakohaste andmete olemasolevaid täiendavaid allikaid (nii komisjonis kui ka liikmesriikides).

| 96. | Komisjon peaks kasutama kõiki olemasolevaid hindamistehnikaid. Lisaks peaks komisjon toetama innovaatiliste lähenemisviiside väljatöötamist, et käsitleda teadusuuringutega seonduva avaliku sekkumise hindamisele omaseid metoodikaalaseid probleeme (vt I lisa), ja kasutama neid lähenemisviise oma hindamistes. |
| --- | --- |

96.

Komisjon peaks kasutama kõiki olemasolevaid hindamistehnikaid. Lisaks peaks komisjon toetama innovaatiliste lähenemisviiside väljatöötamist, et käsitleda teadusuuringutega seonduva avaliku sekkumise hindamisele omaseid metoodikaalaseid probleeme (vt I lisa), ja kasutama neid lähenemisviise oma hindamistes.

| 97. | Komisjon peaks pidama liikmesriikidega nõu, kuidas maksimaalselt suurendada liikmesriigi tasandil teostatud raamprogrammide hindamisest saadavat kasu. |
| --- | --- |

97.

Komisjon peaks pidama liikmesriikidega nõu, kuidas maksimaalselt suurendada liikmesriigi tasandil teostatud raamprogrammide hindamisest saadavat kasu.

Hindamisleidude levitamine ja kasutamine

| 98. | Hindamise tulemusel peaks saama asjakohast teavet ja analüüse, mida saab kasutada tõhusalt programmijuhtimisel ja poliitikakujundamisel. Hindamine peaks eelkõige panema aluse teabel põhinevale arutelule avaliku sekkumise tugevate ja nõrkade külgede üle, mis on vajalik õppimise eesmärgil. Kontrollikoda kontrollis, kas hindamine tehti õigel ajal, leidudest teavitati ja neid levitati huvirühmadele väljaspool komisjoni, ning kas komisjon võttis arvesse soovitused („õppeprogrammid”) käimasolevate projektide uuesti läbivaatamiseks. |
| --- | --- |

98.

Hindamise tulemusel peaks saama asjakohast teavet ja analüüse, mida saab kasutada tõhusalt programmijuhtimisel ja poliitikakujundamisel. Hindamine peaks eelkõige panema aluse teabel põhinevale arutelule avaliku sekkumise tugevate ja nõrkade külgede üle, mis on vajalik õppimise eesmärgil. Kontrollikoda kontrollis, kas hindamine tehti õigel ajal, leidudest teavitati ja neid levitati huvirühmadele väljaspool komisjoni, ning kas komisjon võttis arvesse soovitused („õppeprogrammid”) käimasolevate projektide uuesti läbivaatamiseks.

Hindamise ajastamisel ei võetud arvesse, millist laadi teavet oleks olnud reaalne eeldada

| 99. | Kontrollikoda tunnistab, et teatavat laadi analüüsid on pikaajalise perspektiiviga (nt tulemi ja sotsiaalmajandusliku mõju hindamine) ning mõned aspektid on seotud konkreetse programmitööperioodiga (nt. programmi eesmärgid, isegi antud teadusvaldkonna raames) ja mõned mitte (vt joonis 8). Komisjon ei ole oma hindamistoimingutes siiski kasutusele võtnud lähenemisviisi, mis võtaks arvesse neid ajalisi piire. |
| --- | --- |

99.

Kontrollikoda tunnistab, et teatavat laadi analüüsid on pikaajalise perspektiiviga (nt tulemi ja sotsiaalmajandusliku mõju hindamine) ning mõned aspektid on seotud konkreetse programmitööperioodiga (nt. programmi eesmärgid, isegi antud teadusvaldkonna raames) ja mõned mitte (vt joonis 8). Komisjon ei ole oma hindamistoimingutes siiski kasutusele võtnud lähenemisviisi, mis võtaks arvesse neid ajalisi piire.

| 100. | Vastavalt õigusaktidele peavad komisjoni peamised hindamistoimingud keskenduma eranditult viieaastasele hindamisele eelnevale viiele aastale, hõlmates seega kahe järjestikuse programmitööperioodi osad. Selle tulemusena ei ole keskpikka ja pikaajalist tulemit ja mõju peaaegu üldse käsitletud. Seetõttu on viieaastane hindamine keskendunud enamasti järelevalve aspektidele, lühiajalise programmi kavandamisega seotud küsimustele ja üldistele tähelepanekutele raamprogrammide suundumuse kohta. Kontrollikoda peab positiivseks asjaolu, et seitsmenda raamprogrammiga seotud õigusnormidega ei nõuta enam viieaastast või muu eelnevalt määratletud perioodi hindamist.
  Joonis 8
  Järelevalve- ja hindamisteemad erinevatel perioodidel







  Programmi elluviimise järelevalve

  (programmi kestel) | — | Programmi juhtimisega seotud küsimused (nt lepingu sõlmimiseks ja makse tegemiseks kuluv aeg, osalemise ja edukaks osutumise määrad, eelarve täitmine, rahastamismäär jne) |
| --- | --- | --- | --- |

100.

Vastavalt õigusaktidele peavad komisjoni peamised hindamistoimingud keskenduma eranditult viieaastasele hindamisele eelnevale viiele aastale, hõlmates seega kahe järjestikuse programmitööperioodi osad. Selle tulemusena ei ole keskpikka ja pikaajalist tulemit ja mõju peaaegu üldse käsitletud. Seetõttu on viieaastane hindamine keskendunud enamasti järelevalve aspektidele, lühiajalise programmi kavandamisega seotud küsimustele ja üldistele tähelepanekutele raamprogrammide suundumuse kohta. Kontrollikoda peab positiivseks asjaolu, et seitsmenda raamprogrammiga seotud õigusnormidega ei nõuta enam viieaastast või muu eelnevalt määratletud perioodi hindamist.

Joonis 8

Järelevalve- ja hindamisteemad erinevatel perioodidel

Programmi elluviimise järelevalve

(programmi kestel)

—

Programmi juhtimisega seotud küsimused (nt lepingu sõlmimiseks ja makse tegemiseks kuluv aeg, osalemise ja edukaks osutumise määrad, eelarve täitmine, rahastamismäär jne)

Hindamine

Lühike ajavahemik

(kõige varemalt näiteks 1–2 aasta pärast)

| — | Programmi juhtimisega seotud küsimused (nt haldusmenetluste tõhusus) |
| --- | --- |

—

Programmi juhtimisega seotud küsimused (nt haldusmenetluste tõhusus)

| — | Programmi kavandamisega seotud küsimused (nt vahendite kättesaadavus ja paindlikkus, takistused osalemisel, pakkumiskutsete ebaedu tagajärjed jne) |
| --- | --- |

—

Programmi kavandamisega seotud küsimused (nt vahendite kättesaadavus ja paindlikkus, takistused osalemisel, pakkumiskutsete ebaedu tagajärjed jne)

| — | Osalemisprofiili analüüs (selles etapis peamiselt kvantitatiivne) |
| --- | --- |

—

Osalemisprofiili analüüs (selles etapis peamiselt kvantitatiivne)

Hindamine

Keskpikk ajavahemik

(näiteks 7 aasta pärast)

| — | Programm i kavandamisega seotud küsimused (nt vahendite mõjusus) |
| --- | --- |

—

Programm i kavandamisega seotud küsimused (nt vahendite mõjusus)

| — | Osalemise analüüs (milles ühendatakse kvalitatiivsed ja kvantitatiivsed aspektid, nt teadusvõrkude analüüs, mõju teadlaste tegevusele jne) |
| --- | --- |

—

Osalemise analüüs (milles ühendatakse kvalitatiivsed ja kvantitatiivsed aspektid, nt teadusvõrkude analüüs, mõju teadlaste tegevusele jne)

| — | Projekti väljundite analüüs
   (62) (nt väljaanded, artiklid, patendid, litsentsid, prototüübid, koolitatud teadlased jne) |
| --- | --- |

—

Projekti väljundite analüüs
   (62) (nt väljaanded, artiklid, patendid, litsentsid, prototüübid, koolitatud teadlased jne)

Hindamine

Pikk ajavahemik

(näiteks alates 10 aasta pärast)

| — | Väljundite ja mõjude hindamine |
| --- | --- |

—

Väljundite ja mõjude hindamine

Allikas: Euroopa Kontrollikoda.

| 101. | Viieaastasel raamprogrammide tulemi ja mõju hindamisel esines puudusi, mida on märkinud ka komisjoni eksperdid:






  — | eksperdirühm, kelle ülesanne oli teostada viieaastast hindamist 2004. aastal, märkis, et „... hindamine peaks käsitlema nii pikaajalisi kui ka lühiajalisi küsimusi ja pöörama neile piisavat tähelepanu” ja „... võiks eraldada vahendeid [...], et võimaldada ambitsioonikamaid pikaajalisi hindamisuuringuid, milles võiks süstemaatilisemalt uurida struktuurilisi ja sotsiaalmajanduslikke aspekte laiemalt” (63); |
| --- | --- | --- |

101.

Viieaastasel raamprogrammide tulemi ja mõju hindamisel esines puudusi, mida on märkinud ka komisjoni eksperdid:

—

eksperdirühm, kelle ülesanne oli teostada viieaastast hindamist 2004. aastal, märkis, et „... hindamine peaks käsitlema nii pikaajalisi kui ka lühiajalisi küsimusi ja pöörama neile piisavat tähelepanu” ja „... võiks eraldada vahendeid [...], et võimaldada ambitsioonikamaid pikaajalisi hindamisuuringuid, milles võiks süstemaatilisemalt uurida struktuurilisi ja sotsiaalmajanduslikke aspekte laiemalt” (63);

| — | teadusuuringute peadirektoraadi tellitud uuringus leiti, et „... praegust ELi teadusuuringute ja tehnoloogiaarenduse praktikat (hõlmates pidevat järelevalvet, viieaastast hindamist ja vahehindamist) iseloomustab tugev rõhuasetus järelevalvele, mitte mõju hindamisele” ja „... selleks et suunata nõudlus ja ootused [...] sotsiaalmajandusliku mõju poole, on vaja uut hindamise ja järelevalve raamistikku, mis kohustaks väljundite järelevalve asemel tegema pigem suuremaid jõupingutusi mõju tasandil” (64). |
| --- | --- |

—

teadusuuringute peadirektoraadi tellitud uuringus leiti, et „... praegust ELi teadusuuringute ja tehnoloogiaarenduse praktikat (hõlmates pidevat järelevalvet, viieaastast hindamist ja vahehindamist) iseloomustab tugev rõhuasetus järelevalvele, mitte mõju hindamisele” ja „... selleks et suunata nõudlus ja ootused [...] sotsiaalmajandusliku mõju poole, on vaja uut hindamise ja järelevalve raamistikku, mis kohustaks väljundite järelevalve asemel tegema pigem suuremaid jõupingutusi mõju tasandil” (64).

| 102. | Hindamistoimingute õigeaegsus mõjutab samuti õigusaktidega ettenähtud erihindamist. Näiteks 2004. aastal avaldatud Marimóni aruannet, milles analüüsiti seoses kuuenda raamprogrammiga (2003–2006) kasutusele võetud uusi vahendeid, nõuti liiga varajases etapis, mistõttu põhinesid järeldused vähesel praktilisel kogemusel ja empiirilisel tõendusmaterjalil, või puudusid need täielikult (65). |
| --- | --- |

102.

Hindamistoimingute õigeaegsus mõjutab samuti õigusaktidega ettenähtud erihindamist. Näiteks 2004. aastal avaldatud Marimóni aruannet, milles analüüsiti seoses kuuenda raamprogrammiga (2003–2006) kasutusele võetud uusi vahendeid, nõuti liiga varajases etapis, mistõttu põhinesid järeldused vähesel praktilisel kogemusel ja empiirilisel tõendusmaterjalil, või puudusid need täielikult (65).

Teabe edastamine ja levitamine

| 103. | Komisjon saab omal algatusel välja töötada ja kohandada operatiivseid tööprogramme lühiajalistele tsüklitele vastavalt, kui asjakohane programmikomitee on need heaks kiitnud. See võimaldaks kohandada programmijuhtimist ja samuti jagada ümber eelarvet alaprogrammide raames. Ei leitud tõendusmaterjali, et komisjon oleks sellist võimalust kasutanud (vt punkt 107). |
| --- | --- |

103.

Komisjon saab omal algatusel välja töötada ja kohandada operatiivseid tööprogramme lühiajalistele tsüklitele vastavalt, kui asjakohane programmikomitee on need heaks kiitnud. See võimaldaks kohandada programmijuhtimist ja samuti jagada ümber eelarvet alaprogrammide raames. Ei leitud tõendusmaterjali, et komisjon oleks sellist võimalust kasutanud (vt punkt 107).

| 104. | Komisjonil on raamprogrammide kavandamise ja heakskiitmise viisi arvesse võttes peaaegu võimatu teha olulisi muudatusi, nagu programmi eesmärkide muutmine või eelarvete ümberjagamine alaprogrammide raames. Ainult seadusandja saab kehtestada sellised laiaulatuslikud muudatused raamprogrammi õigusaktide uuesti läbivaatamise (nagu 2010. aastal seitsmenda raamprogrammiga seoses) või järgmise raamprogrammi heakskiitmise raames. Sel põhjusel on tavaliselt õigusaktides sätestatud, et peamised hindamistoimingud tuleks ajastada nii, et nende tulemuste arvessevõtmisest oleks poliitikakujundamisel kõige rohkem kasu. |
| --- | --- |

104.

Komisjonil on raamprogrammide kavandamise ja heakskiitmise viisi arvesse võttes peaaegu võimatu teha olulisi muudatusi, nagu programmi eesmärkide muutmine või eelarvete ümberjagamine alaprogrammide raames. Ainult seadusandja saab kehtestada sellised laiaulatuslikud muudatused raamprogrammi õigusaktide uuesti läbivaatamise (nagu 2010. aastal seitsmenda raamprogrammiga seoses) või järgmise raamprogrammi heakskiitmise raames. Sel põhjusel on tavaliselt õigusaktides sätestatud, et peamised hindamistoimingud tuleks ajastada nii, et nende tulemuste arvessevõtmisest oleks poliitikakujundamisel kõige rohkem kasu.

| 105. | Seepärast on komisjoni hindamistoimingute peamised kasutajad teadusuuringute peadirektoraadid ise (66). Raamprogrammidega seotud õigusaktides nõutakse selgelt hindamise edastamist ka Euroopa Parlamendile ja nõukogule. |
| --- | --- |

105.

Seepärast on komisjoni hindamistoimingute peamised kasutajad teadusuuringute peadirektoraadid ise (66). Raamprogrammidega seotud õigusaktides nõutakse selgelt hindamise edastamist ka Euroopa Parlamendile ja nõukogule.

| 106. | Kontrollikoja uurimuses Euroopa Parlamendi tööstuse, teadusuuringute, transpordi ja energeetika komitee (ITRE) ja nõukogu teadus- ja tehnikauuringute komitee (CREST) kohta osutas siiski enamik vastajatest, et neile ei antud raamprogrammide rakenduse ja tulemuste kohta piisavat teavet (vt joonis 9) (67). |
| --- | --- |

106.

Kontrollikoja uurimuses Euroopa Parlamendi tööstuse, teadusuuringute, transpordi ja energeetika komitee (ITRE) ja nõukogu teadus- ja tehnikauuringute komitee (CREST) kohta osutas siiski enamik vastajatest, et neile ei antud raamprogrammide rakenduse ja tulemuste kohta piisavat teavet (vt joonis 9) (67).

Image

Hindamisleidude järelkontroll

| 107. | Iga-aastastes hindamise ülevaadetes esitab komisjon oma hindamistoimingute põhjal kokkuvõtte leidudest ja meetmetest (68). Järelkontrolli puhul on komisjon andnud ka ametlikud vastused leidude ja soovituste suhtes, mis on avaldatud viieaastase hindamise ja õigusaktidega nõutud erihindamise tulemusel, ning on võimaluse piires võtnud asjakohased meetmed nimetatud hindamisel tuvastatud puuduste käsitlemiseks. Seda aga ei tehtud siiski paljude muude läbivaadatud hindamisaruannete puhul ja ei leitud tõendusmaterjali, et tööprogrammide muudatustes oleks võetud arvesse nende leide ja soovitusi. Samuti ei osutata peadirektoraatide tegevuspõhise eelarvestamisega seonduvates selgitustes ja tegevusaruannetes, mil määral on hindamisleide võetud arvesse. |
| --- | --- |

107.

Iga-aastastes hindamise ülevaadetes esitab komisjon oma hindamistoimingute põhjal kokkuvõtte leidudest ja meetmetest (68). Järelkontrolli puhul on komisjon andnud ka ametlikud vastused leidude ja soovituste suhtes, mis on avaldatud viieaastase hindamise ja õigusaktidega nõutud erihindamise tulemusel, ning on võimaluse piires võtnud asjakohased meetmed nimetatud hindamisel tuvastatud puuduste käsitlemiseks. Seda aga ei tehtud siiski paljude muude läbivaadatud hindamisaruannete puhul ja ei leitud tõendusmaterjali, et tööprogrammide muudatustes oleks võetud arvesse nende leide ja soovitusi. Samuti ei osutata peadirektoraatide tegevuspõhise eelarvestamisega seonduvates selgitustes ja tegevusaruannetes, mil määral on hindamisleide võetud arvesse.

Soovitused

108.

| 108. | Komisjon peaks kehtestama hindamise laadi ja ulatuse, mida saab praktikas eeldada õigusaktidega (2008, 2010 ja 2015) kindlaksmääratud andmete puhul, ja selgitama, mil viisil saab kasutada hindamist programmide kohaldamiseks („õppeprogrammid”), ja määrama kindlaks, kuidas saab hindamine kaasa aidata poliitiliste otsuste tegemisele. Komisjon peaks eelkõige selgitama oma lähenemisviisi, mida ta kavatseb vastu võtta seoses eelmiste ja praeguste raamprogrammide pikaajaliste tulemuste hindamisega, arvestades, et selliste tulemuste saavutamine võib võtta aega seitse kuni kümme aastat (vt joonis 8). |
| --- | --- |

Komisjon peaks kehtestama hindamise laadi ja ulatuse, mida saab praktikas eeldada õigusaktidega (2008, 2010 ja 2015) kindlaksmääratud andmete puhul, ja selgitama, mil viisil saab kasutada hindamist programmide kohaldamiseks („õppeprogrammid”), ja määrama kindlaks, kuidas saab hindamine kaasa aidata poliitiliste otsuste tegemisele. Komisjon peaks eelkõige selgitama oma lähenemisviisi, mida ta kavatseb vastu võtta seoses eelmiste ja praeguste raamprogrammide pikaajaliste tulemuste hindamisega, arvestades, et selliste tulemuste saavutamine võib võtta aega seitse kuni kümme aastat (vt joonis 8).

| 109. | Komisjon peaks läbi vaatama oma hindamisleidude edastamise ja levitamise praktika, et tagada huvirühmadele vajaliku teabe saamine. Eelkõige peaksid teadusuuringute peadirektoraadid andma kõigile hindamistele ametliku vastuse ja avaldama nimetatud uurimused koos oma vastustega õigel ajal. Teadusuuringute peadirektoraadid peaksid võtma oma tegevuspõhise eelarvestamisega seonduvates selgitustes ja aasta tegevusaruannetes arvesse ka järelkontrolli ja arvestama soovitusi tööprogrammide ajakohastamisel ja uute programmide kavandamisel. |
| --- | --- |

109.

Komisjon peaks läbi vaatama oma hindamisleidude edastamise ja levitamise praktika, et tagada huvirühmadele vajaliku teabe saamine. Eelkõige peaksid teadusuuringute peadirektoraadid andma kõigile hindamistele ametliku vastuse ja avaldama nimetatud uurimused koos oma vastustega õigel ajal. Teadusuuringute peadirektoraadid peaksid võtma oma tegevuspõhise eelarvestamisega seonduvates selgitustes ja aasta tegevusaruannetes arvesse ka järelkontrolli ja arvestama soovitusi tööprogrammide ajakohastamisel ja uute programmide kavandamisel.

ÜLDINE JÄRELDUS

| 110. | Kontrollikoda tunnistab, et teadusuuringute ja tehnoloogiaarenduse raamprogrammide, eelkõige nende pikaajaliste tulemuste hindamine on iseenesest keeruline ja parima tava määratlemine ei ole kerge. |
| --- | --- |

110.

Kontrollikoda tunnistab, et teadusuuringute ja tehnoloogiaarenduse raamprogrammide, eelkõige nende pikaajaliste tulemuste hindamine on iseenesest keeruline ja parima tava määratlemine ei ole kerge.

| 111. | Kontrollikoja arvates on hindamine programmijuhtimise, tulevase planeerimise ja poliitikakujundamise seisukohalt ülimalt oluline. Hindamine on aluseks ka aruandekohustusele. Hindamisega esitatakse väärtuslikku teavet, kuidas on saadud eeldatavad (mitte-eeldatavad) tulemused, mil määral on saavutatud programmi eesmärgid, ning teavet programmide asjakohasuse ja kasulikkuse ning tõhususe ja mõjususe kohta programmi rakendamisel. Arvestades, et üldise suundumuse, eelarveküsimuste ja raamprogrammide kavandamise üle otsustavad Euroopa Parlament ja nõukogu, on vaja läbipaistvat, usaldusväärset ja põhjalikku hindamissüsteemi, et anda asjakohast teavet eespool nimetatud institutsioonidele. |
| --- | --- |

111.

Kontrollikoja arvates on hindamine programmijuhtimise, tulevase planeerimise ja poliitikakujundamise seisukohalt ülimalt oluline. Hindamine on aluseks ka aruandekohustusele. Hindamisega esitatakse väärtuslikku teavet, kuidas on saadud eeldatavad (mitte-eeldatavad) tulemused, mil määral on saavutatud programmi eesmärgid, ning teavet programmide asjakohasuse ja kasulikkuse ning tõhususe ja mõjususe kohta programmi rakendamisel. Arvestades, et üldise suundumuse, eelarveküsimuste ja raamprogrammide kavandamise üle otsustavad Euroopa Parlament ja nõukogu, on vaja läbipaistvat, usaldusväärset ja põhjalikku hindamissüsteemi, et anda asjakohast teavet eespool nimetatud institutsioonidele.

| 112. | Komisjon kehtestas üldise hindamisraamistiku 2000. ja 2002. aastal ning seejärel vaatas selle uuesti läbi 2007. aastal. Kuigi kontrollikoja auditeerimisperioodi jooksul ei täheldatud olulist paranemist raamprogrammide ja neid moodustavate programmide hindamise planeerimisel, kavandamisel ja rakendamisel, on teadusuuringute peadirektoraadid üldiselt järginud komisjonisiseseid vorminõudeid. |
| --- | --- |

112.

Komisjon kehtestas üldise hindamisraamistiku 2000. ja 2002. aastal ning seejärel vaatas selle uuesti läbi 2007. aastal. Kuigi kontrollikoja auditeerimisperioodi jooksul ei täheldatud olulist paranemist raamprogrammide ja neid moodustavate programmide hindamise planeerimisel, kavandamisel ja rakendamisel, on teadusuuringute peadirektoraadid üldiselt järginud komisjonisiseseid vorminõudeid.

| 113. | Käesoleva aruandega hõlmatud ajavahemikul kasutasid teadusuuringute peadirektoraadid hindamissüsteemi, nagu on nõutud raamprogrammide õigusaktides, ja komisjonil on esitada märkimisväärne arv hindamisuuringuid. Tuleb siiski tõdeda, et programmi eesmärkide saavutamise ja raamprogrammide tulemuste kohta on vähe või peaaegu üldse mitte teavet. See tuleneb asjaolust, et hindamine on tavaliselt keskendunud programmi rakendamisega seonduvatele lühiajaliste probleemidele. Seetõttu on olnud komisjoni hindamisest poliitikakujundajatele, huvirühmadele ja komisjonile endale vähe kasu. |
| --- | --- |

113.

Käesoleva aruandega hõlmatud ajavahemikul kasutasid teadusuuringute peadirektoraadid hindamissüsteemi, nagu on nõutud raamprogrammide õigusaktides, ja komisjonil on esitada märkimisväärne arv hindamisuuringuid. Tuleb siiski tõdeda, et programmi eesmärkide saavutamise ja raamprogrammide tulemuste kohta on vähe või peaaegu üldse mitte teavet. See tuleneb asjaolust, et hindamine on tavaliselt keskendunud programmi rakendamisega seonduvatele lühiajaliste probleemidele. Seetõttu on olnud komisjoni hindamisest poliitikakujundajatele, huvirühmadele ja komisjonile endale vähe kasu.

| 114. | Arvestades programmijuhtimise ja poliitikakujundamise tähtsust, tuleb komisjoni raamprogrammide ja nende alaprogrammide hindamist käsitlev lähenemisviis uuesti üle vaadata, pidades silmas uusi poliitilisi ülesandeid, täiendavaid vahendeid, ühenduse teadusuuringute poliitika suundumuse avardumist ja hiljutist komisjoni reformi. Seda soovitas 2007. aasta aruandes ka Euroopa teadusuuringute nõuandekomitee (EURAB). |
| --- | --- |

114.

Arvestades programmijuhtimise ja poliitikakujundamise tähtsust, tuleb komisjoni raamprogrammide ja nende alaprogrammide hindamist käsitlev lähenemisviis uuesti üle vaadata, pidades silmas uusi poliitilisi ülesandeid, täiendavaid vahendeid, ühenduse teadusuuringute poliitika suundumuse avardumist ja hiljutist komisjoni reformi. Seda soovitas 2007. aasta aruandes ka Euroopa teadusuuringute nõuandekomitee (EURAB).

| 115. | Komisjon on arvamusel, et selge sekkumisloogika kasutamise tulemuseks tulevaste raamprogrammide kavandamisel on parema rõhuasetusega ja paremini struktureeritud programmid. Samuti toetab see komisjoni põhimõtet „parem seadusloome”, mille eesmärk on paremini kavandatud, lihtsam, tõhusam ja arusaadavam õiguslik keskkond (69). |
| --- | --- |

115.

Komisjon on arvamusel, et selge sekkumisloogika kasutamise tulemuseks tulevaste raamprogrammide kavandamisel on parema rõhuasetusega ja paremini struktureeritud programmid. Samuti toetab see komisjoni põhimõtet „parem seadusloome”, mille eesmärk on paremini kavandatud, lihtsam, tõhusam ja arusaadavam õiguslik keskkond (69).

| 116. | Raamprogrammide ja neis sisalduvate programmide hindamine oleks tõhusam, kui programmi eesmärgid ja näitajad oleksid kohe algusest peale selgemad ja põhjalikumad, aga mitte ülemääraselt ettekirjutavad, kui raamprogramme rakendavad teadusuuringute peadirektoraadid lepiksid kokku hindamisstrateegias ja kasutaksid uudsemat hindamismetoodikat, kaasa arvatud kvantitatiivne lähenemisviis. |
| --- | --- |

116.

Raamprogrammide ja neis sisalduvate programmide hindamine oleks tõhusam, kui programmi eesmärgid ja näitajad oleksid kohe algusest peale selgemad ja põhjalikumad, aga mitte ülemääraselt ettekirjutavad, kui raamprogramme rakendavad teadusuuringute peadirektoraadid lepiksid kokku hindamisstrateegias ja kasutaksid uudsemat hindamismetoodikat, kaasa arvatud kvantitatiivne lähenemisviis.

| 117. | Kontrollikoda märkis samuti, et komisjon võiks teatud ulatuses uuesti läbi vaadata oma olemasoleva raamprogrammide hindamise organisatsioonilise korralduse. Kasuks võiks tulla, kui






  — | hindamiseksperdirühmad kaasatakse hindamisprotsessi varem, osutades seega komisjonile kaasabi kogu programmitööperioodi jooksul ja pärast seda ning suurendades spetsialiseerumist seoses eriprogrammide ja vajaduse korral alaprogrammide eksperdirühmade loomisega; |
| --- | --- | --- |

117.

Kontrollikoda märkis samuti, et komisjon võiks teatud ulatuses uuesti läbi vaadata oma olemasoleva raamprogrammide hindamise organisatsioonilise korralduse. Kasuks võiks tulla, kui

—

hindamiseksperdirühmad kaasatakse hindamisprotsessi varem, osutades seega komisjonile kaasabi kogu programmitööperioodi jooksul ja pärast seda ning suurendades spetsialiseerumist seoses eriprogrammide ja vajaduse korral alaprogrammide eksperdirühmade loomisega;

| — | igas peadirektoraadis olevaid hindamisüksusi täiendatakse, luues ühise hindamisüksuse, kes vastutab raamprogrammi hindamistoimingute kooskõlastamise eest. |
| --- | --- |

—

igas peadirektoraadis olevaid hindamisüksusi täiendatakse, luues ühise hindamisüksuse, kes vastutab raamprogrammi hindamistoimingute kooskõlastamise eest.

| 118. | Käesolevas aruandes sisalduvad soovitused põhinevad kas komisjonisisesel praktikal või rahvusvahelisel heal taval. Rahaliste vahendite osas on selge, et programmi hindamisel soovitatud lähenemisviisi kasutuselevõtt toob kaasa suuremad kulud. Kontrollikoja arvamuse kohaselt on siiski ülimalt tõenäoline, et sellest tulenev kasu on vähemalt samaväärne. |
| --- | --- |

118.

Käesolevas aruandes sisalduvad soovitused põhinevad kas komisjonisisesel praktikal või rahvusvahelisel heal taval. Rahaliste vahendite osas on selge, et programmi hindamisel soovitatud lähenemisviisi kasutuselevõtt toob kaasa suuremad kulud. Kontrollikoja arvamuse kohaselt on siiski ülimalt tõenäoline, et sellest tulenev kasu on vähemalt samaväärne.

Kontrollikoda võttis käesoleva aruande vastu 22. novembri 2007. aasta istungil Luxembourgis.

Kontrollikoja nimel

president

Hubert WEBER

---

(1)  Majanduskoostöö ja Arengu Organisatsiooni kohaselt saab teadusuuringuid ja tehnoloogiaarendust määratleda kui loomingulist tööd, mida tehakse süstemaatiliselt, et suurendada teadmiste pagasit, kaasa arvatud teadmised inimeste, kultuuri ja ühiskonna kohta, ja kasutada seda teadmiste pagasit uute rakenduste väljatöötamiseks (vt OECD, Frascati Manual — Proposed standard practice for surveys on research and experimental development, Pariis, 2002, lk 30). Ühenduse kontekstis kasutatakse akronüümi TTA, mis hõlmab tehnoloogiat ning teadusuuringuid ja tehnoloogiaarendust.

1

(2)  Teadusuuringute peadirektoraat on peamine peadirektoraat, kes juhib ja kooskõlastab raamprogramme. Viis ülejäänud peadirektoraati, kellest on kõige tähtsam infoühiskonna ja meedia peadirektoraat (teised on energeetika ja transpordi peadirektoraat, ettevõtluse ja tööstuse peadirektoraat, kalanduse peadirektoraat ja komisjoni teadusuuringute ühiskeskus), juhivad samuti (osaliselt) eriprogramme.

2

(3)  Euroopa Ülemkogu Lissaboni istungil 2000. aastal seati eesmärgiks muuta Euroopa Liit 2010. aastaks kõige konkurentsivõimelisemaks, dünaamilisemaks ja jätkusuutlikumaks teadmistepõhiseks majanduseks, mida iseloomustab täielik tööhõive ning tõhusam majanduslik ja sotsiaalne ühtkuuluvus.

3

(4)  Euroopa Ülemkogul 2002. aastal lepiti kokku, et 2010. aastaks tuleks teadusuuringuteks ja tehnoloogiaarenduseks tehtavaid üldkulutusi suurendada kolme protsendini RKTst. Lisaks selgitati, et kaks kolmandikku sellest uuest investeeringust peaks tulema erasektorist (vt Euroopa Komisjoni dokumenti „Investeerimine teadusuuringutesse: Euroopa tegevuskava”; komisjoni teatis Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele, KOM(2003) 226 lõplik, lk 7).

4

(5)  Otsese haldamise puhul teostab komisjon oma eelarve täitmiseks vajalikud toiminguid ilma nende liikmesriikide või kolmandate riikide (kus kulutuste vastuvõtjad asuvad) sekkumiseta.

5

(6)  Alates 2006. aastast on ainuüksi kuuendas raamprogrammis osalenud rohkem kui 22 000 avalikku ja eraõiguslikku juriidilist isikut üldjuhul mitme partneriga konsortsiumina.

6

(7)  Sellise koostöömeetodi aluseks on vabatahtliku valitsustevahelise koostöö põhimõte. See tugineb eelkõige vastastikusele õppimisele, võrdlusuuringule ja parimate tavade jagamisele.

7

(8)  Nõukogu 25. juuni 2002. aasta määrus (EÜ, Euratom) nr 1605/2002 (EÜT L 248, 16.9.2002, lk 1), artiklid 27, 48, 59 ja 60.

8

(9)  Euroopa Komisjon, eelarve peadirektoraat, Dalia Grybauskaitė teatis komisjonile (mille komisjoni president on heaks kiitnud): „Responding to strategic needs: reinforcing the use of evaluation”, SEK(2007) 213, 21. veebruar 2007; Euroopa Komisjon, eelarve peadirektoraat, Michaele Schreyeri teatis komisjonile „Focus on Results: Strengthening Evaluation of Commission Activities”, SEK(2000) 1051, 26. juuli 2000.

9

(10)  Euroopa Parlamendi ja nõukogu 18. detsembri 2006. aasta otsus nr 1982/2006/EÜ, mis käsitleb Euroopa Ühenduse teadusuuringute, tehnoloogiaarenduse ja tutvustamistegevuse seitsmendat raamprogrammi (2007–2013) (ELT L 412, 30.12.2006, lk 1): artikli 7 lõige 1; komisjoni järelevalveteabe esitamise kohustus programmikomiteedele määratletakse eriprogrammidega seotud otsustes (vt näiteks nõukogu 19. detsembri 2006. aasta otsus 2006/971/EÜ, mis käsitleb Euroopa Ühenduse teadusuuringute, tehnoloogiaarenduse ja tutvustamistegevuse seitsmenda raamprogrammi (2007–2013) rakendamise eriprogrammi „Koostöö”) (ELT L 400, 30.12.2006, lk 86): artikli 8 lõige 4 ja V lisa).

10

(11)  Euroopa Komisjoni teatis nõukogule (Community Plan of Action relating to the Evaluation of Community R&D activities for the years 1987 to 1991), KOM(86) 660 lõplik, 20. november 1986, on vastuseks nõukogu 28. juuni 1983. aasta resolutsioonile.

11

(12)  Euroopa Komisjon, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996”, sõltumatute ekspertide toimkonna (Viscount Davignoni juhtimisel) aruanne (1997); Euroopa Komisjon, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999”, sõltumatute ekspertide toimkonna (Joan Majó juhtimisel) aruanne (juuli 2000); Euroopa Komisjon, „Five-year Assesment of the European Union Research Framework Programmes, 1999–2003”, sõltumatute ekspertide toimkonna (Erkki Ormala juhtimisel) aruanne (15. detsember 2004).

12

(13)  Euroopa Komisjon, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21. juuni 2004, kõrgetasemelise eksperdirühma (professor Ramon Marimóni juhtimisel) aruanne.

13

(14)  Euroopa Komisjon, eelarve peadirektoraat, Michaele Schreyeri teatis komisjonile „Focus on Results: Strengthening Evaluation of Commission Activities”, juuli 2000, SEK(2000) 1051; Euroopa Komisjon, eelarve peadirektoraat, presidendi ja Michaele Schreyeri teatis komisjonile „Evaluation Standards and Good Practice”, K(2002) 5267, 23.12.2002.

14

(15)  Euroopa Komisjon, eelarve peadirektoraat, Dalia Grybauskaitė teatis komisjonile (mille komisjoni president on heaks kiitnud): „Responding to strategic needs: reinforcing the use of evaluation”, SEK(2007) 213, 21. veebruar 2007.

15

(16)  Euroopa Komisjon, personali töödokument, „Impact assessment and ex-ante evaluation”, SEK(2005) 430.

16

ex-ante

(17)  ITRE — Euroopa Parlamendi tööstuse, teadusuuringute ja energeetika komitee (Industry, Research, Transport and Energy Committee) vastutab küsimuste eest, mis käsitlevad (eelkõige) tööstuspoliitikat, teaduspoliitikat (kaasa arvatud teadusuuringute tulemuste levitamine ja kasutamine), kosmosepoliitikat, Teadusuuringute Ühiskeskuse tegevust, Euratomi asutamislepingut ning infoühiskonda ja infotehnoloogiat.

17

Industry, Research, Transport and Energy Committee

(18)  CREST — tehnika- ja teadusuuringute komitee (Committee for Scientific and
  Technical Research) loodi nõukogu 14. jaanuari 1974. aasta resolutsiooniga ja koosneb liikmesriikide ametiasutuste esindajatest, kes vastutavad teadus- ja tehnoloogiapoliitika eest liikmesriikides. CRESTil on nõuandev roll, teavitades komisjoni ja nõukogu eelkõige liikmesriikide TTA poliitika kooskõlastamisest ning raamprogrammide järelevalvest ja hindamisest.

18

Committee for Scientific and

Technical Research

(19)  Loogilised mudelid, milles näidatakse sisendite abil eeldatavate tulemuste saavutamist erinevates tegevustes, näitestavad sekkumise loogikat kõige asjakohasemalt. Nende mudelite abil on võimalik arusaadaval viisil selgitada eeldusi, mis on programmi kavandamisviisi aluseks, ja kuidas üldised eesmärgid jagunevad tegevuseesmärkideks.

19

(20)  Euroopa Komisjon, eelarve peadirektoraat, „Evaluating EU activities: a practical guide for the Commission services”, juuli 2004, lk 87 ja 106.

20

(21)  „Five year Assesment of the European Union Research Framework Programmes, 1999–2003”, sõltumatu eksperdirühma (Erkki Ormala juhtimisel) aruanne (15. detsember 2004): 6. jagu „Evaluating the Framework Programme”, lk 19.

21

(22)  Välisabi saavad riigid peavad ühendusepoolse rahastamise saamiseks esitama loogilised mudelid (Euroopa Komisjon, Aid delivery methods, Volume 1, Project cycle management guidelines, märts 2004, 5. jagu: The logical framework approach).

22

(23)  Määruse (EÜ, Euratom) nr 1605/2002 artikli 27 lõige 3.

23

(24)  2006. aastal struktureeriti poliitikavaldkond „08 teadusuuringud” praeguse kuuenda raamprogrammi programmitööperioodi eriprogrammide (ja alaprogrammide) põhjal (ja selle tagajärjel asendati erineva struktuuriga 2007. aastal), kusjuures poliitikavaldkonnas „09 infoühiskond” ühendati eelnevad ja praegused eriprogrammid üheks tegevuspõhise eelarvestamise (ABB) tegevuseks (Euroopa Komisjon, teadusuuringute peadirektoraat, direktoraat A: Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006, 20.12.2005; Euroopa Komisjon, infoühiskonna ja meedia peadirektoraat, 2006. aasta juhtimiskava, 23.12.2005).

24

(25)  Teadusuuringute peadirektoraadi suhtes muutusid tegevuspõhise juhtimise (ABM) süsteemi eesmärgid (ja nende saavutamise mõõtmiseks kasutatavad näitajad) igal aastal. Teisest küljest kasutas infoühiskonna peadirektoraat mitmeaastaseid eesmärke, mis ei olnud siiski identsed programmi eesmärkidega (või tööprogrammi tasandil kindlaksmääratud eesmärkidega).

25

(26)  Euroopa Komisjon, siseauditi talitus, Review of effectiveness and efficiency of the SPP/ABM cycle — peasekretariaat ja eelarve peadirektoraat, 2005: punkt 4.1, lk 31.

26

(27)  Euroopa Komisjon, „Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes”, KOM(83) 1 lõplik, 19. jaanuar 1983.

27

(28)  Komisjoni teatis nõukogule ja Euroopa Parlamendile, „Ühenduse teadusuuringute ja tehnoloogiaarenduse valdkonna tegevuse sõltumatu välisjärelevalve ja -hindamine”, 22.5.1996, (KOM(1996) 220 lõplik).

28

(29)  Iga raamprogramme rakendav peadirektoraat dokumenteerib oma kavandatava hindamise iga-aastastes (ja mitmeaastastes) hindamiskavades. Neid hindamiskavasid ei saa siiski käsitleda tõelise hindamisstrateegiana.

29

(30)  Määruse (EÜ, Euratom) nr 1605/2002 artikli 27 lõige 4.

30

(31)  „Loi de programme pour la recherche no 2006–450”, 18.4.2006 ja „Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)”, 3.11.2006.

31

o

o

(32)  Agencia Nacional de Evaluación y Prospectiva under the Ministerio de Educación y Ciencia: Orden ECI/1252/2005, 4. mai 2005, millega luuakse „Comisión Asesora de Evaluación y Prospectivy” (hindamise ja tulevikuplaanide nõuandekomitee).

32

(33)  2004. aastal asutas Deutsche Forschungsgemeinschaft (DFG) erikallakuga instuudi Institut für Forschungsinformation und Qualitätssicherung (IFQ), millele tehti ülesandeks välja arendada ja standardiseerida hindamismetoodika, kvaliteedi tagamine, ning teostada DFG rahastatavate teadusuuringute ja tehnoloogiaarendusega seonduva tegevuse hindamine.

33

DFG

IFQ

(34)  Seitsmenda raamprogrammi raames on komisjon loonud 15 eksperdirühma (EAG), võrreldes 12 ekspertide toimkonnaga kuuenda raamprogrammi raames ja 17 ekspertide toimkonnaga viienda raamprogrammi raames. Nimetatud eksperdirühmad nõustavad komisjoni poliitika ja raamprogrammidega seonduvates küsimustes. Tuleks märkida, et nimetatud eksperdirühmadega ei hõlmata täielikult kõiki raamprogrammides sisalduvaid programme. See tähendab, et eksperdirühma iga eriprogrammi (või alaprogrammi) puhul ei looda.

34

(35)  Kanadas on hindamissüsteemi kontrollimiseks loodud alalised hindamiskomiteed peaaegu kõigis föderaalvalitsuse ministeeriumides, kaasates kõrgemate ametikohtade töötajad ja tavaliselt ka välishuvirühmad („Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee — Mandate and Membership).

35

(36)  Euroopa Komisjon, „Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes”, august 2005, lk 5.

36

(37)  Euroopa Komisjon, „Planning and optimising Commission human resources to serve EU priorities”, SEK(2007) 530, 24. aprill 2007.

37

(38)  Euroopa Komisjon, komisjoni presidendi ja Michaele Schreyeri teatis komisjonile „Evaluation standards and good practice”, K(2002) 5267, 23.12.2002; Euroopa Komisjon, komisjoni personali töödokument, „Impact assessment and ex-ante evaluation”, SEK(2005) 430, 6. aprill 2005, 1. lisa, joonealune märkus 209.

38

ex-ante

(39)  Euroopa teadusuuringute nõuandekomitee (EURAB) soovitas samuti suurendada raamprogrammide hindamisega tegelevate töötajate arvu, (EURAB, „Recommendations on Ex-Post Impact Assessment”, juuli 2007).

39

Ex-Post

(40)  Eriaruanne nr 1/2004 teadusuuringute ja tehnoloogiarenduse viienda raamprogrammi (1998–2002) kaudsete TTA meetmete haldamise kohta (ELT C 99, 23.4.2004), punktid 116 ja 122.

40

(41)  Euroopa Komisjon, eelarve peadirektoraat, Dalia Grybauskaitė teatis komisjonile (mille komisjoni president on heaks kiitnud): „Responding to strategic needs: reinforcing the use of evaluation”, SEK(2007) 213, 21. veebruar 2007; Euroopa Komisjon, komisjoni presidendi ja Michaele Schreyeri teatis komisjonile „Evaluation standards and good practice”, K(2002) 5267, 23.12.2002.

41

(42)  14 peadirektoraadil on sellised hindamise käsiraamatud nende vastutuses olevate poliitikavaldkondade ja programmide kohta (Euroopa Komisjon, eelarve peadirektoraadi hindamistalitus, „Overview of Evaluation Guides in the Commission”, oktoober 2004).

42

(43)  Fahrenkrog, G. jt, RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS — JRC, 2002; PREST jt; „Assessing the Socio-economic Impacts of the Framework Programme”; Manchesteri ülikool, 2002.

43

(44)  Kuigi tavaliselt on komisjonil selline teave osalejate kohta, ei ole seda üksikasjalikuks analüüsimiseks lihtne kasutada, kuna andmeid teatava osaleja kohta ei säilitata ühes kohas või ei registreerita alati ühilduval andmeedastusformaadil. Seetõttu on raske jälgida osaleja hõivatust aja jooksul, hinnata näiteks mitteosalemise põhjuseid ja osalejate omavahelisi suhteid, et uurida näiteks võrgustiku mõju (vt punkt 84).

44

(45)  2006. eelarveaasta aastaaruande tabel 2.3; 2005. eelarveaasta aastaaruande punkt 7.13; 2004. eelarveaasta aastaaruande punktid 6.8 ja 6.10; 2003. eelarveaasta aastaaruande punktid 6.9 ja 6.70, eriaruande nr 1/2004 punktid 105–108; arvamus nr 1/2006 ettepaneku kohta, mis käsitleb Euroopa Parlamendi ja nõukogu määrust, millega kehtestatakse ettevõtete, uurimiskeskuste ja ülikoolide Euroopa Ühenduse seitsmenda raamprogrammi (2007–2013) meetmetes osalemise ning uurimistulemuste levitamise eeskirjad (ELT C 203, 25.8.2006), punkt 57.

45

(46)  Euroopa Ühenduse asutamisleping, artikkel 173: „Iga aasta alguses saadab komisjon Euroopa Parlamendile ja nõukogule aruande. Aruanne sisaldab informatsiooni uurimistegevuse ja tehnoloogia arendamise ning tulemuste levitamise kohta eelmise aasta jooksul ning jooksva aasta tööprogrammi”.

46

(47)  Pärast projekti lõpuleviimist ei ole osalejatelt kogutud andmeid süstemaatiliselt, välja arvatud hindamisega seotud konkreetseteks uuringuteks. Uuringute kasutamist on takistanud asjaolu, et osalejad (välja arvatud paljudes riiklikes TTA programmides (nt Saksamaa)) ei ole õigusjärgselt kohustatud selliseid analüütilisi andmeid esitama.

47

(48)  Eriaruande nr 1/2004 punkt 94; arvamuse nr 1/2006 punkt 56.

48

(49)  2006. eelarveaasta aastaaruande punkt 7.33; 2005. eelarveaasta aastaaruande punktid 7.8 ja 7.29, arvamuse nr 1/2006 punktid 58–61.

49

(50)  CORDIS on ainus andmebaas, mis esitab teavet ettepanekute, projektide ja tulemuste kohta, mis on ühised raamprogrammi kohta tervikuna, hõlmab mitmeid programmitööperioode ja millele on juurdepääs väljastpoolt komisjoni. CORDISe andmeid erinevate projektide kohta on pärast projekti heakskiitmist harva ajakohastatud. Kuni kuuenda raamprogrammini (kaasa arvatud) ei olnud era- ja avalikust sektorist pärit raamprogrammides osalejad kohustatud oma tulemusi avaldama (European Research Advisory Board, EURAB), „Scientific publication: policy on open access”, detsember 2006).

50

(51)  Hanne Foss Hansen, „Choosing evaluation models: A discussion on evaluation design”, Evaluation, Vol. 11, No 4, 2005, lk 447–462.

51

(52)  Kuni kuuenda raamprogrammini (kaasa arvatud) ei olnud era- ja avalikust sektorist pärit raamprogrammides osalejad kohustatud avaldama oma teadusuuringute tulemusi. 2006. aasta detsembris soovitas EURAB komisjonil teha nimetatud teadusuuringute tulemuste avaldamine kohustuslikuks, et tagada avalikkusele juurdepääs ühenduse rahastatud teadusuuringutele. EURAB tegi komisjonile ettepaneku luua projekti tulemuste avaldamiseks ka veebipõhine arhiiv (vt EURAB, „Scientific publication: policy on open access”, detsember 2006).

52

(53)  Märgitakse, et kavandatud seitsmenda raamprogrammi mikro- ja makromajanduslike mõjude prognoosimiseks kasutati selliseid mudeleid (vt Euroopa Komisjon, „Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes”, august 2005, lk 23–25). Siiski ei ole tõendusmaterjali, et selline raamprogrammide potentsiaalsete majanduslike mõjude hindamine on seotud järelhindamiskavaga.

53

(54)  Infoühiskonna ja meedia peadirektoraat, „IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)”, 2005; „Networks of innovation in information society development and development in Europe”, 2006.

54

(55)  Infoühiskonna ja meedia peadirektoraat, lõpparuanne: „ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area” (lõpparuanne), 2005; „Evaluation of progress towards a European Research Area for information society technologies”, 2005; „Networks of innovation in information society development and deployment in Europe”, 2006.

55

(56)  Infoühiskonna ja meedia peadirektoraat: „Framework contract for Impact Assessments for research in the field of Information Society Technologies”.

56

(57)  Euroopa teadusuuringute nõuandekomitee (EURAB), „Recommendations on Ex-Post Impact Assessment”, juuli 2007.

57

Ex-Post

(58)  Euroopa Komisjon, „Five-year Assessment of the European Union Research Framework Programmes, 1999–2003”, sõltumatute ekspertide toimkonna (Erkki Ormala juhtimisel) aruanne (15. detsember 2004), 1. lisa.

58

(59)  Euroopa Komisjon, „The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report” (1995).

59

(60)  Euroopa Komisjon, „Design of an harmonized impact study methodology for the R&D EU Framework Programmes”, 1992.

60

(61)  Euroopa Komisjoni personali töödokument „The European Research Area: new perspectives”, SEK(2007) 412/2, 4. aprill 2007, punkt 3.3.3 „ERA and the implications for evidence -based monitoring and evaluation”, lk 93.

61

(62)  Tuleb märkida, et projekti toetuslepinguid sõlmitakse kogu programmitöö perioodi vältel nii, et esimesed lepingud jõustuvad üldiselt programmi esimese aasta lõpus. Nimetatud lepingute kestus on tavaliselt kolmest viie aastani, seega võib lõplikke tulemusi oodata kõige varem nelja kuni kuue aasta pärast.

62

Allikas: Euroopa Kontrollikoda.

Allikas:

(63)  Euroopa Komisjon, „Five year assessment of the European Union Research Framework Programmes, 1999–2003”, sõltumatute ekspertide toimkonna (Erkki Ormala juhtimisel) aruanne (15. detsember 2004): 6. jagu „Evaluating the Framework Programme”, lk 19.

63

(64)  Euroopa Komisjon, „Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, the so called „EPUB Toolbox”, välja antud teadusuuringute ühiskeskuse — tulevikutehnoloogiate uuringute instituudi (Institute for Prospective Technological Studies, IPTS) ja Joanneum Research'i poolt (august 2002), kommenteeritud kokkuvõte, lk 9 ja 12.

64

Institute for Prospective Technological Studies, IPTS

(65)  Euroopa Komisjon, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21. juuni 2004, kõrgetasemeliste ekspertide toimkonna (professor Ramon Marimóni juhtimisel) aruanne, lk 20.

65

(66)  European Policy Evaluation Consortium (EPEC) (Euroopa poliitika hindamise konsortsium), Technopolis France, „Study on the use of evaluation results in the Commission: Final report”, toimik nr 1, Synthesis report and annexes, mai 2005.

66

European Policy Evaluation Consortium

(67)  Vastajad teadus- ja tehnikauuringute komiteest (kes on sageli ka programmikomiteede liikmed) avaldasid suuremat rahuolu, mis võib tuleneda nende ametlikust osast programmi rakendamise järelevalves.

67

(68)  Euroopa Komisjon, komisjoni personali töödokument, Annual Evaluation Review 2004 — Overview of the Commission evaluation findings and activities, SEK(2005)587, 28. aprill 2005.

68

(69)  Euroopa Komisjon, eelarve peadirektoraat, Dalia Grybauskaitė teatis komisjonile (mille on komisjoni president heaks kiitnud): „Responding to strategic needs: reinforcing the use of evaluation”, SEK(2007) 213, 21. veebruar 2007, lk 4.

69

---

I LISA

TEADUSUURINGUTE JA TEHNOLOOGIA ARENGU AVALIKU SEKKUMISE MÕJU JA TULEMUSTE HINDAMINE

Mõned peamised metoodilised raskused teadusuuringute ja tehnoloogia arengu avaliku sekkumise mõju ja tulemuste hindamisel on:

| — | „Probleemid seoses omistamisega”: Probleemid seoses omistamisega esinevad hindamiste ja tulemuslikkuse mõõtmise osas. Need probleemid on tihedalt seotud „täiendavuse” teemaga, milles küsitakse, kas muutuste ärajäämine oli paratamatu. Tulemuste omistamine konkreetsele avalikule sekkumisele on raske ja seda mõjutavad ka arvukad välistegurid (nagu teiste poliitikate ja programmide mõju, muudatused õiguslikus raamistikus, ühiskondlikud muutused jne). Pealegi võib teadusuuringute valdkonnas eeldatavate tulemuste mittesaavutamine osutuda hoopis kasulikuks. Olukorda raskendab veelgi asjaolu, et teadusuuringute väljundeid ning loomulikult ka tulemusi ja mõjusid on keeruline selgesti omistada TTA protsessi konkreetsetele aspektidele või isegi teadusuuringute eraldi üksustele. |
| --- | --- |

—

„Probleemid seoses omistamisega”: Probleemid seoses omistamisega esinevad hindamiste ja tulemuslikkuse mõõtmise osas. Need probleemid on tihedalt seotud „täiendavuse” teemaga, milles küsitakse, kas muutuste ärajäämine oli paratamatu. Tulemuste omistamine konkreetsele avalikule sekkumisele on raske ja seda mõjutavad ka arvukad välistegurid (nagu teiste poliitikate ja programmide mõju, muudatused õiguslikus raamistikus, ühiskondlikud muutused jne). Pealegi võib teadusuuringute valdkonnas eeldatavate tulemuste mittesaavutamine osutuda hoopis kasulikuks. Olukorda raskendab veelgi asjaolu, et teadusuuringute väljundeid ning loomulikult ka tulemusi ja mõjusid on keeruline selgesti omistada TTA protsessi konkreetsetele aspektidele või isegi teadusuuringute eraldi üksustele.

| — | „Probleemid seoses mõõtmisega”:







  — | „Andmete kättesaadavus”: Üldiselt on enamik saadaval olevatest andmetest, eriti järelevalvesüsteemide kaudu kogutud andmed, pigem TTA tegevuse sisendite ja väljundite kui tulemuste ja mõjude kohta. |
| --- | --- | --- |

—

„Probleemid seoses mõõtmisega”:

—

„Andmete kättesaadavus”: Üldiselt on enamik saadaval olevatest andmetest, eriti järelevalvesüsteemide kaudu kogutud andmed, pigem TTA tegevuse sisendite ja väljundite kui tulemuste ja mõjude kohta.

| — | „Dünaamika mõistmine”: Arvestades ilmse raskusega sisendite ja väljundite vaheliste põhjuslike seoste modelleerimisel, jääb uurimisprotsessi sisemine dünaamika ebaselgeks ning selge sekkumisloogika puudumise tõttu peetaksegi protsessi ennast „mustaks kastiks”. |
| --- | --- |

—

„Dünaamika mõistmine”: Arvestades ilmse raskusega sisendite ja väljundite vaheliste põhjuslike seoste modelleerimisel, jääb uurimisprotsessi sisemine dünaamika ebaselgeks ning selge sekkumisloogika puudumise tõttu peetaksegi protsessi ennast „mustaks kastiks”.

| — | „Tulemuste võrreldavus”: Erinevate teadusvaldkondade tulemuste vahel tehtava võrdluse ulatus on piiratud, seega tuleb neid üldiselt tõlgendada konkreetsete programmide ja alaprogrammide kontekstis. Lisaks on tulemuste hindamine keerulisem põhiuuringute (või alusuuringute) kui rakendusuuringute või tehnoloogia arengu puhul. Selle peamine põhjus on asjaolu, et põhiuuringud koosnevad tavaliselt ainulaadsetest ja kordumatutest menetlustest. Isegi rakendusuuringute valdkonnas erinevad tulemused oluliselt ning nende võrdlemine ei ole seetõttu kerge. |
| --- | --- |

—

„Tulemuste võrreldavus”: Erinevate teadusvaldkondade tulemuste vahel tehtava võrdluse ulatus on piiratud, seega tuleb neid üldiselt tõlgendada konkreetsete programmide ja alaprogrammide kontekstis. Lisaks on tulemuste hindamine keerulisem põhiuuringute (või alusuuringute) kui rakendusuuringute või tehnoloogia arengu puhul. Selle peamine põhjus on asjaolu, et põhiuuringud koosnevad tavaliselt ainulaadsetest ja kordumatutest menetlustest. Isegi rakendusuuringute valdkonnas erinevad tulemused oluliselt ning nende võrdlemine ei ole seetõttu kerge.

| — | „Koondatud tulemused”: hindamiste tulemuste põhjal on raske teha otsuseid selle kohta, millised on madalama tasandi väljundid, tulemused ja mõjud järgmisele tasandile siirdudes (näiteks projekti tulemuste koondamisel esiteks projektirühmades, seejärel programmi erinevates valdkondades ja lõpuks programmis tervikuna). |
| --- | --- |

—

„Koondatud tulemused”: hindamiste tulemuste põhjal on raske teha otsuseid selle kohta, millised on madalama tasandi väljundid, tulemused ja mõjud järgmisele tasandile siirdudes (näiteks projekti tulemuste koondamisel esiteks projektirühmades, seejärel programmi erinevates valdkondades ja lõpuks programmis tervikuna).

| — | „Indikaatorite piisavus”: Tekib ka küsimus, kas hindajad hindavad õigeid asju. Indikaatorid peavad olema kergesti mõõdetavad, raskesti manipuleeritavad ja edendama õiget teguviisi. „Mõõdetavate” väljundite indikaatori abil ei ole aga alati võimalik teha järeldusi tulemuste või mõjude kohta. |
| --- | --- |

—

„Indikaatorite piisavus”: Tekib ka küsimus, kas hindajad hindavad õigeid asju. Indikaatorid peavad olema kergesti mõõdetavad, raskesti manipuleeritavad ja edendama õiget teguviisi. „Mõõdetavate” väljundite indikaatori abil ei ole aga alati võimalik teha järeldusi tulemuste või mõjude kohta.

| — | „Ajastamisega seonduvad probleemid”: Takistavaks teguriks on samuti asjaolu, et nii uurimistegevuse kui ka väljundite ja tulemuste tekitamise vahele jääb märkimisväärselt pikk ajavahemik enne, kui mõju on võimalik hinnata. Andmeid tuleb koguda pika ajavahemiku jooksul, et võimaldada tähenduslike ja põhjalike järelduste tegemist. Sellised hindamise ajakavad ei ühti sageli poliitikakujundajate ootuste ja vajadustega, mistõttu tuleb teha kompromiss poliitikakujundamise raames vajalike tulemuste kiireks edastamiseks ja mõjude ilmnemiseks vajatava aja eraldamise vahel. |
| --- | --- |

—

„Ajastamisega seonduvad probleemid”: Takistavaks teguriks on samuti asjaolu, et nii uurimistegevuse kui ka väljundite ja tulemuste tekitamise vahele jääb märkimisväärselt pikk ajavahemik enne, kui mõju on võimalik hinnata. Andmeid tuleb koguda pika ajavahemiku jooksul, et võimaldada tähenduslike ja põhjalike järelduste tegemist. Sellised hindamise ajakavad ei ühti sageli poliitikakujundajate ootuste ja vajadustega, mistõttu tuleb teha kompromiss poliitikakujundamise raames vajalike tulemuste kiireks edastamiseks ja mõjude ilmnemiseks vajatava aja eraldamise vahel.

| — | „Ekslikud projekti käsitlused”: Programmi raames teostatavate üksikprojektide tulemuste ja mõjude hindamisel tuleb arvestada raske valikuga, et tehnoloogilised ja teaduslikud tulemused saavutatakse tavaliselt siis, kui kasutatakse ära ka eelnevalt tehtud töö. Samal viisil võib osapool enne tulemuste avaldamist ja rakendamist kasutada projekti tulemusi muu töö jaoks. Seega ei ole projekt iseenesest tingimata asjakohane hindamise raamistik, eelkõige pikemaajalise tulemi ja mõjude puhul. |
| --- | --- |

—

„Ekslikud projekti käsitlused”: Programmi raames teostatavate üksikprojektide tulemuste ja mõjude hindamisel tuleb arvestada raske valikuga, et tehnoloogilised ja teaduslikud tulemused saavutatakse tavaliselt siis, kui kasutatakse ära ka eelnevalt tehtud töö. Samal viisil võib osapool enne tulemuste avaldamist ja rakendamist kasutada projekti tulemusi muu töö jaoks. Seega ei ole projekt iseenesest tingimata asjakohane hindamise raamistik, eelkõige pikemaajalise tulemi ja mõjude puhul.

| — | „Usaldusväärsus, terviklikkus ja sõltumatus”: Hindamise kvaliteet sõltub suures osas sellest, kui ulatuslikud on hindajate teadmised vastavas valdkonnas, eeldades ühelt poolt teema mõistmise ja eksperditeadmiste ning teiselt poolt sõltumatuse ja objektiivsuse ühendamist. Kvaliteet sõltub samuti nii poliitikakujundajate oletustest ja huvidest kui ka hindamise alustest ja eesmärkidest. |
| --- | --- |

—

„Usaldusväärsus, terviklikkus ja sõltumatus”: Hindamise kvaliteet sõltub suures osas sellest, kui ulatuslikud on hindajate teadmised vastavas valdkonnas, eeldades ühelt poolt teema mõistmise ja eksperditeadmiste ning teiselt poolt sõltumatuse ja objektiivsuse ühendamist. Kvaliteet sõltub samuti nii poliitikakujundajate oletustest ja huvidest kui ka hindamise alustest ja eesmärkidest.

---

II LISA

JÄRELEVALVET JA HINDAMIST KÄSITLEVAD SÄTTED RAAMPROGRAMMIDE KOHTA TEHTUD OTSUSTES NELJANDAST SEITSMENDA RAAMPROGRAMMINI

| Neljas raamprogramm (1995–1998)
   (1) | Viies raamprogramm (1999–2002)
   (2) | Kuues raamprogramm (2003–2006)
   (3) | Seitsmes raamprogramm (2007–2013)
   (4) |
| --- | --- | --- | --- |
| Otsus raamprogrammi kohta — nõukogu ja Euroopa Parlament |
| Euroopa Parlamendi ja nõukogu 26. aprilli1994. aasta otsus nr 1110/94/EÜ teadusuuringuid, tehnoloogia arendust ning tutvustamistegevusi hõlmava neljanda raamprogrammi (1994–1998) kohta: artikkel 4 | Euroopa Parlamendi ja nõukogu 22. detsembri 1998. aasta otsus nr 182/1999/EÜ Euroopa Ühenduse (EÜ) teadusuuringuid, tehnoloogia arendust ning tutvustamistegevusi hõlmava viienda raamprogrammi (1998–2002) kohta: artiklid 5 ja 6 | Euroopa Parlamendi ja nõukogu 27. juuni 2002. aasta otsus nr 1513/2002/EÜ, mis käsitleb Euroopa Ühenduse tehnoloogiaarenduse ja tutvustamistegevuse kuuendat raamprogrammi, mille eesmärk on toetada Euroopa teadusruumi loomist ja innovatsiooni (2002–2006): põhjendus 20, artiklid 4 ja 6, III lisa | Euroopa Parlamendi ja nõukogu 18. detsembri 2006. aasta otsus nr 1982/2006/EÜ, mis käsitleb Euroopa Ühenduse teadusuuringute, tehnoloogiaarenduse ja tutvustamistegevuse seitsmendat raamprogrammi (2007–2013): artikkel 7 |
| Järelevalve |
| — | komisjon jälgib pidevalt ja süstemaatiliselt väliste sõltumatute ekspertide asjakohase abiga neljanda raamprogrammi edenemist võrreldes esialgsete eesmärkidega (artikli 4 lõige 1) |

Neljas raamprogramm (1995–1998)
   (1)

Viies raamprogramm (1999–2002)
   (2)

Kuues raamprogramm (2003–2006)
   (3)

Seitsmes raamprogramm (2007–2013)
   (4)

Otsus raamprogrammi kohta — nõukogu ja Euroopa Parlament

Euroopa Parlamendi ja nõukogu 26. aprilli1994. aasta otsus nr 1110/94/EÜ teadusuuringuid, tehnoloogia arendust ning tutvustamistegevusi hõlmava neljanda raamprogrammi (1994–1998) kohta: artikkel 4

Euroopa Parlamendi ja nõukogu 22. detsembri 1998. aasta otsus nr 182/1999/EÜ Euroopa Ühenduse (EÜ) teadusuuringuid, tehnoloogia arendust ning tutvustamistegevusi hõlmava viienda raamprogrammi (1998–2002) kohta: artiklid 5 ja 6

Euroopa Parlamendi ja nõukogu 27. juuni 2002. aasta otsus nr 1513/2002/EÜ, mis käsitleb Euroopa Ühenduse tehnoloogiaarenduse ja tutvustamistegevuse kuuendat raamprogrammi, mille eesmärk on toetada Euroopa teadusruumi loomist ja innovatsiooni (2002–2006): põhjendus 20, artiklid 4 ja 6, III lisa

Euroopa Parlamendi ja nõukogu 18. detsembri 2006. aasta otsus nr 1982/2006/EÜ, mis käsitleb Euroopa Ühenduse teadusuuringute, tehnoloogiaarenduse ja tutvustamistegevuse seitsmendat raamprogrammi (2007–2013): artikkel 7

Järelevalve

—

komisjon jälgib pidevalt ja süstemaatiliselt väliste sõltumatute ekspertide asjakohase abiga neljanda raamprogrammi edenemist võrreldes esialgsete eesmärkidega (artikli 4 lõige 1)

| — | komisjon jälgib igal aastal pidevalt ja süstemaatiliselt sõltumatute pädevate ekspertide asjakohase abiga viienda raamprogrammi ja selle eriprogrammide rakendamist I lisas esitatud kriteeriumide ja II lisas esitatud teadus- ja tehnoloogiaalaste eesmärkide alusel (artikli 5 lõige 1) |
| --- | --- |

—

komisjon jälgib igal aastal pidevalt ja süstemaatiliselt sõltumatute pädevate ekspertide asjakohase abiga viienda raamprogrammi ja selle eriprogrammide rakendamist I lisas esitatud kriteeriumide ja II lisas esitatud teadus- ja tehnoloogiaalaste eesmärkide alusel (artikli 5 lõige 1)

| — | komisjon jälgib [igal aastal] pidevalt ja süstemaatiliselt sõltumatute pädevate ekspertide asjakohase abiga kuuenda raamprogrammi ja selle eriprogrammide rakendamist (artikkel 4 ja artikli 6 lõige 1) |
| --- | --- |

—

komisjon jälgib [igal aastal] pidevalt ja süstemaatiliselt sõltumatute pädevate ekspertide asjakohase abiga kuuenda raamprogrammi ja selle eriprogrammide rakendamist (artikkel 4 ja artikli 6 lõige 1)

| — | komisjon jälgib pidevalt ja süstemaatiliselt seitsmenda raamprogrammi ja selle eriprogrammide rakendamist (artikli 7 lõige 1) |
| --- | --- |

—

komisjon jälgib pidevalt ja süstemaatiliselt seitsmenda raamprogrammi ja selle eriprogrammide rakendamist (artikli 7 lõige 1)

| — | komisjon hindab, kas eesmärgid, prioriteedid ja rahalised vahendid on jätkuvalt sobivad olukorra muutudes ning teeb vajadusel ettepanekud raamprogrammi ja/või selle eriprogrammide kohandamise või täiendamise kohta (artikli 5 lõige 1) |
| --- | --- |

—

komisjon hindab, kas eesmärgid, prioriteedid ja rahalised vahendid on jätkuvalt sobivad olukorra muutudes ning teeb vajadusel ettepanekud raamprogrammi ja/või selle eriprogrammide kohandamise või täiendamise kohta (artikli 5 lõige 1)

| — | komisjon kontrollib kõiki teadusuuringuid regulaarselt, eelkõige hõlmab see tipptasemel teadusuuringute järelevalvet (III lisa, 1. punkt (vahendid)) |
| --- | --- |

—

komisjon kontrollib kõiki teadusuuringuid regulaarselt, eelkõige hõlmab see tipptasemel teadusuuringute järelevalvet (III lisa, 1. punkt (vahendid))

| — | komisjon avaldab ja levitab korrapäraselt nimetatud järelevalve tulemusi (artikli 7 lõige 1) |
| --- | --- |

—

komisjon avaldab ja levitab korrapäraselt nimetatud järelevalve tulemusi (artikli 7 lõige 1)

Artikkel 173 — Aastaaruanne

| — | komisjon peab aastaaruandes, mille ta esitab vastavalt asutamislepingu artiklile 173, üksikasjalikult kirjeldama kuuenda raamprogrammi rakendamisel saavutatud edu ja eelkõige I lisa iga pealkirja all esitatud eesmärkide ja prioriteetide saavutamisel tehtud edusamme; aruanne sisaldab ka finantsaspekte ja teavet vahendite kasutamise kohta (artikkel 4) |
| --- | --- |

—

komisjon peab aastaaruandes, mille ta esitab vastavalt asutamislepingu artiklile 173, üksikasjalikult kirjeldama kuuenda raamprogrammi rakendamisel saavutatud edu ja eelkõige I lisa iga pealkirja all esitatud eesmärkide ja prioriteetide saavutamisel tehtud edusamme; aruanne sisaldab ka finantsaspekte ja teavet vahendite kasutamise kohta (artikkel 4)

Vahehindamine

| — | komisjon kontrollib raamprogrammi rakendamisperioodi poole peal uuesti programmi edenemist (artikkel 6) |
| --- | --- |

—

komisjon kontrollib raamprogrammi rakendamisperioodi poole peal uuesti programmi edenemist (artikkel 6)

| — | komisjon esitab Euroopa Parlamendile ja nõukogule erinevate eriprogrammide hindamistel põhineva teatise, millele lisatakse vajadusel ettepanek käesoleva otsuse kohandamiseks (artikkel 6) |
| --- | --- |

—

komisjon esitab Euroopa Parlamendile ja nõukogule erinevate eriprogrammide hindamistel põhineva teatise, millele lisatakse vajadusel ettepanek käesoleva otsuse kohandamiseks (artikkel 6)

| — | komisjon annab välisekspertide abiga hiljemalt 2010. aastaks raamprogrammi ja selle eriprogrammide kohta tõenditel põhineva vahehinnangu, tuginedes kuuenda raamprogrammi järelhindamisele. Nimetatud hinnang hõlmab käimasolevate teadusuuringute kvaliteeti, sealhulgas rakendamise ja juhtimise kvaliteeti, ning edusamme seatud eesmärkide saavutamisel (artikli 7 lõige 2) |
| --- | --- |

—

komisjon annab välisekspertide abiga hiljemalt 2010. aastaks raamprogrammi ja selle eriprogrammide kohta tõenditel põhineva vahehinnangu, tuginedes kuuenda raamprogrammi järelhindamisele. Nimetatud hinnang hõlmab käimasolevate teadusuuringute kvaliteeti, sealhulgas rakendamise ja juhtimise kvaliteeti, ning edusamme seatud eesmärkide saavutamisel (artikli 7 lõige 2)

| — | komisjon edastab hindamise lõppjäreldused koos oma märkuste ning vajaduse korral käesoleva raamprogrammi kohandamist käsitlevate ettepanekutega Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (artikli 7 lõige 2) |
| --- | --- |

—

komisjon edastab hindamise lõppjäreldused koos oma märkuste ning vajaduse korral käesoleva raamprogrammi kohandamist käsitlevate ettepanekutega Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (artikli 7 lõige 2)

| — | komisjon teavitab regulaarselt Euroopa Parlamenti ja nõukogu raamprogrammi ja selle eriprogrammide rakendamise üldisest edenemisest (artikli 5 lõige 4) |
| --- | --- |

—

komisjon teavitab regulaarselt Euroopa Parlamenti ja nõukogu raamprogrammi ja selle eriprogrammide rakendamise üldisest edenemisest (artikli 5 lõige 4)

| — | komisjon esitab Euroopa Parlamendile ja nõukogule regulaarsed aruanded kuuenda raamprogrammi rakendamise edenemise kohta (põhjendus 20) |
| --- | --- |

—

komisjon esitab Euroopa Parlamendile ja nõukogule regulaarsed aruanded kuuenda raamprogrammi rakendamise edenemise kohta (põhjendus 20)

| — | vahehinnangule eelneb eduaruanne, mis esitatakse niipea, kui saadaval on piisavalt palju teavet, ning milles esitatakse esialgsed järeldused seitsmenda raamprogrammi raames algatatud uute meetmete tõhususe ja lihtsustamise osas tehtud jõupingutuste kohta (artikli 7 lõige 2) |
| --- | --- |

—

vahehinnangule eelneb eduaruanne, mis esitatakse niipea, kui saadaval on piisavalt palju teavet, ning milles esitatakse esialgsed järeldused seitsmenda raamprogrammi raames algatatud uute meetmete tõhususe ja lihtsustamise osas tehtud jõupingutuste kohta (artikli 7 lõige 2)

| — | 2004. aastal hindavad sõltumatud eksperdid kõikide vahendiliikide tõhusust käesoleva programmi täitmisel (III lisa, 1. punkt (vahendid)) |
| --- | --- |

—

2004. aastal hindavad sõltumatud eksperdid kõikide vahendiliikide tõhusust käesoleva programmi täitmisel (III lisa, 1. punkt (vahendid))

Viieaastane hindamine

| — | komisjon korraldab sõltumatute pädevate ekspertide poolt läbiviidava välishindamise ühenduse meetmete juhtimise ja edenemise kohta nimetatud hindamisele eelnenud viie aasta jooksul (artikli 4 lõige 2) |
| --- | --- |

—

komisjon korraldab sõltumatute pädevate ekspertide poolt läbiviidava välishindamise ühenduse meetmete juhtimise ja edenemise kohta nimetatud hindamisele eelnenud viie aasta jooksul (artikli 4 lõige 2)

| — | komisjon korraldab kõrgelt kvalifitseeritud sõltumatute ekspertide poolt läbiviidava välishindamise, mis käsitleb ühenduse meetmete rakendamist ja tulemusi nimetatud hindamisele eelnenud viie aasta jooksul I lisas esitatud kriteeriumide ja II lisas esitatud teadus- ja tehnoloogiaalaste eesmärkide alusel (artikli 5 lõige 2) |
| --- | --- |

—

komisjon korraldab kõrgelt kvalifitseeritud sõltumatute ekspertide poolt läbiviidava välishindamise, mis käsitleb ühenduse meetmete rakendamist ja tulemusi nimetatud hindamisele eelnenud viie aasta jooksul I lisas esitatud kriteeriumide ja II lisas esitatud teadus- ja tehnoloogiaalaste eesmärkide alusel (artikli 5 lõige 2)

| — | enne järgmist raamprogrammi käsitleva ettepaneku esitamist korraldab komisjon kõrgelt kvalifitseeritud sõltumatute ekspertide poolt läbiviidava välishindamise, mis käsitleb ühenduse meetmete rakendamist ja tulemusi nimetatud hindamisele eelnenud viie aasta jooksul (artikli 6 lõige 2) (komisjon korraldab tehtud toimingute hindamise, võttes arvesse kuuenda raamprogrammi osa Euroopa teadusruumi loomisel (põhjendus 20)) |
| --- | --- |

—

enne järgmist raamprogrammi käsitleva ettepaneku esitamist korraldab komisjon kõrgelt kvalifitseeritud sõltumatute ekspertide poolt läbiviidava välishindamise, mis käsitleb ühenduse meetmete rakendamist ja tulemusi nimetatud hindamisele eelnenud viie aasta jooksul (artikli 6 lõige 2) (komisjon korraldab tehtud toimingute hindamise, võttes arvesse kuuenda raamprogrammi osa Euroopa teadusruumi loomisel (põhjendus 20))

| — | komisjon edastab hindamistulemused ja oma tähelepanekud Euroopa Parlamendile, nõukogule, Majandus- ja Sotsiaalkomiteele enne järgmist raamprogrammi käsitleva ettepaneku esitamist (artikli 4 lõige 2) |
| --- | --- |

—

komisjon edastab hindamistulemused ja oma tähelepanekud Euroopa Parlamendile, nõukogule, Majandus- ja Sotsiaalkomiteele enne järgmist raamprogrammi käsitleva ettepaneku esitamist (artikli 4 lõige 2)

| — | komisjon edastab hindamistulemused ja oma tähelepanekud Euroopa Parlamendile, nõukogule, Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele enne järgmist raamprogrammi käsitleva ettepaneku esitamist (artikli 5 lõige 2) |
| --- | --- |

—

komisjon edastab hindamistulemused ja oma tähelepanekud Euroopa Parlamendile, nõukogule, Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele enne järgmist raamprogrammi käsitleva ettepaneku esitamist (artikli 5 lõige 2)

| — | komisjon edastab hindamistulemused ja oma tähelepanekud Euroopa Parlamendile, nõukogule, Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (artikli 6 lõige 2) aegsasti ja enne järgmist raamprogrammi käsitleva ettepaneku esitamist (põhjendus 20) |
| --- | --- |

—

komisjon edastab hindamistulemused ja oma tähelepanekud Euroopa Parlamendile, nõukogule, Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (artikli 6 lõige 2) aegsasti ja enne järgmist raamprogrammi käsitleva ettepaneku esitamist (põhjendus 20)

Lõplik hindamine

[vt otsus eriprogrammi kohta]

| — | komisjon tellib kaks aastat pärast seitsmenda raamprogrammi lõpuleviimist (ehk 2015. aastaks) sõltumatutelt välisekspertidelt hinnangu selle põhjenduste, rakendamise ja tulemuste kohta (artikli 7 lõige 3) |
| --- | --- |

—

komisjon tellib kaks aastat pärast seitsmenda raamprogrammi lõpuleviimist (ehk 2015. aastaks) sõltumatutelt välisekspertidelt hinnangu selle põhjenduste, rakendamise ja tulemuste kohta (artikli 7 lõige 3)

| — | komisjon edastab hindamise lõppjäreldused koos oma märkustega Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (artikli 7 lõige 3) |
| --- | --- |

—

komisjon edastab hindamise lõppjäreldused koos oma märkustega Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (artikli 7 lõige 3)

Sõltumatud eksperdid

| — | komisjon tagab, et sõltumatute ekspertide valikul võetaks tasakaalustatud viisil arvesse erinevaid teadus-, tööstus- ja kasutusvaldkondi ning avaldataks ekspertide nimed ja nende erinevad kvalifikatsioonid pärast nende ametisse nimetamist (artikli 5 lõige 3)
  [seoses sõltumatuid eksperte käsitlevate sätetega vt nõukogu otsuse 1999/65/EÜ artikkel 9] |
| --- | --- |

—

komisjon tagab, et sõltumatute ekspertide valikul võetaks tasakaalustatud viisil arvesse erinevaid teadus-, tööstus- ja kasutusvaldkondi ning avaldataks ekspertide nimed ja nende erinevad kvalifikatsioonid pärast nende ametisse nimetamist (artikli 5 lõige 3)

[seoses sõltumatuid eksperte käsitlevate sätetega vt nõukogu otsuse 1999/65/EÜ artikkel 9]

| — | komisjon nimetab sõltumatud eksperdid, kes abistavad teda kuuendas raamprogrammis ja eriprogrammides ettenähtud hindamisel ning artikli 10 lõikes 6 ja artikli 18 lõike 1 teises lõigus nimetatud ülesannete täitmisel. |
| --- | --- |

—

komisjon nimetab sõltumatud eksperdid, kes abistavad teda kuuendas raamprogrammis ja eriprogrammides ettenähtud hindamisel ning artikli 10 lõikes 6 ja artikli 18 lõike 1 teises lõigus nimetatud ülesannete täitmisel.

| — | Lisaks võib komisjon moodustada sõltumatute ekspertide rühmi, kes annavad nõu, kuidas ühenduse teaduspoliitikat rakendada. |
| --- | --- |

—

Lisaks võib komisjon moodustada sõltumatute ekspertide rühmi, kes annavad nõu, kuidas ühenduse teaduspoliitikat rakendada.

| — | [seoses sõltumatuid eksperte käsitlevate sätetega vt määruse (EÜ) nr 2321/2002 artikkel 11] |
| --- | --- |

—

[seoses sõltumatuid eksperte käsitlevate sätetega vt määruse (EÜ) nr 2321/2002 artikkel 11]

Näide ühe eriprogrammi otsuse kohta — nõukogu

Nõukogu23. novembri 1994. aasta otsus 94/801/EÜ: artikkel 4

Nõukogu25. jaanuari 1999. aasta otsus 1999/168/EÜ: artiklid 4 ja 6

Nõukogu30. septembri 2002. aasta otsus 2002/834/EÜ ja 2002/835/EÜ: artikkel 8

Nõukogu19. detsembri 2006. aasta otsus 2006/971/EÜ eriprogrammi „Koostöö” kohta: artikkel 8

Järelevalve

| — | komisjon jälgib pidevalt ja süstemaatiliselt sõltumatute välisekspertide asjakohase abiga programmi edenemist (artikli 4 lõige 1) |
| --- | --- |

—

komisjon jälgib pidevalt ja süstemaatiliselt sõltumatute välisekspertide asjakohase abiga programmi edenemist (artikli 4 lõige 1)

| — | komisjon jälgib sõltumatute välisekspertide asjakohase abiga eriprogrammi rakendamist ja esitab vajadusel nõukogule ettepanekud selle kohandamiseks kooskõlas viienda raamprogrammi otsuse artikli 5 lõikega 1 (artikli 4 punkt a) |
| --- | --- |

—

komisjon jälgib sõltumatute välisekspertide asjakohase abiga eriprogrammi rakendamist ja esitab vajadusel nõukogule ettepanekud selle kohandamiseks kooskõlas viienda raamprogrammi otsuse artikli 5 lõikega 1 (artikli 4 punkt a)

| — | komisjon korraldab eriprogrammiga hõlmatud valdkondades võetavate meetmete osas kuuenda raamprogrammi artikliga 6 ettenähtud sõltumatu järelevalve ja hindamise (artikli 8 lõige 2) |
| --- | --- |

—

komisjon korraldab eriprogrammiga hõlmatud valdkondades võetavate meetmete osas kuuenda raamprogrammi artikliga 6 ettenähtud sõltumatu järelevalve ja hindamise (artikli 8 lõige 2)

| — | komisjon korraldab raamprogrammi artiklis 7 ettenähtud sõltumatu järelevalve, hindamise ja läbivaatamise, mis tuleb läbi viia eriprogrammiga hõlmatud valdkondades teostatud tegevuste osas (artikkel 9) |
| --- | --- |

—

komisjon korraldab raamprogrammi artiklis 7 ettenähtud sõltumatu järelevalve, hindamise ja läbivaatamise, mis tuleb läbi viia eriprogrammiga hõlmatud valdkondades teostatud tegevuste osas (artikkel 9)

| — | vastavalt artikli 8 lõikele 4 edastab komisjon programmi komiteele teavet järelevalve kohta, mis on täpsemalt sätestatud V lisas |
| --- | --- |

—

vastavalt artikli 8 lõikele 4 edastab komisjon programmi komiteele teavet järelevalve kohta, mis on täpsemalt sätestatud V lisas

Artikkel 173 — Aastaaruanne

| — | komisjon annab kuuenda raamprogrammi otsuse artikli 4 kohaselt korrapäraselt aru eriprogrammi rakendamise üldisest edenemisest; aruanne sisaldab ka teavet finantsaspektide ja vahendite kasutamise kohta (artikli 8 lõige 1) |
| --- | --- |

—

komisjon annab kuuenda raamprogrammi otsuse artikli 4 kohaselt korrapäraselt aru eriprogrammi rakendamise üldisest edenemisest; aruanne sisaldab ka teavet finantsaspektide ja vahendite kasutamise kohta (artikli 8 lõige 1)

| — | lisab olulisemad järeldused [seoses riskijagamisrahastuga] teadusuuringute ja tehnoloogiaarenduse meetmete aastaaruandesse, mille ta saadab asutamislepingu artikli 173 kohaselt Euroopa Parlamendile ja nõukogule (III lisa). |
| --- | --- |

—

lisab olulisemad järeldused [seoses riskijagamisrahastuga] teadusuuringute ja tehnoloogiaarenduse meetmete aastaaruandesse, mille ta saadab asutamislepingu artikli 173 kohaselt Euroopa Parlamendile ja nõukogule (III lisa).

Viieaastane hindamine

| — | komisjon korraldab sõltumatute pädevate ekspertide poolt läbiviidava välishindamise programmi erinevates valdkondades läbi viidud tegevuste ja nende juhtimise kohta nimetatud hindamisele eelnenud viie aasta jooksul (artikli 4 lõige 2) |
| --- | --- |

—

komisjon korraldab sõltumatute pädevate ekspertide poolt läbiviidava välishindamise programmi erinevates valdkondades läbi viidud tegevuste ja nende juhtimise kohta nimetatud hindamisele eelnenud viie aasta jooksul (artikli 4 lõige 2)

| — | komisjon korraldab viienda raamprogrammi otsuse artikli 5 lõikes 2 sätestatud välishindamise seoses eriprogrammi valdkondades läbi viidud tegevustega (artikli 4 punkt b) |
| --- | --- |

—

komisjon korraldab viienda raamprogrammi otsuse artikli 5 lõikes 2 sätestatud välishindamise seoses eriprogrammi valdkondades läbi viidud tegevustega (artikli 4 punkt b)

Lõplik hindamine

| — | komisjon koostab iga eriprogrammi lõpus sõltumatu lõpliku hindamise, milles võrreldakse saavutatud tulemusi eesmärkidega (artikli 4 lõige 3) |
| --- | --- |

—

komisjon koostab iga eriprogrammi lõpus sõltumatu lõpliku hindamise, milles võrreldakse saavutatud tulemusi eesmärkidega (artikli 4 lõige 3)

| — | komisjon edastab nimetatud hindamise Euroopa Parlamendile, nõukogule ning Majandus- ja Sotsiaalkomiteele (artikli 4 lõige 3) |
| --- | --- |

—

komisjon edastab nimetatud hindamise Euroopa Parlamendile, nõukogule ning Majandus- ja Sotsiaalkomiteele (artikli 4 lõige 3)

Sõltumatud eksperdid

| — | komisjon koostab viienda raamprogrammi otsuse artikli 5 lõikes 2 sätestatud välishindamise suunised (artikli 6 lõige 2) |
| --- | --- |

—

komisjon koostab viienda raamprogrammi otsuse artikli 5 lõikes 2 sätestatud välishindamise suunised (artikli 6 lõige 2)

Põhiteave raamprogrammi struktuuri kohta

| — | neljas raamprogramm (EÜ): seitse eriprogrammi, mis koosnevad 17 alaprogrammist, ja kaks meetmete gruppi |
| --- | --- |

—

neljas raamprogramm (EÜ): seitse eriprogrammi, mis koosnevad 17 alaprogrammist, ja kaks meetmete gruppi

| — | viies raamprogramm (EÜ): seitse eriprogrammi, millest neli on temaatilised ja kolm horisontaalsed programmid |
| --- | --- |

—

viies raamprogramm (EÜ): seitse eriprogrammi, millest neli on temaatilised ja kolm horisontaalsed programmid

| — | kuues raamprogramm (EÜ): 20 programmi, millest 10 jaotati ümber seitsme temaatilise prioriteedi raames, ja neli programmi, mis seonduvad valdkondadevaheliste teadusuuringute eriprogrammiga „Ühenduse teadusuuringute keskendamine ja integreerimine”. Eriprogrammiga „Euroopa teadusruumi struktureerimine” seonduvad neli programmi ja eriprogrammiga „Euroopa teadusruumi aluste tugevdamine” kaks eriprogrammi |
| --- | --- |

—

kuues raamprogramm (EÜ): 20 programmi, millest 10 jaotati ümber seitsme temaatilise prioriteedi raames, ja neli programmi, mis seonduvad valdkondadevaheliste teadusuuringute eriprogrammiga „Ühenduse teadusuuringute keskendamine ja integreerimine”. Eriprogrammiga „Euroopa teadusruumi struktureerimine” seonduvad neli programmi ja eriprogrammiga „Euroopa teadusruumi aluste tugevdamine” kaks eriprogrammi

| — | seitsmes raamprogramm (EÜ): 24 erilist alaprogrammi, millest 10 kuuluvad eriprogrammi „Koostöö” alla, üks on seotud eriprogrammiga „Ideed”, viis alaprogrammi on seotud kategooriaga „Inimesed” ja kaheksa alaprogrammi seonduvad eriprogrammiga „Võimekus”, millest üks alaprogramm on seotud Teadusuuringute Ühiskeskuse tuumaenergiaga mitteseotud meetmetega |
| --- | --- |

—

seitsmes raamprogramm (EÜ): 24 erilist alaprogrammi, millest 10 kuuluvad eriprogrammi „Koostöö” alla, üks on seotud eriprogrammiga „Ideed”, viis alaprogrammi on seotud kategooriaga „Inimesed” ja kaheksa alaprogrammi seonduvad eriprogrammiga „Võimekus”, millest üks alaprogramm on seotud Teadusuuringute Ühiskeskuse tuumaenergiaga mitteseotud meetmetega

| — | Eelarve kokku (EÜ): 11 046 miljonit eurot (ehk 2 761 miljonit eurot aastas) |
| --- | --- |

—

Eelarve kokku (EÜ): 11 046 miljonit eurot (ehk 2 761 miljonit eurot aastas)

| — | Eelarve kokku (EÜ): 13 700 miljonit eurot (ehk 3 425 miljonit eurot aastas; lisatud 24 %) |
| --- | --- |

—

Eelarve kokku (EÜ): 13 700 miljonit eurot (ehk 3 425 miljonit eurot aastas; lisatud 24 %)

| — | Eelarve kokku (EÜ): 16 270 miljonit eurot (ehk 4 061 miljonit eurot aastas; lisatud 19 %) pärast EL 25 laienemist |
| --- | --- |

—

Eelarve kokku (EÜ): 16 270 miljonit eurot (ehk 4 061 miljonit eurot aastas; lisatud 19 %) pärast EL 25 laienemist

| — | Eelarve kokku (EÜ): 17 883 miljonit eurot (ehk 4 447 miljonit eurot aastas; lisatud 10 %) |
| --- | --- |

—

Eelarve kokku (EÜ): 17 883 miljonit eurot (ehk 4 447 miljonit eurot aastas; lisatud 10 %)

| — | Eelarve kokku (EÜ): 50 521 miljonit eurot (ehk 7 217 miljonit eurot aastas; lisatud 62 %) |
| --- | --- |

—

Eelarve kokku (EÜ): 50 521 miljonit eurot (ehk 7 217 miljonit eurot aastas; lisatud 62 %)

| — | Seitse peadirektoraati: teadusuuringute, infoühiskonna, energeetika, transpordi, kalanduse, põllumajanduse ja ettevõtluse peadirektoraadid |
| --- | --- |

—

Seitse peadirektoraati: teadusuuringute, infoühiskonna, energeetika, transpordi, kalanduse, põllumajanduse ja ettevõtluse peadirektoraadid

| — | Viis peadirektoraati: teadusuuringute ja tehnoloogiaarenduse, infoühiskonna, energeetika ja transpordi, kalanduse ja ettevõtluse peadirektoraadid |
| --- | --- |

—

Viis peadirektoraati: teadusuuringute ja tehnoloogiaarenduse, infoühiskonna, energeetika ja transpordi, kalanduse ja ettevõtluse peadirektoraadid

| — | Neli peadirektoraati: teadusuuringute ja tehnoloogiaarenduse, infoühiskonna, energeetika ja transpordi ning ettevõtluse peadirektoraadid |
| --- | --- |

—

Neli peadirektoraati: teadusuuringute ja tehnoloogiaarenduse, infoühiskonna, energeetika ja transpordi ning ettevõtluse peadirektoraadid

| — | Viis peadirektoraati: teadusuuringute ja tehnoloogiaarenduse, infoühiskonna ja meedia, energeetika ja transpordi, ettevõtluse ja tööstuse peadirektoraadid, Teadusuuringute Ühiskeskus; lisaks „Euroopa Teadusnõukogu” ja täitevasutused |
| --- | --- |

—

Viis peadirektoraati: teadusuuringute ja tehnoloogiaarenduse, infoühiskonna ja meedia, energeetika ja transpordi, ettevõtluse ja tööstuse peadirektoraadid, Teadusuuringute Ühiskeskus; lisaks „Euroopa Teadusnõukogu” ja täitevasutused

---

(1)  Neljas raamprogramm: Info- ja kommunikatsioonitehnoloogiad (kõrgetasemelised kommunikatsioonitehnoloogiad ja -teenused (ACTS); infotehnoloogiad (ESPRIT); telemaatilised seadmed); tööstustehnoloogiad (tööstus- ja materjalitehnoloogiad (BRITE/EURAM); standardid, mõõtmine ja testimine (SMT)); keskkond (keskkond ja kliima, mereteadused ja -tehnoloogiad (MAST III)); bioteadused ja -tehnoloogiad (biotehnoloogia BIOTECH 2), biomeditsiin ja tervishoid (BIOMED 2), põllumajandus ja kalandus (FAIR), eetilised, juriidilised ja sotsiaalsed aspektid (ELSA)); energeetika (teadus- ja arendustegevus (JOULE), tutvustus (THERMIE)); transport (transpordiuuringute programm), sihtotstarbelised sotsiaalmajanduslikud teadusuuringud (sihtotstarbelised sotsiaalmajanduslikud teadusuuringud (TSER), Euroopa transpordihindamise võrgustik (ETAN)); koostöö kolmandate riikide ja rahvusvaheliste organisatsioonidega (rahvusvaheline koostöö (INCO)); tulemuste levitamine ja kasutamine (innovatsiooniprogramm); teadustöötajate koolituse ja liikuvuse stimuleerimine (teadlaste koolitamine ja mobiilsus (TMR), Marie Curie stipendiaatide ühing).

(2)  Viies raamprogramm: neli temaatilist programmi (elukvaliteet ja elusressursside majandamine (elukvaliteet), kasutajasõbralik infoühiskond (IST), konkurentsivõimeline ja säästev kasv (GROWTH), energia, keskkond ja säästev areng (EESD)); kolm horisontaalset programmi (ühenduse teadusuuringute rahvusvahelist tähtsust tõendav eriprogramm (INCO 2), innovatsiooni edendamine ning väike- ja keskmise suurusega ettevõtjate osaluse soodustamine (innovatsioon/VKEd), teadusuuringute inimpotentsiaali ja sotsiaal-majanduslike alusteadmiste tugevdamine (tugevdamine)).

(3)  Kuues raamprogramm:„Ühenduse teadusuuringute keskendamine ja integreerimine”

| — | Seitse prioriteetset teemat, mis hõlmavad kümmet programmi: bioteadused, genoomika ja tervishoiu biotehnoloogia (sh kõrgetasemeline genoomika ja selle rakendamine tervishoius, olulisemate haiguste vastane võitlus), infoühiskonna tehnoloogiad, nanotehnoloogiad ja nanoteadused, arukad multifunktsionaalsed materjalid ja uued tootmisprotsessid ja vahendid, lennundus ja kosmoseuuringud, toidu kvaliteet ja toiduohutus; säästev areng, globaalsed muutused ja ökosüsteemid (sh säästvad energiasüsteemid, säästev pinnatransport, globaalne muutus ja ökosüsteemid), kodanikud ja valitsemine teadmistepõhises ühiskonnas, |
| --- | --- |

—

Seitse prioriteetset teemat, mis hõlmavad kümmet programmi: bioteadused, genoomika ja tervishoiu biotehnoloogia (sh kõrgetasemeline genoomika ja selle rakendamine tervishoius, olulisemate haiguste vastane võitlus), infoühiskonna tehnoloogiad, nanotehnoloogiad ja nanoteadused, arukad multifunktsionaalsed materjalid ja uued tootmisprotsessid ja vahendid, lennundus ja kosmoseuuringud, toidu kvaliteet ja toiduohutus; säästev areng, globaalsed muutused ja ökosüsteemid (sh säästvad energiasüsteemid, säästev pinnatransport, globaalne muutus ja ökosüsteemid), kodanikud ja valitsemine teadmistepõhises ühiskonnas,

| — | valdkondadevahelised teadusuuringud, mis käsitlevad laiemat, nelja programmi hõlmavat teadusvaldkonda: tegevussuundade toetamine ja eeldatavate teaduslike ja tehnoloogiliste vajaduste rahuldamine, horisontaalsed teadusuuringud, millesse on kaasatud VKEd, rahvusvahelist koostööd toetavad erimeetmed, Teadusuuringute Ühiskeskuse tuumaenergiaga mitteseotud meetmed; „Euroopa teadusruumi struktureerimine”, mis hõlmab nelja programmi: teadustöö ja innovatsioon, inimressursid, teadustöö infrastruktuurid, teadus ja ühiskond „Euroopa teadusruumi aluste tugevdamine”, mis hõlmab kahte programmi: koordineerimistegevuse toetamine, poliitika ühtse arendamise toetamine. |
| --- | --- |

—

valdkondadevahelised teadusuuringud, mis käsitlevad laiemat, nelja programmi hõlmavat teadusvaldkonda: tegevussuundade toetamine ja eeldatavate teaduslike ja tehnoloogiliste vajaduste rahuldamine, horisontaalsed teadusuuringud, millesse on kaasatud VKEd, rahvusvahelist koostööd toetavad erimeetmed, Teadusuuringute Ühiskeskuse tuumaenergiaga mitteseotud meetmed; „Euroopa teadusruumi struktureerimine”, mis hõlmab nelja programmi: teadustöö ja innovatsioon, inimressursid, teadustöö infrastruktuurid, teadus ja ühiskond „Euroopa teadusruumi aluste tugevdamine”, mis hõlmab kahte programmi: koordineerimistegevuse toetamine, poliitika ühtse arendamise toetamine.

(4)  Seitsmes raamprogramm: eriprogramm „Koostöö”, mis hõlmab kümmet alaprogrammi (tervishoid; toiduained, põllumajandus ja biotehnoloogia; info- ja kommunikatsioonitehnoloogiad; nanotehnoloogiad ja nanoteadused, materjalid ja uued tootmistehnoloogiad; energeetika; keskkond (sh kliimamuutus); transport (sh lennundus); sotsiaalmajandus- ja humanitaarteadused; julgeolek ja kosmoseuuringud), eriprogramm „Ideed”, mis hõlmab ühte alaprogrammi (Euroopa Teadusnõukogu), eriprogramm „Inimesed”, mis hõlmab viit alaprogrammi (esmane koolitus; elukestev õpe; tööstus- ja akadeemilised ringkonnad; rahvusvaheline mõõde; erimeetmed), eriprogramm „Võimekus”, mis hõlmab kaheksat alaprogrammi (teadustöö infrastruktuurid, VKEde huvides läbiviidavad teadusuuringud; teadmiste piirkonnad; teadusuuringute potentsiaal; teadus ühiskonnas; teaduspoliitika kooskõlastatud väljatöötamise toetamine; rahvusvaheline koostöö); „Teadusuuringute Ühiskeskuse tuumaenergiaga mitteseotud meetmed”).

---

III LISA

UURIMISPROGRAMMIDE JÄRELHINDAMISTE PEAMISED ERINEVUSED EL-I, AMEERIKA ÜHENDRIIKIDE JA KANADA VAHEL (NELJANDAST RAAMPROGRAMMIST KUUENDANI)

| | EL (neljandast raamprogrammist kuuendani) | Ameerika Ühendriigid | Kanada |
| --- | --- | --- | --- |
| Süsteemidega seonduvad küsimused |
| Sekkumisloogika | ei ole selge | suures osas kehtestatud, PART vahendiga (1) kaudselt ette nähtud | programmi ettepaneku ühe osana RMAF raamistikus (2) ette nähtud |
| Hindamisstrateegia | ei ole põhjalik | PART vahendiga (1) ette nähtud | programmi ettepaneku ühe osana RMAF raamistikus (2) ette nähtud |
| Eeldatavate tulemuste kirjeldus | puudub | PART vahendiga (1) ette nähtud (sh kvantifitseeritavate indikaatorite kasutus) | programmi ettepaneku ühe osana RMAF raamistikus (2) ette nähtud |
| Esitatud hindamisküsimused | programmi haldab komisjon | programmi haldab agentuur (hinnatakse OMB poolt määratletud raamistikus) | programmi haldab agentuur
  (hinnatakse TBSi poolt määratletud raamistikus) |
| Korraldamisega seonduvad küsimused |
| Kavandamisetapp | programmitöö perioodi vältel | programmitöö perioodi vältel | viidud lõpule enne programmi algust |
| Eksperdirühmade kasutamine | ajutised eksperdirühmad erihindamiste jaoks | sõltuvalt agentuurist/programmist | alalised eksperdirühmad (alalised komiteed) |
| Perioodilisus | kindlaksmääratud kuupäevad (seotud programmitöö perioodiga, hõlmavad viit eelmist aastat) | 2–3 aasta pikkune tsükkel
  (seotud eelarve kinnitamisega) | programmi pikendamise korral |

EL (neljandast raamprogrammist kuuendani)

Ameerika Ühendriigid

Kanada

Süsteemidega seonduvad küsimused

Sekkumisloogika

ei ole selge

suures osas kehtestatud, PART vahendiga (1) kaudselt ette nähtud

programmi ettepaneku ühe osana RMAF raamistikus (2) ette nähtud

Hindamisstrateegia

ei ole põhjalik

PART vahendiga (1) ette nähtud

programmi ettepaneku ühe osana RMAF raamistikus (2) ette nähtud

Eeldatavate tulemuste kirjeldus

puudub

PART vahendiga (1) ette nähtud (sh kvantifitseeritavate indikaatorite kasutus)

programmi ettepaneku ühe osana RMAF raamistikus (2) ette nähtud

Esitatud hindamisküsimused

programmi haldab komisjon

programmi haldab agentuur (hinnatakse OMB poolt määratletud raamistikus)

programmi haldab agentuur

(hinnatakse TBSi poolt määratletud raamistikus)

Korraldamisega seonduvad küsimused

Kavandamisetapp

programmitöö perioodi vältel

programmitöö perioodi vältel

viidud lõpule enne programmi algust

Eksperdirühmade kasutamine

ajutised eksperdirühmad erihindamiste jaoks

sõltuvalt agentuurist/programmist

alalised eksperdirühmad (alalised komiteed)

Perioodilisus

kindlaksmääratud kuupäevad (seotud programmitöö perioodiga, hõlmavad viit eelmist aastat)

2–3 aasta pikkune tsükkel

(seotud eelarve kinnitamisega)

programmi pikendamise korral

---

(1)  Programme Assessment Rating Tool (PART) (programmi hindamisvahend) alates 2002. aastast: vt Office of Management and the Budget (OMB), Executive Office of the President, Ameerika Ühendriigid.

(2)  Results-based Management and Accountability Framework (RMAF) (tulemuspõhine juhtimise ja aruandluskohustuse raamistik): vt Treasury Board of Canada Secretariat (TBS) (Kanada finantskomisjoni sekretariaat).

---

IV LISA

SEITSMENDA RAAMPROGRAMMI TÖÖRÜHMA VÕIMALIK KOOSSEIS

Image

---

KOMISJONI VASTUSED

| I. | Ühenduse teadusuuringute ja tehnoloogiaarenduse (TTA) raamprogrammid on muutunud viimaste aastakümnetega EL 27, assotsieerunud riikide ja muudegi riikide teadlaste jaoks laiaulatuslikuks, kuid samas sidusaks toetusmehhanismide süsteemiks.
  Täna on raamprogrammid avaliku sektori suurim rahvusvaheliste teadusuuringute rahastamise süsteem maailmas.
  Praegu suunatakse ligikaudu 5 % ELi teadusuuringute rahastamiseks ette nähtud avaliku sektori vahenditest raamprogrammidesse. Seitsmendas raamprogrammis on ühenduse finantsosalus aastas ligikaudu 60 % suurem kui kuuendas raamprogrammis.
  Sellise ainulaadse programmi hindamine on eriline väljakutse kõigi osalejate jaoks. Hindamis- ja järelevalvekord on viimaste aastate jooksul oluliselt muutunud, hiljuti seoses seitsmenda raamprogrammi algusega 2007. aastal.
  Komisjonis kasutatav järelevalve- ja hindamissüsteem põhineb sellel, et otsest vastutust kannab rakendav komisjoni talitus. Sellel tasemel on kõige rohkem eksperditeadmisi.
  Raamprogrammi tasandi hindamised viiakse läbi kõigi peadirektoraatide koordineeritud jõupingutustega. |
| --- | --- |

I.

Ühenduse teadusuuringute ja tehnoloogiaarenduse (TTA) raamprogrammid on muutunud viimaste aastakümnetega EL 27, assotsieerunud riikide ja muudegi riikide teadlaste jaoks laiaulatuslikuks, kuid samas sidusaks toetusmehhanismide süsteemiks.

Täna on raamprogrammid avaliku sektori suurim rahvusvaheliste teadusuuringute rahastamise süsteem maailmas.

Praegu suunatakse ligikaudu 5 % ELi teadusuuringute rahastamiseks ette nähtud avaliku sektori vahenditest raamprogrammidesse. Seitsmendas raamprogrammis on ühenduse finantsosalus aastas ligikaudu 60 % suurem kui kuuendas raamprogrammis.

Sellise ainulaadse programmi hindamine on eriline väljakutse kõigi osalejate jaoks. Hindamis- ja järelevalvekord on viimaste aastate jooksul oluliselt muutunud, hiljuti seoses seitsmenda raamprogrammi algusega 2007. aastal.

Komisjonis kasutatav järelevalve- ja hindamissüsteem põhineb sellel, et otsest vastutust kannab rakendav komisjoni talitus. Sellel tasemel on kõige rohkem eksperditeadmisi.

Raamprogrammi tasandi hindamised viiakse läbi kõigi peadirektoraatide koordineeritud jõupingutustega.

| IV. | Komisjon tervitab kontrollikoja tähelepanekut, et raamprogramme rakendavad peadirektoraadid (teadusuuringute peadirektoraadid) on komisjoni hindamisalased nõuded täitnud, sealhulgas nõuded, mis on esitatud 2000. ja 2002. aasta hindamist käsitlevates teatistes.
  Raamprogrammi hindamisse on sisse viidud olulisi muudatusi, sealhulgas on seitsmes raamprogramm suures osas ümberstruktureeritud.
  Ühtlasi on komisjon seisukohal, et:






  i) | raamprogrammid on alati põhinenud selgesõnalisel sekkumisloogikal. Seitsmendas raamprogrammis on seda selgemalt näha ning see tugevdab komisjoni järelevalve- ja hindamissüsteemi veelgi; |
| --- | --- | --- |

IV.

Komisjon tervitab kontrollikoja tähelepanekut, et raamprogramme rakendavad peadirektoraadid (teadusuuringute peadirektoraadid) on komisjoni hindamisalased nõuded täitnud, sealhulgas nõuded, mis on esitatud 2000. ja 2002. aasta hindamist käsitlevates teatistes.

Raamprogrammi hindamisse on sisse viidud olulisi muudatusi, sealhulgas on seitsmes raamprogramm suures osas ümberstruktureeritud.

Ühtlasi on komisjon seisukohal, et:

i)

raamprogrammid on alati põhinenud selgesõnalisel sekkumisloogikal. Seitsmendas raamprogrammis on seda selgemalt näha ning see tugevdab komisjoni järelevalve- ja hindamissüsteemi veelgi;

| ii) | komisjoni hindamise ja järelevalve lähenemisviisi peamised strateegilised elemendid määratleti järjestikustes raamprogramme käsitlevates põhiõigusaktides alates 1990ndate keskpaigast.
  Pärast teadusuuringute hindamist käsitleva viimase komisjoni teatise vastuvõtmist 1996. aastal jätkas komisjon raamprogrammi hindamise lähenemisviisi viimistlemist ja hindamistoimingutesse viidi sisse olulisi muudatusi.
  Ajavahemikus, mida auditeeris kontrollikoda, teostati iga nelja aasta järel suuremaid raamprogrammi hindamistoiminguid, niinimetatud „viie aasta hindamisi”; |
| --- | --- |

ii)

komisjoni hindamise ja järelevalve lähenemisviisi peamised strateegilised elemendid määratleti järjestikustes raamprogramme käsitlevates põhiõigusaktides alates 1990ndate keskpaigast.

Pärast teadusuuringute hindamist käsitleva viimase komisjoni teatise vastuvõtmist 1996. aastal jätkas komisjon raamprogrammi hindamise lähenemisviisi viimistlemist ja hindamistoimingutesse viidi sisse olulisi muudatusi.

Ajavahemikus, mida auditeeris kontrollikoda, teostati iga nelja aasta järel suuremaid raamprogrammi hindamistoiminguid, niinimetatud „viie aasta hindamisi”;

| iii) | raamprogramme rakendavad „teadusuuuringute peadirektoraadid” koos, toimides sõltumatult ja tehes vajadusel koostööd. Komisjoni kesksed talitused, eriti eelarve peadirektoraat, osalevad aktiivselt hindamisprotsessiga seotud erinevates toimingutes.
  Arvestades komisjoni detsentraliseeritud ülesehitust ja iga teadusvaldkonna spetsiifikat, tuleb hindamisi teostada vastutavatel tegevustasandi talitustel.
  Komisjonisisene TTA hindamisvõrgustik on osutunud koordineerimisel väga kasulikuks.
  Komisjon nõustub, et hindamisel peaksid eksperdirühmad olulist osa mängima, ja tervitab auditi järeldust, et institutsionaalsed sidusrühmad nägid „viie aasta hindamiste” ja muude suuremate hindamiste puhul eksperdirühmi kui tagatist auditeeritud ajavahemiku jooksul komisjoni poolt kasutatud meetodi sõltumatusele; |
| --- | --- |

iii)

raamprogramme rakendavad „teadusuuuringute peadirektoraadid” koos, toimides sõltumatult ja tehes vajadusel koostööd. Komisjoni kesksed talitused, eriti eelarve peadirektoraat, osalevad aktiivselt hindamisprotsessiga seotud erinevates toimingutes.

Arvestades komisjoni detsentraliseeritud ülesehitust ja iga teadusvaldkonna spetsiifikat, tuleb hindamisi teostada vastutavatel tegevustasandi talitustel.

Komisjonisisene TTA hindamisvõrgustik on osutunud koordineerimisel väga kasulikuks.

Komisjon nõustub, et hindamisel peaksid eksperdirühmad olulist osa mängima, ja tervitab auditi järeldust, et institutsionaalsed sidusrühmad nägid „viie aasta hindamiste” ja muude suuremate hindamiste puhul eksperdirühmi kui tagatist auditeeritud ajavahemiku jooksul komisjoni poolt kasutatud meetodi sõltumatusele;

| iv) | otseste metoodiliste juhiste andmist hindamise käigus piirab vajadus säilitada hindajate sõltumatus. Komisjon tunnistab, et minevikus on olnud raskusi andmete kogumisega, ning nõustub, et vähem on teada raamprogrammi pikaajalisemate tulemuste ja mõjude kohta. Sama olukord valitseb enamiku muude riiklike sekkumiste hindamisel teadusuuringute valdkondades ja mujalgi; |
| --- | --- |

iv)

otseste metoodiliste juhiste andmist hindamise käigus piirab vajadus säilitada hindajate sõltumatus. Komisjon tunnistab, et minevikus on olnud raskusi andmete kogumisega, ning nõustub, et vähem on teada raamprogrammi pikaajalisemate tulemuste ja mõjude kohta. Sama olukord valitseb enamiku muude riiklike sekkumiste hindamisel teadusuuringute valdkondades ja mujalgi;

| v) | enamiku hindamiste aeg on määratud Euroopa Parlamendi ja nõukogu vastu võetud põhiõigusaktidega. Üldiselt peab komisjon oma raamprogrammi järelevalve- ja hindamissüsteemi tõhusaks. Seda arvamust jagasid ka Euroopa Parlament ja nõukogu, võttes 2006. aastal vastu komisjoni hiljutised seadusandlikud ettepanekud seitsmenda raamprogrammi kohta. |
| --- | --- |

v)

enamiku hindamiste aeg on määratud Euroopa Parlamendi ja nõukogu vastu võetud põhiõigusaktidega. Üldiselt peab komisjon oma raamprogrammi järelevalve- ja hindamissüsteemi tõhusaks. Seda arvamust jagasid ka Euroopa Parlament ja nõukogu, võttes 2006. aastal vastu komisjoni hiljutised seadusandlikud ettepanekud seitsmenda raamprogrammi kohta.

| V. | Pidades silmas kontrollikoja soovitusi, komisjon:






  i) | juhib tähelepanu sellele, et seitsmendat raamprogrammi käsitlevates õigusaktides (vastu võetud Euroopa Parlamendi ja nõukogu poolt 2006. aastal) kasutatakse selgesõnalisemat sekkumisloogikat, ja kasutab ise tulevastes õigusaktide ettepanekutes selgesõnalisemat sekkumisloogikat. Lisaks kavatseb komisjon tööprogrammide tasandil oma tegevuse eesmärke seitsmenda raamprogrammi raames täiendavalt selgitada ja arendada edasi oma tulemuste hindamise metoodikat; |
| --- | --- | --- |

V.

Pidades silmas kontrollikoja soovitusi, komisjon:

i)

juhib tähelepanu sellele, et seitsmendat raamprogrammi käsitlevates õigusaktides (vastu võetud Euroopa Parlamendi ja nõukogu poolt 2006. aastal) kasutatakse selgesõnalisemat sekkumisloogikat, ja kasutab ise tulevastes õigusaktide ettepanekutes selgesõnalisemat sekkumisloogikat. Lisaks kavatseb komisjon tööprogrammide tasandil oma tegevuse eesmärke seitsmenda raamprogrammi raames täiendavalt selgitada ja arendada edasi oma tulemuste hindamise metoodikat;

| ii) | arendab seitsmenda raamprogrammi mõju hindamise ettepanekute alusel oma seitsmenda raamprogrammi hindamisstrateegiat edasi. Komisjon tagab piisava paindlikkuse, et iga tegevustasandi talitus saaks ise määrata oma konkreetsed hindamisvajadused; |
| --- | --- |

ii)

arendab seitsmenda raamprogrammi mõju hindamise ettepanekute alusel oma seitsmenda raamprogrammi hindamisstrateegiat edasi. Komisjon tagab piisava paindlikkuse, et iga tegevustasandi talitus saaks ise määrata oma konkreetsed hindamisvajadused;

| iii) | ei pea vajalikuks ühise hindamisüksuse loomist, kuid nõustub kaaluma teisi koordineerimist parandavaid võimalusi.
  Eksperdirühmad konkreetse hindamise toetamiseks tuleb kutsuda kokku nii vara kui võimalik. Konkreetsel eesmärgil kokku kutsutud spetsiaalsed eksperdirühmad toovad tõenäoliselt kasu eelkõige selguse ja fokuseerituse mõttes; |
| --- | --- |

iii)

ei pea vajalikuks ühise hindamisüksuse loomist, kuid nõustub kaaluma teisi koordineerimist parandavaid võimalusi.

Eksperdirühmad konkreetse hindamise toetamiseks tuleb kutsuda kokku nii vara kui võimalik. Konkreetsel eesmärgil kokku kutsutud spetsiaalsed eksperdirühmad toovad tõenäoliselt kasu eelkõige selguse ja fokuseerituse mõttes;

| iv) | on juba võtnud meetmeid olemasolevate ja uute andmete allikate paremaks kasutamiseks oma hindamistes.
  Seitsmenda raamprogrammi aruandlusnõuded vaadati osaliselt läbi koos hindamis- ja kontrollivajadustega.
  Lisaks töötab komisjon praegu välja uut seitsmenda raamprogrammi IT-süsteemi, mis peaks andma projektide andmetele konkreetsema aluse.
  Komisjon kaalub uue raamprogrammi hindamise käsiraamatu koostamise võimalust, võttes arvesse viimasel ajal esinenud näiteid; |
| --- | --- |

iv)

on juba võtnud meetmeid olemasolevate ja uute andmete allikate paremaks kasutamiseks oma hindamistes.

Seitsmenda raamprogrammi aruandlusnõuded vaadati osaliselt läbi koos hindamis- ja kontrollivajadustega.

Lisaks töötab komisjon praegu välja uut seitsmenda raamprogrammi IT-süsteemi, mis peaks andma projektide andmetele konkreetsema aluse.

Komisjon kaalub uue raamprogrammi hindamise käsiraamatu koostamise võimalust, võttes arvesse viimasel ajal esinenud näiteid;

| v) | komisjon kavatseb arendada ja parandada oma seitsmenda raamprogrammi hindamiste ettekavandamist, et see näitaks järjekindlusega kaasnevaid võimalikke hüvesid ja tulemuste kasutuselevõtmist. |
| --- | --- |

v)

komisjon kavatseb arendada ja parandada oma seitsmenda raamprogrammi hindamiste ettekavandamist, et see näitaks järjekindlusega kaasnevaid võimalikke hüvesid ja tulemuste kasutuselevõtmist.

| 1–13. | Ühenduse TTA raamprogrammid on muutunud viimaste aastakümnetega EL 27, assotsieerunud riikide ja muude riikide teadlaste jaoks laiaulatuslikuks, kuid siiski sidusaks toetusmehhanismide süsteemiks.
  Raamprogrammid on täna suurim rahvusvaheline teadusuuringute rahastamise süsteem maailmas (vt kontrollikoja teksti punkti 6). Ühenduse finantsosalus aastas on seitsmendas raamprogrammis ligikaudu 60 % suurem kui kuuendas raamprogrammis (vt kontrollikoja teksti joonis 1).
  Sellise ainulaadse programmi hindamine on eriline väljakutse kõikide osalejate jaoks. Hindamise kord on viimaste aastate jooksul oluliselt muutunud (vt kontrollikoja teksti joonis 2), hiljuti seoses seitsmenda raamprogrammi algusega 2007. aastal (vt näiteks vastused punktidele 23, 30, 41, 46, 72, 76–78, 93). |
| --- | --- |

1–13.

Ühenduse TTA raamprogrammid on muutunud viimaste aastakümnetega EL 27, assotsieerunud riikide ja muude riikide teadlaste jaoks laiaulatuslikuks, kuid siiski sidusaks toetusmehhanismide süsteemiks.

Raamprogrammid on täna suurim rahvusvaheline teadusuuringute rahastamise süsteem maailmas (vt kontrollikoja teksti punkti 6). Ühenduse finantsosalus aastas on seitsmendas raamprogrammis ligikaudu 60 % suurem kui kuuendas raamprogrammis (vt kontrollikoja teksti joonis 1).

Sellise ainulaadse programmi hindamine on eriline väljakutse kõikide osalejate jaoks. Hindamise kord on viimaste aastate jooksul oluliselt muutunud (vt kontrollikoja teksti joonis 2), hiljuti seoses seitsmenda raamprogrammi algusega 2007. aastal (vt näiteks vastused punktidele 23, 30, 41, 46, 72, 76–78, 93).

| 14. | TTAde raamprogramme rakendavad peadirektoraadid (teadusuuringute peadirektoraadid) on ametlikult täitnud komisjoni hindamisalased nõuded, sealhulgas nõuded, mis on märgitud 2000. ja 2002. aasta hindamist käsitlevates teatistes (vt kontrollikoja teksti punkt 54). |
| --- | --- |

14.

TTAde raamprogramme rakendavad peadirektoraadid (teadusuuringute peadirektoraadid) on ametlikult täitnud komisjoni hindamisalased nõuded, sealhulgas nõuded, mis on märgitud 2000. ja 2002. aasta hindamist käsitlevates teatistes (vt kontrollikoja teksti punkt 54).

| 22. | Komisjon nõustub, et kindel sekkumisloogika on programmi kavandamisel oluline, ja jagab arvamust, et põhielemendiks on EÜ asutamislepingu artiklis 163 sätestatud mandaat. Lisaks on olulise tähtsusega komisjoni rahastatud TTA tegevuste panus muudesse ühenduse poliitikasuundadesse ja eesmärkidesse. Hiljuti esitati komisjoni seisukoht ELi TTA investeeringu rolli kohta üksikasjalikult nii uuendatud Lissaboni tegevuskavas kui ka uuendatud säästva arengu tegevuskavas (1). |
| --- | --- |

22.

Komisjon nõustub, et kindel sekkumisloogika on programmi kavandamisel oluline, ja jagab arvamust, et põhielemendiks on EÜ asutamislepingu artiklis 163 sätestatud mandaat. Lisaks on olulise tähtsusega komisjoni rahastatud TTA tegevuste panus muudesse ühenduse poliitikasuundadesse ja eesmärkidesse. Hiljuti esitati komisjoni seisukoht ELi TTA investeeringu rolli kohta üksikasjalikult nii uuendatud Lissaboni tegevuskavas kui ka uuendatud säästva arengu tegevuskavas (1).

| 23. | Raamprogrammid on alati põhinenud selgesõnalisel sekkumisloogikal. Seitsmendas raamprogrammis on seda selgemalt näha, mis tugevdab komisjoni järelevalve- ja hindamissüsteemi veelgi (2). |
| --- | --- |

23.

Raamprogrammid on alati põhinenud selgesõnalisel sekkumisloogikal. Seitsmendas raamprogrammis on seda selgemalt näha, mis tugevdab komisjoni järelevalve- ja hindamissüsteemi veelgi (2).

| 25. | Seda lähenemisviisi kasutavad mitmed riigid, ka mõned liikmesriigid, kuid kindlasti ei ole see ühtne lähenemisviis. USA ja Kanada kogemuste ülevõtmine ei pruugi olla nii lihtne kui ülevõtmine ELi liikmesriikidelt. |
| --- | --- |

25.

Seda lähenemisviisi kasutavad mitmed riigid, ka mõned liikmesriigid, kuid kindlasti ei ole see ühtne lähenemisviis. USA ja Kanada kogemuste ülevõtmine ei pruugi olla nii lihtne kui ülevõtmine ELi liikmesriikidelt.

| 26. | Komisjon on seisukohal, et ajavahemikus, mida kontrollikoda auditeeris, toimis komisjonis tõhus järelevalve- ja hindamissüsteem (vt ka vastus punktile 23). |
| --- | --- |

26.

Komisjon on seisukohal, et ajavahemikus, mida kontrollikoda auditeeris, toimis komisjonis tõhus järelevalve- ja hindamissüsteem (vt ka vastus punktile 23).

| 28. | Eriti seoses teadusuuringute ebakindlusega on keeruline tagada, et kõik eesmärgid vastaksid täpselt SMARTi kriteeriumide rangetele mõistetele. Kõik seitsmenda raamprogrammi tööprogrammid sisaldavad selgitusi mõju kohta, mis vastavad konkreetsetes programmides ette nähtud eesmärkidele, aluspõhimõtetele ja meetmetele. |
| --- | --- |

28.

Eriti seoses teadusuuringute ebakindlusega on keeruline tagada, et kõik eesmärgid vastaksid täpselt SMARTi kriteeriumide rangetele mõistetele. Kõik seitsmenda raamprogrammi tööprogrammid sisaldavad selgitusi mõju kohta, mis vastavad konkreetsetes programmides ette nähtud eesmärkidele, aluspõhimõtetele ja meetmetele.

| 29. | Ajavahemikus, mida kontrollikoda auditeeris, pöörati rohkem tähelepanu lühemaajalistele eesmärkidele; pikemaajalist analüüsi võiks rohkem olla. |
| --- | --- |

29.

Ajavahemikus, mida kontrollikoda auditeeris, pöörati rohkem tähelepanu lühemaajalistele eesmärkidele; pikemaajalist analüüsi võiks rohkem olla.

| 30. | Praegu töötab komisjon raamprogrammi tasandil välja seitsmenda raamprogrammi järelevalvesüsteemi, mille eesmärk on tulemusnäitajate sidusam ja süstemaatilisem kasutamine. Tulemusnäitajate väljatöötamiseks on käimas mitmeid eraldiseisvaid algatusi ka muudes seitsmendat raamprogrammi rakendavates talitustes. |
| --- | --- |

30.

Praegu töötab komisjon raamprogrammi tasandil välja seitsmenda raamprogrammi järelevalvesüsteemi, mille eesmärk on tulemusnäitajate sidusam ja süstemaatilisem kasutamine. Tulemusnäitajate väljatöötamiseks on käimas mitmeid eraldiseisvaid algatusi ka muudes seitsmendat raamprogrammi rakendavates talitustes.

| 34. | Komisjon tegeleb juba praegu programmi sekkumisloogika selgemaks muutmisega, arendades edasi seitsmenda raamprogrammiga seotud õigusakte ja mõju hindamist, ning kaalub kontrollikoja soovitust tulevaste seadusandlike ettepanekute kohta. |
| --- | --- |

34.

Komisjon tegeleb juba praegu programmi sekkumisloogika selgemaks muutmisega, arendades edasi seitsmenda raamprogrammiga seotud õigusakte ja mõju hindamist, ning kaalub kontrollikoja soovitust tulevaste seadusandlike ettepanekute kohta.

| 35. | Komisjon tervitab kontrollikoja soovitust muuta seitsmenda raamprogrammi programmide eesmärgid veelgi selgemaks ning töötab selle saavutamise nimel Euroopa Parlamendi ja nõukogu vastu võetud asjaomaste põhiõigusaktide raames. |
| --- | --- |

35.

Komisjon tervitab kontrollikoja soovitust muuta seitsmenda raamprogrammi programmide eesmärgid veelgi selgemaks ning töötab selle saavutamise nimel Euroopa Parlamendi ja nõukogu vastu võetud asjaomaste põhiõigusaktide raames.

| 36–37. | Komisjon tervitab kontrollikoja soovitusi ja teeb algatusi tulemuste paremaks mõõtmiseks ja eelarvestamise/juhtimise süsteemi (ABM/ABB) nomenklatuuri muutmiseks. |
| --- | --- |

36–37.

Komisjon tervitab kontrollikoja soovitusi ja teeb algatusi tulemuste paremaks mõõtmiseks ja eelarvestamise/juhtimise süsteemi (ABM/ABB) nomenklatuuri muutmiseks.

| 38–39. | Komisjon on seisukohal, et raamprogrammide hindamisstrateegias tuleks ette näha korralduse ühised põhimõtted ning raamprogrammi hindamise ja järelevalve põhimõtted. Strateegia peaks sisaldama otstarbe avaldust, selles tuleks määratleda süsteemi peamised koostisosad, sealhulgas olulisemad toimingud, ning töötada välja tulevikunägemus. Pidades silmas komisjoni detsentraliseeritud raamprogrammide hindamissüsteemi, tuleks selles keskenduma strateegilisele tasandile. |
| --- | --- |

38–39.

Komisjon on seisukohal, et raamprogrammide hindamisstrateegias tuleks ette näha korralduse ühised põhimõtted ning raamprogrammi hindamise ja järelevalve põhimõtted. Strateegia peaks sisaldama otstarbe avaldust, selles tuleks määratleda süsteemi peamised koostisosad, sealhulgas olulisemad toimingud, ning töötada välja tulevikunägemus. Pidades silmas komisjoni detsentraliseeritud raamprogrammide hindamissüsteemi, tuleks selles keskenduma strateegilisele tasandile.

| 41. | Komisjoni hindamise ja järelevalve lähenemisviisi peamised strateegilised elemendid määratleti järjestikustes raamprogrammi käsitlevates põhiõigusaktides alates 1990ndate keskpaigast (vt II. lisa).
  Pärast teadusuuringute hindamist käsitleva komisjoni teatise vastuvõtmist 1996. aastal jätkas komisjon raamprogrammi hindamise lähenemisviisi täiustamist ja hindamistoimingutesse viidi sisse olulisi muudatusi (vt kontrollikoja teksti joonis 2).
  Käimasolevaks programmiperioodiks ettenähtud hindamisstrateegia on komisjon kehtestanud üksikasjalikumalt seitsmenda raamprogrammi eelhindamise käigus (SEK(2005) 430). Nimetatud strateegia hõlmab hindamissüsteemi ülesehitust, rakendamist ja kavandatud raamprogrammi tasandi hindamiste üksikasjalikku ajakava.
  Kõnealuse strateegia muutmine konkreetseteks kavadeks nõuab veel tööd ja komisjon kasutab selleks spetsiaalseid koordineerimisstruktuure. |
| --- | --- |

41.

Komisjoni hindamise ja järelevalve lähenemisviisi peamised strateegilised elemendid määratleti järjestikustes raamprogrammi käsitlevates põhiõigusaktides alates 1990ndate keskpaigast (vt II. lisa).

Pärast teadusuuringute hindamist käsitleva komisjoni teatise vastuvõtmist 1996. aastal jätkas komisjon raamprogrammi hindamise lähenemisviisi täiustamist ja hindamistoimingutesse viidi sisse olulisi muudatusi (vt kontrollikoja teksti joonis 2).

Käimasolevaks programmiperioodiks ettenähtud hindamisstrateegia on komisjon kehtestanud üksikasjalikumalt seitsmenda raamprogrammi eelhindamise käigus (SEK(2005) 430). Nimetatud strateegia hõlmab hindamissüsteemi ülesehitust, rakendamist ja kavandatud raamprogrammi tasandi hindamiste üksikasjalikku ajakava.

Kõnealuse strateegia muutmine konkreetseteks kavadeks nõuab veel tööd ja komisjon kasutab selleks spetsiaalseid koordineerimisstruktuure.

| 43. | Võttes kontrollikoja märkuse teadmiseks, märgib komisjon, et olukord USAs ja Kanadas on märgatavalt nüansirikkam, kui ühes hindamisstrateegias oleks võimalik kirjeldada. |
| --- | --- |

43.

Võttes kontrollikoja märkuse teadmiseks, märgib komisjon, et olukord USAs ja Kanadas on märgatavalt nüansirikkam, kui ühes hindamisstrateegias oleks võimalik kirjeldada.

| 44. | Erinevate hindamis- ja lähenemisviiside kasutamine raamprogrammi raames peegeldab komisjoni detsentraliseeritud süsteemi, mis seob hindamise otsustustasandiga. |
| --- | --- |

44.

Erinevate hindamis- ja lähenemisviiside kasutamine raamprogrammi raames peegeldab komisjoni detsentraliseeritud süsteemi, mis seob hindamise otsustustasandiga.

| 46. | Arvestades komisjoni detsentraliseeritud ülesehitust, tuleb küsimusele hindamistoimingu kohase tasandi kohta vastata vastutavatel tehingutega seotud talitustel (vt ka vastused punktidele 41 ja 49).






  — | (teine taane) 2004. aastal läbi viidud viie aasta hindamise käigus (1999–2003), mida koordineeris teadusuuringute peadirektoraat, hinnati raamprogrammi üldisel tasandil. Otsus, kas teostada eraldi toiminguid programmi tasandil, tehti vastavalt asjaomaste talituste vajadustele, meetmete kontekstile ja mahtudele. |
| --- | --- | --- |

46.

Arvestades komisjoni detsentraliseeritud ülesehitust, tuleb küsimusele hindamistoimingu kohase tasandi kohta vastata vastutavatel tehingutega seotud talitustel (vt ka vastused punktidele 41 ja 49).

—

(teine taane) 2004. aastal läbi viidud viie aasta hindamise käigus (1999–2003), mida koordineeris teadusuuringute peadirektoraat, hinnati raamprogrammi üldisel tasandil. Otsus, kas teostada eraldi toiminguid programmi tasandil, tehti vastavalt asjaomaste talituste vajadustele, meetmete kontekstile ja mahtudele.

| 47. | 2004. aastal läbi viidud viie aasta hindamine (1999–2003) andis kooskõlas finantsmäärusega koordineeritud, ülevaatliku, õigeaegse hinnangu raamprogrammi üldisel tasandil. Selle viisid läbi hinnatud väliseksperdid ning tulemusi levitati laialdaselt. |
| --- | --- |

47.

2004. aastal läbi viidud viie aasta hindamine (1999–2003) andis kooskõlas finantsmäärusega koordineeritud, ülevaatliku, õigeaegse hinnangu raamprogrammi üldisel tasandil. Selle viisid läbi hinnatud väliseksperdid ning tulemusi levitati laialdaselt.

| 48. | Vaata vastuseid punktidele 41 ja 46. |
| --- | --- |

48.

Vaata vastuseid punktidele 41 ja 46.

| 49. | Käesoleva programmiperioodi hindamisstrateegia on komisjon esitanud üksikasjalikumalt seitsmenda raamprogrammi eelhindamise käigus (SEK(2005) 430). See hõlmab hindamissüsteemi ülesehitust, rakendamist ja kavandatud raamprogrammi tasandi hindamiste üksikasjalikku ajakava.
  Komisjon mõistab, et selle strateegia muutmine konkreetseteks kavadeks nõuab veel tööd, ja kasutab selleks spetsiaalseid koordineerimisstruktuure.
  Komisjon on siiski seisukohal, et üksikasjaliku hindamise miinimumtaset ei ole alati võimalik ette näha, sest juhtkonnale peab jääma piisavalt paindlikkust asjaomaste hindamisvajaduste määramiseks. |
| --- | --- |

49.

Käesoleva programmiperioodi hindamisstrateegia on komisjon esitanud üksikasjalikumalt seitsmenda raamprogrammi eelhindamise käigus (SEK(2005) 430). See hõlmab hindamissüsteemi ülesehitust, rakendamist ja kavandatud raamprogrammi tasandi hindamiste üksikasjalikku ajakava.

Komisjon mõistab, et selle strateegia muutmine konkreetseteks kavadeks nõuab veel tööd, ja kasutab selleks spetsiaalseid koordineerimisstruktuure.

Komisjon on siiski seisukohal, et üksikasjaliku hindamise miinimumtaset ei ole alati võimalik ette näha, sest juhtkonnale peab jääma piisavalt paindlikkust asjaomaste hindamisvajaduste määramiseks.

| 51. | Raamprogramme rakendavad „teadusuuuringute peadirektoraadid” koos, toimides sõltumatult ja tehes vajadusel koostööd. |
| --- | --- |

51.

Raamprogramme rakendavad „teadusuuuringute peadirektoraadid” koos, toimides sõltumatult ja tehes vajadusel koostööd.

| 52. | Koostöötalitusel EuropeAid on projektidega seotud ja juhtimistasandi kohustused, mida ta teostab koostöös komisjoni delegatsioonide ja projektipartneritega kolmandates riikides. Komisjoni see osa ei saa olla hea näide, kuna see ei ole võrreldav teadusuuringute valdkonna detsentraliseeritud kohustuste ja rollide süsteemiga. |
| --- | --- |

52.

Koostöötalitusel EuropeAid on projektidega seotud ja juhtimistasandi kohustused, mida ta teostab koostöös komisjoni delegatsioonide ja projektipartneritega kolmandates riikides. Komisjoni see osa ei saa olla hea näide, kuna see ei ole võrreldav teadusuuringute valdkonna detsentraliseeritud kohustuste ja rollide süsteemiga.

| 53. | Komisjonisisesest TTA hindamisvõrgustikust saab mitteametlikud abivahendid hindamisstrateegia koostamiseks ja raamprogrammi tasandi hindamistoimingute koordineerimiseks. See paindlik mehhanism on osutunud väga kasulikuks. |
| --- | --- |

53.

Komisjonisisesest TTA hindamisvõrgustikust saab mitteametlikud abivahendid hindamisstrateegia koostamiseks ja raamprogrammi tasandi hindamistoimingute koordineerimiseks. See paindlik mehhanism on osutunud väga kasulikuks.

| 55. | 16. oktoobril 2007 vastu võetud uuendatud komisjoni sisekontrollinormid (SEK(2007) 1341) sisaldavad 21 hindamisstandardit ja nende standardite täitmine lisatakse peadirektoraatide iga-aastastesse tegevusaruannetesse.
  Komisjoni kesksed talitused, eriti eelarve peadirektoraat, osalevad aktiivselt hindamisprotsessiga seotud erinevates toimingutes.
  Talituste hindamistoiminguid on võimalik kontrollida siseauditi üksusel ja siseauditi talitusel.
  Tulevikus hinnatakse kvaliteedi miinimumnõudeid hiljuti koostatud komisjoni „kvaliteedi hindamise raamistiku” alusel (3). Alates 2007. aastast on tulevase mõju hindamise kvaliteedikontrolli läbiviimisel osutanud abi komisjoni mõju hindamise komisjon. |
| --- | --- |

55.

16. oktoobril 2007 vastu võetud uuendatud komisjoni sisekontrollinormid (SEK(2007) 1341) sisaldavad 21 hindamisstandardit ja nende standardite täitmine lisatakse peadirektoraatide iga-aastastesse tegevusaruannetesse.

Komisjoni kesksed talitused, eriti eelarve peadirektoraat, osalevad aktiivselt hindamisprotsessiga seotud erinevates toimingutes.

Talituste hindamistoiminguid on võimalik kontrollida siseauditi üksusel ja siseauditi talitusel.

Tulevikus hinnatakse kvaliteedi miinimumnõudeid hiljuti koostatud komisjoni „kvaliteedi hindamise raamistiku” alusel (3). Alates 2007. aastast on tulevase mõju hindamise kvaliteedikontrolli läbiviimisel osutanud abi komisjoni mõju hindamise komisjon.

| 56. | III lisas esitatud võrdlus hõlmab kontrollikoja auditeeritud ajavahemikku. Seepärast ei kajastu seal olulised edasiminekud seitsmenda raamprogrammi raames, eelkõige uus hindamisstrateegia, üksikasjalikum sekkumisloogika ja tööprogrammide eeldatavate tulemuste selge väljendamine.
  Kontrollikoda tõstab esile teatud liikmesriigid, kus vastutus hindamise eest ja rahastamine on eraldatud. Sarnaselt esineb teistsuguseid näiteid (Ühendkuningriik), kus hindamine on osa programmijuhtimisest (nagu komisjoniski). Sõltumatuse küsimuses nähtub kontrollikoja auditist, et välised sidusrühmad on rahul komisjoni tulemustega selles punktis (vt kontrollikoja teksti punkt 58 ja joonis 4). |
| --- | --- |

56.

III lisas esitatud võrdlus hõlmab kontrollikoja auditeeritud ajavahemikku. Seepärast ei kajastu seal olulised edasiminekud seitsmenda raamprogrammi raames, eelkõige uus hindamisstrateegia, üksikasjalikum sekkumisloogika ja tööprogrammide eeldatavate tulemuste selge väljendamine.

Kontrollikoda tõstab esile teatud liikmesriigid, kus vastutus hindamise eest ja rahastamine on eraldatud. Sarnaselt esineb teistsuguseid näiteid (Ühendkuningriik), kus hindamine on osa programmijuhtimisest (nagu komisjoniski). Sõltumatuse küsimuses nähtub kontrollikoja auditist, et välised sidusrühmad on rahul komisjoni tulemustega selles punktis (vt kontrollikoja teksti punkt 58 ja joonis 4).

| 59. | — | (esimene taane) Kõrgetasemeliste ekspertide osalemise tagamine pika aja jooksul kooskäivates eksperdirühmades on keeruline. |
| --- | --- | --- |

59.

—

(esimene taane) Kõrgetasemeliste ekspertide osalemise tagamine pika aja jooksul kooskäivates eksperdirühmades on keeruline.

| — | (teine taane) Raamprogrammi taseme eksperdirühmade pädevus määratakse komisjoni otsusega pärast laiaulatuslikku mitteametlikku konsulteerimist sidusrühmadega, sealhulgas küsitakse ametlikku arvamust seitsmenda raamprogrammi programmi komiteedelt, mis koosnevad liikmesriikide ja assotsieerunud riikide esindajatest. Sama kehtib ka eelseisva kuuenda raamprogrammi järelhindamise kohta 2008. aastal. |
| --- | --- |

—

(teine taane) Raamprogrammi taseme eksperdirühmade pädevus määratakse komisjoni otsusega pärast laiaulatuslikku mitteametlikku konsulteerimist sidusrühmadega, sealhulgas küsitakse ametlikku arvamust seitsmenda raamprogrammi programmi komiteedelt, mis koosnevad liikmesriikide ja assotsieerunud riikide esindajatest. Sama kehtib ka eelseisva kuuenda raamprogrammi järelhindamise kohta 2008. aastal.

| 62. | Komisjon soovitab, et keskmiselt tuleks eraldada hindamisele 0,5 % programmi eelarvest. Tegelikult eraldatud vahendid sõltuvad paljuski programmi olemusest. |
| --- | --- |

62.

Komisjon soovitab, et keskmiselt tuleks eraldada hindamisele 0,5 % programmi eelarvest. Tegelikult eraldatud vahendid sõltuvad paljuski programmi olemusest.

| 66. | Komisjon ei pea vajalikuks ühise hindamisüksuse loomist, kuid nõustub kaaluma muid koordineerimist parandavaid võimalusi.
  Hindamise ja juhtimistasandi otsustamise vahelist sidet on parim saavutada siis, kui igal peadirektoraadil on hindamisfunktsioon ja kui kesksete talituste toel antakse olemasolevale komisjonisisesele TTA hindamisvõrgustikule uus tõuge. See on kooskõlas ka õigusloome- ja eelarveprotsessiga vastavalt finantsmäärusele, 2007. aasta komisjoni teatisega hindamise kohta ja tegevuspõhise eelarvestamise korraga. |
| --- | --- |

66.

Komisjon ei pea vajalikuks ühise hindamisüksuse loomist, kuid nõustub kaaluma muid koordineerimist parandavaid võimalusi.

Hindamise ja juhtimistasandi otsustamise vahelist sidet on parim saavutada siis, kui igal peadirektoraadil on hindamisfunktsioon ja kui kesksete talituste toel antakse olemasolevale komisjonisisesele TTA hindamisvõrgustikule uus tõuge. See on kooskõlas ka õigusloome- ja eelarveprotsessiga vastavalt finantsmäärusele, 2007. aasta komisjoni teatisega hindamise kohta ja tegevuspõhise eelarvestamise korraga.

| 67. | Komisjon nõustub, et hindamisel võivad eksperdirühmad mängida olulist osa. Nõustudes ka, et konkreetse hindamise toetamiseks tuleb eksperdirühmad kutsuda kokku nii vara kui võimalik, ei pea komisjon vajalikuks alaliste eksperdirühmade loomist kogu programmiperioodi ajaks.
  Konkreetsel eesmärgil kokku kutsutud spetsiaalne eksperdirühm toob tõenäoliselt kasu selguse ja fokuseerituse mõttes. |
| --- | --- |

67.

Komisjon nõustub, et hindamisel võivad eksperdirühmad mängida olulist osa. Nõustudes ka, et konkreetse hindamise toetamiseks tuleb eksperdirühmad kutsuda kokku nii vara kui võimalik, ei pea komisjon vajalikuks alaliste eksperdirühmade loomist kogu programmiperioodi ajaks.

Konkreetsel eesmärgil kokku kutsutud spetsiaalne eksperdirühm toob tõenäoliselt kasu selguse ja fokuseerituse mõttes.

| 68. | Komisjon hindab hoolikalt raamprogrammide hindamiseks vajalike vahendite vajadust eelolevatel aastatel. |
| --- | --- |

68.

Komisjon hindab hoolikalt raamprogrammide hindamiseks vajalike vahendite vajadust eelolevatel aastatel.

| 70–71. | Hindamise metoodilist juhendamist, sealhulgas olemasolevaid abivahendeid ja mõistete sõnastikke, leiab eelarve peadirektoraadi juhisest, (4) mille ajakohastamisega teenistused, ka „teadusuuringute peadirektoraadid”, praegu tegelevad.
  Lisaks koostas ettevõtluse peadirektoraat 2002. aastal hindamise juhendi, mis hõlmas kõiki toiminguid, mille eest vastutab nimetatud peadirektoraat, sealhulgas raamprogrammi.
  Taaskäivitatud Euroopa TTA hindamisvõrgustiku (koosneb liikmesriikide ja assotsieerunud riikide ekspertidest) ja komisjonisisese TTA hindamisvõrgustiku jaoks kaalutakse täiendavaid toetavaid algatusi. Komisjon jätkab ka sõltumatu hindamismetoodika uuringute ja töötubade toetamist. |
| --- | --- |

70–71.

Hindamise metoodilist juhendamist, sealhulgas olemasolevaid abivahendeid ja mõistete sõnastikke, leiab eelarve peadirektoraadi juhisest, (4) mille ajakohastamisega teenistused, ka „teadusuuringute peadirektoraadid”, praegu tegelevad.

Lisaks koostas ettevõtluse peadirektoraat 2002. aastal hindamise juhendi, mis hõlmas kõiki toiminguid, mille eest vastutab nimetatud peadirektoraat, sealhulgas raamprogrammi.

Taaskäivitatud Euroopa TTA hindamisvõrgustiku (koosneb liikmesriikide ja assotsieerunud riikide ekspertidest) ja komisjonisisese TTA hindamisvõrgustiku jaoks kaalutakse täiendavaid toetavaid algatusi. Komisjon jätkab ka sõltumatu hindamismetoodika uuringute ja töötubade toetamist.

| 72. | Komisjon nõustub, et rutiinne projektiandmete kogumise protsess on olnud tõhus vaid osaliselt. Projekti aruandluskord vaadati läbi kuuenda raamprogrammi raames ja seda täiustatakse veelgi seitsmenda raamprogrammi raames (nt lihtsustatakse perioodilist aruandlust; piiratud on vaheküsimustikke; lõpparuanded muudetakse kasulikumaks, eriti andmete kogumise osas projektide rakendamise ja tulemuste kohta). |
| --- | --- |

72.

Komisjon nõustub, et rutiinne projektiandmete kogumise protsess on olnud tõhus vaid osaliselt. Projekti aruandluskord vaadati läbi kuuenda raamprogrammi raames ja seda täiustatakse veelgi seitsmenda raamprogrammi raames (nt lihtsustatakse perioodilist aruandlust; piiratud on vaheküsimustikke; lõpparuanded muudetakse kasulikumaks, eriti andmete kogumise osas projektide rakendamise ja tulemuste kohta).

| 74. | Teadusuuringute peadirektoraadid arendavad praegu informaatika peadirektoraadi kaasabil uut seitsmenda raamprogrammi IT-süsteemi. See täiustatud IT-tugi peaks andma hindamisele ja järelevalvele konkreetsema aluse. |
| --- | --- |

74.

Teadusuuringute peadirektoraadid arendavad praegu informaatika peadirektoraadi kaasabil uut seitsmenda raamprogrammi IT-süsteemi. See täiustatud IT-tugi peaks andma hindamisele ja järelevalvele konkreetsema aluse.

| 76–78. | Auditeeritud ajavahemiku jooksul on hindamisandmete saamine olnud vaid osaliselt tõhus. Komisjon parandab olukorda seitsmenda raamprogrammi raames (vt vastus punktile 72). |
| --- | --- |

76–78.

Auditeeritud ajavahemiku jooksul on hindamisandmete saamine olnud vaid osaliselt tõhus. Komisjon parandab olukorda seitsmenda raamprogrammi raames (vt vastus punktile 72).

| 79. | Komisjon püüab soodustada kontrollikoja soovitatud kvantitatiivseid uuringuid. |
| --- | --- |

79.

Komisjon püüab soodustada kontrollikoja soovitatud kvantitatiivseid uuringuid.

| 81. | Komisjon on seisukohal, et viimasel ajal on teostatud palju metoodiliselt huvitavamaid hinnanguid (vt punkt 84) ning et vahet tuleb teha suuremahuliste hindamiste ja rutiinsemate toimingute vahel. |
| --- | --- |

81.

Komisjon on seisukohal, et viimasel ajal on teostatud palju metoodiliselt huvitavamaid hinnanguid (vt punkt 84) ning et vahet tuleb teha suuremahuliste hindamiste ja rutiinsemate toimingute vahel.

| 82. | Komisjon nõustub, et üldiselt on hindamistöös pööratud suuremat tähelepanu lühemaajalistele saavutustele ning et tulemuste ja mõjude analüüsi osas on veel arenguruumi. Selline lähenemine nõuab siiski pikaajalisemat perspektiivi ja seepärast on komisjoni hindamised tavaliselt võrreldavad mujal tehtud sarnase tööga. |
| --- | --- |

82.

Komisjon nõustub, et üldiselt on hindamistöös pööratud suuremat tähelepanu lühemaajalistele saavutustele ning et tulemuste ja mõjude analüüsi osas on veel arenguruumi. Selline lähenemine nõuab siiski pikaajalisemat perspektiivi ja seepärast on komisjoni hindamised tavaliselt võrreldavad mujal tehtud sarnase tööga.

| 83. | Komisjoni eesmärk on hindamise ekspertide sõltumatuse austamine, eelkõige asjakohase metoodika valiku puhul.
  2008. aastal eesseisva kuuenda raamprogrammi järelhindamise käigus kavatsetakse uurida käitumismudeleid, võrkude analüüsi ja saientomeetrial põhinevaid lähenemisviise. |
| --- | --- |

83.

Komisjoni eesmärk on hindamise ekspertide sõltumatuse austamine, eelkõige asjakohase metoodika valiku puhul.

2008. aastal eesseisva kuuenda raamprogrammi järelhindamise käigus kavatsetakse uurida käitumismudeleid, võrkude analüüsi ja saientomeetrial põhinevaid lähenemisviise.

| 84. | Sõltumatu ekspert teostas 2004. aastal läbi viidud viie aasta hindamise (1999–2003) raames eelnevate hindamisuuringute metaanalüüsi (5).






  — | (teine taane) Lisaks kontrollikoja nimetatud uuringutele on 2007. aastal alustatud täiendavaid laiaulatuslikke uuringuid (6). |
| --- | --- | --- |

84.

Sõltumatu ekspert teostas 2004. aastal läbi viidud viie aasta hindamise (1999–2003) raames eelnevate hindamisuuringute metaanalüüsi (5).

—

(teine taane) Lisaks kontrollikoja nimetatud uuringutele on 2007. aastal alustatud täiendavaid laiaulatuslikke uuringuid (6).

| 85. | Komisjon nõustub, et raamprogrammide muutuva olemuse käsitlemiseks tuleb töötada välja uusi metoodilisi lähenemisviise. Sellist metoodikaalast arengut toetab komisjon praegu ja ka tulevikus. |
| --- | --- |

85.

Komisjon nõustub, et raamprogrammide muutuva olemuse käsitlemiseks tuleb töötada välja uusi metoodilisi lähenemisviise. Sellist metoodikaalast arengut toetab komisjon praegu ja ka tulevikus.

| 86. | 2004. aastal läbi viidud viie aasta hindamise (1999–2003) pädevusraamistikus loetletud küsimused olid üksnes soovituslikud, eksperdirühm võis ise valida valdkonnad, millele keskenduda, ja määrata oma töötamisviisid. Eksperdirühma liikmed on pühendunud parima tulemuse saavutamisele (7). |
| --- | --- |

86.

2004. aastal läbi viidud viie aasta hindamise (1999–2003) pädevusraamistikus loetletud küsimused olid üksnes soovituslikud, eksperdirühm võis ise valida valdkonnad, millele keskenduda, ja määrata oma töötamisviisid. Eksperdirühma liikmed on pühendunud parima tulemuse saavutamisele (7).

| 87. | Käsitledes ebakindlaid olusid, tähendab uurimisprogramm oma olemuselt, et kvantifitseeritavate eesmärkide täpsustamise ulatus on piiratud. |
| --- | --- |

87.

Käsitledes ebakindlaid olusid, tähendab uurimisprogramm oma olemuselt, et kvantifitseeritavate eesmärkide täpsustamise ulatus on piiratud.

| 90. | 2007. aastal taaskäivitas komisjon liikmesriikide ametnikest ja hindamisekspertidest koosneva Euroopa TTA hindamisvõrgustiku, mida ta kavatseb kasutada ELi teadusuuringute hindamistoimingute, eriti liikmesriikide mõjuuuringute, sidusamaks muutmiseks. |
| --- | --- |

90.

2007. aastal taaskäivitas komisjon liikmesriikide ametnikest ja hindamisekspertidest koosneva Euroopa TTA hindamisvõrgustiku, mida ta kavatseb kasutada ELi teadusuuringute hindamistoimingute, eriti liikmesriikide mõjuuuringute, sidusamaks muutmiseks.

| 91. | Komisjon kaalub uue raamprogrammi hindamise käsiraamatu koostamise võimalust, võttes arvesse viimasel ajal esinenud näiteid (8). |
| --- | --- |

91.

Komisjon kaalub uue raamprogrammi hindamise käsiraamatu koostamise võimalust, võttes arvesse viimasel ajal esinenud näiteid (8).

| 92. | Projekti aruandluskord vaadati läbi kuuenda raamprogrammi raames ja seda täiustatakse veelgi seitsmenda raamprogrammi raames (vt vastus punktile 72). |
| --- | --- |

92.

Projekti aruandluskord vaadati läbi kuuenda raamprogrammi raames ja seda täiustatakse veelgi seitsmenda raamprogrammi raames (vt vastus punktile 72).

| 93. | Raamprogrammi tasandil töötab komisjon praegu välja seitsmenda raamprogrammi järelevalvesüsteemi, mille eesmärk on tulemusnäitajate sidusam ja süstemaatilisem kasutamine (vt vastus punktile 30).
  Teadusuuringute peadirektoraadid arendavad praegu informaatika peadirektoraadi kaasabil uut seitsmenda raamprogrammi IT-süsteemi. See täiustatud IT-tugi peaks andma hindamisele ja järelevalvele konkreetsema aluse. |
| --- | --- |

93.

Raamprogrammi tasandil töötab komisjon praegu välja seitsmenda raamprogrammi järelevalvesüsteemi, mille eesmärk on tulemusnäitajate sidusam ja süstemaatilisem kasutamine (vt vastus punktile 30).

Teadusuuringute peadirektoraadid arendavad praegu informaatika peadirektoraadi kaasabil uut seitsmenda raamprogrammi IT-süsteemi. See täiustatud IT-tugi peaks andma hindamisele ja järelevalvele konkreetsema aluse.

| 94. | Komisjon jagab kontrollikoja muret aruandluskohustuse osas ja on seda seitsmenda raamprogrammi aruandlusnõuete määramisel konkreetselt arvesse võtnud (vt vastus punktile 72). |
| --- | --- |

94.

Komisjon jagab kontrollikoja muret aruandluskohustuse osas ja on seda seitsmenda raamprogrammi aruandlusnõuete määramisel konkreetselt arvesse võtnud (vt vastus punktile 72).

| 95. | Komisjon on juba teinud jõupingutusi olemasolevate ja uute andmete allikate paremaks kasutamiseks oma hindamistes ja järelevalves (vt vastus punktile 72). |
| --- | --- |

95.

Komisjon on juba teinud jõupingutusi olemasolevate ja uute andmete allikate paremaks kasutamiseks oma hindamistes ja järelevalves (vt vastus punktile 72).

| 96. | Seitsmendas raamprogrammis on 8. teema all eraldi tegevussuunis (sotsiaal- ja humanitaarteadused) uuenduslike lähenemisviiside jaoks hindamises ja järelevalves. |
| --- | --- |

96.

Seitsmendas raamprogrammis on 8. teema all eraldi tegevussuunis (sotsiaal- ja humanitaarteadused) uuenduslike lähenemisviiside jaoks hindamises ja järelevalves.

| 97. | 2007. aastal taaskäivitas komisjon Euroopa TTA hindamisvõrgustiku (vt vastused punktidele 70–71 ja 90), mida ta kavatseb kasutada ELi teadusuuringute hindamise toimingute, eriti liikmesriikide mõjuuuringute sidusamaks muutmiseks.
  Samuti kavatseb komisjon töötubade ja muude sündmuste kaudu säilitada oma positsiooni rahvusvahelise võrkude loomise toetamise ning hindamisalaste kogemuste jagamise eesliinil. |
| --- | --- |

97.

2007. aastal taaskäivitas komisjon Euroopa TTA hindamisvõrgustiku (vt vastused punktidele 70–71 ja 90), mida ta kavatseb kasutada ELi teadusuuringute hindamise toimingute, eriti liikmesriikide mõjuuuringute sidusamaks muutmiseks.

Samuti kavatseb komisjon töötubade ja muude sündmuste kaudu säilitada oma positsiooni rahvusvahelise võrkude loomise toetamise ning hindamisalaste kogemuste jagamise eesliinil.

| 99. | Hindamiste aeg on määratud Euroopa Parlamendi ja nõukogu vastu võetud põhiõigusaktidega. Komisjon tunnistab, et vähem on teada pikaajalisemate mõjude kohta, ning nõustub, et selles valdkonnas tööd jätkub. |
| --- | --- |

99.

Hindamiste aeg on määratud Euroopa Parlamendi ja nõukogu vastu võetud põhiõigusaktidega. Komisjon tunnistab, et vähem on teada pikaajalisemate mõjude kohta, ning nõustub, et selles valdkonnas tööd jätkub.

| 100. | Komisjon nõustub, et viie aasta hindamise käigus kalduti keskenduma pigem lühiajalistele kui pikemaajalistele küsimustele. Seda seletavateks teguriteks on muu hulgas väliste sidusrühmade (nt Euroopa Parlamendi ja nõukogu) huvi saada kiiret tagasisidet raamprogrammi tulemuste kohta, teadusuuringute mõjude mõistmine pikemas perspektiivis ning hindamistoiminguid teostavate eksperdirühmade valitud fookus. Komisjon tunnistab siiski, et pikemaajaliste mõjude hindamisele tuleb pöörata rohkem tähelepanu. |
| --- | --- |

100.

Komisjon nõustub, et viie aasta hindamise käigus kalduti keskenduma pigem lühiajalistele kui pikemaajalistele küsimustele. Seda seletavateks teguriteks on muu hulgas väliste sidusrühmade (nt Euroopa Parlamendi ja nõukogu) huvi saada kiiret tagasisidet raamprogrammi tulemuste kohta, teadusuuringute mõjude mõistmine pikemas perspektiivis ning hindamistoiminguid teostavate eksperdirühmade valitud fookus. Komisjon tunnistab siiski, et pikemaajaliste mõjude hindamisele tuleb pöörata rohkem tähelepanu.

| 108. | Komisjon kavandab parajasti seitsmenda raamprogrammi peamisi hindamistoiminguid ning kaalub hoolega kontrollikoja ettepanekut. Komisjon tunnistab, et vähem on teada pikaajalisemate mõjude kohta, ning nõustub, et selles valdkonnas tööd jätkub. |
| --- | --- |

108.

Komisjon kavandab parajasti seitsmenda raamprogrammi peamisi hindamistoiminguid ning kaalub hoolega kontrollikoja ettepanekut. Komisjon tunnistab, et vähem on teada pikaajalisemate mõjude kohta, ning nõustub, et selles valdkonnas tööd jätkub.

| 109. | Nagu kontrollikoda on punktis 107 märkinud, esitab komisjon oma iga-aastases hindamiste ülevaates kokkuvõtte kõigist teadusuuringute hindamiste tulemustest ja toimingutest. Komisjon on võtnud kohustuse, et kogu hindamistöö peab olema läbipaistev, ning kavatseb järgida kontrollikoja soovitust vaadata läbi tulemuste edastamise ja levitamise viisid. |
| --- | --- |

109.

Nagu kontrollikoda on punktis 107 märkinud, esitab komisjon oma iga-aastases hindamiste ülevaates kokkuvõtte kõigist teadusuuringute hindamiste tulemustest ja toimingutest. Komisjon on võtnud kohustuse, et kogu hindamistöö peab olema läbipaistev, ning kavatseb järgida kontrollikoja soovitust vaadata läbi tulemuste edastamise ja levitamise viisid.

| 110–111. | Komisjon nõustub kontrollikojaga, et teadusuuringute hindamine, eriti sellise laiahaardelise programmi puhul nagu raamprogramm, on väga keeruline.
  Komisjon märgib, et viimase 25 aasta jooksul on süsteemi oluliselt täiustatud ning et poliitikakujundajate, uurimistöö korraldajate ja muude sidusrühmade jaoks on süsteem olnud üldiselt tõhus. |
| --- | --- |

110–111.

Komisjon nõustub kontrollikojaga, et teadusuuringute hindamine, eriti sellise laiahaardelise programmi puhul nagu raamprogramm, on väga keeruline.

Komisjon märgib, et viimase 25 aasta jooksul on süsteemi oluliselt täiustatud ning et poliitikakujundajate, uurimistöö korraldajate ja muude sidusrühmade jaoks on süsteem olnud üldiselt tõhus.

| 112. | Komisjon tervitab kontrollikoja tähelepanekut, et raamprogramme rakendavad peadirektoraadid on täitnud komisjoni hindamisalased nõuded, sealhulgas 2000. ja 2002. aasta hindamist käsitlevates teatistes esitatud nõuded.
  Raamprogrammi hindamisse on sisse viidud olulisi muudatusi, sealhulgas on seitsmes raamprogramm suures osas ümberstruktureeritud vastavalt mõju hindamises (SEK (2005) 430) esitatud strateegiale. |
| --- | --- |

112.

Komisjon tervitab kontrollikoja tähelepanekut, et raamprogramme rakendavad peadirektoraadid on täitnud komisjoni hindamisalased nõuded, sealhulgas 2000. ja 2002. aasta hindamist käsitlevates teatistes esitatud nõuded.

Raamprogrammi hindamisse on sisse viidud olulisi muudatusi, sealhulgas on seitsmes raamprogramm suures osas ümberstruktureeritud vastavalt mõju hindamises (SEK (2005) 430) esitatud strateegiale.

| 113. | Hindamiste asjakohasuse ja kasulikkuse osas võib komisjon viidata üldiselt positiivsele tagasisidele, eriti viimastele võtmetähtsusega toimingutele, näiteks 2004. aastal läbi viidud viie aasta hindamisele (1999–2003). Viie aasta hindamise tulemusi levitati laialdaselt, muu hulgas tehti esitlused sellistele olulisematele institutsioonidele nagu Euroopa Parlament, nõukogu, tehnika- ja teadusuuringute komitee (CREST) ja raamprogrammi programmikomitee. Võttes arvesse, et see toiming tuli teha enne, kui komisjon sai esitada uue raamprogrammi ettepaneku (antud juhul seitsmenda raamprogrammi), viitas seitsmenda raamprogrammi lõplik vastuvõtmine selle üldisele vastuvõetavusele.
  See ei tähenda, et paremini poleks võimalik, ning komisjon mõistab täielikult hoolikalt kaalutud muudatuste vajalikkust juba hästi toimivates lähenemisviisides. |
| --- | --- |

113.

Hindamiste asjakohasuse ja kasulikkuse osas võib komisjon viidata üldiselt positiivsele tagasisidele, eriti viimastele võtmetähtsusega toimingutele, näiteks 2004. aastal läbi viidud viie aasta hindamisele (1999–2003). Viie aasta hindamise tulemusi levitati laialdaselt, muu hulgas tehti esitlused sellistele olulisematele institutsioonidele nagu Euroopa Parlament, nõukogu, tehnika- ja teadusuuringute komitee (CREST) ja raamprogrammi programmikomitee. Võttes arvesse, et see toiming tuli teha enne, kui komisjon sai esitada uue raamprogrammi ettepaneku (antud juhul seitsmenda raamprogrammi), viitas seitsmenda raamprogrammi lõplik vastuvõtmine selle üldisele vastuvõetavusele.

See ei tähenda, et paremini poleks võimalik, ning komisjon mõistab täielikult hoolikalt kaalutud muudatuste vajalikkust juba hästi toimivates lähenemisviisides.

| 114. | Komisjon tervitab seda, et kontrollikoda tunnistab hindamise ja järelevalve olulisust, ning arendades edasi juba tehtud olulisi parandusi, jätkab olemasoleva praktika täiustamist uue poliitilise ja praktilise reaalsuse valguses. |
| --- | --- |

114.

Komisjon tervitab seda, et kontrollikoda tunnistab hindamise ja järelevalve olulisust, ning arendades edasi juba tehtud olulisi parandusi, jätkab olemasoleva praktika täiustamist uue poliitilise ja praktilise reaalsuse valguses.

| 115. | Komisjon tegeleb juba praegu programmi sekkumisloogika selgemaks muutmisega, arendades edasi seitsmenda raamprogrammiga seotud õigusaktide ja mõju hindamiste edusamme, ning kaalub kontrollikoja soovitust tulevaste seadusandlike ettepanekute kohta. |
| --- | --- |

115.

Komisjon tegeleb juba praegu programmi sekkumisloogika selgemaks muutmisega, arendades edasi seitsmenda raamprogrammiga seotud õigusaktide ja mõju hindamiste edusamme, ning kaalub kontrollikoja soovitust tulevaste seadusandlike ettepanekute kohta.

| 116. | Komisjon nõustub, et juba tehtud olulisi parandusi raamprogrammi hindamises edasi arendades saab olukorda veelgi parandada, sealhulgas asjaomaste talituste vahelise parema koordineerimise teel. Komisjon jätkab jõupingutusi hindamismetoodika edasiarendamise toetamiseks. |
| --- | --- |

116.

Komisjon nõustub, et juba tehtud olulisi parandusi raamprogrammi hindamises edasi arendades saab olukorda veelgi parandada, sealhulgas asjaomaste talituste vahelise parema koordineerimise teel. Komisjon jätkab jõupingutusi hindamismetoodika edasiarendamise toetamiseks.

| 117. | Organisatsioonilise korralduse suhtes on komisjon seisukohal, et:






  — | (esimene taane) konkreetse hindamise toetamiseks tuleb eksperdirühmad kutsuda kokku võimalikult varakult. Konkreetsel eesmärgil kokku kutsutud spetsiaalsed eksperdirühmad toovad tõenäoliselt kasu eelkõige selguse ja fokuseerituse mõttes; |
| --- | --- | --- |

117.

Organisatsioonilise korralduse suhtes on komisjon seisukohal, et:

—

(esimene taane) konkreetse hindamise toetamiseks tuleb eksperdirühmad kutsuda kokku võimalikult varakult. Konkreetsel eesmärgil kokku kutsutud spetsiaalsed eksperdirühmad toovad tõenäoliselt kasu eelkõige selguse ja fokuseerituse mõttes;

| — | (teine taane) parandada tuleb raamprogramme rakendavate peadirektoraatide vahelist koordineerimist. Lisaks uuele seitsmenda raamprogrammi hindamisstrateegiale saavutatakse see pigem spetsiaalsete koordineerimisstruktuuride kasutamise abil, mis täiendavad komisjonisisest TTA hindamisvõrgustikku, mitte ühise hindamisüksuse loomisega. |
| --- | --- |

—

(teine taane) parandada tuleb raamprogramme rakendavate peadirektoraatide vahelist koordineerimist. Lisaks uuele seitsmenda raamprogrammi hindamisstrateegiale saavutatakse see pigem spetsiaalsete koordineerimisstruktuuride kasutamise abil, mis täiendavad komisjonisisest TTA hindamisvõrgustikku, mitte ühise hindamisüksuse loomisega.

---

(1)  Komisjoni teatis kevadisele Euroopa Ülemkogule — Majanduskasvu ja tööhõivet käsitleva uuendatud Lissaboni strateegia rakendamine (KOM (2006) 816).

(2)  Näiteks koostati komisjoni ettepanek seitsmenda raamprogrammi vastuvõtmise kohta üksikasjaliku eelhindamise alusel, mis hõlmas selliste valdkondade nagu majanduskasvu ja uute töökohtade loomise alase teadustegevuse potentsiaalsete mõjude ökonomeetrilist modelleerimist (vt Euroopa Komisjoni ja komisjoni talituste töödokument „Nõukogu ja Euroopa Parlamendi seitsmendat raamprogrammi käsitleva otsuse kohta tehtud ettepanekute mõju hindamine ja eelhindamine (EÜ ja Euratom)” (Impact Assessment and Ex Ante Evaluation for the proposals for the Council and European Parliament decision on the 7th Framework Programme), SEK (2005) 430). Seitsmenda raamprogrammi otsustes on sätestatud selge struktuur, mis seostab eesmärgid, aluspõhimõtted ja meetmed. Lisaks on seitsmenda raamprogrammi otsustes sätestatud eesmärgid, lähenemisviis ja tegevused.

(3)  Kvaliteedi hindamise raamistik on kättesaadav aadressil http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Euroopa Komisjon, eelarve peadirektoraat, Evaluating EU Activities — A Practical Guide for the Commission services (ELi toimingute hindamine — praktiline juhis komisjoni teenistustele), juuli 2004, kättesaadav aadressil http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, „What the Evaluation Record tells us about the Framework Programme Performance”, 2004.

(6)  Teadusuuringute peadirektoraat, „Ühenduse teadusuuringute mõjude struktureerimine — teadusuuringute ja tehnoloogiaarenduse võrkude moodustamise mõju” (Structuring Effects of Community Research — The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation), 2007; infoühiskonna ja meedia peadirektoraat „Infoühiskonna tehnoloogiate teaduse ja tehnika arengu- ja näidisprogrammi mõju tõhusus ELi innovatsioonisüsteemile” (Effectiveness of IST-RTD Impacts on the EU Innovation System), 2007.

(7)  Vt C. Mandl, „Evaluating Evaluations or The Case for Action Research” (Hindajate hindamine teadustegevuse näitel), Austrian Platform Newsletter, nr 30. juuni 2007.

(8)  Vt näiteks Euroopa Komisjon, teadusuuringute ühiskeskus „Teadusuuringute ja tehnoloogiaarenduse poliitika sotsiaalmajandusliku mõju hindamine” (Assessing the Socio-Economic Impact of RTD-Policies (EPUB)), 2002 ja Manchesteri Ülikool, „Raamprogrammi sotsiaalmajanduslike mõjude hindamine” (Assessing the Socio-economic Impacts of the Framework Programme (ASIF)), 2002, mõlemad on kättesaadavad aadressil http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Neid aruandeid on laialdaselt levitatud ja tehtud kättesaadavaks komisjoni nimel hindamisuuringuid teostavatele lepingupartneritele ja ekspertidele.

---