ET Euroopa Liidu Teataja C 26/1

ERIARUANNE nr 9/2007

„Euroopa Liidu teadusuuringute ja tehnoloogiaarenduse raamprogrammide hindamise kohta — kas komisjoni lähenemisviisi on võimalik parandada?” koos komisjoni vastustega

(vastavalt EÜ asutamislepingu artikli 248 lõike 4 teisele lõigule)

(2008/C 26/01)

SISUKORD

I–V KOMMENTEERITUD KOKKUVÕTE

1–14 SISSEJUHATUS

1–7 Euroopa Liidu osatähtsus teadusuuringute ja tehnoloogiaarendusega seonduva tegevuse toetamisel

8–14 Raamprogrammide hindamine ja järelevalve

15–18 AUDITI ULATUS JA LÄHENEMISVIIS

19–109 AUDITI TÄHELEPANEKUD

19–37 Sekkumisloogika, eesmärkide püstitamine ja tulemusnäitajad

38–49 Hindamisstrateegia

50–68 Raamprogrammide hindamise korraldamine

69–97 Hindamismetoodika ja -tehnika

98–109 Hindamisleidude levitamine ja kasutamine

110–118 ÜLDINE JÄRELDUS

I lisa: Teadusuuringute ja tehnoloogia arengu avaliku sekkumise mõju ja tulemuste hindamine

II lisa: Järelevalvet ja hindamist käsitlevad sätted raamprogrammide kohta tehtud otsustes neljandast seitsmenda raamprogrammini

III lisa: Uurimisprogrammide järelhindamiste peamised erinevused ELi, Ameerika Ühendriikide ja Kanada vahel (neljandast raamprogrammist kuuendani)

IV lisa: Seitsmenda raamprogrammi töörühma võimalik koosseis

Komisjoni vastused

KOMMENTEERITUD KOKKUVÕTE

I. Ühenduse teadusuuringute ja tehnoloogiaarenduse (TTA) raamprogrammid on suurim avaliku sektori allikas, millest Euroopa Liidu teadusuuringuid rahastatakse. Komisjon vastutab raamprogrammide haldamise ja nende tulemuste hindamise eest.

II. Audit hõlmab alates 1995. aastast rakendatavat järelevalve ja hindamise korda kolmel viimasel programmitööperioodil (neljas, viies ja kuues raamprogramm) ja annab seitsmenda raamprogrammi (2007–2013) väljavaate. Audit viidi läbi koostöös EFTA audiitorkogu ja välisekspertidega.

III. Auditis vaadeldi, kas komisjoni raamprogrammide tulemuste hindamine oli piisav. Nimetatud kontekstis uuris kontrollikoda, kas komisjon järgis hindamisega seonduvaid õigusnorme ja komisjoni hindamis- ja järelevalvesüsteem vastas sidusrühmade ootustele. Kontrollikoda keskendus eelkõige järgmistele küsimustele: i) kas raamprogrammide ja neis sisalduvate programmide puhul on olemas sekkumisloogika, mis annab hindamisele ja järelevalvele kindla aluse; ii) kas komisjon on määratlenud raamprogrammide hindamisstrateegia; iii) kas komisjoni raamprogrammide hindamissüsteemi organisatsiooniline ülesehitus tagab hindamise nõuetekohase kooskõlastatuse, asjakohase rahastatuse ja kas huvirühmade arvates on see piisavalt sõltumatu; iv) kas hindamismetoodika on rahuldav; v) kas hindamis- ja järelevalvetoimingud annavad teavet ja analüüsi, mida võiks kasutada käimasolevate programmide tõhustamiseks ja järgmiste raamprogrammide ettevalmistamiseks.

IV. Kontrollikoja leiud ja järeldused olid järgmised: i) selgesõnalise sekkumisloogika puudumine ja halvasti määratletud programmi eesmärgid ning ebatõhus tulemuslikkuse mõõtmine vähendas järelevalve ja hindamise mõjusust; ii) raamprogramme rakendavate teadusuuringute peadirektoraatide vahel kokkulepitud põhjaliku hindamisstrateegia puudumise tagajärjeks oli erinevate komisjoni talituste ebajärjekindel lähenemisviis, mida näitestab eelkõige raamprogrammide oluliselt suurte osade alahindamine; iii) raamprogrammide hindamine oli detsentraliseeritud, raamprogramme rakendavate peadirektoraatide praegused kooskõlastamismehhanismid ei olnud mõjusad ja komisjoni kesktalitustel puudus täitmise tagamiseks oma osa. Teadusuuringute peadirektoraadid on üldiselt siiski järginud komisjoni hindamise vorminõudeid. Kõrgetasemelistest välisekspertidest koosnevate eksperdirühmade kasutus, keda komisjon oli määranud põhilisi hindamisi tegema, sobib hästi ühenduse konteksti. Nimetatud ajutisi eksperdirühmi ei ole siiski kaasatud protsessi piisavalt vara, et nad võinuks mõjutada tõendusmaterjali kogumist, lisaks olid nende võimalused oluliste teemade järgimisel kogu aja jooksul piiratud. Kuna kasutati ainult üldise raamprogrammi eksperdirühma (lisaks ühele eriprogrammi eksperdirühmale), ei pööratud raamprogrammide raames piisavalt tähelepanu konkreetsetele küsimustele erinevates teadusvaldkondades; iv) metoodikaalane juhendamine oli ebapiisav; hindajatel oli raske koguda asjakohaseid andmeid ja hindamisuuringutes ei käsitletud raamprogrammide pikaajalisi tulemusi ja mõjusid, eelistati keskenduda programmi rakendamisega seonduvatele lühiajalistele probleemidele; v) eespool osutatud puuduste tõttu ja arvestades asjaolu, et hindamised tehti sageli liiga vara käsitlemaks kõige asjakohasemaid küsimusi, oli komisjoni raamprogrammide hindamissüsteemist vähe kasu poliitikakujundajatele, huvirühmadele ja isegi komisjonile endale. Lõpptulemusena on vähe teavet raamprogrammide programmieesmärkide saavutamise ja tulemuste kohta.

V. Kontrollikoda soovitab järgmist: i) tulevastes õigusaktides tuleb esitada selgesõnaline sekkumisloogika. Tuleks seletada selle aluseks olevaid kaalutlusi, selgitada teadusalaste ja sotsiaalmajanduslike eesmärkide seost ning välja töötada asjakohased tulemusnäitajad; ii) raamprogramme rakendavad peadirektoraadid peavad välja arendama põhjaliku (ja peadirektoraatide vahel kokku lepitud) hindamisstrateegia. See peab sisaldama eelkõige järjekindlat lähenemisviisi üksikasjalikuks hindamiseks vajaliku minimaalse taseme osas, et oleks võimalik arvesse võtta iga teadusvaldkonna eripärad; iii) tuleks kaaluda ühise hindamisüksuse loomist, mille ülesandeks on kooskõlastada teadusuuringute peadirektoraatide hindamistegevust raamprogrammi suhtes tervikuna ja luua välisekspertide töörühmade (ja alatöörühmade) süsteem. Nimetatud eksperdirühmad tuleb luua piisavalt vara, et osutada tõhusat abi komisjonile ja jätkata sel viisil kogu programmitööperioodi jooksul ja pärast seda; iv) tuleks nõuetekohaselt analüüsida hindamise ja järelevalve andmevajadusi ja kasutada laialdasemalt teisi olemasolevaid andmeallikaid. Komisjon peaks ratsionaliseerima ka osalistele ettekirjutatud nõudeid. Lõpuks peaks komisjon koostama raamprogrammide hindamise põhjaliku käsiraamatu ja välja töötama laiema valiku hindamismeetoditest ja -tehnikatest nimetatud valdkonnas; v) komisjon peaks määratlema, mis tüüpi ja millise ulatusega hindamist võib põhjendatult eeldada kuupäevadeks, mis on kindlaks määratud seitsmenda raamprogrammiga seotud õigusnormides, ja selgitama, kuidas saab hindamist programmide kohandamisel kasutada („õppeprogrammid”) ja mil määral need saaksid kaasa aidata poliitiliste otsuste tegemisele.

SISSEJUHATUS

Euroopa Liidu osatähtsus teadusuuringute ja tehnoloogiaarendusega seonduva tegevuse toetamisel

1. Teadusuuringud ja tehnoloogiaarendus (TTA) (1) on teadusliku ja tehnilise progressi ja uuenduste peamine liikumapanev jõud ning seega aitab see oluliselt kaasa elatustaseme parendamisele. Avalik sekkumine TTA valdkonnas on tavaliselt õigustatud nn parandusmeetmena turuprobleemide käsitlemisel ning riiklik toetus aitab vähendada ebakindlust ja hankida investeeringuid valdkondades, kus uurimistegevus on avalikkuse huvides või kui välised mõjud on olulised.

2. Euroopa Ühenduse asutamislepingu artiklis 163 sätestatakse ühenduste osatähtsus TTA toetamisel järgmiselt, et „ühenduse eesmärk on tugevdada ühenduse tööstuse teaduslikke ja tehnoloogilisi aluseid ning toetada selle muutumist konkurentsivõimelisemaks rahvusvahelisel tasandil, samal ajal edendades kõiki teadusuuringuid, mida peetakse vajalikuks…”. Artiklitega 164–173 on kindlaks määratud selles valdkonnas läbiviidav tegevus ja mitmeaastaste TTA raamprogrammide ulatus ja rakendus. Komisjoni ülesanne on esitada ettepanekud raamprogrammide kohta, kusjuures otsused raamprogrammide kohta ning osalemise ja levitamise eeskirjad võetakse vastu Euroopa Parlamendi ja nõukogu kaasotsustamismenetluse teel. Eespool osutatud viisil võetakse vastu ainult eriprogrammid. Kuus nn teadusuuringute peadirektoraati rakendavad raamprogramme ühiselt (2).

3. Paljude Euroopa Liidus innovatsiooni ja konkurentsivõime tugevdamiseks rakendatavate tegevuspõhimõtete seas on raamprogrammid kõige tähtsamad rahastamisvahendid, mis aitavad kaasa Lissaboni strateegia (3) edendamisele ja Barcelona eesmärgi (4) saavutamisele ühenduse tasandil.

4. Raamprogrammide kaudu rahastab ühendus teadusuuringuid Euroopa Liidus, assotsieerunud riikides ja rahvusvahelistes organisatsioonides. Nimetatud raamprogrammide eelarve on aastate jooksul oluliselt suurenenud, ulatudes seitsmendas raamprogrammis 7 217 miljoni euroni aastas, võrreldes 2 761 miljoni euroga neljandas raamprogrammis (vt joonis 1). Raamprogrammid moodustavad kõige suurema osa otsese tsentraliseeritud halduse valdkonda kuuluvatest komisjoni eelarveassigneeringutest (5).

5. Raamprogrammid erinevad paljudest riiklikest programmidest selle poolest, et hõlmavad ettevõtete ja avalike uurimisasutuste osalusega alus- ning rakendusuuringuid (6). Raamprogrammid koosnevad paljudest eriprogrammidest (ja alaprogrammidest), milles käsitletakse ulatuslikke teadusvaldkondi. Nimetatud raamprogrammid hõlmavad tavaliselt mitut valdkonda, milles keskendutakse konkreetsematele teadusharudele. Neid valdkondi rakendatakse seejärel projektikonkursi korras saadud projektide (nn „kaudsed meetmed”) kaudu. Sellisel viisil rahastatakse sadu üksikprojekte igas valdkonnas.

6. TTA rahastamisel avaliku sektori vahenditest moodustab raamprogrammide üldine osakaal Euroopa Liidus ja liikmesriikides 4–5 %. Vaatamata sellele on nende mõju Euroopas teostatud teadusuuringutele oluliselt suurem. Selle põhjuseks on asjaolu, et ühenduse toetustest rahastatakse projekti ainult osaliselt. Lisaks tuleb teadlastel näidata rahastamise taotlemisel, et nende projektides järgitakse projektikonkursiga kindlaksmääratud eesmärke. Sel viisil stimuleeritakse raamprogrammidega TTA tegevuse suunamist konkreetsete ELi eesmärkide järgimiseks.

7. Viimastel aastatel on toimunud olulised muudatused raamprogrammides seoses alljärgnevaga: — uued poliitilised väljakutsed (Lissaboni strateegia ja Barcelona eesmärgid, Euroopa teadusruumi (ERA) loomine ja avatud kooskõlastusmeetodi (7) üha laialdasem kasutamine teadusuuuringute ja innovatsioonipoliitika valdkonnas); — raamprogrammide suundumuse muutumine, alates tehniliste probleemide lahendamisest neljanda raamprogrammi raames ja konkreetsete sotsiaalsete probleemide käsitlemisest viienda raamprogrammi raames kuni ERAs tegutsevate uurimisasutuste koostöö edendamiseni ning teadmistepõhise majanduse ja ühiskonna loomise toetamiseni kuuenda ja seitsmenda raamprogrammi raames; — pikemad programmitööperioodid (enne neli aastat, praegu seitse aastat seitsmendas raamprogrammis kooskõlas perioodi 2007–2013 finantsperspektiividega); — suurem arv liikmesriike ja osalevaid riike; — suurenenud rahastamine, eelkõige praeguste finantsperspektiivide raames; — Euroopa Teadusnõukogu loomine ja programmijuhtimise delegeerimine täitevasutustele alates seitsmendast raamprogrammist; — laiaulatuslike rahastamisvahendite üha suurem kasutamine (näiteks pädevusvõrgustikud, integreeritud projektid, projektid artikli 169 alusel, ühised tehnoloogiaalgatused).

Raamprogrammide hindamine ja järelevalve

8. Komisjon vastutab programmi rakendamise ja tulemuste hindamise eest (8). Komisjonis on hindamine detsentraliseeritud peadirektoraatidele, kusjuures kesktalitused (eelkõige eelarve peadirektoraat ja peasekretariaat) tagavad toetuse ja kooskõlastamise.

9. Käesolevas aruandes kasutatakse komisjoni enda määratlusi, mille kohaselt on „hindamine” otsus sekkumiste kohta vastavalt selle tulemustele, mõjudele ja vajadustele, mida soovitakse rahuldada, (9) ja „järelevalve” on teabe andmine käimasolevate programmide ja projektide rakenduse kohta käsitlemaks haldamise vajadusi (10). Osutatud kahte tegevust määratletakse sellisel viisil, nagu praeguse seitsmenda raamprogrammiga seotud õigusnormides.

10. TTA toimingute tulemuste kirjeldamiseks kasutatud terminoloogia on järgmine: — „väljundid” — avaliku sekkumise rakendamisest tulenevad otseselt saadud teadmised, kaubad ja teenused (väljaanded, konverentsi dokumendid, patendid, litsentsid, prototüübid, standardid, koolitatud teadlased jne); — „tulem” — kasutajate poolt väljundite töötlemisel saadud tulemus; — „mõjud” — avaliku sekkumise rakendamisest tulenevad pikaajalised sotsiaalmajanduslikud ja poliitilised muutused. 1. selgitusGlobaalne mobiilsidesüsteem (GSM)Käesolevas näites olid ühenduse rahastamise väljunditeks projekti kohesed tulemused, nagu globaalse mobiilsidestandardi (GSM) väljatöötamine. Tulemiks oli selle heakskiitmine digitaalse mobiilsidestandardina Euroopas ja väljaspool Euroopat, mis aitas suurel määral kaasa telekommunikatsioonitööstuse arengule. Mõjudeks olid nimetatud tehnoloogia rahvusvahelise kasutamise majanduslikud, sotsiaalsed ja poliitilised tagajärjed. Nende hulgas kaasaaitamine töökohtade loomisele telekommunikatsiooni ja sellega seotud valdkondades ning nimetatud tööstussektori tähtsuse kasv Euroopa majanduses. GSM on andnud uue inimestevahelise suhtlemisviisi.

11. Nimetatud tulemuste hindamine tekitab siiski mitmeid metoodikaalaseid probleeme (vt I lisa). Sotsiaalmajanduslikud muutused on keerukad, täpsemalt öeldes on sageli raske järgida teadustegevuse ja tulemuste ning täheldatud tulemi ja mõjude vahelist seost. Tegemist on küll olulise probleemiga, kuid metoodikaalased probleemid ei pruugi tingimata takistada tõhusat hindamist.

12. Raamprogrammide järelevalve- ja hindamissüsteem on olnud komisjonis kasutusel alates 1980. aastatest (11). Alates neljandast raamprogrammist 1990. keskpaigas koosnes järelevalve- ja hindamissüsteem paljudest omavahel osaliselt seotud järgmistest toimingutest: — iga-aastane järelevalve (peamiselt programmide rakendamise üle); — raamprogrammide viieaastane hindamine (ja alates kuuendast raamprogrammist konkreetsete teemade täiendav hindamine). Mõlemat toimingut tuli teostada välisekspertide kaasabil (vt joonis 2 ja II lisa). Joonis 2 Järelevalve ja hindamise põhinõuded neljandas, viiendas, kuuendas ja seitsmendas raamprogrammis Neljas raamprogramm (1995–1998) Viies raamprogramm (1999–2002) Kuues raamprogramm (2003–2006) Seitsmes raamprogramm (2007–2013) kaks hindamist (vahe- ja lõplik hindamine) kõigi 20 alaprogrammi ning ka raamprogrammi osas; lõplik hindamine kattub viienda raamprogrammi vahehindamisega kaks üheaegset hindamist (vahehindamine) kõigi seitsme eriprogrammi ning ka raamprogrammi osas üks hindamine raamprogrammi ja selle kolme eriprogrammi osas (vahehindamine), kuid mitte eraldi 20 alaprogrammi osas; lisaks hindamisele veel erihindamine ja regulaarsed edenemise (nt järelevalve) aruanded vähemalt viis hindamist (eel-, vahe- ja lõplik hindamine), sh edenemist käsitlevad erihindamised enne vahehindamist 1. Eelhindamine: ei 1. Eelhindamine: ei 1. Eelhindamine: ei 1. Eelhindamine: liidetud seitsmendat raamprogrammi käsitleva komisjoni ettepanekuga seonduva mõju hindamisele (2005) 2. Vahehindamine: — viieaastane hindamine: raamprogrammi perioodi keskel, enne järgmist raamprogrammi (1997) 2. Vahehindamine: — viieaastane hindamine: enne järgmise raamprogrammi ettepaneku esitamist (2000) — edenemise kontrollimine raamprogrammi perioodi keskel (2001) 2. Vahehindamine: — vahendite mõjususe hindamine (2004) — viieaastane hindamine enne järgmise raamprogrammi ettepaneku esitamist (2004) — regulaarsed edenemise (nt järelevalve) aruanded 2. Vahehindamine: — järelhindamine, kaks aastat pärast eelmise raamprogrammi lõppu (2008) — edenemist käsitlev aruanne enne vahehindamist (enne 2010) — vahehindamine (2010) 3. Lõplik hindamine: — raamprogrammi lõpus (1999) 3. Lõplik hindamine: ei 3. Lõplik hindamine: ei [muudetud seitsmenda raamprogrammi otsusega] 3. Lõplik hindamine: kaks aastat pärast raamprogrammi lõppu (2015), lisaks eriuurimused, vahehindamine ja muu hindamistegevus kogu raamprogrammi vältel Allikas: Vt II lisa.

13. Kuni tänaseni on tehtud kolm viieaastast hindamist (12) ja koostatud aruanded „Davignon”, „Majó” ja „Ormala” (vastavalt aastatel 1997, 2000 ja 2004). Lisaks on infoühiskonna ja meedia peadirektoraat korraldanud oma eriprogrammi sihthindamise. Tuleb märkida, et viieaastane hindamine lõpetati vastavalt seitsmenda raamprogrammiga seotud õigusnormidele, mille alusel tühistati piirang, et peamiste hindamistoimingute puhul tuli keskenduda viiele eelnevale aastale ja seega hõlmata kahe järjestikuse programmitööperioodi osad. 2004. aastal avaldati ka aruanne „Marimón”, (13) mis oli kuuenda raamprogrammiga kasutusele võetud uute vahendite mõjususe erihindamine.

14. Komisjoni hindamistegevuse raamistik vaadati uuesti läbi 2000. ja 2002. aastal (14). Need teatised ajakohastati 2007. aastal, võttes arvesse komisjoni haldusreformi tagajärjed ja uue finantsmääruse (15). Neis dokumentides kirjeldatakse hindamise osatähtsust ja funktsiooni komisjoni üldise kavandamise, programmitöö ja aruandlustsükli kontekstis ja määratakse kindlaks 21 hindamisstandardit ja 18 hea tava mudelit. Lisaks käsitletakse nendes dokumentides hindamise kasutamist ELi õigusaktide koostamisel ja lihtsustamisel.

AUDITI ULATUS JA LÄHENEMISVIIS

15. Auditi peamine eesmärk oli kindlaks määrata, kas komisjonil oli piisav TTA raamprogrammide tulemuste hindamist käsitlev lähenemisviis.

16. Selleks hindas kontrollikoda, mil määral: — annab selge sekkumisloogika kindla aluse raamprogrammide ja neis sisalduvate programmide hindamisele ja järelevalvele, võimaldades mõõta ja hinnata väljundeid, tulemit ja mõju; — määratleti raamprogrammide hindamisstrateegia mõjusa ja järjepideva hindamise edendamiseks; — tagab hindamissüsteemi organisatsiooniline ülesehitus, et hindamine on asjakohaselt kooskõlastatud kogu raamprogrammi lõikes tervikuna, selleks on piisavalt ressursse ja sõltumatuse määr on huvirühmade arvates piisav; — tagab kasutatud hindamismetoodika, et olulisi küsimusi käsitletakse asjakohasel viisil, et hindamine oleks usaldusväärne; — hindamis- ja järelevalvetoimingutega saadakse teavet ja analüüse, mida on võimalik kasutada käimasolevate programmide parandamiseks („õppeprogrammid”) ja järgmiste programmide ettevalmistamiseks.

17. Käesolev aruanne hõlmab asjakohast töökorraldust seoses neljanda (1995–1998), viienda (1999–2002) ja kuuenda raamprogrammiga (2003–2006). Selles arutletakse ka seitsmenda raamprogrammi (2007–2013) raames praegu kehtivate õigusnormide üle, kuid ei anta hinnangut komisjoni seitsmenda raamprogrammi mõju hindamise ja eelhindamise kohta (16). Aruandes keskendutakse programmide järelevalvele ja järelhindamisele, kuid mitte projektiettepanekute eelhindamisele või projektide järelhindamisele.

18. Audit viidi läbi koostöös EFTA audiitorkogu ja välisekspertidega. Auditi tõendusmaterjali koguti järgmisel viisil: — audititöö komisjonis (dokumentaalne läbivaatus ja vestlused töötajatega), mis hõlmas õiguslike ja seadusjärgsete nõuete identifitseerimist, tulemuslikkuse eesmärkide ja kriteeriumide läbivaatamist, rohkem kui 80 järelevalve- ja hindamisaruande analüüsimist ja komisjoni hindamistegevuse korraldamise analüüsimist; — intervjuud rohkem kui 90 eksperdiga, kes tunnistati huvirühmaks liikmes- ja assotsieerunud riikides (Tšehhi Vabariik, Saksamaa, Eesti, Hispaania, Prantsusmaa, Itaalia, Luksemburg, Madalmaad, Austria, Soome, Rootsi, Ühendkuningriik ja Norra); — institutsiooniliste huvirühmade küsitlused Euroopa Parlamendi tööstuse, teadusuuringute, transpordi ja energeetika komitees (ITRE) (17) ning nõukogu tehnika ja teadusuuringute komitees (CREST) (18); — nõupidamine teadusuuringute hindamise valdkonna rohkem kui 65 Ameerika Ühendriikide ja Kanada eksperdiga, kes moodustasid rahvusvahelise võrdlusgrupi; — teadusuuringute hindamise praeguseid suundi käsitleva erialase kirjanduse läbivaatamine; — auditileidude, järelduste ja soovituste arutamine teadusuuringute hindamise ekspertidega Euroopast ja Põhja-Ameerikast mitmel moderaatori osalusega sihtgrupi koosolekul veebruaris 2007.

AUDITI TÄHELEPANEKUD

Sekkumisloogika, eesmärkide püstitamine ja tulemusnäitajad

19. Tõhus hindamine ja järelevalve eeldab poliitika, programmi ja projekti tasandil selgeid eesmärke ja asjakohaseid tulemusnäitajaid, mille põhjal on võimalik hinnata avaliku sekkumise tulemusi. Teiste ELi eelarvevaldkondade ja muude tegevusvaldkondade hea tava kohaselt tuleks need määratleda sekkumisloogika raamistikus.

20. Sekkumisloogikat saab määratleda kui põhjuse ja mõju hüpoteetiliste seoste kogumit, millega kirjeldatakse, kuidas loodetakse saavutada globaalseid üldeesmärke sekkumise abil (19). Komisjoni hindamissuunistes sätestatakse, et sekkumisloogika moodustab „kontseptuaalse seose sekkumise sisendites selle väljundite tootmise vahel ning seejärel seose ka selle mõjuni ühiskonnale suunatud tulemuste ja väljundite vahel” (20). Käesolevas aruandes kasutatakse eespool osutatud määratlust.

21. Kontrollikoda hindas, mil määral rakendati raamprogrammide ja neis sisalduvate programmide osas sekkumisloogikat, mis andis hindamisele ja järelevalvele kindla aluse.

Raamprogrammidega seonduv sekkumisloogika ei ole olnud selge

22. Sekkumisloogika määratlemine peaks algusest peale olema programmi kavandamise põhielement. EÜ asutamislepingu artiklis 163 sätestatakse vajadus tugevdada teaduslikku ja tehnilist baasi ning soodustada konkurentsivõime arendamist, millest tulekski raamprogrammidega seonduva sekkumisloogika puhul lähtuda (vt punkt 2). Sekkumisloogikat oleks vaja muuta konkreetsemaks raamprogrammidega hõlmatud erinevate teadusvaldkondade ja erinevate kasutatud vahendite suhtes.

23. Kõigil tasanditel puudub siiski selge loogiline mudel, mille abil selgitatakse, kuidas raamprogrammid ja neis sisalduvad programmid aitavad kaasa teaduslikule ja tehnoloogilisele progressile ning uuendustele.

24. Eksperdirühm, kelle ülesanne oli teha viieaastane hindamine 2004. aastal, rõhutas samuti raamprogrammidega seonduva sekkumisloogika puudumist ja väitis, et nendega sarnastelt eksperdirühmadelt nõutakse ühelt poolt erinevuste kaotamist peamiselt projekti tasemel kogutud tõendusmaterjali ja teiselt poolt teaduspoliitika sotsiaalmajanduslike eesmärkide vahel. Praegusel hetkel on siiski raske luua seda seost raamprogrammi kavandamisviisi tõttu. Puudub selgesõnaline loogika, mis ühendaks kõrgeimad eesmärgid teadusuuringutele ja teadmistele püstitatud konkreetsete eesmärkidega (21).

25. Erinev lähenemisviis on kasutusel paljudes liikmesriikides (näiteks, Holland, Soome) ja Ameerika Ühendriikides (vt joonis 3), kus sekkumisloogika määratlemine on palju rohkem käibel, ja Kanadas, kus see on kõikide programmide puhul kohustuslik (vt III lisa). Sekkumisloogika kasutamisega programmi kavandamisel saadakse parema rõhuasetusega ja struktureeritumad programmid. Komisjon on võtnud kasutusele sellise loogika ka teistes poliitikavaldkondades (näiteks välisabi) (22). Joonis 3 Loogilistel mudelitel põhinevate eesmärkide hierarhia määratlus — näide Ameerika Ühendriikides teostatud põllumajandusuuringu kohta Poliitika Programm Projekt Poliitika eesmärk : aidata kaasa põllumajandustootjate perekondade toimetuleku parandamisele Otstarve : põllumajandustootjate perekondade põllumajandustootmise, tootlikkuse ja sissetulekute kasv Programmi eesmärk : aidata kaasa põllumajandustootjate põllumajandustootmise, tootlikkuse ja sissetulekute kasvule Eeldatav tulemus : tõhusamate põllumajandustehnoloogiate laiem kasutus sihtrühma kuuluvate põllumajandustootjate hulgas Otstarve : tõhusamate põllumajandustehnoloogiate laiem kasutus sihtrühma kuuluvate põllumajandustootjate hulgas (nt riisikasvatuse puhul) Projekti eesmärk : aidata kaasa soovitatavate tõhustatud tehnoloogiate laiemale kasutusele Eeldatav tulemus : soovituste andmine/levitamine sihtrühma kuuluvatele põllumajandustootjatele Otstarve : tõhusamate tehnoloogiate osas antud soovituste esitamine sihtrühma kuuluvatele põllumajandustootjatele Eeldatavad tulemused (näiteks): 1. tehnoloogiate määratlemine põllumajandustootjate prioriteetide põhjal 2. tehnoloogiate koostamine ja kohandamine 3. tehnoloogiate kontrollimine põllumajandustootjate maadel Allikas: US National Agricultural Research Council.

26. Kui ei kodeerita avaliku sekkumise aluseks oleva loogika põhiprintsiipe ja juhuslikkuse eeldatavaid seoseid (mis on programmi üksikasjaliku kavandamise, läbiviimise ja hindamise aluseks), siis kahjustab see oluliselt raamprogrammide tõhusat hindamist ja järelevalvet. See puudus tuleneb eelkõige programmi eesmärkide ja tulemusnäitajate määratlemise viisist.

Ilma selge loogilise mudelita on programmi ühtseid eesmärke raskem püstitada

27. Kui ei selgitata selgelt avaliku sekkumise aluseks oleva loogika põhiprintsiipe, on programmi ühtseid eesmärke raskem määratleda ja struktureerida. Seda väidet selgitab asjaolu, et: — ei ole selge, kuidas raamprogrammi eesmärgid on seotud poliitiliste eesmärkidega, nagu üldised eesmärgid, mis on sätestatud Euroopa Ühenduse asutamislepingu artiklis 163, ja need, mis on sätestatud Lissaboni strateegias ja Barcelona deklaratsioonis (vt punktid 2 ja 7); — üksikute programmieesmärkide vaheline suhe ei ole alati ilmne seadusandluse erinevatel tasanditel (nagu raamprogrammi ja eriprogrammiga seonduvad otsused ning osaluse ja levitamise eeskirjad) ning põhiõigusaktide ja komisjoni tööprogrammide vahel.

28. Komisjon on püüdnud esitada tööprogrammide tegevuseesmärgid, mis põhinevad raamprogrammidega seonduvates õigusaktides määratletud programmi eesmärkidel. Nende eraldi esitatud algatustega ei ole peaaegu helgi juhtu siiski õnnestunud selgitada programmide aluseks olevat loogikat ja tööprogrammides esitatud eesmärgid ei olnud konkreetsed, mõõdetavad, saavutatavad, asjakohased ja ajaliselt piiritletud (SMART). 2003. aastal muutus see finantsmääruse alusel õigusnormiks) (23).

29. Ei ole selge, mil määral on võimalik tuvastada poliitilisi eesmärke konkreetsete programmide, tööprogrammide ja projektikonkursside kaudu, mida kaasrahastab ühendus. Seni kuni neid seoseid ei selgitata, ei saa hinnata raamprogrammide ja neis sisalduvate programmide kaasabi poliitiliste eesmärkide saavutamisele. Auditiga on leitud, et nii projekti kui ka programmi tasandil on komisjon oma hindamistes esitanud vähe või ei ole üldse esitanud veenvat tõendusmaterjali pikemaajaliste eesmärkide saavutamise kohta (vt punkt 82).

Selge sekkumisloogika ja selgete eesmärkide puudumine raskendab tulemusnäitajate väljatöötamist

30. Selge loogilise mudeli ja selgelt sõnastatud programmi eesmärkide puudumine on takistanud ka tulemusnäitajate väljatöötamist, et teostada järelevalvet programmi eesmärkide saavutamise üle väljunditest, tulemist ja mõjudest lähtuvalt, mille tulemusena ei ole raamprogrammide suhtes selliseid mõjususe näitajaid määratletud kuni tänaseni (vt punkt 73).

31. Sellises olukorras on raskem ka nende programmidega rahastatavate käimasolevate projektide läbivaatamine ja lõpetatud projektide järelhindamine, mis omakorda raskendab hindamistoimingute koondamist projekti tasandilt programmi tasandile (vt I lisa ja punkt 84).

Praegu rakendatavad tegevuspõhise eelarvestamise/juhtimise süsteemid (ABB/ABM) on raamprogrammide tulemuslikkuse hindamiseks ebasobivad vahendid

32. Mõned programmi rakendamise tõhusust käsitlevad näitajad (nt lepingu allkirjastamise tähtaeg, maksetähtaeg) on esitatud komisjoni iga-aastastes järelevalvearuannetes ja ka komisjoni tegevuspõhise eelarvestamise (ABM) süsteemi kontekstis.

33. Kuni tänaseni ei ole teadusuuringute peadirektoraadid rakendanud siiski ühtlustatud või võrreldavat tegevuspõhise eelarvestamise nomenklatuuri või sellega seonduvaid näitajaid, isegi juhul kui nad rakendavad sama eriprogrammi (või alaprogrammi). Seepärast ei saa neid näitajaid kasutada tulemuslikkuse võrdlemiseks programmide vahel ja nende raames. 2. selgitusTegevuspõhise eelarvestamise/juhtimise süsteem (ABB/ABM), mida praegu rakendavad teadusuuringute peadirektoraadid:Tegevuspõhise eelarvestamise/juhtimise süsteemi (ABB/ABM) raames on raamprogrammidega hõlmatud kaks erinevat poliitikavaldkonda, milles on raamprogrammide tegevus esitatud vastavalt erineva peadirektoraadi spetsiifilisele nomenklatuurile (24). See kehtib isegi nende eriprogrammide ja alaprogrammide suhtes, mida rakendab rohkem kui üks peadirektoraat. Tegevuspõhise juhtimise süsteemi (ABM) eesmärgid on määratletud vastavalt erinevatele aluspõhimõtetele, (25) ja nagu on osutanud komisjoni siseauditi talitus, (26) on need sõnastatud väga üldiselt, kirjeldades eesmärke või toiminguid. Näitajad olid üldiselt suunatud sisendile (nt koosolekute arv jne). Mõned näitajad olid protsessi tõhususe kohta (nt lepingu allkirjastamise tähtaeg, maksetähtaeg), kuid mida ei saanud võrrelda programmide ja peadirektoraatide vahel tegevuspõhise eelarvestamise nomenklatuuri erinevuste, peadirektoraatide eriomaste eelduste (nagu konkreetsete haldusprotsesside algus ja lõpp) ja aluseks oleva populatsiooni (nt toetuslepingu liik, makseliik) tõttu, mida võeti arvutustes arvesse.

Soovitused

34. Komisjon peaks oma tulevastes seadusandlikes ettepanekutes nõukogule ja Euroopa Parlamendile esitama selgesõnalise sekkumisloogika raamprogrammile tervikuna ja seda moodustavatele osadele. 35. Seitsmenda raamprogrammi puhul peaks komisjon: — kirjeldama selgelt raamprogrammi ja neis sisalduvate eriprogrammide (ja alaprogrammide) eesmärke ja nende saavutamise viise; — selgitama seost teaduslike ja sotsiaalmajanduslike eesmärkide vahel iga eriprogrammi (ja alaprogrammi) puhul; — määratlema asjakohased tegevuseesmärgid. 36. Seitsmenda raamprogrammi järelevalvesüsteemiga seoses peaks komisjon võtma kasutusele piiratud, kuid proportsionaalse hulga tulemusnäitajaid, millega mõõta programmi rakendamise tõhusust ja mõjusust iga eriprogrammi (ja alaprogrammi) puhul. 37. Teadusuuringute peadirektoraadid peaksid ühtlustama oma tegevuspõhise eelarvestamise/juhtimise süsteemi (ABM/ABB) nomenklatuuri, et tulemusnäitajaid oleks võimalik võrrelda ajaliselt ja võimaluse korral konkreetsete eriprogrammide ja (alaprogrammide) vahel.

Hindamisstrateegia

38. Hindamisstrateegia on kontseptuaalne raamistik, mille abil kavandatakse, planeeritakse, teostatakse ja kasutatakse hindamistegevust. Hea tava teistes ELi eelarvevaldkondades ja muudes tegevusvaldkondades näitab, et sellise strateegia puhul tuleks arvesse võtta põhilisi seadusandlikke, korralduslikke ja metoodikaalaseid küsimusi, mis on omased programmide hindamisele. See hõlmab teostatava hindamise viisi, hindamise teostajat ja aega, andmete kogumise viisi, kasutatavat metoodilist lähenemisviisi ning leidude edastamise ja järelkontrolli viisi.

39. Sellise strateegia olemasolu ja kasutamise tagamine on eeltingimus, et integreerida hindamine komisjoni organisatsioonikultuuri ja otsustamisprotsessi. Kontrollikoda tunnistab siiski, et raamprogrammidega hõlmatud teadusvaldkondade erinevust silmas pidades peaks selline strateegia võimaldama igale vastutavale peadirektoraadile vajalikul määral paindlikkust ja ei oleks liiga ettekirjutav.

40. Kontrollikoda kontrollis, millises ulatuses oli komisjonil olemas selline raamprogrammide hindamisstrateegia.

Raamprogrammide põhjaliku hindamisstrateegia puudumine

41. Komisjon avaldas esmakordselt oma raamprogrammide hindamist käsitleva lähenemisviisi 1980. aastatel (27). Nimetatud lähenemisviisi ajakohastati 1996. aastal, kui komisjon teavitas Euroopa Parlamenti ja nõukogu oma asjakohastest järelevalve ja hindamise aluspõhimõtetest ning määratles kavandatava lähenemisviisi pärast neljanda raamprogrammi vastuvõtmist (28). Nimetatud lähenemisviis ei sisaldanud siiski põhjalikku hindamisstrateegiat, nagu on eespool esitatud (vt punktid 38 ja 39). Lisaks ei vaadanud komisjon ajavahemikul 1996–2006 uuesti põhjalikult läbi oma viienda ja kuuenda raamprogrammi hindamist käsitlevat lähenemisviisi, hoolimata asjaolust, et muutus raamprogrammide ulatus ja suunitlus (vt punkt 7). Eelkõige ei ole teadusuuringute peadirektoraadid kokku leppinud raamprogrammide ja neid moodustavate programmide hindamist käsitlevas järjepidevas lähenemisviisis lisaks 1999. aastal (seoses viienda raamprogrammiga), 2002. aastal (seoses kuuenda raamprogrammiga) ja 2006. aastal (seoses seitsmenda raamprogrammiga) vastu võetud ühenduse õigusnormidele (29).

42. Praeguse programmitööperioodiga seoses on sellise strateegilise lähenemisviisi puudumine antud valdkonnas eriline probleem, pidades silmas mitmete peadirektoraatide, Euroopa Teadusnõukogu ja täitevasutuste seitsmenda raamprogrammi ühist rakendamist ja finantsmääruse kohast sunduslikku rotatsiooni tundlikel ametikohtadel. Samuti vastandub see praegusele välisabi praktikale (mis on suuruselt teine komisjoni otsese juhtimisega valdkond). Alates 2002. aastast on nimetatud valdkonna pädevad peadirektoraadid kokku leppinud programmitööperioodidega seotud ühises mitmeaastases hindamisstrateegias (vt punkt 52).

43. Selgelt sõnastatud hindamisstrateegia puudumine vastandub ka oluliselt olukorrale Ameerika Ühendriikides ja Kanadas, kus õiguslik raamistik nõuab strateegia olemasolu (vt III lisa).

44. Nagu seda näitestatud allpool, erinevad raamprogrammide hindamise ulatus ja tõhusus oluliselt. Käesoleva aruande järgmistes jagudes arutatakse ka teisi puudusi, nagu kooskõlastamisprobleemid, erinevused metoodikaalases lähenemisviisis, ajastamisprobleemid ning puudused teabe edastamisel ja hindamisleidudest teavitamisel ja nende järelkäsitlusel. See kajastab raamprogrammide põhjaliku hindamisstrateegia puudumist.

Erinev ulatus ja tõhusus erinevate raamprogrammide hindamisel

45. Raamprogrammid koosnevad mitmetest eriprogrammidest (ja alaprogrammidest), mis võivad oluliselt erineda eesmärgi, aluseks oleva dünaamika ja eelarveassigneeringute poolest (seitsmenda raamprogrammiga seoses vt IV lisa). Konkreetsed sätted erinevates raamprogrammi käsitlevates otsustes ühelt poolt ja finantsmääruses (30) teiselt poolt (milles nõutakse programmide ja oluliste kuludega kaasnevate toimingute hindamist) kokku tähendavad, et raamprogrammi tervikuna ja enamiku neis sisalduvate eriprogrammide hindamise kohta käiv õigusnorm on olnud jõus alates neljandast raamprogrammist.

46. Komisjon ei ole kehtestanud reeglit, millal tuleb konkreetseid raamprogramme või alaprogramme hinnata, ega määratlenud ühist künnist alates millest tuleks hindamist alustada. Selle tulemusel on tekkinud vastuolulised tõlgendused selle kohta, mida ja kui detailselt hinnata: — infoühiskonna peadirektoraat käsitas infoühiskonna tehnoloogia programmi iseseisva põhilise kuluprogrammina ja korraldas 2004. aastal täieliku viieaastase hindamise paralleelselt tervikliku raamprogrammi hindamisega; — teadusuuringute peadirektoraat ei korraldanud sellist hindamist eriprogrammi tasandil süstemaatiliselt, kuigi mitmete selle vastutusel olevate programmide eelarved olid sarnaste suurustega.

47. Selle tulemusel jäid 2004. aastal teostatud viieaastasel hindamisel üldse hindamata neljanda ja viienda raamprogrammi oluliselt suured osad (neljanda raamprogrammi puhul moodustas see 30 % ja viienda raamprogrammi puhul 50 % kõigist eelarveassigneeringutest). See näitab, et komisjon ei järginud finantsmääruse artikliga 27 ettenähtud hindamisnõudeid.

48. Hindamise õiguslikud miinimumnõuded erinevad tõlgendused ja selle tulemusel raamprogrammide varasem alahindamine näitestavad kooskõlastamise puudumist ja komisjoni strateegilise lähenemisviisi puudumise mõju raamprogrammide hindamisele.

Soovitused

49. Teadusuuringute peadirektoraadid peaksid kiiresti välja töötama ühise raamprogrammide hindamisstrateegia ja selles osas kokku leppima. Olemata ülemäära ettekirjutav, peaks see strateegia kaasa tooma raamprogrammide ja neis sisalduvate programmide hindamist käsitleva järjekindla lähenemisviisi. Selline strateegia peaks andma ka suunised miinimumtaseme kohta, millest peab alustama üksikasjalikku hindamist, et võtta arvesse iga teadusvaldkonna eripärad.

Raamprogrammide hindamise korraldamine

50. Raamprogrammide hindamist on vaja toetada asjakohase organisatoorse korraldusega, mis peaks tulenema komisjoni raamprogrammide hindamist käsitlevast strateegilisest suunitlusest. Kontrollikoda kontrollis, mil määral tagab organisatsiooniline ülesehitus, et see on kooskõlastatud asjakohaselt, selleks on piisavalt ressursse ja sõltumatuse määr on huvirühmade arvates piisav.

Komisjon

Paljud peadirektoraadid rakendavad raamprogramme ühiselt, kuigi vastutus nende hindamise eest on detsentraliseeritud

51. Komisjonis vastutavad kuluprogrammide hindamise eest erinevad peadirektoraadid (vt punkt 8) ja igas peadirektoraadis on loodud hindamisüksused. Nimetatud hindamisüksuste ülesanne on hindamise planeerimine, kooskõlastamine ja teostamine.

52. Raamprogrammide hindamiseks tervikuna puudub konkreetne kooskõlastamisasutus või üks üksus, nagu teadusuuringute peadirektoraatide ühine hindamisüksus, mis vastandub teistele poliitikavaldkondadele. Välisabi valdkonnas on loodud kolme peadirektoraadi kohta (arengu peadirektoraat, välissuhete peadirektoraat ja EuropeAid'i koostöötalitus) ühine hindamisüksus, kelle ülesanne on hinnata komisjoni arenguprogramme kolmandates riikides (vt punkt 42).

53. Teadusuuringute peadirektoraat tagab komisjonisisese TTA hindamisvõrgustiku kaudu mitteametliku kogemuste vahetamise erinevate peadirektoraatide hindamisüksuste vahel, kuid tal puudub volitus kehtestada hindamise miinimumnõudeid. Selline mehhanism ei ole siiski piisav, et tagada komisjoni raamprogrammide hindamise asjakohane kooskõlastamine.

54. Komisjon muutis oma üldist hindamist käsitlevat lähenemisviisi aastatel 2000, 2002 ja uuesti 2007 (vt punkt 14). Kuigi olulist paranemist raamprogrammide ja neis sisalduvate programmide planeerimises, kavandamises ja rakendamises ei täheldatud, täidavad teadusuuringute peadirektoraadid üldiselt komisjonisiseseid vorminõudeid.

Komisjoni kesktalitused kehtestavad standardid, kuid ei teosta järelevalvet nende täitmise üle

55. Komisjoni kesktalitused (eelkõige eelarve peadirektoraat ja peasekretariaat) annavad metoodikaalast nõu ja määratlevad ühtsed standardid komisjonis tervikuna ja teostavad järelevalvet peadirektoraatide ja talituste standardite rakendamise üle (vt punktid 14 ja 70). Kesktalitused ei saa aga kehtestada, kuidas hindamist praktikas teostada.

56. Ameerika Ühendriikide ja Kanada kogemus näitab, et standardeid määratlevate asutuste kontroll standardite järgimise üle on oluline tagamaks hindamissüsteemi tõhus toimimine. Mõlemas riigis kehtestavad ja kontrollivad keskvalitsuse ministeeriumid raamistikku, mille alusel antakse programmi edukusele lõplik hinnang (vt III lisa). Kuigi taust on erinev, tuginevad nende süsteemid siiski samale aluspõhimõttele, mille kohaselt programmi rakendavast asutusest eraldi olev asutus on see, kes peaks hindama hindamissüsteemi kavandamise osa aspekte ja kontrollima nende mõjusust. Sama võib täheldada mõnes liikmesriigis (nt Prantsusmaal, (31) Hispaanias, (32) Saksamaal (33)), kus organisatsioonivälised asutused kontrollivad rahastamisasutuste teostatud hindamist või teostavad ise seda hindamist.

Eksperdirühmad

Väliseksperdirühmad: kohustuslikud raamprogrammiga seotud õigusnormide kohaselt alates neljandast raamprogrammist

57. Alates neljandast raamprogrammist on väliseksperdirühmad pidanud teostama kõiki põhilisi hindamisi (ja iga-aastast järelevalvet) (vt II lisa). Vaatamata raskustele asjakohaste ekspertide leidmisel on sellistel eksperdirühmadel potentsiaali, et anda läbipaistvust, võimaldada teatav iseseisvusaste, hõlbustada huvirühmade kaasamist ja kasutada raamprogrammidest, hindamisest ja aluseks olevatest teadustöödest saadud teadmisi.

58. Seda kinnitasid kontrollikoja küsitlused, mis näitasid, et küsitletute arvates tagab komisjoni eksperdirühmade tööl põhinev hindamissüsteem sõltumatuse (vt joonis 4).

Komisjoni rakendatud eksperdirühmade tööl põhineva lähenemisviisi puudused

59. Vaatamata osutatud positiivsele arusaamale, millele eksperdirühma liikmed ja huvirühmad juhtisid auditi käigus komisjoni tähelepanu, on komisjoni eksperdirühmade tööl põhineval raamprogrammide hindamisel järgmised puudused: — hindamiseksperdirühmad luuakse tavaliselt vähem kui aasta enne nende aruande esitamise kuupäeva ja need kutsutakse kokku ainult piiratud arvuks koosolekuteks. See raskendab eksperdirühma liikmetel mõjutada nende tööks vajalike andmete ja analüüside määratlust. Lisaks on raskusi teadmiste kogumisel programmide kohta ja ei ole võimalik püsivalt jälgida olulisi teemasid aja jooksul, kuna eksperdirühmad on ajutised ja moodustatud ainult teatavaks otstarbeks. See on eriline puudus, kui (seitsmenda raamprogrammiga seoses) kavandatakse mitu põhilist hindamist kogu programmitööperioodi jooksul (vt II lisa). Selline olukord vastandub samuti komisjoni praktikale seoses raamprogramme nõustavate eksperdirühmadega, mis on alalised organid (34). Ka Kanadas (35) on hindamiseksperdirühmad alalised, et tagada järjepidev ja ühtne lähenemisviis (vt III lisa); — eksperdirühmadele juhendite ja volituste määratlemisel ja hindamisküsimuste kindlaksmääramisel ei konsulteeri komisjon selliste komisjoniväliste huvirühmadega, nagu raamprogrammides osalevad ettevõtjad ja peamised uurimisasutused. 2004. aasta järelevalvetoimkond on täheldanud seda probleemi samuti, märkides et potentsiaalsed kasutajad tuleks kaasata protsessi varajases etapis (36); — eksperdirühmad toimivad viisil, mis erineb vastastikustest eksperdihinnangutest. Nende liikmetel ei ole aega teostada hinnanguid ise; tavaliselt nad annavad nõu, tuginedes muudest allikatest kättesaadavaks tehtud andmetele ja tõendusmaterjalile. Ajaliste piirangute tõttu on eksperdirühmadel olnud ainult piiratud võimalused täiendavate uuringute tellimiseks, mis on vajalikud nende juhendites ja volitustes kindlaksmääratud küsimuste käsitlemiseks. Praktikas mõne vähese erandiga oli viieaastase hindamise eest vastutavatele eksperdirühmadele kättesaadav ainult komisjoni antud teave.

Vahendid

Raamprogrammi hindamiseks ei ole konkreetselt määratud vahendeid

60. Igal aastal eraldatakse hindamiseks vajalikud vahendid vastavalt raamprogramme rakendavate peadirektoraatide kindlaksmääratud vajadustele. Praegu rahastatakse seda kombineeritult nii eelarve peadirektoraadi kogu komisjonile eraldatavatest kui ka asjaomase peadirektoraadi halduseelarvest eraldatavatest vahenditest. Lisaks rahastatakse raamprogrammide tegevuseelarvest kaudsete meetmetena ka erimeetmeid. Seega ei ole hindamisele kindlat summat määratud.

61. 2006. aasta prognoosi kohaselt oli hindamise ja tegevuspõhise juhtimisega tegelevaid töötajaid komisjonis keskmiselt 1 % kogu töötajate arvust (37). Vastavad arvnäitajad teadusuuringute ja tehnoloogia arendamise raamprogrammide järelevalve ja hindamistegevusega tegelevate töötajate kohta teadusuuringute peadirektoraadis ja infoühiskonna peadirektoraadis olid 1,2 % ja 1,3 %. Teadusuuringute peadirektoraadis töötas rohkem kui kaks kolmandikku nimetatud töötajatest siiski pigem rakenduskavaga tegelevates osakondades kui hindamisüksuses ja hindamine oli ainult üks paljudest neile määratud ülesannetest.

Raamprogrammi hindamise rahastamine on komisjoni soovitatust väiksem

62. Hindamisele eraldatud vahendeid saab väljendada ka protsentuaalse osana eraldatud üldistest eelarveassigneeringutest. Auditi käigus saadud arvnäitajad osutavad, et praktikas on see liikmesriikides rakendatavate teadusuuringute programmide puhul 0,1–2 %. Komisjoni suunistes soovitatakse, et 0,5 % programmi eelarvest tuleks eraldada hindamisele (38). Suuremate programmide puhul võib siiski ka väiksem eelarve osa olla mastaabisäästu tõttu piisav.

63. Perioodi 2003–2006 hindamiskulutusi käsitlevate komisjoni arvnäitajate ja igale peadirektoraadile eraldatud eelarveassigneeringute võrdlus näitab, et üldine keskmine näitaja on ligikaudu 0,15 %, mis on komisjoni soovitatud tasemest oluliselt madalam. 2006. aasta täpsem analüüs näitab, et infoühiskonna ja meedia peadirektoraat kulutas hindamisele ligikaudu neli korda rohkem kui teadusuuringute peadirektoraat, kui seda võrrelda nende käsutuses olevate assigneeringutega. Lisaks moodustab hindamisega seotud hõivatus teadusuuringute peadirektoraadis ainult 0,7 % täistööajaga töötava ametniku tööajast, kusjuures nende aastaeelarve on üks miljon eurot. Infoühiskonna ja meedia peadirektoraadi puhul on see protsent eelnevaga võrreldes kaks korda suurem.

64. Nagu on näitestatud käesolevas aruandes, on infoühiskonna ja meedia peadirektoraadi täiendavate jõupingutuste tulemuseks põhjalikum hindamine (vt punktid 13 ja 46) ja sellise metoodika kasutamine, mis sobib hindamisvajaduste käsitlemiseks paremini, nagu on näidatud kontrollikoja läbivaadatud hindamisuuringute valimis (vt punkt 84).

65. Kontrollikoja koostatud komisjoni andmetel põhinev kulude prognoos näitab, et käesolevas aruandes tehtud ettepanekutel põhinev hindamissüsteem moodustab seitsmenda raamprogrammi eelarveassigneeringutest keskmiselt alla 0,4 %. See kataks nii eksperdirühmade kui ka lepingute alusel tehtud uuringud, ühise hindamisüksuse töötajate ning iga peadirektoraadi praeguste hindamisüksustega seotud kulud ja mitmesugused muud kulud (39).

Soovitused

66. Teadusuuringute peadirektoraadid peaksid kaaluma ühise hindamisüksuse loomist lisaks olemasolevatele hindamisüksustele igas peadirektoraadis. Kooskõlas praeguse praktikaga teistes poliitikavaldkondades võiks see üksus kooskõlastada komisjoni raamprogrammi hindamisega seonduvaid toiminguid tervikuna. Selliseid ühiseid tugifunktsioone on varem soovitatud raamprogramme rakendavatele peadirektoraatidele (40) ja need võivad osutuda veelgi tähtsamaks tulevikus seoses Euroopa Teadusnõukogu loomise ja programmi rakendamise delegeerimisega täitevasutustele. 67. Komisjon peaks oma hindamistegevuse abistamiseks jätkuvalt kasutama hindamiseksperdirühmi. Komisjon peaks siiski kaalutlema, kuidas viia eksperdirühma ülesehitus kooskõlla üldise raamprogrammi omaga. Sel eesmärgil võiks luua eksperdirühma igale eriprogrammile ja vajaduse korral igale alaprogrammile (vt IV lisa). Lisaks tuleks nimetatud eksperdirühmad luua piisavalt vara, et toetada tõhusalt komisjoni ja jätkata seda kogu programmitööperioodi jooksul ja pärast seda. 68. Komisjon peaks uuesti läbi vaatama raamprogrammide ja neis sisalduvate programmide hindamiseks kasutatavad vahendid.

Hindamismetoodika ja -tehnika

69. Tõhus hindamine nõuab asjakohase metoodika ja tehnika kasutamist. Kontrollikoda uuris, kas raamprogrammide hindamise spetsiaalsed hindamissuunised olid koostatud, kas teabevajadusi analüüsiti nõuetekohaselt ja asjakohased andmed tehti hindajatele kättesaadavaks. Arvestades komisjoni või (komisjoni nimel) teostatud hindamisuuringuid, kontrollis kontrollikoda, kas igaks konkreetseks uuringuks kasutatud tehnika andis piisava aluse viieaastasele hindamisele püstitatud hindamisküsimuste käsitlemiseks. Kontrollikoda võttis arvesse ka võimaliku kaasabi, mida siseriiklikul tasandil hindamine võib osutada raamprogrammide hindamisele.

Raamprogrammi eristandardite ja -suuniste kasutuselevõtmine

70. Eelarve peadirektoraat on välja andnud mitmed teatised, milles sätestatakse hindamispoliitika ja selle rakenduseeskirjad, ning kehtestanud kogu komisjoni ulatuses standardid (vt punktid 14 ja 55) (41). Teiste poliitikavaldkondade peadirektoraadid on välja töötanud ka valdkonnapõhised hindamissuunised (42).

71. Raamprogrammide puhul ei ole see siiski nii. Komisjon on hindamistoimingute käsitlemiseks teadusuuringute valdkonnas avaldanud (või rahastanud) rea hindamistoiminguid käsitlevaid metoodikaalaseid suuniseid ja vahendeid (43). Need ei sisalda siiski juhtnööre, kuidas teostada raamprogrammide hindamist, ega määratle, kuidas peavad komisjoni töötajad või väliseksperdid peamisi põhimõtteid või terminoloogiat kasutama. Nimetatud puudustega kaasnevad probleemid, mida järgnevalt käsitletakse.

Vajadus andmete järele ja nende kogumine

Teabevajaduste ebapiisav analüüs

72. Teadusuuringute peadirektoraadid ei ole pööranud piisavat tähelepanu arusaamale, milliseid andmeid hindamiseks ja järelevalveks vajatakse. Teabevajaduste süstemaatilise ja põhjaliku analüüsi teostamise asemel on komisjon määranud andmevajadused kindlaks programmitööperioodi hilisemas etapis, arvestamata piisavalt hindamise üldiseid vajadusi. Kuuenda raamprogrammi sotsiaalmajanduslik küsimustik oli peadirektoraatide ainus ühine katse kokku leppida sellistes andmetes (vt punkt 76). Nimetatud küsimustik valmis siiski 2004. aastal (kolm aastat pärast programmiperioodi algust) ja see hõlmab peamiselt selliseid aspekte, nagu mõlemast soost uurijate osalus ja keskkonnamõjud, mitte teaduslikke väljundeid (nagu intellektuaalse omandiga seonduvad küsimused, trükiväljaanded jne) ja tulemit või mõju.

73. Programmide hindamine tugineb suurel määral kolme liiki andmete kättesaadavusele: — andmete kogumine vastavalt mõjususe näitajatele, mille analüüs annab teavet edusammude kohta eesmärkide saavutamisel. Eespool osutatud sekkumisloogika puudumine tähendab, et selliste näitajate määratlemine on olnud keeruline (vt punkt 30). Praktikas ei olnud programmi eesmärkide saavutamise mõõtmiseks kogutud andmed eriti asjakohased; — andmed programmijuhtimise kohta (vastavalt tõhususe näitajatele); — andmed osalejate kohta (nagu peamiste uurimisasutuste osalemise määr).

74. Eelkõige kaks viimati nimetatut peaksid olema komisjonis kättesaadavad. Komisjonisisestes, enamiku programmide haldamist ja osalejaid käsitlevaid andmeid sisaldavates andmebaasides on ilmnenud siiski probleeme, (44) mille tulemusel on selle praktikaga kaasnenud märkimisväärseid probleeme (45).

75. Seda näitestavad märgatavad viivitused artiklis 173 sätestatud aruannete ja iga-aastaste järelevalvearuannete kättesaadavaks tegemisel (perioodil 2002–2005 artikliga 173 ettenähtud aruandeid on esitatud kuni 16 kuud hiljem (46) ja iga-aastaseid järelevalvearuandeid kuni seitse kuud hiljem). Kuna nimetatud teavet saadi pidevalt olulise hilinemisega, oli sellest kasu ainult vähesel määral.

Osalejatelt hindamisandmete saamist käsitlev ebatõhus lähenemisviis

76. Alates viiendast raamprogrammist on komisjon nõudnud süstemaatiliselt, et osalejad esitaksid programmi eesmärkide saavutamise mõõtmiseks vajalikud lepingus sätestatud andmed väljundite, tulemi ja mõju kohta järgmiselt: — viienda raamprogrammi raames nõuti, et osalejad esitaksid pärast projekti lõpuleviimist tehnoloogia rakenduskava koos lõpparuandega. Nimetatud dokumendid olid sageli puudulikud või neid ei esitatud; — kuuenda raamprogrammi raames nõutakse, et osalejad esitavad teadmiste levitamise ja kasutamise kava ning vastavad tehnilise aastaaruande esitamisel ka standardsele sotsiaalmajanduslikke küsimusi käsitlevale küsimustikule.

77. Lepingus sätestatud andmete esitamisnõuded on osavõtjatele üleliigne haldusalane töökoormus. Näiteks kuuenda raamprogrammi iga-aastase küsimustikuga seoses kogutakse andmeid tunduvalt sagedamini kui nõutud ja kõikide projektide osas, kuigi piisaks representatiivsest valimist. Selline olukord toob tõenäoliselt kaasa nn hindamisest tingitud väsimuse. Peale selle on nimetatud teavet kogutud valel ajal; paljud aluseks olevad teemad, mille jaoks andmeid kogutakse, on laadilt keskpikad või pikaajalised, seega on kõik projekti lepingulise kestuse ajal kogutud andmed määratluse järgi enneaegsed (47). Seetõttu on nimetatud vahendite abil saadud teabel olnud praktikas vaid vähene kasu viienda ja kuuenda raamprogrammi hindamisel.

78. Mitte ühegi kasutusel oleva süsteemi osas ei kehtestata ühtset teabe kogumist projektitsükli lõpus (või kohe pärast seda). Intervjueeritud huvirühmad tegid ettepaneku, et selline teave võiks käsitleda projekti eesmärkide saavutamist, ettenähtud (ja plaaniväliseid) tulemusi ja osalejate arusaamist ühenduse lisandväärtusest. Nimetatud teave võiks olla aluseks ka lõpuleviidud projektide väliskontrollile (48).

79. Saientomeetrial põhineva lähenemisviisi (nagu tsitaatide analüüs) ulatuslikum kasutamine projekti tulemuste hindamisel (vt punkt 83) võiks olla komisjonile aluseks üleminekul tulemuspõhisemale rahastamissüsteemile TTA toimingutes, mille kaasrahastaja on ühendus (49).

Muud ebapiisavalt kasutatud andmeallikad

80. Komisjonis ja liikmesriikides on ebapiisavalt kasutatud muid olemasolevaid andmeallikaid (nt riiklike TTA programmide ja rahastamisasutuste andmebaasid ning ühenduse teadus- ja arendustegevuse teabeteenistus (CORDIS), mida kasutab komisjoni väljaannete talitus (50)).

Komisjoni läbiviidud hindamisuuringud

Kontrollikoja läbivaadatud aruanded

81. Kontrollikoda vaatas uuesti läbi 86 hindamisuuringut, mis viidi läbi komisjonis (või komisjoni nimel) alates 2000. aastast. Need sisaldasid kõiki 2004. aastal avaldatud viieaastasel hindamisel aluseks võetud 36 uuringut ja 50 täiendavat uuringut, mis viidi lõpule pärast seda kuupäeva. Ainult 23 uuringut saab käsitleda raamprogrammide ja nende alaprogrammide tõelise hindamisena (vt joonis 5). Joonis 5 Komisjoni poolt (või nimel) läbiviidud hindamisuuringud ajavahemikul 2000–2006 Uuringute liik Arv Kirjeldus Raamprogrammidega seonduvate toimingute hindamine 23 Hindamisuuringud — põhinevad tunnustatud metoodikal (51); — osutavad konkreetselt programmi eesmärkidele ja nende saavutamise määrale. Siseriikliku mõju hindamine, mis on teostatud liikmesriigi tasandil 12 Liikmesriikide teostatud uuringud, milles käsitletakse peamiselt liikmesriikide osalemise määra, mitte programmi eesmärkidest lähtuvaid järeldusi. Metoodikaalased uuringud 5 Komisjoni korraldatud uuringud, et osutada abi hindamismetoodika väljaarendamisel. Euroopa teadusuuringute ja tehnoloogiaarendusega seonduvate väljavaadete uuringud 2 Uuringud, milles käsitletakse kontekstil põhinevaid Euroopa teadusalaseid analüüse, kuid ei käsitleta raamprogramme. Eelkõige puudub selge viide selle kohta, et raamprogrammid mõjutavad liikmesriigi teadus- ja innovatsioonisüsteeme. Kirjeldavad statistilised dokumendid, mis ei sisalda analüüse 33 Dokumendid, milles tavaliselt käsitletakse raamprogrammidega seonduvaid toiminguid väga kaudsel viisil, pigem neid kirjeldades kui analüüsides. Muud dokumendid 11 Rida dokumente, milles kaalutletakse üldist huvi pakkuvaid küsimusi ilma raamprogramme nimetatud kontekstis vaatlemata.

Hindamisel keskendutakse pigem järelevalvega seonduvatele küsimustele kui tulemile ja mõjule

82. Kaks põhilist tähelepanekut tulenevad kontrollikoja nimetatud konkreetsete hindamisuuringute metaanalüüsist: — kuigi paljudes uuringutes püütakse teha järeldusi programmi eesmärkidest lähtudes, on need järeldused esitatud väga ebamäärasel viisil, mistõttu jääb lugejale ebaselgeks, kas kõnealust küsimust on hindamisel käsitletud või ei. Sageli on selle põhjuseks selgete programmi eesmärkide puudumine, mis kahjustab oluliselt protsessi (vt punkt 28); — raamprogrammide ja nende eriprogrammide (ja alaprogrammide) tulemi ja mõju hindamise asemel on paljud dokumendid kirjeldavat laadi ja parimal juhul keskendutakse neis otsestele projekti väljunditele ja projektijuhtimise küsimustele. Nimetatud aruannete abil ei ole võimalik esitada tulemi ja mõju suhtes veenvat tõendusmaterjali.

Ebapiisav rõhuasetus uuendusliku metoodika väljatöötamisele

83. Ajavahemikul 2000–2006 teostatud hindamistes kasutatakse traditsioonilist metoodikat ja tehnikat (eelkõige uuringud, dokumentide kontroll ja intervjuud) (vt joonis 6). Lisaks ei kasutatud (või kasutati väga harva) arvukaid teisi keerulisemaid, kuid sellest hoolimata edukalt kasutuse levõetud hindamismetoodikaid ja -tehnikaid, eelkõige: — saientomeetrial põhinev lähenemisviis (nagu tsitaatide analüüsimine) (52); — kvantitatiivsed mudelid (nagu kulutasuvus, kulusäästlikkus ja tulukus) (53); — tegijatel põhinevad mudelid (käitumismudelid), (mille rõhuasetus on sekkumisega kaasnevatel visioonidel, nagu teadusuuringute võrgud ja nende muutused aja jooksul).

84. Hindamisuuringuid, milles püüti käsitleda mõningaid metoodikaalaseid probleeme seoses avaliku sekkumise hindamisega teadusuuringutes (vt I lisa), kasutati ainult üksikutel juhtudel: — hiljuti viidi lõpule kaks uuringut sekkumisloogika kohta (54); — on tuvastatud kolm uuringut, milles püütakse hinnata komisjoni rahastamise mõju teadusuuringute organisatsioonide tööle üleeuroopalises võrgus (55) vaatamata asjaolule, et oletus võrgus töötamise positiivsete tulemuste kohta on Euroopa teadusruumi (ERA) kontseptsioonis kesksel kohal; — ainult ühe juhtumi korral on püütud teha järeldusi programmi (või alaprogrammi) tasandil saavutatud mõju kohta, ühendades projekti tasandil kogutavad hindamisanalüüsid muu hindamistehnikaga (56); — ei ole leitud tõendusmaterjali muu metoodika kasutamise kohta, nagu „vastandustel” (või „kontrollrühmal”) põhinev lähenemisviis. Nimetatud lähenemisviis on eriti kasulik näitestamaks programmide lisandväärtust ühenduse tasandil, võrreldes seda mittesekkumisega (või sekkumisega riiklikul või piirkondlikul tasandil).

85. Kontrollikoja intervjueeritud huvirühmad olid arvamusel, et hindamistoimingute kasulikkust ja asjakohasust saaks parandada. See tõestab vajadust arendada edasi metoodikat, nii et hindamissüsteem saaks areneda, võtmaks arvesse raamprogrammide muutusi (vt punkt 7) (57).

Komisjoni konkreetsete hindamisuuringute põhjal ei suudetud lahendada viieaastase hindamisega seonduvate toimingute käigus kerkinud olulisi küsimusi

86. Seda näitestavad ka olulised probleemid, mis tekkisid 2004. aastal viieaastase hindamise eksperdirühmal (58) nende juhendites ja volitustes soovitatud küsimustele vastamisel. Paljusid lahendust vajavaid küsimusi ei suudetud uuridagi, kuna puudusid komisjoni (või komisjoni nimel) eelnevalt teostatud asjakohased uuringud ja eksperdirühma liikmetel ei olnud võimalik tellida selliseid uuringuid õigel ajal (vt joonis 7). Joonis 7 Hindamisküsimuste käsitlemine 2004. aasta viieaastases hindamises Hindamisküsimus Hindamises käsitletud? RAKENDAMINE Kas meetmed rakendati tõhusalt? osaliselt Kas meetmed olid kulusäästlikud? osaliselt Kas meetmed olid parim viis seatud eesmärkide saavutamiseks? ei Kas üldine õigusraamistik (sh osalemise ja lepingutega seotud eeskirjad), poliitikavahendid ja rakendamist käsitlevad üksikasjalikud eeskirjad olid selged, asjakohased ja mõjusad? ei Kas rahalised vahendid ja muud kasutatavad ressursid olid piisavad? ei Kas sihtrühma kuulunud tööstus- ja teadusringkonnad, sh VKEd, olid võimelised asjakohaselt vastama? jah SAAVUTUSED Kas meetmete vastavad eesmärgid saavutati ning millisel määral esines ootamatuid tulemusi? ei Mis olid peamised tulemused eelkõige seoses järgmisega: teaduse, tehnoloogia, sotsiaalmajanduslikud ja keskkonnaprobleemide väljundid, rahvusvaheline koostöö, teadmiste edastamine ja innovatsioon, normide koostamistegevused, kättesaadavus, teadusuuringute tulemuste levitamine ja kasutamine, inimressursside arendamine, mobiilsus ja koolitus ning teadustegevuse kooskõlastamise toetamine ja tõhustamine? ei Kas tulemused ning nende mõjud ja tagajärjed olid üldiselt rahuldavad otseste või kaudsete abisaajate või huvirühmade seisukohalt? ei Kas asjaomaseid tööstus- ja teadusringkondi, sh VKEd, võeti piisavalt arvesse? jah Kuidas ja mil määral on meetmed ELi teadusuuringute konkurentsivõimet rahvusvahelisel tasandil parandanud? Kas ELi teadusuuringud saavutasid mõnes konkreetses valdkonnas juhtpositsiooni? osaliselt Kuidas ja mil määral on meetmed kaasa aidanud nii ELi poliitikale üldiselt kui ka ELi säästva arengu strateegiale? ei Kas ühenduse teadustegevuse tulemusel on riiklikul ja rahvusvahelisel tasandil märgata struktuuriga seotud muutusi, sh eelkõige võrgustike edendamise või teadusuuringute integreerimise ja kooskõlastamise osas? ei Kas programmid olid tulusad? Kas meetmetel oli kestev mõju? ei ARENG JA TULEVIKUPERSPEKTIIVID Kuidas arenesid raamprogrammid lähtepunktide, eesmärkide, prioriteetsete teemade, suunaga „alt üles” ja „ülevalt alla” prioriteetide osas, alusuuringute ja rakendusuuringute vahel ning vahendite, Euroopa tasandil saadava lisaväärtuse ja teiste mõjude osas, võttes arvesse eelkõige Euroopa teadusruumi kontseptsiooni kasutuse, Lissaboni eesmärgid ning rahvusvahelise majanduse ja teadusuuringute osas rakendatavad kesksed hindamispõhimõtted? jah Kuidas saavutati Euroopa tasandil saadav lisaväärtus raamprogrammi osas? jah Kas lisaväärtust on võimalik Euroopa tasandil saavutada muude rahvusvaheliste või siseriiklike mehhanismide abil? ei Kas programmide poliitikaeesmärgid, prioriteedid, vahendid ja elutsükkel on tuleviku seisukohast asjakohased? jah

87. Lisaks märgitakse, et eksperdirühma liikmed suutsid vastata oma juhendites ja volitustes kindlaksmääratud küsimustele ainult selliste aspektidega seoses, mille puhul olid programmides määratletud selged ja kvantifitseeritavad eesmärgid (nagu väikeste ja keskmise suurusega ettevõtete osalemise määr).

Riiklikul tasandil teostatud raamprogrammide hindamine

88. Mitmed liikmesriigid ja assotsieerunud riigid teostavad raamprogrammide siseriiklikku hindamist, milles käsitletakse asjakohaseid ja huvitavaid küsimusi nende endi seisukohast vaadatuna (59). Viimase kaheksa aasta jooksul on teostatud 14 sellist hindamist 9 liikmesriigi ja ühe assotsieerunud riigi kohta.

89. Kuigi komisjon julgustas ühtlustatud lähenemisviisi kasutamist vastavalt võimalustele, on liikmesriigi tasandil teostatud mõju-uuringud väga ebaühtlased (60). Kuna need ei järgi ühtset metoodikat, on selle tulemusel tulemuste koondamise, seostamise ja võrdlemise võimalus piiratud. Lisaks arvestades nende riigisisest laadi, on võimalik nimetatud uuringutega hõlmata Euroopa koostöö mõõdet ainult osaliselt.

90. 2007. aasta rohelises raamatus Euroopa teadusruumi kohta pidas komisjon tähtsaks, et teadusuuringute ja teaduspoliitika (kaasa arvatud liikmesriikide ja ELi teadusuuringud ja teaduspoliitika) mõju ja mõjususe täpsed analüüsid oleksid Euroopa teadusruumi tasandil kättesaadavad. Samuti tunnistas komisjon, et praegune korraldus ei ole selle probleemi lahendamiseks piisav, kuna igal sekkumise tasandil korraldati hindamist eraldi (61).

Soovitused

91. Komisjon peaks koostama raamprogrammidega rahastatavate toimingute hindamise käsiraamatu, milles esitatakse põhimõistete ja terminoloogia määratlused ja määratakse kindlaks teatavaid hindamistoiminguid käsitlevad asjakohased meetodid. Nimetatud käsiraamat peaks põhinema olemasolevatel suunistel ja vahenditel ning seda tuleks korrapäraselt ajakohastada. 92. Komisjon peaks määratlema oma teabevajadused, arvestades vajadust piirata osalejatel lasuvat haldusalast töökoormust. 93. Komisjon peaks õigeaegselt esitama teavet raamprogrammide rakenduse järelevalve kohta. Vastavalt seitsmenda raamprogrammi osaluseeskirjadele tuleks kiiresti käsitleda komisjoni infotehnoloogia süsteeme seoses programmijuhtimist ja osalejaid käsitlevate andmete haldamisega. 94. Osalejate aruandluskohustust komisjoni ees tuleks oluliselt vähendada ja uurimusi tuleks läbi viia ainult valimimeetodi alusel. Lepingus sätestatud näitajapõhise mõju andmete esitamine iga projekti puhul tuleks asendada lühikese enesehindamisega pärast projekti lõpetamist. 95. Komisjon peaks laialdasemalt kasutama hindamiseks vajalike asjakohaste andmete olemasolevaid täiendavaid allikaid (nii komisjonis kui ka liikmesriikides). 96. Komisjon peaks kasutama kõiki olemasolevaid hindamistehnikaid. Lisaks peaks komisjon toetama innovaatiliste lähenemisviiside väljatöötamist, et käsitleda teadusuuringutega seonduva avaliku sekkumise hindamisele omaseid metoodikaalaseid probleeme (vt I lisa), ja kasutama neid lähenemisviise oma hindamistes. 97. Komisjon peaks pidama liikmesriikidega nõu, kuidas maksimaalselt suurendada liikmesriigi tasandil teostatud raamprogrammide hindamisest saadavat kasu.

Hindamisleidude levitamine ja kasutamine

98. Hindamise tulemusel peaks saama asjakohast teavet ja analüüse, mida saab kasutada tõhusalt programmijuhtimisel ja poliitikakujundamisel. Hindamine peaks eelkõige panema aluse teabel põhinevale arutelule avaliku sekkumise tugevate ja nõrkade külgede üle, mis on vajalik õppimise eesmärgil. Kontrollikoda kontrollis, kas hindamine tehti õigel ajal, leidudest teavitati ja neid levitati huvirühmadele väljaspool komisjoni, ning kas komisjon võttis arvesse soovitused („õppeprogrammid”) käimasolevate projektide uuesti läbivaatamiseks.

Hindamise ajastamisel ei võetud arvesse, millist laadi teavet oleks olnud reaalne eeldada

99. Kontrollikoda tunnistab, et teatavat laadi analüüsid on pikaajalise perspektiiviga (nt tulemi ja sotsiaalmajandusliku mõju hindamine) ning mõned aspektid on seotud konkreetse programmitööperioodiga (nt. programmi eesmärgid, isegi antud teadusvaldkonna raames) ja mõned mitte (vt joonis 8). Komisjon ei ole oma hindamistoimingutes siiski kasutusele võtnud lähenemisviisi, mis võtaks arvesse neid ajalisi piire.

100. Vastavalt õigusaktidele peavad komisjoni peamised hindamistoimingud keskenduma eranditult viieaastasele hindamisele eelnevale viiele aastale, hõlmates seega kahe järjestikuse programmitööperioodi osad. Selle tulemusena ei ole keskpikka ja pikaajalist tulemit ja mõju peaaegu üldse käsitletud. Seetõttu on viieaastane hindamine keskendunud enamasti järelevalve aspektidele, lühiajalise programmi kavandamisega seotud küsimustele ja üldistele tähelepanekutele raamprogrammide suundumuse kohta. Kontrollikoda peab positiivseks asjaolu, et seitsmenda raamprogrammiga seotud õigusnormidega ei nõuta enam viieaastast või muu eelnevalt määratletud perioodi hindamist. Joonis 8 Järelevalve- ja hindamisteemad erinevatel perioodidel Programmi elluviimise järelevalve (programmi kestel) — Programmi juhtimisega seotud küsimused (nt lepingu sõlmimiseks ja makse tegemiseks kuluv aeg, osalemise ja edukaks osutumise määrad, eelarve täitmine, rahastamismäär jne) Hindamine Lühike ajavahemik (kõige varemalt näiteks 1–2 aasta pärast) — Programmi juhtimisega seotud küsimused (nt haldusmenetluste tõhusus) — Programmi kavandamisega seotud küsimused (nt vahendite kättesaadavus ja paindlikkus, takistused osalemisel, pakkumiskutsete ebaedu tagajärjed jne) — Osalemisprofiili analüüs (selles etapis peamiselt kvantitatiivne) Hindamine Keskpikk ajavahemik (näiteks 7 aasta pärast) — Programm i kavandamisega seotud küsimused (nt vahendite mõjusus) — Osalemise analüüs (milles ühendatakse kvalitatiivsed ja kvantitatiivsed aspektid, nt teadusvõrkude analüüs, mõju teadlaste tegevusele jne) — Projekti väljundite analüüs (62) (nt väljaanded, artiklid, patendid, litsentsid, prototüübid, koolitatud teadlased jne) Hindamine Pikk ajavahemik (näiteks alates 10 aasta pärast) — Väljundite ja mõjude hindamine Allikas: Euroopa Kontrollikoda.

101. Viieaastasel raamprogrammide tulemi ja mõju hindamisel esines puudusi, mida on märkinud ka komisjoni eksperdid: — eksperdirühm, kelle ülesanne oli teostada viieaastast hindamist 2004. aastal, märkis, et „… hindamine peaks käsitlema nii pikaajalisi kui ka lühiajalisi küsimusi ja pöörama neile piisavat tähelepanu” ja „… võiks eraldada vahendeid […], et võimaldada ambitsioonikamaid pikaajalisi hindamisuuringuid, milles võiks süstemaatilisemalt uurida struktuurilisi ja sotsiaalmajanduslikke aspekte laiemalt” (63); — teadusuuringute peadirektoraadi tellitud uuringus leiti, et „… praegust ELi teadusuuringute ja tehnoloogiaarenduse praktikat (hõlmates pidevat järelevalvet, viieaastast hindamist ja vahehindamist) iseloomustab tugev rõhuasetus järelevalvele, mitte mõju hindamisele” ja „… selleks et suunata nõudlus ja ootused […] sotsiaalmajandusliku mõju poole, on vaja uut hindamise ja järelevalve raamistikku, mis kohustaks väljundite järelevalve asemel tegema pigem suuremaid jõupingutusi mõju tasandil” (64).

102. Hindamistoimingute õigeaegsus mõjutab samuti õigusaktidega ettenähtud erihindamist. Näiteks 2004. aastal avaldatud Marimóni aruannet, milles analüüsiti seoses kuuenda raamprogrammiga (2003–2006) kasutusele võetud uusi vahendeid, nõuti liiga varajases etapis, mistõttu põhinesid järeldused vähesel praktilisel kogemusel ja empiirilisel tõendusmaterjalil, või puudusid need täielikult (65).

Teabe edastamine ja levitamine

103. Komisjon saab omal algatusel välja töötada ja kohandada operatiivseid tööprogramme lühiajalistele tsüklitele vastavalt, kui asjakohane programmikomitee on need heaks kiitnud. See võimaldaks kohandada programmijuhtimist ja samuti jagada ümber eelarvet alaprogrammide raames. Ei leitud tõendusmaterjali, et komisjon oleks sellist võimalust kasutanud (vt punkt 107).

104. Komisjonil on raamprogrammide kavandamise ja heakskiitmise viisi arvesse võttes peaaegu võimatu teha olulisi muudatusi, nagu programmi eesmärkide muutmine või eelarvete ümberjagamine alaprogrammide raames. Ainult seadusandja saab kehtestada sellised laiaulatuslikud muudatused raamprogrammi õigusaktide uuesti läbivaatamise (nagu 2010. aastal seitsmenda raamprogrammiga seoses) või järgmise raamprogrammi heakskiitmise raames. Sel põhjusel on tavaliselt õigusaktides sätestatud, et peamised hindamistoimingud tuleks ajastada nii, et nende tulemuste arvessevõtmisest oleks poliitikakujundamisel kõige rohkem kasu.

105. Seepärast on komisjoni hindamistoimingute peamised kasutajad teadusuuringute peadirektoraadid ise (66). Raamprogrammidega seotud õigusaktides nõutakse selgelt hindamise edastamist ka Euroopa Parlamendile ja nõukogule.

106. Kontrollikoja uurimuses Euroopa Parlamendi tööstuse, teadusuuringute, transpordi ja energeetika komitee (ITRE) ja nõukogu teadus- ja tehnikauuringute komitee (CREST) kohta osutas siiski enamik vastajatest, et neile ei antud raamprogrammide rakenduse ja tulemuste kohta piisavat teavet (vt joonis 9) (67).

Hindamisleidude järelkontroll

107. Iga-aastastes hindamise ülevaadetes esitab komisjon oma hindamistoimingute põhjal kokkuvõtte leidudest ja meetmetest (68). Järelkontrolli puhul on komisjon andnud ka ametlikud vastused leidude ja soovituste suhtes, mis on avaldatud viieaastase hindamise ja õigusaktidega nõutud erihindamise tulemusel, ning on võimaluse piires võtnud asjakohased meetmed nimetatud hindamisel tuvastatud puuduste käsitlemiseks. Seda aga ei tehtud siiski paljude muude läbivaadatud hindamisaruannete puhul ja ei leitud tõendusmaterjali, et tööprogrammide muudatustes oleks võetud arvesse nende leide ja soovitusi. Samuti ei osutata peadirektoraatide tegevuspõhise eelarvestamisega seonduvates selgitustes ja tegevusaruannetes, mil määral on hindamisleide võetud arvesse.

Soovitused

108. Komisjon peaks kehtestama hindamise laadi ja ulatuse, mida saab praktikas eeldada õigusaktidega (2008, 2010 ja 2015) kindlaksmääratud andmete puhul, ja selgitama, mil viisil saab kasutada hindamist programmide kohaldamiseks („õppeprogrammid”), ja määrama kindlaks, kuidas saab hindamine kaasa aidata poliitiliste otsuste tegemisele. Komisjon peaks eelkõige selgitama oma lähenemisviisi, mida ta kavatseb vastu võtta seoses eelmiste ja praeguste raamprogrammide pikaajaliste tulemuste hindamisega, arvestades, et selliste tulemuste saavutamine võib võtta aega seitse kuni kümme aastat (vt joonis 8). 109. Komisjon peaks läbi vaatama oma hindamisleidude edastamise ja levitamise praktika, et tagada huvirühmadele vajaliku teabe saamine. Eelkõige peaksid teadusuuringute peadirektoraadid andma kõigile hindamistele ametliku vastuse ja avaldama nimetatud uurimused koos oma vastustega õigel ajal. Teadusuuringute peadirektoraadid peaksid võtma oma tegevuspõhise eelarvestamisega seonduvates selgitustes ja aasta tegevusaruannetes arvesse ka järelkontrolli ja arvestama soovitusi tööprogrammide ajakohastamisel ja uute programmide kavandamisel.

ÜLDINE JÄRELDUS

110. Kontrollikoda tunnistab, et teadusuuringute ja tehnoloogiaarenduse raamprogrammide, eelkõige nende pikaajaliste tulemuste hindamine on iseenesest keeruline ja parima tava määratlemine ei ole kerge.

111. Kontrollikoja arvates on hindamine programmijuhtimise, tulevase planeerimise ja poliitikakujundamise seisukohalt ülimalt oluline. Hindamine on aluseks ka aruandekohustusele. Hindamisega esitatakse väärtuslikku teavet, kuidas on saadud eeldatavad (mitte-eeldatavad) tulemused, mil määral on saavutatud programmi eesmärgid, ning teavet programmide asjakohasuse ja kasulikkuse ning tõhususe ja mõjususe kohta programmi rakendamisel. Arvestades, et üldise suundumuse, eelarveküsimuste ja raamprogrammide kavandamise üle otsustavad Euroopa Parlament ja nõukogu, on vaja läbipaistvat, usaldusväärset ja põhjalikku hindamissüsteemi, et anda asjakohast teavet eespool nimetatud institutsioonidele.

112. Komisjon kehtestas üldise hindamisraamistiku 2000. ja 2002. aastal ning seejärel vaatas selle uuesti läbi 2007. aastal. Kuigi kontrollikoja auditeerimisperioodi jooksul ei täheldatud olulist paranemist raamprogrammide ja neid moodustavate programmide hindamise planeerimisel, kavandamisel ja rakendamisel, on teadusuuringute peadirektoraadid üldiselt järginud komisjonisiseseid vorminõudeid.

113. Käesoleva aruandega hõlmatud ajavahemikul kasutasid teadusuuringute peadirektoraadid hindamissüsteemi, nagu on nõutud raamprogrammide õigusaktides, ja komisjonil on esitada märkimisväärne arv hindamisuuringuid. Tuleb siiski tõdeda, et programmi eesmärkide saavutamise ja raamprogrammide tulemuste kohta on vähe või peaaegu üldse mitte teavet. See tuleneb asjaolust, et hindamine on tavaliselt keskendunud programmi rakendamisega seonduvatele lühiajaliste probleemidele. Seetõttu on olnud komisjoni hindamisest poliitikakujundajatele, huvirühmadele ja komisjonile endale vähe kasu.

114. Arvestades programmijuhtimise ja poliitikakujundamise tähtsust, tuleb komisjoni raamprogrammide ja nende alaprogrammide hindamist käsitlev lähenemisviis uuesti üle vaadata, pidades silmas uusi poliitilisi ülesandeid, täiendavaid vahendeid, ühenduse teadusuuringute poliitika suundumuse avardumist ja hiljutist komisjoni reformi. Seda soovitas 2007. aasta aruandes ka Euroopa teadusuuringute nõuandekomitee (EURAB).

115. Komisjon on arvamusel, et selge sekkumisloogika kasutamise tulemuseks tulevaste raamprogrammide kavandamisel on parema rõhuasetusega ja paremini struktureeritud programmid. Samuti toetab see komisjoni põhimõtet „parem seadusloome”, mille eesmärk on paremini kavandatud, lihtsam, tõhusam ja arusaadavam õiguslik keskkond (69).

116. Raamprogrammide ja neis sisalduvate programmide hindamine oleks tõhusam, kui programmi eesmärgid ja näitajad oleksid kohe algusest peale selgemad ja põhjalikumad, aga mitte ülemääraselt ettekirjutavad, kui raamprogramme rakendavad teadusuuringute peadirektoraadid lepiksid kokku hindamisstrateegias ja kasutaksid uudsemat hindamismetoodikat, kaasa arvatud kvantitatiivne lähenemisviis.

117. Kontrollikoda märkis samuti, et komisjon võiks teatud ulatuses uuesti läbi vaadata oma olemasoleva raamprogrammide hindamise organisatsioonilise korralduse. Kasuks võiks tulla, kui — hindamiseksperdirühmad kaasatakse hindamisprotsessi varem, osutades seega komisjonile kaasabi kogu programmitööperioodi jooksul ja pärast seda ning suurendades spetsialiseerumist seoses eriprogrammide ja vajaduse korral alaprogrammide eksperdirühmade loomisega; — igas peadirektoraadis olevaid hindamisüksusi täiendatakse, luues ühise hindamisüksuse, kes vastutab raamprogrammi hindamistoimingute kooskõlastamise eest.

118. Käesolevas aruandes sisalduvad soovitused põhinevad kas komisjonisisesel praktikal või rahvusvahelisel heal taval. Rahaliste vahendite osas on selge, et programmi hindamisel soovitatud lähenemisviisi kasutuselevõtt toob kaasa suuremad kulud. Kontrollikoja arvamuse kohaselt on siiski ülimalt tõenäoline, et sellest tulenev kasu on vähemalt samaväärne.

Kontrollikoda võttis käesoleva aruande vastu 22. novembri 2007. aasta istungil Luxembourgis. Kontrollikoja nimel president Hubert WEBER

(1) Majanduskoostöö ja Arengu Organisatsiooni kohaselt saab teadusuuringuid ja tehnoloogiaarendust määratleda kui loomingulist tööd, mida tehakse süstemaatiliselt, et suurendada teadmiste pagasit, kaasa arvatud teadmised inimeste, kultuuri ja ühiskonna kohta, ja kasutada seda teadmiste pagasit uute rakenduste väljatöötamiseks (vt OECD, Frascati Manual — Proposed standard practice for surveys on research and experimental development, Pariis, 2002, lk 30). Ühenduse kontekstis kasutatakse akronüümi TTA, mis hõlmab tehnoloogiat ning teadusuuringuid ja tehnoloogiaarendust.

(2) Teadusuuringute peadirektoraat on peamine peadirektoraat, kes juhib ja kooskõlastab raamprogramme. Viis ülejäänud peadirektoraati, kellest on kõige tähtsam infoühiskonna ja meedia peadirektoraat (teised on energeetika ja transpordi peadirektoraat, ettevõtluse ja tööstuse peadirektoraat, kalanduse peadirektoraat ja komisjoni teadusuuringute ühiskeskus), juhivad samuti (osaliselt) eriprogramme.

(3) Euroopa Ülemkogu Lissaboni istungil 2000. aastal seati eesmärgiks muuta Euroopa Liit 2010. aastaks kõige konkurentsivõimelisemaks, dünaamilisemaks ja jätkusuutlikumaks teadmistepõhiseks majanduseks, mida iseloomustab täielik tööhõive ning tõhusam majanduslik ja sotsiaalne ühtkuuluvus.

(4) Euroopa Ülemkogul 2002. aastal lepiti kokku, et 2010. aastaks tuleks teadusuuringuteks ja tehnoloogiaarenduseks tehtavaid üldkulutusi suurendada kolme protsendini RKTst. Lisaks selgitati, et kaks kolmandikku sellest uuest investeeringust peaks tulema erasektorist (vt Euroopa Komisjoni dokumenti „Investeerimine teadusuuringutesse: Euroopa tegevuskava”; komisjoni teatis Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele, KOM(2003) 226 lõplik, lk 7).

(5) Otsese haldamise puhul teostab komisjon oma eelarve täitmiseks vajalikud toiminguid ilma nende liikmesriikide või kolmandate riikide (kus kulutuste vastuvõtjad asuvad) sekkumiseta.

(6) Alates 2006. aastast on ainuüksi kuuendas raamprogrammis osalenud rohkem kui 22 000 avalikku ja eraõiguslikku juriidilist isikut üldjuhul mitme partneriga konsortsiumina.

(7) Sellise koostöömeetodi aluseks on vabatahtliku valitsustevahelise koostöö põhimõte. See tugineb eelkõige vastastikusele õppimisele, võrdlusuuringule ja parimate tavade jagamisele.

(8) Nõukogu 25. juuni 2002. aasta määrus (EÜ, Euratom) nr 1605/2002 (EÜT L 248, 16.9.2002, lk 1), artiklid 27, 48, 59 ja 60.

(9) Euroopa Komisjon, eelarve peadirektoraat, Dalia Grybauskaitė teatis komisjonile (mille komisjoni president on heaks kiitnud): „Responding to strategic needs: reinforcing the use of evaluation”, SEK(2007) 213, 21. veebruar 2007; Euroopa Komisjon, eelarve peadirektoraat, Michaele Schreyeri teatis komisjonile „Focus on Results: Strengthening Evaluation of Commission Activities”, SEK(2000) 1051, 26. juuli 2000.

(10) Euroopa Parlamendi ja nõukogu 18. detsembri 2006. aasta otsus nr 1982/2006/EÜ, mis käsitleb Euroopa Ühenduse teadusuuringute, tehnoloogiaarenduse ja tutvustamistegevuse seitsmendat raamprogrammi (2007–2013) (ELT L 412, 30.12.2006, lk 1): artikli 7 lõige 1; komisjoni järelevalveteabe esitamise kohustus programmikomiteedele määratletakse eriprogrammidega seotud otsustes (vt näiteks nõukogu 19. detsembri 2006. aasta otsus 2006/971/EÜ, mis käsitleb Euroopa Ühenduse teadusuuringute, tehnoloogiaarenduse ja tutvustamistegevuse seitsmenda raamprogrammi (2007–2013) rakendamise eriprogrammi „Koostöö”) (ELT L 400, 30.12.2006, lk 86): artikli 8 lõige 4 ja V lisa).

(11) Euroopa Komisjoni teatis nõukogule (Community Plan of Action relating to the Evaluation of Community R&D activities for the years 1987 to 1991), KOM(86) 660 lõplik, 20. november 1986, on vastuseks nõukogu 28. juuni 1983. aasta resolutsioonile.

(12) Euroopa Komisjon, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996”, sõltumatute ekspertide toimkonna (Viscount Davignoni juhtimisel) aruanne (1997); Euroopa Komisjon, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999”, sõltumatute ekspertide toimkonna (Joan Majó juhtimisel) aruanne (juuli 2000); Euroopa Komisjon, „Five-year Assesment of the European Union Research Framework Programmes, 1999–2003”, sõltumatute ekspertide toimkonna (Erkki Ormala juhtimisel) aruanne (15. detsember 2004).

(13) Euroopa Komisjon, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21. juuni 2004, kõrgetasemelise eksperdirühma (professor Ramon Marimóni juhtimisel) aruanne.

(14) Euroopa Komisjon, eelarve peadirektoraat, Michaele Schreyeri teatis komisjonile „Focus on Results: Strengthening Evaluation of Commission Activities”, juuli 2000, SEK(2000) 1051; Euroopa Komisjon, eelarve peadirektoraat, presidendi ja Michaele Schreyeri teatis komisjonile „Evaluation Standards and Good Practice”, K(2002) 5267, 23.12.2002.

(15) Euroopa Komisjon, eelarve peadirektoraat, Dalia Grybauskaitė teatis komisjonile (mille komisjoni president on heaks kiitnud): „Responding to strategic needs: reinforcing the use of evaluation”, SEK(2007) 213, 21. veebruar 2007.

(16) Euroopa Komisjon, personali töödokument, „Impact assessment and ex-ante evaluation”, SEK(2005) 430.

(17) ITRE — Euroopa Parlamendi tööstuse, teadusuuringute ja energeetika komitee (Industry, Research, Transport and Energy Committee) vastutab küsimuste eest, mis käsitlevad (eelkõige) tööstuspoliitikat, teaduspoliitikat (kaasa arvatud teadusuuringute tulemuste levitamine ja kasutamine), kosmosepoliitikat, Teadusuuringute Ühiskeskuse tegevust, Euratomi asutamislepingut ning infoühiskonda ja infotehnoloogiat.

(18) CREST — tehnika- ja teadusuuringute komitee (Committee for Scientific and Technical Research) loodi nõukogu 14. jaanuari 1974. aasta resolutsiooniga ja koosneb liikmesriikide ametiasutuste esindajatest, kes vastutavad teadus- ja tehnoloogiapoliitika eest liikmesriikides. CRESTil on nõuandev roll, teavitades komisjoni ja nõukogu eelkõige liikmesriikide TTA poliitika kooskõlastamisest ning raamprogrammide järelevalvest ja hindamisest.

(19) Loogilised mudelid, milles näidatakse sisendite abil eeldatavate tulemuste saavutamist erinevates tegevustes, näitestavad sekkumise loogikat kõige asjakohasemalt. Nende mudelite abil on võimalik arusaadaval viisil selgitada eeldusi, mis on programmi kavandamisviisi aluseks, ja kuidas üldised eesmärgid jagunevad tegevuseesmärkideks.

(20) Euroopa Komisjon, eelarve peadirektoraat, „Evaluating EU activities: a practical guide for the Commission services”, juuli 2004, lk 87 ja 106.

(21) „Five year Assesment of the European Union Research Framework Programmes, 1999–2003”, sõltumatu eksperdirühma (Erkki Ormala juhtimisel) aruanne (15. detsember 2004): 6. jagu „Evaluating the Framework Programme”, lk 19.

(22) Välisabi saavad riigid peavad ühendusepoolse rahastamise saamiseks esitama loogilised mudelid (Euroopa Komisjon, Aid delivery methods, Volume 1, Project cycle management guidelines, märts 2004, 5. jagu: The logical framework approach).

(23) Määruse (EÜ, Euratom) nr 1605/2002 artikli 27 lõige 3.

(24) 2006. aastal struktureeriti poliitikavaldkond „08 teadusuuringud” praeguse kuuenda raamprogrammi programmitööperioodi eriprogrammide (ja alaprogrammide) põhjal (ja selle tagajärjel asendati erineva struktuuriga 2007. aastal), kusjuures poliitikavaldkonnas „09 infoühiskond” ühendati eelnevad ja praegused eriprogrammid üheks tegevuspõhise eelarvestamise (ABB) tegevuseks (Euroopa Komisjon, teadusuuringute peadirektoraat, direktoraat A: Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006, 20.12.2005; Euroopa Komisjon, infoühiskonna ja meedia peadirektoraat, 2006. aasta juhtimiskava, 23.12.2005).

(25) Teadusuuringute peadirektoraadi suhtes muutusid tegevuspõhise juhtimise (ABM) süsteemi eesmärgid (ja nende saavutamise mõõtmiseks kasutatavad näitajad) igal aastal. Teisest küljest kasutas infoühiskonna peadirektoraat mitmeaastaseid eesmärke, mis ei olnud siiski identsed programmi eesmärkidega (või tööprogrammi tasandil kindlaksmääratud eesmärkidega).

(26) Euroopa Komisjon, siseauditi talitus, Review of effectiveness and efficiency of the SPP/ABM cycle — peasekretariaat ja eelarve peadirektoraat, 2005: punkt 4.1, lk 31.

(27) Euroopa Komisjon, „Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes”, KOM(83) 1 lõplik, 19. jaanuar 1983.

(28) Komisjoni teatis nõukogule ja Euroopa Parlamendile, „Ühenduse teadusuuringute ja tehnoloogiaarenduse valdkonna tegevuse sõltumatu välisjärelevalve ja -hindamine”, 22.5.1996, (KOM(1996) 220 lõplik).

(29) Iga raamprogramme rakendav peadirektoraat dokumenteerib oma kavandatava hindamise iga-aastastes (ja mitmeaastastes) hindamiskavades. Neid hindamiskavasid ei saa siiski käsitleda tõelise hindamisstrateegiana.

(30) Määruse (EÜ, Euratom) nr 1605/2002 artikli 27 lõige 4.

(31) „Loi de programme pour la recherche no 2006–450”, 18.4.2006 ja „Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)”, 3.11.2006.

(32) Agencia Nacional de Evaluación y Prospectiva under the Ministerio de Educación y Ciencia: Orden ECI/1252/2005, 4. mai 2005, millega luuakse „Comisión Asesora de Evaluación y Prospectivy” (hindamise ja tulevikuplaanide nõuandekomitee).

(33) 2004. aastal asutas Deutsche Forschungsgemeinschaft (DFG) erikallakuga instuudi Institut für Forschungsinformation und Qualitätssicherung (IFQ), millele tehti ülesandeks välja arendada ja standardiseerida hindamismetoodika, kvaliteedi tagamine, ning teostada DFG rahastatavate teadusuuringute ja tehnoloogiaarendusega seonduva tegevuse hindamine.

(34) Seitsmenda raamprogrammi raames on komisjon loonud 15 eksperdirühma (EAG), võrreldes 12 ekspertide toimkonnaga kuuenda raamprogrammi raames ja 17 ekspertide toimkonnaga viienda raamprogrammi raames. Nimetatud eksperdirühmad nõustavad komisjoni poliitika ja raamprogrammidega seonduvates küsimustes. Tuleks märkida, et nimetatud eksperdirühmadega ei hõlmata täielikult kõiki raamprogrammides sisalduvaid programme. See tähendab, et eksperdirühma iga eriprogrammi (või alaprogrammi) puhul ei looda.

(35) Kanadas on hindamissüsteemi kontrollimiseks loodud alalised hindamiskomiteed peaaegu kõigis föderaalvalitsuse ministeeriumides, kaasates kõrgemate ametikohtade töötajad ja tavaliselt ka välishuvirühmad („Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee — Mandate and Membership).

(36) Euroopa Komisjon, „Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes”, august 2005, lk 5.

(37) Euroopa Komisjon, „Planning and optimising Commission human resources to serve EU priorities”, SEK(2007) 530, 24. aprill 2007.

(38) Euroopa Komisjon, komisjoni presidendi ja Michaele Schreyeri teatis komisjonile „Evaluation standards and good practice”, K(2002) 5267, 23.12.2002; Euroopa Komisjon, komisjoni personali töödokument, „Impact assessment and ex-ante evaluation”, SEK(2005) 430, 6. aprill 2005, 1. lisa, joonealune märkus 209.

(39) Euroopa teadusuuringute nõuandekomitee (EURAB) soovitas samuti suurendada raamprogrammide hindamisega tegelevate töötajate arvu, (EURAB, „Recommendations on Ex-Post Impact Assessment”, juuli 2007).

(40) Eriaruanne nr 1/2004 teadusuuringute ja tehnoloogiarenduse viienda raamprogrammi (1998–2002) kaudsete TTA meetmete haldamise kohta (ELT C 99, 23.4.2004), punktid 116 ja 122.

(41) Euroopa Komisjon, eelarve peadirektoraat, Dalia Grybauskaitė teatis komisjonile (mille komisjoni president on heaks kiitnud): „Responding to strategic needs: reinforcing the use of evaluation”, SEK(2007) 213, 21. veebruar 2007; Euroopa Komisjon, komisjoni presidendi ja Michaele Schreyeri teatis komisjonile „Evaluation standards and good practice”, K(2002) 5267, 23.12.2002.

(42) 14 peadirektoraadil on sellised hindamise käsiraamatud nende vastutuses olevate poliitikavaldkondade ja programmide kohta (Euroopa Komisjon, eelarve peadirektoraadi hindamistalitus, „Overview of Evaluation Guides in the Commission”, oktoober 2004).

(43) Fahrenkrog, G. jt, RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS — JRC, 2002; PREST jt; „Assessing the Socio-economic Impacts of the Framework Programme”; Manchesteri ülikool, 2002.

(44) Kuigi tavaliselt on komisjonil selline teave osalejate kohta, ei ole seda üksikasjalikuks analüüsimiseks lihtne kasutada, kuna andmeid teatava osaleja kohta ei säilitata ühes kohas või ei registreerita alati ühilduval andmeedastusformaadil. Seetõttu on raske jälgida osaleja hõivatust aja jooksul, hinnata näiteks mitteosalemise põhjuseid ja osalejate omavahelisi suhteid, et uurida näiteks võrgustiku mõju (vt punkt 84).

(45) 2006. eelarveaasta aastaaruande tabel 2.3; 2005. eelarveaasta aastaaruande punkt 7.13; 2004. eelarveaasta aastaaruande punktid 6.8 ja 6.10; 2003. eelarveaasta aastaaruande punktid 6.9 ja 6.70, eriaruande nr 1/2004 punktid 105–108; arvamus nr 1/2006 ettepaneku kohta, mis käsitleb Euroopa Parlamendi ja nõukogu määrust, millega kehtestatakse ettevõtete, uurimiskeskuste ja ülikoolide Euroopa Ühenduse seitsmenda raamprogrammi (2007–2013) meetmetes osalemise ning uurimistulemuste levitamise eeskirjad (ELT C 203, 25.8.2006), punkt 57.

(46) Euroopa Ühenduse asutamisleping, artikkel 173: „Iga aasta alguses saadab komisjon Euroopa Parlamendile ja nõukogule aruande. Aruanne sisaldab informatsiooni uurimistegevuse ja tehnoloogia arendamise ning tulemuste levitamise kohta eelmise aasta jooksul ning jooksva aasta tööprogrammi”.

(47) Pärast projekti lõpuleviimist ei ole osalejatelt kogutud andmeid süstemaatiliselt, välja arvatud hindamisega seotud konkreetseteks uuringuteks. Uuringute kasutamist on takistanud asjaolu, et osalejad (välja arvatud paljudes riiklikes TTA programmides (nt Saksamaa)) ei ole õigusjärgselt kohustatud selliseid analüütilisi andmeid esitama.

(48) Eriaruande nr 1/2004 punkt 94; arvamuse nr 1/2006 punkt 56.

(49) 2006. eelarveaasta aastaaruande punkt 7.33; 2005. eelarveaasta aastaaruande punktid 7.8 ja 7.29, arvamuse nr 1/2006 punktid 58–61.

(50) CORDIS on ainus andmebaas, mis esitab teavet ettepanekute, projektide ja tulemuste kohta, mis on ühised raamprogrammi kohta tervikuna, hõlmab mitmeid programmitööperioode ja millele on juurdepääs väljastpoolt komisjoni. CORDISe andmeid erinevate projektide kohta on pärast projekti heakskiitmist harva ajakohastatud. Kuni kuuenda raamprogrammini (kaasa arvatud) ei olnud era- ja avalikust sektorist pärit raamprogrammides osalejad kohustatud oma tulemusi avaldama (European Research Advisory Board, EURAB), „Scientific publication: policy on open access”, detsember 2006).

(51) Hanne Foss Hansen, „Choosing evaluation models: A discussion on evaluation design”, Evaluation, Vol. 11, No 4, 2005, lk 447–462.

(52) Kuni kuuenda raamprogrammini (kaasa arvatud) ei olnud era- ja avalikust sektorist pärit raamprogrammides osalejad kohustatud avaldama oma teadusuuringute tulemusi. 2006. aasta detsembris soovitas EURAB komisjonil teha nimetatud teadusuuringute tulemuste avaldamine kohustuslikuks, et tagada avalikkusele juurdepääs ühenduse rahastatud teadusuuringutele. EURAB tegi komisjonile ettepaneku luua projekti tulemuste avaldamiseks ka veebipõhine arhiiv (vt EURAB, „Scientific publication: policy on open access”, detsember 2006).

(53) Märgitakse, et kavandatud seitsmenda raamprogrammi mikro- ja makromajanduslike mõjude prognoosimiseks kasutati selliseid mudeleid (vt Euroopa Komisjon, „Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes”, august 2005, lk 23–25). Siiski ei ole tõendusmaterjali, et selline raamprogrammide potentsiaalsete majanduslike mõjude hindamine on seotud järelhindamiskavaga.

(54) Infoühiskonna ja meedia peadirektoraat, „IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)”, 2005; „Networks of innovation in information society development and development in Europe”, 2006.

(55) Infoühiskonna ja meedia peadirektoraat, lõpparuanne: „ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area” (lõpparuanne), 2005; „Evaluation of progress towards a European Research Area for information society technologies”, 2005; „Networks of innovation in information society development and deployment in Europe”, 2006.

(56) Infoühiskonna ja meedia peadirektoraat: „Framework contract for Impact Assessments for research in the field of Information Society Technologies”.

(57) Euroopa teadusuuringute nõuandekomitee (EURAB), „Recommendations on Ex-Post Impact Assessment”, juuli 2007.

(58) Euroopa Komisjon, „Five-year Assessment of the European Union Research Framework Programmes, 1999–2003”, sõltumatute ekspertide toimkonna (Erkki Ormala juhtimisel) aruanne (15. detsember 2004), 1. lisa.

(59) Euroopa Komisjon, „The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report” (1995).

(60) Euroopa Komisjon, „Design of an harmonized impact study methodology for the R&D EU Framework Programmes”, 1992.

(61) Euroopa Komisjoni personali töödokument „The European Research Area: new perspectives”, SEK(2007) 412/2, 4. aprill 2007, punkt 3.3.3 „ERA and the implications for evidence -based monitoring and evaluation”, lk 93.

(62) Tuleb märkida, et projekti toetuslepinguid sõlmitakse kogu programmitöö perioodi vältel nii, et esimesed lepingud jõustuvad üldiselt programmi esimese aasta lõpus. Nimetatud lepingute kestus on tavaliselt kolmest viie aastani, seega võib lõplikke tulemusi oodata kõige varem nelja kuni kuue aasta pärast.

Allikas: Euroopa Kontrollikoda.

(63) Euroopa Komisjon, „Five year assessment of the European Union Research Framework Programmes, 1999–2003”, sõltumatute ekspertide toimkonna (Erkki Ormala juhtimisel) aruanne (15. detsember 2004): 6. jagu „Evaluating the Framework Programme”, lk 19.

(64) Euroopa Komisjon, „Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, the so called „EPUB Toolbox”, välja antud teadusuuringute ühiskeskuse — tulevikutehnoloogiate uuringute instituudi (Institute for Prospective Technological Studies, IPTS) ja Joanneum Research'i poolt (august 2002), kommenteeritud kokkuvõte, lk 9 ja 12.

(65) Euroopa Komisjon, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21. juuni 2004, kõrgetasemeliste ekspertide toimkonna (professor Ramon Marimóni juhtimisel) aruanne, lk 20.

(66) European Policy Evaluation Consortium (EPEC) (Euroopa poliitika hindamise konsortsium), Technopolis France, „Study on the use of evaluation results in the Commission: Final report”, toimik nr 1, Synthesis report and annexes, mai 2005.

(67) Vastajad teadus- ja tehnikauuringute komiteest (kes on sageli ka programmikomiteede liikmed) avaldasid suuremat rahuolu, mis võib tuleneda nende ametlikust osast programmi rakendamise järelevalves.

(68) Euroopa Komisjon, komisjoni personali töödokument, Annual Evaluation Review 2004 — Overview of the Commission evaluation findings and activities, SEK(2005)587, 28. aprill 2005.

(69) Euroopa Komisjon, eelarve peadirektoraat, Dalia Grybauskaitė teatis komisjonile (mille on komisjoni president heaks kiitnud): „Responding to strategic needs: reinforcing the use of evaluation”, SEK(2007) 213, 21. veebruar 2007, lk 4.

I LISA TEADUSUURINGUTE JA TEHNOLOOGIA ARENGU AVALIKU SEKKUMISE MÕJU JA TULEMUSTE HINDAMINE Mõned peamised metoodilised raskused teadusuuringute ja tehnoloogia arengu avaliku sekkumise mõju ja tulemuste hindamisel on: — „Probleemid seoses omistamisega”: Probleemid seoses omistamisega esinevad hindamiste ja tulemuslikkuse mõõtmise osas. Need probleemid on tihedalt seotud „täiendavuse” teemaga, milles küsitakse, kas muutuste ärajäämine oli paratamatu. Tulemuste omistamine konkreetsele avalikule sekkumisele on raske ja seda mõjutavad ka arvukad välistegurid (nagu teiste poliitikate ja programmide mõju, muudatused õiguslikus raamistikus, ühiskondlikud muutused jne). Pealegi võib teadusuuringute valdkonnas eeldatavate tulemuste mittesaavutamine osutuda hoopis kasulikuks. Olukorda raskendab veelgi asjaolu, et teadusuuringute väljundeid ning loomulikult ka tulemusi ja mõjusid on keeruline selgesti omistada TTA protsessi konkreetsetele aspektidele või isegi teadusuuringute eraldi üksustele. — „Probleemid seoses mõõtmisega”: — „Andmete kättesaadavus”: Üldiselt on enamik saadaval olevatest andmetest, eriti järelevalvesüsteemide kaudu kogutud andmed, pigem TTA tegevuse sisendite ja väljundite kui tulemuste ja mõjude kohta. — „Dünaamika mõistmine”: Arvestades ilmse raskusega sisendite ja väljundite vaheliste põhjuslike seoste modelleerimisel, jääb uurimisprotsessi sisemine dünaamika ebaselgeks ning selge sekkumisloogika puudumise tõttu peetaksegi protsessi ennast „mustaks kastiks”. — „Tulemuste võrreldavus”: Erinevate teadusvaldkondade tulemuste vahel tehtava võrdluse ulatus on piiratud, seega tuleb neid üldiselt tõlgendada konkreetsete programmide ja alaprogrammide kontekstis. Lisaks on tulemuste hindamine keerulisem põhiuuringute (või alusuuringute) kui rakendusuuringute või tehnoloogia arengu puhul. Selle peamine põhjus on asjaolu, et põhiuuringud koosnevad tavaliselt ainulaadsetest ja kordumatutest menetlustest. Isegi rakendusuuringute valdkonnas erinevad tulemused oluliselt ning nende võrdlemine ei ole seetõttu kerge. — „Koondatud tulemused”: hindamiste tulemuste põhjal on raske teha otsuseid selle kohta, millised on madalama tasandi väljundid, tulemused ja mõjud järgmisele tasandile siirdudes (näiteks projekti tulemuste koondamisel esiteks projektirühmades, seejärel programmi erinevates valdkondades ja lõpuks programmis tervikuna). — „Indikaatorite piisavus”: Tekib ka küsimus, kas hindajad hindavad õigeid asju. Indikaatorid peavad olema kergesti mõõdetavad, raskesti manipuleeritavad ja edendama õiget teguviisi. „Mõõdetavate” väljundite indikaatori abil ei ole aga alati võimalik teha järeldusi tulemuste või mõjude kohta. — „Ajastamisega seonduvad probleemid”: Takistavaks teguriks on samuti asjaolu, et nii uurimistegevuse kui ka väljundite ja tulemuste tekitamise vahele jääb märkimisväärselt pikk ajavahemik enne, kui mõju on võimalik hinnata. Andmeid tuleb koguda pika ajavahemiku jooksul, et võimaldada tähenduslike ja põhjalike järelduste tegemist. Sellised hindamise ajakavad ei ühti sageli poliitikakujundajate ootuste ja vajadustega, mistõttu tuleb teha kompromiss poliitikakujundamise raames vajalike tulemuste kiireks edastamiseks ja mõjude ilmnemiseks vajatava aja eraldamise vahel. — „Ekslikud projekti käsitlused”: Programmi raames teostatavate üksikprojektide tulemuste ja mõjude hindamisel tuleb arvestada raske valikuga, et tehnoloogilised ja teaduslikud tulemused saavutatakse tavaliselt siis, kui kasutatakse ära ka eelnevalt tehtud töö. Samal viisil võib osapool enne tulemuste avaldamist ja rakendamist kasutada projekti tulemusi muu töö jaoks. Seega ei ole projekt iseenesest tingimata asjakohane hindamise raamistik, eelkõige pikemaajalise tulemi ja mõjude puhul. — „Usaldusväärsus, terviklikkus ja sõltumatus”: Hindamise kvaliteet sõltub suures osas sellest, kui ulatuslikud on hindajate teadmised vastavas valdkonnas, eeldades ühelt poolt teema mõistmise ja eksperditeadmiste ning teiselt poolt sõltumatuse ja objektiivsuse ühendamist. Kvaliteet sõltub samuti nii poliitikakujundajate oletustest ja huvidest kui ka hindamise alustest ja eesmärkidest.

II LISA JÄRELEVALVET JA HINDAMIST KÄSITLEVAD SÄTTED RAAMPROGRAMMIDE KOHTA TEHTUD OTSUSTES NELJANDAST SEITSMENDA RAAMPROGRAMMINI Neljas raamprogramm (1995–1998) (1) Viies raamprogramm (1999–2002) (2) Kuues raamprogramm (2003–2006) (3) Seitsmes raamprogramm (2007–2013) (4) Otsus raamprogrammi kohta — nõukogu ja Euroopa Parlament Euroopa Parlamendi ja nõukogu 26. aprilli1994. aasta otsus nr 1110/94/EÜ teadusuuringuid, tehnoloogia arendust ning tutvustamistegevusi hõlmava neljanda raamprogrammi (1994–1998) kohta: artikkel 4 Euroopa Parlamendi ja nõukogu 22. detsembri 1998. aasta otsus nr 182/1999/EÜ Euroopa Ühenduse (EÜ) teadusuuringui