FI Euroopan unionin virallinen lehti C 26/1

ERITYISKERTOMUS nro 9/2007

”tutkimusta ja teknologista kehittämistä koskevien EU:n puiteohjelmien arvioinnista – voidaanko komission lähestymistapaa parantaa?” sekä komission vastaukset

(annettu EY:n perustamissopimuksen 248 artiklan 4 kohdan toisen alakohdan nojalla)

(2008/C 26/01)

SISÄLLYS

I—V TIIVISTELMÄ

1—14 JOHDANTO

1—7 Euroopan unioni tutkimuksen ja teknologisen kehittämisen tukijana

8—14 Puiteohjelmien arviointi ja seuranta

15—18 TARKASTUKSEN SISÄLTÖ JA LÄHESTYMISTAPA

19—109 TARKASTUKSEEN PERUSTUVAT HUOMAUTUKSET

19—37 Puiteohjelmiin sovellettava toimintalogiikka ei ole ollut selkeä

38—49 Arviointistrategia

50—68 Puiteohjelmien arvioinnin järjestäminen

69—97 Arviointimenetelmät ja -tekniikat

98—109 Arviointihavaintojen levittäminen ja hyödyntäminen

110—118 YLEISET PÄÄTELMÄT

Liite I: TTK-toimiin liittyvien julkisten tukitoimenpiteiden vaikutusten ja tulosten mittaaminen

Liite II: Seurantaa ja arviointia koskevat säännökset puiteohjelmista tehdyissä päätöksissä neljännestä puiteohjelmasta seitsemänteen

Liite III: Tutkimusohjelmien jälkiarvioinnin keskeiset erot EU:n (neljännestä puiteohjelmasta kuudenteen), Yhdysvaltojen ja Kanadan välillä

Liite IV: Arviointiryhmien mahdollinen rakenne seitsemännen puiteohjelman yhteydessä

Komission vastaukset

TIIVISTELMÄ

I Yhteisön TTK-puiteohjelmat muodostavat suurimman tutkimustoiminnan julkisen rahoituslähteen Euroopan unionin alueella. Komissio vastaa puiteohjelmien hallinnoinnista ja niiden tulosten arvioinnista.

II Tarkastus kattoi käytössä olevat seuranta- ja arviointijärjestelyt vuodesta 1995 alkaen – kolmen viimeisimmän ohjelmakauden ajalta (neljäs, viides ja kuudes puiteohjelma) – ja sen yhteydessä luotiin katsaus myös seitsemänteen puiteohjelmaan (2007–2013). Tarkastus toimitettiin yhteistyössä EFTAn tarkastajien kanssa, ja siihen osallistui myös ulkopuolisia asiantuntijoita.

III Tarkastuksessa tutkittiin, oliko komission lähestymistapa puiteohjelmien tulosten arviointiin riittävän kattava. Tätä silmällä pitäen tilintarkastustuomioistuin tarkasti, täyttikö komissio arvioinnille asetetut oikeudelliset vaatimukset, ja tutki, vastasiko komission arviointi- ja seurantajärjestelmä osallistujien odotuksia. Tilintarkastustuomioistuin perehtyi erityisesti seuraaviin kysymyksiin: i) onko puiteohjelmien ja niihin sisältyvien ohjelmien taustalla toimintalogiikka, joka luo vakaan perustan arvioinnille ja seurannalle; ii) onko komissio määrittänyt puiteohjelmiin sovellettavan arviointistrategian; iii) onko puiteohjelmiin sovellettava komission arviointijärjestelmä organisaatiorakenteeltaan sellainen, että arvioinnin asianmukainen koordinointi ja riittävät resurssit kyetään varmistamaan ja että osallistujat pitävät arviointia riittävän riippumattomana; iv) ovatko arviointiin käytetyt menetelmät tyydyttäviä; v) saadaanko arviointi- ja seurantatoimien avulla tietoa ja analyysejä, jotka ovat hyödynnettävissä käynnissä olevien ohjelmien parantamiseen ja tulevien puiteohjelmien valmisteluun.

IV Tilintarkastustuomioistuin teki seuraavat havainnot ja päätelmät: i) Selkeän toimintalogiikan puuttuminen ja heikosti määritetyt ohjelmatavoitteet sekä puutteellinen tulosten mittaaminen heikensivät mahdollisuuksia tehokkaaseen seurantaan ja arviointiin. ii) Puiteohjelmiin sovellettavan kattavan, puiteohjelmia toteuttavien tutkimusalan pääosastojen hyväksymän arviointistrategian puuttuminen johti epäyhtenäisiin lähestymistapoihin komission yksiköiden välillä; tätä kuvastaa etenkin se, että huomattavia osia puiteohjelmista arvioitiin liian vähän. iii) Puiteohjelmien arviointi oli hajautettu, puiteohjelmia toteuttavien pääosastojen nykyiset koordinointimekanismit tehottomia, eikä komission keskusyksiköillä ollut valvontavastuuta. Tutkimusalan pääosastot ovat kuitenkin yleisesti ottaen noudattaneet komission virallisia arviointivaatimuksia. Komission laajoihin arviointeihin nimittämistä korkean tason ulkoisista asiantuntijoista koostuvien työryhmien käyttö soveltui hyvin yhteisön toimintaympäristöön. Tilapäiset arviointiryhmät eivät kuitenkaan olleet mukana prosessissa riittävän varhaisessa vaiheessa voidakseen vaikuttaa todentavan aineiston keräämiseen, minkä lisäksi niillä oli vain rajalliset mahdollisuudet seurata merkittäviin kysymyksiin liittyvää kehitystä ajan kuluessa. Käytössä oli ainoastaan yleinen puiteohjelmista vastaava arviointiryhmä (sekä yhtä erityisohjelmaa varten perustettu ryhmä), joten puiteohjelmien kattamiin eri tieteenaloihin liittyviin erityiskysymyksiin ei kiinnitetty riittävästi huomiota. iv) Menetelmiä koskevaa ohjausta ei annettu riittävästi, arvioijilla oli vaikeuksia olennaisten tietojen keräämisessä eikä ollut olemassa arviointikertomuksia, joissa käsiteltäisiin puiteohjelmien tuloksia ja vaikutuksia pidemmällä aikavälillä ohjelmien täytäntöönpanoon liittyvien lyhyen aikavälin kysymysten sijasta. v) Edellä esitetyn tuloksena sekä siksi, että arvioinnit suoritettiin usein liian varhaisessa vaiheessa oleellisimpien kysymysten käsittelyn kannalta, puiteohjelmia koskevasta komission arviointijärjestelmästä ei ollut juurikaan hyötyä politiikkojen laatijoille, osallistujille tai edes komissiolle itselleen. Puiteohjelmien tavoitteiden saavuttamisesta ja tuloksista tiedetään loppujen lopuksi hyvin vähän.

V Tilintarkastustuomioistuin suosittaa seuraavaa: i) Toimintalogiikka olisi tuotava tulevaisuudessa selkeästi esille lainsäädännössä. Taustalla vaikuttavat oletukset on selvitettävä, tieteellisten ja sosiaalis-taloudellisten tavoitteiden välinen yhteys täsmennettävä ja asianmukaisia tulosindikaattoreita kehitettävä. ii) Puiteohjelmia toteuttavien pääosastojen olisi kehitettävä (ja hyväksyttävä) kattava arviointistrategia. Siihen tulisi sisältyä yhtenäinen määritys vähimmäistasosta, josta alkaen on suoritettava yksityiskohtainen arviointi kunkin tieteenalan erityispiirteiden huomioon ottamiseksi. iii) Olisi harkittava yhteisen arviointiyksikön perustamista. Kyseinen yksikkö koordinoisi tutkimusalan pääosastojen puiteohjelmia koskevia arviointitoimintoja kokonaisuudessaan. Lisäksi olisi harkittava ulkoisista asiantuntijoista koostuvien työryhmien (ja alatyöryhmien) perustamista. Työryhmät olisi perustettava riittävän varhaisessa vaiheessa, jotta ne voivat tukea komissiota tehokkaasti ja jatkaa tuen antamista koko ohjelmakauden ajan ja sen jälkeenkin. iv) Arviointia ja seurantaa koskevat tietotarpeet olisi analysoitava perusteellisesti ja käytettävä laaja-alaisemmin muita olemassa olevia tietolähteitä. Komission olisi myös järkeistettävä osallistujiin sovellettavia raportointivaatimuksia. Lisäksi komission olisi laadittava kattava puiteohjelmiin sovellettava arviointikäsikirja ja kehitettävä alaa varten laajempi joukko arviointimenetelmiä ja -tekniikoita. v) Komission olisi määritettävä, minkätyyppistä ja -laajuista arviointia voidaan perustellusti odottaa seitsemättä puiteohjelmaa koskevassa lainsäädännössä määritettyihin ajankohtiin mennessä, sekä selvitettävä, miten arviointeja voidaan hyödyntää ohjelmien mukauttamisessa (”oppimisohjelmat”) ja missä määrin ne voivat vaikuttaa poliittisiin päätöksiin.

JOHDANTO

Euroopan unioni tutkimuksen ja teknologisen kehittämisen tukijana

1. Tutkimus ja teknologinen kehittäminen (TTK) (1) muodostavat tieteellisen ja teknologisen edistyksen sekä innovaatioiden pääasiallisen perustan ja vaikuttavat siten merkittävästi elintason parantumiseen. Julkinen tukitoimenpide on TTK-alalla yleensä perusteltu toimenpiteenä, joka korjaa ns. markkinoiden toimintapuutteita. Julkisen tuen avulla vähennetään epävarmuutta ja järjestetään investointeja aloille, joilla tutkimuksesta on julkista hyötyä tai joilla ilmenee huomattavia ulkoisia vaikutuksia.

2. Euroopan yhteisön perustamissopimuksen 163 artiklan mukaan ”yhteisön tavoitteena on lujittaa yhteisön teollisuuden tieteellistä ja teknologista perustaa sekä suosia yhteisön teollisuuden kansainvälisen kilpailukyvyn kehittämistä samoin kuin edistää kaikkea tutkimustoimintaa, jota pidetään tarpeellisena …”. Perustamissopimuksen 164–173 artiklassa määritetään tältä osin toteutettavat toimet sekä monivuotisten TTK-puiteohjelmien sovellusala ja täytäntöönpano. Komissio vastaa puiteohjelmia koskevien ehdotusten esittämisestä, kun taas niitä koskevat päätökset sekä osallistumista ja levittämistä koskevat säännöt perustuvat Euroopan parlamentin ja neuvoston yhteispäätösmenettelyyn. Neuvosto hyväksyy erityisohjelmat itsenäisesti. Puiteohjelmien täytäntöönpanosta vastaa yhteisesti kuusi ”tutkimusalan pääosastoa” (2).

3. Euroopan unioni toteuttaa lukuisia innovaatioita ja kilpailukykyä tukevia politiikkoja. Puiteohjelmat ovat yhteisön tasolla Lissabonin strategian (3) ja Barcelonan tavoitteiden (4) kannalta tärkein rahoitusväline.

4. Yhteisö rahoittaa puiteohjelmien avulla Euroopan unionin alueella, assosioituneissa maissa sekä kansainvälisissä organisaatioissa toimivia tutkijoita. Puiteohjelmien määrärahat ovat vuosien kuluessa kasvaneet huomattavasti; vuotuinen kokonaismäärä on seitsemännen puiteohjelman yhteydessä 7 217 miljoonaa euroa, kun se neljännen puiteohjelman yhteydessä oli 2 761 miljoonaa euroa (ks. kaavio 1). Puiteohjelmat muodostavat suurimman osuuden suoran keskitetyn hallinnoinnin piiriin kuuluvista komission talousarviomäärärahoista (5).

5. Puiteohjelmat eroavat monista kansallisista ohjelmista siltä osin, että ne kattavat sekä perustutkimuksen että soveltavan tutkimuksen, joihin osallistuu myös teollisuustahoja ja julkisia tutkimuslaitoksia (6). Puiteohjelmat koostuvat erityisohjelmista (ja alaohjelmista), jotka koskevat laajoja tieteellisiä aloja. Ohjelmat kattavat yleensä useita aloja, jotka puolestaan keskittyvät tiettyihin tieteellisiin erityisaloihin, joilla toteutetaan hankkeita (”välillisiä toimenpiteitä”) ehdotuspyyntöjen perusteella. Menettelyn avulla rahoitetaan aloittain satoja yksittäisiä hankkeita.

6. Puiteohjelmien kokonaisosuus julkisen TTK-rahoituksen kokonaismäärästä Euroopan unionissa ja sen jäsenvaltioissa vaihtelee neljän ja viiden prosentin välillä. Ohjelmilla on kuitenkin paljon laajempi vaikutus Euroopassa harjoitettavan tutkimustoiminnan määrittämiseen. Tämä johtuu siitä, että yhteisön avustukset kattavat yleensä ainoastaan osan hankkeen kokonaisrahoituksesta. Lisäksi tutkijoiden on rahoitusta hakiessaan osoitettava, että heidän hankkeensa kohdentuvat ehdotuspyynnössä yksilöityihin tavoitteisiin. Puiteohjelmat kannustavat näin suuntaamaan TTK-toimia EU:n erityistavoitteisiin.

7. Puiteohjelmiin on viime vuosina tehty huomattavia muutoksia, joiden taustalla vaikuttavat seuraavat tekijät: — uudet poliittiset haasteet (Lissabonin strategia ja Barcelonan tavoitteet, eurooppalaisen tutkimusalueen perustaminen ja avoimen koordinointimenetelmän (7) lisääntyvä käyttö tutkimus- ja innovaatiopolitiikan alalla), — puiteohjelmien painopisteen muuttaminen pelkästä teknisten ongelmien ratkaisemisesta (neljäs puiteohjelma) ja erityisten sosiaalisten ongelmien käsittelystä (viides puiteohjelma) tutkimusorganisaatioiden yhteistyön tukemiseen eurooppalaisen tutkimusalueen sisällä ja osaamistalouden ja -yhteiskunnan perustamisen tukemiseen (kuudes ja seitsemäs puiteohjelma), — ohjelmakausien pidentyminen (aiemmin neljä vuotta, nyt seitsemännen puiteohjelman yhteydessä seitsemän vuotta kauden 2007–2013 rahoitusnäkymien mukaisesti), — jäsenvaltioiden ja osallistujamaiden lukumäärän kasvu, — rahoituksen lisääntyminen erityisesti nykyisten rahoitusnäkymien yhteydessä, — Euroopan tutkimusneuvoston perustaminen ja ohjelmien hallinnointitoimintojen siirtäminen toimeenpanovirastoille seitsemännestä puiteohjelmasta alkaen, — laaja-alaisten rahoitusvälineiden lisääntyvä käyttö (esimerkiksi huippuosaamisen verkostot, integroidut hankkeet, 169 artiklaan perustuvat hankkeet ja yhteiset teknologia-aloitteet).

Puiteohjelmien arviointi ja seuranta

8. Komissio vastaa ohjelmien täytäntöönpanosta ja niiden tulosten arvioinnista (8). Arviointi on hajautettu komissiossa pääosastoille, ja keskusyksiköt (etenkin budjettipääosasto ja pääsihteeristö) vastaavat tuesta sekä koordinoinnista.

9. Tässä kertomuksessa käytetään komission omia määritelmiä, joiden mukaan ”arvioinnissa” toimenpiteitä evaluoidaan tulosten, vaikutusten ja täytettävänä olleiden tarpeiden osalta (9) ja ”seurannan” avulla saadaan tietoa käynnissä olevien ohjelmien ja hankkeiden toteutuksesta hallinnointiin liittyviä tarpeita varten (10). Toiminnot on eritelty vastaavalla tavalla myös tällä hetkellä seitsemännen puiteohjelman yhteydessä sovellettavassa lainsäädännössä.

10. TTK-toimien tuloksia kuvataan tässä kertomuksessa seuraavin termein: — ”tuotokset” ovat suoraan julkisen tukitoimenpiteen tuloksena saatavia tietoja, hyödykkeitä ja palveluita (esimerkiksi julkaisut, konferenssiesitelmät, patentit, lisenssit, prototyypit, standardit sekä koulutetut tutkijat), — ”tulokset” syntyvät viiveellä käyttäjien hyödyntäessä tuotoksia, — ”vaikutukset” ovat pitkän aikavälin sosiaalis-taloudellisia ja poliittisia muutoksia, jotka syntyvät julkisen tukitoimenpiteen seurauksena. Laatikko 1Esimerkki – maailmanlaajuinen matkaviestinjärjestelmä (Global System for Mobile communications, GSM)Tässä yhteydessä yhteisön rahoituksen ”tuotokset” muodostuivat välittömistä hanketuloksista, kuten GSM-standardin kehittämisestä. ”Tulos” oli digitaalisen matkapuhelinstandardin hyväksyminen Euroopassa ja sen ulkopuolella, mikä vaikutti suuresti televiestintäteollisuuden kehittymiseen. ”Vaikutuksia” olivat puolestaan kyseisen teknologian kansainvälisen käytön taloudelliset, sosiaaliset ja poliittiset seuraukset. Tähän lukeutuvat uusien työpaikkojen luominen televiestintä- ja siihen liittyvillä aloilla sekä kyseisen teollisuudenalan merkityksen kasvu Euroopan talouden kannalta. GSM-järjestelmä on myös luonut uuden viestintätavan ihmisten välille.

11. Tulosten arviointiin liittyy kuitenkin useita metodologisia vaikeuksia (ks. liite I). Sosiaalis-taloudelliset muutokset ovat monimutkaisia ja varsinkin tutkimustoiminnan ja havaittavissa olevien tulosten ja vaikutusten välistä yhteyttä on usein vaikea havaita. Metodologiset ongelmat muodostavat huomattavan haasteen, mutta eivät kuitenkaan välttämättä ole esteenä vaikuttavalle arvioinnille.

12. Komissiolla on ollut 1980-luvulta lähtien käytössään puiteohjelmien seuranta- ja arviointijärjestelmä (11). Neljännestä puiteohjelmasta alkaen – 1990-luvun puolivälissä – seuranta- ja arviointijärjestelmään liittyi useita osittain toisiinsa niveltyviä toimintoja, kuten — vuotuinen seuranta (joka kohdistui lähinnä ohjelman toteuttamiseen), — puiteohjelmatoimintojen viisivuotisarvioinnit (ja kuudennesta puiteohjelmasta alkaen erityisaiheiden lisäarvioinnit). Molemmat toiminnot oli toteutettava ulkopuolisten asiantuntijoiden avulla (ks. kaavio 2 ja liite II). Kaavio 2 Seurannan ja arvioinnin keskeiset vaatimukset neljännestä puiteohjelmasta seitsemänteen Neljäs puiteohjelma (1995–1998) Viides puiteohjelma (1999–2002) Kuudes puiteohjelma (2003–2006) Seitsemäs puiteohjelma (2007–2013) kaksi arviointia (väli- ja loppuarviointi) kunkin 20 alaohjelman sekä puiteohjelman kohdalla; loppuarviointi on päällekkäinen viidennen puiteohjelman väliarvioinnin kanssa kaksi samanaikaista arviointia (väliarviointi) kunkin seitsemän erityisohjelman sekä puiteohjelman kohdalla yksi arviointi puiteohjelman ja siihen sisältyvien kolmen erityisohjelman kohdalla (väliarviointi), mutta ei erikseen 20 alaohjelman kohdalla; arvioinnin lisäksi erityisarviointi ja säännölliset edistymistä koskevat (seuranta)kertomukset vähintään viisi arviointia (ennakko-, väli- ja loppuarvioinnit) sekä edistymistä koskevat erityisarvioinnit ennen väliarviointia 1. Ennakkoarviointi: ei 1. Ennakkoarviointi: ei 1. Ennakkoarviointi: ei 1. Ennakkoarviointi: sisältyy vaikutusten arviointiin, joka liittyy seitsemättä puiteohjelmaa koskevaan komission ehdotukseen (2005) 2. Väliarviointi: — viisivuotisarviointi: puiteohjelman puolivälissä, ennen seuraavaa puiteohjelmaa (1997) 2. Väliarviointi: — viisivuotisarviointi: ennen seuraavaa puiteohjelmaa koskevaa ehdotusta (2000) — edistymisen arviointi puiteohjelman puolivälissä (2001) 2. Väliarviointi: — välineiden vaikuttavuuden arviointi (2004) — viisivuotisarviointi ennen seuraavaa puiteohjelmaa koskevaa ehdotusta (2004) — säännölliset edistymistä koskevat (seuranta)kertomukset 2. Väliarviointi: — jälkikäteen, kahden vuoden kuluttua edellisestä puiteohjelmasta (2008) — edistymistä koskeva kertomus ennen väliarviointia (ennen vuotta 2010) — väliarviointi (2010) 3. Loppuarviointi: — puiteohjelman päättyessä (1999) 3. Loppuarviointi: ei 3. Loppuarviointi: ei (muutettu seitsemättä puiteohjelmaa koskevassa päätöksessä) 3. Loppuarviointi: kahden vuoden kuluttua puiteohjelman päättymisestä (2015), lisäksi erityistutkimuksia, väliarviointi sekä muita arviointeja koko puiteohjelman ajan Lähde: ks. liite II.

13. Tähän mennessä on suoritettu kolme viisivuotisarviointia (12), joiden perusteella laadittiin vuonna 1997 ”Davignonin”, vuonna 2000 ”Majón” ja vuonna 2004 ”Ormalan” kertomus. Lisäksi tietoyhteiskunnan pääosasto suoritti erityisohjelmaansa kohdennettuja arviointeja. On syytä panna merkille, että viisivuotisarvioinnit lakkautettiin seitsemänteen puiteohjelmaan sovellettavan lainsäädännön yhteydessä, minkä myötä poistettiin rajoite, joka vaikutti siten, että suurimpien arviointien yhteydessä oli keskityttävä edeltäviin viiteen vuoteen, jolloin niiden oli katettava osia kahdesta peräkkäisestä ohjelmakaudesta. Vuonna 2004 julkaistiin myös niin kutsuttu Marimónin kertomus (13), joka oli uusia, kuudennen puiteohjelman yhteydessä käyttöön otettuja välineitä koskeva erityisarviointi.

14. Komission arviointitoimintoihin soveltamat menettelypuitteet tarkistettiin vuosina 2000 ja 2002 (14). Tiedonantoja päivitettiin vuonna 2007 siten, että huomioon otettiin komission hallinnollisen uudistuksen ja uuden varainhoitoasetuksen vaikutukset (15). Kyseisissä asiakirjoissa arvioinnin merkitystä ja toimintaa kuvataan osana komission yleistä suunnittelua, ohjelmatyötä ja raportointisykliä; asiakirjoissa määritetään 21 arviointistandardia ja 18 ”hyviä käytäntöjä” koskevaa mallia. Niissä käsitellään myös arvioinnin hyödyntämistä EU-lainsäädännön valmistelussa ja yksinkertaistamisessa.

TARKASTUKSEN SISÄLTÖ JA LÄHESTYMISTAPA

15. Tarkastuksen avulla pyrittiin ensisijaisesti määrittämään, onko komissiolla asianmukainen lähestymistapa TTK-puiteohjelmien tulosten arviointia varten.

16. Tilintarkastustuomioistuin arvioi, missä määrin — puiteohjelmien ja niihin sisältyvien ohjelmien taustalla vaikuttaa selkeä toimintalogiikka, jonka perusteella tuotoksia, tuloksia ja vaikutuksia voidaan mitata ja arvioida ja saada samalla vakaa perusta arviointia ja seurantaa varten, — puiteohjelmia varten on määritetty arviointistrategia, joka edistää vaikuttavaa ja johdonmukaista arviointia, — arviointijärjestelmän organisaatiorakenteen avulla kyetään varmistamaan asianmukainen koordinointi kautta koko puiteohjelman siten, että resurssit ovat riittävät ja eri osallistujat pitävät toimintaa riittävän itsenäisenä, — arviointiin käytettyjen menetelmien avulla kyetään varmistamaan, että olennaisia kysymyksiä käsitellään asianmukaisesti, jotta arviointia pidetään uskottavana, — arviointi- ja seurantatoimien perusteella saadaan tietoja ja analyysejä, joita voidaan hyödyntää käynnissä olevien ohjelmien parantamiseen (”oppimisohjelmat”) ja tulevien puiteohjelmien valmisteluun.

17. Tämä kertomus kattaa asiaa koskevat järjestelyt neljännen (1995–1998), viidennen (1999–2002) ja kuudennen puiteohjelman (2003–2006) osalta. Kertomuksessa käsitellään myös tällä hetkellä seitsemännen puiteohjelman (2007–2013) yhteydessä voimassa olevia oikeudellisia vaatimuksia, mutta ei arvioida komission suorittamaa seitsemännen puiteohjelman vaikutusten arviointia ja ennakkoarviointia (16). Kertomus keskittyy ohjelmien seurantaan ja jälkiarviointiin eikä niinkään hanke-ehdotusten ennakkoarviointiin tai itse hankkeiden jälkiarviointiin.

18. Tarkastukseen osallistui myös EFTAn tarkastajia sekä ulkopuolisia asiantuntijoita. Todentava aineisto koottiin — suorittamalla komissiossa tarkastuksia (asiakirjojen tarkastus ja henkilöstön haastattelut), joiden yhteydessä yksilöitiin lakeihin ja säännöksiin perustuvia vaatimuksia, käytiin läpi tavoitteet ja tuloskriteerit ja analysoitiin yli 80 seuranta- ja arviointikertomusta sekä arviointitoimintojen järjestämistä komissiossa, — haastattelemalla yli 90:tä osallistujiksi yksilöityä asiantuntijaa jäsenvaltioissa ja assosioituneissa maissa (Tšekissä, Saksassa, Virossa, Espanjassa, Ranskassa, Italiassa, Luxemburgissa, Alankomaissa, Itävallassa, Suomessa, Ruotsissa, Yhdistyneessä kuningaskunnassa ja Norjassa), — suorittamalla toimielinten osallistujiin kohdistuvia kyselytutkimuksia, joihin osallistui Euroopan parlamentin teollisuus-, ulkomaankauppa-, tutkimus- ja energiavaliokunnan (ITRE) (17) ja neuvoston tieteen ja tekniikan tutkimuskomitean (CREST) (18) edustajia, — konsultoimalla kansainvälisenä vertailuryhmänä yli 65:tä Yhdysvalloissa ja Kanadassa toimivaa tutkimusalan arvioinnin asiantuntijaa, — tarkastelemalla tutkimusalan arvioinnin nykysuuntauksia koskevaa akateemista kirjallisuutta, — keskustelemalla tarkastushavainnoista, päätelmistä ja suosituksista tutkimusalan arvioinnin eurooppalaisten ja pohjoisamerikkalaisten asiantuntijoiden kanssa helmikuun 2007 aikana järjestetyissä ohjatuissa focus group -ryhmäkeskusteluissa.

TARKASTUKSEEN PERUSTUVAT HUOMAUTUKSET

Puiteohjelmiin sovellettava toimintalogiikka ei ole ollut selkeä

19. Tuloksellinen arviointi ja seuranta edellyttävät politiikan, ohjelman ja hankkeiden tasolla selkeitä tavoitteita ja asianmukaisia tulosindikaattoreita, joihin nähden julkisen tukitoimenpiteen tuloksia voidaan arvioida. Muilla EU:n talousarvioaloilla ja muilla toiminta-aloilla vallitsevat hyvät käytännöt osoittavat, että tavoitteet ja indikaattorit olisi määritettävä toimintalogiikan puitteissa.

20. Toimintalogiikka voidaan määrittää hypoteettisiksi syy- ja seuraussuhteiksi, joiden avulla kuvataan, miten tukitoimenpiteen oletetaan saavuttavan yleiset tavoitteensa (19). Arviointia koskevien komission suuntaviivojen mukaan toimintalogiikka muodostaa käsitteellisen yhteyden tietyn tukitoimenpiteen panosten ja tuotosten välille ja näin ollen käsitteellisen yhteyden myös yhteiskuntaan tukitoimenpiteen tuloksina ja seurauksina kohdistuviin vaikutuksiin (20). Tässä kertomuksessa sovelletaan mainittua määritelmää.

21. Tilintarkastustuomioistuin arvioi, missä määrin puiteohjelmien ja niihin sisältyvien ohjelmien yhteydessä sovelletaan toimintalogiikkaa, joka takaa vakaan perustan arvioinnille ja seurannalle.

Puiteohjelmiin sovellettava toimintalogiikka ei ole ollut selkeä

22. Toimintalogiikan määrittämisen pitäisi kuulua alusta alkaen keskeisenä osa-alueena ohjelmasuunnitteluun. Perustamissopimuksen 163 artiklan, jossa määritetään tarve lujittaa tieteellistä ja teknologista perustaa ja lisätä alan kilpailukykyä, pitäisi toimia puiteohjelmiin sovellettavan toimintalogiikan lähtökohtana (ks. kohta 2). Toimintalogiikkaa olisi tarkennettava erikseen puiteohjelmien kattamien erilaisten tieteenalojen ja toiminnassa käytettyjen eri välineiden kohdalla.

23. Selkeä looginen malli, jonka avulla selitettäisiin, miten puiteohjelmat ja niihin sisältyvät ohjelmat vaikuttavat tieteelliseen ja teknologiseen edistykseen, puuttuu kuitenkin kaikilta tasoilta.

24. Puiteohjelmiin sovellettavan toimintalogiikan puuttuminen tuotiin esille myös vuonna 2004 suoritetussa viisivuotisarvioinnissa, jonka yhteydessä arviointiryhmä totesi, että tämänkaltaisten ryhmien odotetaan täyttävän lähinnä hanketasolta kerättävän todentavan aineiston ja tutkimuspolitiikan korkeamman tason sosiaalis-taloudellisten tavoitteiden välinen aukko. Tehtävä on kuitenkin ryhmän mukaan puiteohjelmien suunnittelutavan takia tällä hetkellä vaikea. Ryhmä toteaa, että ei ole selkeää logiikkaa, joka yhdistäisi korkeimmat tavoitteet tiettyihin tutkimusta ja tietämystä koskeviin tavoitteisiin (21).

25. Erilaista lähestymistapaa sovelletaan joissakin jäsenvaltioissa (esimerkiksi Alankomaissa ja Suomessa) ja Yhdysvalloissa (ks. kaavio 3), joissa toimintalogiikan määrittäminen on paljon yleisempää, sekä Kanadassa, jossa toimintalogiikan määrittäminen on pakollista kaikkien ohjelmien kohdalla (ks. liite III). Kyseisissä maissa toimintalogiikan soveltaminen ohjelmasuunnittelussa todellakin tuottaa paremmin kohdennettuja ja jäsenneltyjä ohjelmia. Komissio on myös ottamassa toimintatapaa käyttöön muilla yhteisöpolitiikan aloilla (esimerkiksi yhteisön ulkopuolelle suunnattavan tuen alalla) (22). Kaavio 3 Loogisiin malleihin perustuvien tavoitteiden hierarkian määrittäminen – esimerkkinä maataloustutkimus Yhdysvalloissa Politiikka Ohjelma Hanke Politiikan tavoite: vaikuttaa viljelijäperheiden toimeentulon parantumiseen Tarkoitus: viljelijäperheiden maataloustuotannon, tuottavuuden ja tulojen kasvu Ohjelman tavoite: vaikuttaa viljelijäperheiden maataloustuotannon, tuottavuuden ja tulojen kasvuun Tavoiteltu tulos: tehokkaampien maanviljelystekniikoiden käytön lisääntyminen kohderyhmään kuuluvien viljelijöiden keskuudessa Tarkoitus: tehokkaampien maanviljelystekniikoiden käytön lisääntyminen vliljelijöiden keskuudessa (esimerkiksi riisinviljelyn yhteydessä) Hankkeen tavoite: vaikuttaa suositeltujen tehokkaampien tekniikoiden hyödyntämisen kasvuun Tavoiteltu tulos: suositusten esittäminen/levittäminen kohderyhmään kuuluville viljelijöille Tarkoitus: sellaisten tehokkaampia tekniikoita koskevien suositusten esittäminen, jotka soveltuvat kohderyhmään kuuluville viljelijöille Tavoitellut tulokset (esimerkiksi): 1. tekniikoiden yksilöinti viljelijöiden ensisijaisten tavoitteiden perusteella 2. tekniikoiden luominen ja mukauttaminen 3. tekniikoiden tarkistaminen viljelmillä Lähde: US National Agricultural Research Council.

26. Julkisen tukitoimenpiteen ja oletettujen syy-seuraussuhteiden (joiden perusteella tapahtuu ohjelman yksityiskohtainen suunnittelu, toteutus ja arviointi) taustalla vaikuttavaa lähtökohtaa ei ole määritetty, mikä vaikeuttaa puiteohjelmien tehokasta arviointia ja seurantaa. Puute johtuu erityisesti ohjelmatavoitteiden ja tulosindikaattoreiden määrittämistavasta.

Selkeän loogisen mallin puuttuminen vaikeuttaa asianmukaisten ohjelmatavoitteiden asettamista

27. Julkisen tukitoimenpiteen taustalla vaikuttavan lähtökohdan ilmentämisen puute vaikeuttaa ohjelmatavoitteiden asianmukaista asettamista ja jäsentämistä. Tämä käy ilmi seuraavista tekijöistä: — ei ole selvää, miten puiteohjelmien ohjelmatavoitteet liittyvät poliittisiin tavoitteisiin, esimerkiksi perustamissopimuksen 163 artiklan yleistavoitteeseen tai Lissabonin strategian ja Barcelonan julistuksen yhteydessä määritettyihin tavoitteisiin (ks. kohdat 2 ja 7), — yksittäisten ohjelmatavoitteiden välinen suhde ei ole aina ilmeinen lainsäädännön eri tasoilla (esimerkiksi puiteohjelmaa koskeva päätös, erityisohjelmaa koskeva päätös sekä osallistumista ja levittämistä koskevat säännöt) eikä perussäädösten ja komission työohjelmien välillä.

28. Komissio on pyrkinyt esittämään työohjelmissa toimintatavoitteita puiteohjelmia koskevassa lainsäädännössä määritettyjen ohjelmatavoitteiden mukaisesti. Lähes kaikissa tapauksissa voitiin kuitenkin todeta, että nämä aloitteet eivät ole onnistuneet selkiyttämään ohjelmien taustalla vaikuttavaa logiikkaa ja että työohjelmissa määritetyt tavoitteet eivät olleet erityisiä (specific), mitattavia (measurable), toteutettavia (achievable), asiaankuuluvia (relevant) ja ajallisesti määrättyjä (timed) (SMART). Vuonna 2003 mainitut määreet sisällytettiin oikeudellisina vaatimuksina varainhoitoasetukseen (23).

29. On epäselvää, missä määrin erityisohjelmat, työohjelmat ja yksittäisiin yhteisön osarahoittamiin hankkeisiin liittyvät ehdotuspyynnöt ilmentävät poliittisia tavoitteita. Mikäli niiden välistä yhteyttä ei tarkenneta, puiteohjelmien ja niihin sisältyvien ohjelmien vaikutusta kyseisten poliittisten tavoitteiden saavuttamiseen ei voida arvioida. Tarkastuksessa kävi ilmi, että komissio on antanut arvioinneissaan vain vähän tai ei lainkaan vakuuttavaa näyttöä pidemmän aikavälin tavoitteiden saavuttamisesta hankkeiden tai ohjelmien tasolla (ks. kohta 82).

Selkeän toimintalogiikan ja tavoitteiden puuttuminen vaikeuttaa tulosindikaattoreiden laatimista

30. Selkeän loogisen mallin ja selkeästi ilmaistujen ohjelmatavoitteiden puuttuminen on haitannut myös ohjelmatavoitteiden seurantaan tuotosten, tulosten ja vaikutusten arvioimiseksi sovellettavien tulosindikaattoreiden laatimista siinä määrin, ettei kyseisiä ”vaikuttavuutta” koskevia indikaattoreita ole tähän mennessä määritetty lainkaan puiteohjelmien osalta (ks. kohta 73).

31. Tässä tilanteessa vaikeutuu myös kyseisten ohjelmien avulla rahoitettujen käynnissä olevien hankkeiden tarkistaminen ja päättyneiden hankkeiden jälkiarviointi; tilanne vaikeuttaa niin ikään osaltaan arviointien kokoamista hanketasolta ohjelmatasolle (ks. liite I ja kohta 84).

Tällä hetkellä toteutettava toimintoperusteinen budjetointi/toimintojohtaminen ei ole sopiva väline puiteohjelmien tulosten mittaamiseen

32. Komission vuotuisiin seurantakertomuksiin sekä komission toimintojohtamisjärjestelmään sisältyy joitakin ohjelmien toteutuksen tehokkuutta kuvastavia indikaattoreita (esimerkiksi sopimuksentekoon tai maksujen suorittamiseen kuluva aika).

33. Tutkimusalan pääosastot eivät ole kuitenkaan tähän mennessä edes samaa erityisohjelmaa (tai alaohjelmaa) toteuttaessaan soveltaneet vakioitua tai vertailukelpoista toimintoperusteisen budjetoinnin nimikkeistöä ja siihen liittyviä indikaattoreita. Näin ollen kyseisiä indikaattoreita ei voida hyödyntää tulosten vertaamiseen ohjelmien välillä ja sisällä. Laatikko 2Tutkimusalan pääosastojen tällä hetkellä toteuttama toimintoperusteinen budjetointi/toimintojohtaminenToimintoperusteiseen budjetointiin/toimintojohtamiseen perustuvassa järjestelmässä puiteohjelmat kuuluvat kahteen eri politiikan alaan, joiden sisällä puiteohjelmiin liittyvät toiminnot esitetään erilaisten pääosastokohtaisten nimikkeistöjen mukaan (24). Menettelyä sovelletaan myös useamman kuin yhden pääosaston toteuttamiin erityis- ja alaohjelmiin. Toimintojohtamisen tavoitteet määritettiin erilaisten periaatteiden mukaan (25) ja kuten komission sisäisen tarkastuksen yksikkö toi esille (26), periaatteet oli useimmiten muotoiltu yleisesti, pyrkimyksiä tai toimia kuvaten. Indikaattorit painottuivat yleensä panoksiin (esimerkiksi kokousten lukumäärä). Osa indikaattoreista koski prosessin tehokkuutta (esimerkiksi sopimuksentekoon tai maksujen suorittamiseen kuluva aika), mutta ne eivät olleet vertailukelpoisia eri ohjelmien ja pääosastojen välillä; syynä tähän olivat eroavaisuudet, jotka liittyivät toimintoperusteisen budjetoinnin nimikkeistöön, pääosastokohtaisiin oletuksiin (esimerkiksi erityisten hallinnollisten menettelyiden alkamisesta ja päättymisestä) sekä niiden laskennassa huomioitavaan perusjoukkoon (esimerkiksi avustussopimuksen tai maksun tyyppi).

Suositukset

34. Tulevissa neuvostolle ja Euroopan parlamentille esitettävissä lainsäädäntöehdotuksissa komission tulisi määrittää selkeä toimintalogiikka sekä puiteohjelmille kokonaisuutena että niihin sisältyville osa-alueille. 35. Seitsemännen puiteohjelman osalta komission olisi: — määritettävä selkeästi puiteohjelman ja siihen sisältyvien erityisohjelmien (ja ala-ohjelmien) tavoitteet ja toteuttamistapa, — tarkennettava tieteellisten ja sosiaalis-taloudellisten tavoitteiden välinen yhteys kunkin erityisohjelman (ja ala-ohjelman) osalta, — määritettävä asiaankuuluvat toimintatavoitteet. 36. Komission pitäisi laatia seitsemännen puiteohjelman seurantajärjestelmää varten jokaisen erityisohjelman (ja ala-ohjelman) kohdalla rajallinen, mutta tasapainotettu määrä tulosindikaattoreita, joiden avulla voidaan mitata ohjelman toteuttamisen tehokkuutta ja vaikuttavuutta. 37. Tutkimusalan pääosastojen olisi yhdenmukaistettava toimintojohtamisen/toimintoperusteisen budjetoinnin nimikkeistöään siten, että tulosindikaattorit olisivat vertailukelpoisia sekä ajan suhteen että mahdollisuuksien mukaan myös erityisohjelmien (ja ala-ohjelmien) välillä.

Arviointistrategia

38. Arviointistrategia muodostaa käsitteellisen rungon, jonka puitteissa arviointitoimet määritetään, suunnitellaan ja toteutetaan ja jonka puitteissa niitä hyödynnetään. Muilla EU:n talousarvioaloilla sekä muissa yhteyksissä noudatetut hyvät käytännöt näyttäisivät osoittavan, että tällaisen strategian tulisi kattaa pääasialliset ohjelmien arviointiin liittyvät oikeudelliset, organisatoriset ja metodologiset kysymykset, joista voidaan mainita esimerkiksi seuraavat: mitkä arvioinnit on määrä suorittaa, kuka ne suorittaa ja milloin, miten tiedot on määrä kerätä, mitä metodologisia lähestymistapoja aiotaan soveltaa ja miten havainnoista tiedotetaan ja miten niiden perusteella suoritetaan seurantaa.

39. Strategian olemassaolo ja sen täytäntöönpanon varmistaminen ovat perusedellytyksiä sille, että arviointi saadaan sisällytettyä komission organisaatiokulttuuriin ja päätöksentekoprosessiin. Tilintarkastustuomioistuin kuitenkin toteaa, että puiteohjelmien piiriin kuuluvien tieteenalojen kirjo huomioon ottaen kyseisen strategian pitäisi tarjota sopivassa määrin joustavuutta kullekin toimista vastaavalle pääosastolle eikä sen pidä olla liian rajoittava.

40. Tilintarkastustuomioistuin tarkasti, missä laajuudessa komissiolla oli käytössä puiteohjelmien arviointistrategia.

Kattavan arviointistrategian puuttuminen puiteohjelmien kohdalla

41. Komissio julkisti puiteohjelmien arviointia koskevan lähestymistapansa ensimmäisen kerran 1980-luvulla (27). Sitä päivitettiin vuonna 1996, jolloin komissio tiedotti Euroopan parlamentille ja neuvostolle tuolloin merkittävinä pitämänsä seurannan ja arvioinnin perusperiaatteet ja toi esille neljännen puiteohjelman hyväksymisen jälkeen tavoitteenaan olleen lähestymistavan (28). Tämä ei kuitenkaan muodostanut edellä kuvatun kaltaista kattavaa arviointistrategiaa (ks. kohdat 38 ja 39). Lisäksi komissio ei vuosina 1996–2006 käynyt perusteellisesti läpi viidennen ja kuudennen puiteohjelman arviointiin soveltamaansa lähestymistapaa huolimatta siitä, että puiteohjelmat muuttuivat sekä sisällöltään että tavoitteiltaan (ks. kohta 7). Tutkimusalan pääosastot eivät ole sopineet puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin sovellettavasta yhdenmukaisesta lähestymistavasta vuonna 1999 viidennen puiteohjelman, vuonna 2002 kuudennen puiteohjelman ja vuonna 2006 seitsemännen puiteohjelman osalta hyväksyttyjen oikeudellisten vaatimusten lisäksi (29).

42. Nykyisen ohjelmakauden kohdalla arviointiin sovellettavan strategisen lähestymistavan puuttuminen on ongelma erityisesti useiden pääosastojen, Euroopan tutkimusneuvoston ja toimeenpanovirastojen yhteisesti toteuttamaa seitsemännen puiteohjelman täytäntöönpanoa silmällä pitäen sekä sen kannalta, että varainhoitoasetuksen mukaan erittäin luottamuksellisissa tehtävissä on pakollinen henkilöstön vaihtuvuus. Tilanne on myös vastoin yhteisön ulkopuolelle suunnattavan tuen alan (toiseksi suurin komission suoraan hallinnoima ala) nykyistä käytäntöä. Kyseisellä alalla toimivaltaiset pääosastot ovat vuodesta 2002 alkaen sopineet yhteisistä monivuotisista ohjelmakausiin liittyvistä arviointistrategioista (ks. kohta 52).

43. Selkeästi muotoillun arviointistrategian puuttuminen on voimakkaassa ristiriidassa myös Yhdysvalloissa ja Kanadassa vallitsevan tilanteen kanssa; kyseisissä maissa strategian olemassaoloa edellytetään säännöksissä (ks. liite III).

44. Kuten jäljempänä tuodaan esille, arvioinnin kattavuudessa ja intensiteetissä on eroja eri puiteohjelmien välillä. Havaittavissa oli myös muita, jäljempänä tässä kertomuksessa käsiteltäviä puutteita: koordinointiongelmat, menettelytapaerot, ajoitusongelmat sekä arviointihavaintoihin perustuvaan tiedottamiseen ja seurantaan liittyvät puutteet. Tilanne kuvastaa kattavan puiteohjelmien arviointistrategian puuttumista.

Eri puiteohjelmien arvioinnin kattavuuteen ja intensiteettiin liittyvät erot

45. Puiteohjelmat muodostuvat lukuisista erityisohjelmista (ja ala-ohjelmista), joiden tarkoitus, taustalla vaikuttava dynamiikka ja talousarviomäärärahat saattavat vaihdella huomattavasti (seitsemännen puiteohjelman osalta ks. liite IV). Puiteohjelmia koskevien eri päätösten erityissäännösten ja varainhoitoasetuksen (30) (joka edellyttää huomattavia menoja sisältävien ohjelmien ja toimien arviointia) perusteella oikeudellinen vaatimus arvioida sekä puiteohjelma kokonaisuudessaan että suurin osa siihen sisältyvistä erityisohjelmista on ollut voimassa neljännestä puiteohjelmasta alkaen.

46. Komissio ei ole laatinut sääntöä siitä, milloin puiteohjelman erityisohjelmat tai ala-ohjelmat on arvioitava tai määrittänyt yleistä vähimmäisrajaa, jonka ylittävät ohjelmat on arvioitava. Tämä on johtanut epäyhtenäisiin tulkintoihin siitä, mitä pitäisi arvioida ja kuinka yksityiskohtaisesti: — tietoyhteiskunnan pääosasto piti tietoyhteiskunnan tekniikat -ohjelmaa (Information Society Technologies, IST) jo sinällään suurena meno-ohjelmana ja järjesti vuonna 2004 täysimääräisen viisivuotisarvioinnin samanaikaisesti koko puiteohjelmaan kohdistuneen arvioinnin kanssa, — tutkimuksen pääosasto ei järjestänyt systemaattisesti arviointeja erityisohjelmien tasolla, vaikka useiden sen vastuulle kuuluvien ohjelmien talousarviot olivat keskenään samaa suuruusluokkaa.

47. Tämän seurauksena vuonna 2004 suoritetun viisivuotisarvioinnin yhteydessä huomattavia osia neljännen ja viidennen puiteohjelman ohjelmista jäi kokonaan arvioimatta (kyseiset osat kattavat 30 prosenttia neljännen puiteohjelman talousarviomäärärahojen ja 50 prosenttia viidennen puiteohjelman talousarviomäärärahojen kokonaismäärästä). Tämä merkitsee, että komissio ei noudattanut varainhoitoasetuksen 27 artiklaan sisältyviä arviointivaatimuksia.

48. Vaihtelevat tulkinnat arvioinnin oikeudellisista vähimmäisvaatimuksista ja niiden seurauksena aiemmin ilmennyt puiteohjelmien liian vähäinen arviointi kuvastavat koordinoinnin puutetta ja tuovat esille, millaiset vaikutukset puiteohjelmien arviointia koskevan komission strategisen lähestymistavan puuttumisella on.

Suositukset

49. Tutkimusalan pääosastojen olisi pikaisesti kehitettävä ja hyväksyttävä yhteinen puiteohjelmien arviointistrategia. Strategian ei pitäisi olla liian rajoittava, mutta sen tulisi sisältää yhtenäinen lähestymistapa puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin. Strategian tulisi myös sisältää ohjeita vähimmäisrajasta, jonka ylittäviin ohjelmiin on kohdistettava yksityiskohtainen arviointi; tavoitteena on kunkin tieteenalan erityispiirteiden huomioon ottaminen.

Puiteohjelmien arvioinnin järjestäminen

50. Puiteohjelmien arviointia varten on tehtävä asianmukaiset organisatoriset järjestelyt, joiden tulisi mukailla komission puiteohjelmien arviointiin soveltamaa strategista lähestymistapaa. Tilintarkastustuomioistuin tutki, missä määrin organisaatiorakenteen avulla kyettiin varmistamaan, että arviointijärjestelmän koordinointi oli asianmukaista, resurssit riittäviä ja menettely osallistujien näkökulmasta riittävän itsenäistä.

Komissio

Useat pääosastot toteuttavat puiteohjelmia yhteisesti mutta arviointivastuu on hajautettu

51. Meno-ohjelmien arvioinnista vastaavat komissiossa yksittäiset pääosastot (ks. kohta 8), joista kuhunkin on perustettu arviointiyksikkö, joka vastaa arviointien suunnittelusta, koordinoinnista ja toteuttamisesta.

52. Toisin kuin muilla politiikan aloilla, puiteohjelmien arviointia varten ei ole olemassa erityistä koordinointielintä tai erillistä, tutkimusalan pääosastojen yhteistä arviointiyksikköä. Yhteisön ulkopuolelle suunnattavan tuen alalla on kolmea pääosastoa (kehitysyhteistyö, ulkosuhteet ja EuropeAid-yhteistyötoimisto) varten perustettu yhteinen arviointiyksikkö, joka vastaa kolmansissa maissa toteutettavien komission kehitysohjelmien arvioinnista (ks. kohta 42).

53. Tutkimuksen pääosasto varmistaa komission sisäisen ”TTK-ohjelmien arviointiverkoston” välityksellä tiedonvaihdon eri pääosastojen arviointiyksiköiden välillä, mutta sillä ei ole valtuuksia asettaa arviointia koskevia vähimmäisvaatimuksia. Tämä mekanismi on ollut riittämätön komission suorittaman puiteohjelmien arvioinnin asianmukaisen koordinoinnin varmistamiseksi.

54. Komissio tarkisti arviointiin soveltamaansa yleistä lähestymistapaa vuosina 2000 ja 2002 sekä uudelleen vuonna 2007 (ks. kohta 14). Puiteohjelmien ja niihin sisältyvien ohjelmien arviointien suunnittelu-, laadinta- tai toteuttamistavassa ei ollut havaittavissa suurempia parannuksia, mutta tutkimusalan pääosastot ovat yleisesti ottaen noudattaneet koko komission kattavia virallisia vaatimuksia.

Komission keskusyksiköt asettavat standardit, mutta eivät valvo noudattamista

55. Komission keskusyksiköt (etenkin budjettipääosasto ja pääsihteeristö) antavat menettelytapoja koskevaa neuvontaa, määrittävät koko komissiota koskevia yhteisiä standardeja ja seuraavat standardien soveltamista pääosastoissa ja yksiköissä (ks. kohdat 14 ja 70). Keskusyksiköt eivät voi määrätä, miten arvioinnit olisi käytännössä suoritettava.

56. Yhdysvalloissa ja Kanadassa saadut kokemukset osoittavat, että standardeja laativien elinten suorittama noudattamisen valvonta on siellä olennaista arviointijärjestelmän vaikuttavan toiminnan varmistamisen kannalta. Molemmissa maissa liittovaltion ministeriöt laativat ja velvoittavat noudattamaan puitteita, joiden perusteella ohjelman lopullista onnistumista arvioidaan (ks. liite III). Taustat poikkeavat toisistaan, mutta järjestelmät perustuvat kuitenkin samaan periaatteeseen, jonka mukaan tietyn, muun kuin ohjelman toteuttamisesta vastaavan elimen on evaluoitava tiettyjä arviointijärjestelmän suunnitteluun liittyviä näkökohtia yksityiskohtaisesti ja tehtävä päätelmiä sen vaikuttavuudesta. Sama menettely on havaittavissa joissakin jäsenvaltioissa (esimerkiksi Ranskassa (31), Espanjassa (32) ja Saksassa (33)), missä ulkoiset elimet valvovat rahoituslaitosten suorittamia arviointeja tai jopa suorittavat itse kyseiset arvioinnit.

Arviointiryhmät

Ulkoisista asiantuntijoista koostuvat ryhmät: puiteohjelmia koskevassa lainsäädännössä neljännestä puiteohjelmasta alkaen

57. Neljännestä puiteohjelmasta alkaen kaikkien keskeisten puiteohjelmien arviointitoimien (ja vuotuisen seurannan) on pitänyt tapahtua ulkoisista asiantuntijoista koostuvien ryhmien toimesta (tai avustuksella) (ks. liite II). Soveltuvien asiantuntijoiden löytäminen on ollut vaikeaa, mutta ryhmät voivat tarjota avoimuutta, tiettyä itsenäisyyttä, helpottaa osallistujien sitoutumista ja hyödyntää tietoa itse puiteohjelmista, arvioinnista ja niiden taustalla vaikuttavista tieteellisistä kysymyksistä.

58. Asiaan saatiin vahvistus tilintarkastustuomioistuimen suorittamissa kyselytutkimuksissa, jotka osoittivat, että vastaajat katsoivat komission arviointiryhmiin perustuvan arviointijärjestelmän antavan takuun riippumattomuudesta (ks. kaavio 4).

Komission soveltaman arviointiryhmien käyttöön perustuvan lähestymistavan puutteet

59. Mainitusta myönteisestä havainnosta huolimatta komission puiteohjelmien arviointiin soveltamaan arviointiryhmien käyttöön liittyi seuraavia puutteita, joita arviointiryhmien jäsenet ja osallistujat esittivät tilintarkastustuomioistuimelle tarkastuksen aikana: — Arvioinnista vastaavat asiantuntijaryhmät perustetaan yleensä alle vuosi ennen niiden laatiman kertomuksen esittämiselle asetettua määräaikaa ja kokouksia järjestetään vain pieni määrä. Näin ollen ryhmän jäsenten on vaikea vaikuttaa tehtävien suorittamiseen tarvittavien tietojen ja analyysien määrittämiseen. Lisäksi arviointiryhmät ovat luonteeltaan tilapäisiä ja määräaikaisia, joten ohjelmista ei voida koota helposti tietoa eikä tärkeitä kysymyksiä kyetä ajan kuluessa seuraamaan. Tämä on huomattava puute varsinkin tapauksissa (esimerkiksi seitsemännen puiteohjelman yhteydessä), joissa koko ohjelmakauden aikana on suunniteltu suoritettavan useita suuria arviointeja (ks. liite II). Tilanne on myös vastoin komission puiteohjelmien yhteydessä neuvoa-antaviin asiantuntijaryhmiinsä soveltamaa käytäntöä; ne ovat pysyviä elimiä (34). Myös Kanadassa (35) arviointiryhmät ovat pysyviä johdonmukaisen ja yhtenäisen lähestymistavan varmistamiseksi (ks. liite III). — Arviointiryhmien toimeksiantoja määrittäessään ja arviointikysymyksiä yksilöidessään komissio ei konsultoi ulkopuolisia osallistujia, kuten puiteohjelmiin osallistuvia teollisuutta tai suuria tutkimusorganisaatioita edustavia tahoja. Myös vuoden 2004 seurantatyöryhmä on havainnut tämän ongelman ja todennut, että mahdollisten käyttäjien tulisi osallistua prosessiin jo varhaisessa vaiheessa (36). — Arviointiryhmien toiminta poikkeaa vertaisarvioinnin suorittamisesta. Jäsenillä ei ole aikaa suorittaa arviointeja itsenäisesti; he antavat yleensä ohjeita muista lähteistä peräisin olevien tietojen ja todentavan aineiston perusteella. Aikarajoitteiden takia arviointiryhmillä on ollut vain vähäiset mahdollisuudet tilata toimeksiannoissa määritettyjen kysymysten käsittelyn kannalta olennaisia lisätutkimuksia. Viisivuotisarvioinneista vastanneilla arviointiryhmillä oli käytännössä muutamia poikkeuksia lukuun ottamatta käytössään ainoastaan komission toimittamat tiedot.

Resurssit

Puiteohjelmien arviointiin ei erillistä määrärahaosuutta

60. Arviointiin myönnetään rahoitusta vuosittain puiteohjelmia toteuttavien pääosastojen yksilöimien tarpeiden mukaan. Rahoitus on tällä hetkellä peräisin koko komission kattavista budjettipääosaston määrärahoista sekä kyseessä olevien pääosastojen hallintomäärärahoista. Lisäksi erityistoimenpiteet rahoitetaan välillisinä toimina puiteohjelmien toimintamäärärahoista. Näin ollen arviointia varten ei ole erillistä määrärahaosuutta.

61. Vuonna 2006 komission koko henkilöstöstä työskenteli arvioinnin ja toimintojohtamisen alalla noin 1 prosentti (37). Tutkimuksen pääosastossa TTK-puiteohjelmien seurannan ja arvioinnin parissa työskenteli 1,2 prosenttia henkilöstöstä ja tietoyhteiskunnan pääosastossa 1,3 prosenttia henkilöstöstä. Tutkimuksen pääosastossa yli kaksi kolmannesta kyseisistä henkilöstöresursseista oli kuitenkin suunnattu toimenpideohjelmista vastaavalle osastolle eikä arviointiyksikölle; arviointi oli vain yksi kyseiselle henkilöstölle kuuluvien lukuisien tehtävien joukossa.

Puiteohjelmien arviointiin suunnattujen määrärahojen osuus komission suosittamaa alhaisempi

62. Arviointiin suunnattavat määrärahat voidaan ilmaista myös prosenttiosuutena ohjelman talousarviomäärärahojen kokonaismäärästä. Tarkastuksen yhteydessä saadut luvut osoittavat, että EU:n jäsenvaltioissa toteutettavien tutkimusohjelmien yhteydessä arviointiin suunnataan yleensä 0,1–2 prosenttia ohjelman määrärahoista. Komission suuntaviivojen mukaan 0,5 prosenttia ohjelman määrärahoista olisi suunnattava arviointiin (38). Laajempien ohjelmien yhteydessä saattaa kuitenkin mittakaavaetujen seurauksena riittää pienempi osuus ohjelmien talousarviomäärärahoista.

63. Kauden 2003–2006 arviointimenoja kuvaavien komission lukujen ja kunkin pääosaston talousarviomäärärahojen vertailu osoittaa, että arviointiin suunnattava keskimääräinen osuus on noin 0,15 prosenttia ohjelmien määrärahoista, mikä on huomattavasti komission esittämää tasoa alhaisempi. Tarkempi analysointi vuoden 2006 kohdalla osoittaa, että tietoyhteiskunnan pääosasto käytti vastuulleen kuuluneista määrärahoista arviointiin noin neljä kertaa suuremman osuuden kuin tutkimuksen pääosasto. Lisäksi tutkimuksen pääosastossa arviointiin on suunnattu ainoastaan 0,7 prosenttia yhden kokoaikaisen virkamiehen työpanoksesta miljoonan euron vuotuista talousarviota kohti. Vertailun vuoksi voidaan todeta, että tietoyhteiskunnan pääosastossa vastaava osuus on kaksinkertainen.

64. Kuten tässä kertomuksessa tuodaan esille, tietoyhteiskunnan pääosaston arviointiin suuntaaman lisäpanostuksen myötä arviointien kattavuus on parantunut (ks. kohdat 13 ja 46), ja kuten tilintarkastustuomioistuimen tarkastama arviointitutkimuksista poimittu otos osoittaa, seurauksena on ollut myös sellaisten menetelmien käyttö, jotka soveltuvat paremmin arviointitarpeisiin (ks. kohta 84).

65. Tilintarkastustuomioistuin laati komission toimittamien tietojen perusteella kustannuksista arvion, joka osoittaa, että tässä kertomuksessa esitettäviin ehdotuksiin perustuvan arviointijärjestelmän keskimääräinen osuus seitsemännen puiteohjelman talousarviomäärärahoista olisi alle 0,4 prosenttia. Osuus kattaisi arviointiryhmistä, alihankintana suoritettavista tutkimuksista, yhteisen arviointiyksikön henkilöstöstä ja nykyisistä pääosastokohtaisista arviointiyksiköistä vastaavasta henkilöstöstä aiheutuvat kustannukset sekä muut sekalaiset kulut (39).

Suositukset

66. Tutkimusalan pääosastojen olisi harkittava yhteisen arviointiyksikön perustamista nykyisten pääosastokohtaisten arviointiyksiköiden rinnalle. Tällä hetkellä muilla politiikan aloilla noudatettavan käytännön mukaisesti kyseinen yksikkö voisi koordinoida kaikkia puiteohjelmiin kohdistettavia komission arviointitoimintoja. Yhteisiä tukitoimintoja on suositettu aiemmin puiteohjelmia toteuttavia pääosastoja varten (40) ja ne saattavat muodostua tulevaisuudessa entistä tärkeämmiksi Euroopan tutkimusneuvoston perustamisen ja toimeenpanovirastoille siirrettävän hankkeiden toteuttamisen myötä. 67. Komission olisi jatkettava arviointiryhmien käyttöä arviointitoimintojensa tukena. Komission olisi kuitenkin pohdittava, miten arviointiryhmärakenne saataisiin vastaamaan paremmin puiteohjelmien yleistä rakennetta. Tämä voitaisiin toteuttaa perustamalla ryhmiä erityisohjelmia ja tarvittaessa myös alaohjelmia varten (ks. liite IV). Arviointiryhmät olisi lisäksi perustettava riittävän aikaisessa vaiheessa, jotta ne kykenevät tukemaan komissiota tehokkaasti ja voivat jatkaa tuen antamista koko ohjelmakauden ajan ja sen jälkeenkin. 68. Komission olisi tarkasteltava uudelleen puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin suunnattavia resursseja.

Arviointimenetelmät ja -tekniikat

69. Tuloksellinen arviointi edellyttää asianmukaisten menetelmien ja tekniikoiden hyödyntämistä. Tilintarkastustuomioistuin tarkasti, missä laajuudessa puiteohjelmien arviointia varten oli laadittu erillisiä suuntaviivoja, arvioitiinko tietoja koskevat tarpeet asianmukaisesti ja oikea-aikaisesti ja annettiinko arvioijien käyttöön olennaisia tietoja. Komission suorittamien (tai sen lukuun suoritettujen) arviointitutkimusten osalta tilintarkastustuomioistuin tarkisti, tarjosivatko yksittäisiin tutkimuksiin käytetyt tekniikat riittävän perustan viisivuotisarviointeja varten määritettyihin arviointikysymyksiin vastaamiselle. Huomioon otettiin myös kansallisella tasolla suoritettavien arviointien mahdollinen vaikutus puiteohjelmien arviointiin.

Puiteohjelmakohtaisten standardien ja suuntaviivojen laatiminen

70. Budjettipääosasto on laatinut lukuisia tiedonantoja arviointipolitiikastaan ja sen toteuttamista koskevista säännöistä; pääosasto on laatinut myös joukon koko komissioon sovellettavia standardeja (ks. kohdat 14 ja 55) (41). Muista politiikan aloista vastaavat pääosastot ovat niin ikään laatineet erityisiä arviointioppaita (42).

71. Näin ei kuitenkaan ole puiteohjelmien kohdalla. Komissio on julkaissut (tai rahoittanut) lukuisia tutkimusalan arviointitoimintoihin sovellettavia menetelmäoppaita ja ohjeistoja (43). Ne eivät kuitenkaan sisällä erillisiä ohjeita puiteohjelmien arviointia varten eikä niissä määritetä, miten komission henkilöstön tai ulkoisten asiantuntijoiden on käytettävä keskeisiä käsitteitä tai terminologiaa. Tilanne on johtanut jäljempänä käsiteltäviin ongelmiin.

Tietotarpeet ja tiedonkeruu

Tietotarpeita ei analysoida riittävän hyvin

72. Tutkimusalan pääosastot eivät ole kiinnittäneet riittävästi huomiota siihen, mitä tietoja arviointi ja seuranta edellyttävät. Tietotarpeita ei ole arvioitu systemaattisesti ja kattavasti, vaan komissio on yksilöinyt vaadittavat tiedot ohjelmakauden ollessa jo pitkällä eikä yleisiin arviointitarpeisiin ole kiinnitetty asianmukaista huomiota. Kuudenteen puiteohjelmaan liittyvä sosiaalis-taloudellisia aiheita koskeva kysymyslomake oli pääosastojen ainoa yhteinen yritys kyseisistä tiedoista sopimiseksi (ks. kohta 76). Lomake kuitenkin laadittiin valmiiksi vasta vuonna 2004 (kun ohjelmakauden alkamisesta oli kulunut kolme vuotta), ja se kattaa ensisijaisesti esimerkiksi sukupuolten osallistumiseen ja ympäristövaikutuksiin liittyviä näkökohtia eikä niinkään tieteellisiin tuotoksiin (kuten henkisen omaisuuden oikeudet ja julkaisut), tuloksiin tai vaikutuksiin liittyviä kysymyksiä.

73. Ohjelmien arviointi riippuu kiinteästi kolmentyyppisten tietojen käytettävissä olosta: — ”Vaikuttavuutta” koskevien indikaattoreiden perusteella kerätyt tiedot, joita analysoimalla voidaan tehdä päätelmiä ohjelmatavoitteiden saavuttamisen edistymisestä. Tässä kertomuksessa aiemmin mainittu toimintalogiikan puuttuminen merkitsee, että kyseisten indikaattoreiden määrittäminen on ollut vaikeaa (ks. kohta 30). Kerätyillä tiedoilla oli käytännössä vain vähän merkitystä ohjelmatavoitteiden saavuttamisen mittaamisen kannalta. — Ohjelman hallinnointia koskevat tiedot (”tehokkuutta” koskevien indikaattoreiden perusteella). — Osallistujia koskevat tiedot (esimerkiksi suurimpien tutkimusorganisaatioiden osallistumisaste).

74. Komissiolla olisi oltava käytössään varsinkin kahteen jälkimmäiseen kohtaan kuuluvat tiedot. Komission sisäisissä, suurimman osan ohjelmien hallinnointia ja osallistujia koskevista tiedoista sisältävissä tietojärjestelmissä on kuitenkin ilmennyt ongelmia (44), joiden seurauksena tähän käytäntöön on liittynyt huomattavia vaikeuksia (45).

75. Tilannetta kuvastavat huomattavat viiveet 173 artiklaan perustuvien kertomusten ja vuotuisten seurantakertomusten käyttöön asettamisessa (vuosien 2002 ja 2005 välisenä aikana 173 artiklaan perustuvia kertomuksia (46) on toimitettu jopa 16 kuukauden viiveellä ja vuotuisia seurantakertomuksia seitsemän kuukauden viiveellä). Koska tiedot toimitettiin jatkuvasti myöhässä, niistä saatava hyöty oli rajallinen.

Arviointitietojen hankintaan osallistujilta sovellettiin tehotonta lähestymistapaa

76. Komissio on viidennestä puiteohjelmasta alkaen vaatinut järjestelmällisesti osallistujia sopimuksen perusteella toimittamaan tiedot, joita tarvitaan ohjelmatavoitteiden saavuttamisen mittaamiseen tuotosten, tulosten ja vaikutusten kannalta. Menettely on ollut seuraavanlainen: — viidennen puiteohjelman yhteydessä osallistujia vaadittiin toimittamaan teknologian käyttöönottosuunnitelma sekä loppukertomus hankkeen päätyttyä. Asiakirjat olivat usein laadultaan heikkoja tai niitä ei toimitettu lainkaan, — Kuudennen puiteohjelman yhteydessä osallistujia edellytetään laatimaan tiedon levittämistä ja hyödyntämistä koskeva suunnitelma, minkä lisäksi heidän on vastattava vuotuisten teknisten selvitysten esittämisen yhteydessä vakiomuotoiseen kysymyslomakkeeseen, jossa käsitellään sosiaalis-taloudellisia kysymyksiä.

77. Tietojen toimittamista koskevat sopimusvaatimukset ovat lisänneet aiheettomasti osallistujien hallinnollista työmäärää. Esimerkiksi kuudetta puiteohjelmaa koskevan vuotuisen kysymyslomakkeen kohdalla tietoja kerätään tarpeettoman usein ja koko hankejoukon osalta, vaikka pelkkä edustava otos riittäisi. Tämä johtaa todennäköisesti ”arviointiväsymykseen”. Tiedot on myös kerätty väärään aikaan; monet tiedonkeruun kohteena olevat aihealueet ovat luonteeltaan keskipitkän tai pitkän aikavälin kysymyksiä, joten tiedonkeruu hankesopimuksen voimassaoloaikana on jo sinällään ennenaikaista (47). Mainittujen välineiden avulla saaduista tiedoista on tästä syystä ollut käytännössä vain vähäistä hyötyä viidennen ja kuudennen puiteohjelman arvioinnin kannalta.

78. Yhdenkään käytössä olevan järjestelmän kohdalla ei kuitenkaan edellytetä vakiomuotoista tietojen keräämistä hankkeen elinkaaren loppuvaiheessa (tai pian sen jälkeen). Haastatellut osallistujat esittivät, että kyseisiin tietoihin voisivat sisältyä myös hanketavoitteiden saavuttaminen, tavoitellut (ja suunnittelemattomat) tulokset sekä osallistujien käsitys yhteisön tuomasta lisäarvosta. Mainittujen tietojen perusteella voitaisiin myös toteuttaa loppuun suoritettujen hankkeiden ulkoiset tarkastukset (48).

79. Hanketulosten arviointiin enenevässä määrin käytettäviin tieteellisiin mittaustapoihin (esimerkiksi viittausanalyysiin) yhdistettynä (ks. kohta 83) mainittu menettely voisi luoda komissiolle perustan yhteisön osarahoittamien TTK-toimintojen rahoitusjärjestelmän muuttamiselle tulosperusteisempaan suuntaan (49).

Muita tietolähteitä hyödynnettiin puutteellisesti

80. Muita komissiossa ja jäsenvaltioissa olevia tietolähteitä ei hyödynnetä riittävissä määrin (esimerkkeinä voidaan mainita kansallisten TTK-ohjelmien ja rahoituselinten tietokannat sekä komission julkaisutoimiston hallinnoima CORDIS-tietopalvelu (Community Research & Development Information Service)) (50).

Komission suorittamat arviointitutkimukset

Tilintarkastustuomioistuimen tarkistamat kertomukset

81. Tilintarkastustuomioistuin tarkisti 86 komission vuodesta 2000 alkaen suorittamaa (tai sen lukuun suoritettua) arviointitutkimusta. Niihin lukeutuivat kaikki vuonna 2004 julkaistun viisivuotisarvioinnin perustan muodostaneet 36 tutkimusta sekä 50 kyseisen ajankohdan jälkeen loppuun saatettua tutkimusta. Kyseisistä tutkimuksista ainoastaan 23:n voidaan katsoa olevan varsinaisia puiteohjelman ja siihen sisältyvien ohjelmien arviointeja (ks. kaavio 5). Kaavio 5 Komission suorittamat (tai sen lukuun suoritetut) arviointitutkimukset vuosilta 2000–2006 Tutkimustyyppi Numero Kuvaus Puiteohjelmiin liittyvien toimien arviointi 23 Arviointitutkimukset — perustuvat hyväksyttyihin menetelmiin (51), — viittaavat nimenomaisesti ohjelman tavoitteisiin ja siihen, missä määrin ne on saavutettu. Jäsenvaltioiden tasolla suoritettava kansallinen vaikutusten arviointi 12 Jäsenvaltioiden suorittamat tutkimukset, jotka kohdistuvat pikemmin lähinnä kansalliseen osallistumisasteeseen kuin ohjelman tavoitteita koskeviin päätelmiin. Menetelmiä koskevat tutkimukset 5 Komission järjestämät tutkimukset, joiden tavoitteena on tukea arviointimenetelmien kehittämistä. Euroopan TTK-näkymiä koskevat tutkimukset 2 Tutkimukset, joiden yhteydessä käsitellään Euroopan tutkimusalaa koskevia tausta-analyysejä, mutta ei puiteohjelmia. Ei selkeää viittausta siihen, miten puiteohjelmat vaikuttavat kansallisiin tutkimus- ja innovointijärjestelmiin. Kuvailevat tilastoasiakirjat, joihin ei sisälly analyysejä 33 Asiakirjat, joissa yleensä käsitellään puiteohjelmiin liittyviä toimia erittäin epäsuorasti; asiakirjoissa yleensä pikemmin kuvaillaan kuin analysoidaan toimia. Muut asiakirjat 11 Joukko asiakirjoja, joissa käsitellään yleisen poliittisen kiinnostuksen kohteena olevia kysymyksiä tutkimatta puiteohjelmia kyseisissä yhteyksissä.

Arvioinneissa käsitellään seurantaan liittyviä kysymyksiä pikemmin kuin tuloksia ja vaikutuksia

82. Tilintarkastustuomioistuimen suorittaman mainittujen arviointitutkimusten meta-analyysin perusteella tehtiin kaksi keskeistä havaintoa: — Monissa tutkimuksissa pyritään tekemään ohjelmatavoitteisiin liittyviä päätelmiä, mutta päätelmät on esitetty hyvin väljästi, jolloin lukijalle jää epäselväksi, onko arvioinnissa todella käsitelty kyseistä näkökohtaa. Syynä on usein se, että selkeiden ohjelmatavoitteiden puuttuminen vaarantaa vakavasti koko prosessin (ks. kohta 28). — Useissa asiakirjoissa ei arvioida puiteohjelmien tai niihin sisältyvien erityisohjelmien (tai alaohjelmien) tuloksia ja vaikutuksia, vaan ne ovat kuvailevia ja keskittyvät parhaimmillaankin hankkeiden välittömiin tuotoksiin ja hankkeita koskeviin hallinnointikysymyksiin. Kertomusten avulla ei saada vakuuttavaa näyttöä tuloksista tai vaikutuksista.

Innovatiivisten menetelmien kehittämistä ei painoteta riittävästi

83. Perinteisten menetelmien ja tekniikoiden (etenkin kyselytutkimusten, asiakirjatarkistusten ja haastatteluiden) käyttö oli vallitsevaa vuosina 2000–2006 suoritettujen arviointien kohdalla (ks. kaavio 6). Useita muita edistyksellisiä, mutta perustaltaan vakaita arviointimenetelmiä ja -tekniikoita ei hyödynnetty (tai hyödynnettiin vain erittäin harvoin). Esimerkkeinä voidaan mainita seuraavat: — tieteelliset mittausmenetelmät (esimerkiksi viittausanalyysi) (52), — kvantitatiiviset mallit (kuten kustannustehokkuus, kustannusvaikuttavuus tai kustannus-hyötysuhde) (53), — toimijoihin perustuvat mallit (käyttäytymismallit) (keskittyvät toimiin osallistuvien näkemyksiin, esimerkkeinä voidaan mainita tutkimusverkostojen ominaispiirteet ja niiden muuttuminen ajan kuluessa).

84. Arviointitutkimuksia, joiden yhteydessä pyritään käsittelemään joitakin tutkimusalan julkisten tukitoimenpiteiden arviointimenetelmiin liittyviä vaikeuksia, käytettiin vain joissakin tapauksissa (ks. liite I): — Hiljattain saatiin päätökseen kaksi toimintalogiikkaa koskevaa tutkimusta (54). — Havaittavissa oli ainoastaan kolme tutkimusta, joissa pyrittiin arvioimaan yhteisön rahoituksen vaikutusta tutkimusorganisaatioiden yleiseurooppalaiseen verkottumiseen (55). Oletus myönteisistä verkottumisvaikutuksista kuuluu kuitenkin eurooppalaisen tutkimusalueen käsitteistön ydinajatuksiin. — Ainoastaan yhdessä tapauksessa on pyritty tekemään päätelmiä ohjelman (tai alaohjelman) tasolla saavutetuista vaikutuksista yhdistämällä hanketasolta koottavat arviointianalyysit muihin arviointitekniikoihin (56). — Ei ole saatu osoitusta muiden menetelmien käytöstä, esimerkiksi ”oikeiden syiden erottamiseen” (tai ”vertailuryhmään”) perustuvasta lähestymistavasta. Kyseinen lähestymistapa olisi erityisen hyödyllinen pyrittäessä kuvaamaan ohjelmista yhteisön tasolla saatavaa lisäarvoa siihen verrattuna, ettei tukitoimenpidettä suoritettaisi lainkaan (tai se suoritettaisiin kansallisella tai alueellisella tasolla).

85. Tilintarkastustuomioistuimen haastattelemat osallistujat katsoivat, että komission arviointien hyödyllisyyttä ja tarkoituksenmukaisuutta voitaisiin parantaa. Tämä osoittaa, että menetelmiä on tarpeen kehittää, jotta arviointijärjestelmän yhteydessä voidaan ottaa huomioon puiteohjelmien muuttuva luonne (ks. kohta 7) (57).

Viisivuotisarvioinneissa esiin tulleita haastavia kysymyksiä ei pystytty käsittelemään erityisarviointeja koskevien komission tutkimusten perusteella

86. Tätä kuvastavat myös huomattavat ongelmat, joita arviointiryhmällä oli vuoden 2004 viisivuotisarvioinnin yhteydessä (58) sen pyrkiessä vastaamaan toimeksiannossa ehdotettuihin arviointikysymyksiin. Kyseisistä haastavista kysymyksistä useita ei kyetty tarkastelemaan lainkaan, koska komissio ei ollut suorittanut (tai sen lukuun ei ollut suoritettu) etukäteen asianmukaisia tutkimuksia ja arviointiryhmän jäsenten oli mahdotonta tilata kyseisiä tutkimuksia riittävän ajoissa (ks. kaavio 7). Kaavio 7 Arviointikysymysten käsittely viisivuotisarvioinnin yhteydessä vuonna 2004 Arviointikysymys Käsitelty kertomuksessa? TOTEUTTAMINEN Toteutettiinko toimet tehokkaasti? osittain Olivatko toimet kustannustehokkaita? osittain Soveltuivatko toimet parhaiten asetettujen tavoitteiden saavuttamiseen? ei Olivatko yleinen säädösperusta (osallistumista ja sopimuksia koskevat säännöt mukaan lukien), politiikan välineet ja täytäntöönpanoa koskevat yksityiskohtaiset säännöt selkeitä, asianmukaisia ja vaikuttavia? ei Olivatko rahoitus ja muut käytettävissä olleet resurssit tasoltaan riittäviä? ei Kykenivätkö kohteena olleet teollisuus- ja tutkimusyhteisöt – pk-yritykset mukaan lukien – vastaamaan asianmukaisesti? kyllä SAAVUTUKSET Saavutettiinko toimien tavoitteet ja missä määrin ilmeni odottamattomia tuloksia? ei Mitkä olivat keskeiset tulokset etenkin seuraavilta osin: tieteelliset, teknologiset, sosiaalis-taloudelliset ja ympäristökysymyksiin liittyvät tuotokset, kansainvälinen yhteistyö, tiedonsiirto ja innovointi, normien laatimista edeltävät toimet, saatavilla olo, tutkimustulosten levittäminen ja hyödyntäminen, inhimillisten voimavarojen kehitys, liikkuvuus ja koulutus sekä tutkimustoimien koordinoinnin tukeminen ja lujittaminen? ei Olivatko tulokset ja niiden vaikutukset sekä seuraukset yleisesti ottaen tyydyttäviä suorien tai välillisten edunsaajien ja osallistujien kannalta? ei Otettiinko asianomaiset teollisuus- ja tutkimusyhteisöt – pk-yritykset mukaan lukien – huomioon tyydyttävästi? kyllä Miten ja missä laajuudessa toimet paransivat EU:n kansainvälistä kilpailukykyä tutkimusalalla? Saavuttiko EU:n tutkimusala johtavan aseman tietyillä aloilla? osittain Miten ja missä määrin toimet vaikuttivat EU:n politiikkoihin yleisesti sekä kestävää kehitystä koskevaan EU:n strategiaan? ei Onko yhteisön tutkimustoimien seurauksena kansainvälisellä tasolla havaittavissa rakenteellista muutosta esimerkiksi verkottumisen tai tutkimuksen integroinnin ja koordinoinnin kohdalla? ei Olivatko ohjelmat kustannustehokkaita? Oliko toimilla pysyviä vaikutuksia? ei KEHITYS JA TULEVAISUUSNÄKYMÄT Miten puiteohjelmat kehittyivät lähtökohtien, tavoitteiden, ensisijaisten aihealueiden, alhaalta ylöspäin ja ylhäältä alaspäin suuntautuvien ensisijaisten tavoitteiden osalta, perustutkimuksen ja soveltavan tutkimuksen välillä sekä välineiden, Euroopan tasolla saatavan lisäarvon ja muiden vaikutusten osalta ottaen huomioon etenkin eurooppalaisen tutkimusalueen käsitteen käyttöönoton, Lissabonin tavoitteet ja keskeiset kansainväliset talouden ja tutkimuksen alalla sovellettavat arviointiperusteet? kyllä Miten Euroopan tasolla saatava lisäarvo toteutui puiteohjelman kohdalla? kyllä Voidaanko lisäarvoa saavuttaa Euroopan tasolla muiden kansainvälisten tai kansallisten mekanismien avulla? ei Ovatko ohjelmien poliittiset tavoitteet, ensisijaiset kohteet, välineet ja elinkaari sopivia tulevaisuudessa? kyllä

87. Lisäksi tarkastuksessa pantiin merkille, että arviointiryhmän jäsenet kykenivät vastaamaan toimeksiannossa yksilöityihin kysymyksiin ainoastaan sellaisten näkökohtien osalta, joiden kohdalla ohjelmissa oli määritetty selkeät ja mitattavissa olevat tavoitteet (esimerkiksi osallistuvien pienten ja keskisuurten yritysten lukumäärä).

Puiteohjelmien arvioinnit jäsenvaltioiden tasolla

88. Useat jäsenvaltiot ja assosioituneet maat suorittavat kansallisella tasolla omia puiteohjelmien arviointeja, joissa käsitellään olennaisia ja kiintoisia kysymyksiä kyseisten maiden omasta näkökulmasta (59). Viimeisten kahdeksan vuoden aikana on suoritettu 14 tällaista tutkimusta yhdeksän jäsenvaltion ja yhden assosioituneen maan kohdalla.

89. Komissio kannusti vakiomuotoisten lähestymistapojen käyttöä mahdollisuuksien mukaan, mutta kansalliset vaikutuksia koskevat tutkimukset ovat erittäin heterogeenisiä (60). Näin ollen yhdenmukaistettujen menetelmien puuttuessa mahdollisuudet tulosten kokoamiseen, yhdistämiseen tai vertailuun ovat rajalliset. Lisäksi kyseiset tutkimukset voivat kansallisen luonteensa takia kattaa eurooppalaisen yhteistyöulottuvuuden vain osittain.

90. Vuonna 2007 julkaistussa eurooppalaista tutkimusaluetta koskevassa vihreässä kirjassa komissio piti tärkeänä, että eurooppalaisen tutkimusalueen tasolla on käytössä tarkkoja analyysejä tutkimustoimintojen ja -politiikkojen tehosta ja vaikuttavuudesta sekä jäsenvaltioiden että EU:n tasolta. Komissio toi niin ikään esille, että nykyiset järjestelyt eivät riitä mainitun haasteen käsittelemiseen, koska jokainen toiminnan taso suoritti arviointejaan erillään muista (61).

Suositukset

91. Komission pitäisi laatia puiteohjelmien avulla rahoitettujen toimintojen arviointia varten käsikirja, jossa määritettäisiin keskeiset käsitteet sekä terminologia ja yksilöitäisiin joukko tiettyihin arviointitoimintoihin soveltuvia menetelmiä. Käsikirjan tulisi perustua olemassa oleviin oppaisiin ja ohjeistoihin ja sitä olisi päivitettävä säännöllisesti. 92. Komission pitäisi määrittää tietotarpeensa ottaen huomioon osallistujille aiheutuvan hallinnollisen työmäärän rajoittamistarve. 93. Komission tulisi antaa oikea-aikaisesti seurantatietoja puiteohjelmien toteuttamisesta. Seitsemännen puiteohjelman ”osallistumissäännöissä” edellytetään, että ongelmat, jotka liittyvät ohjelmahallinnointia ja osallistujia koskevien tietojen hallinnointiin käytettäviin komission tietojärjestelmiin, on ratkaistava viipymättä. 94. Osallistujien raportointivaatimuksia komissiolle olisi vähennettävä huomattavasti ja kyselytutkimuksia suoritettava ainoastaan otantaperusteisesti. Sopimuksiin perustuva vaatimus, jonka mukaan kunkin hankkeen osalta on toimitettava indikaattoreihin pohjautuvia tietoja vaikutuksista, olisi korvattava hankkeen päättyessä suoritettavalla lyhyellä itsearvioinnilla. 95. Komission pitäisi hyödyntää olemassa olevia, arvioinnin kannalta olennaisia tietoja sisältäviä täydentäviä tietolähteitä (sekä komission että jäsenvaltioiden tasolla) laajemmin arviointiensa yhteydessä. 96. Komission olisi hyödynnettävä kaikkia käytettävissä olevia arviointitekniikoita. Sen olisi myös tuettava innovatiivisten lähestymistapojen kehittämistä tutkimusalan julkisten tukitoimenpiteiden arviointimenetelmiin liittyvien vaikeuksien ratkaisemiseksi (ks. liite I) ja sovellettava kyseisiä lähestymistapoja omissa arvioinneissaan. 97. Komission pitäisi konsultoida jäsenvaltioita kysymyksissä, jotka liittyvät kansallisella tasolla suoritettavista puiteohjelmien arvioinneista saatavan hyödyn maksimointiin.

Arviointihavaintojen levittäminen ja hyödyntäminen

98. Arvioinnin avulla pitäisi saada asianmukaista tietoa ja analyysi, joita voidaan käytännössä hyödyntää ohjelmien hallinnointiin ja politiikkojen laadintaan. Arvioinnin tulisi muodostaa perusta varsinkin julkisen tukitoimenpiteen vahvuuksiin ja heikkouksiin liittyvälle perusteelliselle pohdinnalle, joka on välttämätön kokemusten perusteella oppimisen kannalta. Tilintarkastustuomioistuin tarkasti, kuinka oikea-aikaisia arvioinnit olivat, minkälaajuista oli havainnoista tiedottaminen ja niiden levittäminen komission ulkopuolisille osallistujille ja missä määrin komissio otti huomioon käynnissä olevien ohjelmien tarkistusta koskevat suositukset (”oppimisohjelmat”).

Arviointien ajoituksessa ei otettu huomioon, millaisia tietoja oli realistista odottaa

99. Tilintarkastustuomioistuin tiedostaa, että tietyntyyppiset analyysit edellyttävät pitkän aikavälin perspektiiviä (esimerkiksi tulosten ja sosiaalis-taloudellisten vaikutusten arviointi) ja että jotkin näkökohdat liittyvät tiettyyn ohjelmakauteen (esimerkiksi ohjelmatavoitteet, jopa tietyn tieteenalan sisällä), ja jotkin puolestaan eivät (ks. kaavio 8). Komissio ei ole kuitenkaan ottanut arviointitoimintojensa yhteydessä käyttöön lähestymistapaa, jonka kohdalla otettaisiin huomioon mainitut aikaan liittyvät näkökohdat.

100. Lainsäädännössä on edellytetty komission pääasiallisten arviointitoimintojen keskittämistä yksinomaan viisivuotisarviointia edeltäviin viiteen vuoteen, jolloin menettely kattaa osia kahdesta peräkkäisestä ohjelmakaudesta. Näin ollen keskipitkän ja pitkän aikavälin tuloksia ja vaikutuksia ei ole juurikaan käsitelty. Viisivuotisarvioinnit ovatkin yleensä keskittyneet lähinnä seurantanäkökohtiin, lyhyen aikavälin ohjelmasuunnitteluun ja puiteohjelmien suuntaamista koskeviin yleisiin havaintoihin. Tilintarkastustuomioistuin suhtautuu myönteisesti siihen, että seitsemättä puiteohjelmaa koskevassa lainsäädännössä ei enää edellytetä viisivuotisarviointeja tai muita tiettyyn ennalta määritettyyn ajanjaksoon kohdistuvia arviointeja. Kaavio 8 Erilaisiin ajanjaksoihin perustuvat seuranta- ja arviointikysymykset Ohjelman toteutuksen seuranta (ohjelman ollessa käynnissä) — Ohjelman hallinnointiin liittyvät kysymykset (esimerkiksi sopimuksentekoon ja maksun suorittamiseen kuluva aika, osallistumis- ja onnistumisaste, talousarvion toteuttaminen ja rahoitusaste) Arviointi Lyhyt aikaväli (aikaisintaan esimerkiksi 1–2 vuoden kuluttua) — Ohjelman hallinnointiin liittyvät kysymykset (esimerkiksi hallinnollisten menettelyiden tehokkuus) — Ohjelman suunnitteluun liittyvät kysymykset (esimerkiksi välineiden saatavilla olo ja joustavuus, osallistumisen esteet ja tarjouspyyntöjen epäonnistumisen seuraukset) — Osallistumisprofiilin analysointi (tässä vaiheessa lähinnä kvantitatiivinen) Arviointi Keskipitkä aikaväli (esimerkiksi 7 vuoden kuluttua) — Ohjelmasuunnitteluun liittyvät kysymykset (esimerkiksi välineiden vaikuttavuus) — Osallistumisen analysointi (jossa yhdistyvät laadulliset ja kvantitatiiviset näkökohdat, esimerkiksi verkostojen analysointi ja vaikutukset tutkijoiden toimintaan) — Hanketuotosten analysointi (62) (esimerkiksi julkaisut, artikkelit, patentit, lisenssit, prototyypit ja koulutetut tutkijat) Arviointi Pitkä aikaväli (esimerkiksi yli 10 vuoden kuluttua) — Tulosten ja vaikutusten arviointi Lähde: Euroopan tilintarkastustuomioistuin.

101. Myös komission asiantuntijat ovat havainneet viisivuotisarviointien puutteet puiteohjelmien tulosten ja vaikutusten arvioinnissa: — vuoden 2004 viisivuotisarvioinnin suorittaneen arviointiryhmän mukaan arvioinnin pitäisi kattaa ja kiinnittää riittävästi huomiota sekä pitkän että lyhyen aikavälin kysymyksiin ja resursseja voitaisiin suunnata tavoitteellisempiin pitkän aikavälin arviointitutkimuksiin, joissa voitaisiin tutkia systemaattisemmin rakenteellisia ja laajempia sosiaalis-taloudellisia kysymyksiä (63), — tutkimuksen pääosaston tilaaman tutkimuksen mukaan nykyiset EU:n TTK-toimien arviointikäytännöt (jatkuva seuranta, viisivuotisarviointi ja väliarviointi) keskittyvät vaikutusten arvioinnin sijasta voimakkaasti seurantaan ja jotta kysyntää ja odotuksia voitaisiin ohjata sosiaalis-taloudellisten vaikutusten suuntaan, olisi perustettava uudet arviointi- ja seurantapuitteet, joiden yhteydessä edellytettäisiin tuotosten seurannan sijasta vaikutusten voimakkaampaa painottamista (64).

102. Oikea-aikaisuuteen liittyvät kysymykset koskevat myös lainsäädännössä edellytettyjä erityisarviointeja. Esimerkiksi vuonna 2004 julkaistu Marimónin kertomus, jossa analysoitiin kuudennen puiteohjelman (2003–2006) yhteydessä käyttöön otettuja uusia välineitä, vaadittiin liian varhaisessa vaiheessa, joten päätelmien perustaksi oli vain vähän tai ei lainkaan käytännön kokemusta ja empiiristä näyttöä (65).

Tiedottaminen ja levittäminen

103. Komissio voi itsenäisesti kehittää ja hyväksyä operatiivisia työohjelmia lyhyen aikavälin sykleissä; ohjelmat on hyväksytettävä kyseisestä ohjelmasta vastaavalla komitealla. Tämän menettelyn avulla ohjelmien hallinnointiin voitaisiin tehdä mukautuksia ja myös suunnata määrärahoja uudelleen alaohjelmien sisällä. Ei ollut havaittavissa, että komissio hyödyntäisi tätä mahdollisuutta (ks. kohta 107).

104. Muutoin komission on puiteohjelmien suunnittelu- ja hyväksymistapa huomioon ottaen lähes mahdotonta tehdä huomattavia muutoksia esimerkiksi ohjelmien tavoitteisiin tai määrärahojen suuntaamiseen alaohjelmien välillä. Ainoastaan lainsäätäjä voi panna täytäntöön näin laajamittaisia muutoksia puiteohjelmia koskevan lainsäädännön tarkistamisen (esimerkiksi seitsemännen puiteohjelman kohdalla vuonna 2010) tai seuraavan puiteohjelman hyväksymisen yhteydessä. Tästä syystä lainsäädännössä on yleensä edellytetty, että pääasialliset arviointitoimet ajoitetaan niin, että niiden tuloksia voidaan hyödyntää parhaalla mahdollisella tavalla politiikkojen laadinnassa.

105. Näin ollen komission arviointien pääkäyttäjin lukeutuvat itse tutkimusalan pääosastot (66). Puiteohjelmia koskevassa lainsäädännössä edellytetään kuitenkin selkeästi, että arvioinnit on toimitettava Euroopan parlamentille ja neuvostolle.

106. Tilintarkastustuomioistuimen Euroopan parlamentin teollisuus-, ulkomaankauppa-, tutkimus- ja energiavaliokunnalle ja neuvoston tieteen ja tekniikan tutkimuskomitealle tekemässä kyselytutkimuksessa suurin osa vastaajista toi kuitenkin esille, etteivät he kokeneet saaneensa riittävästi tietoa puiteohjelmien toteuttamisesta ja tuloksista (ks. kaavio 9) (67).

Arviointihavaintojen seuranta

107. Komissio esittää vuotuisissa arviointeja koskevissa katsauksissaan yhteenvedon suorittamiinsa arviointeihin perustuvista havainnoista ja toimista (68). Seurannan osalta komissio on myös antanut muodollisia vastauksia viisivuotisarviointien havaintoihin ja suosituksiin sekä lainsäädännössä edellytettyihin erityisarviointeihin ja on ryhtynyt mahdollisuuksien mukaan asianmukaisiin toimenpiteisiin niissä havaittujen puutteiden korjaamiseksi. Näin ei kuitenkaan ollut useiden muiden tarkastettujen arviointikertomusten kohdalla eikä ollut havaittavissa, että kertomusten havainnot ja suositukset olisi otettu huomioon työohjelmien muuttamiseksi. Vastaavasti pääosastojen toimintoperusteiseen budjetointiin liittyvissä selvityksissä ja vuotuisissa toimintakertomuksissa ei tuoda esille, missä määrin arviointihavaintojen perusteella ryhdyttiin toimenpiteisiin.

Suositukset

108. Komission olisi määritettävä, minkätyyppisiä ja -laajuisia arviointeja on kohtuullista odottaa lainsäädännössä yksilöityinä ajankohtina (2008, 2010 ja 2015), selvitettävä, miten arviointeja voidaan käyttää ohjelmien mukauttamiseen (”oppimisohjelmat”) ja yksilöitävä, miten arvioinnit voivat vaikuttaa politiikkoja koskeviin päätöksiin. Komission olisi tarkennettava etenkin, minkä lähestymistavan se aikoo ottaa pidemmän aikavälin tulosten arviointiin entisten ja nykyisten puiteohjelmien yhteydessä, ottaen huomioon, että tulosten ilmaantumiseen voi kulua 7–10 vuotta (ks. kaavio 8). 109. Komission olisi tarkistettava käytäntö, jonka perusteella se tiedottaa ja levittää arviointihavaintojaan, jotta kyetään varmistamaan, että osallistujat saavat tarvittavat tiedot. Tutkimusalan pääosastojen pitäisi antaa virallinen vastaus kaikkiin arviointeihin ja julkaistava kyseiset tutkimukset ja niihin antamansa vastaukset oikea-aikaisesti. Tutkimusalan pääosastojen olisi myös raportoitava toimintoperusteiseen budjetointiin liittyvissä selvityksissään ja vuotuisissa toimintakertomuksissaan arviointien perusteella toteutetuista toimenpiteistä ja hyödynnettävä suosituksia työohjelmien päivittämisen ja tulevien ohjelmien suunnittelun yhteydessä.

YLEISET PÄÄTELMÄT

110. Tilintarkastustuomioistuin tiedostaa, että TTK-ohjelmien arviointi ja varsinkin niiden pitkän aikavälin tulosten määrittäminen on jo sinällään vaikeaa ja parhaiden käytäntöjen yksilöinti hankalaa.

111. Tilintarkastustuomioistuimen näkemyksen mukaan arviointi on olennaista ohjelman hallinnoinnin, tulevan suunnittelun ja politiikkojen laatimisen kannalta. Arviointi luo myös vastuullisuuden perustan. Arvioinnin avulla saadaan arvokasta tietoa saavutetuista tavoitelluista (tai odottamattomista) tuloksista, ohjelman tavoitteiden saavuttamisen laajuudesta, ohjelman tarkoituksenmukaisuudesta ja hyödyllisyydestä sekä ohjelman toteuttamisen tehokkuudesta ja vaikuttavuudesta. Euroopan parlamentti ja neuvosto päättävät puiteohjelmien yhteydessä yleisistä linjoista, budjettikysymyksistä sekä ohjelmasuunnittelusta, joten avoin, luotettava ja vankka arviointijärjestelmä on tarpeen, jotta ne saavat asianmukaiset tiedot.

112. Komissio laati vuosina 2000 ja 2002 yleisen arviointikehyksen ja tarkisti sitä vuonna 2007. Tilintarkastustuomioistuimen tarkastuskohteena olleen ajanjakson aikana puiteohjelmien ja niihin sisältyvien ohjelmien arviointien suunnittelu-, laadinta- tai toteuttamistavassa ei ollut havaittavissa suurempia parannuksia, mutta tutkimusalan pääosastot ovat yleisesti ottaen noudattaneet koko komission kattavia virallisia vaatimuksia.

113. Tämän kertomuksen kattaman ajanjakson osalta tutkimusalan pääosastoilla oli – kuten puiteohjelmia koskevassa lainsäädännössä edellytetään – käytössään arviointijärjestelmä ja komissiolla on esitettävänään huomattava määrä arviointitutkimuksia. On kuitenkin todettava, että ohjelmatavoitteiden saavuttamisesta ja puiteohjelmien tuloksista on tietoa vain vähän tai ei lainkaan. Tämä johtuu siitä, että arvioinnit ovat yleensä keskittyneet ohjelmien täytäntöönpanoon liittyviin lyhyen aikavälin kysymyksiin. Komission arvioinnit eivät näin ollen olleet kovin hyödyllisiä politiikkojen laatijoille, osallistujille tai edes komissiolle itselleen.

114. Kun otetaan huomioon arvioinnin merkitys ohjelmien hallinnoinnin ja politiikkojen laatimisen kannalta, komission lähestymistapa puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin on tarkasteltava uudelleen ottaen huomioon uudet poliittiset haasteet, lisääntyvä rahoitus, yhteisön tutkimuspolitiikan kattavuuden laajentuminen ja hiljattain tapahtunut komission hallinnollinen uudistus. Tätä suositti myös tutkimusalan eurooppalainen neuvoa-antava komitea (EURAB) vuonna 2007 julkaistussa kertomuksessaan.

115. Tilintarkastustuomioistuimen näkemyksen mukaan selkeän toimintalogiikan hyödyntäminen tulevien puiteohjelmien suunnittelussa johtaisi ohjelmien parempaan kohdentamiseen ja jäsentämiseen. Se vaikuttaisi myös ”parempaan säännöspolitiikkaan” komissiossa – tavoitteena paremmin suunniteltu, yksinkertaisempi, vaikuttavampi ja paremmin ymmärrettävissä oleva säädösympäristö (69).

116. Puiteohjelmien ja niihin sisältyvien ohjelmien arviointi olisi tuloksekkaampaa, mikäli ohjelmatavoitteet ja indikaattorit olisivat alusta alkaen selkeämpiä, puiteohjelmien toteuttamisesta vastaavat tutkimusalan pääosastot sopisivat vankasta mutta ei liian rajoittavasta arviointistrategiasta ja käytössä olisi edistyksellisempiä arviointimenetelmiä, joihin sisältyisi myös kvantitatiivisia lähestymistapoja.

117. Tilintarkastustuomioistuin pani myös merkille useita näkökohtia, joiden osalta komission on syytä harkita uudelleen puiteohjelmien arviointiin nykyisin soveltamiaan organisatorisia järjestelyitä. Voisi olla hyödyllistä esimerkiksi — sisällyttää arviointiryhmät arviointiprosessiin varhaisemmassa vaiheessa, jolloin komissio saisi tukea koko ohjelmakauden ajan ja sen jälkeenkin, ja lisätä erikoistumista siten, että erityisohjelmia ja tarvittaessa alaohjelmia varten olisi omat arviointiryhmänsä, — täydentää nykyisiä pääosastokohtaisia arviointiyksiköitä perustamalla yhteisiä arviointiyksiköitä vastaamaan puiteohjelmia koskevien arviointien koordinoinnista.

118. Tässä kertomuksessa esitetyt suositukset perustuvat joko komissiossa sovellettaviin tai kansainvälisiin hyviin käytäntöihin. Resurssien kannalta on selvää, että ehdotetun lähestymistavan käyttöönotto ohjelmien arvioinnissa merkitsisi korkeampia kustannuksia. Tilintarkastustuomioistuin kuitenkin katsoo, että menettelyn avulla todennäköisesti saavutetaan vähintäänkin kustannuksia vastaava hyöty.

Tilintarkastustuomioistuin on hyväksynyt tämän kertomuksen Luxemburgissa 22. marraskuuta 2007 pitämässään kokouksessa. Tilintarkastustuomioistuimen puolesta Hubert WEBER presidentti

(1) OECD:n mukaan tutkimus ja kehittäminen voidaan määritellä luovaksi työksi, jota toteutetaan järjestelmällisesti ihmisiä, kulttuuria ja yhteiskuntaa koskevan tietomäärän lisäämiseksi, sekä kyseisen tietomäärän hyödyntämiseksi uusien sovellusten suunnitteluun (ks. OECD, Frascati Manual – Proposed standard practice for surveys on research and experimental development, Pariisi, 2002, s. 30). Yhteisön toimintaympäristössä käytetään lyhennettä TTK, joka kattaa teknologian, tutkimuksen ja kehittämisen.

(2) Tutkimuksen pääosasto on päävastuussa puiteohjelmien hallinnoinnista ja koordinoinnista. Viisi muuta niin ikään erityisohjelmia (osittain) hallinnoivaa pääosastoa ovat: tietoyhteiskunnan ja viestimien pääosasto (tärkein), energian ja liikenteen pääosasto, yritys- ja teollisuustoiminnan pääosasto, kalastuksen pääosasto sekä komission yhteinen tutkimuskeskus.

(3) Vuonna 2000 Lissabonin Eurooppa-neuvosto asetti tavoitteen tehdä Euroopasta maailman dynaamisin ja kilpailukykyisin kestävä tietoon perustuva talous, jossa vallitsee täystyöllisyys ja tiiviimpi taloudellinen ja sosiaalinen yhteenkuuluvuus.

(4) Vuonna 2002 Eurooppa-neuvosto sopi, että TTK-toimiin ja innovointiin liittyvien Euroopan unionin menojen kokonaismäärää on lisättävä siten, että niiden osuus BKT:sta on kolme prosenttia vuoteen 2010 mennessä. Eurooppa-neuvosto myös tarkensi, että kaksi kolmasosaa tästä uudesta investoinnista tulisi saada yksityiseltä sektorilta (ks. Euroopan komissio, ”Tutkimusinvestoinnit: toimintasuunnitelma Euroopalle”; komission tiedonanto neuvostolle, Euroopan parlamentille, Euroopan talous- ja sosiaalikomitealle sekä alueiden komitealle, KOM(2003) 226 lopullinen, s. 7).

(5) Suoran hallinnoinnin tapauksessa komissio suorittaa talousarvion toteuttamiseen liittyvät toimintonsa ilman jäsenvaltioiden tai kolmansien maiden (joissa menojen vastaanottajat ovat) osallistumista.

(6) Vuodesta 2006 alkaen jo pelkästään kuudenteen puiteohjelmaan on osallistunut yli 22 000 julkista ja yksityistä oikeushenkilöä; kyseessä ovat yleensä useiden toimintakumppaneiden muodostamat konsortiot.

(7) Kyseessä on koordinointimenetelmä, joka perustuu valtioiden välisen vapaaehtoisen yhteistyön periaatteeseen. Toimintaperiaatteina ovat erityisesti molemminpuolinen oppiminen, vertailu ja parhaiden käytäntöjen jakaminen.

(8) Neuvoston asetus (EY, Euratom) N:o 1605/2002, annettu 25 päivänä kesäkuuta 2002 (EYVL L 248, 16.9.2002, s. 1), 27, 48, 59 ja 60 artikla.

(9) Euroopan komissio, budjettipääosasto, Dalia Grybauskaitėn yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, 21. helmikuuta 2007; Euroopan komissio, budjettipääosasto, Michaele Schreyerin komissiolle antama tiedonanto, ”Focus on Results: Strengthening Evaluation of Commission Activities”, SEC(2000) 1051, 26. heinäkuuta 2000.

(10) Euroopan parlamentin ja neuvoston päätös 1982/2006/EY, tehty 18 päivänä joulukuuta 2006, Euroopan yhteisön seitsemännestä tutkimuksen, teknologian kehittämisen ja demonstroinnin puiteohjelmasta (2007–2013) (EUVL L 412, 30.12.2006, s. 1), 7 artiklan 1 kohta; seurantatiedot, jotka komission on toimitettava ohjelmakomiteoille, on määritetty erityisohjelmapäätöksissä (ks. esimerkiksi neuvoston päätös 2006/971/EY, tehty 19 päivänä joulukuuta 2006, Euroopan yhteisön seitsemännen tutkimuksen, teknologian kehittämisen ja demonstroinnin puiteohjelman (2007–2013) täytäntöön panemiseksi toteutettavasta erityisohjelmasta ”Yhteistyö” (EUVL L 400, 30.12.2006, s. 86), 8 artiklan 4 kohta ja liite V.

(11) Euroopan komission tiedonanto neuvostolle (Community Plan of Action relating to the Evaluation of Community R&D activities for the years 1987 to 1991), KOM(86) 660 lopullinen, 20. marraskuuta 1986; asiakirja on vastaus neuvoston 28. kesäkuuta 1983 antamaan päätöslauselmaan.

(12) Euroopan komissio, ”Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996”, Viscount Davignonin johtaman riippumattoman asiantuntijaryhmän raportti (1997); Euroopan komissio, ”Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999”, Joan Majón johtaman riippumattoman asiantuntijaryhmän raportti (heinäkuu 2000); Euroopan komissio, ”Five-year Assessment of the European Union Research Framework Programmes, 1999–2003”, Erkki Ormalan johtaman riippumattoman asiantuntijaryhmän raportti (15. joulukuuta 2004).

(13) Euroopan komissio, ”Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21. kesäkuuta 2004, professori Ramon Marimónin johtaman korkean tason asiantuntijaryhmän raportti.

(14) Euroopan komissio, budjettipääosasto, Michaele Schreyerin komissiolle antama tiedonanto, ”Focus on Results: Strengthening Evaluation of Commission Activities”, heinäkuu 2000, SEC(2000) 1051; Euroopan komissio, budjettipääosasto, Michaele Schreyerin yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Evaluation Standards and Good Practice”, K(2002) 5267, 23.12.2002.

(15) Euroopan komissio, budjettipääosasto, Dalia Grybauskaitėn yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, 21. helmikuuta 2007.

(16) Euroopan komission valmisteluasiakirja, ”Impact assessment and ex-ante evaluation”, SEC(2005) 430.

(17) ITRE (Industry, Research, Transport and Energy) vastaa (erityisesti) teollisuuspolitiikasta, tutkimuspolitiikasta (mukaan lukien tutkimushavaintojen levittäminen ja hyödyntäminen), avaruuspolitiikasta, yhteisen tutkimuskeskuksen toiminnoista sekä tietoyhteiskunnasta ja tietotekniikasta.

(18) CREST (Comité de la Recherche Scientifique et Technique) perustettiin 14. tammikuuta 1974 annetulla neuvoston päätöslauselmalla, ja se koostuu kansallisten viranomaisten edustajista, jotka vastaavat jäsenvaltioiden tiede- ja teknologiapolitiikoista. Komitealla on neuvoa-antava tehtävä; se antaa komissiolle ja neuvostolle tietoja erityisesti kansallisten TTK-politiikkojen koordinointiin sekä puiteohjelmien seurantaan ja arviointiin liittyvissä kysymyksissä.

(19) Loogiset mallit, jotka osoittavat, miten eri toimintoihin liittyvät panokset tuottavat tavoitellut tulokset, soveltuvat parhaiten toimintalogiikan kuvaamiseen. Mallien avulla voidaan selkeästi selittää ohjelmasuunnittelun toteutustavan taustalla vaikuttavat oletukset sekä se, miten yleistavoitteet jaotellaan toiminnallisiksi tavoitteiksi.

(20) Euroopan komissio, budjettipääosasto, ”Evaluating EU activities: a practical guide for the Commission services”, heinäkuu 2004, sivut 87 ja 106.

(21) ”Five year Assessment of the European Union Research Framework Programmes, 1999–2003”, Erkki Ormalan johtaman riippumattoman asiantuntijaryhmän raportti (15. joulukuuta 2004), kuudes luku ”Evaluating the Framework Programme”, s. 19.

(22) Yhteisön ulkopuolelle suunnattavan tuen vastaanottajamaiden on esitettävä loogiset mallit yhteisöltä saamaansa rahoitusta varten (Euroopan komissio, Aid delivery methods, Volume 1, Project cycle management guidelines, maaliskuu 2004, viides luku: The logical framework approach).

(23) Asetus (EY, Euratom) N:o 1605/2002, 27 artiklan 3 kohta.

(24) Vuonna 2006 politiikan alan ”08 tutkimus” rakenteellisena perustana olivat nykyisen kuudennen puiteohjelmakauden (järjestelmä korvattiin erilaisella rakenteella vuonna 2007) erityisohjelmat (ja alaohjelmat). Politiikan alalla ”09 tietoyhteiskunta” nykyiset ja aiemmat erityisohjelmat yhdistettiin yhdeksi toimintoperusteisen budjetoinnin toiminnoksi (Euroopan komissio, tutkimuksen pääosasto, linja A: Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006, 20.12.2005; Euroopan komissio, tietoyhteiskunnan ja viestimien pääosasto, 2006 Annual management plan, 23.12.2005).

(25) Tutkimuksen pääosaston kohdalla toimintojohtamisen tavoitteet (sekä niiden saavuttamisen mittaamiseen käytetyt indikaattorit) muuttuivat vuosittain. Tietoyhteiskunnan pääosasto sitä vastoin käytti monivuotisia tavoitteita, jotka eivät kuitenkaan vastanneet ohjelman tavoitteita (tai työohjelman tasolla yksilöityjä tavoitteita).

(26) Euroopan komissio, sisäisen tarkastuksen yksikkö, Review of effectiveness and efficiency of the SPP/ABM cycle – pääsihteeristö ja budjettipääosasto, 2005: kohta 4.1, s. 31.

(27) Euroopan komissio, ”Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes”, KOM(83) 1 lopullinen, 19. tammikuuta 1983.

(28) Komission tiedonanto neuvostolle ja Euroopan parlamentille – Yhteisön toimien itsenäinen ulkoinen valvonta ja arviointi tutkimuksen ja teknologisen kehittämisen alalla, 22.5.1996 (KOM(1996) 220 lopullinen).

(29) Jokainen puiteohjelmia toteuttava pääosasto dokumentoi suunnitellut arviointinsa vuotuisiin (ja monivuotisiin) arviointisuunnitelmiin. Kyseisten suunnitteluasiakirjojen ei kuitenkaan voida katsoa muodostavan sellaisenaan arviointistrategiaa.

(30) Asetus (EY, Euratom) N:o 1605/2002, 27 artiklan 4 kohta.

(31) ”Loi de programme pour la recherche no 2006–450”, 18.4.2006 sekä ”Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)”, 3.11.2006.

(32) Agencia Nacional de Evaluación y Prospectiva, Ministerio de Educación y Ciencia: Orden ECI/1252/2005, 4. toukokuuta 2005; asiakirja koskee neuvoa-antavan arviointi- ja ennustekomitean ”Comisión Asesora de Evaluación y Prospectiva” perustamista.

(33) Saksalainen rahoituselin ”Deutsche Forschungsgemeinschaft” (DFG) perusti vuonna 2004 erikoistuneen instituutin ”Institut für Forschungsinformation und Qualitätssicherung” (IFQ), ja on antanut sille vastuun arviointimenetelmien kehittämisestä ja vakioinnista, laadunvarmennuksesta sekä DFG:n rahoittamien TTK-toimien arvioinnista.

(34) Seitsemännen puiteohjelman yhteydessä komissio on perustanut 15 neuvoa-antavaa asiantuntijaryhmää; kuudennen puiteohjelman yhteydessä niitä oli 12 ja viidennen puiteohjelman yhteydessä 17. Neuvoa-antavat asiantuntijaryhmät antavat komissiolle neuvoja puiteohjelmia koskeviin politiikkoihin ja ohjelmiin liittyvissä kysymyksissä. On kuitenkin syytä panna merkille, että kyseiset ryhmät eivät kata puiteohjelmien ohjelmarakennetta kokonaisuudessaan. Toisin sanoen jokaista erityisohjelmaa (tai alaohjelmaa) varten ei ole neuvoa-antavaa asiantuntijaryhmää.

(35) Kanadassa lähes kaikki liittovaltion ministeriöt ovat perustaneet pysyviä arviointikomiteoita, joihin osallistuu ministeriöiden ylimpiä virkamiehiä ja yleensä myös ulkopuolisia osallistujatahoja; komiteoiden tehtävänä on arviointijärjestelmän valvonta (”Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee – Mandate and Membership).

(36) Euroopan komissio, ”Monitoring Report 2004 – Implementation of Activities under the EC and Euratom framework and corresponding specific programmes”, elokuu 2005, s. 5.

(37) Euroopan komissio, ”Planning and optimising Commission human resources to serve EU priorities”, SEC(2007) 530, 24. huhtikuuta 2007.

(38) Euroopan komissio, Michaele Schreyerin yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Evaluation standards and good practice”, K(2002) 5267, 23.12.2002; Euroopan komission valmisteluasiakirja, ”Impact assessment and ex-ante evaluation”, SEC(2005) 430, 6. huhtikuuta 2005, liite 1, alaviite 209.

(39) Vuonna 2007 tutkimusalan eurooppalainen neuvoa-antava komitea (European Research Advisory Board, EURAB) suositti myös puiteohjelmien arviointiin suunnattavien resurssien lisäämistä (EURAB, ”Recommendations on Ex-Post Impact Assessment”, heinäkuu 2007).

(40) Erityiskertomus nro 1/2004 tutkimusta ja teknologista kehittämistä koskevan viidennen puiteohjelman (1998–2002) epäsuorien TTK-toimien hallinnoinnista (EUVL C 99, 23.4.2004), kohdat 116 ja 122.

(41) Euroopan komissio, budjettipääosasto, Dalia Grybauskaitėn yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, 21. helmikuuta 2007; Euroopan komissio, Michaele Schreyerin yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Evaluation standards and good practice”, K(2002) 5267, 23.12.2002.

(42) Neljällätoista pääosastolla on tällaiset arviointikäsikirjat vastuulleen kuuluvia politiikan aloja ja ohjelmia varten (Euroopan komissio, budjettipääosasto – arviointiyksikkö, ”Overview of Evaluation Guides in the Commission”, lokakuu 2004).

(43) Fahrenkrog, G. et al, RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; ”Assessing the Socio-economic Impacts of the Framework Programme”; Manchesterin yliopisto, 2002.

(44) Komissiolla on yleensä tällaista tietoa osallistujista, mutta tieto ei useinkaan ole helposti hyödynnettävissä yksityiskohtaista analyysiä varten, sillä tiettyä osallistujaa koskevia tietoja ei säilytetä yhdessä paikassa eivätkä rekisteröintimuodot välttämättä ole yhteensopivia. Tämä vaikeuttaa osallistujan toimien jäljittämistä ajan kuluessa esimerkiksi osallistumatta jättämisen syiden analysoimiseksi, minkä lisäksi esimerkiksi verkottumisen vaikutusten tutkimiseen tähtäävä osallistujien välisten suhteiden analysointi vaikeutuu (ks. kohta 84).

(45) Vuosikertomus varainhoitovuodelta 2006, taulukko 2.3; vuosikertomus varainhoitovuodelta 2005, kohta 7.13; vuosikertomus varainhoitovuodelta 2004, kohdat 6.8 ja 6.10; vuosikertomus varainhoitovuodelta 2003, kohdat 6.9 ja 6.70, erityiskertomus nro 1/2004, kohdat 105–108; lausunto nro 1/2006 ehdotuksesta Euroopan parlamentin ja neuvoston asetukseksi säännöistä, jotka koskevat yritysten, tutkimuskeskusten ja korkeakoulujen osallistumista seitsemännen puiteohjelman toimiin sekä tutkimustulosten levittämistä (2007–2013) (EUVL C 203, 25.8.2006), kohta 57.

(46) Euroopan yhteisön perustamissopimus, 173 artikla: ”Jokaisen vuoden alussa komissio antaa Euroopan parlamentille ja neuvostolle kertomuksen. Kertomuksessa annetaan tiedot edellisen vuoden toiminnasta tutkimuksessa ja teknologisessa kehittämisessä sekä tulosten levittämisessä sekä kuluvan vuoden työohjelmasta.”

(47) Osallistujilta ei ole pyritty keräämään järjestelmällisesti tietoja hankkeiden loppuun saattamisen jälkeen, lukuun ottamatta arviointien yhteydessä järjestettyjä erityisiä kyselytutkimuksia. Kyselytutkimusten käyttöä on haitannut se, että osallistujilla ei ole – toisin kuin useiden kansallisten TTK-ohjelmien yhteydessä (esimerkiksi Saksassa) – oikeudellista velvoitetta tällaisten analyyttisten tietojen toimittamiseen.

(48) Erityiskertomus nro 1/2004, kohta 94; lausunto nro 1/2006, kohta 56.

(49) Vuosikertomus varainhoitovuodelta 2006, kohta 7.33; vuosikertomus varainhoitovuodelta 2005, kohdat 7.8 ja 7.29; lausunto nro 1/2006, kohdat 58–61.

(50) CORDIS on ainoa koko puiteohjelman kattava tietokanta, joka sisältää tietoa ehdotuksista, hankkeista ja tuloksista, kattaa useita ohjelmakausia ja johon on pääsy myös komission ulkopuolelta. Tietokannan tietoja yksittäisistä hankkeista ei kuitenkaan usein päivitetä sen jälkeen kun hanke-ehdotus on valittu. Ennen kuudetta puiteohjelmaa ja kuudennen puiteohjelman yhteydessä puiteohjelmiin osallistuvilla julkisen ja yksityisen sektorin tahoilla ei ollut velvoitetta tulostensa julkistamiseen (tutkimusalan eurooppalainen neuvoa-antava komitea (European Research Advisory Board, EURAB), ”Scientific publication: policy on open access”, joulukuu 2006).

(51) Hanne Foss Hansen, ”Choosing evaluation models: A discussion on evaluation design,” Evaluation, Vol. 11, No 4, 2005, sivut 447–462.

(52) Ennen kuudetta puiteohjelmaa ja kuudennen puiteohjelman yhteydessä puiteohjelmiin osallistuvilla julkisen ja yksityisen sektorin tahoilla ei ollut velvoitetta tieteellisten tulostensa julkistamiseen. EURAB suositti joulukuussa 2006, että yhteisön tuella rahoitetun tutkimuksen kohdalla taattaisiin vapaa julkinen saatavuus muuttamalla julkaiseminen pakolliseksi. Ehdotettiin, että komission olisi perustettava Internet-tietokanta julkaistuja hanketuloksia varten (ks. EURAB, ”Scientific publication: policy on open access”, joulukuu 2006).

(53) On syytä todeta, että tällaisia malleja käytettiin laadittaessa ennusteita suunnitellun seitsemännen puiteohjelman mikro- ja makrotaloudellisista vaikutuksista (ks. Euroopan komissio, ”Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes”, elokuu 2005, sivut 23–25). Ei ole kuitenkaan osoitusta siitä, että kyseinen puiteohjelmien mahdollisia taloudellisia vaikutuksia koskeva arviointi liittyisi mihinkään jälkiarviointisuunnitelmaan.

(54) Tietoyhteiskunnan ja viestinten pääosasto, ”IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)”, 2005; ”Networks of innovation in information society development and deployment in Europe”, 2006.

(55) Tietoyhteiskunnan ja viestinten pääosasto: ERAnets – Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area (loppukertomus), 2005; ”Evaluation of progress towards a