# Euroopan unionin C 26/2008

| | ISSN 1725-2490 |
| --- | --- |
| Euroopan unionin
  virallinen lehti | C 26 |
| | |
| Suomenkielinen laitos | Tiedonantoja ja ilmoituksia | 51. vuosikerta30. tammikuu 2008 |

ISSN 1725-2490

Euroopan unionin

virallinen lehti

C 26

Suomenkielinen laitos

Tiedonantoja ja ilmoituksia

51. vuosikerta30. tammikuu 2008

---

| Ilmoitusnumero | Sisältö | Sivu |
| --- | --- | --- |
| | IV   Tiedotteet |
| | EUROOPAN UNIONIN TOIMIELINTEN JA ELINTEN ANTAMAT TIEDOTTEET |
| | Tilintarkastustuomioistuin |
| 2008/C 026/01 | Erityiskertomus nro 9/2007 tutkimusta ja teknologista kehittämistä koskevien EU:n puiteohjelmien arvioinnista – voidaanko komission lähestymistapaa parantaa? sekä komission vastaukset | 1 |

Ilmoitusnumero

Sisältö

Sivu

IV   Tiedotteet

EUROOPAN UNIONIN TOIMIELINTEN JA ELINTEN ANTAMAT TIEDOTTEET

Tilintarkastustuomioistuin

2008/C 026/01

Erityiskertomus nro 9/2007 tutkimusta ja teknologista kehittämistä koskevien EU:n puiteohjelmien arvioinnista – voidaanko komission lähestymistapaa parantaa? sekä komission vastaukset

1

| FI | |
| --- | --- |

FI

---

IV Tiedotteet

EUROOPAN UNIONIN TOIMIELINTEN JA ELINTEN ANTAMAT TIEDOTTEET

Tilintarkastustuomioistuin

| 30.1.2008 | FI | Euroopan unionin virallinen lehti | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

FI

Euroopan unionin virallinen lehti

C 26/1

---

ERITYISKERTOMUS nro 9/2007

”tutkimusta ja teknologista kehittämistä koskevien EU:n puiteohjelmien arvioinnista – voidaanko komission lähestymistapaa parantaa?” sekä komission vastaukset

(annettu EY:n perustamissopimuksen 248 artiklan 4 kohdan toisen alakohdan nojalla)

(2008/C 26/01)

SISÄLLYS

| I—V | TIIVISTELMÄ |
| --- | --- |

I—V

| 1—14 | JOHDANTO |
| --- | --- |

1—14

| 1—7 | Euroopan unioni tutkimuksen ja teknologisen kehittämisen tukijana |
| --- | --- |

1—7

| 8—14 | Puiteohjelmien arviointi ja seuranta |
| --- | --- |

8—14

| 15—18 | TARKASTUKSEN SISÄLTÖ JA LÄHESTYMISTAPA |
| --- | --- |

15—18

| 19—109 | TARKASTUKSEEN PERUSTUVAT HUOMAUTUKSET |
| --- | --- |

19—109

| 19—37 | Puiteohjelmiin sovellettava toimintalogiikka ei ole ollut selkeä |
| --- | --- |

19—37

| 38—49 | Arviointistrategia |
| --- | --- |

38—49

| 50—68 | Puiteohjelmien arvioinnin järjestäminen |
| --- | --- |

50—68

| 69—97 | Arviointimenetelmät ja -tekniikat |
| --- | --- |

69—97

| 98—109 | Arviointihavaintojen levittäminen ja hyödyntäminen |
| --- | --- |

98—109

| 110—118 | YLEISET PÄÄTELMÄT |
| --- | --- |

110—118

Liite I: TTK-toimiin liittyvien julkisten tukitoimenpiteiden vaikutusten ja tulosten mittaaminen

Liite II: Seurantaa ja arviointia koskevat säännökset puiteohjelmista tehdyissä päätöksissä neljännestä puiteohjelmasta seitsemänteen

Liite III: Tutkimusohjelmien jälkiarvioinnin keskeiset erot EU:n (neljännestä puiteohjelmasta kuudenteen), Yhdysvaltojen ja Kanadan välillä

Liite IV: Arviointiryhmien mahdollinen rakenne seitsemännen puiteohjelman yhteydessä

Komission vastaukset

TIIVISTELMÄ

| I | Yhteisön TTK-puiteohjelmat muodostavat suurimman tutkimustoiminnan julkisen rahoituslähteen Euroopan unionin alueella. Komissio vastaa puiteohjelmien hallinnoinnista ja niiden tulosten arvioinnista. |
| --- | --- |

I

Yhteisön TTK-puiteohjelmat muodostavat suurimman tutkimustoiminnan julkisen rahoituslähteen Euroopan unionin alueella. Komissio vastaa puiteohjelmien hallinnoinnista ja niiden tulosten arvioinnista.

| II | Tarkastus kattoi käytössä olevat seuranta- ja arviointijärjestelyt vuodesta 1995 alkaen – kolmen viimeisimmän ohjelmakauden ajalta (neljäs, viides ja kuudes puiteohjelma) – ja sen yhteydessä luotiin katsaus myös seitsemänteen puiteohjelmaan (2007–2013). Tarkastus toimitettiin yhteistyössä EFTAn tarkastajien kanssa, ja siihen osallistui myös ulkopuolisia asiantuntijoita. |
| --- | --- |

II

Tarkastus kattoi käytössä olevat seuranta- ja arviointijärjestelyt vuodesta 1995 alkaen – kolmen viimeisimmän ohjelmakauden ajalta (neljäs, viides ja kuudes puiteohjelma) – ja sen yhteydessä luotiin katsaus myös seitsemänteen puiteohjelmaan (2007–2013). Tarkastus toimitettiin yhteistyössä EFTAn tarkastajien kanssa, ja siihen osallistui myös ulkopuolisia asiantuntijoita.

| III | Tarkastuksessa tutkittiin, oliko komission lähestymistapa puiteohjelmien tulosten arviointiin riittävän kattava. Tätä silmällä pitäen tilintarkastustuomioistuin tarkasti, täyttikö komissio arvioinnille asetetut oikeudelliset vaatimukset, ja tutki, vastasiko komission arviointi- ja seurantajärjestelmä osallistujien odotuksia. Tilintarkastustuomioistuin perehtyi erityisesti seuraaviin kysymyksiin:






  i) | onko puiteohjelmien ja niihin sisältyvien ohjelmien taustalla toimintalogiikka, joka luo vakaan perustan arvioinnille ja seurannalle; |
| --- | --- | --- |

III

Tarkastuksessa tutkittiin, oliko komission lähestymistapa puiteohjelmien tulosten arviointiin riittävän kattava. Tätä silmällä pitäen tilintarkastustuomioistuin tarkasti, täyttikö komissio arvioinnille asetetut oikeudelliset vaatimukset, ja tutki, vastasiko komission arviointi- ja seurantajärjestelmä osallistujien odotuksia. Tilintarkastustuomioistuin perehtyi erityisesti seuraaviin kysymyksiin:

i)

onko puiteohjelmien ja niihin sisältyvien ohjelmien taustalla toimintalogiikka, joka luo vakaan perustan arvioinnille ja seurannalle;

| ii) | onko komissio määrittänyt puiteohjelmiin sovellettavan arviointistrategian; |
| --- | --- |

ii)

onko komissio määrittänyt puiteohjelmiin sovellettavan arviointistrategian;

| iii) | onko puiteohjelmiin sovellettava komission arviointijärjestelmä organisaatiorakenteeltaan sellainen, että arvioinnin asianmukainen koordinointi ja riittävät resurssit kyetään varmistamaan ja että osallistujat pitävät arviointia riittävän riippumattomana; |
| --- | --- |

iii)

onko puiteohjelmiin sovellettava komission arviointijärjestelmä organisaatiorakenteeltaan sellainen, että arvioinnin asianmukainen koordinointi ja riittävät resurssit kyetään varmistamaan ja että osallistujat pitävät arviointia riittävän riippumattomana;

| iv) | ovatko arviointiin käytetyt menetelmät tyydyttäviä; |
| --- | --- |

iv)

ovatko arviointiin käytetyt menetelmät tyydyttäviä;

| v) | saadaanko arviointi- ja seurantatoimien avulla tietoa ja analyysejä, jotka ovat hyödynnettävissä käynnissä olevien ohjelmien parantamiseen ja tulevien puiteohjelmien valmisteluun. |
| --- | --- |

v)

saadaanko arviointi- ja seurantatoimien avulla tietoa ja analyysejä, jotka ovat hyödynnettävissä käynnissä olevien ohjelmien parantamiseen ja tulevien puiteohjelmien valmisteluun.

| IV | Tilintarkastustuomioistuin teki seuraavat havainnot ja päätelmät:






  i) | Selkeän toimintalogiikan puuttuminen ja heikosti määritetyt ohjelmatavoitteet sekä puutteellinen tulosten mittaaminen heikensivät mahdollisuuksia tehokkaaseen seurantaan ja arviointiin. |
| --- | --- | --- |

IV

Tilintarkastustuomioistuin teki seuraavat havainnot ja päätelmät:

i)

Selkeän toimintalogiikan puuttuminen ja heikosti määritetyt ohjelmatavoitteet sekä puutteellinen tulosten mittaaminen heikensivät mahdollisuuksia tehokkaaseen seurantaan ja arviointiin.

| ii) | Puiteohjelmiin sovellettavan kattavan, puiteohjelmia toteuttavien tutkimusalan pääosastojen hyväksymän arviointistrategian puuttuminen johti epäyhtenäisiin lähestymistapoihin komission yksiköiden välillä; tätä kuvastaa etenkin se, että huomattavia osia puiteohjelmista arvioitiin liian vähän. |
| --- | --- |

ii)

Puiteohjelmiin sovellettavan kattavan, puiteohjelmia toteuttavien tutkimusalan pääosastojen hyväksymän arviointistrategian puuttuminen johti epäyhtenäisiin lähestymistapoihin komission yksiköiden välillä; tätä kuvastaa etenkin se, että huomattavia osia puiteohjelmista arvioitiin liian vähän.

| iii) | Puiteohjelmien arviointi oli hajautettu, puiteohjelmia toteuttavien pääosastojen nykyiset koordinointimekanismit tehottomia, eikä komission keskusyksiköillä ollut valvontavastuuta. Tutkimusalan pääosastot ovat kuitenkin yleisesti ottaen noudattaneet komission virallisia arviointivaatimuksia. Komission laajoihin arviointeihin nimittämistä korkean tason ulkoisista asiantuntijoista koostuvien työryhmien käyttö soveltui hyvin yhteisön toimintaympäristöön. Tilapäiset arviointiryhmät eivät kuitenkaan olleet mukana prosessissa riittävän varhaisessa vaiheessa voidakseen vaikuttaa todentavan aineiston keräämiseen, minkä lisäksi niillä oli vain rajalliset mahdollisuudet seurata merkittäviin kysymyksiin liittyvää kehitystä ajan kuluessa. Käytössä oli ainoastaan yleinen puiteohjelmista vastaava arviointiryhmä (sekä yhtä erityisohjelmaa varten perustettu ryhmä), joten puiteohjelmien kattamiin eri tieteenaloihin liittyviin erityiskysymyksiin ei kiinnitetty riittävästi huomiota. |
| --- | --- |

iii)

Puiteohjelmien arviointi oli hajautettu, puiteohjelmia toteuttavien pääosastojen nykyiset koordinointimekanismit tehottomia, eikä komission keskusyksiköillä ollut valvontavastuuta. Tutkimusalan pääosastot ovat kuitenkin yleisesti ottaen noudattaneet komission virallisia arviointivaatimuksia. Komission laajoihin arviointeihin nimittämistä korkean tason ulkoisista asiantuntijoista koostuvien työryhmien käyttö soveltui hyvin yhteisön toimintaympäristöön. Tilapäiset arviointiryhmät eivät kuitenkaan olleet mukana prosessissa riittävän varhaisessa vaiheessa voidakseen vaikuttaa todentavan aineiston keräämiseen, minkä lisäksi niillä oli vain rajalliset mahdollisuudet seurata merkittäviin kysymyksiin liittyvää kehitystä ajan kuluessa. Käytössä oli ainoastaan yleinen puiteohjelmista vastaava arviointiryhmä (sekä yhtä erityisohjelmaa varten perustettu ryhmä), joten puiteohjelmien kattamiin eri tieteenaloihin liittyviin erityiskysymyksiin ei kiinnitetty riittävästi huomiota.

| iv) | Menetelmiä koskevaa ohjausta ei annettu riittävästi, arvioijilla oli vaikeuksia olennaisten tietojen keräämisessä eikä ollut olemassa arviointikertomuksia, joissa käsiteltäisiin puiteohjelmien tuloksia ja vaikutuksia pidemmällä aikavälillä ohjelmien täytäntöönpanoon liittyvien lyhyen aikavälin kysymysten sijasta. |
| --- | --- |

iv)

Menetelmiä koskevaa ohjausta ei annettu riittävästi, arvioijilla oli vaikeuksia olennaisten tietojen keräämisessä eikä ollut olemassa arviointikertomuksia, joissa käsiteltäisiin puiteohjelmien tuloksia ja vaikutuksia pidemmällä aikavälillä ohjelmien täytäntöönpanoon liittyvien lyhyen aikavälin kysymysten sijasta.

| v) | Edellä esitetyn tuloksena sekä siksi, että arvioinnit suoritettiin usein liian varhaisessa vaiheessa oleellisimpien kysymysten käsittelyn kannalta, puiteohjelmia koskevasta komission arviointijärjestelmästä ei ollut juurikaan hyötyä politiikkojen laatijoille, osallistujille tai edes komissiolle itselleen. Puiteohjelmien tavoitteiden saavuttamisesta ja tuloksista tiedetään loppujen lopuksi hyvin vähän. |
| --- | --- |

v)

Edellä esitetyn tuloksena sekä siksi, että arvioinnit suoritettiin usein liian varhaisessa vaiheessa oleellisimpien kysymysten käsittelyn kannalta, puiteohjelmia koskevasta komission arviointijärjestelmästä ei ollut juurikaan hyötyä politiikkojen laatijoille, osallistujille tai edes komissiolle itselleen. Puiteohjelmien tavoitteiden saavuttamisesta ja tuloksista tiedetään loppujen lopuksi hyvin vähän.

| V | Tilintarkastustuomioistuin suosittaa seuraavaa:






  i) | Toimintalogiikka olisi tuotava tulevaisuudessa selkeästi esille lainsäädännössä. Taustalla vaikuttavat oletukset on selvitettävä, tieteellisten ja sosiaalis-taloudellisten tavoitteiden välinen yhteys täsmennettävä ja asianmukaisia tulosindikaattoreita kehitettävä. |
| --- | --- | --- |

V

Tilintarkastustuomioistuin suosittaa seuraavaa:

i)

Toimintalogiikka olisi tuotava tulevaisuudessa selkeästi esille lainsäädännössä. Taustalla vaikuttavat oletukset on selvitettävä, tieteellisten ja sosiaalis-taloudellisten tavoitteiden välinen yhteys täsmennettävä ja asianmukaisia tulosindikaattoreita kehitettävä.

| ii) | Puiteohjelmia toteuttavien pääosastojen olisi kehitettävä (ja hyväksyttävä) kattava arviointistrategia. Siihen tulisi sisältyä yhtenäinen määritys vähimmäistasosta, josta alkaen on suoritettava yksityiskohtainen arviointi kunkin tieteenalan erityispiirteiden huomioon ottamiseksi. |
| --- | --- |

ii)

Puiteohjelmia toteuttavien pääosastojen olisi kehitettävä (ja hyväksyttävä) kattava arviointistrategia. Siihen tulisi sisältyä yhtenäinen määritys vähimmäistasosta, josta alkaen on suoritettava yksityiskohtainen arviointi kunkin tieteenalan erityispiirteiden huomioon ottamiseksi.

| iii) | Olisi harkittava yhteisen arviointiyksikön perustamista. Kyseinen yksikkö koordinoisi tutkimusalan pääosastojen puiteohjelmia koskevia arviointitoimintoja kokonaisuudessaan. Lisäksi olisi harkittava ulkoisista asiantuntijoista koostuvien työryhmien (ja alatyöryhmien) perustamista. Työryhmät olisi perustettava riittävän varhaisessa vaiheessa, jotta ne voivat tukea komissiota tehokkaasti ja jatkaa tuen antamista koko ohjelmakauden ajan ja sen jälkeenkin. |
| --- | --- |

iii)

Olisi harkittava yhteisen arviointiyksikön perustamista. Kyseinen yksikkö koordinoisi tutkimusalan pääosastojen puiteohjelmia koskevia arviointitoimintoja kokonaisuudessaan. Lisäksi olisi harkittava ulkoisista asiantuntijoista koostuvien työryhmien (ja alatyöryhmien) perustamista. Työryhmät olisi perustettava riittävän varhaisessa vaiheessa, jotta ne voivat tukea komissiota tehokkaasti ja jatkaa tuen antamista koko ohjelmakauden ajan ja sen jälkeenkin.

| iv) | Arviointia ja seurantaa koskevat tietotarpeet olisi analysoitava perusteellisesti ja käytettävä laaja-alaisemmin muita olemassa olevia tietolähteitä. Komission olisi myös järkeistettävä osallistujiin sovellettavia raportointivaatimuksia. Lisäksi komission olisi laadittava kattava puiteohjelmiin sovellettava arviointikäsikirja ja kehitettävä alaa varten laajempi joukko arviointimenetelmiä ja -tekniikoita. |
| --- | --- |

iv)

Arviointia ja seurantaa koskevat tietotarpeet olisi analysoitava perusteellisesti ja käytettävä laaja-alaisemmin muita olemassa olevia tietolähteitä. Komission olisi myös järkeistettävä osallistujiin sovellettavia raportointivaatimuksia. Lisäksi komission olisi laadittava kattava puiteohjelmiin sovellettava arviointikäsikirja ja kehitettävä alaa varten laajempi joukko arviointimenetelmiä ja -tekniikoita.

| v) | Komission olisi määritettävä, minkätyyppistä ja -laajuista arviointia voidaan perustellusti odottaa seitsemättä puiteohjelmaa koskevassa lainsäädännössä määritettyihin ajankohtiin mennessä, sekä selvitettävä, miten arviointeja voidaan hyödyntää ohjelmien mukauttamisessa (”oppimisohjelmat”) ja missä määrin ne voivat vaikuttaa poliittisiin päätöksiin. |
| --- | --- |

v)

Komission olisi määritettävä, minkätyyppistä ja -laajuista arviointia voidaan perustellusti odottaa seitsemättä puiteohjelmaa koskevassa lainsäädännössä määritettyihin ajankohtiin mennessä, sekä selvitettävä, miten arviointeja voidaan hyödyntää ohjelmien mukauttamisessa (”oppimisohjelmat”) ja missä määrin ne voivat vaikuttaa poliittisiin päätöksiin.

JOHDANTO

Euroopan unioni tutkimuksen ja teknologisen kehittämisen tukijana

| 1. | Tutkimus ja teknologinen kehittäminen (TTK) (1) muodostavat tieteellisen ja teknologisen edistyksen sekä innovaatioiden pääasiallisen perustan ja vaikuttavat siten merkittävästi elintason parantumiseen. Julkinen tukitoimenpide on TTK-alalla yleensä perusteltu toimenpiteenä, joka korjaa ns. markkinoiden toimintapuutteita. Julkisen tuen avulla vähennetään epävarmuutta ja järjestetään investointeja aloille, joilla tutkimuksesta on julkista hyötyä tai joilla ilmenee huomattavia ulkoisia vaikutuksia. |
| --- | --- |

1.

Tutkimus ja teknologinen kehittäminen (TTK) (1) muodostavat tieteellisen ja teknologisen edistyksen sekä innovaatioiden pääasiallisen perustan ja vaikuttavat siten merkittävästi elintason parantumiseen. Julkinen tukitoimenpide on TTK-alalla yleensä perusteltu toimenpiteenä, joka korjaa ns. markkinoiden toimintapuutteita. Julkisen tuen avulla vähennetään epävarmuutta ja järjestetään investointeja aloille, joilla tutkimuksesta on julkista hyötyä tai joilla ilmenee huomattavia ulkoisia vaikutuksia.

| 2. | Euroopan yhteisön perustamissopimuksen 163 artiklan mukaan ”yhteisön tavoitteena on lujittaa yhteisön teollisuuden tieteellistä ja teknologista perustaa sekä suosia yhteisön teollisuuden kansainvälisen kilpailukyvyn kehittämistä samoin kuin edistää kaikkea tutkimustoimintaa, jota pidetään tarpeellisena ...”. Perustamissopimuksen 164–173 artiklassa määritetään tältä osin toteutettavat toimet sekä monivuotisten TTK-puiteohjelmien sovellusala ja täytäntöönpano. Komissio vastaa puiteohjelmia koskevien ehdotusten esittämisestä, kun taas niitä koskevat päätökset sekä osallistumista ja levittämistä koskevat säännöt perustuvat Euroopan parlamentin ja neuvoston yhteispäätösmenettelyyn. Neuvosto hyväksyy erityisohjelmat itsenäisesti. Puiteohjelmien täytäntöönpanosta vastaa yhteisesti kuusi ”tutkimusalan pääosastoa” (2). |
| --- | --- |

2.

Euroopan yhteisön perustamissopimuksen 163 artiklan mukaan ”yhteisön tavoitteena on lujittaa yhteisön teollisuuden tieteellistä ja teknologista perustaa sekä suosia yhteisön teollisuuden kansainvälisen kilpailukyvyn kehittämistä samoin kuin edistää kaikkea tutkimustoimintaa, jota pidetään tarpeellisena ...”. Perustamissopimuksen 164–173 artiklassa määritetään tältä osin toteutettavat toimet sekä monivuotisten TTK-puiteohjelmien sovellusala ja täytäntöönpano. Komissio vastaa puiteohjelmia koskevien ehdotusten esittämisestä, kun taas niitä koskevat päätökset sekä osallistumista ja levittämistä koskevat säännöt perustuvat Euroopan parlamentin ja neuvoston yhteispäätösmenettelyyn. Neuvosto hyväksyy erityisohjelmat itsenäisesti. Puiteohjelmien täytäntöönpanosta vastaa yhteisesti kuusi ”tutkimusalan pääosastoa” (2).

| 3. | Euroopan unioni toteuttaa lukuisia innovaatioita ja kilpailukykyä tukevia politiikkoja. Puiteohjelmat ovat yhteisön tasolla Lissabonin strategian (3) ja Barcelonan tavoitteiden (4) kannalta tärkein rahoitusväline. |
| --- | --- |

3.

Euroopan unioni toteuttaa lukuisia innovaatioita ja kilpailukykyä tukevia politiikkoja. Puiteohjelmat ovat yhteisön tasolla Lissabonin strategian (3) ja Barcelonan tavoitteiden (4) kannalta tärkein rahoitusväline.

Image

| 4. | Yhteisö rahoittaa puiteohjelmien avulla Euroopan unionin alueella, assosioituneissa maissa sekä kansainvälisissä organisaatioissa toimivia tutkijoita. Puiteohjelmien määrärahat ovat vuosien kuluessa kasvaneet huomattavasti; vuotuinen kokonaismäärä on seitsemännen puiteohjelman yhteydessä 7 217 miljoonaa euroa, kun se neljännen puiteohjelman yhteydessä oli 2 761 miljoonaa euroa (ks. kaavio 1). Puiteohjelmat muodostavat suurimman osuuden suoran keskitetyn hallinnoinnin piiriin kuuluvista komission talousarviomäärärahoista (5). |
| --- | --- |

4.

Yhteisö rahoittaa puiteohjelmien avulla Euroopan unionin alueella, assosioituneissa maissa sekä kansainvälisissä organisaatioissa toimivia tutkijoita. Puiteohjelmien määrärahat ovat vuosien kuluessa kasvaneet huomattavasti; vuotuinen kokonaismäärä on seitsemännen puiteohjelman yhteydessä 7 217 miljoonaa euroa, kun se neljännen puiteohjelman yhteydessä oli 2 761 miljoonaa euroa (ks. kaavio 1). Puiteohjelmat muodostavat suurimman osuuden suoran keskitetyn hallinnoinnin piiriin kuuluvista komission talousarviomäärärahoista (5).

| 5. | Puiteohjelmat eroavat monista kansallisista ohjelmista siltä osin, että ne kattavat sekä perustutkimuksen että soveltavan tutkimuksen, joihin osallistuu myös teollisuustahoja ja julkisia tutkimuslaitoksia (6). Puiteohjelmat koostuvat erityisohjelmista (ja alaohjelmista), jotka koskevat laajoja tieteellisiä aloja. Ohjelmat kattavat yleensä useita aloja, jotka puolestaan keskittyvät tiettyihin tieteellisiin erityisaloihin, joilla toteutetaan hankkeita (”välillisiä toimenpiteitä”) ehdotuspyyntöjen perusteella. Menettelyn avulla rahoitetaan aloittain satoja yksittäisiä hankkeita. |
| --- | --- |

5.

Puiteohjelmat eroavat monista kansallisista ohjelmista siltä osin, että ne kattavat sekä perustutkimuksen että soveltavan tutkimuksen, joihin osallistuu myös teollisuustahoja ja julkisia tutkimuslaitoksia (6). Puiteohjelmat koostuvat erityisohjelmista (ja alaohjelmista), jotka koskevat laajoja tieteellisiä aloja. Ohjelmat kattavat yleensä useita aloja, jotka puolestaan keskittyvät tiettyihin tieteellisiin erityisaloihin, joilla toteutetaan hankkeita (”välillisiä toimenpiteitä”) ehdotuspyyntöjen perusteella. Menettelyn avulla rahoitetaan aloittain satoja yksittäisiä hankkeita.

| 6. | Puiteohjelmien kokonaisosuus julkisen TTK-rahoituksen kokonaismäärästä Euroopan unionissa ja sen jäsenvaltioissa vaihtelee neljän ja viiden prosentin välillä. Ohjelmilla on kuitenkin paljon laajempi vaikutus Euroopassa harjoitettavan tutkimustoiminnan määrittämiseen. Tämä johtuu siitä, että yhteisön avustukset kattavat yleensä ainoastaan osan hankkeen kokonaisrahoituksesta. Lisäksi tutkijoiden on rahoitusta hakiessaan osoitettava, että heidän hankkeensa kohdentuvat ehdotuspyynnössä yksilöityihin tavoitteisiin. Puiteohjelmat kannustavat näin suuntaamaan TTK-toimia EU:n erityistavoitteisiin. |
| --- | --- |

6.

Puiteohjelmien kokonaisosuus julkisen TTK-rahoituksen kokonaismäärästä Euroopan unionissa ja sen jäsenvaltioissa vaihtelee neljän ja viiden prosentin välillä. Ohjelmilla on kuitenkin paljon laajempi vaikutus Euroopassa harjoitettavan tutkimustoiminnan määrittämiseen. Tämä johtuu siitä, että yhteisön avustukset kattavat yleensä ainoastaan osan hankkeen kokonaisrahoituksesta. Lisäksi tutkijoiden on rahoitusta hakiessaan osoitettava, että heidän hankkeensa kohdentuvat ehdotuspyynnössä yksilöityihin tavoitteisiin. Puiteohjelmat kannustavat näin suuntaamaan TTK-toimia EU:n erityistavoitteisiin.

| 7. | Puiteohjelmiin on viime vuosina tehty huomattavia muutoksia, joiden taustalla vaikuttavat seuraavat tekijät:






  — | uudet poliittiset haasteet (Lissabonin strategia ja Barcelonan tavoitteet, eurooppalaisen tutkimusalueen perustaminen ja avoimen koordinointimenetelmän (7) lisääntyvä käyttö tutkimus- ja innovaatiopolitiikan alalla), |
| --- | --- | --- |

7.

Puiteohjelmiin on viime vuosina tehty huomattavia muutoksia, joiden taustalla vaikuttavat seuraavat tekijät:

—

uudet poliittiset haasteet (Lissabonin strategia ja Barcelonan tavoitteet, eurooppalaisen tutkimusalueen perustaminen ja avoimen koordinointimenetelmän (7) lisääntyvä käyttö tutkimus- ja innovaatiopolitiikan alalla),

| — | puiteohjelmien painopisteen muuttaminen pelkästä teknisten ongelmien ratkaisemisesta (neljäs puiteohjelma) ja erityisten sosiaalisten ongelmien käsittelystä (viides puiteohjelma) tutkimusorganisaatioiden yhteistyön tukemiseen eurooppalaisen tutkimusalueen sisällä ja osaamistalouden ja -yhteiskunnan perustamisen tukemiseen (kuudes ja seitsemäs puiteohjelma), |
| --- | --- |

—

puiteohjelmien painopisteen muuttaminen pelkästä teknisten ongelmien ratkaisemisesta (neljäs puiteohjelma) ja erityisten sosiaalisten ongelmien käsittelystä (viides puiteohjelma) tutkimusorganisaatioiden yhteistyön tukemiseen eurooppalaisen tutkimusalueen sisällä ja osaamistalouden ja -yhteiskunnan perustamisen tukemiseen (kuudes ja seitsemäs puiteohjelma),

| — | ohjelmakausien pidentyminen (aiemmin neljä vuotta, nyt seitsemännen puiteohjelman yhteydessä seitsemän vuotta kauden 2007–2013 rahoitusnäkymien mukaisesti), |
| --- | --- |

—

ohjelmakausien pidentyminen (aiemmin neljä vuotta, nyt seitsemännen puiteohjelman yhteydessä seitsemän vuotta kauden 2007–2013 rahoitusnäkymien mukaisesti),

| — | jäsenvaltioiden ja osallistujamaiden lukumäärän kasvu, |
| --- | --- |

—

jäsenvaltioiden ja osallistujamaiden lukumäärän kasvu,

| — | rahoituksen lisääntyminen erityisesti nykyisten rahoitusnäkymien yhteydessä, |
| --- | --- |

—

rahoituksen lisääntyminen erityisesti nykyisten rahoitusnäkymien yhteydessä,

| — | Euroopan tutkimusneuvoston perustaminen ja ohjelmien hallinnointitoimintojen siirtäminen toimeenpanovirastoille seitsemännestä puiteohjelmasta alkaen, |
| --- | --- |

—

Euroopan tutkimusneuvoston perustaminen ja ohjelmien hallinnointitoimintojen siirtäminen toimeenpanovirastoille seitsemännestä puiteohjelmasta alkaen,

| — | laaja-alaisten rahoitusvälineiden lisääntyvä käyttö (esimerkiksi huippuosaamisen verkostot, integroidut hankkeet, 169 artiklaan perustuvat hankkeet ja yhteiset teknologia-aloitteet). |
| --- | --- |

—

laaja-alaisten rahoitusvälineiden lisääntyvä käyttö (esimerkiksi huippuosaamisen verkostot, integroidut hankkeet, 169 artiklaan perustuvat hankkeet ja yhteiset teknologia-aloitteet).

Puiteohjelmien arviointi ja seuranta

| 8. | Komissio vastaa ohjelmien täytäntöönpanosta ja niiden tulosten arvioinnista (8). Arviointi on hajautettu komissiossa pääosastoille, ja keskusyksiköt (etenkin budjettipääosasto ja pääsihteeristö) vastaavat tuesta sekä koordinoinnista. |
| --- | --- |

8.

Komissio vastaa ohjelmien täytäntöönpanosta ja niiden tulosten arvioinnista (8). Arviointi on hajautettu komissiossa pääosastoille, ja keskusyksiköt (etenkin budjettipääosasto ja pääsihteeristö) vastaavat tuesta sekä koordinoinnista.

| 9. | Tässä kertomuksessa käytetään komission omia määritelmiä, joiden mukaan ”arvioinnissa” toimenpiteitä evaluoidaan tulosten, vaikutusten ja täytettävänä olleiden tarpeiden osalta (9) ja ”seurannan” avulla saadaan tietoa käynnissä olevien ohjelmien ja hankkeiden toteutuksesta hallinnointiin liittyviä tarpeita varten (10). Toiminnot on eritelty vastaavalla tavalla myös tällä hetkellä seitsemännen puiteohjelman yhteydessä sovellettavassa lainsäädännössä. |
| --- | --- |

9.

Tässä kertomuksessa käytetään komission omia määritelmiä, joiden mukaan ”arvioinnissa” toimenpiteitä evaluoidaan tulosten, vaikutusten ja täytettävänä olleiden tarpeiden osalta (9) ja ”seurannan” avulla saadaan tietoa käynnissä olevien ohjelmien ja hankkeiden toteutuksesta hallinnointiin liittyviä tarpeita varten (10). Toiminnot on eritelty vastaavalla tavalla myös tällä hetkellä seitsemännen puiteohjelman yhteydessä sovellettavassa lainsäädännössä.

| 10. | TTK-toimien tuloksia kuvataan tässä kertomuksessa seuraavin termein:






  — | ”tuotokset” ovat suoraan julkisen tukitoimenpiteen tuloksena saatavia tietoja, hyödykkeitä ja palveluita (esimerkiksi julkaisut, konferenssiesitelmät, patentit, lisenssit, prototyypit, standardit sekä koulutetut tutkijat), |
| --- | --- | --- |

10.

TTK-toimien tuloksia kuvataan tässä kertomuksessa seuraavin termein:

—

”tuotokset” ovat suoraan julkisen tukitoimenpiteen tuloksena saatavia tietoja, hyödykkeitä ja palveluita (esimerkiksi julkaisut, konferenssiesitelmät, patentit, lisenssit, prototyypit, standardit sekä koulutetut tutkijat),

| — | ”tulokset” syntyvät viiveellä käyttäjien hyödyntäessä tuotoksia, |
| --- | --- |

—

”tulokset” syntyvät viiveellä käyttäjien hyödyntäessä tuotoksia,

| — | ”vaikutukset” ovat pitkän aikavälin sosiaalis-taloudellisia ja poliittisia muutoksia, jotka syntyvät julkisen tukitoimenpiteen seurauksena. |
| --- | --- |

—

”vaikutukset” ovat pitkän aikavälin sosiaalis-taloudellisia ja poliittisia muutoksia, jotka syntyvät julkisen tukitoimenpiteen seurauksena.

Laatikko 1Esimerkki – maailmanlaajuinen matkaviestinjärjestelmä (Global System for Mobile communications, GSM)Tässä yhteydessä yhteisön rahoituksen ”tuotokset” muodostuivat välittömistä hanketuloksista, kuten GSM-standardin kehittämisestä. ”Tulos” oli digitaalisen matkapuhelinstandardin hyväksyminen Euroopassa ja sen ulkopuolella, mikä vaikutti suuresti televiestintäteollisuuden kehittymiseen. ”Vaikutuksia” olivat puolestaan kyseisen teknologian kansainvälisen käytön taloudelliset, sosiaaliset ja poliittiset seuraukset. Tähän lukeutuvat uusien työpaikkojen luominen televiestintä- ja siihen liittyvillä aloilla sekä kyseisen teollisuudenalan merkityksen kasvu Euroopan talouden kannalta. GSM-järjestelmä on myös luonut uuden viestintätavan ihmisten välille.

| 11. | Tulosten arviointiin liittyy kuitenkin useita metodologisia vaikeuksia (ks. liite I). Sosiaalis-taloudelliset muutokset ovat monimutkaisia ja varsinkin tutkimustoiminnan ja havaittavissa olevien tulosten ja vaikutusten välistä yhteyttä on usein vaikea havaita. Metodologiset ongelmat muodostavat huomattavan haasteen, mutta eivät kuitenkaan välttämättä ole esteenä vaikuttavalle arvioinnille. |
| --- | --- |

11.

Tulosten arviointiin liittyy kuitenkin useita metodologisia vaikeuksia (ks. liite I). Sosiaalis-taloudelliset muutokset ovat monimutkaisia ja varsinkin tutkimustoiminnan ja havaittavissa olevien tulosten ja vaikutusten välistä yhteyttä on usein vaikea havaita. Metodologiset ongelmat muodostavat huomattavan haasteen, mutta eivät kuitenkaan välttämättä ole esteenä vaikuttavalle arvioinnille.

| 12. | Komissiolla on ollut 1980-luvulta lähtien käytössään puiteohjelmien seuranta- ja arviointijärjestelmä (11). Neljännestä puiteohjelmasta alkaen – 1990-luvun puolivälissä – seuranta- ja arviointijärjestelmään liittyi useita osittain toisiinsa niveltyviä toimintoja, kuten






  — | vuotuinen seuranta (joka kohdistui lähinnä ohjelman toteuttamiseen), |
| --- | --- | --- |

12.

Komissiolla on ollut 1980-luvulta lähtien käytössään puiteohjelmien seuranta- ja arviointijärjestelmä (11). Neljännestä puiteohjelmasta alkaen – 1990-luvun puolivälissä – seuranta- ja arviointijärjestelmään liittyi useita osittain toisiinsa niveltyviä toimintoja, kuten

—

vuotuinen seuranta (joka kohdistui lähinnä ohjelman toteuttamiseen),

| — | puiteohjelmatoimintojen viisivuotisarvioinnit (ja kuudennesta puiteohjelmasta alkaen erityisaiheiden lisäarvioinnit). |
| --- | --- |

—

puiteohjelmatoimintojen viisivuotisarvioinnit (ja kuudennesta puiteohjelmasta alkaen erityisaiheiden lisäarvioinnit).

Molemmat toiminnot oli toteutettava ulkopuolisten asiantuntijoiden avulla (ks. kaavio 2 ja liite II).

Kaavio 2

Seurannan ja arvioinnin keskeiset vaatimukset neljännestä puiteohjelmasta seitsemänteen

| Neljäs puiteohjelma (1995–1998) | Viides puiteohjelma (1999–2002) | Kuudes puiteohjelma (2003–2006) | Seitsemäs puiteohjelma (2007–2013) |
| --- | --- | --- | --- |
| kaksi arviointia (väli- ja loppuarviointi) kunkin 20 alaohjelman sekä puiteohjelman kohdalla; loppuarviointi on päällekkäinen viidennen puiteohjelman väliarvioinnin kanssa | kaksi samanaikaista arviointia (väliarviointi) kunkin seitsemän erityisohjelman sekä puiteohjelman kohdalla | yksi arviointi puiteohjelman ja siihen sisältyvien kolmen erityisohjelman kohdalla (väliarviointi), mutta ei erikseen 20 alaohjelman kohdalla; arvioinnin lisäksi erityisarviointi ja säännölliset edistymistä koskevat (seuranta)kertomukset | vähintään viisi arviointia (ennakko-, väli- ja loppuarvioinnit) sekä edistymistä koskevat erityisarvioinnit ennen väliarviointia |
| 1. | Ennakkoarviointi: ei |

Neljäs puiteohjelma (1995–1998)

Viides puiteohjelma (1999–2002)

Kuudes puiteohjelma (2003–2006)

Seitsemäs puiteohjelma (2007–2013)

kaksi arviointia (väli- ja loppuarviointi) kunkin 20 alaohjelman sekä puiteohjelman kohdalla; loppuarviointi on päällekkäinen viidennen puiteohjelman väliarvioinnin kanssa

kaksi samanaikaista arviointia (väliarviointi) kunkin seitsemän erityisohjelman sekä puiteohjelman kohdalla

yksi arviointi puiteohjelman ja siihen sisältyvien kolmen erityisohjelman kohdalla (väliarviointi), mutta ei erikseen 20 alaohjelman kohdalla; arvioinnin lisäksi erityisarviointi ja säännölliset edistymistä koskevat (seuranta)kertomukset

vähintään viisi arviointia (ennakko-, väli- ja loppuarvioinnit) sekä edistymistä koskevat erityisarvioinnit ennen väliarviointia

1.

Ennakkoarviointi: ei

| 1. | Ennakkoarviointi: ei |
| --- | --- |

1.

Ennakkoarviointi: ei

| 1. | Ennakkoarviointi: ei |
| --- | --- |

1.

Ennakkoarviointi: ei

| 1. | Ennakkoarviointi:
  sisältyy vaikutusten arviointiin, joka liittyy seitsemättä puiteohjelmaa koskevaan komission ehdotukseen (2005) |
| --- | --- |

1.

sisältyy vaikutusten arviointiin, joka liittyy seitsemättä puiteohjelmaa koskevaan komission ehdotukseen (2005)

| 2. | Väliarviointi:






  — | viisivuotisarviointi: puiteohjelman puolivälissä, ennen seuraavaa puiteohjelmaa (1997) |
| --- | --- | --- |

2.

—

viisivuotisarviointi: puiteohjelman puolivälissä, ennen seuraavaa puiteohjelmaa (1997)

| 2. | Väliarviointi:






  — | viisivuotisarviointi: ennen seuraavaa puiteohjelmaa koskevaa ehdotusta (2000) |
| --- | --- | --- |

2.

—

viisivuotisarviointi: ennen seuraavaa puiteohjelmaa koskevaa ehdotusta (2000)

| — | edistymisen arviointi puiteohjelman puolivälissä (2001) |
| --- | --- |

—

edistymisen arviointi puiteohjelman puolivälissä (2001)

| 2. | Väliarviointi:






  — | välineiden vaikuttavuuden arviointi (2004) |
| --- | --- | --- |

2.

—

välineiden vaikuttavuuden arviointi (2004)

| — | viisivuotisarviointi ennen seuraavaa puiteohjelmaa koskevaa ehdotusta (2004) |
| --- | --- |

—

viisivuotisarviointi ennen seuraavaa puiteohjelmaa koskevaa ehdotusta (2004)

| — | säännölliset edistymistä koskevat (seuranta)kertomukset |
| --- | --- |

—

säännölliset edistymistä koskevat (seuranta)kertomukset

| 2. | Väliarviointi:






  — | jälkikäteen, kahden vuoden kuluttua edellisestä puiteohjelmasta (2008) |
| --- | --- | --- |

2.

—

jälkikäteen, kahden vuoden kuluttua edellisestä puiteohjelmasta (2008)

| — | edistymistä koskeva kertomus ennen väliarviointia (ennen vuotta 2010) |
| --- | --- |

—

edistymistä koskeva kertomus ennen väliarviointia (ennen vuotta 2010)

| — | väliarviointi (2010) |
| --- | --- |

—

väliarviointi (2010)

| 3. | Loppuarviointi:






  — | puiteohjelman päättyessä (1999) |
| --- | --- | --- |

3.

—

puiteohjelman päättyessä (1999)

| 3. | Loppuarviointi:
  ei |
| --- | --- |

3.

ei

| 3. | Loppuarviointi:
  ei

  (muutettu seitsemättä puiteohjelmaa koskevassa päätöksessä) |
| --- | --- |

3.

ei

(muutettu seitsemättä puiteohjelmaa koskevassa päätöksessä)

| 3. | Loppuarviointi:
  kahden vuoden kuluttua puiteohjelman päättymisestä (2015), lisäksi erityistutkimuksia, väliarviointi sekä muita arviointeja koko puiteohjelman ajan |
| --- | --- |

3.

kahden vuoden kuluttua puiteohjelman päättymisestä (2015), lisäksi erityistutkimuksia, väliarviointi sekä muita arviointeja koko puiteohjelman ajan

Lähde: ks. liite II.

| 13. | Tähän mennessä on suoritettu kolme viisivuotisarviointia (12), joiden perusteella laadittiin vuonna 1997 ”Davignonin”, vuonna 2000 ”Majón” ja vuonna 2004 ”Ormalan” kertomus. Lisäksi tietoyhteiskunnan pääosasto suoritti erityisohjelmaansa kohdennettuja arviointeja. On syytä panna merkille, että viisivuotisarvioinnit lakkautettiin seitsemänteen puiteohjelmaan sovellettavan lainsäädännön yhteydessä, minkä myötä poistettiin rajoite, joka vaikutti siten, että suurimpien arviointien yhteydessä oli keskityttävä edeltäviin viiteen vuoteen, jolloin niiden oli katettava osia kahdesta peräkkäisestä ohjelmakaudesta. Vuonna 2004 julkaistiin myös niin kutsuttu Marimónin kertomus (13), joka oli uusia, kuudennen puiteohjelman yhteydessä käyttöön otettuja välineitä koskeva erityisarviointi. |
| --- | --- |

13.

Tähän mennessä on suoritettu kolme viisivuotisarviointia (12), joiden perusteella laadittiin vuonna 1997 ”Davignonin”, vuonna 2000 ”Majón” ja vuonna 2004 ”Ormalan” kertomus. Lisäksi tietoyhteiskunnan pääosasto suoritti erityisohjelmaansa kohdennettuja arviointeja. On syytä panna merkille, että viisivuotisarvioinnit lakkautettiin seitsemänteen puiteohjelmaan sovellettavan lainsäädännön yhteydessä, minkä myötä poistettiin rajoite, joka vaikutti siten, että suurimpien arviointien yhteydessä oli keskityttävä edeltäviin viiteen vuoteen, jolloin niiden oli katettava osia kahdesta peräkkäisestä ohjelmakaudesta. Vuonna 2004 julkaistiin myös niin kutsuttu Marimónin kertomus (13), joka oli uusia, kuudennen puiteohjelman yhteydessä käyttöön otettuja välineitä koskeva erityisarviointi.

| 14. | Komission arviointitoimintoihin soveltamat menettelypuitteet tarkistettiin vuosina 2000 ja 2002 (14). Tiedonantoja päivitettiin vuonna 2007 siten, että huomioon otettiin komission hallinnollisen uudistuksen ja uuden varainhoitoasetuksen vaikutukset (15). Kyseisissä asiakirjoissa arvioinnin merkitystä ja toimintaa kuvataan osana komission yleistä suunnittelua, ohjelmatyötä ja raportointisykliä; asiakirjoissa määritetään 21 arviointistandardia ja 18 ”hyviä käytäntöjä” koskevaa mallia. Niissä käsitellään myös arvioinnin hyödyntämistä EU-lainsäädännön valmistelussa ja yksinkertaistamisessa. |
| --- | --- |

14.

Komission arviointitoimintoihin soveltamat menettelypuitteet tarkistettiin vuosina 2000 ja 2002 (14). Tiedonantoja päivitettiin vuonna 2007 siten, että huomioon otettiin komission hallinnollisen uudistuksen ja uuden varainhoitoasetuksen vaikutukset (15). Kyseisissä asiakirjoissa arvioinnin merkitystä ja toimintaa kuvataan osana komission yleistä suunnittelua, ohjelmatyötä ja raportointisykliä; asiakirjoissa määritetään 21 arviointistandardia ja 18 ”hyviä käytäntöjä” koskevaa mallia. Niissä käsitellään myös arvioinnin hyödyntämistä EU-lainsäädännön valmistelussa ja yksinkertaistamisessa.

TARKASTUKSEN SISÄLTÖ JA LÄHESTYMISTAPA

15.

| 15. | Tarkastuksen avulla pyrittiin ensisijaisesti määrittämään, onko komissiolla asianmukainen lähestymistapa TTK-puiteohjelmien tulosten arviointia varten. |
| --- | --- |

Tarkastuksen avulla pyrittiin ensisijaisesti määrittämään, onko komissiolla asianmukainen lähestymistapa TTK-puiteohjelmien tulosten arviointia varten.

| 16. | Tilintarkastustuomioistuin arvioi, missä määrin






  — | puiteohjelmien ja niihin sisältyvien ohjelmien taustalla vaikuttaa selkeä toimintalogiikka, jonka perusteella tuotoksia, tuloksia ja vaikutuksia voidaan mitata ja arvioida ja saada samalla vakaa perusta arviointia ja seurantaa varten, |
| --- | --- | --- |

16.

Tilintarkastustuomioistuin arvioi, missä määrin

—

puiteohjelmien ja niihin sisältyvien ohjelmien taustalla vaikuttaa selkeä toimintalogiikka, jonka perusteella tuotoksia, tuloksia ja vaikutuksia voidaan mitata ja arvioida ja saada samalla vakaa perusta arviointia ja seurantaa varten,

| — | puiteohjelmia varten on määritetty arviointistrategia, joka edistää vaikuttavaa ja johdonmukaista arviointia, |
| --- | --- |

—

puiteohjelmia varten on määritetty arviointistrategia, joka edistää vaikuttavaa ja johdonmukaista arviointia,

| — | arviointijärjestelmän organisaatiorakenteen avulla kyetään varmistamaan asianmukainen koordinointi kautta koko puiteohjelman siten, että resurssit ovat riittävät ja eri osallistujat pitävät toimintaa riittävän itsenäisenä, |
| --- | --- |

—

arviointijärjestelmän organisaatiorakenteen avulla kyetään varmistamaan asianmukainen koordinointi kautta koko puiteohjelman siten, että resurssit ovat riittävät ja eri osallistujat pitävät toimintaa riittävän itsenäisenä,

| — | arviointiin käytettyjen menetelmien avulla kyetään varmistamaan, että olennaisia kysymyksiä käsitellään asianmukaisesti, jotta arviointia pidetään uskottavana, |
| --- | --- |

—

arviointiin käytettyjen menetelmien avulla kyetään varmistamaan, että olennaisia kysymyksiä käsitellään asianmukaisesti, jotta arviointia pidetään uskottavana,

| — | arviointi- ja seurantatoimien perusteella saadaan tietoja ja analyysejä, joita voidaan hyödyntää käynnissä olevien ohjelmien parantamiseen (”oppimisohjelmat”) ja tulevien puiteohjelmien valmisteluun. |
| --- | --- |

—

arviointi- ja seurantatoimien perusteella saadaan tietoja ja analyysejä, joita voidaan hyödyntää käynnissä olevien ohjelmien parantamiseen (”oppimisohjelmat”) ja tulevien puiteohjelmien valmisteluun.

| 17. | Tämä kertomus kattaa asiaa koskevat järjestelyt neljännen (1995–1998), viidennen (1999–2002) ja kuudennen puiteohjelman (2003–2006) osalta. Kertomuksessa käsitellään myös tällä hetkellä seitsemännen puiteohjelman (2007–2013) yhteydessä voimassa olevia oikeudellisia vaatimuksia, mutta ei arvioida komission suorittamaa seitsemännen puiteohjelman vaikutusten arviointia ja ennakkoarviointia (16). Kertomus keskittyy ohjelmien seurantaan ja jälkiarviointiin eikä niinkään hanke-ehdotusten ennakkoarviointiin tai itse hankkeiden jälkiarviointiin. |
| --- | --- |

17.

Tämä kertomus kattaa asiaa koskevat järjestelyt neljännen (1995–1998), viidennen (1999–2002) ja kuudennen puiteohjelman (2003–2006) osalta. Kertomuksessa käsitellään myös tällä hetkellä seitsemännen puiteohjelman (2007–2013) yhteydessä voimassa olevia oikeudellisia vaatimuksia, mutta ei arvioida komission suorittamaa seitsemännen puiteohjelman vaikutusten arviointia ja ennakkoarviointia (16). Kertomus keskittyy ohjelmien seurantaan ja jälkiarviointiin eikä niinkään hanke-ehdotusten ennakkoarviointiin tai itse hankkeiden jälkiarviointiin.

| 18. | Tarkastukseen osallistui myös EFTAn tarkastajia sekä ulkopuolisia asiantuntijoita. Todentava aineisto koottiin






  — | suorittamalla komissiossa tarkastuksia (asiakirjojen tarkastus ja henkilöstön haastattelut), joiden yhteydessä yksilöitiin lakeihin ja säännöksiin perustuvia vaatimuksia, käytiin läpi tavoitteet ja tuloskriteerit ja analysoitiin yli 80 seuranta- ja arviointikertomusta sekä arviointitoimintojen järjestämistä komissiossa, |
| --- | --- | --- |

18.

Tarkastukseen osallistui myös EFTAn tarkastajia sekä ulkopuolisia asiantuntijoita. Todentava aineisto koottiin

—

suorittamalla komissiossa tarkastuksia (asiakirjojen tarkastus ja henkilöstön haastattelut), joiden yhteydessä yksilöitiin lakeihin ja säännöksiin perustuvia vaatimuksia, käytiin läpi tavoitteet ja tuloskriteerit ja analysoitiin yli 80 seuranta- ja arviointikertomusta sekä arviointitoimintojen järjestämistä komissiossa,

| — | haastattelemalla yli 90:tä osallistujiksi yksilöityä asiantuntijaa jäsenvaltioissa ja assosioituneissa maissa (Tšekissä, Saksassa, Virossa, Espanjassa, Ranskassa, Italiassa, Luxemburgissa, Alankomaissa, Itävallassa, Suomessa, Ruotsissa, Yhdistyneessä kuningaskunnassa ja Norjassa), |
| --- | --- |

—

haastattelemalla yli 90:tä osallistujiksi yksilöityä asiantuntijaa jäsenvaltioissa ja assosioituneissa maissa (Tšekissä, Saksassa, Virossa, Espanjassa, Ranskassa, Italiassa, Luxemburgissa, Alankomaissa, Itävallassa, Suomessa, Ruotsissa, Yhdistyneessä kuningaskunnassa ja Norjassa),

| — | suorittamalla toimielinten osallistujiin kohdistuvia kyselytutkimuksia, joihin osallistui Euroopan parlamentin teollisuus-, ulkomaankauppa-, tutkimus- ja energiavaliokunnan (ITRE) (17) ja neuvoston tieteen ja tekniikan tutkimuskomitean (CREST) (18) edustajia, |
| --- | --- |

—

suorittamalla toimielinten osallistujiin kohdistuvia kyselytutkimuksia, joihin osallistui Euroopan parlamentin teollisuus-, ulkomaankauppa-, tutkimus- ja energiavaliokunnan (ITRE) (17) ja neuvoston tieteen ja tekniikan tutkimuskomitean (CREST) (18) edustajia,

| — | konsultoimalla kansainvälisenä vertailuryhmänä yli 65:tä Yhdysvalloissa ja Kanadassa toimivaa tutkimusalan arvioinnin asiantuntijaa, |
| --- | --- |

—

konsultoimalla kansainvälisenä vertailuryhmänä yli 65:tä Yhdysvalloissa ja Kanadassa toimivaa tutkimusalan arvioinnin asiantuntijaa,

| — | tarkastelemalla tutkimusalan arvioinnin nykysuuntauksia koskevaa akateemista kirjallisuutta, |
| --- | --- |

—

tarkastelemalla tutkimusalan arvioinnin nykysuuntauksia koskevaa akateemista kirjallisuutta,

| — | keskustelemalla tarkastushavainnoista, päätelmistä ja suosituksista tutkimusalan arvioinnin eurooppalaisten ja pohjoisamerikkalaisten asiantuntijoiden kanssa helmikuun 2007 aikana järjestetyissä ohjatuissa focus group -ryhmäkeskusteluissa. |
| --- | --- |

—

keskustelemalla tarkastushavainnoista, päätelmistä ja suosituksista tutkimusalan arvioinnin eurooppalaisten ja pohjoisamerikkalaisten asiantuntijoiden kanssa helmikuun 2007 aikana järjestetyissä ohjatuissa focus group -ryhmäkeskusteluissa.

TARKASTUKSEEN PERUSTUVAT HUOMAUTUKSET

Puiteohjelmiin sovellettava toimintalogiikka ei ole ollut selkeä

| 19. | Tuloksellinen arviointi ja seuranta edellyttävät politiikan, ohjelman ja hankkeiden tasolla selkeitä tavoitteita ja asianmukaisia tulosindikaattoreita, joihin nähden julkisen tukitoimenpiteen tuloksia voidaan arvioida. Muilla EU:n talousarvioaloilla ja muilla toiminta-aloilla vallitsevat hyvät käytännöt osoittavat, että tavoitteet ja indikaattorit olisi määritettävä toimintalogiikan puitteissa. |
| --- | --- |

19.

Tuloksellinen arviointi ja seuranta edellyttävät politiikan, ohjelman ja hankkeiden tasolla selkeitä tavoitteita ja asianmukaisia tulosindikaattoreita, joihin nähden julkisen tukitoimenpiteen tuloksia voidaan arvioida. Muilla EU:n talousarvioaloilla ja muilla toiminta-aloilla vallitsevat hyvät käytännöt osoittavat, että tavoitteet ja indikaattorit olisi määritettävä toimintalogiikan puitteissa.

| 20. | Toimintalogiikka voidaan määrittää hypoteettisiksi syy- ja seuraussuhteiksi, joiden avulla kuvataan, miten tukitoimenpiteen oletetaan saavuttavan yleiset tavoitteensa (19). Arviointia koskevien komission suuntaviivojen mukaan toimintalogiikka muodostaa käsitteellisen yhteyden tietyn tukitoimenpiteen panosten ja tuotosten välille ja näin ollen käsitteellisen yhteyden myös yhteiskuntaan tukitoimenpiteen tuloksina ja seurauksina kohdistuviin vaikutuksiin (20). Tässä kertomuksessa sovelletaan mainittua määritelmää. |
| --- | --- |

20.

Toimintalogiikka voidaan määrittää hypoteettisiksi syy- ja seuraussuhteiksi, joiden avulla kuvataan, miten tukitoimenpiteen oletetaan saavuttavan yleiset tavoitteensa (19). Arviointia koskevien komission suuntaviivojen mukaan toimintalogiikka muodostaa käsitteellisen yhteyden tietyn tukitoimenpiteen panosten ja tuotosten välille ja näin ollen käsitteellisen yhteyden myös yhteiskuntaan tukitoimenpiteen tuloksina ja seurauksina kohdistuviin vaikutuksiin (20). Tässä kertomuksessa sovelletaan mainittua määritelmää.

| 21. | Tilintarkastustuomioistuin arvioi, missä määrin puiteohjelmien ja niihin sisältyvien ohjelmien yhteydessä sovelletaan toimintalogiikkaa, joka takaa vakaan perustan arvioinnille ja seurannalle. |
| --- | --- |

21.

Tilintarkastustuomioistuin arvioi, missä määrin puiteohjelmien ja niihin sisältyvien ohjelmien yhteydessä sovelletaan toimintalogiikkaa, joka takaa vakaan perustan arvioinnille ja seurannalle.

Puiteohjelmiin sovellettava toimintalogiikka ei ole ollut selkeä

| 22. | Toimintalogiikan määrittämisen pitäisi kuulua alusta alkaen keskeisenä osa-alueena ohjelmasuunnitteluun. Perustamissopimuksen 163 artiklan, jossa määritetään tarve lujittaa tieteellistä ja teknologista perustaa ja lisätä alan kilpailukykyä, pitäisi toimia puiteohjelmiin sovellettavan toimintalogiikan lähtökohtana (ks. kohta 2). Toimintalogiikkaa olisi tarkennettava erikseen puiteohjelmien kattamien erilaisten tieteenalojen ja toiminnassa käytettyjen eri välineiden kohdalla. |
| --- | --- |

22.

Toimintalogiikan määrittämisen pitäisi kuulua alusta alkaen keskeisenä osa-alueena ohjelmasuunnitteluun. Perustamissopimuksen 163 artiklan, jossa määritetään tarve lujittaa tieteellistä ja teknologista perustaa ja lisätä alan kilpailukykyä, pitäisi toimia puiteohjelmiin sovellettavan toimintalogiikan lähtökohtana (ks. kohta 2). Toimintalogiikkaa olisi tarkennettava erikseen puiteohjelmien kattamien erilaisten tieteenalojen ja toiminnassa käytettyjen eri välineiden kohdalla.

| 23. | Selkeä looginen malli, jonka avulla selitettäisiin, miten puiteohjelmat ja niihin sisältyvät ohjelmat vaikuttavat tieteelliseen ja teknologiseen edistykseen, puuttuu kuitenkin kaikilta tasoilta. |
| --- | --- |

23.

Selkeä looginen malli, jonka avulla selitettäisiin, miten puiteohjelmat ja niihin sisältyvät ohjelmat vaikuttavat tieteelliseen ja teknologiseen edistykseen, puuttuu kuitenkin kaikilta tasoilta.

| 24. | Puiteohjelmiin sovellettavan toimintalogiikan puuttuminen tuotiin esille myös vuonna 2004 suoritetussa viisivuotisarvioinnissa, jonka yhteydessä arviointiryhmä totesi, että tämänkaltaisten ryhmien odotetaan täyttävän lähinnä hanketasolta kerättävän todentavan aineiston ja tutkimuspolitiikan korkeamman tason sosiaalis-taloudellisten tavoitteiden välinen aukko. Tehtävä on kuitenkin ryhmän mukaan puiteohjelmien suunnittelutavan takia tällä hetkellä vaikea. Ryhmä toteaa, että ei ole selkeää logiikkaa, joka yhdistäisi korkeimmat tavoitteet tiettyihin tutkimusta ja tietämystä koskeviin tavoitteisiin (21). |
| --- | --- |

24.

Puiteohjelmiin sovellettavan toimintalogiikan puuttuminen tuotiin esille myös vuonna 2004 suoritetussa viisivuotisarvioinnissa, jonka yhteydessä arviointiryhmä totesi, että tämänkaltaisten ryhmien odotetaan täyttävän lähinnä hanketasolta kerättävän todentavan aineiston ja tutkimuspolitiikan korkeamman tason sosiaalis-taloudellisten tavoitteiden välinen aukko. Tehtävä on kuitenkin ryhmän mukaan puiteohjelmien suunnittelutavan takia tällä hetkellä vaikea. Ryhmä toteaa, että ei ole selkeää logiikkaa, joka yhdistäisi korkeimmat tavoitteet tiettyihin tutkimusta ja tietämystä koskeviin tavoitteisiin (21).

| 25. | Erilaista lähestymistapaa sovelletaan joissakin jäsenvaltioissa (esimerkiksi Alankomaissa ja Suomessa) ja Yhdysvalloissa (ks. kaavio 3), joissa toimintalogiikan määrittäminen on paljon yleisempää, sekä Kanadassa, jossa toimintalogiikan määrittäminen on pakollista kaikkien ohjelmien kohdalla (ks. liite III). Kyseisissä maissa toimintalogiikan soveltaminen ohjelmasuunnittelussa todellakin tuottaa paremmin kohdennettuja ja jäsenneltyjä ohjelmia. Komissio on myös ottamassa toimintatapaa käyttöön muilla yhteisöpolitiikan aloilla (esimerkiksi yhteisön ulkopuolelle suunnattavan tuen alalla) (22).
  Kaavio 3
  Loogisiin malleihin perustuvien tavoitteiden hierarkian määrittäminen – esimerkkinä maataloustutkimus Yhdysvalloissa








  Politiikka | Ohjelma | Hanke |
| --- | --- | --- | --- |
| Politiikan tavoite:
  vaikuttaa viljelijäperheiden toimeentulon parantumiseen | | |
| Tarkoitus:
  viljelijäperheiden maataloustuotannon, tuottavuuden ja tulojen kasvu | Ohjelman tavoite: vaikuttaa viljelijäperheiden maataloustuotannon, tuottavuuden ja tulojen kasvuun | |
| Tavoiteltu tulos:
  tehokkaampien maanviljelystekniikoiden käytön lisääntyminen kohderyhmään kuuluvien viljelijöiden keskuudessa | Tarkoitus:
  tehokkaampien maanviljelystekniikoiden käytön lisääntyminen vliljelijöiden keskuudessa (esimerkiksi riisinviljelyn yhteydessä) | Hankkeen tavoite:
  vaikuttaa suositeltujen tehokkaampien tekniikoiden hyödyntämisen kasvuun |
| | Tavoiteltu tulos:
  suositusten esittäminen/levittäminen kohderyhmään kuuluville viljelijöille | Tarkoitus:
  sellaisten tehokkaampia tekniikoita koskevien suositusten esittäminen, jotka soveltuvat kohderyhmään kuuluville viljelijöille |
| | | Tavoitellut tulokset (esimerkiksi):








  1. | tekniikoiden yksilöinti viljelijöiden ensisijaisten tavoitteiden perusteella |

25.

Erilaista lähestymistapaa sovelletaan joissakin jäsenvaltioissa (esimerkiksi Alankomaissa ja Suomessa) ja Yhdysvalloissa (ks. kaavio 3), joissa toimintalogiikan määrittäminen on paljon yleisempää, sekä Kanadassa, jossa toimintalogiikan määrittäminen on pakollista kaikkien ohjelmien kohdalla (ks. liite III). Kyseisissä maissa toimintalogiikan soveltaminen ohjelmasuunnittelussa todellakin tuottaa paremmin kohdennettuja ja jäsenneltyjä ohjelmia. Komissio on myös ottamassa toimintatapaa käyttöön muilla yhteisöpolitiikan aloilla (esimerkiksi yhteisön ulkopuolelle suunnattavan tuen alalla) (22).

Kaavio 3

Loogisiin malleihin perustuvien tavoitteiden hierarkian määrittäminen – esimerkkinä maataloustutkimus Yhdysvalloissa

Politiikka

Ohjelma

Hanke

Politiikan tavoite:
  vaikuttaa viljelijäperheiden toimeentulon parantumiseen

Tarkoitus:
  viljelijäperheiden maataloustuotannon, tuottavuuden ja tulojen kasvu

Ohjelman tavoite: vaikuttaa viljelijäperheiden maataloustuotannon, tuottavuuden ja tulojen kasvuun

Tavoiteltu tulos:
  tehokkaampien maanviljelystekniikoiden käytön lisääntyminen kohderyhmään kuuluvien viljelijöiden keskuudessa

Tarkoitus:
  tehokkaampien maanviljelystekniikoiden käytön lisääntyminen vliljelijöiden keskuudessa (esimerkiksi riisinviljelyn yhteydessä)

Hankkeen tavoite:
  vaikuttaa suositeltujen tehokkaampien tekniikoiden hyödyntämisen kasvuun

Tavoiteltu tulos:
  suositusten esittäminen/levittäminen kohderyhmään kuuluville viljelijöille

Tarkoitus:
  sellaisten tehokkaampia tekniikoita koskevien suositusten esittäminen, jotka soveltuvat kohderyhmään kuuluville viljelijöille

Tavoitellut tulokset (esimerkiksi):

1.

tekniikoiden yksilöinti viljelijöiden ensisijaisten tavoitteiden perusteella

| 2. | tekniikoiden luominen ja mukauttaminen |
| --- | --- |

2.

tekniikoiden luominen ja mukauttaminen

| 3. | tekniikoiden tarkistaminen viljelmillä |
| --- | --- |

3.

tekniikoiden tarkistaminen viljelmillä

Lähde: US National Agricultural Research Council.

| 26. | Julkisen tukitoimenpiteen ja oletettujen syy-seuraussuhteiden (joiden perusteella tapahtuu ohjelman yksityiskohtainen suunnittelu, toteutus ja arviointi) taustalla vaikuttavaa lähtökohtaa ei ole määritetty, mikä vaikeuttaa puiteohjelmien tehokasta arviointia ja seurantaa. Puute johtuu erityisesti ohjelmatavoitteiden ja tulosindikaattoreiden määrittämistavasta. |
| --- | --- |

26.

Julkisen tukitoimenpiteen ja oletettujen syy-seuraussuhteiden (joiden perusteella tapahtuu ohjelman yksityiskohtainen suunnittelu, toteutus ja arviointi) taustalla vaikuttavaa lähtökohtaa ei ole määritetty, mikä vaikeuttaa puiteohjelmien tehokasta arviointia ja seurantaa. Puute johtuu erityisesti ohjelmatavoitteiden ja tulosindikaattoreiden määrittämistavasta.

Selkeän loogisen mallin puuttuminen vaikeuttaa asianmukaisten ohjelmatavoitteiden asettamista

| 27. | Julkisen tukitoimenpiteen taustalla vaikuttavan lähtökohdan ilmentämisen puute vaikeuttaa ohjelmatavoitteiden asianmukaista asettamista ja jäsentämistä. Tämä käy ilmi seuraavista tekijöistä:






  — | ei ole selvää, miten puiteohjelmien ohjelmatavoitteet liittyvät poliittisiin tavoitteisiin, esimerkiksi perustamissopimuksen 163 artiklan yleistavoitteeseen tai Lissabonin strategian ja Barcelonan julistuksen yhteydessä määritettyihin tavoitteisiin (ks. kohdat 2 ja 7), |
| --- | --- | --- |

27.

Julkisen tukitoimenpiteen taustalla vaikuttavan lähtökohdan ilmentämisen puute vaikeuttaa ohjelmatavoitteiden asianmukaista asettamista ja jäsentämistä. Tämä käy ilmi seuraavista tekijöistä:

—

ei ole selvää, miten puiteohjelmien ohjelmatavoitteet liittyvät poliittisiin tavoitteisiin, esimerkiksi perustamissopimuksen 163 artiklan yleistavoitteeseen tai Lissabonin strategian ja Barcelonan julistuksen yhteydessä määritettyihin tavoitteisiin (ks. kohdat 2 ja 7),

| — | yksittäisten ohjelmatavoitteiden välinen suhde ei ole aina ilmeinen lainsäädännön eri tasoilla (esimerkiksi puiteohjelmaa koskeva päätös, erityisohjelmaa koskeva päätös sekä osallistumista ja levittämistä koskevat säännöt) eikä perussäädösten ja komission työohjelmien välillä. |
| --- | --- |

—

yksittäisten ohjelmatavoitteiden välinen suhde ei ole aina ilmeinen lainsäädännön eri tasoilla (esimerkiksi puiteohjelmaa koskeva päätös, erityisohjelmaa koskeva päätös sekä osallistumista ja levittämistä koskevat säännöt) eikä perussäädösten ja komission työohjelmien välillä.

| 28. | Komissio on pyrkinyt esittämään työohjelmissa toimintatavoitteita puiteohjelmia koskevassa lainsäädännössä määritettyjen ohjelmatavoitteiden mukaisesti. Lähes kaikissa tapauksissa voitiin kuitenkin todeta, että nämä aloitteet eivät ole onnistuneet selkiyttämään ohjelmien taustalla vaikuttavaa logiikkaa ja että työohjelmissa määritetyt tavoitteet eivät olleet erityisiä (specific), mitattavia (measurable), toteutettavia (achievable), asiaankuuluvia (relevant) ja ajallisesti määrättyjä (timed) (SMART). Vuonna 2003 mainitut määreet sisällytettiin oikeudellisina vaatimuksina varainhoitoasetukseen (23). |
| --- | --- |

28.

Komissio on pyrkinyt esittämään työohjelmissa toimintatavoitteita puiteohjelmia koskevassa lainsäädännössä määritettyjen ohjelmatavoitteiden mukaisesti. Lähes kaikissa tapauksissa voitiin kuitenkin todeta, että nämä aloitteet eivät ole onnistuneet selkiyttämään ohjelmien taustalla vaikuttavaa logiikkaa ja että työohjelmissa määritetyt tavoitteet eivät olleet erityisiä (specific), mitattavia (measurable), toteutettavia (achievable), asiaankuuluvia (relevant) ja ajallisesti määrättyjä (timed) (SMART). Vuonna 2003 mainitut määreet sisällytettiin oikeudellisina vaatimuksina varainhoitoasetukseen (23).

| 29. | On epäselvää, missä määrin erityisohjelmat, työohjelmat ja yksittäisiin yhteisön osarahoittamiin hankkeisiin liittyvät ehdotuspyynnöt ilmentävät poliittisia tavoitteita. Mikäli niiden välistä yhteyttä ei tarkenneta, puiteohjelmien ja niihin sisältyvien ohjelmien vaikutusta kyseisten poliittisten tavoitteiden saavuttamiseen ei voida arvioida. Tarkastuksessa kävi ilmi, että komissio on antanut arvioinneissaan vain vähän tai ei lainkaan vakuuttavaa näyttöä pidemmän aikavälin tavoitteiden saavuttamisesta hankkeiden tai ohjelmien tasolla (ks. kohta 82). |
| --- | --- |

29.

On epäselvää, missä määrin erityisohjelmat, työohjelmat ja yksittäisiin yhteisön osarahoittamiin hankkeisiin liittyvät ehdotuspyynnöt ilmentävät poliittisia tavoitteita. Mikäli niiden välistä yhteyttä ei tarkenneta, puiteohjelmien ja niihin sisältyvien ohjelmien vaikutusta kyseisten poliittisten tavoitteiden saavuttamiseen ei voida arvioida. Tarkastuksessa kävi ilmi, että komissio on antanut arvioinneissaan vain vähän tai ei lainkaan vakuuttavaa näyttöä pidemmän aikavälin tavoitteiden saavuttamisesta hankkeiden tai ohjelmien tasolla (ks. kohta 82).

Selkeän toimintalogiikan ja tavoitteiden puuttuminen vaikeuttaa tulosindikaattoreiden laatimista

| 30. | Selkeän loogisen mallin ja selkeästi ilmaistujen ohjelmatavoitteiden puuttuminen on haitannut myös ohjelmatavoitteiden seurantaan tuotosten, tulosten ja vaikutusten arvioimiseksi sovellettavien tulosindikaattoreiden laatimista siinä määrin, ettei kyseisiä ”vaikuttavuutta” koskevia indikaattoreita ole tähän mennessä määritetty lainkaan puiteohjelmien osalta (ks. kohta 73). |
| --- | --- |

30.

Selkeän loogisen mallin ja selkeästi ilmaistujen ohjelmatavoitteiden puuttuminen on haitannut myös ohjelmatavoitteiden seurantaan tuotosten, tulosten ja vaikutusten arvioimiseksi sovellettavien tulosindikaattoreiden laatimista siinä määrin, ettei kyseisiä ”vaikuttavuutta” koskevia indikaattoreita ole tähän mennessä määritetty lainkaan puiteohjelmien osalta (ks. kohta 73).

| 31. | Tässä tilanteessa vaikeutuu myös kyseisten ohjelmien avulla rahoitettujen käynnissä olevien hankkeiden tarkistaminen ja päättyneiden hankkeiden jälkiarviointi; tilanne vaikeuttaa niin ikään osaltaan arviointien kokoamista hanketasolta ohjelmatasolle (ks. liite I ja kohta 84). |
| --- | --- |

31.

Tässä tilanteessa vaikeutuu myös kyseisten ohjelmien avulla rahoitettujen käynnissä olevien hankkeiden tarkistaminen ja päättyneiden hankkeiden jälkiarviointi; tilanne vaikeuttaa niin ikään osaltaan arviointien kokoamista hanketasolta ohjelmatasolle (ks. liite I ja kohta 84).

Tällä hetkellä toteutettava toimintoperusteinen budjetointi/toimintojohtaminen ei ole sopiva väline puiteohjelmien tulosten mittaamiseen

| 32. | Komission vuotuisiin seurantakertomuksiin sekä komission toimintojohtamisjärjestelmään sisältyy joitakin ohjelmien toteutuksen tehokkuutta kuvastavia indikaattoreita (esimerkiksi sopimuksentekoon tai maksujen suorittamiseen kuluva aika). |
| --- | --- |

32.

Komission vuotuisiin seurantakertomuksiin sekä komission toimintojohtamisjärjestelmään sisältyy joitakin ohjelmien toteutuksen tehokkuutta kuvastavia indikaattoreita (esimerkiksi sopimuksentekoon tai maksujen suorittamiseen kuluva aika).

| 33. | Tutkimusalan pääosastot eivät ole kuitenkaan tähän mennessä edes samaa erityisohjelmaa (tai alaohjelmaa) toteuttaessaan soveltaneet vakioitua tai vertailukelpoista toimintoperusteisen budjetoinnin nimikkeistöä ja siihen liittyviä indikaattoreita. Näin ollen kyseisiä indikaattoreita ei voida hyödyntää tulosten vertaamiseen ohjelmien välillä ja sisällä.

  Laatikko 2Tutkimusalan pääosastojen tällä hetkellä toteuttama toimintoperusteinen budjetointi/toimintojohtaminenToimintoperusteiseen budjetointiin/toimintojohtamiseen perustuvassa järjestelmässä puiteohjelmat kuuluvat kahteen eri politiikan alaan, joiden sisällä puiteohjelmiin liittyvät toiminnot esitetään erilaisten pääosastokohtaisten nimikkeistöjen mukaan (24). Menettelyä sovelletaan myös useamman kuin yhden pääosaston toteuttamiin erityis- ja alaohjelmiin. Toimintojohtamisen tavoitteet määritettiin erilaisten periaatteiden mukaan (25) ja kuten komission sisäisen tarkastuksen yksikkö toi esille (26), periaatteet oli useimmiten muotoiltu yleisesti, pyrkimyksiä tai toimia kuvaten. Indikaattorit painottuivat yleensä panoksiin (esimerkiksi kokousten lukumäärä). Osa indikaattoreista koski prosessin tehokkuutta (esimerkiksi sopimuksentekoon tai maksujen suorittamiseen kuluva aika), mutta ne eivät olleet vertailukelpoisia eri ohjelmien ja pääosastojen välillä; syynä tähän olivat eroavaisuudet, jotka liittyivät toimintoperusteisen budjetoinnin nimikkeistöön, pääosastokohtaisiin oletuksiin (esimerkiksi erityisten hallinnollisten menettelyiden alkamisesta ja päättymisestä) sekä niiden laskennassa huomioitavaan perusjoukkoon (esimerkiksi avustussopimuksen tai maksun tyyppi). |
| --- | --- |

33.

Tutkimusalan pääosastot eivät ole kuitenkaan tähän mennessä edes samaa erityisohjelmaa (tai alaohjelmaa) toteuttaessaan soveltaneet vakioitua tai vertailukelpoista toimintoperusteisen budjetoinnin nimikkeistöä ja siihen liittyviä indikaattoreita. Näin ollen kyseisiä indikaattoreita ei voida hyödyntää tulosten vertaamiseen ohjelmien välillä ja sisällä.

Laatikko 2Tutkimusalan pääosastojen tällä hetkellä toteuttama toimintoperusteinen budjetointi/toimintojohtaminenToimintoperusteiseen budjetointiin/toimintojohtamiseen perustuvassa järjestelmässä puiteohjelmat kuuluvat kahteen eri politiikan alaan, joiden sisällä puiteohjelmiin liittyvät toiminnot esitetään erilaisten pääosastokohtaisten nimikkeistöjen mukaan (24). Menettelyä sovelletaan myös useamman kuin yhden pääosaston toteuttamiin erityis- ja alaohjelmiin. Toimintojohtamisen tavoitteet määritettiin erilaisten periaatteiden mukaan (25) ja kuten komission sisäisen tarkastuksen yksikkö toi esille (26), periaatteet oli useimmiten muotoiltu yleisesti, pyrkimyksiä tai toimia kuvaten. Indikaattorit painottuivat yleensä panoksiin (esimerkiksi kokousten lukumäärä). Osa indikaattoreista koski prosessin tehokkuutta (esimerkiksi sopimuksentekoon tai maksujen suorittamiseen kuluva aika), mutta ne eivät olleet vertailukelpoisia eri ohjelmien ja pääosastojen välillä; syynä tähän olivat eroavaisuudet, jotka liittyivät toimintoperusteisen budjetoinnin nimikkeistöön, pääosastokohtaisiin oletuksiin (esimerkiksi erityisten hallinnollisten menettelyiden alkamisesta ja päättymisestä) sekä niiden laskennassa huomioitavaan perusjoukkoon (esimerkiksi avustussopimuksen tai maksun tyyppi).

Suositukset

34.

| 34. | Tulevissa neuvostolle ja Euroopan parlamentille esitettävissä lainsäädäntöehdotuksissa komission tulisi määrittää selkeä toimintalogiikka sekä puiteohjelmille kokonaisuutena että niihin sisältyville osa-alueille. |
| --- | --- |

Tulevissa neuvostolle ja Euroopan parlamentille esitettävissä lainsäädäntöehdotuksissa komission tulisi määrittää selkeä toimintalogiikka sekä puiteohjelmille kokonaisuutena että niihin sisältyville osa-alueille.

| 35. | Seitsemännen puiteohjelman osalta komission olisi:






  — | määritettävä selkeästi puiteohjelman ja siihen sisältyvien erityisohjelmien (ja ala-ohjelmien) tavoitteet ja toteuttamistapa, |
| --- | --- | --- |

35.

Seitsemännen puiteohjelman osalta komission olisi:

—

määritettävä selkeästi puiteohjelman ja siihen sisältyvien erityisohjelmien (ja ala-ohjelmien) tavoitteet ja toteuttamistapa,

| — | tarkennettava tieteellisten ja sosiaalis-taloudellisten tavoitteiden välinen yhteys kunkin erityisohjelman (ja ala-ohjelman) osalta, |
| --- | --- |

—

tarkennettava tieteellisten ja sosiaalis-taloudellisten tavoitteiden välinen yhteys kunkin erityisohjelman (ja ala-ohjelman) osalta,

| — | määritettävä asiaankuuluvat toimintatavoitteet. |
| --- | --- |

—

määritettävä asiaankuuluvat toimintatavoitteet.

| 36. | Komission pitäisi laatia seitsemännen puiteohjelman seurantajärjestelmää varten jokaisen erityisohjelman (ja ala-ohjelman) kohdalla rajallinen, mutta tasapainotettu määrä tulosindikaattoreita, joiden avulla voidaan mitata ohjelman toteuttamisen tehokkuutta ja vaikuttavuutta. |
| --- | --- |

36.

Komission pitäisi laatia seitsemännen puiteohjelman seurantajärjestelmää varten jokaisen erityisohjelman (ja ala-ohjelman) kohdalla rajallinen, mutta tasapainotettu määrä tulosindikaattoreita, joiden avulla voidaan mitata ohjelman toteuttamisen tehokkuutta ja vaikuttavuutta.

| 37. | Tutkimusalan pääosastojen olisi yhdenmukaistettava toimintojohtamisen/toimintoperusteisen budjetoinnin nimikkeistöään siten, että tulosindikaattorit olisivat vertailukelpoisia sekä ajan suhteen että mahdollisuuksien mukaan myös erityisohjelmien (ja ala-ohjelmien) välillä. |
| --- | --- |

37.

Tutkimusalan pääosastojen olisi yhdenmukaistettava toimintojohtamisen/toimintoperusteisen budjetoinnin nimikkeistöään siten, että tulosindikaattorit olisivat vertailukelpoisia sekä ajan suhteen että mahdollisuuksien mukaan myös erityisohjelmien (ja ala-ohjelmien) välillä.

Arviointistrategia

| 38. | Arviointistrategia muodostaa käsitteellisen rungon, jonka puitteissa arviointitoimet määritetään, suunnitellaan ja toteutetaan ja jonka puitteissa niitä hyödynnetään. Muilla EU:n talousarvioaloilla sekä muissa yhteyksissä noudatetut hyvät käytännöt näyttäisivät osoittavan, että tällaisen strategian tulisi kattaa pääasialliset ohjelmien arviointiin liittyvät oikeudelliset, organisatoriset ja metodologiset kysymykset, joista voidaan mainita esimerkiksi seuraavat: mitkä arvioinnit on määrä suorittaa, kuka ne suorittaa ja milloin, miten tiedot on määrä kerätä, mitä metodologisia lähestymistapoja aiotaan soveltaa ja miten havainnoista tiedotetaan ja miten niiden perusteella suoritetaan seurantaa. |
| --- | --- |

38.

Arviointistrategia muodostaa käsitteellisen rungon, jonka puitteissa arviointitoimet määritetään, suunnitellaan ja toteutetaan ja jonka puitteissa niitä hyödynnetään. Muilla EU:n talousarvioaloilla sekä muissa yhteyksissä noudatetut hyvät käytännöt näyttäisivät osoittavan, että tällaisen strategian tulisi kattaa pääasialliset ohjelmien arviointiin liittyvät oikeudelliset, organisatoriset ja metodologiset kysymykset, joista voidaan mainita esimerkiksi seuraavat: mitkä arvioinnit on määrä suorittaa, kuka ne suorittaa ja milloin, miten tiedot on määrä kerätä, mitä metodologisia lähestymistapoja aiotaan soveltaa ja miten havainnoista tiedotetaan ja miten niiden perusteella suoritetaan seurantaa.

| 39. | Strategian olemassaolo ja sen täytäntöönpanon varmistaminen ovat perusedellytyksiä sille, että arviointi saadaan sisällytettyä komission organisaatiokulttuuriin ja päätöksentekoprosessiin. Tilintarkastustuomioistuin kuitenkin toteaa, että puiteohjelmien piiriin kuuluvien tieteenalojen kirjo huomioon ottaen kyseisen strategian pitäisi tarjota sopivassa määrin joustavuutta kullekin toimista vastaavalle pääosastolle eikä sen pidä olla liian rajoittava. |
| --- | --- |

39.

Strategian olemassaolo ja sen täytäntöönpanon varmistaminen ovat perusedellytyksiä sille, että arviointi saadaan sisällytettyä komission organisaatiokulttuuriin ja päätöksentekoprosessiin. Tilintarkastustuomioistuin kuitenkin toteaa, että puiteohjelmien piiriin kuuluvien tieteenalojen kirjo huomioon ottaen kyseisen strategian pitäisi tarjota sopivassa määrin joustavuutta kullekin toimista vastaavalle pääosastolle eikä sen pidä olla liian rajoittava.

| 40. | Tilintarkastustuomioistuin tarkasti, missä laajuudessa komissiolla oli käytössä puiteohjelmien arviointistrategia. |
| --- | --- |

40.

Tilintarkastustuomioistuin tarkasti, missä laajuudessa komissiolla oli käytössä puiteohjelmien arviointistrategia.

Kattavan arviointistrategian puuttuminen puiteohjelmien kohdalla

| 41. | Komissio julkisti puiteohjelmien arviointia koskevan lähestymistapansa ensimmäisen kerran 1980-luvulla (27). Sitä päivitettiin vuonna 1996, jolloin komissio tiedotti Euroopan parlamentille ja neuvostolle tuolloin merkittävinä pitämänsä seurannan ja arvioinnin perusperiaatteet ja toi esille neljännen puiteohjelman hyväksymisen jälkeen tavoitteenaan olleen lähestymistavan (28). Tämä ei kuitenkaan muodostanut edellä kuvatun kaltaista kattavaa arviointistrategiaa (ks. kohdat 38 ja 39). Lisäksi komissio ei vuosina 1996–2006 käynyt perusteellisesti läpi viidennen ja kuudennen puiteohjelman arviointiin soveltamaansa lähestymistapaa huolimatta siitä, että puiteohjelmat muuttuivat sekä sisällöltään että tavoitteiltaan (ks. kohta 7). Tutkimusalan pääosastot eivät ole sopineet puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin sovellettavasta yhdenmukaisesta lähestymistavasta vuonna 1999 viidennen puiteohjelman, vuonna 2002 kuudennen puiteohjelman ja vuonna 2006 seitsemännen puiteohjelman osalta hyväksyttyjen oikeudellisten vaatimusten lisäksi (29). |
| --- | --- |

41.

Komissio julkisti puiteohjelmien arviointia koskevan lähestymistapansa ensimmäisen kerran 1980-luvulla (27). Sitä päivitettiin vuonna 1996, jolloin komissio tiedotti Euroopan parlamentille ja neuvostolle tuolloin merkittävinä pitämänsä seurannan ja arvioinnin perusperiaatteet ja toi esille neljännen puiteohjelman hyväksymisen jälkeen tavoitteenaan olleen lähestymistavan (28). Tämä ei kuitenkaan muodostanut edellä kuvatun kaltaista kattavaa arviointistrategiaa (ks. kohdat 38 ja 39). Lisäksi komissio ei vuosina 1996–2006 käynyt perusteellisesti läpi viidennen ja kuudennen puiteohjelman arviointiin soveltamaansa lähestymistapaa huolimatta siitä, että puiteohjelmat muuttuivat sekä sisällöltään että tavoitteiltaan (ks. kohta 7). Tutkimusalan pääosastot eivät ole sopineet puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin sovellettavasta yhdenmukaisesta lähestymistavasta vuonna 1999 viidennen puiteohjelman, vuonna 2002 kuudennen puiteohjelman ja vuonna 2006 seitsemännen puiteohjelman osalta hyväksyttyjen oikeudellisten vaatimusten lisäksi (29).

| 42. | Nykyisen ohjelmakauden kohdalla arviointiin sovellettavan strategisen lähestymistavan puuttuminen on ongelma erityisesti useiden pääosastojen, Euroopan tutkimusneuvoston ja toimeenpanovirastojen yhteisesti toteuttamaa seitsemännen puiteohjelman täytäntöönpanoa silmällä pitäen sekä sen kannalta, että varainhoitoasetuksen mukaan erittäin luottamuksellisissa tehtävissä on pakollinen henkilöstön vaihtuvuus. Tilanne on myös vastoin yhteisön ulkopuolelle suunnattavan tuen alan (toiseksi suurin komission suoraan hallinnoima ala) nykyistä käytäntöä. Kyseisellä alalla toimivaltaiset pääosastot ovat vuodesta 2002 alkaen sopineet yhteisistä monivuotisista ohjelmakausiin liittyvistä arviointistrategioista (ks. kohta 52). |
| --- | --- |

42.

Nykyisen ohjelmakauden kohdalla arviointiin sovellettavan strategisen lähestymistavan puuttuminen on ongelma erityisesti useiden pääosastojen, Euroopan tutkimusneuvoston ja toimeenpanovirastojen yhteisesti toteuttamaa seitsemännen puiteohjelman täytäntöönpanoa silmällä pitäen sekä sen kannalta, että varainhoitoasetuksen mukaan erittäin luottamuksellisissa tehtävissä on pakollinen henkilöstön vaihtuvuus. Tilanne on myös vastoin yhteisön ulkopuolelle suunnattavan tuen alan (toiseksi suurin komission suoraan hallinnoima ala) nykyistä käytäntöä. Kyseisellä alalla toimivaltaiset pääosastot ovat vuodesta 2002 alkaen sopineet yhteisistä monivuotisista ohjelmakausiin liittyvistä arviointistrategioista (ks. kohta 52).

| 43. | Selkeästi muotoillun arviointistrategian puuttuminen on voimakkaassa ristiriidassa myös Yhdysvalloissa ja Kanadassa vallitsevan tilanteen kanssa; kyseisissä maissa strategian olemassaoloa edellytetään säännöksissä (ks. liite III). |
| --- | --- |

43.

Selkeästi muotoillun arviointistrategian puuttuminen on voimakkaassa ristiriidassa myös Yhdysvalloissa ja Kanadassa vallitsevan tilanteen kanssa; kyseisissä maissa strategian olemassaoloa edellytetään säännöksissä (ks. liite III).

| 44. | Kuten jäljempänä tuodaan esille, arvioinnin kattavuudessa ja intensiteetissä on eroja eri puiteohjelmien välillä. Havaittavissa oli myös muita, jäljempänä tässä kertomuksessa käsiteltäviä puutteita: koordinointiongelmat, menettelytapaerot, ajoitusongelmat sekä arviointihavaintoihin perustuvaan tiedottamiseen ja seurantaan liittyvät puutteet. Tilanne kuvastaa kattavan puiteohjelmien arviointistrategian puuttumista. |
| --- | --- |

44.

Kuten jäljempänä tuodaan esille, arvioinnin kattavuudessa ja intensiteetissä on eroja eri puiteohjelmien välillä. Havaittavissa oli myös muita, jäljempänä tässä kertomuksessa käsiteltäviä puutteita: koordinointiongelmat, menettelytapaerot, ajoitusongelmat sekä arviointihavaintoihin perustuvaan tiedottamiseen ja seurantaan liittyvät puutteet. Tilanne kuvastaa kattavan puiteohjelmien arviointistrategian puuttumista.

Eri puiteohjelmien arvioinnin kattavuuteen ja intensiteettiin liittyvät erot

| 45. | Puiteohjelmat muodostuvat lukuisista erityisohjelmista (ja ala-ohjelmista), joiden tarkoitus, taustalla vaikuttava dynamiikka ja talousarviomäärärahat saattavat vaihdella huomattavasti (seitsemännen puiteohjelman osalta ks. liite IV). Puiteohjelmia koskevien eri päätösten erityissäännösten ja varainhoitoasetuksen (30) (joka edellyttää huomattavia menoja sisältävien ohjelmien ja toimien arviointia) perusteella oikeudellinen vaatimus arvioida sekä puiteohjelma kokonaisuudessaan että suurin osa siihen sisältyvistä erityisohjelmista on ollut voimassa neljännestä puiteohjelmasta alkaen. |
| --- | --- |

45.

Puiteohjelmat muodostuvat lukuisista erityisohjelmista (ja ala-ohjelmista), joiden tarkoitus, taustalla vaikuttava dynamiikka ja talousarviomäärärahat saattavat vaihdella huomattavasti (seitsemännen puiteohjelman osalta ks. liite IV). Puiteohjelmia koskevien eri päätösten erityissäännösten ja varainhoitoasetuksen (30) (joka edellyttää huomattavia menoja sisältävien ohjelmien ja toimien arviointia) perusteella oikeudellinen vaatimus arvioida sekä puiteohjelma kokonaisuudessaan että suurin osa siihen sisältyvistä erityisohjelmista on ollut voimassa neljännestä puiteohjelmasta alkaen.

| 46. | Komissio ei ole laatinut sääntöä siitä, milloin puiteohjelman erityisohjelmat tai ala-ohjelmat on arvioitava tai määrittänyt yleistä vähimmäisrajaa, jonka ylittävät ohjelmat on arvioitava. Tämä on johtanut epäyhtenäisiin tulkintoihin siitä, mitä pitäisi arvioida ja kuinka yksityiskohtaisesti:






  — | tietoyhteiskunnan pääosasto piti tietoyhteiskunnan tekniikat -ohjelmaa (Information Society Technologies, IST) jo sinällään suurena meno-ohjelmana ja järjesti vuonna 2004 täysimääräisen viisivuotisarvioinnin samanaikaisesti koko puiteohjelmaan kohdistuneen arvioinnin kanssa, |
| --- | --- | --- |

46.

Komissio ei ole laatinut sääntöä siitä, milloin puiteohjelman erityisohjelmat tai ala-ohjelmat on arvioitava tai määrittänyt yleistä vähimmäisrajaa, jonka ylittävät ohjelmat on arvioitava. Tämä on johtanut epäyhtenäisiin tulkintoihin siitä, mitä pitäisi arvioida ja kuinka yksityiskohtaisesti:

—

tietoyhteiskunnan pääosasto piti tietoyhteiskunnan tekniikat -ohjelmaa (Information Society Technologies, IST) jo sinällään suurena meno-ohjelmana ja järjesti vuonna 2004 täysimääräisen viisivuotisarvioinnin samanaikaisesti koko puiteohjelmaan kohdistuneen arvioinnin kanssa,

| — | tutkimuksen pääosasto ei järjestänyt systemaattisesti arviointeja erityisohjelmien tasolla, vaikka useiden sen vastuulle kuuluvien ohjelmien talousarviot olivat keskenään samaa suuruusluokkaa. |
| --- | --- |

—

tutkimuksen pääosasto ei järjestänyt systemaattisesti arviointeja erityisohjelmien tasolla, vaikka useiden sen vastuulle kuuluvien ohjelmien talousarviot olivat keskenään samaa suuruusluokkaa.

| 47. | Tämän seurauksena vuonna 2004 suoritetun viisivuotisarvioinnin yhteydessä huomattavia osia neljännen ja viidennen puiteohjelman ohjelmista jäi kokonaan arvioimatta (kyseiset osat kattavat 30 prosenttia neljännen puiteohjelman talousarviomäärärahojen ja 50 prosenttia viidennen puiteohjelman talousarviomäärärahojen kokonaismäärästä). Tämä merkitsee, että komissio ei noudattanut varainhoitoasetuksen 27 artiklaan sisältyviä arviointivaatimuksia. |
| --- | --- |

47.

Tämän seurauksena vuonna 2004 suoritetun viisivuotisarvioinnin yhteydessä huomattavia osia neljännen ja viidennen puiteohjelman ohjelmista jäi kokonaan arvioimatta (kyseiset osat kattavat 30 prosenttia neljännen puiteohjelman talousarviomäärärahojen ja 50 prosenttia viidennen puiteohjelman talousarviomäärärahojen kokonaismäärästä). Tämä merkitsee, että komissio ei noudattanut varainhoitoasetuksen 27 artiklaan sisältyviä arviointivaatimuksia.

| 48. | Vaihtelevat tulkinnat arvioinnin oikeudellisista vähimmäisvaatimuksista ja niiden seurauksena aiemmin ilmennyt puiteohjelmien liian vähäinen arviointi kuvastavat koordinoinnin puutetta ja tuovat esille, millaiset vaikutukset puiteohjelmien arviointia koskevan komission strategisen lähestymistavan puuttumisella on. |
| --- | --- |

48.

Vaihtelevat tulkinnat arvioinnin oikeudellisista vähimmäisvaatimuksista ja niiden seurauksena aiemmin ilmennyt puiteohjelmien liian vähäinen arviointi kuvastavat koordinoinnin puutetta ja tuovat esille, millaiset vaikutukset puiteohjelmien arviointia koskevan komission strategisen lähestymistavan puuttumisella on.

Suositukset

49.

| 49. | Tutkimusalan pääosastojen olisi pikaisesti kehitettävä ja hyväksyttävä yhteinen puiteohjelmien arviointistrategia. Strategian ei pitäisi olla liian rajoittava, mutta sen tulisi sisältää yhtenäinen lähestymistapa puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin. Strategian tulisi myös sisältää ohjeita vähimmäisrajasta, jonka ylittäviin ohjelmiin on kohdistettava yksityiskohtainen arviointi; tavoitteena on kunkin tieteenalan erityispiirteiden huomioon ottaminen. |
| --- | --- |

Tutkimusalan pääosastojen olisi pikaisesti kehitettävä ja hyväksyttävä yhteinen puiteohjelmien arviointistrategia. Strategian ei pitäisi olla liian rajoittava, mutta sen tulisi sisältää yhtenäinen lähestymistapa puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin. Strategian tulisi myös sisältää ohjeita vähimmäisrajasta, jonka ylittäviin ohjelmiin on kohdistettava yksityiskohtainen arviointi; tavoitteena on kunkin tieteenalan erityispiirteiden huomioon ottaminen.

Puiteohjelmien arvioinnin järjestäminen

| 50. | Puiteohjelmien arviointia varten on tehtävä asianmukaiset organisatoriset järjestelyt, joiden tulisi mukailla komission puiteohjelmien arviointiin soveltamaa strategista lähestymistapaa. Tilintarkastustuomioistuin tutki, missä määrin organisaatiorakenteen avulla kyettiin varmistamaan, että arviointijärjestelmän koordinointi oli asianmukaista, resurssit riittäviä ja menettely osallistujien näkökulmasta riittävän itsenäistä. |
| --- | --- |

50.

Puiteohjelmien arviointia varten on tehtävä asianmukaiset organisatoriset järjestelyt, joiden tulisi mukailla komission puiteohjelmien arviointiin soveltamaa strategista lähestymistapaa. Tilintarkastustuomioistuin tutki, missä määrin organisaatiorakenteen avulla kyettiin varmistamaan, että arviointijärjestelmän koordinointi oli asianmukaista, resurssit riittäviä ja menettely osallistujien näkökulmasta riittävän itsenäistä.

Komissio

Useat pääosastot toteuttavat puiteohjelmia yhteisesti mutta arviointivastuu on hajautettu

| 51. | Meno-ohjelmien arvioinnista vastaavat komissiossa yksittäiset pääosastot (ks. kohta 8), joista kuhunkin on perustettu arviointiyksikkö, joka vastaa arviointien suunnittelusta, koordinoinnista ja toteuttamisesta. |
| --- | --- |

51.

Meno-ohjelmien arvioinnista vastaavat komissiossa yksittäiset pääosastot (ks. kohta 8), joista kuhunkin on perustettu arviointiyksikkö, joka vastaa arviointien suunnittelusta, koordinoinnista ja toteuttamisesta.

| 52. | Toisin kuin muilla politiikan aloilla, puiteohjelmien arviointia varten ei ole olemassa erityistä koordinointielintä tai erillistä, tutkimusalan pääosastojen yhteistä arviointiyksikköä. Yhteisön ulkopuolelle suunnattavan tuen alalla on kolmea pääosastoa (kehitysyhteistyö, ulkosuhteet ja EuropeAid-yhteistyötoimisto) varten perustettu yhteinen arviointiyksikkö, joka vastaa kolmansissa maissa toteutettavien komission kehitysohjelmien arvioinnista (ks. kohta 42). |
| --- | --- |

52.

Toisin kuin muilla politiikan aloilla, puiteohjelmien arviointia varten ei ole olemassa erityistä koordinointielintä tai erillistä, tutkimusalan pääosastojen yhteistä arviointiyksikköä. Yhteisön ulkopuolelle suunnattavan tuen alalla on kolmea pääosastoa (kehitysyhteistyö, ulkosuhteet ja EuropeAid-yhteistyötoimisto) varten perustettu yhteinen arviointiyksikkö, joka vastaa kolmansissa maissa toteutettavien komission kehitysohjelmien arvioinnista (ks. kohta 42).

| 53. | Tutkimuksen pääosasto varmistaa komission sisäisen ”TTK-ohjelmien arviointiverkoston” välityksellä tiedonvaihdon eri pääosastojen arviointiyksiköiden välillä, mutta sillä ei ole valtuuksia asettaa arviointia koskevia vähimmäisvaatimuksia. Tämä mekanismi on ollut riittämätön komission suorittaman puiteohjelmien arvioinnin asianmukaisen koordinoinnin varmistamiseksi. |
| --- | --- |

53.

Tutkimuksen pääosasto varmistaa komission sisäisen ”TTK-ohjelmien arviointiverkoston” välityksellä tiedonvaihdon eri pääosastojen arviointiyksiköiden välillä, mutta sillä ei ole valtuuksia asettaa arviointia koskevia vähimmäisvaatimuksia. Tämä mekanismi on ollut riittämätön komission suorittaman puiteohjelmien arvioinnin asianmukaisen koordinoinnin varmistamiseksi.

| 54. | Komissio tarkisti arviointiin soveltamaansa yleistä lähestymistapaa vuosina 2000 ja 2002 sekä uudelleen vuonna 2007 (ks. kohta 14). Puiteohjelmien ja niihin sisältyvien ohjelmien arviointien suunnittelu-, laadinta- tai toteuttamistavassa ei ollut havaittavissa suurempia parannuksia, mutta tutkimusalan pääosastot ovat yleisesti ottaen noudattaneet koko komission kattavia virallisia vaatimuksia. |
| --- | --- |

54.

Komissio tarkisti arviointiin soveltamaansa yleistä lähestymistapaa vuosina 2000 ja 2002 sekä uudelleen vuonna 2007 (ks. kohta 14). Puiteohjelmien ja niihin sisältyvien ohjelmien arviointien suunnittelu-, laadinta- tai toteuttamistavassa ei ollut havaittavissa suurempia parannuksia, mutta tutkimusalan pääosastot ovat yleisesti ottaen noudattaneet koko komission kattavia virallisia vaatimuksia.

Komission keskusyksiköt asettavat standardit, mutta eivät valvo noudattamista

| 55. | Komission keskusyksiköt (etenkin budjettipääosasto ja pääsihteeristö) antavat menettelytapoja koskevaa neuvontaa, määrittävät koko komissiota koskevia yhteisiä standardeja ja seuraavat standardien soveltamista pääosastoissa ja yksiköissä (ks. kohdat 14 ja 70). Keskusyksiköt eivät voi määrätä, miten arvioinnit olisi käytännössä suoritettava. |
| --- | --- |

55.

Komission keskusyksiköt (etenkin budjettipääosasto ja pääsihteeristö) antavat menettelytapoja koskevaa neuvontaa, määrittävät koko komissiota koskevia yhteisiä standardeja ja seuraavat standardien soveltamista pääosastoissa ja yksiköissä (ks. kohdat 14 ja 70). Keskusyksiköt eivät voi määrätä, miten arvioinnit olisi käytännössä suoritettava.

| 56. | Yhdysvalloissa ja Kanadassa saadut kokemukset osoittavat, että standardeja laativien elinten suorittama noudattamisen valvonta on siellä olennaista arviointijärjestelmän vaikuttavan toiminnan varmistamisen kannalta. Molemmissa maissa liittovaltion ministeriöt laativat ja velvoittavat noudattamaan puitteita, joiden perusteella ohjelman lopullista onnistumista arvioidaan (ks. liite III). Taustat poikkeavat toisistaan, mutta järjestelmät perustuvat kuitenkin samaan periaatteeseen, jonka mukaan tietyn, muun kuin ohjelman toteuttamisesta vastaavan elimen on evaluoitava tiettyjä arviointijärjestelmän suunnitteluun liittyviä näkökohtia yksityiskohtaisesti ja tehtävä päätelmiä sen vaikuttavuudesta. Sama menettely on havaittavissa joissakin jäsenvaltioissa (esimerkiksi Ranskassa (31), Espanjassa (32) ja Saksassa (33)), missä ulkoiset elimet valvovat rahoituslaitosten suorittamia arviointeja tai jopa suorittavat itse kyseiset arvioinnit. |
| --- | --- |

56.

Yhdysvalloissa ja Kanadassa saadut kokemukset osoittavat, että standardeja laativien elinten suorittama noudattamisen valvonta on siellä olennaista arviointijärjestelmän vaikuttavan toiminnan varmistamisen kannalta. Molemmissa maissa liittovaltion ministeriöt laativat ja velvoittavat noudattamaan puitteita, joiden perusteella ohjelman lopullista onnistumista arvioidaan (ks. liite III). Taustat poikkeavat toisistaan, mutta järjestelmät perustuvat kuitenkin samaan periaatteeseen, jonka mukaan tietyn, muun kuin ohjelman toteuttamisesta vastaavan elimen on evaluoitava tiettyjä arviointijärjestelmän suunnitteluun liittyviä näkökohtia yksityiskohtaisesti ja tehtävä päätelmiä sen vaikuttavuudesta. Sama menettely on havaittavissa joissakin jäsenvaltioissa (esimerkiksi Ranskassa (31), Espanjassa (32) ja Saksassa (33)), missä ulkoiset elimet valvovat rahoituslaitosten suorittamia arviointeja tai jopa suorittavat itse kyseiset arvioinnit.

Arviointiryhmät

Ulkoisista asiantuntijoista koostuvat ryhmät: puiteohjelmia koskevassa lainsäädännössä neljännestä puiteohjelmasta alkaen

| 57. | Neljännestä puiteohjelmasta alkaen kaikkien keskeisten puiteohjelmien arviointitoimien (ja vuotuisen seurannan) on pitänyt tapahtua ulkoisista asiantuntijoista koostuvien ryhmien toimesta (tai avustuksella) (ks. liite II). Soveltuvien asiantuntijoiden löytäminen on ollut vaikeaa, mutta ryhmät voivat tarjota avoimuutta, tiettyä itsenäisyyttä, helpottaa osallistujien sitoutumista ja hyödyntää tietoa itse puiteohjelmista, arvioinnista ja niiden taustalla vaikuttavista tieteellisistä kysymyksistä. |
| --- | --- |

57.

Neljännestä puiteohjelmasta alkaen kaikkien keskeisten puiteohjelmien arviointitoimien (ja vuotuisen seurannan) on pitänyt tapahtua ulkoisista asiantuntijoista koostuvien ryhmien toimesta (tai avustuksella) (ks. liite II). Soveltuvien asiantuntijoiden löytäminen on ollut vaikeaa, mutta ryhmät voivat tarjota avoimuutta, tiettyä itsenäisyyttä, helpottaa osallistujien sitoutumista ja hyödyntää tietoa itse puiteohjelmista, arvioinnista ja niiden taustalla vaikuttavista tieteellisistä kysymyksistä.

| 58. | Asiaan saatiin vahvistus tilintarkastustuomioistuimen suorittamissa kyselytutkimuksissa, jotka osoittivat, että vastaajat katsoivat komission arviointiryhmiin perustuvan arviointijärjestelmän antavan takuun riippumattomuudesta (ks. kaavio 4). |
| --- | --- |

58.

Asiaan saatiin vahvistus tilintarkastustuomioistuimen suorittamissa kyselytutkimuksissa, jotka osoittivat, että vastaajat katsoivat komission arviointiryhmiin perustuvan arviointijärjestelmän antavan takuun riippumattomuudesta (ks. kaavio 4).

Image

Komission soveltaman arviointiryhmien käyttöön perustuvan lähestymistavan puutteet

| 59. | Mainitusta myönteisestä havainnosta huolimatta komission puiteohjelmien arviointiin soveltamaan arviointiryhmien käyttöön liittyi seuraavia puutteita, joita arviointiryhmien jäsenet ja osallistujat esittivät tilintarkastustuomioistuimelle tarkastuksen aikana:






  — | Arvioinnista vastaavat asiantuntijaryhmät perustetaan yleensä alle vuosi ennen niiden laatiman kertomuksen esittämiselle asetettua määräaikaa ja kokouksia järjestetään vain pieni määrä. Näin ollen ryhmän jäsenten on vaikea vaikuttaa tehtävien suorittamiseen tarvittavien tietojen ja analyysien määrittämiseen. Lisäksi arviointiryhmät ovat luonteeltaan tilapäisiä ja määräaikaisia, joten ohjelmista ei voida koota helposti tietoa eikä tärkeitä kysymyksiä kyetä ajan kuluessa seuraamaan. Tämä on huomattava puute varsinkin tapauksissa (esimerkiksi seitsemännen puiteohjelman yhteydessä), joissa koko ohjelmakauden aikana on suunniteltu suoritettavan useita suuria arviointeja (ks. liite II). Tilanne on myös vastoin komission puiteohjelmien yhteydessä neuvoa-antaviin asiantuntijaryhmiinsä soveltamaa käytäntöä; ne ovat pysyviä elimiä (34). Myös Kanadassa (35) arviointiryhmät ovat pysyviä johdonmukaisen ja yhtenäisen lähestymistavan varmistamiseksi (ks. liite III). |
| --- | --- | --- |

59.

Mainitusta myönteisestä havainnosta huolimatta komission puiteohjelmien arviointiin soveltamaan arviointiryhmien käyttöön liittyi seuraavia puutteita, joita arviointiryhmien jäsenet ja osallistujat esittivät tilintarkastustuomioistuimelle tarkastuksen aikana:

—

Arvioinnista vastaavat asiantuntijaryhmät perustetaan yleensä alle vuosi ennen niiden laatiman kertomuksen esittämiselle asetettua määräaikaa ja kokouksia järjestetään vain pieni määrä. Näin ollen ryhmän jäsenten on vaikea vaikuttaa tehtävien suorittamiseen tarvittavien tietojen ja analyysien määrittämiseen. Lisäksi arviointiryhmät ovat luonteeltaan tilapäisiä ja määräaikaisia, joten ohjelmista ei voida koota helposti tietoa eikä tärkeitä kysymyksiä kyetä ajan kuluessa seuraamaan. Tämä on huomattava puute varsinkin tapauksissa (esimerkiksi seitsemännen puiteohjelman yhteydessä), joissa koko ohjelmakauden aikana on suunniteltu suoritettavan useita suuria arviointeja (ks. liite II). Tilanne on myös vastoin komission puiteohjelmien yhteydessä neuvoa-antaviin asiantuntijaryhmiinsä soveltamaa käytäntöä; ne ovat pysyviä elimiä (34). Myös Kanadassa (35) arviointiryhmät ovat pysyviä johdonmukaisen ja yhtenäisen lähestymistavan varmistamiseksi (ks. liite III).

| — | Arviointiryhmien toimeksiantoja määrittäessään ja arviointikysymyksiä yksilöidessään komissio ei konsultoi ulkopuolisia osallistujia, kuten puiteohjelmiin osallistuvia teollisuutta tai suuria tutkimusorganisaatioita edustavia tahoja. Myös vuoden 2004 seurantatyöryhmä on havainnut tämän ongelman ja todennut, että mahdollisten käyttäjien tulisi osallistua prosessiin jo varhaisessa vaiheessa (36). |
| --- | --- |

—

Arviointiryhmien toimeksiantoja määrittäessään ja arviointikysymyksiä yksilöidessään komissio ei konsultoi ulkopuolisia osallistujia, kuten puiteohjelmiin osallistuvia teollisuutta tai suuria tutkimusorganisaatioita edustavia tahoja. Myös vuoden 2004 seurantatyöryhmä on havainnut tämän ongelman ja todennut, että mahdollisten käyttäjien tulisi osallistua prosessiin jo varhaisessa vaiheessa (36).

| — | Arviointiryhmien toiminta poikkeaa vertaisarvioinnin suorittamisesta. Jäsenillä ei ole aikaa suorittaa arviointeja itsenäisesti; he antavat yleensä ohjeita muista lähteistä peräisin olevien tietojen ja todentavan aineiston perusteella. Aikarajoitteiden takia arviointiryhmillä on ollut vain vähäiset mahdollisuudet tilata toimeksiannoissa määritettyjen kysymysten käsittelyn kannalta olennaisia lisätutkimuksia. Viisivuotisarvioinneista vastanneilla arviointiryhmillä oli käytännössä muutamia poikkeuksia lukuun ottamatta käytössään ainoastaan komission toimittamat tiedot. |
| --- | --- |

—

Arviointiryhmien toiminta poikkeaa vertaisarvioinnin suorittamisesta. Jäsenillä ei ole aikaa suorittaa arviointeja itsenäisesti; he antavat yleensä ohjeita muista lähteistä peräisin olevien tietojen ja todentavan aineiston perusteella. Aikarajoitteiden takia arviointiryhmillä on ollut vain vähäiset mahdollisuudet tilata toimeksiannoissa määritettyjen kysymysten käsittelyn kannalta olennaisia lisätutkimuksia. Viisivuotisarvioinneista vastanneilla arviointiryhmillä oli käytännössä muutamia poikkeuksia lukuun ottamatta käytössään ainoastaan komission toimittamat tiedot.

Resurssit

Puiteohjelmien arviointiin ei erillistä määrärahaosuutta

| 60. | Arviointiin myönnetään rahoitusta vuosittain puiteohjelmia toteuttavien pääosastojen yksilöimien tarpeiden mukaan. Rahoitus on tällä hetkellä peräisin koko komission kattavista budjettipääosaston määrärahoista sekä kyseessä olevien pääosastojen hallintomäärärahoista. Lisäksi erityistoimenpiteet rahoitetaan välillisinä toimina puiteohjelmien toimintamäärärahoista. Näin ollen arviointia varten ei ole erillistä määrärahaosuutta. |
| --- | --- |

60.

Arviointiin myönnetään rahoitusta vuosittain puiteohjelmia toteuttavien pääosastojen yksilöimien tarpeiden mukaan. Rahoitus on tällä hetkellä peräisin koko komission kattavista budjettipääosaston määrärahoista sekä kyseessä olevien pääosastojen hallintomäärärahoista. Lisäksi erityistoimenpiteet rahoitetaan välillisinä toimina puiteohjelmien toimintamäärärahoista. Näin ollen arviointia varten ei ole erillistä määrärahaosuutta.

| 61. | Vuonna 2006 komission koko henkilöstöstä työskenteli arvioinnin ja toimintojohtamisen alalla noin 1 prosentti (37). Tutkimuksen pääosastossa TTK-puiteohjelmien seurannan ja arvioinnin parissa työskenteli 1,2 prosenttia henkilöstöstä ja tietoyhteiskunnan pääosastossa 1,3 prosenttia henkilöstöstä. Tutkimuksen pääosastossa yli kaksi kolmannesta kyseisistä henkilöstöresursseista oli kuitenkin suunnattu toimenpideohjelmista vastaavalle osastolle eikä arviointiyksikölle; arviointi oli vain yksi kyseiselle henkilöstölle kuuluvien lukuisien tehtävien joukossa. |
| --- | --- |

61.

Vuonna 2006 komission koko henkilöstöstä työskenteli arvioinnin ja toimintojohtamisen alalla noin 1 prosentti (37). Tutkimuksen pääosastossa TTK-puiteohjelmien seurannan ja arvioinnin parissa työskenteli 1,2 prosenttia henkilöstöstä ja tietoyhteiskunnan pääosastossa 1,3 prosenttia henkilöstöstä. Tutkimuksen pääosastossa yli kaksi kolmannesta kyseisistä henkilöstöresursseista oli kuitenkin suunnattu toimenpideohjelmista vastaavalle osastolle eikä arviointiyksikölle; arviointi oli vain yksi kyseiselle henkilöstölle kuuluvien lukuisien tehtävien joukossa.

Puiteohjelmien arviointiin suunnattujen määrärahojen osuus komission suosittamaa alhaisempi

| 62. | Arviointiin suunnattavat määrärahat voidaan ilmaista myös prosenttiosuutena ohjelman talousarviomäärärahojen kokonaismäärästä. Tarkastuksen yhteydessä saadut luvut osoittavat, että EU:n jäsenvaltioissa toteutettavien tutkimusohjelmien yhteydessä arviointiin suunnataan yleensä 0,1–2 prosenttia ohjelman määrärahoista. Komission suuntaviivojen mukaan 0,5 prosenttia ohjelman määrärahoista olisi suunnattava arviointiin (38). Laajempien ohjelmien yhteydessä saattaa kuitenkin mittakaavaetujen seurauksena riittää pienempi osuus ohjelmien talousarviomäärärahoista. |
| --- | --- |

62.

Arviointiin suunnattavat määrärahat voidaan ilmaista myös prosenttiosuutena ohjelman talousarviomäärärahojen kokonaismäärästä. Tarkastuksen yhteydessä saadut luvut osoittavat, että EU:n jäsenvaltioissa toteutettavien tutkimusohjelmien yhteydessä arviointiin suunnataan yleensä 0,1–2 prosenttia ohjelman määrärahoista. Komission suuntaviivojen mukaan 0,5 prosenttia ohjelman määrärahoista olisi suunnattava arviointiin (38). Laajempien ohjelmien yhteydessä saattaa kuitenkin mittakaavaetujen seurauksena riittää pienempi osuus ohjelmien talousarviomäärärahoista.

| 63. | Kauden 2003–2006 arviointimenoja kuvaavien komission lukujen ja kunkin pääosaston talousarviomäärärahojen vertailu osoittaa, että arviointiin suunnattava keskimääräinen osuus on noin 0,15 prosenttia ohjelmien määrärahoista, mikä on huomattavasti komission esittämää tasoa alhaisempi. Tarkempi analysointi vuoden 2006 kohdalla osoittaa, että tietoyhteiskunnan pääosasto käytti vastuulleen kuuluneista määrärahoista arviointiin noin neljä kertaa suuremman osuuden kuin tutkimuksen pääosasto. Lisäksi tutkimuksen pääosastossa arviointiin on suunnattu ainoastaan 0,7 prosenttia yhden kokoaikaisen virkamiehen työpanoksesta miljoonan euron vuotuista talousarviota kohti. Vertailun vuoksi voidaan todeta, että tietoyhteiskunnan pääosastossa vastaava osuus on kaksinkertainen. |
| --- | --- |

63.

Kauden 2003–2006 arviointimenoja kuvaavien komission lukujen ja kunkin pääosaston talousarviomäärärahojen vertailu osoittaa, että arviointiin suunnattava keskimääräinen osuus on noin 0,15 prosenttia ohjelmien määrärahoista, mikä on huomattavasti komission esittämää tasoa alhaisempi. Tarkempi analysointi vuoden 2006 kohdalla osoittaa, että tietoyhteiskunnan pääosasto käytti vastuulleen kuuluneista määrärahoista arviointiin noin neljä kertaa suuremman osuuden kuin tutkimuksen pääosasto. Lisäksi tutkimuksen pääosastossa arviointiin on suunnattu ainoastaan 0,7 prosenttia yhden kokoaikaisen virkamiehen työpanoksesta miljoonan euron vuotuista talousarviota kohti. Vertailun vuoksi voidaan todeta, että tietoyhteiskunnan pääosastossa vastaava osuus on kaksinkertainen.

| 64. | Kuten tässä kertomuksessa tuodaan esille, tietoyhteiskunnan pääosaston arviointiin suuntaaman lisäpanostuksen myötä arviointien kattavuus on parantunut (ks. kohdat 13 ja 46), ja kuten tilintarkastustuomioistuimen tarkastama arviointitutkimuksista poimittu otos osoittaa, seurauksena on ollut myös sellaisten menetelmien käyttö, jotka soveltuvat paremmin arviointitarpeisiin (ks. kohta 84). |
| --- | --- |

64.

Kuten tässä kertomuksessa tuodaan esille, tietoyhteiskunnan pääosaston arviointiin suuntaaman lisäpanostuksen myötä arviointien kattavuus on parantunut (ks. kohdat 13 ja 46), ja kuten tilintarkastustuomioistuimen tarkastama arviointitutkimuksista poimittu otos osoittaa, seurauksena on ollut myös sellaisten menetelmien käyttö, jotka soveltuvat paremmin arviointitarpeisiin (ks. kohta 84).

| 65. | Tilintarkastustuomioistuin laati komission toimittamien tietojen perusteella kustannuksista arvion, joka osoittaa, että tässä kertomuksessa esitettäviin ehdotuksiin perustuvan arviointijärjestelmän keskimääräinen osuus seitsemännen puiteohjelman talousarviomäärärahoista olisi alle 0,4 prosenttia. Osuus kattaisi arviointiryhmistä, alihankintana suoritettavista tutkimuksista, yhteisen arviointiyksikön henkilöstöstä ja nykyisistä pääosastokohtaisista arviointiyksiköistä vastaavasta henkilöstöstä aiheutuvat kustannukset sekä muut sekalaiset kulut (39). |
| --- | --- |

65.

Tilintarkastustuomioistuin laati komission toimittamien tietojen perusteella kustannuksista arvion, joka osoittaa, että tässä kertomuksessa esitettäviin ehdotuksiin perustuvan arviointijärjestelmän keskimääräinen osuus seitsemännen puiteohjelman talousarviomäärärahoista olisi alle 0,4 prosenttia. Osuus kattaisi arviointiryhmistä, alihankintana suoritettavista tutkimuksista, yhteisen arviointiyksikön henkilöstöstä ja nykyisistä pääosastokohtaisista arviointiyksiköistä vastaavasta henkilöstöstä aiheutuvat kustannukset sekä muut sekalaiset kulut (39).

Suositukset

66.

| 66. | Tutkimusalan pääosastojen olisi harkittava yhteisen arviointiyksikön perustamista nykyisten pääosastokohtaisten arviointiyksiköiden rinnalle. Tällä hetkellä muilla politiikan aloilla noudatettavan käytännön mukaisesti kyseinen yksikkö voisi koordinoida kaikkia puiteohjelmiin kohdistettavia komission arviointitoimintoja. Yhteisiä tukitoimintoja on suositettu aiemmin puiteohjelmia toteuttavia pääosastoja varten (40) ja ne saattavat muodostua tulevaisuudessa entistä tärkeämmiksi Euroopan tutkimusneuvoston perustamisen ja toimeenpanovirastoille siirrettävän hankkeiden toteuttamisen myötä. |
| --- | --- |

Tutkimusalan pääosastojen olisi harkittava yhteisen arviointiyksikön perustamista nykyisten pääosastokohtaisten arviointiyksiköiden rinnalle. Tällä hetkellä muilla politiikan aloilla noudatettavan käytännön mukaisesti kyseinen yksikkö voisi koordinoida kaikkia puiteohjelmiin kohdistettavia komission arviointitoimintoja. Yhteisiä tukitoimintoja on suositettu aiemmin puiteohjelmia toteuttavia pääosastoja varten (40) ja ne saattavat muodostua tulevaisuudessa entistä tärkeämmiksi Euroopan tutkimusneuvoston perustamisen ja toimeenpanovirastoille siirrettävän hankkeiden toteuttamisen myötä.

| 67. | Komission olisi jatkettava arviointiryhmien käyttöä arviointitoimintojensa tukena. Komission olisi kuitenkin pohdittava, miten arviointiryhmärakenne saataisiin vastaamaan paremmin puiteohjelmien yleistä rakennetta. Tämä voitaisiin toteuttaa perustamalla ryhmiä erityisohjelmia ja tarvittaessa myös alaohjelmia varten (ks. liite IV). Arviointiryhmät olisi lisäksi perustettava riittävän aikaisessa vaiheessa, jotta ne kykenevät tukemaan komissiota tehokkaasti ja voivat jatkaa tuen antamista koko ohjelmakauden ajan ja sen jälkeenkin. |
| --- | --- |

67.

Komission olisi jatkettava arviointiryhmien käyttöä arviointitoimintojensa tukena. Komission olisi kuitenkin pohdittava, miten arviointiryhmärakenne saataisiin vastaamaan paremmin puiteohjelmien yleistä rakennetta. Tämä voitaisiin toteuttaa perustamalla ryhmiä erityisohjelmia ja tarvittaessa myös alaohjelmia varten (ks. liite IV). Arviointiryhmät olisi lisäksi perustettava riittävän aikaisessa vaiheessa, jotta ne kykenevät tukemaan komissiota tehokkaasti ja voivat jatkaa tuen antamista koko ohjelmakauden ajan ja sen jälkeenkin.

| 68. | Komission olisi tarkasteltava uudelleen puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin suunnattavia resursseja. |
| --- | --- |

68.

Komission olisi tarkasteltava uudelleen puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin suunnattavia resursseja.

Arviointimenetelmät ja -tekniikat

| 69. | Tuloksellinen arviointi edellyttää asianmukaisten menetelmien ja tekniikoiden hyödyntämistä. Tilintarkastustuomioistuin tarkasti, missä laajuudessa puiteohjelmien arviointia varten oli laadittu erillisiä suuntaviivoja, arvioitiinko tietoja koskevat tarpeet asianmukaisesti ja oikea-aikaisesti ja annettiinko arvioijien käyttöön olennaisia tietoja. Komission suorittamien (tai sen lukuun suoritettujen) arviointitutkimusten osalta tilintarkastustuomioistuin tarkisti, tarjosivatko yksittäisiin tutkimuksiin käytetyt tekniikat riittävän perustan viisivuotisarviointeja varten määritettyihin arviointikysymyksiin vastaamiselle. Huomioon otettiin myös kansallisella tasolla suoritettavien arviointien mahdollinen vaikutus puiteohjelmien arviointiin. |
| --- | --- |

69.

Tuloksellinen arviointi edellyttää asianmukaisten menetelmien ja tekniikoiden hyödyntämistä. Tilintarkastustuomioistuin tarkasti, missä laajuudessa puiteohjelmien arviointia varten oli laadittu erillisiä suuntaviivoja, arvioitiinko tietoja koskevat tarpeet asianmukaisesti ja oikea-aikaisesti ja annettiinko arvioijien käyttöön olennaisia tietoja. Komission suorittamien (tai sen lukuun suoritettujen) arviointitutkimusten osalta tilintarkastustuomioistuin tarkisti, tarjosivatko yksittäisiin tutkimuksiin käytetyt tekniikat riittävän perustan viisivuotisarviointeja varten määritettyihin arviointikysymyksiin vastaamiselle. Huomioon otettiin myös kansallisella tasolla suoritettavien arviointien mahdollinen vaikutus puiteohjelmien arviointiin.

Puiteohjelmakohtaisten standardien ja suuntaviivojen laatiminen

| 70. | Budjettipääosasto on laatinut lukuisia tiedonantoja arviointipolitiikastaan ja sen toteuttamista koskevista säännöistä; pääosasto on laatinut myös joukon koko komissioon sovellettavia standardeja (ks. kohdat 14 ja 55) (41). Muista politiikan aloista vastaavat pääosastot ovat niin ikään laatineet erityisiä arviointioppaita (42). |
| --- | --- |

70.

Budjettipääosasto on laatinut lukuisia tiedonantoja arviointipolitiikastaan ja sen toteuttamista koskevista säännöistä; pääosasto on laatinut myös joukon koko komissioon sovellettavia standardeja (ks. kohdat 14 ja 55) (41). Muista politiikan aloista vastaavat pääosastot ovat niin ikään laatineet erityisiä arviointioppaita (42).

| 71. | Näin ei kuitenkaan ole puiteohjelmien kohdalla. Komissio on julkaissut (tai rahoittanut) lukuisia tutkimusalan arviointitoimintoihin sovellettavia menetelmäoppaita ja ohjeistoja (43). Ne eivät kuitenkaan sisällä erillisiä ohjeita puiteohjelmien arviointia varten eikä niissä määritetä, miten komission henkilöstön tai ulkoisten asiantuntijoiden on käytettävä keskeisiä käsitteitä tai terminologiaa. Tilanne on johtanut jäljempänä käsiteltäviin ongelmiin. |
| --- | --- |

71.

Näin ei kuitenkaan ole puiteohjelmien kohdalla. Komissio on julkaissut (tai rahoittanut) lukuisia tutkimusalan arviointitoimintoihin sovellettavia menetelmäoppaita ja ohjeistoja (43). Ne eivät kuitenkaan sisällä erillisiä ohjeita puiteohjelmien arviointia varten eikä niissä määritetä, miten komission henkilöstön tai ulkoisten asiantuntijoiden on käytettävä keskeisiä käsitteitä tai terminologiaa. Tilanne on johtanut jäljempänä käsiteltäviin ongelmiin.

Tietotarpeet ja tiedonkeruu

Tietotarpeita ei analysoida riittävän hyvin

| 72. | Tutkimusalan pääosastot eivät ole kiinnittäneet riittävästi huomiota siihen, mitä tietoja arviointi ja seuranta edellyttävät. Tietotarpeita ei ole arvioitu systemaattisesti ja kattavasti, vaan komissio on yksilöinyt vaadittavat tiedot ohjelmakauden ollessa jo pitkällä eikä yleisiin arviointitarpeisiin ole kiinnitetty asianmukaista huomiota. Kuudenteen puiteohjelmaan liittyvä sosiaalis-taloudellisia aiheita koskeva kysymyslomake oli pääosastojen ainoa yhteinen yritys kyseisistä tiedoista sopimiseksi (ks. kohta 76). Lomake kuitenkin laadittiin valmiiksi vasta vuonna 2004 (kun ohjelmakauden alkamisesta oli kulunut kolme vuotta), ja se kattaa ensisijaisesti esimerkiksi sukupuolten osallistumiseen ja ympäristövaikutuksiin liittyviä näkökohtia eikä niinkään tieteellisiin tuotoksiin (kuten henkisen omaisuuden oikeudet ja julkaisut), tuloksiin tai vaikutuksiin liittyviä kysymyksiä. |
| --- | --- |

72.

Tutkimusalan pääosastot eivät ole kiinnittäneet riittävästi huomiota siihen, mitä tietoja arviointi ja seuranta edellyttävät. Tietotarpeita ei ole arvioitu systemaattisesti ja kattavasti, vaan komissio on yksilöinyt vaadittavat tiedot ohjelmakauden ollessa jo pitkällä eikä yleisiin arviointitarpeisiin ole kiinnitetty asianmukaista huomiota. Kuudenteen puiteohjelmaan liittyvä sosiaalis-taloudellisia aiheita koskeva kysymyslomake oli pääosastojen ainoa yhteinen yritys kyseisistä tiedoista sopimiseksi (ks. kohta 76). Lomake kuitenkin laadittiin valmiiksi vasta vuonna 2004 (kun ohjelmakauden alkamisesta oli kulunut kolme vuotta), ja se kattaa ensisijaisesti esimerkiksi sukupuolten osallistumiseen ja ympäristövaikutuksiin liittyviä näkökohtia eikä niinkään tieteellisiin tuotoksiin (kuten henkisen omaisuuden oikeudet ja julkaisut), tuloksiin tai vaikutuksiin liittyviä kysymyksiä.

| 73. | Ohjelmien arviointi riippuu kiinteästi kolmentyyppisten tietojen käytettävissä olosta:






  — | ”Vaikuttavuutta” koskevien indikaattoreiden perusteella kerätyt tiedot, joita analysoimalla voidaan tehdä päätelmiä ohjelmatavoitteiden saavuttamisen edistymisestä. Tässä kertomuksessa aiemmin mainittu toimintalogiikan puuttuminen merkitsee, että kyseisten indikaattoreiden määrittäminen on ollut vaikeaa (ks. kohta 30). Kerätyillä tiedoilla oli käytännössä vain vähän merkitystä ohjelmatavoitteiden saavuttamisen mittaamisen kannalta. |
| --- | --- | --- |

73.

Ohjelmien arviointi riippuu kiinteästi kolmentyyppisten tietojen käytettävissä olosta:

—

”Vaikuttavuutta” koskevien indikaattoreiden perusteella kerätyt tiedot, joita analysoimalla voidaan tehdä päätelmiä ohjelmatavoitteiden saavuttamisen edistymisestä. Tässä kertomuksessa aiemmin mainittu toimintalogiikan puuttuminen merkitsee, että kyseisten indikaattoreiden määrittäminen on ollut vaikeaa (ks. kohta 30). Kerätyillä tiedoilla oli käytännössä vain vähän merkitystä ohjelmatavoitteiden saavuttamisen mittaamisen kannalta.

| — | Ohjelman hallinnointia koskevat tiedot (”tehokkuutta” koskevien indikaattoreiden perusteella). |
| --- | --- |

—

Ohjelman hallinnointia koskevat tiedot (”tehokkuutta” koskevien indikaattoreiden perusteella).

| — | Osallistujia koskevat tiedot (esimerkiksi suurimpien tutkimusorganisaatioiden osallistumisaste). |
| --- | --- |

—

Osallistujia koskevat tiedot (esimerkiksi suurimpien tutkimusorganisaatioiden osallistumisaste).

| 74. | Komissiolla olisi oltava käytössään varsinkin kahteen jälkimmäiseen kohtaan kuuluvat tiedot. Komission sisäisissä, suurimman osan ohjelmien hallinnointia ja osallistujia koskevista tiedoista sisältävissä tietojärjestelmissä on kuitenkin ilmennyt ongelmia (44), joiden seurauksena tähän käytäntöön on liittynyt huomattavia vaikeuksia (45). |
| --- | --- |

74.

Komissiolla olisi oltava käytössään varsinkin kahteen jälkimmäiseen kohtaan kuuluvat tiedot. Komission sisäisissä, suurimman osan ohjelmien hallinnointia ja osallistujia koskevista tiedoista sisältävissä tietojärjestelmissä on kuitenkin ilmennyt ongelmia (44), joiden seurauksena tähän käytäntöön on liittynyt huomattavia vaikeuksia (45).

| 75. | Tilannetta kuvastavat huomattavat viiveet 173 artiklaan perustuvien kertomusten ja vuotuisten seurantakertomusten käyttöön asettamisessa (vuosien 2002 ja 2005 välisenä aikana 173 artiklaan perustuvia kertomuksia (46) on toimitettu jopa 16 kuukauden viiveellä ja vuotuisia seurantakertomuksia seitsemän kuukauden viiveellä). Koska tiedot toimitettiin jatkuvasti myöhässä, niistä saatava hyöty oli rajallinen. |
| --- | --- |

75.

Tilannetta kuvastavat huomattavat viiveet 173 artiklaan perustuvien kertomusten ja vuotuisten seurantakertomusten käyttöön asettamisessa (vuosien 2002 ja 2005 välisenä aikana 173 artiklaan perustuvia kertomuksia (46) on toimitettu jopa 16 kuukauden viiveellä ja vuotuisia seurantakertomuksia seitsemän kuukauden viiveellä). Koska tiedot toimitettiin jatkuvasti myöhässä, niistä saatava hyöty oli rajallinen.

Arviointitietojen hankintaan osallistujilta sovellettiin tehotonta lähestymistapaa

| 76. | Komissio on viidennestä puiteohjelmasta alkaen vaatinut järjestelmällisesti osallistujia sopimuksen perusteella toimittamaan tiedot, joita tarvitaan ohjelmatavoitteiden saavuttamisen mittaamiseen tuotosten, tulosten ja vaikutusten kannalta. Menettely on ollut seuraavanlainen:






  — | viidennen puiteohjelman yhteydessä osallistujia vaadittiin toimittamaan teknologian käyttöönottosuunnitelma sekä loppukertomus hankkeen päätyttyä. Asiakirjat olivat usein laadultaan heikkoja tai niitä ei toimitettu lainkaan, |
| --- | --- | --- |

76.

Komissio on viidennestä puiteohjelmasta alkaen vaatinut järjestelmällisesti osallistujia sopimuksen perusteella toimittamaan tiedot, joita tarvitaan ohjelmatavoitteiden saavuttamisen mittaamiseen tuotosten, tulosten ja vaikutusten kannalta. Menettely on ollut seuraavanlainen:

—

viidennen puiteohjelman yhteydessä osallistujia vaadittiin toimittamaan teknologian käyttöönottosuunnitelma sekä loppukertomus hankkeen päätyttyä. Asiakirjat olivat usein laadultaan heikkoja tai niitä ei toimitettu lainkaan,

| — | Kuudennen puiteohjelman yhteydessä osallistujia edellytetään laatimaan tiedon levittämistä ja hyödyntämistä koskeva suunnitelma, minkä lisäksi heidän on vastattava vuotuisten teknisten selvitysten esittämisen yhteydessä vakiomuotoiseen kysymyslomakkeeseen, jossa käsitellään sosiaalis-taloudellisia kysymyksiä. |
| --- | --- |

—

Kuudennen puiteohjelman yhteydessä osallistujia edellytetään laatimaan tiedon levittämistä ja hyödyntämistä koskeva suunnitelma, minkä lisäksi heidän on vastattava vuotuisten teknisten selvitysten esittämisen yhteydessä vakiomuotoiseen kysymyslomakkeeseen, jossa käsitellään sosiaalis-taloudellisia kysymyksiä.

| 77. | Tietojen toimittamista koskevat sopimusvaatimukset ovat lisänneet aiheettomasti osallistujien hallinnollista työmäärää. Esimerkiksi kuudetta puiteohjelmaa koskevan vuotuisen kysymyslomakkeen kohdalla tietoja kerätään tarpeettoman usein ja koko hankejoukon osalta, vaikka pelkkä edustava otos riittäisi. Tämä johtaa todennäköisesti ”arviointiväsymykseen”. Tiedot on myös kerätty väärään aikaan; monet tiedonkeruun kohteena olevat aihealueet ovat luonteeltaan keskipitkän tai pitkän aikavälin kysymyksiä, joten tiedonkeruu hankesopimuksen voimassaoloaikana on jo sinällään ennenaikaista (47). Mainittujen välineiden avulla saaduista tiedoista on tästä syystä ollut käytännössä vain vähäistä hyötyä viidennen ja kuudennen puiteohjelman arvioinnin kannalta. |
| --- | --- |

77.

Tietojen toimittamista koskevat sopimusvaatimukset ovat lisänneet aiheettomasti osallistujien hallinnollista työmäärää. Esimerkiksi kuudetta puiteohjelmaa koskevan vuotuisen kysymyslomakkeen kohdalla tietoja kerätään tarpeettoman usein ja koko hankejoukon osalta, vaikka pelkkä edustava otos riittäisi. Tämä johtaa todennäköisesti ”arviointiväsymykseen”. Tiedot on myös kerätty väärään aikaan; monet tiedonkeruun kohteena olevat aihealueet ovat luonteeltaan keskipitkän tai pitkän aikavälin kysymyksiä, joten tiedonkeruu hankesopimuksen voimassaoloaikana on jo sinällään ennenaikaista (47). Mainittujen välineiden avulla saaduista tiedoista on tästä syystä ollut käytännössä vain vähäistä hyötyä viidennen ja kuudennen puiteohjelman arvioinnin kannalta.

| 78. | Yhdenkään käytössä olevan järjestelmän kohdalla ei kuitenkaan edellytetä vakiomuotoista tietojen keräämistä hankkeen elinkaaren loppuvaiheessa (tai pian sen jälkeen). Haastatellut osallistujat esittivät, että kyseisiin tietoihin voisivat sisältyä myös hanketavoitteiden saavuttaminen, tavoitellut (ja suunnittelemattomat) tulokset sekä osallistujien käsitys yhteisön tuomasta lisäarvosta. Mainittujen tietojen perusteella voitaisiin myös toteuttaa loppuun suoritettujen hankkeiden ulkoiset tarkastukset (48). |
| --- | --- |

78.

Yhdenkään käytössä olevan järjestelmän kohdalla ei kuitenkaan edellytetä vakiomuotoista tietojen keräämistä hankkeen elinkaaren loppuvaiheessa (tai pian sen jälkeen). Haastatellut osallistujat esittivät, että kyseisiin tietoihin voisivat sisältyä myös hanketavoitteiden saavuttaminen, tavoitellut (ja suunnittelemattomat) tulokset sekä osallistujien käsitys yhteisön tuomasta lisäarvosta. Mainittujen tietojen perusteella voitaisiin myös toteuttaa loppuun suoritettujen hankkeiden ulkoiset tarkastukset (48).

| 79. | Hanketulosten arviointiin enenevässä määrin käytettäviin tieteellisiin mittaustapoihin (esimerkiksi viittausanalyysiin) yhdistettynä (ks. kohta 83) mainittu menettely voisi luoda komissiolle perustan yhteisön osarahoittamien TTK-toimintojen rahoitusjärjestelmän muuttamiselle tulosperusteisempaan suuntaan (49). |
| --- | --- |

79.

Hanketulosten arviointiin enenevässä määrin käytettäviin tieteellisiin mittaustapoihin (esimerkiksi viittausanalyysiin) yhdistettynä (ks. kohta 83) mainittu menettely voisi luoda komissiolle perustan yhteisön osarahoittamien TTK-toimintojen rahoitusjärjestelmän muuttamiselle tulosperusteisempaan suuntaan (49).

Muita tietolähteitä hyödynnettiin puutteellisesti

| 80. | Muita komissiossa ja jäsenvaltioissa olevia tietolähteitä ei hyödynnetä riittävissä määrin (esimerkkeinä voidaan mainita kansallisten TTK-ohjelmien ja rahoituselinten tietokannat sekä komission julkaisutoimiston hallinnoima CORDIS-tietopalvelu (Community Research & Development Information Service)) (50). |
| --- | --- |

80.

Muita komissiossa ja jäsenvaltioissa olevia tietolähteitä ei hyödynnetä riittävissä määrin (esimerkkeinä voidaan mainita kansallisten TTK-ohjelmien ja rahoituselinten tietokannat sekä komission julkaisutoimiston hallinnoima CORDIS-tietopalvelu (Community Research & Development Information Service)) (50).

Komission suorittamat arviointitutkimukset

Tilintarkastustuomioistuimen tarkistamat kertomukset

| 81. | Tilintarkastustuomioistuin tarkisti 86 komission vuodesta 2000 alkaen suorittamaa (tai sen lukuun suoritettua) arviointitutkimusta. Niihin lukeutuivat kaikki vuonna 2004 julkaistun viisivuotisarvioinnin perustan muodostaneet 36 tutkimusta sekä 50 kyseisen ajankohdan jälkeen loppuun saatettua tutkimusta. Kyseisistä tutkimuksista ainoastaan 23:n voidaan katsoa olevan varsinaisia puiteohjelman ja siihen sisältyvien ohjelmien arviointeja (ks. kaavio 5).
  Kaavio 5
  Komission suorittamat (tai sen lukuun suoritetut) arviointitutkimukset vuosilta 2000–2006








  Tutkimustyyppi | Numero | Kuvaus |
| --- | --- | --- | --- |
| Puiteohjelmiin liittyvien toimien arviointi | 23 | Arviointitutkimukset






  — | perustuvat hyväksyttyihin menetelmiin (51), |

81.

Tilintarkastustuomioistuin tarkisti 86 komission vuodesta 2000 alkaen suorittamaa (tai sen lukuun suoritettua) arviointitutkimusta. Niihin lukeutuivat kaikki vuonna 2004 julkaistun viisivuotisarvioinnin perustan muodostaneet 36 tutkimusta sekä 50 kyseisen ajankohdan jälkeen loppuun saatettua tutkimusta. Kyseisistä tutkimuksista ainoastaan 23:n voidaan katsoa olevan varsinaisia puiteohjelman ja siihen sisältyvien ohjelmien arviointeja (ks. kaavio 5).

Kaavio 5

Komission suorittamat (tai sen lukuun suoritetut) arviointitutkimukset vuosilta 2000–2006

Tutkimustyyppi

Numero

Kuvaus

Puiteohjelmiin liittyvien toimien arviointi

23

Arviointitutkimukset

—

perustuvat hyväksyttyihin menetelmiin (51),

| — | viittaavat nimenomaisesti ohjelman tavoitteisiin ja siihen, missä määrin ne on saavutettu. |
| --- | --- |

—

viittaavat nimenomaisesti ohjelman tavoitteisiin ja siihen, missä määrin ne on saavutettu.

Jäsenvaltioiden tasolla suoritettava kansallinen vaikutusten arviointi

12

Jäsenvaltioiden suorittamat tutkimukset, jotka kohdistuvat pikemmin lähinnä kansalliseen osallistumisasteeseen kuin ohjelman tavoitteita koskeviin päätelmiin.

Menetelmiä koskevat tutkimukset

5

Komission järjestämät tutkimukset, joiden tavoitteena on tukea arviointimenetelmien kehittämistä.

Euroopan TTK-näkymiä koskevat tutkimukset

2

Tutkimukset, joiden yhteydessä käsitellään Euroopan tutkimusalaa koskevia tausta-analyysejä, mutta ei puiteohjelmia. Ei selkeää viittausta siihen, miten puiteohjelmat vaikuttavat kansallisiin tutkimus- ja innovointijärjestelmiin.

Kuvailevat tilastoasiakirjat, joihin ei sisälly analyysejä

33

Asiakirjat, joissa yleensä käsitellään puiteohjelmiin liittyviä toimia erittäin epäsuorasti; asiakirjoissa yleensä pikemmin kuvaillaan kuin analysoidaan toimia.

Muut asiakirjat

11

Joukko asiakirjoja, joissa käsitellään yleisen poliittisen kiinnostuksen kohteena olevia kysymyksiä tutkimatta puiteohjelmia kyseisissä yhteyksissä.

Arvioinneissa käsitellään seurantaan liittyviä kysymyksiä pikemmin kuin tuloksia ja vaikutuksia

| 82. | Tilintarkastustuomioistuimen suorittaman mainittujen arviointitutkimusten meta-analyysin perusteella tehtiin kaksi keskeistä havaintoa:






  — | Monissa tutkimuksissa pyritään tekemään ohjelmatavoitteisiin liittyviä päätelmiä, mutta päätelmät on esitetty hyvin väljästi, jolloin lukijalle jää epäselväksi, onko arvioinnissa todella käsitelty kyseistä näkökohtaa. Syynä on usein se, että selkeiden ohjelmatavoitteiden puuttuminen vaarantaa vakavasti koko prosessin (ks. kohta 28). |
| --- | --- | --- |

82.

Tilintarkastustuomioistuimen suorittaman mainittujen arviointitutkimusten meta-analyysin perusteella tehtiin kaksi keskeistä havaintoa:

—

Monissa tutkimuksissa pyritään tekemään ohjelmatavoitteisiin liittyviä päätelmiä, mutta päätelmät on esitetty hyvin väljästi, jolloin lukijalle jää epäselväksi, onko arvioinnissa todella käsitelty kyseistä näkökohtaa. Syynä on usein se, että selkeiden ohjelmatavoitteiden puuttuminen vaarantaa vakavasti koko prosessin (ks. kohta 28).

| — | Useissa asiakirjoissa ei arvioida puiteohjelmien tai niihin sisältyvien erityisohjelmien (tai alaohjelmien) tuloksia ja vaikutuksia, vaan ne ovat kuvailevia ja keskittyvät parhaimmillaankin hankkeiden välittömiin tuotoksiin ja hankkeita koskeviin hallinnointikysymyksiin. Kertomusten avulla ei saada vakuuttavaa näyttöä tuloksista tai vaikutuksista. |
| --- | --- |

—

Useissa asiakirjoissa ei arvioida puiteohjelmien tai niihin sisältyvien erityisohjelmien (tai alaohjelmien) tuloksia ja vaikutuksia, vaan ne ovat kuvailevia ja keskittyvät parhaimmillaankin hankkeiden välittömiin tuotoksiin ja hankkeita koskeviin hallinnointikysymyksiin. Kertomusten avulla ei saada vakuuttavaa näyttöä tuloksista tai vaikutuksista.

Innovatiivisten menetelmien kehittämistä ei painoteta riittävästi

| 83. | Perinteisten menetelmien ja tekniikoiden (etenkin kyselytutkimusten, asiakirjatarkistusten ja haastatteluiden) käyttö oli vallitsevaa vuosina 2000–2006 suoritettujen arviointien kohdalla (ks. kaavio 6). Useita muita edistyksellisiä, mutta perustaltaan vakaita arviointimenetelmiä ja -tekniikoita ei hyödynnetty (tai hyödynnettiin vain erittäin harvoin). Esimerkkeinä voidaan mainita seuraavat:






  — | tieteelliset mittausmenetelmät (esimerkiksi viittausanalyysi) (52), |
| --- | --- | --- |

83.

Perinteisten menetelmien ja tekniikoiden (etenkin kyselytutkimusten, asiakirjatarkistusten ja haastatteluiden) käyttö oli vallitsevaa vuosina 2000–2006 suoritettujen arviointien kohdalla (ks. kaavio 6). Useita muita edistyksellisiä, mutta perustaltaan vakaita arviointimenetelmiä ja -tekniikoita ei hyödynnetty (tai hyödynnettiin vain erittäin harvoin). Esimerkkeinä voidaan mainita seuraavat:

—

tieteelliset mittausmenetelmät (esimerkiksi viittausanalyysi) (52),

| — | kvantitatiiviset mallit (kuten kustannustehokkuus, kustannusvaikuttavuus tai kustannus-hyötysuhde) (53), |
| --- | --- |

—

kvantitatiiviset mallit (kuten kustannustehokkuus, kustannusvaikuttavuus tai kustannus-hyötysuhde) (53),

| — | toimijoihin perustuvat mallit (käyttäytymismallit) (keskittyvät toimiin osallistuvien näkemyksiin, esimerkkeinä voidaan mainita tutkimusverkostojen ominaispiirteet ja niiden muuttuminen ajan kuluessa). |
| --- | --- |

—

toimijoihin perustuvat mallit (käyttäytymismallit) (keskittyvät toimiin osallistuvien näkemyksiin, esimerkkeinä voidaan mainita tutkimusverkostojen ominaispiirteet ja niiden muuttuminen ajan kuluessa).

Image

| 84. | Arviointitutkimuksia, joiden yhteydessä pyritään käsittelemään joitakin tutkimusalan julkisten tukitoimenpiteiden arviointimenetelmiin liittyviä vaikeuksia, käytettiin vain joissakin tapauksissa (ks. liite I):






  — | Hiljattain saatiin päätökseen kaksi toimintalogiikkaa koskevaa tutkimusta (54). |
| --- | --- | --- |

84.

Arviointitutkimuksia, joiden yhteydessä pyritään käsittelemään joitakin tutkimusalan julkisten tukitoimenpiteiden arviointimenetelmiin liittyviä vaikeuksia, käytettiin vain joissakin tapauksissa (ks. liite I):

—

Hiljattain saatiin päätökseen kaksi toimintalogiikkaa koskevaa tutkimusta (54).

| — | Havaittavissa oli ainoastaan kolme tutkimusta, joissa pyrittiin arvioimaan yhteisön rahoituksen vaikutusta tutkimusorganisaatioiden yleiseurooppalaiseen verkottumiseen (55). Oletus myönteisistä verkottumisvaikutuksista kuuluu kuitenkin eurooppalaisen tutkimusalueen käsitteistön ydinajatuksiin. |
| --- | --- |

—

Havaittavissa oli ainoastaan kolme tutkimusta, joissa pyrittiin arvioimaan yhteisön rahoituksen vaikutusta tutkimusorganisaatioiden yleiseurooppalaiseen verkottumiseen (55). Oletus myönteisistä verkottumisvaikutuksista kuuluu kuitenkin eurooppalaisen tutkimusalueen käsitteistön ydinajatuksiin.

| — | Ainoastaan yhdessä tapauksessa on pyritty tekemään päätelmiä ohjelman (tai alaohjelman) tasolla saavutetuista vaikutuksista yhdistämällä hanketasolta koottavat arviointianalyysit muihin arviointitekniikoihin (56). |
| --- | --- |

—

Ainoastaan yhdessä tapauksessa on pyritty tekemään päätelmiä ohjelman (tai alaohjelman) tasolla saavutetuista vaikutuksista yhdistämällä hanketasolta koottavat arviointianalyysit muihin arviointitekniikoihin (56).

| — | Ei ole saatu osoitusta muiden menetelmien käytöstä, esimerkiksi ”oikeiden syiden erottamiseen” (tai ”vertailuryhmään”) perustuvasta lähestymistavasta. Kyseinen lähestymistapa olisi erityisen hyödyllinen pyrittäessä kuvaamaan ohjelmista yhteisön tasolla saatavaa lisäarvoa siihen verrattuna, ettei tukitoimenpidettä suoritettaisi lainkaan (tai se suoritettaisiin kansallisella tai alueellisella tasolla). |
| --- | --- |

—

Ei ole saatu osoitusta muiden menetelmien käytöstä, esimerkiksi ”oikeiden syiden erottamiseen” (tai ”vertailuryhmään”) perustuvasta lähestymistavasta. Kyseinen lähestymistapa olisi erityisen hyödyllinen pyrittäessä kuvaamaan ohjelmista yhteisön tasolla saatavaa lisäarvoa siihen verrattuna, ettei tukitoimenpidettä suoritettaisi lainkaan (tai se suoritettaisiin kansallisella tai alueellisella tasolla).

| 85. | Tilintarkastustuomioistuimen haastattelemat osallistujat katsoivat, että komission arviointien hyödyllisyyttä ja tarkoituksenmukaisuutta voitaisiin parantaa. Tämä osoittaa, että menetelmiä on tarpeen kehittää, jotta arviointijärjestelmän yhteydessä voidaan ottaa huomioon puiteohjelmien muuttuva luonne (ks. kohta 7) (57). |
| --- | --- |

85.

Tilintarkastustuomioistuimen haastattelemat osallistujat katsoivat, että komission arviointien hyödyllisyyttä ja tarkoituksenmukaisuutta voitaisiin parantaa. Tämä osoittaa, että menetelmiä on tarpeen kehittää, jotta arviointijärjestelmän yhteydessä voidaan ottaa huomioon puiteohjelmien muuttuva luonne (ks. kohta 7) (57).

Viisivuotisarvioinneissa esiin tulleita haastavia kysymyksiä ei pystytty käsittelemään erityisarviointeja koskevien komission tutkimusten perusteella

| 86. | Tätä kuvastavat myös huomattavat ongelmat, joita arviointiryhmällä oli vuoden 2004 viisivuotisarvioinnin yhteydessä (58) sen pyrkiessä vastaamaan toimeksiannossa ehdotettuihin arviointikysymyksiin. Kyseisistä haastavista kysymyksistä useita ei kyetty tarkastelemaan lainkaan, koska komissio ei ollut suorittanut (tai sen lukuun ei ollut suoritettu) etukäteen asianmukaisia tutkimuksia ja arviointiryhmän jäsenten oli mahdotonta tilata kyseisiä tutkimuksia riittävän ajoissa (ks. kaavio 7).
  Kaavio 7
  Arviointikysymysten käsittely viisivuotisarvioinnin yhteydessä vuonna 2004 | Arviointikysymys | Käsitelty kertomuksessa? |
| --- | --- | --- | --- |
| TOTEUTTAMINEN | Toteutettiinko toimet tehokkaasti? | osittain |
| Olivatko toimet kustannustehokkaita? | osittain |
| Soveltuivatko toimet parhaiten asetettujen tavoitteiden saavuttamiseen? | ei |
| Olivatko yleinen säädösperusta (osallistumista ja sopimuksia koskevat säännöt mukaan lukien), politiikan välineet ja täytäntöönpanoa koskevat yksityiskohtaiset säännöt selkeitä, asianmukaisia ja vaikuttavia? | ei |
| Olivatko rahoitus ja muut käytettävissä olleet resurssit tasoltaan riittäviä? | ei |
| Kykenivätkö kohteena olleet teollisuus- ja tutkimusyhteisöt – pk-yritykset mukaan lukien – vastaamaan asianmukaisesti? | kyllä |
| SAAVUTUKSET | Saavutettiinko toimien tavoitteet ja missä määrin ilmeni odottamattomia tuloksia? | ei |
| Mitkä olivat keskeiset tulokset etenkin seuraavilta osin: tieteelliset, teknologiset, sosiaalis-taloudelliset ja ympäristökysymyksiin liittyvät tuotokset, kansainvälinen yhteistyö, tiedonsiirto ja innovointi, normien laatimista edeltävät toimet, saatavilla olo, tutkimustulosten levittäminen ja hyödyntäminen, inhimillisten voimavarojen kehitys, liikkuvuus ja koulutus sekä tutkimustoimien koordinoinnin tukeminen ja lujittaminen? | ei |
| Olivatko tulokset ja niiden vaikutukset sekä seuraukset yleisesti ottaen tyydyttäviä suorien tai välillisten edunsaajien ja osallistujien kannalta? | ei |
| Otettiinko asianomaiset teollisuus- ja tutkimusyhteisöt – pk-yritykset mukaan lukien – huomioon tyydyttävästi? | kyllä |
| Miten ja missä laajuudessa toimet paransivat EU:n kansainvälistä kilpailukykyä tutkimusalalla? Saavuttiko EU:n tutkimusala johtavan aseman tietyillä aloilla? | osittain |
| Miten ja missä määrin toimet vaikuttivat EU:n politiikkoihin yleisesti sekä kestävää kehitystä koskevaan EU:n strategiaan? | ei |
| Onko yhteisön tutkimustoimien seurauksena kansainvälisellä tasolla havaittavissa rakenteellista muutosta esimerkiksi verkottumisen tai tutkimuksen integroinnin ja koordinoinnin kohdalla? | ei |
| Olivatko ohjelmat kustannustehokkaita? Oliko toimilla pysyviä vaikutuksia? | ei |
| KEHITYS JA TULEVAISUUSNÄKYMÄT | Miten puiteohjelmat kehittyivät lähtökohtien, tavoitteiden, ensisijaisten aihealueiden, alhaalta ylöspäin ja ylhäältä alaspäin suuntautuvien ensisijaisten tavoitteiden osalta, perustutkimuksen ja soveltavan tutkimuksen välillä sekä välineiden, Euroopan tasolla saatavan lisäarvon ja muiden vaikutusten osalta ottaen huomioon etenkin eurooppalaisen tutkimusalueen käsitteen käyttöönoton, Lissabonin tavoitteet ja keskeiset kansainväliset talouden ja tutkimuksen alalla sovellettavat arviointiperusteet? | kyllä |
| Miten Euroopan tasolla saatava lisäarvo toteutui puiteohjelman kohdalla? | kyllä |
| Voidaanko lisäarvoa saavuttaa Euroopan tasolla muiden kansainvälisten tai kansallisten mekanismien avulla? | ei |
| Ovatko ohjelmien poliittiset tavoitteet, ensisijaiset kohteet, välineet ja elinkaari sopivia tulevaisuudessa? | kyllä |

86.

Tätä kuvastavat myös huomattavat ongelmat, joita arviointiryhmällä oli vuoden 2004 viisivuotisarvioinnin yhteydessä (58) sen pyrkiessä vastaamaan toimeksiannossa ehdotettuihin arviointikysymyksiin. Kyseisistä haastavista kysymyksistä useita ei kyetty tarkastelemaan lainkaan, koska komissio ei ollut suorittanut (tai sen lukuun ei ollut suoritettu) etukäteen asianmukaisia tutkimuksia ja arviointiryhmän jäsenten oli mahdotonta tilata kyseisiä tutkimuksia riittävän ajoissa (ks. kaavio 7).

Kaavio 7

Arviointikysymysten käsittely viisivuotisarvioinnin yhteydessä vuonna 2004

Arviointikysymys

Käsitelty kertomuksessa?

TOTEUTTAMINEN

Toteutettiinko toimet tehokkaasti?

osittain

Olivatko toimet kustannustehokkaita?

osittain

Soveltuivatko toimet parhaiten asetettujen tavoitteiden saavuttamiseen?

ei

Olivatko yleinen säädösperusta (osallistumista ja sopimuksia koskevat säännöt mukaan lukien), politiikan välineet ja täytäntöönpanoa koskevat yksityiskohtaiset säännöt selkeitä, asianmukaisia ja vaikuttavia?

ei

Olivatko rahoitus ja muut käytettävissä olleet resurssit tasoltaan riittäviä?

ei

Kykenivätkö kohteena olleet teollisuus- ja tutkimusyhteisöt – pk-yritykset mukaan lukien – vastaamaan asianmukaisesti?

kyllä

SAAVUTUKSET

Saavutettiinko toimien tavoitteet ja missä määrin ilmeni odottamattomia tuloksia?

ei

Mitkä olivat keskeiset tulokset etenkin seuraavilta osin: tieteelliset, teknologiset, sosiaalis-taloudelliset ja ympäristökysymyksiin liittyvät tuotokset, kansainvälinen yhteistyö, tiedonsiirto ja innovointi, normien laatimista edeltävät toimet, saatavilla olo, tutkimustulosten levittäminen ja hyödyntäminen, inhimillisten voimavarojen kehitys, liikkuvuus ja koulutus sekä tutkimustoimien koordinoinnin tukeminen ja lujittaminen?

ei

Olivatko tulokset ja niiden vaikutukset sekä seuraukset yleisesti ottaen tyydyttäviä suorien tai välillisten edunsaajien ja osallistujien kannalta?

ei

Otettiinko asianomaiset teollisuus- ja tutkimusyhteisöt – pk-yritykset mukaan lukien – huomioon tyydyttävästi?

kyllä

Miten ja missä laajuudessa toimet paransivat EU:n kansainvälistä kilpailukykyä tutkimusalalla? Saavuttiko EU:n tutkimusala johtavan aseman tietyillä aloilla?

osittain

Miten ja missä määrin toimet vaikuttivat EU:n politiikkoihin yleisesti sekä kestävää kehitystä koskevaan EU:n strategiaan?

ei

Onko yhteisön tutkimustoimien seurauksena kansainvälisellä tasolla havaittavissa rakenteellista muutosta esimerkiksi verkottumisen tai tutkimuksen integroinnin ja koordinoinnin kohdalla?

ei

Olivatko ohjelmat kustannustehokkaita? Oliko toimilla pysyviä vaikutuksia?

ei

KEHITYS JA TULEVAISUUSNÄKYMÄT

Miten puiteohjelmat kehittyivät lähtökohtien, tavoitteiden, ensisijaisten aihealueiden, alhaalta ylöspäin ja ylhäältä alaspäin suuntautuvien ensisijaisten tavoitteiden osalta, perustutkimuksen ja soveltavan tutkimuksen välillä sekä välineiden, Euroopan tasolla saatavan lisäarvon ja muiden vaikutusten osalta ottaen huomioon etenkin eurooppalaisen tutkimusalueen käsitteen käyttöönoton, Lissabonin tavoitteet ja keskeiset kansainväliset talouden ja tutkimuksen alalla sovellettavat arviointiperusteet?

kyllä

Miten Euroopan tasolla saatava lisäarvo toteutui puiteohjelman kohdalla?

kyllä

Voidaanko lisäarvoa saavuttaa Euroopan tasolla muiden kansainvälisten tai kansallisten mekanismien avulla?

ei

Ovatko ohjelmien poliittiset tavoitteet, ensisijaiset kohteet, välineet ja elinkaari sopivia tulevaisuudessa?

kyllä

| 87. | Lisäksi tarkastuksessa pantiin merkille, että arviointiryhmän jäsenet kykenivät vastaamaan toimeksiannossa yksilöityihin kysymyksiin ainoastaan sellaisten näkökohtien osalta, joiden kohdalla ohjelmissa oli määritetty selkeät ja mitattavissa olevat tavoitteet (esimerkiksi osallistuvien pienten ja keskisuurten yritysten lukumäärä). |
| --- | --- |

87.

Lisäksi tarkastuksessa pantiin merkille, että arviointiryhmän jäsenet kykenivät vastaamaan toimeksiannossa yksilöityihin kysymyksiin ainoastaan sellaisten näkökohtien osalta, joiden kohdalla ohjelmissa oli määritetty selkeät ja mitattavissa olevat tavoitteet (esimerkiksi osallistuvien pienten ja keskisuurten yritysten lukumäärä).

Puiteohjelmien arvioinnit jäsenvaltioiden tasolla

| 88. | Useat jäsenvaltiot ja assosioituneet maat suorittavat kansallisella tasolla omia puiteohjelmien arviointeja, joissa käsitellään olennaisia ja kiintoisia kysymyksiä kyseisten maiden omasta näkökulmasta (59). Viimeisten kahdeksan vuoden aikana on suoritettu 14 tällaista tutkimusta yhdeksän jäsenvaltion ja yhden assosioituneen maan kohdalla. |
| --- | --- |

88.

Useat jäsenvaltiot ja assosioituneet maat suorittavat kansallisella tasolla omia puiteohjelmien arviointeja, joissa käsitellään olennaisia ja kiintoisia kysymyksiä kyseisten maiden omasta näkökulmasta (59). Viimeisten kahdeksan vuoden aikana on suoritettu 14 tällaista tutkimusta yhdeksän jäsenvaltion ja yhden assosioituneen maan kohdalla.

| 89. | Komissio kannusti vakiomuotoisten lähestymistapojen käyttöä mahdollisuuksien mukaan, mutta kansalliset vaikutuksia koskevat tutkimukset ovat erittäin heterogeenisiä (60). Näin ollen yhdenmukaistettujen menetelmien puuttuessa mahdollisuudet tulosten kokoamiseen, yhdistämiseen tai vertailuun ovat rajalliset. Lisäksi kyseiset tutkimukset voivat kansallisen luonteensa takia kattaa eurooppalaisen yhteistyöulottuvuuden vain osittain. |
| --- | --- |

89.

Komissio kannusti vakiomuotoisten lähestymistapojen käyttöä mahdollisuuksien mukaan, mutta kansalliset vaikutuksia koskevat tutkimukset ovat erittäin heterogeenisiä (60). Näin ollen yhdenmukaistettujen menetelmien puuttuessa mahdollisuudet tulosten kokoamiseen, yhdistämiseen tai vertailuun ovat rajalliset. Lisäksi kyseiset tutkimukset voivat kansallisen luonteensa takia kattaa eurooppalaisen yhteistyöulottuvuuden vain osittain.

| 90. | Vuonna 2007 julkaistussa eurooppalaista tutkimusaluetta koskevassa vihreässä kirjassa komissio piti tärkeänä, että eurooppalaisen tutkimusalueen tasolla on käytössä tarkkoja analyysejä tutkimustoimintojen ja -politiikkojen tehosta ja vaikuttavuudesta sekä jäsenvaltioiden että EU:n tasolta. Komissio toi niin ikään esille, että nykyiset järjestelyt eivät riitä mainitun haasteen käsittelemiseen, koska jokainen toiminnan taso suoritti arviointejaan erillään muista (61). |
| --- | --- |

90.

Vuonna 2007 julkaistussa eurooppalaista tutkimusaluetta koskevassa vihreässä kirjassa komissio piti tärkeänä, että eurooppalaisen tutkimusalueen tasolla on käytössä tarkkoja analyysejä tutkimustoimintojen ja -politiikkojen tehosta ja vaikuttavuudesta sekä jäsenvaltioiden että EU:n tasolta. Komissio toi niin ikään esille, että nykyiset järjestelyt eivät riitä mainitun haasteen käsittelemiseen, koska jokainen toiminnan taso suoritti arviointejaan erillään muista (61).

Suositukset

91.

| 91. | Komission pitäisi laatia puiteohjelmien avulla rahoitettujen toimintojen arviointia varten käsikirja, jossa määritettäisiin keskeiset käsitteet sekä terminologia ja yksilöitäisiin joukko tiettyihin arviointitoimintoihin soveltuvia menetelmiä. Käsikirjan tulisi perustua olemassa oleviin oppaisiin ja ohjeistoihin ja sitä olisi päivitettävä säännöllisesti. |
| --- | --- |

Komission pitäisi laatia puiteohjelmien avulla rahoitettujen toimintojen arviointia varten käsikirja, jossa määritettäisiin keskeiset käsitteet sekä terminologia ja yksilöitäisiin joukko tiettyihin arviointitoimintoihin soveltuvia menetelmiä. Käsikirjan tulisi perustua olemassa oleviin oppaisiin ja ohjeistoihin ja sitä olisi päivitettävä säännöllisesti.

| 92. | Komission pitäisi määrittää tietotarpeensa ottaen huomioon osallistujille aiheutuvan hallinnollisen työmäärän rajoittamistarve. |
| --- | --- |

92.

Komission pitäisi määrittää tietotarpeensa ottaen huomioon osallistujille aiheutuvan hallinnollisen työmäärän rajoittamistarve.

| 93. | Komission tulisi antaa oikea-aikaisesti seurantatietoja puiteohjelmien toteuttamisesta. Seitsemännen puiteohjelman ”osallistumissäännöissä” edellytetään, että ongelmat, jotka liittyvät ohjelmahallinnointia ja osallistujia koskevien tietojen hallinnointiin käytettäviin komission tietojärjestelmiin, on ratkaistava viipymättä. |
| --- | --- |

93.

Komission tulisi antaa oikea-aikaisesti seurantatietoja puiteohjelmien toteuttamisesta. Seitsemännen puiteohjelman ”osallistumissäännöissä” edellytetään, että ongelmat, jotka liittyvät ohjelmahallinnointia ja osallistujia koskevien tietojen hallinnointiin käytettäviin komission tietojärjestelmiin, on ratkaistava viipymättä.

| 94. | Osallistujien raportointivaatimuksia komissiolle olisi vähennettävä huomattavasti ja kyselytutkimuksia suoritettava ainoastaan otantaperusteisesti. Sopimuksiin perustuva vaatimus, jonka mukaan kunkin hankkeen osalta on toimitettava indikaattoreihin pohjautuvia tietoja vaikutuksista, olisi korvattava hankkeen päättyessä suoritettavalla lyhyellä itsearvioinnilla. |
| --- | --- |

94.

Osallistujien raportointivaatimuksia komissiolle olisi vähennettävä huomattavasti ja kyselytutkimuksia suoritettava ainoastaan otantaperusteisesti. Sopimuksiin perustuva vaatimus, jonka mukaan kunkin hankkeen osalta on toimitettava indikaattoreihin pohjautuvia tietoja vaikutuksista, olisi korvattava hankkeen päättyessä suoritettavalla lyhyellä itsearvioinnilla.

| 95. | Komission pitäisi hyödyntää olemassa olevia, arvioinnin kannalta olennaisia tietoja sisältäviä täydentäviä tietolähteitä (sekä komission että jäsenvaltioiden tasolla) laajemmin arviointiensa yhteydessä. |
| --- | --- |

95.

Komission pitäisi hyödyntää olemassa olevia, arvioinnin kannalta olennaisia tietoja sisältäviä täydentäviä tietolähteitä (sekä komission että jäsenvaltioiden tasolla) laajemmin arviointiensa yhteydessä.

| 96. | Komission olisi hyödynnettävä kaikkia käytettävissä olevia arviointitekniikoita. Sen olisi myös tuettava innovatiivisten lähestymistapojen kehittämistä tutkimusalan julkisten tukitoimenpiteiden arviointimenetelmiin liittyvien vaikeuksien ratkaisemiseksi (ks. liite I) ja sovellettava kyseisiä lähestymistapoja omissa arvioinneissaan. |
| --- | --- |

96.

Komission olisi hyödynnettävä kaikkia käytettävissä olevia arviointitekniikoita. Sen olisi myös tuettava innovatiivisten lähestymistapojen kehittämistä tutkimusalan julkisten tukitoimenpiteiden arviointimenetelmiin liittyvien vaikeuksien ratkaisemiseksi (ks. liite I) ja sovellettava kyseisiä lähestymistapoja omissa arvioinneissaan.

| 97. | Komission pitäisi konsultoida jäsenvaltioita kysymyksissä, jotka liittyvät kansallisella tasolla suoritettavista puiteohjelmien arvioinneista saatavan hyödyn maksimointiin. |
| --- | --- |

97.

Komission pitäisi konsultoida jäsenvaltioita kysymyksissä, jotka liittyvät kansallisella tasolla suoritettavista puiteohjelmien arvioinneista saatavan hyödyn maksimointiin.

Arviointihavaintojen levittäminen ja hyödyntäminen

| 98. | Arvioinnin avulla pitäisi saada asianmukaista tietoa ja analyysi, joita voidaan käytännössä hyödyntää ohjelmien hallinnointiin ja politiikkojen laadintaan. Arvioinnin tulisi muodostaa perusta varsinkin julkisen tukitoimenpiteen vahvuuksiin ja heikkouksiin liittyvälle perusteelliselle pohdinnalle, joka on välttämätön kokemusten perusteella oppimisen kannalta. Tilintarkastustuomioistuin tarkasti, kuinka oikea-aikaisia arvioinnit olivat, minkälaajuista oli havainnoista tiedottaminen ja niiden levittäminen komission ulkopuolisille osallistujille ja missä määrin komissio otti huomioon käynnissä olevien ohjelmien tarkistusta koskevat suositukset (”oppimisohjelmat”). |
| --- | --- |

98.

Arvioinnin avulla pitäisi saada asianmukaista tietoa ja analyysi, joita voidaan käytännössä hyödyntää ohjelmien hallinnointiin ja politiikkojen laadintaan. Arvioinnin tulisi muodostaa perusta varsinkin julkisen tukitoimenpiteen vahvuuksiin ja heikkouksiin liittyvälle perusteelliselle pohdinnalle, joka on välttämätön kokemusten perusteella oppimisen kannalta. Tilintarkastustuomioistuin tarkasti, kuinka oikea-aikaisia arvioinnit olivat, minkälaajuista oli havainnoista tiedottaminen ja niiden levittäminen komission ulkopuolisille osallistujille ja missä määrin komissio otti huomioon käynnissä olevien ohjelmien tarkistusta koskevat suositukset (”oppimisohjelmat”).

Arviointien ajoituksessa ei otettu huomioon, millaisia tietoja oli realistista odottaa

| 99. | Tilintarkastustuomioistuin tiedostaa, että tietyntyyppiset analyysit edellyttävät pitkän aikavälin perspektiiviä (esimerkiksi tulosten ja sosiaalis-taloudellisten vaikutusten arviointi) ja että jotkin näkökohdat liittyvät tiettyyn ohjelmakauteen (esimerkiksi ohjelmatavoitteet, jopa tietyn tieteenalan sisällä), ja jotkin puolestaan eivät (ks. kaavio 8). Komissio ei ole kuitenkaan ottanut arviointitoimintojensa yhteydessä käyttöön lähestymistapaa, jonka kohdalla otettaisiin huomioon mainitut aikaan liittyvät näkökohdat. |
| --- | --- |

99.

Tilintarkastustuomioistuin tiedostaa, että tietyntyyppiset analyysit edellyttävät pitkän aikavälin perspektiiviä (esimerkiksi tulosten ja sosiaalis-taloudellisten vaikutusten arviointi) ja että jotkin näkökohdat liittyvät tiettyyn ohjelmakauteen (esimerkiksi ohjelmatavoitteet, jopa tietyn tieteenalan sisällä), ja jotkin puolestaan eivät (ks. kaavio 8). Komissio ei ole kuitenkaan ottanut arviointitoimintojensa yhteydessä käyttöön lähestymistapaa, jonka kohdalla otettaisiin huomioon mainitut aikaan liittyvät näkökohdat.

| 100. | Lainsäädännössä on edellytetty komission pääasiallisten arviointitoimintojen keskittämistä yksinomaan viisivuotisarviointia edeltäviin viiteen vuoteen, jolloin menettely kattaa osia kahdesta peräkkäisestä ohjelmakaudesta. Näin ollen keskipitkän ja pitkän aikavälin tuloksia ja vaikutuksia ei ole juurikaan käsitelty. Viisivuotisarvioinnit ovatkin yleensä keskittyneet lähinnä seurantanäkökohtiin, lyhyen aikavälin ohjelmasuunnitteluun ja puiteohjelmien suuntaamista koskeviin yleisiin havaintoihin. Tilintarkastustuomioistuin suhtautuu myönteisesti siihen, että seitsemättä puiteohjelmaa koskevassa lainsäädännössä ei enää edellytetä viisivuotisarviointeja tai muita tiettyyn ennalta määritettyyn ajanjaksoon kohdistuvia arviointeja.
  Kaavio 8
  Erilaisiin ajanjaksoihin perustuvat seuranta- ja arviointikysymykset







  Ohjelman toteutuksen seuranta

  (ohjelman ollessa käynnissä) | — | Ohjelman hallinnointiin liittyvät kysymykset (esimerkiksi sopimuksentekoon ja maksun suorittamiseen kuluva aika, osallistumis- ja onnistumisaste, talousarvion toteuttaminen ja rahoitusaste) |
| --- | --- | --- | --- |

100.

Lainsäädännössä on edellytetty komission pääasiallisten arviointitoimintojen keskittämistä yksinomaan viisivuotisarviointia edeltäviin viiteen vuoteen, jolloin menettely kattaa osia kahdesta peräkkäisestä ohjelmakaudesta. Näin ollen keskipitkän ja pitkän aikavälin tuloksia ja vaikutuksia ei ole juurikaan käsitelty. Viisivuotisarvioinnit ovatkin yleensä keskittyneet lähinnä seurantanäkökohtiin, lyhyen aikavälin ohjelmasuunnitteluun ja puiteohjelmien suuntaamista koskeviin yleisiin havaintoihin. Tilintarkastustuomioistuin suhtautuu myönteisesti siihen, että seitsemättä puiteohjelmaa koskevassa lainsäädännössä ei enää edellytetä viisivuotisarviointeja tai muita tiettyyn ennalta määritettyyn ajanjaksoon kohdistuvia arviointeja.

Kaavio 8

Erilaisiin ajanjaksoihin perustuvat seuranta- ja arviointikysymykset

Ohjelman toteutuksen seuranta

(ohjelman ollessa käynnissä)

—

Ohjelman hallinnointiin liittyvät kysymykset (esimerkiksi sopimuksentekoon ja maksun suorittamiseen kuluva aika, osallistumis- ja onnistumisaste, talousarvion toteuttaminen ja rahoitusaste)

Arviointi Lyhyt aikaväli

(aikaisintaan esimerkiksi

1–2 vuoden kuluttua)

| — | Ohjelman hallinnointiin liittyvät kysymykset (esimerkiksi hallinnollisten menettelyiden tehokkuus) |
| --- | --- |

—

Ohjelman hallinnointiin liittyvät kysymykset (esimerkiksi hallinnollisten menettelyiden tehokkuus)

| — | Ohjelman suunnitteluun liittyvät kysymykset (esimerkiksi välineiden saatavilla olo ja joustavuus, osallistumisen esteet ja tarjouspyyntöjen epäonnistumisen seuraukset) |
| --- | --- |

—

Ohjelman suunnitteluun liittyvät kysymykset (esimerkiksi välineiden saatavilla olo ja joustavuus, osallistumisen esteet ja tarjouspyyntöjen epäonnistumisen seuraukset)

| — | Osallistumisprofiilin analysointi (tässä vaiheessa lähinnä kvantitatiivinen) |
| --- | --- |

—

Osallistumisprofiilin analysointi (tässä vaiheessa lähinnä kvantitatiivinen)

Arviointi Keskipitkä aikaväli

(esimerkiksi

7 vuoden kuluttua)

| — | Ohjelmasuunnitteluun liittyvät kysymykset (esimerkiksi välineiden vaikuttavuus) |
| --- | --- |

—

Ohjelmasuunnitteluun liittyvät kysymykset (esimerkiksi välineiden vaikuttavuus)

| — | Osallistumisen analysointi (jossa yhdistyvät laadulliset ja kvantitatiiviset näkökohdat, esimerkiksi verkostojen analysointi ja vaikutukset tutkijoiden toimintaan) |
| --- | --- |

—

Osallistumisen analysointi (jossa yhdistyvät laadulliset ja kvantitatiiviset näkökohdat, esimerkiksi verkostojen analysointi ja vaikutukset tutkijoiden toimintaan)

| — | Hanketuotosten analysointi
   (62) (esimerkiksi julkaisut, artikkelit, patentit, lisenssit, prototyypit ja koulutetut tutkijat) |
| --- | --- |

—

Hanketuotosten analysointi
   (62) (esimerkiksi julkaisut, artikkelit, patentit, lisenssit, prototyypit ja koulutetut tutkijat)

Arviointi

Pitkä aikaväli

(esimerkiksi yli 10 vuoden kuluttua)

| — | Tulosten ja vaikutusten arviointi |
| --- | --- |

—

Tulosten ja vaikutusten arviointi

Lähde: Euroopan tilintarkastustuomioistuin.

| 101. | Myös komission asiantuntijat ovat havainneet viisivuotisarviointien puutteet puiteohjelmien tulosten ja vaikutusten arvioinnissa:






  — | vuoden 2004 viisivuotisarvioinnin suorittaneen arviointiryhmän mukaan arvioinnin pitäisi kattaa ja kiinnittää riittävästi huomiota sekä pitkän että lyhyen aikavälin kysymyksiin ja resursseja voitaisiin suunnata tavoitteellisempiin pitkän aikavälin arviointitutkimuksiin, joissa voitaisiin tutkia systemaattisemmin rakenteellisia ja laajempia sosiaalis-taloudellisia kysymyksiä (63), |
| --- | --- | --- |

101.

Myös komission asiantuntijat ovat havainneet viisivuotisarviointien puutteet puiteohjelmien tulosten ja vaikutusten arvioinnissa:

—

vuoden 2004 viisivuotisarvioinnin suorittaneen arviointiryhmän mukaan arvioinnin pitäisi kattaa ja kiinnittää riittävästi huomiota sekä pitkän että lyhyen aikavälin kysymyksiin ja resursseja voitaisiin suunnata tavoitteellisempiin pitkän aikavälin arviointitutkimuksiin, joissa voitaisiin tutkia systemaattisemmin rakenteellisia ja laajempia sosiaalis-taloudellisia kysymyksiä (63),

| — | tutkimuksen pääosaston tilaaman tutkimuksen mukaan nykyiset EU:n TTK-toimien arviointikäytännöt (jatkuva seuranta, viisivuotisarviointi ja väliarviointi) keskittyvät vaikutusten arvioinnin sijasta voimakkaasti seurantaan ja jotta kysyntää ja odotuksia voitaisiin ohjata sosiaalis-taloudellisten vaikutusten suuntaan, olisi perustettava uudet arviointi- ja seurantapuitteet, joiden yhteydessä edellytettäisiin tuotosten seurannan sijasta vaikutusten voimakkaampaa painottamista (64). |
| --- | --- |

—

tutkimuksen pääosaston tilaaman tutkimuksen mukaan nykyiset EU:n TTK-toimien arviointikäytännöt (jatkuva seuranta, viisivuotisarviointi ja väliarviointi) keskittyvät vaikutusten arvioinnin sijasta voimakkaasti seurantaan ja jotta kysyntää ja odotuksia voitaisiin ohjata sosiaalis-taloudellisten vaikutusten suuntaan, olisi perustettava uudet arviointi- ja seurantapuitteet, joiden yhteydessä edellytettäisiin tuotosten seurannan sijasta vaikutusten voimakkaampaa painottamista (64).

| 102. | Oikea-aikaisuuteen liittyvät kysymykset koskevat myös lainsäädännössä edellytettyjä erityisarviointeja. Esimerkiksi vuonna 2004 julkaistu Marimónin kertomus, jossa analysoitiin kuudennen puiteohjelman (2003–2006) yhteydessä käyttöön otettuja uusia välineitä, vaadittiin liian varhaisessa vaiheessa, joten päätelmien perustaksi oli vain vähän tai ei lainkaan käytännön kokemusta ja empiiristä näyttöä (65). |
| --- | --- |

102.

Oikea-aikaisuuteen liittyvät kysymykset koskevat myös lainsäädännössä edellytettyjä erityisarviointeja. Esimerkiksi vuonna 2004 julkaistu Marimónin kertomus, jossa analysoitiin kuudennen puiteohjelman (2003–2006) yhteydessä käyttöön otettuja uusia välineitä, vaadittiin liian varhaisessa vaiheessa, joten päätelmien perustaksi oli vain vähän tai ei lainkaan käytännön kokemusta ja empiiristä näyttöä (65).

Tiedottaminen ja levittäminen

| 103. | Komissio voi itsenäisesti kehittää ja hyväksyä operatiivisia työohjelmia lyhyen aikavälin sykleissä; ohjelmat on hyväksytettävä kyseisestä ohjelmasta vastaavalla komitealla. Tämän menettelyn avulla ohjelmien hallinnointiin voitaisiin tehdä mukautuksia ja myös suunnata määrärahoja uudelleen alaohjelmien sisällä. Ei ollut havaittavissa, että komissio hyödyntäisi tätä mahdollisuutta (ks. kohta 107). |
| --- | --- |

103.

Komissio voi itsenäisesti kehittää ja hyväksyä operatiivisia työohjelmia lyhyen aikavälin sykleissä; ohjelmat on hyväksytettävä kyseisestä ohjelmasta vastaavalla komitealla. Tämän menettelyn avulla ohjelmien hallinnointiin voitaisiin tehdä mukautuksia ja myös suunnata määrärahoja uudelleen alaohjelmien sisällä. Ei ollut havaittavissa, että komissio hyödyntäisi tätä mahdollisuutta (ks. kohta 107).

| 104. | Muutoin komission on puiteohjelmien suunnittelu- ja hyväksymistapa huomioon ottaen lähes mahdotonta tehdä huomattavia muutoksia esimerkiksi ohjelmien tavoitteisiin tai määrärahojen suuntaamiseen alaohjelmien välillä. Ainoastaan lainsäätäjä voi panna täytäntöön näin laajamittaisia muutoksia puiteohjelmia koskevan lainsäädännön tarkistamisen (esimerkiksi seitsemännen puiteohjelman kohdalla vuonna 2010) tai seuraavan puiteohjelman hyväksymisen yhteydessä. Tästä syystä lainsäädännössä on yleensä edellytetty, että pääasialliset arviointitoimet ajoitetaan niin, että niiden tuloksia voidaan hyödyntää parhaalla mahdollisella tavalla politiikkojen laadinnassa. |
| --- | --- |

104.

Muutoin komission on puiteohjelmien suunnittelu- ja hyväksymistapa huomioon ottaen lähes mahdotonta tehdä huomattavia muutoksia esimerkiksi ohjelmien tavoitteisiin tai määrärahojen suuntaamiseen alaohjelmien välillä. Ainoastaan lainsäätäjä voi panna täytäntöön näin laajamittaisia muutoksia puiteohjelmia koskevan lainsäädännön tarkistamisen (esimerkiksi seitsemännen puiteohjelman kohdalla vuonna 2010) tai seuraavan puiteohjelman hyväksymisen yhteydessä. Tästä syystä lainsäädännössä on yleensä edellytetty, että pääasialliset arviointitoimet ajoitetaan niin, että niiden tuloksia voidaan hyödyntää parhaalla mahdollisella tavalla politiikkojen laadinnassa.

| 105. | Näin ollen komission arviointien pääkäyttäjin lukeutuvat itse tutkimusalan pääosastot (66). Puiteohjelmia koskevassa lainsäädännössä edellytetään kuitenkin selkeästi, että arvioinnit on toimitettava Euroopan parlamentille ja neuvostolle. |
| --- | --- |

105.

Näin ollen komission arviointien pääkäyttäjin lukeutuvat itse tutkimusalan pääosastot (66). Puiteohjelmia koskevassa lainsäädännössä edellytetään kuitenkin selkeästi, että arvioinnit on toimitettava Euroopan parlamentille ja neuvostolle.

| 106. | Tilintarkastustuomioistuimen Euroopan parlamentin teollisuus-, ulkomaankauppa-, tutkimus- ja energiavaliokunnalle ja neuvoston tieteen ja tekniikan tutkimuskomitealle tekemässä kyselytutkimuksessa suurin osa vastaajista toi kuitenkin esille, etteivät he kokeneet saaneensa riittävästi tietoa puiteohjelmien toteuttamisesta ja tuloksista (ks. kaavio 9) (67). |
| --- | --- |

106.

Tilintarkastustuomioistuimen Euroopan parlamentin teollisuus-, ulkomaankauppa-, tutkimus- ja energiavaliokunnalle ja neuvoston tieteen ja tekniikan tutkimuskomitealle tekemässä kyselytutkimuksessa suurin osa vastaajista toi kuitenkin esille, etteivät he kokeneet saaneensa riittävästi tietoa puiteohjelmien toteuttamisesta ja tuloksista (ks. kaavio 9) (67).

Image

Arviointihavaintojen seuranta

| 107. | Komissio esittää vuotuisissa arviointeja koskevissa katsauksissaan yhteenvedon suorittamiinsa arviointeihin perustuvista havainnoista ja toimista (68). Seurannan osalta komissio on myös antanut muodollisia vastauksia viisivuotisarviointien havaintoihin ja suosituksiin sekä lainsäädännössä edellytettyihin erityisarviointeihin ja on ryhtynyt mahdollisuuksien mukaan asianmukaisiin toimenpiteisiin niissä havaittujen puutteiden korjaamiseksi. Näin ei kuitenkaan ollut useiden muiden tarkastettujen arviointikertomusten kohdalla eikä ollut havaittavissa, että kertomusten havainnot ja suositukset olisi otettu huomioon työohjelmien muuttamiseksi. Vastaavasti pääosastojen toimintoperusteiseen budjetointiin liittyvissä selvityksissä ja vuotuisissa toimintakertomuksissa ei tuoda esille, missä määrin arviointihavaintojen perusteella ryhdyttiin toimenpiteisiin. |
| --- | --- |

107.

Komissio esittää vuotuisissa arviointeja koskevissa katsauksissaan yhteenvedon suorittamiinsa arviointeihin perustuvista havainnoista ja toimista (68). Seurannan osalta komissio on myös antanut muodollisia vastauksia viisivuotisarviointien havaintoihin ja suosituksiin sekä lainsäädännössä edellytettyihin erityisarviointeihin ja on ryhtynyt mahdollisuuksien mukaan asianmukaisiin toimenpiteisiin niissä havaittujen puutteiden korjaamiseksi. Näin ei kuitenkaan ollut useiden muiden tarkastettujen arviointikertomusten kohdalla eikä ollut havaittavissa, että kertomusten havainnot ja suositukset olisi otettu huomioon työohjelmien muuttamiseksi. Vastaavasti pääosastojen toimintoperusteiseen budjetointiin liittyvissä selvityksissä ja vuotuisissa toimintakertomuksissa ei tuoda esille, missä määrin arviointihavaintojen perusteella ryhdyttiin toimenpiteisiin.

Suositukset

108.

| 108. | Komission olisi määritettävä, minkätyyppisiä ja -laajuisia arviointeja on kohtuullista odottaa lainsäädännössä yksilöityinä ajankohtina (2008, 2010 ja 2015), selvitettävä, miten arviointeja voidaan käyttää ohjelmien mukauttamiseen (”oppimisohjelmat”) ja yksilöitävä, miten arvioinnit voivat vaikuttaa politiikkoja koskeviin päätöksiin. Komission olisi tarkennettava etenkin, minkä lähestymistavan se aikoo ottaa pidemmän aikavälin tulosten arviointiin entisten ja nykyisten puiteohjelmien yhteydessä, ottaen huomioon, että tulosten ilmaantumiseen voi kulua 7–10 vuotta (ks. kaavio 8). |
| --- | --- |

Komission olisi määritettävä, minkätyyppisiä ja -laajuisia arviointeja on kohtuullista odottaa lainsäädännössä yksilöityinä ajankohtina (2008, 2010 ja 2015), selvitettävä, miten arviointeja voidaan käyttää ohjelmien mukauttamiseen (”oppimisohjelmat”) ja yksilöitävä, miten arvioinnit voivat vaikuttaa politiikkoja koskeviin päätöksiin. Komission olisi tarkennettava etenkin, minkä lähestymistavan se aikoo ottaa pidemmän aikavälin tulosten arviointiin entisten ja nykyisten puiteohjelmien yhteydessä, ottaen huomioon, että tulosten ilmaantumiseen voi kulua 7–10 vuotta (ks. kaavio 8).

| 109. | Komission olisi tarkistettava käytäntö, jonka perusteella se tiedottaa ja levittää arviointihavaintojaan, jotta kyetään varmistamaan, että osallistujat saavat tarvittavat tiedot. Tutkimusalan pääosastojen pitäisi antaa virallinen vastaus kaikkiin arviointeihin ja julkaistava kyseiset tutkimukset ja niihin antamansa vastaukset oikea-aikaisesti. Tutkimusalan pääosastojen olisi myös raportoitava toimintoperusteiseen budjetointiin liittyvissä selvityksissään ja vuotuisissa toimintakertomuksissaan arviointien perusteella toteutetuista toimenpiteistä ja hyödynnettävä suosituksia työohjelmien päivittämisen ja tulevien ohjelmien suunnittelun yhteydessä. |
| --- | --- |

109.

Komission olisi tarkistettava käytäntö, jonka perusteella se tiedottaa ja levittää arviointihavaintojaan, jotta kyetään varmistamaan, että osallistujat saavat tarvittavat tiedot. Tutkimusalan pääosastojen pitäisi antaa virallinen vastaus kaikkiin arviointeihin ja julkaistava kyseiset tutkimukset ja niihin antamansa vastaukset oikea-aikaisesti. Tutkimusalan pääosastojen olisi myös raportoitava toimintoperusteiseen budjetointiin liittyvissä selvityksissään ja vuotuisissa toimintakertomuksissaan arviointien perusteella toteutetuista toimenpiteistä ja hyödynnettävä suosituksia työohjelmien päivittämisen ja tulevien ohjelmien suunnittelun yhteydessä.

YLEISET PÄÄTELMÄT

| 110. | Tilintarkastustuomioistuin tiedostaa, että TTK-ohjelmien arviointi ja varsinkin niiden pitkän aikavälin tulosten määrittäminen on jo sinällään vaikeaa ja parhaiden käytäntöjen yksilöinti hankalaa. |
| --- | --- |

110.

Tilintarkastustuomioistuin tiedostaa, että TTK-ohjelmien arviointi ja varsinkin niiden pitkän aikavälin tulosten määrittäminen on jo sinällään vaikeaa ja parhaiden käytäntöjen yksilöinti hankalaa.

| 111. | Tilintarkastustuomioistuimen näkemyksen mukaan arviointi on olennaista ohjelman hallinnoinnin, tulevan suunnittelun ja politiikkojen laatimisen kannalta. Arviointi luo myös vastuullisuuden perustan. Arvioinnin avulla saadaan arvokasta tietoa saavutetuista tavoitelluista (tai odottamattomista) tuloksista, ohjelman tavoitteiden saavuttamisen laajuudesta, ohjelman tarkoituksenmukaisuudesta ja hyödyllisyydestä sekä ohjelman toteuttamisen tehokkuudesta ja vaikuttavuudesta. Euroopan parlamentti ja neuvosto päättävät puiteohjelmien yhteydessä yleisistä linjoista, budjettikysymyksistä sekä ohjelmasuunnittelusta, joten avoin, luotettava ja vankka arviointijärjestelmä on tarpeen, jotta ne saavat asianmukaiset tiedot. |
| --- | --- |

111.

Tilintarkastustuomioistuimen näkemyksen mukaan arviointi on olennaista ohjelman hallinnoinnin, tulevan suunnittelun ja politiikkojen laatimisen kannalta. Arviointi luo myös vastuullisuuden perustan. Arvioinnin avulla saadaan arvokasta tietoa saavutetuista tavoitelluista (tai odottamattomista) tuloksista, ohjelman tavoitteiden saavuttamisen laajuudesta, ohjelman tarkoituksenmukaisuudesta ja hyödyllisyydestä sekä ohjelman toteuttamisen tehokkuudesta ja vaikuttavuudesta. Euroopan parlamentti ja neuvosto päättävät puiteohjelmien yhteydessä yleisistä linjoista, budjettikysymyksistä sekä ohjelmasuunnittelusta, joten avoin, luotettava ja vankka arviointijärjestelmä on tarpeen, jotta ne saavat asianmukaiset tiedot.

| 112. | Komissio laati vuosina 2000 ja 2002 yleisen arviointikehyksen ja tarkisti sitä vuonna 2007. Tilintarkastustuomioistuimen tarkastuskohteena olleen ajanjakson aikana puiteohjelmien ja niihin sisältyvien ohjelmien arviointien suunnittelu-, laadinta- tai toteuttamistavassa ei ollut havaittavissa suurempia parannuksia, mutta tutkimusalan pääosastot ovat yleisesti ottaen noudattaneet koko komission kattavia virallisia vaatimuksia. |
| --- | --- |

112.

Komissio laati vuosina 2000 ja 2002 yleisen arviointikehyksen ja tarkisti sitä vuonna 2007. Tilintarkastustuomioistuimen tarkastuskohteena olleen ajanjakson aikana puiteohjelmien ja niihin sisältyvien ohjelmien arviointien suunnittelu-, laadinta- tai toteuttamistavassa ei ollut havaittavissa suurempia parannuksia, mutta tutkimusalan pääosastot ovat yleisesti ottaen noudattaneet koko komission kattavia virallisia vaatimuksia.

| 113. | Tämän kertomuksen kattaman ajanjakson osalta tutkimusalan pääosastoilla oli – kuten puiteohjelmia koskevassa lainsäädännössä edellytetään – käytössään arviointijärjestelmä ja komissiolla on esitettävänään huomattava määrä arviointitutkimuksia. On kuitenkin todettava, että ohjelmatavoitteiden saavuttamisesta ja puiteohjelmien tuloksista on tietoa vain vähän tai ei lainkaan. Tämä johtuu siitä, että arvioinnit ovat yleensä keskittyneet ohjelmien täytäntöönpanoon liittyviin lyhyen aikavälin kysymyksiin. Komission arvioinnit eivät näin ollen olleet kovin hyödyllisiä politiikkojen laatijoille, osallistujille tai edes komissiolle itselleen. |
| --- | --- |

113.

Tämän kertomuksen kattaman ajanjakson osalta tutkimusalan pääosastoilla oli – kuten puiteohjelmia koskevassa lainsäädännössä edellytetään – käytössään arviointijärjestelmä ja komissiolla on esitettävänään huomattava määrä arviointitutkimuksia. On kuitenkin todettava, että ohjelmatavoitteiden saavuttamisesta ja puiteohjelmien tuloksista on tietoa vain vähän tai ei lainkaan. Tämä johtuu siitä, että arvioinnit ovat yleensä keskittyneet ohjelmien täytäntöönpanoon liittyviin lyhyen aikavälin kysymyksiin. Komission arvioinnit eivät näin ollen olleet kovin hyödyllisiä politiikkojen laatijoille, osallistujille tai edes komissiolle itselleen.

| 114. | Kun otetaan huomioon arvioinnin merkitys ohjelmien hallinnoinnin ja politiikkojen laatimisen kannalta, komission lähestymistapa puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin on tarkasteltava uudelleen ottaen huomioon uudet poliittiset haasteet, lisääntyvä rahoitus, yhteisön tutkimuspolitiikan kattavuuden laajentuminen ja hiljattain tapahtunut komission hallinnollinen uudistus. Tätä suositti myös tutkimusalan eurooppalainen neuvoa-antava komitea (EURAB) vuonna 2007 julkaistussa kertomuksessaan. |
| --- | --- |

114.

Kun otetaan huomioon arvioinnin merkitys ohjelmien hallinnoinnin ja politiikkojen laatimisen kannalta, komission lähestymistapa puiteohjelmien ja niihin sisältyvien ohjelmien arviointiin on tarkasteltava uudelleen ottaen huomioon uudet poliittiset haasteet, lisääntyvä rahoitus, yhteisön tutkimuspolitiikan kattavuuden laajentuminen ja hiljattain tapahtunut komission hallinnollinen uudistus. Tätä suositti myös tutkimusalan eurooppalainen neuvoa-antava komitea (EURAB) vuonna 2007 julkaistussa kertomuksessaan.

| 115. | Tilintarkastustuomioistuimen näkemyksen mukaan selkeän toimintalogiikan hyödyntäminen tulevien puiteohjelmien suunnittelussa johtaisi ohjelmien parempaan kohdentamiseen ja jäsentämiseen. Se vaikuttaisi myös ”parempaan säännöspolitiikkaan” komissiossa – tavoitteena paremmin suunniteltu, yksinkertaisempi, vaikuttavampi ja paremmin ymmärrettävissä oleva säädösympäristö (69). |
| --- | --- |

115.

Tilintarkastustuomioistuimen näkemyksen mukaan selkeän toimintalogiikan hyödyntäminen tulevien puiteohjelmien suunnittelussa johtaisi ohjelmien parempaan kohdentamiseen ja jäsentämiseen. Se vaikuttaisi myös ”parempaan säännöspolitiikkaan” komissiossa – tavoitteena paremmin suunniteltu, yksinkertaisempi, vaikuttavampi ja paremmin ymmärrettävissä oleva säädösympäristö (69).

| 116. | Puiteohjelmien ja niihin sisältyvien ohjelmien arviointi olisi tuloksekkaampaa, mikäli ohjelmatavoitteet ja indikaattorit olisivat alusta alkaen selkeämpiä, puiteohjelmien toteuttamisesta vastaavat tutkimusalan pääosastot sopisivat vankasta mutta ei liian rajoittavasta arviointistrategiasta ja käytössä olisi edistyksellisempiä arviointimenetelmiä, joihin sisältyisi myös kvantitatiivisia lähestymistapoja. |
| --- | --- |

116.

Puiteohjelmien ja niihin sisältyvien ohjelmien arviointi olisi tuloksekkaampaa, mikäli ohjelmatavoitteet ja indikaattorit olisivat alusta alkaen selkeämpiä, puiteohjelmien toteuttamisesta vastaavat tutkimusalan pääosastot sopisivat vankasta mutta ei liian rajoittavasta arviointistrategiasta ja käytössä olisi edistyksellisempiä arviointimenetelmiä, joihin sisältyisi myös kvantitatiivisia lähestymistapoja.

| 117. | Tilintarkastustuomioistuin pani myös merkille useita näkökohtia, joiden osalta komission on syytä harkita uudelleen puiteohjelmien arviointiin nykyisin soveltamiaan organisatorisia järjestelyitä. Voisi olla hyödyllistä esimerkiksi






  — | sisällyttää arviointiryhmät arviointiprosessiin varhaisemmassa vaiheessa, jolloin komissio saisi tukea koko ohjelmakauden ajan ja sen jälkeenkin, ja lisätä erikoistumista siten, että erityisohjelmia ja tarvittaessa alaohjelmia varten olisi omat arviointiryhmänsä, |
| --- | --- | --- |

117.

Tilintarkastustuomioistuin pani myös merkille useita näkökohtia, joiden osalta komission on syytä harkita uudelleen puiteohjelmien arviointiin nykyisin soveltamiaan organisatorisia järjestelyitä. Voisi olla hyödyllistä esimerkiksi

—

sisällyttää arviointiryhmät arviointiprosessiin varhaisemmassa vaiheessa, jolloin komissio saisi tukea koko ohjelmakauden ajan ja sen jälkeenkin, ja lisätä erikoistumista siten, että erityisohjelmia ja tarvittaessa alaohjelmia varten olisi omat arviointiryhmänsä,

| — | täydentää nykyisiä pääosastokohtaisia arviointiyksiköitä perustamalla yhteisiä arviointiyksiköitä vastaamaan puiteohjelmia koskevien arviointien koordinoinnista. |
| --- | --- |

—

täydentää nykyisiä pääosastokohtaisia arviointiyksiköitä perustamalla yhteisiä arviointiyksiköitä vastaamaan puiteohjelmia koskevien arviointien koordinoinnista.

| 118. | Tässä kertomuksessa esitetyt suositukset perustuvat joko komissiossa sovellettaviin tai kansainvälisiin hyviin käytäntöihin. Resurssien kannalta on selvää, että ehdotetun lähestymistavan käyttöönotto ohjelmien arvioinnissa merkitsisi korkeampia kustannuksia. Tilintarkastustuomioistuin kuitenkin katsoo, että menettelyn avulla todennäköisesti saavutetaan vähintäänkin kustannuksia vastaava hyöty. |
| --- | --- |

118.

Tässä kertomuksessa esitetyt suositukset perustuvat joko komissiossa sovellettaviin tai kansainvälisiin hyviin käytäntöihin. Resurssien kannalta on selvää, että ehdotetun lähestymistavan käyttöönotto ohjelmien arvioinnissa merkitsisi korkeampia kustannuksia. Tilintarkastustuomioistuin kuitenkin katsoo, että menettelyn avulla todennäköisesti saavutetaan vähintäänkin kustannuksia vastaava hyöty.

Tilintarkastustuomioistuin on hyväksynyt tämän kertomuksen Luxemburgissa 22. marraskuuta 2007 pitämässään kokouksessa.

Tilintarkastustuomioistuimen puolesta

Hubert WEBER

presidentti

---

(1)  OECD:n mukaan tutkimus ja kehittäminen voidaan määritellä luovaksi työksi, jota toteutetaan järjestelmällisesti ihmisiä, kulttuuria ja yhteiskuntaa koskevan tietomäärän lisäämiseksi, sekä kyseisen tietomäärän hyödyntämiseksi uusien sovellusten suunnitteluun (ks. OECD, Frascati Manual – Proposed standard practice for surveys on research and experimental development, Pariisi, 2002, s. 30). Yhteisön toimintaympäristössä käytetään lyhennettä TTK, joka kattaa teknologian, tutkimuksen ja kehittämisen.

1

(2)  Tutkimuksen pääosasto on päävastuussa puiteohjelmien hallinnoinnista ja koordinoinnista. Viisi muuta niin ikään erityisohjelmia (osittain) hallinnoivaa pääosastoa ovat: tietoyhteiskunnan ja viestimien pääosasto (tärkein), energian ja liikenteen pääosasto, yritys- ja teollisuustoiminnan pääosasto, kalastuksen pääosasto sekä komission yhteinen tutkimuskeskus.

2

(3)  Vuonna 2000 Lissabonin Eurooppa-neuvosto asetti tavoitteen tehdä Euroopasta maailman dynaamisin ja kilpailukykyisin kestävä tietoon perustuva talous, jossa vallitsee täystyöllisyys ja tiiviimpi taloudellinen ja sosiaalinen yhteenkuuluvuus.

3

(4)  Vuonna 2002 Eurooppa-neuvosto sopi, että TTK-toimiin ja innovointiin liittyvien Euroopan unionin menojen kokonaismäärää on lisättävä siten, että niiden osuus BKT:sta on kolme prosenttia vuoteen 2010 mennessä. Eurooppa-neuvosto myös tarkensi, että kaksi kolmasosaa tästä uudesta investoinnista tulisi saada yksityiseltä sektorilta (ks. Euroopan komissio, ”Tutkimusinvestoinnit: toimintasuunnitelma Euroopalle”; komission tiedonanto neuvostolle, Euroopan parlamentille, Euroopan talous- ja sosiaalikomitealle sekä alueiden komitealle, KOM(2003) 226 lopullinen, s. 7).

4

(5)  Suoran hallinnoinnin tapauksessa komissio suorittaa talousarvion toteuttamiseen liittyvät toimintonsa ilman jäsenvaltioiden tai kolmansien maiden (joissa menojen vastaanottajat ovat) osallistumista.

5

(6)  Vuodesta 2006 alkaen jo pelkästään kuudenteen puiteohjelmaan on osallistunut yli 22 000 julkista ja yksityistä oikeushenkilöä; kyseessä ovat yleensä useiden toimintakumppaneiden muodostamat konsortiot.

6

(7)  Kyseessä on koordinointimenetelmä, joka perustuu valtioiden välisen vapaaehtoisen yhteistyön periaatteeseen. Toimintaperiaatteina ovat erityisesti molemminpuolinen oppiminen, vertailu ja parhaiden käytäntöjen jakaminen.

7

(8)  Neuvoston asetus (EY, Euratom) N:o 1605/2002, annettu 25 päivänä kesäkuuta 2002 (EYVL L 248, 16.9.2002, s. 1), 27, 48, 59 ja 60 artikla.

8

(9)  Euroopan komissio, budjettipääosasto, Dalia Grybauskaitėn yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, 21. helmikuuta 2007; Euroopan komissio, budjettipääosasto, Michaele Schreyerin komissiolle antama tiedonanto, ”Focus on Results: Strengthening Evaluation of Commission Activities”, SEC(2000) 1051, 26. heinäkuuta 2000.

9

(10)  Euroopan parlamentin ja neuvoston päätös 1982/2006/EY, tehty 18 päivänä joulukuuta 2006, Euroopan yhteisön seitsemännestä tutkimuksen, teknologian kehittämisen ja demonstroinnin puiteohjelmasta (2007–2013) (EUVL L 412, 30.12.2006, s. 1), 7 artiklan 1 kohta; seurantatiedot, jotka komission on toimitettava ohjelmakomiteoille, on määritetty erityisohjelmapäätöksissä (ks. esimerkiksi neuvoston päätös 2006/971/EY, tehty 19 päivänä joulukuuta 2006, Euroopan yhteisön seitsemännen tutkimuksen, teknologian kehittämisen ja demonstroinnin puiteohjelman (2007–2013) täytäntöön panemiseksi toteutettavasta erityisohjelmasta ”Yhteistyö” (EUVL L 400, 30.12.2006, s. 86), 8 artiklan 4 kohta ja liite V.

10

(11)  Euroopan komission tiedonanto neuvostolle (Community Plan of Action relating to the Evaluation of Community R&D activities for the years 1987 to 1991), KOM(86) 660 lopullinen, 20. marraskuuta 1986; asiakirja on vastaus neuvoston 28. kesäkuuta 1983 antamaan päätöslauselmaan.

11

(12)  Euroopan komissio, ”Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996”, Viscount Davignonin johtaman riippumattoman asiantuntijaryhmän raportti (1997); Euroopan komissio, ”Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999”, Joan Majón johtaman riippumattoman asiantuntijaryhmän raportti (heinäkuu 2000); Euroopan komissio, ”Five-year Assessment of the European Union Research Framework Programmes, 1999–2003”, Erkki Ormalan johtaman riippumattoman asiantuntijaryhmän raportti (15. joulukuuta 2004).

12

(13)  Euroopan komissio, ”Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21. kesäkuuta 2004, professori Ramon Marimónin johtaman korkean tason asiantuntijaryhmän raportti.

13

(14)  Euroopan komissio, budjettipääosasto, Michaele Schreyerin komissiolle antama tiedonanto, ”Focus on Results: Strengthening Evaluation of Commission Activities”, heinäkuu 2000, SEC(2000) 1051; Euroopan komissio, budjettipääosasto, Michaele Schreyerin yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Evaluation Standards and Good Practice”, K(2002) 5267, 23.12.2002.

14

(15)  Euroopan komissio, budjettipääosasto, Dalia Grybauskaitėn yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, 21. helmikuuta 2007.

15

(16)  Euroopan komission valmisteluasiakirja, ”Impact assessment and ex-ante evaluation”, SEC(2005) 430.

16

ex-ante

(17)  ITRE (Industry, Research, Transport and Energy) vastaa (erityisesti) teollisuuspolitiikasta, tutkimuspolitiikasta (mukaan lukien tutkimushavaintojen levittäminen ja hyödyntäminen), avaruuspolitiikasta, yhteisen tutkimuskeskuksen toiminnoista sekä tietoyhteiskunnasta ja tietotekniikasta.

17

(18)  CREST (Comité de la Recherche Scientifique et Technique) perustettiin 14. tammikuuta 1974 annetulla neuvoston päätöslauselmalla, ja se koostuu kansallisten viranomaisten edustajista, jotka vastaavat jäsenvaltioiden tiede- ja teknologiapolitiikoista. Komitealla on neuvoa-antava tehtävä; se antaa komissiolle ja neuvostolle tietoja erityisesti kansallisten TTK-politiikkojen koordinointiin sekä puiteohjelmien seurantaan ja arviointiin liittyvissä kysymyksissä.

18

(19)  Loogiset mallit, jotka osoittavat, miten eri toimintoihin liittyvät panokset tuottavat tavoitellut tulokset, soveltuvat parhaiten toimintalogiikan kuvaamiseen. Mallien avulla voidaan selkeästi selittää ohjelmasuunnittelun toteutustavan taustalla vaikuttavat oletukset sekä se, miten yleistavoitteet jaotellaan toiminnallisiksi tavoitteiksi.

19

(20)  Euroopan komissio, budjettipääosasto, ”Evaluating EU activities: a practical guide for the Commission services”, heinäkuu 2004, sivut 87 ja 106.

20

(21)  ”Five year Assessment of the European Union Research Framework Programmes, 1999–2003”, Erkki Ormalan johtaman riippumattoman asiantuntijaryhmän raportti (15. joulukuuta 2004), kuudes luku ”Evaluating the Framework Programme”, s. 19.

21

(22)  Yhteisön ulkopuolelle suunnattavan tuen vastaanottajamaiden on esitettävä loogiset mallit yhteisöltä saamaansa rahoitusta varten (Euroopan komissio, Aid delivery methods, Volume 1, Project cycle management guidelines, maaliskuu 2004, viides luku: The logical framework approach).

22

(23)  Asetus (EY, Euratom) N:o 1605/2002, 27 artiklan 3 kohta.

23

(24)  Vuonna 2006 politiikan alan ”08 tutkimus” rakenteellisena perustana olivat nykyisen kuudennen puiteohjelmakauden (järjestelmä korvattiin erilaisella rakenteella vuonna 2007) erityisohjelmat (ja alaohjelmat). Politiikan alalla ”09 tietoyhteiskunta” nykyiset ja aiemmat erityisohjelmat yhdistettiin yhdeksi toimintoperusteisen budjetoinnin toiminnoksi (Euroopan komissio, tutkimuksen pääosasto, linja A: Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006, 20.12.2005; Euroopan komissio, tietoyhteiskunnan ja viestimien pääosasto, 2006 Annual management plan, 23.12.2005).

24

(25)  Tutkimuksen pääosaston kohdalla toimintojohtamisen tavoitteet (sekä niiden saavuttamisen mittaamiseen käytetyt indikaattorit) muuttuivat vuosittain. Tietoyhteiskunnan pääosasto sitä vastoin käytti monivuotisia tavoitteita, jotka eivät kuitenkaan vastanneet ohjelman tavoitteita (tai työohjelman tasolla yksilöityjä tavoitteita).

25

(26)  Euroopan komissio, sisäisen tarkastuksen yksikkö, Review of effectiveness and efficiency of the SPP/ABM cycle – pääsihteeristö ja budjettipääosasto, 2005: kohta 4.1, s. 31.

26

(27)  Euroopan komissio, ”Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes”, KOM(83) 1 lopullinen, 19. tammikuuta 1983.

27

(28)  Komission tiedonanto neuvostolle ja Euroopan parlamentille – Yhteisön toimien itsenäinen ulkoinen valvonta ja arviointi tutkimuksen ja teknologisen kehittämisen alalla, 22.5.1996 (KOM(1996) 220 lopullinen).

28

(29)  Jokainen puiteohjelmia toteuttava pääosasto dokumentoi suunnitellut arviointinsa vuotuisiin (ja monivuotisiin) arviointisuunnitelmiin. Kyseisten suunnitteluasiakirjojen ei kuitenkaan voida katsoa muodostavan sellaisenaan arviointistrategiaa.

29

(30)  Asetus (EY, Euratom) N:o 1605/2002, 27 artiklan 4 kohta.

30

(31)  ”Loi de programme pour la recherche no 2006–450”, 18.4.2006 sekä ”Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)”, 3.11.2006.

31

o

o

(32)  Agencia Nacional de Evaluación y Prospectiva, Ministerio de Educación y Ciencia: Orden ECI/1252/2005, 4. toukokuuta 2005; asiakirja koskee neuvoa-antavan arviointi- ja ennustekomitean ”Comisión Asesora de Evaluación y Prospectiva” perustamista.

32

(33)  Saksalainen rahoituselin ”Deutsche Forschungsgemeinschaft” (DFG) perusti vuonna 2004 erikoistuneen instituutin ”Institut für Forschungsinformation und Qualitätssicherung” (IFQ), ja on antanut sille vastuun arviointimenetelmien kehittämisestä ja vakioinnista, laadunvarmennuksesta sekä DFG:n rahoittamien TTK-toimien arvioinnista.

33

DFG

(34)  Seitsemännen puiteohjelman yhteydessä komissio on perustanut 15 neuvoa-antavaa asiantuntijaryhmää; kuudennen puiteohjelman yhteydessä niitä oli 12 ja viidennen puiteohjelman yhteydessä 17. Neuvoa-antavat asiantuntijaryhmät antavat komissiolle neuvoja puiteohjelmia koskeviin politiikkoihin ja ohjelmiin liittyvissä kysymyksissä. On kuitenkin syytä panna merkille, että kyseiset ryhmät eivät kata puiteohjelmien ohjelmarakennetta kokonaisuudessaan. Toisin sanoen jokaista erityisohjelmaa (tai alaohjelmaa) varten ei ole neuvoa-antavaa asiantuntijaryhmää.

34

(35)  Kanadassa lähes kaikki liittovaltion ministeriöt ovat perustaneet pysyviä arviointikomiteoita, joihin osallistuu ministeriöiden ylimpiä virkamiehiä ja yleensä myös ulkopuolisia osallistujatahoja; komiteoiden tehtävänä on arviointijärjestelmän valvonta (”Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee – Mandate and Membership).

35

(36)  Euroopan komissio, ”Monitoring Report 2004 – Implementation of Activities under the EC and Euratom framework and corresponding specific programmes”, elokuu 2005, s. 5.

36

(37)  Euroopan komissio, ”Planning and optimising Commission human resources to serve EU priorities”, SEC(2007) 530, 24. huhtikuuta 2007.

37

(38)  Euroopan komissio, Michaele Schreyerin yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Evaluation standards and good practice”, K(2002) 5267, 23.12.2002; Euroopan komission valmisteluasiakirja, ”Impact assessment and ex-ante evaluation”, SEC(2005) 430, 6. huhtikuuta 2005, liite 1, alaviite 209.

38

(39)  Vuonna 2007 tutkimusalan eurooppalainen neuvoa-antava komitea (European Research Advisory Board, EURAB) suositti myös puiteohjelmien arviointiin suunnattavien resurssien lisäämistä (EURAB, ”Recommendations on Ex-Post Impact Assessment”, heinäkuu 2007).

39

(40)  Erityiskertomus nro 1/2004 tutkimusta ja teknologista kehittämistä koskevan viidennen puiteohjelman (1998–2002) epäsuorien TTK-toimien hallinnoinnista (EUVL C 99, 23.4.2004), kohdat 116 ja 122.

40

(41)  Euroopan komissio, budjettipääosasto, Dalia Grybauskaitėn yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, 21. helmikuuta 2007; Euroopan komissio, Michaele Schreyerin yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Evaluation standards and good practice”, K(2002) 5267, 23.12.2002.

41

(42)  Neljällätoista pääosastolla on tällaiset arviointikäsikirjat vastuulleen kuuluvia politiikan aloja ja ohjelmia varten (Euroopan komissio, budjettipääosasto – arviointiyksikkö, ”Overview of Evaluation Guides in the Commission”, lokakuu 2004).

42

(43)  Fahrenkrog, G. et al, RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; ”Assessing the Socio-economic Impacts of the Framework Programme”; Manchesterin yliopisto, 2002.

43

(44)  Komissiolla on yleensä tällaista tietoa osallistujista, mutta tieto ei useinkaan ole helposti hyödynnettävissä yksityiskohtaista analyysiä varten, sillä tiettyä osallistujaa koskevia tietoja ei säilytetä yhdessä paikassa eivätkä rekisteröintimuodot välttämättä ole yhteensopivia. Tämä vaikeuttaa osallistujan toimien jäljittämistä ajan kuluessa esimerkiksi osallistumatta jättämisen syiden analysoimiseksi, minkä lisäksi esimerkiksi verkottumisen vaikutusten tutkimiseen tähtäävä osallistujien välisten suhteiden analysointi vaikeutuu (ks. kohta 84).

44

(45)  Vuosikertomus varainhoitovuodelta 2006, taulukko 2.3; vuosikertomus varainhoitovuodelta 2005, kohta 7.13; vuosikertomus varainhoitovuodelta 2004, kohdat 6.8 ja 6.10; vuosikertomus varainhoitovuodelta 2003, kohdat 6.9 ja 6.70, erityiskertomus nro 1/2004, kohdat 105–108; lausunto nro 1/2006 ehdotuksesta Euroopan parlamentin ja neuvoston asetukseksi säännöistä, jotka koskevat yritysten, tutkimuskeskusten ja korkeakoulujen osallistumista seitsemännen puiteohjelman toimiin sekä tutkimustulosten levittämistä (2007–2013) (EUVL C 203, 25.8.2006), kohta 57.

45

(46)  Euroopan yhteisön perustamissopimus, 173 artikla: ”Jokaisen vuoden alussa komissio antaa Euroopan parlamentille ja neuvostolle kertomuksen. Kertomuksessa annetaan tiedot edellisen vuoden toiminnasta tutkimuksessa ja teknologisessa kehittämisessä sekä tulosten levittämisessä sekä kuluvan vuoden työohjelmasta.”

46

(47)  Osallistujilta ei ole pyritty keräämään järjestelmällisesti tietoja hankkeiden loppuun saattamisen jälkeen, lukuun ottamatta arviointien yhteydessä järjestettyjä erityisiä kyselytutkimuksia. Kyselytutkimusten käyttöä on haitannut se, että osallistujilla ei ole – toisin kuin useiden kansallisten TTK-ohjelmien yhteydessä (esimerkiksi Saksassa) – oikeudellista velvoitetta tällaisten analyyttisten tietojen toimittamiseen.

47

(48)  Erityiskertomus nro 1/2004, kohta 94; lausunto nro 1/2006, kohta 56.

48

(49)  Vuosikertomus varainhoitovuodelta 2006, kohta 7.33; vuosikertomus varainhoitovuodelta 2005, kohdat 7.8 ja 7.29; lausunto nro 1/2006, kohdat 58–61.

49

(50)  CORDIS on ainoa koko puiteohjelman kattava tietokanta, joka sisältää tietoa ehdotuksista, hankkeista ja tuloksista, kattaa useita ohjelmakausia ja johon on pääsy myös komission ulkopuolelta. Tietokannan tietoja yksittäisistä hankkeista ei kuitenkaan usein päivitetä sen jälkeen kun hanke-ehdotus on valittu. Ennen kuudetta puiteohjelmaa ja kuudennen puiteohjelman yhteydessä puiteohjelmiin osallistuvilla julkisen ja yksityisen sektorin tahoilla ei ollut velvoitetta tulostensa julkistamiseen (tutkimusalan eurooppalainen neuvoa-antava komitea (European Research Advisory Board, EURAB), ”Scientific publication: policy on open access”, joulukuu 2006).

50

European Research Advisory Board

(51)  Hanne Foss Hansen, ”Choosing evaluation models: A discussion on evaluation design,” Evaluation, Vol. 11, No 4, 2005, sivut 447–462.

51

(52)  Ennen kuudetta puiteohjelmaa ja kuudennen puiteohjelman yhteydessä puiteohjelmiin osallistuvilla julkisen ja yksityisen sektorin tahoilla ei ollut velvoitetta tieteellisten tulostensa julkistamiseen. EURAB suositti joulukuussa 2006, että yhteisön tuella rahoitetun tutkimuksen kohdalla taattaisiin vapaa julkinen saatavuus muuttamalla julkaiseminen pakolliseksi. Ehdotettiin, että komission olisi perustettava Internet-tietokanta julkaistuja hanketuloksia varten (ks. EURAB, ”Scientific publication: policy on open access”, joulukuu 2006).

52

(53)  On syytä todeta, että tällaisia malleja käytettiin laadittaessa ennusteita suunnitellun seitsemännen puiteohjelman mikro- ja makrotaloudellisista vaikutuksista (ks. Euroopan komissio, ”Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes”, elokuu 2005, sivut 23–25). Ei ole kuitenkaan osoitusta siitä, että kyseinen puiteohjelmien mahdollisia taloudellisia vaikutuksia koskeva arviointi liittyisi mihinkään jälkiarviointisuunnitelmaan.

53

(54)  Tietoyhteiskunnan ja viestinten pääosasto, ”IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)”, 2005; ”Networks of innovation in information society development and deployment in Europe”, 2006.

54

(55)  Tietoyhteiskunnan ja viestinten pääosasto: ERAnets – Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area (loppukertomus), 2005; ”Evaluation of progress towards a European Research Area for information society technologies”, 2005; ”Networks of innovation in information society development and deployment in Europe”, 2006.

55

(56)  Tietoyhteiskunnan ja viestinten pääosasto: ”Framework contract for Impact Assessments for research in the field of Information Society Technologies”.

56

(57)  EURAB, ”Recommendations on Ex-Post Impact Assessment”, heinäkuu 2007.

57

(58)  Euroopan komissio, ”Five-year Assessment of the European Union Research Framework Programmes, 1999–2003”. Erkki Ormalan johtaman riippumattoman asiantuntijaryhmän raportti (15. joulukuuta 2004), liite 1.

58

(59)  Euroopan komissio, ”The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report” (1995).

59

(60)  Euroopan komissio, ”Design of an harmonized impact study methodology for the R&D EU Framework Programmes”, 1992.

60

(61)  Euroopan komission yksiköiden valmisteluasiakirja, ”The European Research Area: new perspectives”, SEC(2007) 412/2, 4. huhtikuuta 2007, kohta 3.3.3 ”ERA and the implications for evidence-based monitoring and evaluation”, s. 93.

61

(62)  On syytä tuoda esille, että hankkeita koskevia avustussopimuksia tehdään koko ohjelmakauden ajan siten, että ensimmäiset sopimukset tulevat yleensä voimaan ohjelman ensimmäisen toteutusvuoden lopussa. Sopimukset ovat useimmiten voimassa kolmesta viiteen vuotta, joten lopullisia tuotoksia voidaan odottaa aikaisintaan 4–6 vuoden kuluttua.

62

Lähde: Euroopan tilintarkastustuomioistuin.

Lähde:

(63)  Euroopan komissio, ”Five year assessment of the European Union Research Framework Programmes, 1999–2003”, Erkki Ormalan johtaman riippumattoman asiantuntijaryhmän raportti (15. joulukuuta 2004): kohta 6 ”Evaluating the Framework Programme”, s. 19.

63

(64)  Euroopan komissio, ”Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies”, the so-called ”EPUB Toolbox”, laatijat: yhteinen tutkimuskeskus – teknologian alan ennusteita laativa tutkimuslaitos (Institute for Prospective Technological Studies, IPTS) ja Joanneum Research (elokuu 2002), tiivistelmä, sivut 9 ja12.

64

(65)  Euroopan komissio, ”Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21. kesäkuuta 2004, professori Ramon Marimónin johtaman korkean tason asiantuntijaryhmän raportti, s. 20.

65

(66)  European Policy Evaluation Consortium (EPEC), Technopolis France, ”Study on the use of evaluation results in the Commission: Final report”, asiakirja nro 1 Synthesis report and annexes, toukokuu 2005.

66

(67)  Tieteen ja tekniikan tutkimuskomitean vastaajien (jotka kuuluvat usein myös ohjelmakomiteoihin) ilmoittama korkeampi tyytyväisyysaste saattaa johtua siitä, että komitean jäsenillä on virallinen asema hankkeiden täytäntöönpanon seurannassa.

67

(68)  Euroopan komission valmisteluasiakirja, Annual Evaluation Review 2004 – Overview of the Commission's evaluation findings and activities, SEC(2005) 587, 28. huhtikuuta 2005.

68

(69)  Euroopan komissio, budjettipääosasto, Dalia Grybauskaitėn yhdessä puheenjohtajan kanssa komissiolle antama tiedonanto, ”Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, 21. helmikuuta 2007, s. 4.

69

---

LIITE I

TTK-TOIMIIN LIITTYVIEN JULKISTEN INTERVENTIOIDEN VAIKUTUSTEN JA TULOSTEN MITTAAMINEN

TTK-toimia koskevien julkisten interventioiden vaikutusten ja tulosten mittaamismenetelmiin liittyvät esimerkiksi seuraavat keskeiset ongelmat:

| — | ”Osoittamiseen liittyvät ongelmat”: Osoittamiseen liittyvät ongelmat ilmenevät arviointien ja tulosten mittaamisen yhteydessä. Ne liittyvät läheisesti kysymykseen ”täydentävyydestä” – olisivatko muutokset tapahtuneet joka tapauksessa? Siihen, että tulosten on vaikea osoittaa olevan seurausta tietystä julkisesta tukitoimenpiteestä, vaikuttavat myös lukuisat ulkoiset tekijät (esimerkiksi muiden politiikkojen tai ohjelmien vaikutukset, säädösperustaan liittyvät muutokset ja yhteiskunnalliset muutokset). Tutkimusalalla kyseessä voi olla onnistuminen, vaikka odotetut tulokset jäisivätkin saavuttamatta. Mutkistavana tekijänä on myös se, että on ilmeisen vaikeaa osoittaa selkeästi, miten tutkimuksen tuotokset – tuloksista ja vaikutuksista puhumattakaan – polveutuvat tietyistä TTK-prosessin näkökohdista tai edes tietyistä yksittäisistä tutkimustoimintaan osallistuvista yksiköistä. |
| --- | --- |

—

”Osoittamiseen liittyvät ongelmat”: Osoittamiseen liittyvät ongelmat ilmenevät arviointien ja tulosten mittaamisen yhteydessä. Ne liittyvät läheisesti kysymykseen ”täydentävyydestä” – olisivatko muutokset tapahtuneet joka tapauksessa? Siihen, että tulosten on vaikea osoittaa olevan seurausta tietystä julkisesta tukitoimenpiteestä, vaikuttavat myös lukuisat ulkoiset tekijät (esimerkiksi muiden politiikkojen tai ohjelmien vaikutukset, säädösperustaan liittyvät muutokset ja yhteiskunnalliset muutokset). Tutkimusalalla kyseessä voi olla onnistuminen, vaikka odotetut tulokset jäisivätkin saavuttamatta. Mutkistavana tekijänä on myös se, että on ilmeisen vaikeaa osoittaa selkeästi, miten tutkimuksen tuotokset – tuloksista ja vaikutuksista puhumattakaan – polveutuvat tietyistä TTK-prosessin näkökohdista tai edes tietyistä yksittäisistä tutkimustoimintaan osallistuvista yksiköistä.

| — | ”Mittaamisongelmat”:







  — | ”Tietojen saatavuus”: Yleisesti ottaen suurin osa saatavilla olevasta, etenkin seurantajärjestelmien avulla kerätystä tiedosta koskee TTK-toimien panoksia ja tuotoksia eikä niinkään tuloksia tai vaikutuksia. |
| --- | --- | --- |

—

”Mittaamisongelmat”:

—

”Tietojen saatavuus”: Yleisesti ottaen suurin osa saatavilla olevasta, etenkin seurantajärjestelmien avulla kerätystä tiedosta koskee TTK-toimien panoksia ja tuotoksia eikä niinkään tuloksia tai vaikutuksia.

| — | ”Dynamiikan ymmärtäminen”: Kun otetaan huomioon, että on ilmeisen vaikeaa muodostaa syy-seuraussuhdetta panosten ja tuotosten välille, tutkimusprosessin sisäinen dynamiikka jää epäselväksi; selkeän toimintalogiikan puuttuessa itse prosessin katsotaan usein olevan selityksen tarjoava ”musta laatikko”. |
| --- | --- |

—

”Dynamiikan ymmärtäminen”: Kun otetaan huomioon, että on ilmeisen vaikeaa muodostaa syy-seuraussuhdetta panosten ja tuotosten välille, tutkimusprosessin sisäinen dynamiikka jää epäselväksi; selkeän toimintalogiikan puuttuessa itse prosessin katsotaan usein olevan selityksen tarjoava ”musta laatikko”.

| — | ”Tulosten vertailukelpoisuus”: Eri tieteenalojen tulosten välinen vertailu on mahdollista vain rajoitetussa määrin, joten tuloksia tulee yleensä tulkita erityis- tai alaohjelmien puitteissa. Tulosten arviointi on lisäksi vaikeampaa perustutkimuksen alalla kuin soveltavan tutkimuksen tai teknologisen kehittämisen aloilla. Tähän on pääsyynä se, että perustutkimus koostuu yleensä yksittäisistä menettelyistä, jotka eivät ole toistettavissa. Tulokset vaihtelevat huomattavasti jopa soveltavan tutkimuksen alalla eivätkä näin ollen ole helposti vertailtavissa. |
| --- | --- |

—

”Tulosten vertailukelpoisuus”: Eri tieteenalojen tulosten välinen vertailu on mahdollista vain rajoitetussa määrin, joten tuloksia tulee yleensä tulkita erityis- tai alaohjelmien puitteissa. Tulosten arviointi on lisäksi vaikeampaa perustutkimuksen alalla kuin soveltavan tutkimuksen tai teknologisen kehittämisen aloilla. Tähän on pääsyynä se, että perustutkimus koostuu yleensä yksittäisistä menettelyistä, jotka eivät ole toistettavissa. Tulokset vaihtelevat huomattavasti jopa soveltavan tutkimuksen alalla eivätkä näin ollen ole helposti vertailtavissa.

| — | ”Kertyneet tulokset”: On vaikea tehdä arviointitulosten perusteella päätelmiä siitä, mitkä ovat alemman tason tuotokset, tulokset ja vaikutukset siirryttäessä seuraavalle tasolle (esimerkiksi koottaessa hankkeiden tuloksia edeten hanketasolta ensin hankeryhmiin ja sitten ohjelmaan kuuluville aloille ja lopulta itse ohjelmaan). |
| --- | --- |

—

”Kertyneet tulokset”: On vaikea tehdä arviointitulosten perusteella päätelmiä siitä, mitkä ovat alemman tason tuotokset, tulokset ja vaikutukset siirryttäessä seuraavalle tasolle (esimerkiksi koottaessa hankkeiden tuloksia edeten hanketasolta ensin hankeryhmiin ja sitten ohjelmaan kuuluville aloille ja lopulta itse ohjelmaan).

| — | ”Indikaattoreiden riittävyys”: Esiin tulee myös kysymys, mittaavatko arvioijat oikeita asioita. Indikaattoreiden tulee olla helposti mitattavissa, vaikeasti manipuloitavissa ja edistää oikeanlaista toimintatapaa. Toisaalta ”mitattavissa olevan” tuotoksiin sovellettavan indikaattorin avulla ei välttämättä voida tehdä päätelmiä tuloksista tai vaikutuksista. |
| --- | --- |

—

”Indikaattoreiden riittävyys”: Esiin tulee myös kysymys, mittaavatko arvioijat oikeita asioita. Indikaattoreiden tulee olla helposti mitattavissa, vaikeasti manipuloitavissa ja edistää oikeanlaista toimintatapaa. Toisaalta ”mitattavissa olevan” tuotoksiin sovellettavan indikaattorin avulla ei välttämättä voida tehdä päätelmiä tuloksista tai vaikutuksista.

| — | ”Ajoitukseen liittyvät ongelmat”: Haittaavana tekijänä on niin ikään se, että tutkimustoiminnan ja tuotosten sekä tulosten syntymisen väliin jää huomattava viive ennen kuin vaikutukset ovat arvioitavissa. Tietoja on kerättävä pitkällä aikavälillä, jotta voidaan tehdä päteviä ja pitäviä päätelmiä. Tällaiset arviointiin kuluvat aikavälit eivät useinkaan ole yhteneväisiä politiikkojen laatijoiden odotusten ja tarpeiden kanssa, joten on ratkaistava, miten tulokset voidaan toimittaa nopeasti politiikkojen laatimista varten ja samalla antaa riittävästi aikaa sille, että vaikutukset ehtivät tulla esiin. |
| --- | --- |

—

”Ajoitukseen liittyvät ongelmat”: Haittaavana tekijänä on niin ikään se, että tutkimustoiminnan ja tuotosten sekä tulosten syntymisen väliin jää huomattava viive ennen kuin vaikutukset ovat arvioitavissa. Tietoja on kerättävä pitkällä aikavälillä, jotta voidaan tehdä päteviä ja pitäviä päätelmiä. Tällaiset arviointiin kuluvat aikavälit eivät useinkaan ole yhteneväisiä politiikkojen laatijoiden odotusten ja tarpeiden kanssa, joten on ratkaistava, miten tulokset voidaan toimittaa nopeasti politiikkojen laatimista varten ja samalla antaa riittävästi aikaa sille, että vaikutukset ehtivät tulla esiin.

| — | ”Virheelliset käsitykset hankkeesta”: Arvioitaessa ohjelman yhteydessä toteutettavien yksittäisten hankkeiden tuloksia ja vaikutuksia on otettava huomioon seuraava ongelma: teknologiset ja tieteelliset tulokset on yleensä saavutettu aiempaa työtä hyödyntämällä. Vastaavasti osallistuja saattaa hyödyntää hankkeen tuloksia muuhun työhön ennen tieteellisten tulosten julkaisemista ja hyödyntämistä. Näin ollen hanke sinällään ei välttämättä muodosta asianmukaisia puitteita etenkään pidemmän aikavälin tulosten ja vaikutusten arvioinnille. |
| --- | --- |

—

”Virheelliset käsitykset hankkeesta”: Arvioitaessa ohjelman yhteydessä toteutettavien yksittäisten hankkeiden tuloksia ja vaikutuksia on otettava huomioon seuraava ongelma: teknologiset ja tieteelliset tulokset on yleensä saavutettu aiempaa työtä hyödyntämällä. Vastaavasti osallistuja saattaa hyödyntää hankkeen tuloksia muuhun työhön ennen tieteellisten tulosten julkaisemista ja hyödyntämistä. Näin ollen hanke sinällään ei välttämättä muodosta asianmukaisia puitteita etenkään pidemmän aikavälin tulosten ja vaikutusten arvioinnille.

| — | ”Uskottavuus, rehellisyys ja riippumattomuus”: Arvioinnin laatu riippuu suurelta osin arvioijien sitoutumisesta kyseiseen aiheeseen; toiminta edellyttää toisaalta ymmärtämyksen ja asiantuntemuksen ja toisaalta riippumattomuuden ja objektiivisuuden yhteensovittamista. Laatu on riippuvainen niin ikään politiikkojen laatijoiden oletuksista ja kiinnostuksen painopisteistä sekä arvioinnin lähtökohdista ja tarkoituksista. |
| --- | --- |

—

”Uskottavuus, rehellisyys ja riippumattomuus”: Arvioinnin laatu riippuu suurelta osin arvioijien sitoutumisesta kyseiseen aiheeseen; toiminta edellyttää toisaalta ymmärtämyksen ja asiantuntemuksen ja toisaalta riippumattomuuden ja objektiivisuuden yhteensovittamista. Laatu on riippuvainen niin ikään politiikkojen laatijoiden oletuksista ja kiinnostuksen painopisteistä sekä arvioinnin lähtökohdista ja tarkoituksista.

---

LIITE II

SEURANTAA JA ARVIOINTIA KOSKEVAT SÄÄNNÖKSET PUITEOHJELMISTA TEHDYISSÄ PÄÄTÖKSISSÄ NELJÄNNESTÄ PUITEOHJELMASTA SEITSEMÄNTEEN

| Neljäs puiteohjelma (1995–1998)
   (1) | Viides puiteohjelma (1999–2002)
   (2) | Kuudes puiteohjelma (2003–2006)
   (3) | Seitsemäs puiteohjelma (2007–2013)
   (4) |
| --- | --- | --- | --- |
| Puiteohjelmaa koskeva päätös – neuvosto ja Euroopan parlamentti |
| Euroopan parlamentin ja neuvoston päätös N:o 1110/94/EY, tehty 26 päivänä huhtikuuta 1994, neljännestä puiteohjelmasta tutkimusta, teknologista kehittämistä ja esittelyä koskevien toimien osalta (1994–1998): 4 artikla | Euroopan parlamentin ja neuvoston päätös N:o 182/1999/EY, tehty 22 päivänä joulukuuta 1998, Euroopan yhteisön tutkimusta, teknologista kehittämistä ja esittelyä tarkoittavia toimia koskevasta viidennestä puiteohjelmasta (1998–2002): 5 ja 6 artikla | Euroopan parlamentin ja neuvoston päätös N:o 1513/2002/EY, tehty 27 päivänä kesäkuuta 2002, eurooppalaisen tutkimusalueen toteuttamista ja innovointia tukevasta Euroopan yhteisön kuudennesta tutkimuksen, teknologian kehittämisen ja esittelyn puiteohjelmasta (2002–2006): johdanto-osan 20 kappale, 4 ja 6 artikla, liite III | Euroopan parlamentin ja neuvoston päätös N:o 1982/2006/EY, tehty 18 päivänä joulukuuta 2006, Euroopan yhteisön seitsemännestä tutkimuksen, teknologian kehittämisen ja demonstroinnin puiteohjelmasta (2007–2013): 7 artikla |
| Seuranta |
| — | komissio tarkkailee jatkuvasti ja järjestelmällisesti ulkopuolisten riippumattomien asiantuntijoiden asianmukaisesti avustamana neljännen puiteohjelman edistymistä sen alkuperäisiin tavoitteisiin nähden (4 artiklan 1 kohta) |

Neljäs puiteohjelma (1995–1998)
   (1)

Viides puiteohjelma (1999–2002)
   (2)

Kuudes puiteohjelma (2003–2006)
   (3)

Seitsemäs puiteohjelma (2007–2013)
   (4)

Puiteohjelmaa koskeva päätös – neuvosto ja Euroopan parlamentti

Euroopan parlamentin ja neuvoston päätös N:o 1110/94/EY, tehty 26 päivänä huhtikuuta 1994, neljännestä puiteohjelmasta tutkimusta, teknologista kehittämistä ja esittelyä koskevien toimien osalta (1994–1998): 4 artikla

Euroopan parlamentin ja neuvoston päätös N:o 182/1999/EY, tehty 22 päivänä joulukuuta 1998, Euroopan yhteisön tutkimusta, teknologista kehittämistä ja esittelyä tarkoittavia toimia koskevasta viidennestä puiteohjelmasta (1998–2002): 5 ja 6 artikla

Euroopan parlamentin ja neuvoston päätös N:o 1513/2002/EY, tehty 27 päivänä kesäkuuta 2002, eurooppalaisen tutkimusalueen toteuttamista ja innovointia tukevasta Euroopan yhteisön kuudennesta tutkimuksen, teknologian kehittämisen ja esittelyn puiteohjelmasta (2002–2006): johdanto-osan 20 kappale, 4 ja 6 artikla, liite III

Euroopan parlamentin ja neuvoston päätös N:o 1982/2006/EY, tehty 18 päivänä joulukuuta 2006, Euroopan yhteisön seitsemännestä tutkimuksen, teknologian kehittämisen ja demonstroinnin puiteohjelmasta (2007–2013): 7 artikla

Seuranta

—

komissio tarkkailee jatkuvasti ja järjestelmällisesti ulkopuolisten riippumattomien asiantuntijoiden asianmukaisesti avustamana neljännen puiteohjelman edistymistä sen alkuperäisiin tavoitteisiin nähden (4 artiklan 1 kohta)

| — | komissio seuraa vuosittain jatkuvasti ja järjestelmällisesti riippumattomien pätevien asiantuntijoiden avustuksella viidennen puiteohjelman ja sen erityisohjelmien täytäntöönpanoa liitteessä I esitettyjen perusteiden ja liitteessä II esitettyjen tieteellisten ja teknologisten tavoitteiden pohjalta (5 artiklan 1 kohta) |
| --- | --- |

—

komissio seuraa vuosittain jatkuvasti ja järjestelmällisesti riippumattomien pätevien asiantuntijoiden avustuksella viidennen puiteohjelman ja sen erityisohjelmien täytäntöönpanoa liitteessä I esitettyjen perusteiden ja liitteessä II esitettyjen tieteellisten ja teknologisten tavoitteiden pohjalta (5 artiklan 1 kohta)

| — | komissio seuraa jatkuvasti ja järjestelmällisesti riippumattomien pätevien asiantuntijoiden avustuksella kuudennen puiteohjelman ja sen erityisohjelmien täytäntöönpanoa (4 artikla ja 6 artiklan 1 kohta) |
| --- | --- |

—

komissio seuraa jatkuvasti ja järjestelmällisesti riippumattomien pätevien asiantuntijoiden avustuksella kuudennen puiteohjelman ja sen erityisohjelmien täytäntöönpanoa (4 artikla ja 6 artiklan 1 kohta)

| — | komissio seuraa jatkuvasti ja järjestelmällisesti seitsemännen puiteohjelman ja sen erityisohjelmien toteuttamista (7 artiklan 1 kohta) |
| --- | --- |

—

komissio seuraa jatkuvasti ja järjestelmällisesti seitsemännen puiteohjelman ja sen erityisohjelmien toteuttamista (7 artiklan 1 kohta)

| — | komissio arvioi erityisesti, sopivatko tavoitteet, painopisteet ja rahoitus edelleen muuttuneeseen tilanteeseen. Tarvittaessa komissio tekee tämän arvioinnin tulokset huomioon ottaen ehdotuksia puiteohjelman ja/tai erityisohjelmien mukauttamiseksi tai täydentämiseksi (5 artiklan 1 kohta) |
| --- | --- |

—

komissio arvioi erityisesti, sopivatko tavoitteet, painopisteet ja rahoitus edelleen muuttuneeseen tilanteeseen. Tarvittaessa komissio tekee tämän arvioinnin tulokset huomioon ottaen ehdotuksia puiteohjelman ja/tai erityisohjelmien mukauttamiseksi tai täydentämiseksi (5 artiklan 1 kohta)

| — | kaikkea tutkimustoimintaa tarkistetaan säännöllisesti, ja tarkistukseen sisältyy erityisesti huippututkimuksen tason seuranta (liite III, 1 kohta (välineet)) |
| --- | --- |

—

kaikkea tutkimustoimintaa tarkistetaan säännöllisesti, ja tarkistukseen sisältyy erityisesti huippututkimuksen tason seuranta (liite III, 1 kohta (välineet))

| — | komissio raportoi säännöllisesti tämän seurannan tuloksista ja levittää niitä (7 artiklan 1 kohta) |
| --- | --- |

—

komissio raportoi säännöllisesti tämän seurannan tuloksista ja levittää niitä (7 artiklan 1 kohta)

173 artikla – Vuotuinen kertomus

| — | perustamissopimuksen 173 artiklan mukaisesti esitettävän vuosikertomuksen yhteydessä komissio antaa yksityiskohtaista tietoa kuudennen puiteohjelman ja erityisesti sen liitteen I kussakin jaksossa asetettujen tavoitteiden ja painopisteiden toteutumisesta. Kertomus sisältää myös rahoitusnäkökohtiin ja välineiden käyttöön liittyvää tietoa (4 artikla) |
| --- | --- |

—

perustamissopimuksen 173 artiklan mukaisesti esitettävän vuosikertomuksen yhteydessä komissio antaa yksityiskohtaista tietoa kuudennen puiteohjelman ja erityisesti sen liitteen I kussakin jaksossa asetettujen tavoitteiden ja painopisteiden toteutumisesta. Kertomus sisältää myös rahoitusnäkökohtiin ja välineiden käyttöön liittyvää tietoa (4 artikla)

Väliarviointi

| — | komissio tarkastelee puiteohjelman voimassaoloajan puolivälissä uudelleen ohjelman toteuttamista (6 artikla) |
| --- | --- |

—

komissio tarkastelee puiteohjelman voimassaoloajan puolivälissä uudelleen ohjelman toteuttamista (6 artikla)

| — | komissio antaa neuvostolle ja Euroopan parlamentille erilaisten erityisohjelmien arviointeihin perustuvan tiedonannon, johon liitetään tarvittaessa ehdotus tämän päätöksen mukauttamisesta (6 artikla) |
| --- | --- |

—

komissio antaa neuvostolle ja Euroopan parlamentille erilaisten erityisohjelmien arviointeihin perustuvan tiedonannon, johon liitetään tarvittaessa ehdotus tämän päätöksen mukauttamisesta (6 artikla)

| — | komissio tekee viimeistään vuonna 2010 ulkopuolisten asiantuntijoiden avustuksella tästä puiteohjelmasta ja sen erityisohjelmista konkreettisten tulosten perusteella väliarvioinnin, jonka perustana käytetään edellisen puiteohjelman jälkiarviointia. Arvioinnissa tarkastellaan käynnissä olevien tutkimustoimien laatua sekä toteutuksen ja hallinnoinnin laadukkuutta ja edistymistä asetettujen tavoitteiden saavuttamisessa (7 artiklan 2 kohta) |
| --- | --- |

—

komissio tekee viimeistään vuonna 2010 ulkopuolisten asiantuntijoiden avustuksella tästä puiteohjelmasta ja sen erityisohjelmista konkreettisten tulosten perusteella väliarvioinnin, jonka perustana käytetään edellisen puiteohjelman jälkiarviointia. Arvioinnissa tarkastellaan käynnissä olevien tutkimustoimien laatua sekä toteutuksen ja hallinnoinnin laadukkuutta ja edistymistä asetettujen tavoitteiden saavuttamisessa (7 artiklan 2 kohta)

| — | komissio toimittaa arvioinnin päätelmät sekä niitä koskevat omat huomautuksensa ja tarvittaessa ehdotuksensa puiteohjelman mukauttamiseksi Euroopan parlamentille, neuvostolle, Euroopan talous- ja sosiaalikomitealle sekä alueiden komitealle (7 artiklan 2 kohta) |
| --- | --- |

—

komissio toimittaa arvioinnin päätelmät sekä niitä koskevat omat huomautuksensa ja tarvittaessa ehdotuksensa puiteohjelman mukauttamiseksi Euroopan parlamentille, neuvostolle, Euroopan talous- ja sosiaalikomitealle sekä alueiden komitealle (7 artiklan 2 kohta)

| — | komissio tiedottaa säännöllisesti Euroopan parlamentille ja neuvostolle yleisestä edistymisestä puiteohjelman ja erityisohjelmien täytäntöönpanossa (5 artiklan 4 kohta) |
| --- | --- |

—

komissio tiedottaa säännöllisesti Euroopan parlamentille ja neuvostolle yleisestä edistymisestä puiteohjelman ja erityisohjelmien täytäntöönpanossa (5 artiklan 4 kohta)

| — | komission olisi annettava Euroopan parlamentille ja neuvostolle säännöllisesti tietoja kuudennen puiteohjelman toteutusvaiheista (johdanto-osan 20 kappale) |
| --- | --- |

—

komission olisi annettava Euroopan parlamentille ja neuvostolle säännöllisesti tietoja kuudennen puiteohjelman toteutusvaiheista (johdanto-osan 20 kappale)

| — | ennen väliarviointia laaditaan tilannekatsaus heti kun tietoa on riittävästi saatavilla ja siinä esitetään alustavat tulokset seitsemännen puiteohjelman nojalla käynnistettyjen uusien toimien tehokkuudesta sekä yksinkertaistamistoimista (7 artiklan 2 kohta) |
| --- | --- |

—

ennen väliarviointia laaditaan tilannekatsaus heti kun tietoa on riittävästi saatavilla ja siinä esitetään alustavat tulokset seitsemännen puiteohjelman nojalla käynnistettyjen uusien toimien tehokkuudesta sekä yksinkertaistamistoimista (7 artiklan 2 kohta)

| — | vuonna 2004 riippumattomat asiantuntijat arvioivat kunkin välineen tehokkuutta tämän ohjelman toteuttamisessa (liite III, 1 kohta (välineet)) |
| --- | --- |

—

vuonna 2004 riippumattomat asiantuntijat arvioivat kunkin välineen tehokkuutta tämän ohjelman toteuttamisessa (liite III, 1 kohta (välineet))

Viisivuotisarviointi

| — | komissio laadituttaa riippumattomilla ja pätevillä asiantuntijoilla ulkopuolisen arvion viiden vuoden aikana ennen tätä arviota toteutettujen yhteisön toimien hallinnoimisesta ja edistymisvaiheista (4 artiklan 2 kohta) |
| --- | --- |

—

komissio laadituttaa riippumattomilla ja pätevillä asiantuntijoilla ulkopuolisen arvion viiden vuoden aikana ennen tätä arviota toteutettujen yhteisön toimien hallinnoimisesta ja edistymisvaiheista (4 artiklan 2 kohta)

| — | komissio teettää riippumattomilla erittäin pätevillä asiantuntijoilla ulkopuolisen arvion yhteisön toimien toteutuksesta ja saavutuksista arviointia edeltäneiden viiden vuoden aikana liitteessä I esitettyjen perusteiden ja liitteessä II esitettyjen tieteellisten ja teknologisten tavoitteiden pohjalta (5 artiklan 2 kohta) |
| --- | --- |

—

komissio teettää riippumattomilla erittäin pätevillä asiantuntijoilla ulkopuolisen arvion yhteisön toimien toteutuksesta ja saavutuksista arviointia edeltäneiden viiden vuoden aikana liitteessä I esitettyjen perusteiden ja liitteessä II esitettyjen tieteellisten ja teknologisten tavoitteiden pohjalta (5 artiklan 2 kohta)

| — | komissio teettää erittäin pätevillä riippumattomilla asiantuntijoilla ulkopuolisen arvion yhteisön toimien toteutuksesta ja saavutetuista tuloksista arviota edeltävien viiden vuoden aikana (6 artiklan 2 kohta) (komissio teettää riippumattoman arvioinnin toteutetuista toimista ottaen huomioon kuudennen puiteohjelman merkityksen eurooppalaisen tutkimusalueen luomisen kannalta (johdanto-osan 20 kappale)) |
| --- | --- |

—

komissio teettää erittäin pätevillä riippumattomilla asiantuntijoilla ulkopuolisen arvion yhteisön toimien toteutuksesta ja saavutetuista tuloksista arviota edeltävien viiden vuoden aikana (6 artiklan 2 kohta) (komissio teettää riippumattoman arvioinnin toteutetuista toimista ottaen huomioon kuudennen puiteohjelman merkityksen eurooppalaisen tutkimusalueen luomisen kannalta (johdanto-osan 20 kappale))

| — | komissio toimittaa tämän kertomuksen ja johtopäätöksensä huomautuksineen Euroopan parlamentille, neuvostolle sekä talous- ja sosiaalikomitealle ennen seuraavan puiteohjelman ehdotuksen esittämistä (4 artiklan 2 kohta) |
| --- | --- |

—

komissio toimittaa tämän kertomuksen ja johtopäätöksensä huomautuksineen Euroopan parlamentille, neuvostolle sekä talous- ja sosiaalikomitealle ennen seuraavan puiteohjelman ehdotuksen esittämistä (4 artiklan 2 kohta)

| — | komissio toimittaa arvioinnin perusteella tekemänsä päätelmät ja huomautuksensa Euroopan parlamentille, neuvostolle, talous- ja sosiaalikomitealle sekä alueiden komitealle ennen kuin tekee ehdotuksensa seuraavaksi puiteohjelmaksi (5 artiklan 2 kohta) |
| --- | --- |

—

komissio toimittaa arvioinnin perusteella tekemänsä päätelmät ja huomautuksensa Euroopan parlamentille, neuvostolle, talous- ja sosiaalikomitealle sekä alueiden komitealle ennen kuin tekee ehdotuksensa seuraavaksi puiteohjelmaksi (5 artiklan 2 kohta)

| — | komissio toimittaa arvioinnin päätelmät ja omat huomautuksensa Euroopan parlamentille, neuvostolle, talous- ja sosiaalikomitealle sekä alueiden komitealle (6 artiklan 2 kohta) hyvissä ajoin ennen seuraavaa puiteohjelmaa koskevan ehdotuksen esittämistä (johdanto-osan 20 kappale) |
| --- | --- |

—

komissio toimittaa arvioinnin päätelmät ja omat huomautuksensa Euroopan parlamentille, neuvostolle, talous- ja sosiaalikomitealle sekä alueiden komitealle (6 artiklan 2 kohta) hyvissä ajoin ennen seuraavaa puiteohjelmaa koskevan ehdotuksen esittämistä (johdanto-osan 20 kappale)

Loppuarviointi

(ks. erityisohjelmaa koskeva päätös)

| — | seitsemännen puiteohjelman päättymisen jälkeen komissio teettää kahden vuoden kuluessa (eli vuonna 2015) ohjelman lähtökohtia, toteutusta ja saavutuksia koskevan ulkopuolisen arvioinnin, jonka suorittavat riippumattomat asiantuntijat (7 artiklan 3 kohta) |
| --- | --- |

—

seitsemännen puiteohjelman päättymisen jälkeen komissio teettää kahden vuoden kuluessa (eli vuonna 2015) ohjelman lähtökohtia, toteutusta ja saavutuksia koskevan ulkopuolisen arvioinnin, jonka suorittavat riippumattomat asiantuntijat (7 artiklan 3 kohta)

| — | komissio toimittaa arvioinnin päätelmät ja niitä koskevat omat huomautuksensa Euroopan parlamentille, neuvostolle, Euroopan talous- ja sosiaalikomitealle sekä alueiden komitealle (7 artiklan 3 kohta) |
| --- | --- |

—

komissio toimittaa arvioinnin päätelmät ja niitä koskevat omat huomautuksensa Euroopan parlamentille, neuvostolle, Euroopan talous- ja sosiaalikomitealle sekä alueiden komitealle (7 artiklan 3 kohta)

Riippumattomat asiantuntijat

| — | komissio varmistaa, että riippumattomat pätevät asiantuntijat edustavat erityisesti tiedeyhteisöä, teollisuutta ja käyttäjiä, ja julkistaa täydellisen luettelon asiantuntijoista ja heidän pätevyyksistään nimityksen jälkeen (5 artiklan 3 kohta)
  (riippumattomia asiantuntijoita koskevien lisäsäännösten osalta ks. neuvoston päätös 1999/65/EY, 9 artikla) |
| --- | --- |

—

komissio varmistaa, että riippumattomat pätevät asiantuntijat edustavat erityisesti tiedeyhteisöä, teollisuutta ja käyttäjiä, ja julkistaa täydellisen luettelon asiantuntijoista ja heidän pätevyyksistään nimityksen jälkeen (5 artiklan 3 kohta)

(riippumattomia asiantuntijoita koskevien lisäsäännösten osalta ks. neuvoston päätös 1999/65/EY, 9 artikla)

| — | komissio nimeää riippumattomat asiantuntijat avustamaan kuudennessa puiteohjelmassa ja erityisohjelmissa tarkoitetuissa arvioinneissa sekä 10 artiklan 6 kohdassa ja 18 artiklan 1 kohdan toisessa alakohdassa tarkoitettuja avustustehtäviä varten |
| --- | --- |

—

komissio nimeää riippumattomat asiantuntijat avustamaan kuudennessa puiteohjelmassa ja erityisohjelmissa tarkoitetuissa arvioinneissa sekä 10 artiklan 6 kohdassa ja 18 artiklan 1 kohdan toisessa alakohdassa tarkoitettuja avustustehtäviä varten

| — | lisäksi komissio voi perustaa riippumattomia asiantuntijaryhmiä, jotka antavat yhteisön tutkimuspolitiikan toteuttamista koskevia neuvoja |
| --- | --- |

—

lisäksi komissio voi perustaa riippumattomia asiantuntijaryhmiä, jotka antavat yhteisön tutkimuspolitiikan toteuttamista koskevia neuvoja

| — | (riippumattomia asiantuntijoita koskevien säännösten osalta ks. asetus (EY) N:o 2321/2002, 11 artikla) |
| --- | --- |

—

(riippumattomia asiantuntijoita koskevien säännösten osalta ks. asetus (EY) N:o 2321/2002, 11 artikla)

Esimerkki yhdestä erityisohjelmaa koskevasta päätöksestä – neuvosto

Neuvoston päätös 94/801/EY, tehty 23 päivänä marraskuuta 1994: 4 artikla

Neuvoston päätös 1999/168/EY, tehty 25 päivänä tammikuuta 1999: 4 ja 6 artikla

Neuvoston päätös 2002/834/EY ja 2002/835/EY, tehty 30 päivänä syyskuuta 2002: 8 artikla

Neuvoston päätös 2006/971/EY, tehty 19 päivänä joulukuuta 2006, erityisohjelmasta ”Yhteistyö”: 8 artikla

Seuranta

| — | komissio valvoo jatkuvasti ja järjestelmällisesti riippumattomien ulkopuolisten asiantuntijoiden asianmukaisella avustuksella ohjelman edistymistä (4 artiklan 1 kohta) |
| --- | --- |

—

komissio valvoo jatkuvasti ja järjestelmällisesti riippumattomien ulkopuolisten asiantuntijoiden asianmukaisella avustuksella ohjelman edistymistä (4 artiklan 1 kohta)

| — | komissio seuraa kulloinkin soveltuvalla riippumattomien ulkopuolisten asiantuntijoiden avustuksella erityisohjelman täytäntöönpanoa ja tekee tarvittaessa viidennen puiteohjelman päätöksen 5 artiklan 1 kohdan mukaisesti neuvostolle ehdotuksia erityisohjelman mukauttamiseksi (4 artiklan a alakohta) |
| --- | --- |

—

komissio seuraa kulloinkin soveltuvalla riippumattomien ulkopuolisten asiantuntijoiden avustuksella erityisohjelman täytäntöönpanoa ja tekee tarvittaessa viidennen puiteohjelman päätöksen 5 artiklan 1 kohdan mukaisesti neuvostolle ehdotuksia erityisohjelman mukauttamiseksi (4 artiklan a alakohta)

| — | komissio järjestää erityisohjelman kattamilla aloilla toteutettujen toimien riippumattoman seurannan ja arvioinnin, josta säädetään kuudennesta puiteohjelmasta tehdyn päätöksen 6 artiklassa (8 artiklan 2 kohta) |
| --- | --- |

—

komissio järjestää erityisohjelman kattamilla aloilla toteutettujen toimien riippumattoman seurannan ja arvioinnin, josta säädetään kuudennesta puiteohjelmasta tehdyn päätöksen 6 artiklassa (8 artiklan 2 kohta)

| — | komissio järjestää tämän erityisohjelman kattamilla aloilla toteutettujen toimien osalta puiteohjelmasta tehdyn päätöksen 7 artiklassa tarkoitetun riippumattoman seurannan, arvioinnin ja uudelleentarkastelun (9 artikla) |
| --- | --- |

—

komissio järjestää tämän erityisohjelman kattamilla aloilla toteutettujen toimien osalta puiteohjelmasta tehdyn päätöksen 7 artiklassa tarkoitetun riippumattoman seurannan, arvioinnin ja uudelleentarkastelun (9 artikla)

| — | 8 artiklan 4 kohdan mukaan komissio toimittaa ohjelmakomitealle seurantatietoja, joista on säädetty tarkemmin liitteessä V |
| --- | --- |

—

8 artiklan 4 kohdan mukaan komissio toimittaa ohjelmakomitealle seurantatietoja, joista on säädetty tarkemmin liitteessä V

173 artikla – Vuotuinen kertomus

| — | komissio laatii säännöllisesti kuudennesta puiteohjelmasta tehdyn päätöksen 4 artiklan mukaisen kertomuksen erityisohjelman toteutuksen edistymisestä; kertomus sisältää myös rahoitukseen ja välineiden käyttöön liittyvää tietoa (8 artiklan 1 kohta) |
| --- | --- |

—

komissio laatii säännöllisesti kuudennesta puiteohjelmasta tehdyn päätöksen 4 artiklan mukaisen kertomuksen erityisohjelman toteutuksen edistymisestä; kertomus sisältää myös rahoitukseen ja välineiden käyttöön liittyvää tietoa (8 artiklan 1 kohta)

| — | komissio sisällyttää asiaa (riskinjaon rahoitusvälinettä) koskevat keskeiset tulokset vuosittaiseen tutkimuksen ja teknologian kehittämistoimia koskevaan kertomukseensa, jonka se toimittaa Euroopan parlamentille ja neuvostolle perustamissopimuksen 173 artiklan mukaisesti (liite III). |
| --- | --- |

—

komissio sisällyttää asiaa (riskinjaon rahoitusvälinettä) koskevat keskeiset tulokset vuosittaiseen tutkimuksen ja teknologian kehittämistoimia koskevaan kertomukseensa, jonka se toimittaa Euroopan parlamentille ja neuvostolle perustamissopimuksen 173 artiklan mukaisesti (liite III).

Viisivuotisarviointi

| — | laadituttaa riippumattomilla asiantuntijoilla ulkopuolisen arvion tähän ohjelmaan sisältyvillä aloilla toteutetuista toimista ja niiden hallinnoimisesta kyseistä arviointia edeltäneiden viiden vuoden aikana (4 artiklan 2 kohta) |
| --- | --- |

—

laadituttaa riippumattomilla asiantuntijoilla ulkopuolisen arvion tähän ohjelmaan sisältyvillä aloilla toteutetuista toimista ja niiden hallinnoimisesta kyseistä arviointia edeltäneiden viiden vuoden aikana (4 artiklan 2 kohta)

| — | teettää viidennen puiteohjelman 5 artiklan 2 kohdassa tarkoitetun ulkopuolisen arvioinnin erityisohjelmaan kuuluvilla aloilla toteutettavista toimista (4 artiklan b alakohta) |
| --- | --- |

—

teettää viidennen puiteohjelman 5 artiklan 2 kohdassa tarkoitetun ulkopuolisen arvioinnin erityisohjelmaan kuuluvilla aloilla toteutettavista toimista (4 artiklan b alakohta)

Loppuarviointi

| — | teettää kunkin erityisohjelman päätteeksi riippumattoman loppuarvioinnin tuloksista määriteltyihin tavoitteisiin nähden (4 artiklan 3 kohta) |
| --- | --- |

—

teettää kunkin erityisohjelman päätteeksi riippumattoman loppuarvioinnin tuloksista määriteltyihin tavoitteisiin nähden (4 artiklan 3 kohta)

| — | kertomus loppuarvioinnista toimitetaan Euroopan parlamentille, neuvostolle sekä talous- ja sosiaalikomitealle (4 artiklan 3 kohta) |
| --- | --- |

—

kertomus loppuarvioinnista toimitetaan Euroopan parlamentille, neuvostolle sekä talous- ja sosiaalikomitealle (4 artiklan 3 kohta)

Riippumattomat asiantuntijat

| — | viidennen puiteohjelman 5 artiklan 2 kohdassa tarkoitetun ulkopuolisen arvioinnin toimeksiannon laatiminen (6 artiklan 2 kohta) |
| --- | --- |

—

viidennen puiteohjelman 5 artiklan 2 kohdassa tarkoitetun ulkopuolisen arvioinnin toimeksiannon laatiminen (6 artiklan 2 kohta)

Perustietoa puiteohjelman rakenteesta

| — | neljäs puiteohjelma (EY): seitsemän erityisohjelmaa, joihin sisältyy 17 alaohjelmaa sekä kaksi toimintokokonaisuutta |
| --- | --- |

—

neljäs puiteohjelma (EY): seitsemän erityisohjelmaa, joihin sisältyy 17 alaohjelmaa sekä kaksi toimintokokonaisuutta

| — | viides puiteohjelma (EY): seitsemän erityisohjelmaa, joista neljä on alakohtaisia ja kolme monialaista |
| --- | --- |

—

viides puiteohjelma (EY): seitsemän erityisohjelmaa, joista neljä on alakohtaisia ja kolme monialaista

| — | kuudes puiteohjelma (EY): 20 ohjelmaa, joista kymmenen on jaoteltu seitsemään ensisijaiseen aihealueeseen ja neljä liittyy monialaisiin tutkimustoimiin erityisohjelman ”Yhteisön tutkimuksen kohdentaminen ja integrointi” yhteydessä. Erityisohjelmaan ”Eurooppalaisen tutkimusalueen jäsentäminen” liittyy neljä ohjelmaa ja ohjelmaan ”Eurooppalaisen tutkimusalueen perustan lujittaminen” kaksi erityisohjelmaa |
| --- | --- |

—

kuudes puiteohjelma (EY): 20 ohjelmaa, joista kymmenen on jaoteltu seitsemään ensisijaiseen aihealueeseen ja neljä liittyy monialaisiin tutkimustoimiin erityisohjelman ”Yhteisön tutkimuksen kohdentaminen ja integrointi” yhteydessä. Erityisohjelmaan ”Eurooppalaisen tutkimusalueen jäsentäminen” liittyy neljä ohjelmaa ja ohjelmaan ”Eurooppalaisen tutkimusalueen perustan lujittaminen” kaksi erityisohjelmaa

| — | seitsemäs puiteohjelma (EY): 24 erityistä alaohjelmaa, joista kymmenen kuuluu erityisohjelman ”Yhteistyö” alaisuuteen, yksi liittyy ”Ideat”-erityisohjelmaan, viisi alaohjelmaa erityisohjelmaan ”Ihmiset” ja kahdeksan alaohjelmaa ”Valmiudet”-erityisohjelmaan. Yksi alaohjelma koskee muita kuin ydinalaan liittyviä yhteisen tutkimuskeskuksen toimia |
| --- | --- |

—

seitsemäs puiteohjelma (EY): 24 erityistä alaohjelmaa, joista kymmenen kuuluu erityisohjelman ”Yhteistyö” alaisuuteen, yksi liittyy ”Ideat”-erityisohjelmaan, viisi alaohjelmaa erityisohjelmaan ”Ihmiset” ja kahdeksan alaohjelmaa ”Valmiudet”-erityisohjelmaan. Yksi alaohjelma koskee muita kuin ydinalaan liittyviä yhteisen tutkimuskeskuksen toimia

| — | Kokonaismäärärahat (EY): 11 046 miljoonaa euroa (eli 2 761 miljoonaa euroa vuodessa) |
| --- | --- |

—

Kokonaismäärärahat (EY): 11 046 miljoonaa euroa (eli 2 761 miljoonaa euroa vuodessa)

| — | Kokonaismäärärahat (EY): 13 700 miljoonaa euroa (eli 3 425 miljoonaa euroa vuodessa; lisäys 24 prosenttia) |
| --- | --- |

—

Kokonaismäärärahat (EY): 13 700 miljoonaa euroa (eli 3 425 miljoonaa euroa vuodessa; lisäys 24 prosenttia)

| — | Kokonaismäärärahat (EY): 16 270 miljoonaa euroa (eli 4 061 miljoonaa euroa vuodessa; lisäys 19 prosenttia) korotus laajentumisen (EU-25) myötä: |
| --- | --- |

—

Kokonaismäärärahat (EY): 16 270 miljoonaa euroa (eli 4 061 miljoonaa euroa vuodessa; lisäys 19 prosenttia) korotus laajentumisen (EU-25) myötä:

| — | Kokonaismäärärahat (EY): 17 883 miljoonaa euroa (eli 4 447 miljoonaa euroa vuodessa; lisäys 10 prosenttia) |
| --- | --- |

—

Kokonaismäärärahat (EY): 17 883 miljoonaa euroa (eli 4 447 miljoonaa euroa vuodessa; lisäys 10 prosenttia)

| — | Kokonaismäärärahat (EY): 50 521 miljoonaa euroa (eli 7 217 miljoonaa euroa vuodessa; lisäys 62 prosenttia) |
| --- | --- |

—

Kokonaismäärärahat (EY): 50 521 miljoonaa euroa (eli 7 217 miljoonaa euroa vuodessa; lisäys 62 prosenttia)

| — | Seitsemän pääosastoa: tutkimuksen, tietoyhteiskunnan ja viestinten, energian, liikenteen, kalastuksen, maatalouden sekä yritys- ja teollisuustoiminnan pääosastot |
| --- | --- |

—

Seitsemän pääosastoa: tutkimuksen, tietoyhteiskunnan ja viestinten, energian, liikenteen, kalastuksen, maatalouden sekä yritys- ja teollisuustoiminnan pääosastot

| — | Viisi pääosastoa: tutkimuksen, tietoyhteiskunnan ja viestinten, liikenteen ja energian, kalastuksen sekä yritys- ja teollisuustoiminnan pääosastot |
| --- | --- |

—

Viisi pääosastoa: tutkimuksen, tietoyhteiskunnan ja viestinten, liikenteen ja energian, kalastuksen sekä yritys- ja teollisuustoiminnan pääosastot

| — | Neljä pääosastoa: tutkimuksen, tietoyhteiskunnan ja viestinten, liikenteen ja energian sekä yritys- ja teollisuustoiminnan pääosastot |
| --- | --- |

—

Neljä pääosastoa: tutkimuksen, tietoyhteiskunnan ja viestinten, liikenteen ja energian sekä yritys- ja teollisuustoiminnan pääosastot

| — | Viisi pääosastoa: tutkimuksen, tietoyhteiskunnan ja viestinten, liikenteen ja energian, yritys- ja teollisuustoiminnan pääosastot sekä yhteinen tutkimuskeskus; lisäksi ”Euroopan tutkimusneuvosto” sekä toimeenpanovirastot |
| --- | --- |

—

Viisi pääosastoa: tutkimuksen, tietoyhteiskunnan ja viestinten, liikenteen ja energian, yritys- ja teollisuustoiminnan pääosastot sekä yhteinen tutkimuskeskus; lisäksi ”Euroopan tutkimusneuvosto” sekä toimeenpanovirastot

---

(1)  Neljäs puiteohjelma: tieto- ja viestintäteknologia (kehittyneet viestintäteknologiat ja palvelut (ACTS); tietoteknologia (ESPRIT); telemaattiset sovellukset); teollisuusteknologia (valmistus- ja materiaalitekniikka (BRITE/EURAM); standardit, mittaukset ja testaus (SMT)); ympäristö (ympäristö ja ilmasto, meritieteet ja -teknologiat (MAST III)); biotieteet ja -teknologiat (bioteknologia BIOTECH 2), biolääketiede ja terveysala (BIOMED 2), maatalous ja kalastus (FAIR), eettiset, oikeudelliset ja sosiaaliset näkökohdat (ELSA); energia (tutkimus ja kehittäminen (JOULE), esittely (THERMIE)); liikenne (liikennetutkimusohjelma), kohdennettu sosiaalis-taloudellinen tutkimusohjelma (kohdennettu sosiaalis-taloudellinen tutkimusohjelma (TSER), eurooppalainen teknologianarviointiverkko (ETAN)); yhteistyö kolmansien maiden ja kansainvälisten organisaatioiden kanssa (kansainvälinen yhteistyö (INCO)); tulosten levittäminen ja hyödyntäminen (innovointia koskeva ohjelma); tutkijoiden koulutuksen ja liikkuvuuden edistäminen (tutkijoiden koulutus- ja liikkuvuusohjelma (TMR), Marie Curie -stipendiaattien yhdistys).

(2)  Viides puiteohjelma: neljä alakohtaista ohjelmaa (elämänlaatu ja luonnonvarojen hoitaminen (elämänlaatu), käyttäjäystävällinen tietoyhteiskunta (IST), kilpailukykyinen ja kestävä kasvu (GROWTH), energia, ympäristö ja kestävä kehitys (EESD)); kolme monialaista ohjelmaa (yhteisön tutkimuksen kansainvälisen aseman vahvistaminen (INCO 2), innovaatioiden edistäminen ja pk-yritysten osallistumisen kannustaminen (innovaatiot/pk-yritykset), tutkijavoimavarojen lisääminen ja sosioekonomisen tietopohjan laajentaminen (lisääminen ja laajentaminen)).

(3)  Kuudes puiteohjelma”Yhteisön tutkimuksen kohdentaminen ja integrointi”

| — | seitsemän ensisijaista aihealuetta, joiden piiriin kuuluu kymmenen ohjelmaa: terveysalan biotieteet, genomiikka ja bioteknologia (mukaan lukien genomiikan huippututkimus ja sovellukset terveysalalla sekä merkittävimpien sairauksien torjuminen), tietoyhteiskunnan teknologia, nanoteknologia ja nanotieteet, älykkäät materiaalit sekä uudet tuotantomenetelmät ja -laitteet, ilmailu ja avaruus, elintarvikkeiden laatu ja turvallisuus, kestävä kehitys, globaalimuutos ja ekosysteemit (mukaan lukien kestävät energiajärjestelmät, kestävä pintaliikenne, globaalimuutos ja ekosysteemit), kansalaiset ja hallinto tietoyhteiskunnassa, |
| --- | --- |

—

seitsemän ensisijaista aihealuetta, joiden piiriin kuuluu kymmenen ohjelmaa: terveysalan biotieteet, genomiikka ja bioteknologia (mukaan lukien genomiikan huippututkimus ja sovellukset terveysalalla sekä merkittävimpien sairauksien torjuminen), tietoyhteiskunnan teknologia, nanoteknologia ja nanotieteet, älykkäät materiaalit sekä uudet tuotantomenetelmät ja -laitteet, ilmailu ja avaruus, elintarvikkeiden laatu ja turvallisuus, kestävä kehitys, globaalimuutos ja ekosysteemit (mukaan lukien kestävät energiajärjestelmät, kestävä pintaliikenne, globaalimuutos ja ekosysteemit), kansalaiset ja hallinto tietoyhteiskunnassa,

| — | monialaiset tutkimustoimet, jotka kattavat laajemman, neljä ohjelmaa käsittävän tutkimusalan: politiikkojen tukeminen ja tieteellisten ja teknologisten tarpeiden ennakointi, monialainen tutkimustoiminta, johon osallistuu pk-yrityksiä, kansainvälistä yhteistyötä tukevat erityistoimenpiteet; muut kuin ydinalaan liittyvät yhteisen tutkimuskeskuksen toimet; ”eurooppalaisen tutkimusalueen jäsentäminen”, johon sisältyy neljä ohjelmaa: tutkimus ja innovaatiot, inhimilliset voimavarat, tutkimusinfrastruktuurit, tiede ja yhteiskunta ”eurooppalaisen tutkimusalueen perustan lujittaminen”, johon kuuluu kaksi ohjelmaa: toimien koordinoinnin tukeminen sekä politiikan yhtenäisen kehittämisen tukeminen. |
| --- | --- |

—

monialaiset tutkimustoimet, jotka kattavat laajemman, neljä ohjelmaa käsittävän tutkimusalan: politiikkojen tukeminen ja tieteellisten ja teknologisten tarpeiden ennakointi, monialainen tutkimustoiminta, johon osallistuu pk-yrityksiä, kansainvälistä yhteistyötä tukevat erityistoimenpiteet; muut kuin ydinalaan liittyvät yhteisen tutkimuskeskuksen toimet; ”eurooppalaisen tutkimusalueen jäsentäminen”, johon sisältyy neljä ohjelmaa: tutkimus ja innovaatiot, inhimilliset voimavarat, tutkimusinfrastruktuurit, tiede ja yhteiskunta ”eurooppalaisen tutkimusalueen perustan lujittaminen”, johon kuuluu kaksi ohjelmaa: toimien koordinoinnin tukeminen sekä politiikan yhtenäisen kehittämisen tukeminen.

(4)  Seitsemäs puiteohjelma: erityisohjelma ”yhteistyö”, johon sisältyy kymmenen alaohjelmaa (terveysala; elintarvikkeet, maatalous ja bioteknologia; tieto- ja viestintäteknologia; nanotieteet ja nanoteknologia, materiaalit ja uudet tuotantoteknologiat; energia-ala; ympäristö (mukaan lukien ilmastonmuutos); liikenne (mukaan lukien ilmailuala); yhteiskunta- ja taloustieteet sekä humanistiset tieteet; turvallisuus; avaruus), erityisohjelma ”ideat”, johon kuuluu yksi alaohjelma (Euroopan tutkimusneuvosto), erityisohjelma ”ihmiset”, johon kuuluu viisi alaohjelmaa (peruskoulutus; elinikäinen oppiminen; yritysten ja korkeakoulujen yhteiset toimintamuodot; kansainvälinen ulottuvuus; erityistoimet), erityisohjelma ”valmiudet”, johon kuuluu kahdeksan alaohjelmaa (tutkimusinfrastruktuurit, pk-yrityksiä hyödyttävä tutkimus; tietämyksen alueet; tutkijavoimavarat; tieteen ja yhteiskunnan väliset suhteet; tutkimuspolitiikkojen johdonmukainen kehittäminen; kansainvälinen yhteistyö; muut kuin ydinalaan liittyvät yhteisen tutkimuskeskuksen toimet).

---

LIITE III

TUTKIMUSOHJELMIEN JÄLKIARVIOINNIN KESKEISET EROT EU:N (NELJÄNNESTÄ PUITEOHJELMASTA KUUDENTEEN), YHDYSVALTOJEN JA KANADAN VÄLILLÄ

| | EU (NELJÄNNESTÄ PUITEOHJELMASTA KUUDENTEEN) | YHDYSVALLAT | KANADA |
| --- | --- | --- | --- |
| Järjestelmiin liittyvät kysymykset |
| Toimintalogiikka | ei selkeä | enimmäkseen olemassa, PART (1) edellyttää epäsuorasti | RMAF (2) edellyttää osana ohjelmaehdotusta |
| Arviointistrategia | ei kattava | PART (1) edellyttää | RMAF (2) edellyttää osana ohjelmaehdotusta |
| Odotettujen tulosten yksilöinti | ei | PART (1) edellyttää (mukaan lukien määrällisten indikaattoreiden käyttö) | RMAF (2) edellyttää osana ohjelmaehdotusta |
| Esitetyt arviointikysymykset | ohjelmaa hallinnoi komissio | ohjelmaa hallinnoi virasto (arviointi OMB:n määrittämissä puitteissa) | ohjelmaa hallinnoi virasto
  (arviointi TBS:n määrittämissä puitteissa) |
| Organisointiin liittyvät kysymykset |
| Suunnitteluvaihe | ohjelmakauden aikana | ohjelmakauden aikana | saatettu päätökseen ennen ohjelman alkua |
| Asiantuntijaryhmien käyttö | tilapäiset asiantuntijaryhmät erityisarviointeja varten | virastosta/ohjelmasta riippuen | pysyvät asiantuntijaryhmät (pysyvät komiteat) |
| Jaksottaminen | kiinteät jaksot (liittyvät ohjelmakauteen, kattavat edeltävät viisi vuotta) | 2–3 vuoden sykli
  (liittyy talousarvion hyväksymiseen) | ohjelman uusinnan yhteydessä |

EU (NELJÄNNESTÄ PUITEOHJELMASTA KUUDENTEEN)

YHDYSVALLAT

KANADA

Järjestelmiin liittyvät kysymykset

Toimintalogiikka

ei selkeä

enimmäkseen olemassa, PART (1) edellyttää epäsuorasti

RMAF (2) edellyttää osana ohjelmaehdotusta

Arviointistrategia

ei kattava

PART (1) edellyttää

RMAF (2) edellyttää osana ohjelmaehdotusta

Odotettujen tulosten yksilöinti

ei

PART (1) edellyttää (mukaan lukien määrällisten indikaattoreiden käyttö)

RMAF (2) edellyttää osana ohjelmaehdotusta

Esitetyt arviointikysymykset

ohjelmaa hallinnoi komissio

ohjelmaa hallinnoi virasto (arviointi OMB:n määrittämissä puitteissa)

ohjelmaa hallinnoi virasto

(arviointi TBS:n määrittämissä puitteissa)

Organisointiin liittyvät kysymykset

Suunnitteluvaihe

ohjelmakauden aikana

ohjelmakauden aikana

saatettu päätökseen ennen ohjelman alkua

Asiantuntijaryhmien käyttö

tilapäiset asiantuntijaryhmät erityisarviointeja varten

virastosta/ohjelmasta riippuen

pysyvät asiantuntijaryhmät (pysyvät komiteat)

Jaksottaminen

kiinteät jaksot (liittyvät ohjelmakauteen, kattavat edeltävät viisi vuotta)

2–3 vuoden sykli

(liittyy talousarvion hyväksymiseen)

ohjelman uusinnan yhteydessä

---

(1)  Programme Assessment Rating Tool (PART) (ohjelman arviointiväline) vuodesta 2002 alkaen: ks. Office of Management and Budget (OMB), Executive Office of the President, Yhdysvallat.

(2)  Results-based Management and Accountability Framework (RMAF) (tulosperusteinen hallinnointiin ja vastuullisuuteen sovellettava kehys): ks. Treasury Board of Canada Secretariat (TBS) (Kanadan valtiovarainvaliokunnan sihteeristö).

---

LIITE IV

ARVIOINTIRYHMIEN MAHDOLLINEN RAKENNE SEITSEMÄNNEN PUITEOHJELMAN YHTEYDESSÄ

Image

---

KOMISSION VASTAUKSET

| I | Yhteisön TTK-puiteohjelmat ovat viime vuosikymmeninä kehittyneet. Nykyisin ne muodostavat laaja-alaisen mutta samalla johdonmukaisen järjestelmän, jolla tuetaan tutkijoita EU:n 27 jäsenvaltiossa sekä assosioituneissa ja muissa maissa.
  Puiteohjelmat ovat tällä hetkellä merkittävin monikansallinen julkista tutkimusrahoitusta tarjoava järjestelmä koko maailmassa.
  Nykyisen puiteohjelman määrärahat ovat 5 prosenttia kaikesta EU:n julkisesta tutkimusrahoituksesta. Seitsemännen puiteohjelman määrärahat ovat yhteisön vuotuisen rahoitusosuuden perusteella mitattuna noin 60 prosenttia suuremmat kuin kuudennen puiteohjelman.
  Näin merkittävän hankkeen arviointi asettaa erityisiä haasteita kaikille osapuolille. Arviointi- ja seurantajärjestelmiin on viime vuosina tehty huomattavia muutoksia, viimeksi seitsemännen puiteohjelman käynnistämisen yhteydessä vuonna 2007.
  Komission käyttämä arviointi- ja seurantajärjestelmä perustuu ohjelman toteutuksesta vastaavien komission yksiköiden välittömään vastuuseen. Näissä yksiköissä on eniten teknistä asiantuntemusta.
  Koko puiteohjelman tasolla tehtävät arvioinnit toteutetaan kaikkien pääosastojen yhteistyönä. |
| --- | --- |

I

Yhteisön TTK-puiteohjelmat ovat viime vuosikymmeninä kehittyneet. Nykyisin ne muodostavat laaja-alaisen mutta samalla johdonmukaisen järjestelmän, jolla tuetaan tutkijoita EU:n 27 jäsenvaltiossa sekä assosioituneissa ja muissa maissa.

Puiteohjelmat ovat tällä hetkellä merkittävin monikansallinen julkista tutkimusrahoitusta tarjoava järjestelmä koko maailmassa.

Nykyisen puiteohjelman määrärahat ovat 5 prosenttia kaikesta EU:n julkisesta tutkimusrahoituksesta. Seitsemännen puiteohjelman määrärahat ovat yhteisön vuotuisen rahoitusosuuden perusteella mitattuna noin 60 prosenttia suuremmat kuin kuudennen puiteohjelman.

Näin merkittävän hankkeen arviointi asettaa erityisiä haasteita kaikille osapuolille. Arviointi- ja seurantajärjestelmiin on viime vuosina tehty huomattavia muutoksia, viimeksi seitsemännen puiteohjelman käynnistämisen yhteydessä vuonna 2007.

Komission käyttämä arviointi- ja seurantajärjestelmä perustuu ohjelman toteutuksesta vastaavien komission yksiköiden välittömään vastuuseen. Näissä yksiköissä on eniten teknistä asiantuntemusta.

Koko puiteohjelman tasolla tehtävät arvioinnit toteutetaan kaikkien pääosastojen yhteistyönä.

| IV | Komissio on tyytyväinen siihen, että puiteohjelmien täytäntöönpanosta vastaavien pääosastojen (nk. puiteohjelmapääosastojen) toiminta on tilintarkastustuomioistuimen mukaan täyttänyt komission asettamat vaatimukset, myös ne, jotka asetetaan vuosina 2000 ja 2002 arvioinneista annetuissa tiedonannoissa.
  Puiteohjelmien arviointijärjestelmään on tehty merkittäviä muutoksia, joihin kuuluu mm. järjestelmän rakenteen perusteellinen uudistaminen seitsemättä puiteohjelmaa varten.
  Komissio toteaa lisäksi seuraavaa:






  i) | Puiteohjelmat ovat aina perustuneet johdonmukaiseen toimintalogiikkaan. Seitsemännessä puiteohjelmassa tämä näkyy aiempaa selkeämmin, minkä ansiosta myös komission arviointi- ja seurantajärjestelmä toimii entistä paremmin. |
| --- | --- | --- |

IV

Komissio on tyytyväinen siihen, että puiteohjelmien täytäntöönpanosta vastaavien pääosastojen (nk. puiteohjelmapääosastojen) toiminta on tilintarkastustuomioistuimen mukaan täyttänyt komission asettamat vaatimukset, myös ne, jotka asetetaan vuosina 2000 ja 2002 arvioinneista annetuissa tiedonannoissa.

Puiteohjelmien arviointijärjestelmään on tehty merkittäviä muutoksia, joihin kuuluu mm. järjestelmän rakenteen perusteellinen uudistaminen seitsemättä puiteohjelmaa varten.

Komissio toteaa lisäksi seuraavaa:

i)

Puiteohjelmat ovat aina perustuneet johdonmukaiseen toimintalogiikkaan. Seitsemännessä puiteohjelmassa tämä näkyy aiempaa selkeämmin, minkä ansiosta myös komission arviointi- ja seurantajärjestelmä toimii entistä paremmin.

| ii) | Komission käyttämän arviointi- ja seurantajärjestelmän tärkeimmät strategiset osatekijät on määritelty 1990-luvun puolivälistä lähtien puiteohjelmista annetuissa säädöksissä.
  Komissio antoi tutkimustoiminnan arviointia koskevan tiedonannon viimeksi vuonna 1996, minkä jälkeen se on jatkuvasti kehittänyt puiteohjelmien arvioinnissa noudattamaansa lähestymistapaa ja tehnyt merkittäviä muutoksia itse arviointeihin.
  Tilintarkastustuomioistuimen tarkastamalla jaksolla puiteohjelmien tärkeimmät arvioinnit eli nk. viisivuotisarvioinnit tehtiin neljän vuoden välein. |
| --- | --- |

ii)

Komission käyttämän arviointi- ja seurantajärjestelmän tärkeimmät strategiset osatekijät on määritelty 1990-luvun puolivälistä lähtien puiteohjelmista annetuissa säädöksissä.

Komissio antoi tutkimustoiminnan arviointia koskevan tiedonannon viimeksi vuonna 1996, minkä jälkeen se on jatkuvasti kehittänyt puiteohjelmien arvioinnissa noudattamaansa lähestymistapaa ja tehnyt merkittäviä muutoksia itse arviointeihin.

Tilintarkastustuomioistuimen tarkastamalla jaksolla puiteohjelmien tärkeimmät arvioinnit eli nk. viisivuotisarvioinnit tehtiin neljän vuoden välein.

| iii) | Puiteohjelmien täytäntöönpanosta vastaavat yhdessä nk. puiteohjelmapääosastot, jotka toimivat itsenäisesti ja tekevät yhteistyötä tarvittaessa. Komission keskusyksiköt ja niistä etenkin budjettipääosasto osallistuvat aktiivisesti arviointiprosessin kaikkiin vaiheisiin.
  Koska komission organisaatio on hajautettu ja koska kukin tieteenala edellyttää tiettyä erityisasiantuntemusta, arviointien järjestäminen on annettava puiteohjelman eri osista vastaavien yksiköiden tehtäväksi.
  Komission sisäisestä TTK-arviointiverkostosta on ollut suurta hyötyä arviointien koordinoinnissa.
  Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että arviointiryhmillä on arvioinnissa tärkeä tehtävä. Se pitää lisäksi myönteisenä havaintoa, jonka mukaan institutionaaliset sidosryhmät pitivät viisivuotisarvioinneissa ja muissa laajoissa arvioinneissa käytettyjä arviointiryhmiä takeena siitä, että komission noudattamalla lähestymistavalla varmistettiin arviointien riippumattomuus tarkastusjaksolla. |
| --- | --- |

iii)

Puiteohjelmien täytäntöönpanosta vastaavat yhdessä nk. puiteohjelmapääosastot, jotka toimivat itsenäisesti ja tekevät yhteistyötä tarvittaessa. Komission keskusyksiköt ja niistä etenkin budjettipääosasto osallistuvat aktiivisesti arviointiprosessin kaikkiin vaiheisiin.

Koska komission organisaatio on hajautettu ja koska kukin tieteenala edellyttää tiettyä erityisasiantuntemusta, arviointien järjestäminen on annettava puiteohjelman eri osista vastaavien yksiköiden tehtäväksi.

Komission sisäisestä TTK-arviointiverkostosta on ollut suurta hyötyä arviointien koordinoinnissa.

Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että arviointiryhmillä on arvioinnissa tärkeä tehtävä. Se pitää lisäksi myönteisenä havaintoa, jonka mukaan institutionaaliset sidosryhmät pitivät viisivuotisarvioinneissa ja muissa laajoissa arvioinneissa käytettyjä arviointiryhmiä takeena siitä, että komission noudattamalla lähestymistavalla varmistettiin arviointien riippumattomuus tarkastusjaksolla.

| iv) | Arviointimenetelmiä koskevaa suoraa ohjeistusta annettaessa on otettava huomioon tarve varmistaa arvioijien riippumattomuus. Komissio myöntää, että tietojen keräämisessä on aikaisemmin ollut vaikeuksia. Se myöntää myös, että puiteohjelmien pitkän aikavälin tuloksista ja vaikutuksista tiedetään vähemmän kuin lyhyen aikavälin tuloksista ja vaikutuksista, joskin tämä sama ongelma liittyy yleisesti arviointeihin, joita tehdään tutkimukseen ja muihin aloihin kohdistuvista julkisista tukitoimista. |
| --- | --- |

iv)

Arviointimenetelmiä koskevaa suoraa ohjeistusta annettaessa on otettava huomioon tarve varmistaa arvioijien riippumattomuus. Komissio myöntää, että tietojen keräämisessä on aikaisemmin ollut vaikeuksia. Se myöntää myös, että puiteohjelmien pitkän aikavälin tuloksista ja vaikutuksista tiedetään vähemmän kuin lyhyen aikavälin tuloksista ja vaikutuksista, joskin tämä sama ongelma liittyy yleisesti arviointeihin, joita tehdään tutkimukseen ja muihin aloihin kohdistuvista julkisista tukitoimista.

| v) | Useimpien arviointien aikataulu vahvistetaan Euroopan parlamentin ja neuvoston puiteohjelmista antamassa lainsäädännössä. Komissio pitää puiteohjelmien arviointi- ja seurantajärjestelmäänsä yleisesti ottaen tehokkaana. Myös Euroopan parlamentti ja neuvosto olivat tätä mieltä hyväksyessään vuonna 2006 komission esittämät seitsemättä puiteohjelmaa koskevat säädösehdotukset. |
| --- | --- |

v)

Useimpien arviointien aikataulu vahvistetaan Euroopan parlamentin ja neuvoston puiteohjelmista antamassa lainsäädännössä. Komissio pitää puiteohjelmien arviointi- ja seurantajärjestelmäänsä yleisesti ottaen tehokkaana. Myös Euroopan parlamentti ja neuvosto olivat tätä mieltä hyväksyessään vuonna 2006 komission esittämät seitsemättä puiteohjelmaa koskevat säädösehdotukset.

| V | Tilintarkastustuomioistuimen suositusten perusteella:






  i) | Komissio toteaa, että seitsemättä puiteohjelmaa koskeva (Euroopan parlamentin ja neuvoston vuonna 2006 hyväksymä) lainsäädäntö perustuu entistä selkeämpään toimintalogiikkaan, ja aikoo varmistaa, että tällaista toimintalogiikkaa noudatetaan tulevissa säädösehdotuksissa entistä laajemmin. Komissio aikoo lisäksi selkiyttää seitsemännelle puiteohjelmalle työohjelmien tasolla asettamiaan toimintapoliittisia tavoitteita sekä kehittää tulosten mittaamisessa käyttämiään menetelmiä. |
| --- | --- | --- |

V

Tilintarkastustuomioistuimen suositusten perusteella:

i)

Komissio toteaa, että seitsemättä puiteohjelmaa koskeva (Euroopan parlamentin ja neuvoston vuonna 2006 hyväksymä) lainsäädäntö perustuu entistä selkeämpään toimintalogiikkaan, ja aikoo varmistaa, että tällaista toimintalogiikkaa noudatetaan tulevissa säädösehdotuksissa entistä laajemmin. Komissio aikoo lisäksi selkiyttää seitsemännelle puiteohjelmalle työohjelmien tasolla asettamiaan toimintapoliittisia tavoitteita sekä kehittää tulosten mittaamisessa käyttämiään menetelmiä.

| ii) | Komissio kehittää seitsemännen puiteohjelman arviointistrategiaansa puiteohjelman vaikutustenarvioinnin yhteydessä esitettyjen ehdotusten pohjalta. Se huolehtii samalla siitä, että strategia on riittävän joustava, jotta kukin toimintapolitiikasta vastaava yksikkö voi määrittää omat arviointitarpeensa. |
| --- | --- |

ii)

Komissio kehittää seitsemännen puiteohjelman arviointistrategiaansa puiteohjelman vaikutustenarvioinnin yhteydessä esitettyjen ehdotusten pohjalta. Se huolehtii samalla siitä, että strategia on riittävän joustava, jotta kukin toimintapolitiikasta vastaava yksikkö voi määrittää omat arviointitarpeensa.

| iii) | Komissio katsoo, ettei yhteisen arviointiyksikön perustaminen ole tarpeen, mutta selvittää, miten koordinointia voitaisiin muuten parantaa.
  Arviointiryhmät olisi perustettava mahdollisimman varhaisessa vaiheessa arvioinnin tueksi. Kulloistakin erityistarkoitusta varten perustetut arviointiryhmät ovat kuitenkin todennäköisesti parempi ratkaisu pyrittäessä selkeyteen ja toimien parempaan kohdentamiseen. |
| --- | --- |

iii)

Komissio katsoo, ettei yhteisen arviointiyksikön perustaminen ole tarpeen, mutta selvittää, miten koordinointia voitaisiin muuten parantaa.

Arviointiryhmät olisi perustettava mahdollisimman varhaisessa vaiheessa arvioinnin tueksi. Kulloistakin erityistarkoitusta varten perustetut arviointiryhmät ovat kuitenkin todennäköisesti parempi ratkaisu pyrittäessä selkeyteen ja toimien parempaan kohdentamiseen.

| iv) | Komissio on jo toteuttanut toimia varmistaakseen, että nykyisiä ja uusia tietolähteitä hyödynnetään sen arvioinneissa entistä tehokkaammin.
  Seitsemänteen puiteohjelmaan liittyviä raportointivaatimuksia tarkistettiin osin arviointi- ja seurantatarpeiden pohjalta.
  Lisäksi komissio kehittää seitsemättä puiteohjelmaa varten parhaillaan uutta tietotekniikkajärjestelmää, jonka avulla hankkeista saadaan entistä paremmin tietoa arvioinnin tueksi.
  Komissio harkitsee myös, olisiko puiteohjelmien arviointia varten laadittava uusi käsikirja, jossa on otettu huomioon viimeaikaiset tapausesimerkit. |
| --- | --- |

iv)

Komissio on jo toteuttanut toimia varmistaakseen, että nykyisiä ja uusia tietolähteitä hyödynnetään sen arvioinneissa entistä tehokkaammin.

Seitsemänteen puiteohjelmaan liittyviä raportointivaatimuksia tarkistettiin osin arviointi- ja seurantatarpeiden pohjalta.

Lisäksi komissio kehittää seitsemättä puiteohjelmaa varten parhaillaan uutta tietotekniikkajärjestelmää, jonka avulla hankkeista saadaan entistä paremmin tietoa arvioinnin tueksi.

Komissio harkitsee myös, olisiko puiteohjelmien arviointia varten laadittava uusi käsikirja, jossa on otettu huomioon viimeaikaiset tapausesimerkit.

| v) | Komissio aikoo parantaa ja kehittää arviointien ennakkosuunnittelua seitsemännen puiteohjelman yhteydessä siten, että siinä otetaan huomioon johdonmukaisuutta lisäävät edut. Se pyrkii myös parantamaan arviointien tulosten huomioon ottamista. |
| --- | --- |

v)

Komissio aikoo parantaa ja kehittää arviointien ennakkosuunnittelua seitsemännen puiteohjelman yhteydessä siten, että siinä otetaan huomioon johdonmukaisuutta lisäävät edut. Se pyrkii myös parantamaan arviointien tulosten huomioon ottamista.

| 1.–13. | Yhteisön TTK-puiteohjelmat ovat viime vuosikymmeninä kehittyneet. Nykyisin ne muodostavat laaja-alaisen mutta samalla johdonmukaisen järjestelmän, jolla tuetaan tutkijoita EU:n 27 jäsenvaltiossa sekä assosioituneissa ja muissa maissa.
  Puiteohjelmat ovat tällä hetkellä merkittävin monikansallinen julkista tutkimusrahoitusta tarjoava järjestelmä koko maailmassa (ks. tilintarkastustuomioistuimen kertomuksen kohta 6). Seitsemännen puiteohjelman määrärahat ovat yhteisön vuotuisen rahoitusosuuden perusteella mitattuna noin 60 prosenttia suuremmat kuin kuudennen puiteohjelman (ks. tilintarkastustuomioistuimen kertomuksessa oleva kaavio 1).
  Näin merkittävän hankkeen arviointi asettaa erityishaasteita kaikille osapuolille. Arviointisääntöjä on viime vuosina muutettu huomattavasti (ks. tilintarkastustuomioistuimen kertomuksessa oleva kaavio 2), viimeksi seitsemännen puiteohjelman käynnistämisen yhteydessä vuonna 2007 (ks. esimerkiksi vastaukset kohtiin 23, 30, 41, 46, 72, 76–78 ja 93). |
| --- | --- |

1.–13.

Yhteisön TTK-puiteohjelmat ovat viime vuosikymmeninä kehittyneet. Nykyisin ne muodostavat laaja-alaisen mutta samalla johdonmukaisen järjestelmän, jolla tuetaan tutkijoita EU:n 27 jäsenvaltiossa sekä assosioituneissa ja muissa maissa.

Puiteohjelmat ovat tällä hetkellä merkittävin monikansallinen julkista tutkimusrahoitusta tarjoava järjestelmä koko maailmassa (ks. tilintarkastustuomioistuimen kertomuksen kohta 6). Seitsemännen puiteohjelman määrärahat ovat yhteisön vuotuisen rahoitusosuuden perusteella mitattuna noin 60 prosenttia suuremmat kuin kuudennen puiteohjelman (ks. tilintarkastustuomioistuimen kertomuksessa oleva kaavio 1).

Näin merkittävän hankkeen arviointi asettaa erityishaasteita kaikille osapuolille. Arviointisääntöjä on viime vuosina muutettu huomattavasti (ks. tilintarkastustuomioistuimen kertomuksessa oleva kaavio 2), viimeksi seitsemännen puiteohjelman käynnistämisen yhteydessä vuonna 2007 (ks. esimerkiksi vastaukset kohtiin 23, 30, 41, 46, 72, 76–78 ja 93).

| 14. | TTK-puiteohjelmien täytäntöönpanosta vastaavat pääosastot (nk. puiteohjelmapääosastot) ovat noudattaneet komission asettamia arviointivaatimuksia, myös niitä, jotka asetetaan vuosina 2000 ja 2002 arvioinneista annetuissa tiedonannoissa (ks. tilintarkastustuomioistuimen kertomuksen kohta 54). |
| --- | --- |

14.

TTK-puiteohjelmien täytäntöönpanosta vastaavat pääosastot (nk. puiteohjelmapääosastot) ovat noudattaneet komission asettamia arviointivaatimuksia, myös niitä, jotka asetetaan vuosina 2000 ja 2002 arvioinneista annetuissa tiedonannoissa (ks. tilintarkastustuomioistuimen kertomuksen kohta 54).

| 22. | Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että johdonmukaisen toimintalogiikan määrittäminen on tärkeä osa ohjelmasuunnittelua, ja siitä, että perustamissopimuksen 163 artiklassa määrätyllä tehtävällä on tässä yhteydessä erittäin tärkeä merkitys. Komission rahoittamilla TTK-toiminnoilla tuetaan myös muuta yhteisön politiikkaa ja muiden tavoitteiden saavuttamista, mikä on erittäin tärkeää. Komissio esitteli jokin aika sitten yksityiskohtaisesti näkemyksiään EU:n TTK-investointien merkityksestä sekä uudistetussa Lissabonin strategiassa (1) että uudistetussa kestävän kehityksen strategiassa. |
| --- | --- |

22.

Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että johdonmukaisen toimintalogiikan määrittäminen on tärkeä osa ohjelmasuunnittelua, ja siitä, että perustamissopimuksen 163 artiklassa määrätyllä tehtävällä on tässä yhteydessä erittäin tärkeä merkitys. Komission rahoittamilla TTK-toiminnoilla tuetaan myös muuta yhteisön politiikkaa ja muiden tavoitteiden saavuttamista, mikä on erittäin tärkeää. Komissio esitteli jokin aika sitten yksityiskohtaisesti näkemyksiään EU:n TTK-investointien merkityksestä sekä uudistetussa Lissabonin strategiassa (1) että uudistetussa kestävän kehityksen strategiassa.

| 23. | Puiteohjelmat ovat aina perustuneet johdonmukaiseen toimintalogiikkaan. Seitsemännessä puiteohjelmassa tämä näkyy aiempaa selkeämmin (2), minkä ansiosta myös komission arviointi- ja seurantajärjestelmä toimii entistä paremmin. |
| --- | --- |

23.

Puiteohjelmat ovat aina perustuneet johdonmukaiseen toimintalogiikkaan. Seitsemännessä puiteohjelmassa tämä näkyy aiempaa selkeämmin (2), minkä ansiosta myös komission arviointi- ja seurantajärjestelmä toimii entistä paremmin.

| 25. | Jotkin valtiot, joihin kuuluu myös eräitä jäsenvaltioita, ovat parhaillaan kehittämässä tilintarkastustuomioistuimen mainitsemaa lähestymistapaa, joskaan kyseessä ei suinkaan ole yksi yhtenäinen lähestymistapa. Yhdysvalloissa ja Kanadassa noudatettavien toimintatapojen käyttöönotto ei välttämättä onnistu yhtä helposti kuin muissa jäsenvaltioissa noudatettavien toimintatapojen. |
| --- | --- |

25.

Jotkin valtiot, joihin kuuluu myös eräitä jäsenvaltioita, ovat parhaillaan kehittämässä tilintarkastustuomioistuimen mainitsemaa lähestymistapaa, joskaan kyseessä ei suinkaan ole yksi yhtenäinen lähestymistapa. Yhdysvalloissa ja Kanadassa noudatettavien toimintatapojen käyttöönotto ei välttämättä onnistu yhtä helposti kuin muissa jäsenvaltioissa noudatettavien toimintatapojen.

| 26. | Komissio katsoo, että sillä on ollut tarkastusjaksolla käytössä tehokas arviointi- ja seurantajärjestelmä (ks. kohtaan 23 annettu vastaus). |
| --- | --- |

26.

Komissio katsoo, että sillä on ollut tarkastusjaksolla käytössä tehokas arviointi- ja seurantajärjestelmä (ks. kohtaan 23 annettu vastaus).

| 28. | Sen varmistaminen, että kaikki tavoitteet vastaavat tiukasti määriteltyjä SMART-kriteerejä kaikilta osin, on haastava tehtävä etenkin siksi, että tutkimukseen liittyy aina epävarmuutta. Kaikki seitsemännen puiteohjelman työohjelmat sisältävät selvityksen odotetuista vaikutuksista. Nämä selvitykset vastaavat erityisohjelmissa määriteltyjä tavoitteita, perusteluja ja toimintoja. |
| --- | --- |

28.

Sen varmistaminen, että kaikki tavoitteet vastaavat tiukasti määriteltyjä SMART-kriteerejä kaikilta osin, on haastava tehtävä etenkin siksi, että tutkimukseen liittyy aina epävarmuutta. Kaikki seitsemännen puiteohjelman työohjelmat sisältävät selvityksen odotetuista vaikutuksista. Nämä selvitykset vastaavat erityisohjelmissa määriteltyjä tavoitteita, perusteluja ja toimintoja.

| 29. | Tarkastusjaksolla on kiinnitetty huomiota etenkin lyhyen aikavälin tuloksiin. Pitkän aikavälin vaikutuksia voitaisiin arvioida nykyistä enemmän. |
| --- | --- |

29.

Tarkastusjaksolla on kiinnitetty huomiota etenkin lyhyen aikavälin tuloksiin. Pitkän aikavälin vaikutuksia voitaisiin arvioida nykyistä enemmän.

| 30. | Komissio kehittää parhaillaan puiteohjelmatason seurantajärjestelmää seitsemättä puiteohjelmaa varten. Järjestelmällä pyritään tulosindikaattorien nykyistä johdonmukaisempaan ja järjestelmällisempään käyttöön. Seitsemännen puiteohjelman täytäntöönpanosta vastaavissa yksiköissä on lisäksi käynnissä useita erillisiä aloitteita tulosindikaattorien kehittämiseksi. |
| --- | --- |

30.

Komissio kehittää parhaillaan puiteohjelmatason seurantajärjestelmää seitsemättä puiteohjelmaa varten. Järjestelmällä pyritään tulosindikaattorien nykyistä johdonmukaisempaan ja järjestelmällisempään käyttöön. Seitsemännen puiteohjelman täytäntöönpanosta vastaavissa yksiköissä on lisäksi käynnissä useita erillisiä aloitteita tulosindikaattorien kehittämiseksi.

| 34. | Komissio on jo sitoutunut selkiyttämään ohjelmien perustana olevaa toimintalogiikkaa seitsemättä puiteohjelmaa koskevaan lainsäädäntöön ja vaikutustenarviointiin tehtyjen parannusten pohjalta. Lisäksi se ottaa tilintarkastustuomioistuimen suosituksen huomioon laatiessaan tulevia lainsäädäntöehdotuksia. |
| --- | --- |

34.

Komissio on jo sitoutunut selkiyttämään ohjelmien perustana olevaa toimintalogiikkaa seitsemättä puiteohjelmaa koskevaan lainsäädäntöön ja vaikutustenarviointiin tehtyjen parannusten pohjalta. Lisäksi se ottaa tilintarkastustuomioistuimen suosituksen huomioon laatiessaan tulevia lainsäädäntöehdotuksia.

| 35. | Komissio suhtautuu myönteisesti tilintarkastustuomioistuimen suositukseen, jonka mukaan seitsemännen puiteohjelman tavoitteita olisi selkiytettävä. Se pyrkii saavuttamaan tämän tavoitteen siinä määrin kuin se on mahdollista Euroopan parlamentin ja neuvoston hyväksymien perussäädösten puitteissa. |
| --- | --- |

35.

Komissio suhtautuu myönteisesti tilintarkastustuomioistuimen suositukseen, jonka mukaan seitsemännen puiteohjelman tavoitteita olisi selkiytettävä. Se pyrkii saavuttamaan tämän tavoitteen siinä määrin kuin se on mahdollista Euroopan parlamentin ja neuvoston hyväksymien perussäädösten puitteissa.

| 36.–37. | Komissio suhtautuu myönteisesti tilintarkastustuomioistuimen suosituksiin. Se on tehnyt aloitteita kehittääkseen tulosten mittaamista sekä muokatakseen toimintajohtamisen ja toimintoperusteisen budjetoinnin perustana olevaa nimikkeistöä. |
| --- | --- |

36.–37.

Komissio suhtautuu myönteisesti tilintarkastustuomioistuimen suosituksiin. Se on tehnyt aloitteita kehittääkseen tulosten mittaamista sekä muokatakseen toimintajohtamisen ja toimintoperusteisen budjetoinnin perustana olevaa nimikkeistöä.

| 38.–39. | Komissio katsoo, että sen puiteohjelmien arviointistrategian olisi sisällettävä yleisperiaatteet, joita noudatetaan puiteohjelmien arvioinnin ja seurannan järjestämisessä ja kehittämisessä. Strategiassa olisi ilmoitettava toiminnan tarkoitus sekä määriteltävä järjestelmän tärkeimmät osatekijät, joihin kuuluvat myös tärkeimmät arviointihankkeet, sekä tarkasteltava tulevaisuudennäkymiä. Koska puiteohjelmien arviointi on komissiossa hajautettu, pääpainon olisi oltava strategisissa näkökohdissa. |
| --- | --- |

38.–39.

Komissio katsoo, että sen puiteohjelmien arviointistrategian olisi sisällettävä yleisperiaatteet, joita noudatetaan puiteohjelmien arvioinnin ja seurannan järjestämisessä ja kehittämisessä. Strategiassa olisi ilmoitettava toiminnan tarkoitus sekä määriteltävä järjestelmän tärkeimmät osatekijät, joihin kuuluvat myös tärkeimmät arviointihankkeet, sekä tarkasteltava tulevaisuudennäkymiä. Koska puiteohjelmien arviointi on komissiossa hajautettu, pääpainon olisi oltava strategisissa näkökohdissa.

| 41. | Komission käyttämän arviointi- ja seurantajärjestelmän tärkeimmät strategiset osatekijät on määritelty 1990-luvun puolivälistä lähtien puiteohjelmista annetuissa perussäädöksissä (ks. liite II).
  Komissio antoi tutkimustoiminnan arviointia koskevan tiedonannon vuonna 1996, minkä jälkeen se on jatkuvasti kehittänyt puiteohjelmien arvioinnissa noudattamaansa lähestymistapaa ja tehnyt merkittäviä muutoksia itse arviointeihin (ks. tilintarkastustuomioistuimen kertomuksessa oleva kaavio 2).
  Tarkemmat tiedot arviointistrategiasta, jota komissio aikoo noudattaa nykyisellä ohjelmakaudella, sisältyvät seitsemännestä puiteohjelmasta ennakkoon tehtyä vaikutustenarviointia käsittelevään asiakirjaan (SEC(2005) 430). Strategiassa kuvataan arviointijärjestelmä ja arviointien toteutustapa sekä vahvistetaan tarkka aikataulu arvioinneille, jotka on tarkoitus tehdä puiteohjelman tasolla.
  Työtä on kuitenkin vielä tehtävä varsinaisten strategiaan pohjautuvien suunnitelmien laatimiseksi. Komissio käyttää tässä tarkoitukseen soveltuvia koordinointirakenteita. |
| --- | --- |

41.

Komission käyttämän arviointi- ja seurantajärjestelmän tärkeimmät strategiset osatekijät on määritelty 1990-luvun puolivälistä lähtien puiteohjelmista annetuissa perussäädöksissä (ks. liite II).

Komissio antoi tutkimustoiminnan arviointia koskevan tiedonannon vuonna 1996, minkä jälkeen se on jatkuvasti kehittänyt puiteohjelmien arvioinnissa noudattamaansa lähestymistapaa ja tehnyt merkittäviä muutoksia itse arviointeihin (ks. tilintarkastustuomioistuimen kertomuksessa oleva kaavio 2).

Tarkemmat tiedot arviointistrategiasta, jota komissio aikoo noudattaa nykyisellä ohjelmakaudella, sisältyvät seitsemännestä puiteohjelmasta ennakkoon tehtyä vaikutustenarviointia käsittelevään asiakirjaan (SEC(2005) 430). Strategiassa kuvataan arviointijärjestelmä ja arviointien toteutustapa sekä vahvistetaan tarkka aikataulu arvioinneille, jotka on tarkoitus tehdä puiteohjelman tasolla.

Työtä on kuitenkin vielä tehtävä varsinaisten strategiaan pohjautuvien suunnitelmien laatimiseksi. Komissio käyttää tässä tarkoitukseen soveltuvia koordinointirakenteita.

| 43. | Komissio ottaa huomioon tilintarkastustuomioistuimen huomautuksen, mutta toteaa samalla, ettei Yhdysvalloissa ja Kanadassa vallitseva tilanne ole niin yhtenäinen, että yksi arviointistrategia riittäisi kattamaan kaikki tapaukset. |
| --- | --- |

43.

Komissio ottaa huomioon tilintarkastustuomioistuimen huomautuksen, mutta toteaa samalla, ettei Yhdysvalloissa ja Kanadassa vallitseva tilanne ole niin yhtenäinen, että yksi arviointistrategia riittäisi kattamaan kaikki tapaukset.

| 44. | Arviointien käyttöön ja arviointimenetelmiin liittyvät erot puiteohjelmien eri osien välillä johtuvat siitä, että arviointi on komissiossa hajautettu kytkemällä se päätöksentekoon. |
| --- | --- |

44.

Arviointien käyttöön ja arviointimenetelmiin liittyvät erot puiteohjelmien eri osien välillä johtuvat siitä, että arviointi on komissiossa hajautettu kytkemällä se päätöksentekoon.

| 46. | Koska arviointi on komissiossa hajautettu, siitä, missä määrin arviointeja olisi tehtävä, on päätettävä puiteohjelman eri osista vastaavissa yksiköissä (ks. myös vastaukset kohtiin 41 ja 49).






  — | (toinen luetelmakohta) Tutkimuksen pääosasto koordinoi vuonna 2004 toteutettua viisivuotisarviointia (jaksolta 1999–2003), jossa toimintaa arvioitiin koko puiteohjelman tasolla. Yksittäisten ohjelmien arvioimisesta päätettiin sen perusteella, mitkä olivat asianomaisten yksiköiden tarpeet ja kulloisetkin olosuhteet ja miten laajoista hankkeista oli kyse. |
| --- | --- | --- |

46.

Koska arviointi on komissiossa hajautettu, siitä, missä määrin arviointeja olisi tehtävä, on päätettävä puiteohjelman eri osista vastaavissa yksiköissä (ks. myös vastaukset kohtiin 41 ja 49).

—

(toinen luetelmakohta) Tutkimuksen pääosasto koordinoi vuonna 2004 toteutettua viisivuotisarviointia (jaksolta 1999–2003), jossa toimintaa arvioitiin koko puiteohjelman tasolla. Yksittäisten ohjelmien arvioimisesta päätettiin sen perusteella, mitkä olivat asianomaisten yksiköiden tarpeet ja kulloisetkin olosuhteet ja miten laajoista hankkeista oli kyse.

| 47. | Vuonna 2004 toteutettu viisivuotisarviointi oli koordinoitu ja kattava arviointi, joka tehtiin määräajassa ja joka vastasi varainhoitoasetuksen vaatimuksia. Arvioinnin suorittivat arvostetut ulkopuoliset asiantuntijat, ja sen tuloksista tiedotettiin laajalti. |
| --- | --- |

47.

Vuonna 2004 toteutettu viisivuotisarviointi oli koordinoitu ja kattava arviointi, joka tehtiin määräajassa ja joka vastasi varainhoitoasetuksen vaatimuksia. Arvioinnin suorittivat arvostetut ulkopuoliset asiantuntijat, ja sen tuloksista tiedotettiin laajalti.

| 48. | Katso kohtiin 41 ja 46 annetut vastaukset. |
| --- | --- |

48.

Katso kohtiin 41 ja 46 annetut vastaukset.

| 49. | Tarkemmat tiedot arviointistrategiasta, jota komissio aikoo noudattaa nykyisellä ohjelmakaudella, sisältyvät seitsemännestä puiteohjelmasta ennakkoon tehtyä vaikutustenarviointia käsittelevään asiakirjaan (SEC(2005) 430). Strategiassa kuvataan arviointijärjestelmä ja arviointien toteutustapa sekä vahvistetaan tarkka aikataulu arvioinneille, jotka on tarkoitus tehdä puiteohjelman tasolla.
  Komissio myöntää, että työtä on kuitenkin vielä tehtävä varsinaisten strategiaan pohjautuvien suunnitelmien laatimiseksi. Komissio käyttää tässä tarkoitukseen soveltuvia koordinointirakenteita.
  Komissio katsoo kuitenkin, ettei vähimmäisrajaa, jonka ylittyessä yksityiskohtainen arviointi on tehtävä, voida aina asettaa, koska järjestelmässä on oltava riittävästi joustoa, jotta hallinnoinnista vastaavat yksiköt voivat itse määrittää arviointitarpeensa. |
| --- | --- |

49.

Tarkemmat tiedot arviointistrategiasta, jota komissio aikoo noudattaa nykyisellä ohjelmakaudella, sisältyvät seitsemännestä puiteohjelmasta ennakkoon tehtyä vaikutustenarviointia käsittelevään asiakirjaan (SEC(2005) 430). Strategiassa kuvataan arviointijärjestelmä ja arviointien toteutustapa sekä vahvistetaan tarkka aikataulu arvioinneille, jotka on tarkoitus tehdä puiteohjelman tasolla.

Komissio myöntää, että työtä on kuitenkin vielä tehtävä varsinaisten strategiaan pohjautuvien suunnitelmien laatimiseksi. Komissio käyttää tässä tarkoitukseen soveltuvia koordinointirakenteita.

Komissio katsoo kuitenkin, ettei vähimmäisrajaa, jonka ylittyessä yksityiskohtainen arviointi on tehtävä, voida aina asettaa, koska järjestelmässä on oltava riittävästi joustoa, jotta hallinnoinnista vastaavat yksiköt voivat itse määrittää arviointitarpeensa.

| 51. | Puiteohjelmien täytäntöönpanosta vastaavat yhdessä nk. puiteohjelmapääosastot, jotka toimivat itsenäisesti ja tekevät yhteistyötä tarvittaessa. |
| --- | --- |

51.

Puiteohjelmien täytäntöönpanosta vastaavat yhdessä nk. puiteohjelmapääosastot, jotka toimivat itsenäisesti ja tekevät yhteistyötä tarvittaessa.

| 52. | Europeaid-yhteistyötoimistolla on sekä varsinaiseen toimintaan että hallinnointiin liittyviä tehtäviä, joita se hoitaa yhteistyössä kolmansissa maissa sijaitsevien komission lähetystöjen ja toimeenpanoelinten kanssa. Tämän vuoksi yhteistyötoimisto ei välttämättä sovellu komissiota edustavaksi esimerkiksi, koska sen toiminta ei vastaa tutkimuksen alalla käytössä olevaa vastuualueiden ja tehtävien hajauttamiseen perustuvaa järjestelmää. |
| --- | --- |

52.

Europeaid-yhteistyötoimistolla on sekä varsinaiseen toimintaan että hallinnointiin liittyviä tehtäviä, joita se hoitaa yhteistyössä kolmansissa maissa sijaitsevien komission lähetystöjen ja toimeenpanoelinten kanssa. Tämän vuoksi yhteistyötoimisto ei välttämättä sovellu komissiota edustavaksi esimerkiksi, koska sen toiminta ei vastaa tutkimuksen alalla käytössä olevaa vastuualueiden ja tehtävien hajauttamiseen perustuvaa järjestelmää.

| 53. | Komission sisäinen TTK-arviointiverkosto on epävirallinen järjestely, jolla tuetaan arviointistrategian laatimista ja puiteohjelmatasolla tehtävien arviointien koordinointia. Tämä joustava järjestely on osoittautunut erittäin hyödylliseksi. |
| --- | --- |

53.

Komission sisäinen TTK-arviointiverkosto on epävirallinen järjestely, jolla tuetaan arviointistrategian laatimista ja puiteohjelmatasolla tehtävien arviointien koordinointia. Tämä joustava järjestely on osoittautunut erittäin hyödylliseksi.

| 55. | Komission sisäisen valvonnan standardeja tarkistettiin viimeksi 16. lokakuuta 2007 (SEC(2007) 1341). Tarkistettuihin standardeihin sisältyy 21 arviointia koskevaa standardia, joiden noudattamisesta pääosastojen on annettava selvitys vuosittain laatimissaan toimintakertomuksissa.
  Komission keskusyksiköt ja niistä etenkin budjettipääosasto osallistuvat aktiivisesti arviointiprosessin kaikkiin vaiheisiin.
  Sisäisen tarkastuksen toimiala ja sisäisestä tarkastuksesta vastaavat yksiköt voivat tarkastaa yksiköiden arviointitoiminnan.
  Laatua koskevien vähimmäisvaatimusten täyttymistä arvioitaessa käytetään vastaisuudessa jokin aika sitten kehitettyä komission laadunarviointijärjestelmää (3). Lisäksi komission vaikutustenarviointilautakunta on vuodesta 2007 lähtien avustanut ennakkoon tehtävien vaikutustenarviointien laadunvalvonnassa. |
| --- | --- |

55.

Komission sisäisen valvonnan standardeja tarkistettiin viimeksi 16. lokakuuta 2007 (SEC(2007) 1341). Tarkistettuihin standardeihin sisältyy 21 arviointia koskevaa standardia, joiden noudattamisesta pääosastojen on annettava selvitys vuosittain laatimissaan toimintakertomuksissa.

Komission keskusyksiköt ja niistä etenkin budjettipääosasto osallistuvat aktiivisesti arviointiprosessin kaikkiin vaiheisiin.

Sisäisen tarkastuksen toimiala ja sisäisestä tarkastuksesta vastaavat yksiköt voivat tarkastaa yksiköiden arviointitoiminnan.

Laatua koskevien vähimmäisvaatimusten täyttymistä arvioitaessa käytetään vastaisuudessa jokin aika sitten kehitettyä komission laadunarviointijärjestelmää (3). Lisäksi komission vaikutustenarviointilautakunta on vuodesta 2007 lähtien avustanut ennakkoon tehtävien vaikutustenarviointien laadunvalvonnassa.

| 56. | Liitteessä III esitetty vertailu kattaa tilintarkastustuomioistuimen tarkastaman jakson. Siinä ei tämän vuoksi ole otettu huomioon seitsemännen puiteohjelman yhteydessä tehtyjä merkittäviä parannuksia, joihin kuuluvat mm. uusi arviointistrategia, selkeämpi toimintalogiikka sekä työohjelmiin sisällytetyt selkeät kuvaukset odotettavissa olevista tuloksista.
  Tilintarkastustuomioistuin mainitsee eräitä jäsenvaltioita, joissa rahoitusvastuu on erotettu arviointivastuusta. Osassa jäsenvaltioita (kuten Yhdistyneessä kuningaskunnassa) arviointi sen sijaan on osa ohjelman hallinnointia (samaan tapaan kuin komissiossa). Kun tarkastellaan asian kannalta keskeistä kysymystä riippumattomuudesta, tilintarkastustuomioistuimen tarkastus on osoittanut, että ulkopuoliset sidosryhmät ovat tältä osin tyytyväisiä komission toimintaan (ks. tilintarkastustuomioistuimen kertomuksessa kohta 58 ja kaavio 4). |
| --- | --- |

56.

Liitteessä III esitetty vertailu kattaa tilintarkastustuomioistuimen tarkastaman jakson. Siinä ei tämän vuoksi ole otettu huomioon seitsemännen puiteohjelman yhteydessä tehtyjä merkittäviä parannuksia, joihin kuuluvat mm. uusi arviointistrategia, selkeämpi toimintalogiikka sekä työohjelmiin sisällytetyt selkeät kuvaukset odotettavissa olevista tuloksista.

Tilintarkastustuomioistuin mainitsee eräitä jäsenvaltioita, joissa rahoitusvastuu on erotettu arviointivastuusta. Osassa jäsenvaltioita (kuten Yhdistyneessä kuningaskunnassa) arviointi sen sijaan on osa ohjelman hallinnointia (samaan tapaan kuin komissiossa). Kun tarkastellaan asian kannalta keskeistä kysymystä riippumattomuudesta, tilintarkastustuomioistuimen tarkastus on osoittanut, että ulkopuoliset sidosryhmät ovat tältä osin tyytyväisiä komission toimintaan (ks. tilintarkastustuomioistuimen kertomuksessa kohta 58 ja kaavio 4).

| 59. | — | (ensimmäinen luetelmakohta) Pitkäaikaisiin arviointiryhmiin on vaikea saada riittävästi korkean tason asiantuntijoita. |
| --- | --- | --- |

59.

—

(ensimmäinen luetelmakohta) Pitkäaikaisiin arviointiryhmiin on vaikea saada riittävästi korkean tason asiantuntijoita.

| — | (toinen luetelmakohta) Puiteohjelmatason arvioinneista vastaavien ryhmien toimeksianto hyväksytään komission päätöksellä. Ennen päätöksen tekemistä sidosryhmien näkemykset selvitetään laajassa epävirallisessa kuulemisessa. Kuulemisen yhteydessä pyydetään myös virallinen lausunto seitsemännen puiteohjelman ohjelmakomiteoilta, jotka koostuvat jäsenvaltioiden ja assosioituneiden maiden edustajista. Näin toimitaan myös kuudennen puiteohjelman jälkiarvioinnin yhteydessä vuonna 2008. |
| --- | --- |

—

(toinen luetelmakohta) Puiteohjelmatason arvioinneista vastaavien ryhmien toimeksianto hyväksytään komission päätöksellä. Ennen päätöksen tekemistä sidosryhmien näkemykset selvitetään laajassa epävirallisessa kuulemisessa. Kuulemisen yhteydessä pyydetään myös virallinen lausunto seitsemännen puiteohjelman ohjelmakomiteoilta, jotka koostuvat jäsenvaltioiden ja assosioituneiden maiden edustajista. Näin toimitaan myös kuudennen puiteohjelman jälkiarvioinnin yhteydessä vuonna 2008.

| 62. | Komissio suosittaa, että ohjelman määrärahoista keskimäärin 0,5 prosenttia käytetään arviointiin. Todellinen osuus määräytyy pitkälti ohjelman luonteen mukaan. |
| --- | --- |

62.

Komissio suosittaa, että ohjelman määrärahoista keskimäärin 0,5 prosenttia käytetään arviointiin. Todellinen osuus määräytyy pitkälti ohjelman luonteen mukaan.

| 66. | Komissio katsoo, ettei yhteisen arviointiyksikön perustaminen ole tarpeen, mutta selvittää, miten koordinointia voitaisiin muuten parantaa.
  Yhteys arvioinnin ja johdon päätöksenteon välillä voidaan parhaiten varmistaa säilyttämällä arviointitoiminnot pääosastoissa ja tehostamalla komission nykyisen sisäisen TTK-arviointiverkoston toimintaa, jota keskusyksiköt tukevat. Lisäksi tämä lähestymistapa vastaa varainhoitoasetuksessa säädetyllä tavalla lainsäädäntö- ja talousarviomenettelyä ja arvioinnista vuonna 2007 annettua komission tiedonantoa sekä toimintoperusteisessa johtamisessa noudatettavia menettelyjä. |
| --- | --- |

66.

Komissio katsoo, ettei yhteisen arviointiyksikön perustaminen ole tarpeen, mutta selvittää, miten koordinointia voitaisiin muuten parantaa.

Yhteys arvioinnin ja johdon päätöksenteon välillä voidaan parhaiten varmistaa säilyttämällä arviointitoiminnot pääosastoissa ja tehostamalla komission nykyisen sisäisen TTK-arviointiverkoston toimintaa, jota keskusyksiköt tukevat. Lisäksi tämä lähestymistapa vastaa varainhoitoasetuksessa säädetyllä tavalla lainsäädäntö- ja talousarviomenettelyä ja arvioinnista vuonna 2007 annettua komission tiedonantoa sekä toimintoperusteisessa johtamisessa noudatettavia menettelyjä.

| 67. | Komissio on tilintarkastustuomioistuimen kanssa yhtä mieltä siitä, että arviointiryhmillä voi olla arvioinnissa tärkeä merkitys. Se on samaa mieltä myös siitä, että arviointiryhmät olisi perustettava mahdollisimman varhaisessa vaiheessa avustamaan tietyssä arvioinnissa. Se ei kuitenkaan pidä koko ohjelmakautta varten perustettuja pysyviä arviointiryhmiä tarkoituksenmukaisena ratkaisuna.
  Kulloistakin erityistarkoitusta varten perustetut arviointiryhmät ovat todennäköisesti pysyviä arviointiryhmiä parempi ratkaisu pyrittäessä selkeyteen ja toimien parempaan kohdentamiseen. |
| --- | --- |

67.

Komissio on tilintarkastustuomioistuimen kanssa yhtä mieltä siitä, että arviointiryhmillä voi olla arvioinnissa tärkeä merkitys. Se on samaa mieltä myös siitä, että arviointiryhmät olisi perustettava mahdollisimman varhaisessa vaiheessa avustamaan tietyssä arvioinnissa. Se ei kuitenkaan pidä koko ohjelmakautta varten perustettuja pysyviä arviointiryhmiä tarkoituksenmukaisena ratkaisuna.

Kulloistakin erityistarkoitusta varten perustetut arviointiryhmät ovat todennäköisesti pysyviä arviointiryhmiä parempi ratkaisu pyrittäessä selkeyteen ja toimien parempaan kohdentamiseen.

| 68. | Komissio arvioi tarkkaan sen, miten paljon resursseja tulevaisuudessa tarvitaan puiteohjelmien arviointia varten. |
| --- | --- |

68.

Komissio arvioi tarkkaan sen, miten paljon resursseja tulevaisuudessa tarvitaan puiteohjelmien arviointia varten.

| 70.–71. | Arviointimenetelmiä koskevaa ohjeistusta, johon kuuluvat myös tiedot käytettävissä olevista välineistä sekä sanasto, annetaan budjettipääosaston laatimassa oppaassa (4), jota yksiköt, myös puiteohjelmapääosastot, parhaillaan päivittävät.
  Yritystoiminnan pääosasto laati vuonna 2002 arviointiohjeet kaikkia pääosaston toiminta-aloja, myös puiteohjelmia, varten.
  Myös uudelleen käynnistetyn Euroopan TTK-arviointiverkoston (joka koostuu jäsenvaltioiden ja assosioituneiden maiden asiantuntijoista) sekä komission oman sisäisen TTK-arviointiverkoston tueksi on tarkoitus toteuttaa lisätoimia. Lisäksi komissio aikoo tukea arviointimenetelmiä koskevien riippumattomien selvitysten laatimista ja arviointimenetelmiä käsittelevien seminaarien järjestämistä myös vastaisuudessa. |
| --- | --- |

70.–71.

Arviointimenetelmiä koskevaa ohjeistusta, johon kuuluvat myös tiedot käytettävissä olevista välineistä sekä sanasto, annetaan budjettipääosaston laatimassa oppaassa (4), jota yksiköt, myös puiteohjelmapääosastot, parhaillaan päivittävät.

Yritystoiminnan pääosasto laati vuonna 2002 arviointiohjeet kaikkia pääosaston toiminta-aloja, myös puiteohjelmia, varten.

Myös uudelleen käynnistetyn Euroopan TTK-arviointiverkoston (joka koostuu jäsenvaltioiden ja assosioituneiden maiden asiantuntijoista) sekä komission oman sisäisen TTK-arviointiverkoston tueksi on tarkoitus toteuttaa lisätoimia. Lisäksi komissio aikoo tukea arviointimenetelmiä koskevien riippumattomien selvitysten laatimista ja arviointimenetelmiä käsittelevien seminaarien järjestämistä myös vastaisuudessa.

| 72. | Komissio myöntää, ettei menettely, jota noudatetaan tavanomaisissa hankkeita koskevissa tiedonkeruissa, ole ollut kaikilta osin tehokas. Hankkeisiin liittyvää raportointia uudistettiin kuudennen puiteohjelman yhteydessä, ja sitä kehitetään edelleen seitsemättä puiteohjelmaa varten (väliraportointia yksinkertaistetaan, välivaiheen kyselyistä luovutaan ja loppuraporttien hyödynnettävyyttä parannetaan etenkin siten, että niistä saadaan entistä enemmän hankkeiden toteuttamista ja tuloksia koskevia tietoja). |
| --- | --- |

72.

Komissio myöntää, ettei menettely, jota noudatetaan tavanomaisissa hankkeita koskevissa tiedonkeruissa, ole ollut kaikilta osin tehokas. Hankkeisiin liittyvää raportointia uudistettiin kuudennen puiteohjelman yhteydessä, ja sitä kehitetään edelleen seitsemättä puiteohjelmaa varten (väliraportointia yksinkertaistetaan, välivaiheen kyselyistä luovutaan ja loppuraporttien hyödynnettävyyttä parannetaan etenkin siten, että niistä saadaan entistä enemmän hankkeiden toteuttamista ja tuloksia koskevia tietoja).

| 74. | Puiteohjelmapääosastot kehittävät parhaillaan uutta tietotekniikkajärjestelmää seitsemättä puiteohjelmaa varten. Niitä avustaa tässä tietotekniikan pääosasto. Uusi järjestelmä tarjoaa entistä paremman perustan arvioinnille ja seurannalle. |
| --- | --- |

74.

Puiteohjelmapääosastot kehittävät parhaillaan uutta tietotekniikkajärjestelmää seitsemättä puiteohjelmaa varten. Niitä avustaa tässä tietotekniikan pääosasto. Uusi järjestelmä tarjoaa entistä paremman perustan arvioinnille ja seurannalle.

| 76.–78. | Arviointitietojen hankinta ei tarkastusjaksolla ollut kaikilta osin tehokasta. Komissio parantaa tietojen hankintaa seitsemännen puiteohjelman yhteydessä (ks. myös vastaus kohtaan 72). |
| --- | --- |

76.–78.

Arviointitietojen hankinta ei tarkastusjaksolla ollut kaikilta osin tehokasta. Komissio parantaa tietojen hankintaa seitsemännen puiteohjelman yhteydessä (ks. myös vastaus kohtaan 72).

| 79. | Komissio pyrkii kannustamaan tilintarkastustuomioistuimen mainitsemien kvantitatiivisten selvitysten kaltaisten tutkimusten tekemistä. |
| --- | --- |

79.

Komissio pyrkii kannustamaan tilintarkastustuomioistuimen mainitsemien kvantitatiivisten selvitysten kaltaisten tutkimusten tekemistä.

| 81. | Komissio toteaa, että viime aikoina on tehty monia menetelmien kannalta kiinnostavia arviointeja (ks. kohta 84). Lisäksi se katsoo, että laaja-alaiset arvioinnit olisi erotettava tavanomaisista arvioinneista. |
| --- | --- |

81.

Komissio toteaa, että viime aikoina on tehty monia menetelmien kannalta kiinnostavia arviointeja (ks. kohta 84). Lisäksi se katsoo, että laaja-alaiset arvioinnit olisi erotettava tavanomaisista arvioinneista.

| 82. | Komissio myöntää, että arvioinnissa on yleisesti kiinnitetty keskimääräistä enemmän huomiota lyhyen aikavälin saavutuksiin ja että tuloksia ja vaikutuksia voitaisiin analysoida nykyistä enemmän. Tämä edellyttää kuitenkin pitkän aikavälin kokemusta. Komission tekemät arvioinnit ovat tämän vuoksi samankaltaisia kuin muualla tehdyt vastaavat arvioinnit. |
| --- | --- |

82.

Komissio myöntää, että arvioinnissa on yleisesti kiinnitetty keskimääräistä enemmän huomiota lyhyen aikavälin saavutuksiin ja että tuloksia ja vaikutuksia voitaisiin analysoida nykyistä enemmän. Tämä edellyttää kuitenkin pitkän aikavälin kokemusta. Komission tekemät arvioinnit ovat tämän vuoksi samankaltaisia kuin muualla tehdyt vastaavat arvioinnit.

| 83. | Komissio pyrkii kunnioittamaan arvioinnista vastaavien asiantuntijoiden riippumattomuutta etenkin siltä osin, kuin on kyse soveltuvien arviointimenetelmien valinnasta.
  Kuudennen puiteohjelman tulevan jälkiarvioinnin yhteydessä vuonna 2008 on tarkoitus tutkia vaikutuksia toimintatapojen muutokseen, verkostoanalyysia sekä tieteellisen toiminnan mittaamiseen tarkoitettujen menetelmien käyttöä. |
| --- | --- |

83.

Komissio pyrkii kunnioittamaan arvioinnista vastaavien asiantuntijoiden riippumattomuutta etenkin siltä osin, kuin on kyse soveltuvien arviointimenetelmien valinnasta.

Kuudennen puiteohjelman tulevan jälkiarvioinnin yhteydessä vuonna 2008 on tarkoitus tutkia vaikutuksia toimintatapojen muutokseen, verkostoanalyysia sekä tieteellisen toiminnan mittaamiseen tarkoitettujen menetelmien käyttöä.

| 84. | Riippumaton asiantuntija teki aikaisemmista arviointitutkimuksista meta-analyysin (5) vuonna 2004 suoritettua viisivuotisarviointia (1999–2003) varten.






  — | (toinen luetelmakohta) Vuonna 2007 on käynnistetty useita laajoja selvityksiä (6) tilintarkastustuomioistuimen mainitsemien tutkimusten lisäksi. |
| --- | --- | --- |

84.

Riippumaton asiantuntija teki aikaisemmista arviointitutkimuksista meta-analyysin (5) vuonna 2004 suoritettua viisivuotisarviointia (1999–2003) varten.

—

(toinen luetelmakohta) Vuonna 2007 on käynnistetty useita laajoja selvityksiä (6) tilintarkastustuomioistuimen mainitsemien tutkimusten lisäksi.

| 85. | Komissio myöntää, että uusia menetelmiä on tarpeen kehittää puiteohjelmissa tapahtuvien muutosten huomioon ottamiseksi. Komissio tukee parhaillaan ja aikoo myös vastaisuudessa tukea tämänkaltaista menetelmien kehittämistyötä. |
| --- | --- |

85.

Komissio myöntää, että uusia menetelmiä on tarpeen kehittää puiteohjelmissa tapahtuvien muutosten huomioon ottamiseksi. Komissio tukee parhaillaan ja aikoo myös vastaisuudessa tukea tämänkaltaista menetelmien kehittämistyötä.

| 86. | Kysymykset, jotka sisältyivät vuonna 2004 toteutettua viisivuotisarviointia (1999–2003) koskevaan toimeksiantoon, olivat alustavia, joten arviointiryhmä saattoi vapaasti valita kohteiksi otettavat osa-alueet ja päättää omista työmenetelmistään. Arviointiryhmän jäsenet ovat kommentoineet arvioinnin asiantuntevaa toteuttamista (7). |
| --- | --- |

86.

Kysymykset, jotka sisältyivät vuonna 2004 toteutettua viisivuotisarviointia (1999–2003) koskevaan toimeksiantoon, olivat alustavia, joten arviointiryhmä saattoi vapaasti valita kohteiksi otettavat osa-alueet ja päättää omista työmenetelmistään. Arviointiryhmän jäsenet ovat kommentoineet arvioinnin asiantuntevaa toteuttamista (7).

| 87. | Tutkimusohjelmiin liittyy niiden luonteen vuoksi aina epävarmuutta, mikä rajoittaa mitattavissa olevien tavoitteiden asettamista. |
| --- | --- |

87.

Tutkimusohjelmiin liittyy niiden luonteen vuoksi aina epävarmuutta, mikä rajoittaa mitattavissa olevien tavoitteiden asettamista.

| 90. | Komissio käynnisti vuonna 2007 uudelleen Euroopan TTK-arviointiverkoston toiminnan. Verkosto koostuu jäsenvaltioiden virkamiehistä ja arvioinnin asiantuntijoista. Komissio pyrkii verkoston avulla yhtenäistämään tutkimustoiminnan arviointia EU:ssa ja etenkin jäsenvaltioiden tasolla tehtäviä vaikutustenarviointeja. |
| --- | --- |

90.

Komissio käynnisti vuonna 2007 uudelleen Euroopan TTK-arviointiverkoston toiminnan. Verkosto koostuu jäsenvaltioiden virkamiehistä ja arvioinnin asiantuntijoista. Komissio pyrkii verkoston avulla yhtenäistämään tutkimustoiminnan arviointia EU:ssa ja etenkin jäsenvaltioiden tasolla tehtäviä vaikutustenarviointeja.

| 91. | Komissio selvittää, voitaisiinko puiteohjelmien arviointia varten laatia uusi käsikirja, jossa on otettu huomioon viimeaikaiset tapausesimerkit (8). |
| --- | --- |

91.

Komissio selvittää, voitaisiinko puiteohjelmien arviointia varten laatia uusi käsikirja, jossa on otettu huomioon viimeaikaiset tapausesimerkit (8).

| 92. | Hankkeisiin liittyvää raportointia uudistettiin kuudennen puiteohjelman yhteydessä, ja sitä kehitetään edelleen seitsemättä puiteohjelmaa varten (ks. vastaus kohtaan 72). |
| --- | --- |

92.

Hankkeisiin liittyvää raportointia uudistettiin kuudennen puiteohjelman yhteydessä, ja sitä kehitetään edelleen seitsemättä puiteohjelmaa varten (ks. vastaus kohtaan 72).

| 93. | Komissio kehittää parhaillaan puiteohjelmatason seurantajärjestelmää seitsemättä puiteohjelmaa varten. Järjestelmällä pyritään tulosindikaattorien nykyistä johdonmukaisempaan ja järjestelmällisempään käyttöön (ks. vastaus kohtaan 30).
  Puiteohjelmapääosastot kehittävät parhaillaan uutta tietotekniikkajärjestelmää seitsemättä puiteohjelmaa varten. Niitä avustaa tässä tietotekniikan pääosasto. Uusi järjestelmä tarjoaa entistä paremman perustan arvioinnille ja seurannalle. |
| --- | --- |

93.

Komissio kehittää parhaillaan puiteohjelmatason seurantajärjestelmää seitsemättä puiteohjelmaa varten. Järjestelmällä pyritään tulosindikaattorien nykyistä johdonmukaisempaan ja järjestelmällisempään käyttöön (ks. vastaus kohtaan 30).

Puiteohjelmapääosastot kehittävät parhaillaan uutta tietotekniikkajärjestelmää seitsemättä puiteohjelmaa varten. Niitä avustaa tässä tietotekniikan pääosasto. Uusi järjestelmä tarjoaa entistä paremman perustan arvioinnille ja seurannalle.

| 94. | Myös komissio pitää raportointivaatimusten aiheuttamaa rasitetta ongelmana, ja se on kiinnittänyt tähän ongelmaan erityistä huomiota määrittäessään seitsemännen puiteohjelman raportointivaatimuksia (ks. vastaus kohtaan 72). |
| --- | --- |

94.

Myös komissio pitää raportointivaatimusten aiheuttamaa rasitetta ongelmana, ja se on kiinnittänyt tähän ongelmaan erityistä huomiota määrittäessään seitsemännen puiteohjelman raportointivaatimuksia (ks. vastaus kohtaan 72).

| 95. | Komissio toteuttaa parhaillaan toimenpiteitä, joilla pyritään varmistamaan, että nykyisiä ja uusia tietolähteitä hyödynnetään arvioinnissa ja seurannassa (ks. vastaus kohtaan 72). |
| --- | --- |

95.

Komissio toteuttaa parhaillaan toimenpiteitä, joilla pyritään varmistamaan, että nykyisiä ja uusia tietolähteitä hyödynnetään arvioinnissa ja seurannassa (ks. vastaus kohtaan 72).

| 96. | Seitsemännessä puiteohjelmassa on aihealueessa 8 (Yhteiskunta ja humanistiset tieteet) erityinen toimintalinja innovatiivisille arviointi- ja seurantamenetelmille. |
| --- | --- |

96.

Seitsemännessä puiteohjelmassa on aihealueessa 8 (Yhteiskunta ja humanistiset tieteet) erityinen toimintalinja innovatiivisille arviointi- ja seurantamenetelmille.

| 97. | Komissio käynnisti vuonna 2007 uudelleen Euroopan TTK-arviointiverkoston toiminnan (ks. vastaukset kohtiin 70, 71 ja 90). Se pyrkii verkoston avulla yhtenäistämään tutkimustoiminnan arviointia EU:ssa ja etenkin jäsenvaltioiden tekemiä vaikutustenarviointeja.
  Komissio aikoo myös vastaisuudessa olla edelläkävijänä tukemassa kansainvälistä verkottumista sekä tutkimustoiminnan arvioinnista saadun kokemuksen jakamista seminaareissa ja tapahtumissa. |
| --- | --- |

97.

Komissio käynnisti vuonna 2007 uudelleen Euroopan TTK-arviointiverkoston toiminnan (ks. vastaukset kohtiin 70, 71 ja 90). Se pyrkii verkoston avulla yhtenäistämään tutkimustoiminnan arviointia EU:ssa ja etenkin jäsenvaltioiden tekemiä vaikutustenarviointeja.

Komissio aikoo myös vastaisuudessa olla edelläkävijänä tukemassa kansainvälistä verkottumista sekä tutkimustoiminnan arvioinnista saadun kokemuksen jakamista seminaareissa ja tapahtumissa.

| 99. | Arviointien aikataulu määräytyy Euroopan parlamentin ja neuvoston antamissa perussäädöksissä asetettujen vaatimusten mukaan. Komissio myöntää, että pitkän aikavälin vaikutuksista tiedetään vähemmän kuin lyhyen aikavälin vaikutuksista ja että näitä vaikutuksia voitaisiin pyrkiä selvittämään tarkemmin. |
| --- | --- |

99.

Arviointien aikataulu määräytyy Euroopan parlamentin ja neuvoston antamissa perussäädöksissä asetettujen vaatimusten mukaan. Komissio myöntää, että pitkän aikavälin vaikutuksista tiedetään vähemmän kuin lyhyen aikavälin vaikutuksista ja että näitä vaikutuksia voitaisiin pyrkiä selvittämään tarkemmin.

| 100. | Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että viisivuotisarvioinneissa painopiste on ollut pikemminkin lyhyen kuin pitkän aikavälin vaikutuksissa. Tähän ovat vaikuttaneet mm. seuraavat tekijät: ulkopuolisten sidosryhmien, kuten Euroopan parlamentin ja neuvoston, halu saada nopeasti palautetta puiteohjelmien tuloksista, haasteet, joita liittyy tutkimustoiminnan pitkän aikavälin vaikutusten selvittämiseen, sekä arvioinnista vastanneiden riippumattomien asiantuntijaryhmien asettamat painopisteet. Komissio myöntää kuitenkin, että pitkän aikavälin vaikutusten arviointiin olisi kiinnitettävä nykyistä enemmän huomiota. |
| --- | --- |

100.

Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että viisivuotisarvioinneissa painopiste on ollut pikemminkin lyhyen kuin pitkän aikavälin vaikutuksissa. Tähän ovat vaikuttaneet mm. seuraavat tekijät: ulkopuolisten sidosryhmien, kuten Euroopan parlamentin ja neuvoston, halu saada nopeasti palautetta puiteohjelmien tuloksista, haasteet, joita liittyy tutkimustoiminnan pitkän aikavälin vaikutusten selvittämiseen, sekä arvioinnista vastanneiden riippumattomien asiantuntijaryhmien asettamat painopisteet. Komissio myöntää kuitenkin, että pitkän aikavälin vaikutusten arviointiin olisi kiinnitettävä nykyistä enemmän huomiota.

| 108. | Komissio suunnittelee parhaillaan seitsemännen puiteohjelman tärkeimpiä arviointeja ja harkitsee tässä yhteydessä tarkkaan tilintarkastustuomioistuimen suosituksia. Komissio myöntää, että pitkän aikavälin vaikutuksista tiedetään vähemmän kuin lyhyen aikavälin vaikutuksista ja että näitä vaikutuksia voitaisiin pyrkiä selvittämään tarkemmin. |
| --- | --- |

108.

Komissio suunnittelee parhaillaan seitsemännen puiteohjelman tärkeimpiä arviointeja ja harkitsee tässä yhteydessä tarkkaan tilintarkastustuomioistuimen suosituksia. Komissio myöntää, että pitkän aikavälin vaikutuksista tiedetään vähemmän kuin lyhyen aikavälin vaikutuksista ja että näitä vaikutuksia voitaisiin pyrkiä selvittämään tarkemmin.

| 109. | Kuten tilintarkastustuomioistuin toteaa kohdassa 107, komissio esittää yhteenvedon kaikista tutkimustoiminnan arviointiin liittyvistä havainnoista ja toimista vuotuisessa arviointikertomuksessaan. Komissio on sitoutunut siihen, että sen arviointitoiminta on kaikilta osin täysin avointa. Se aikoo tämän vuoksi noudattaa tilintarkastustuomioistuimen suositusta ja tarkistaa tapaa, jolla se tiedottaa havainnoistaan. |
| --- | --- |

109.

Kuten tilintarkastustuomioistuin toteaa kohdassa 107, komissio esittää yhteenvedon kaikista tutkimustoiminnan arviointiin liittyvistä havainnoista ja toimista vuotuisessa arviointikertomuksessaan. Komissio on sitoutunut siihen, että sen arviointitoiminta on kaikilta osin täysin avointa. Se aikoo tämän vuoksi noudattaa tilintarkastustuomioistuimen suositusta ja tarkistaa tapaa, jolla se tiedottaa havainnoistaan.

| 110.–111. | Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että tutkimustoiminnan ja etenkin puiteohjelmien kaltaisten laajojen kokonaisuuksien arviointi on hyvin haastavaa.
  Se huomauttaa, että järjestelmään on viimeksi kuluneiden 25 vuoden aikana tehty erittäin merkittäviä parannuksia ja että järjestelmällä on yleisesti ottaen vastattu tehokkaasti päätöstentekijöiden, tutkimusjohtajien ja muiden sidosryhmien tarpeisiin. |
| --- | --- |

110.–111.

Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että tutkimustoiminnan ja etenkin puiteohjelmien kaltaisten laajojen kokonaisuuksien arviointi on hyvin haastavaa.

Se huomauttaa, että järjestelmään on viimeksi kuluneiden 25 vuoden aikana tehty erittäin merkittäviä parannuksia ja että järjestelmällä on yleisesti ottaen vastattu tehokkaasti päätöstentekijöiden, tutkimusjohtajien ja muiden sidosryhmien tarpeisiin.

| 112. | Komissio on tyytyväinen siihen, että puiteohjelman toteuttamisesta vastaavien pääosastojen toiminta on tilintarkastustuomioistuimen mukaan täyttänyt komission asettamat vaatimukset, myös ne, jotka asetetaan vuosina 2000 ja 2002 arvioinneista annetuissa tiedonannoissa.
  Puiteohjelmien arviointijärjestelmään on tehty merkittäviä muutoksia, joihin kuuluu mm. järjestelmän rakenteen perusteellinen uudistaminen seitsemättä puiteohjelmaa varten. Muutokset perustuvat vaikutustenarviointia käsittelevässä asiakirjassa (SEC(2005) 430) esitettyyn strategiaan. |
| --- | --- |

112.

Komissio on tyytyväinen siihen, että puiteohjelman toteuttamisesta vastaavien pääosastojen toiminta on tilintarkastustuomioistuimen mukaan täyttänyt komission asettamat vaatimukset, myös ne, jotka asetetaan vuosina 2000 ja 2002 arvioinneista annetuissa tiedonannoissa.

Puiteohjelmien arviointijärjestelmään on tehty merkittäviä muutoksia, joihin kuuluu mm. järjestelmän rakenteen perusteellinen uudistaminen seitsemättä puiteohjelmaa varten. Muutokset perustuvat vaikutustenarviointia käsittelevässä asiakirjassa (SEC(2005) 430) esitettyyn strategiaan.

| 113. | Arviointien tarkoituksenmukaisuudesta ja hyödyllisyydestä komissio toteaa, että se on saanut yleisesti ottaen myönteistä palautetta, etenkin kun on kyse viime aikoina tehdyistä keskeisistä arvioinneista, joihin kuuluu mm. vuonna 2004 suoritettu viisivuotisarviointi (1999–2003). Viisivuotisarvioinnin tuloksista tiedotettiin laajalti, ja ne esiteltiin myös tärkeimmille elimille kuten Euroopan parlamentille, neuvostolle, tieteen ja tekniikan tutkimuskomitealle sekä puiteohjelmakomitealle. Koska arvioinnin suorittaminen oli pakollinen vaatimus, jonka oli täytyttävä ennen uutta (seitsemättä) puiteohjelmaa koskevan komission ehdotuksen esittämistä, seitsemännen puiteohjelman hyväksymistä voidaan pitää osoituksena siitä, että arviointi katsottiin kokonaisuudessaan hyväksyttäväksi.
  Tämä ei kuitenkaan merkitse sitä, etteikö arviointia voitaisi parantaa. Komissio myöntää varauksitta, että nykyiseen järjestelmään on tarpeen tehdä huolella harkittuja muutoksia, jotka perustuvat tämänhetkiseen hyvin toimivaan lähestymistapaan. |
| --- | --- |

113.

Arviointien tarkoituksenmukaisuudesta ja hyödyllisyydestä komissio toteaa, että se on saanut yleisesti ottaen myönteistä palautetta, etenkin kun on kyse viime aikoina tehdyistä keskeisistä arvioinneista, joihin kuuluu mm. vuonna 2004 suoritettu viisivuotisarviointi (1999–2003). Viisivuotisarvioinnin tuloksista tiedotettiin laajalti, ja ne esiteltiin myös tärkeimmille elimille kuten Euroopan parlamentille, neuvostolle, tieteen ja tekniikan tutkimuskomitealle sekä puiteohjelmakomitealle. Koska arvioinnin suorittaminen oli pakollinen vaatimus, jonka oli täytyttävä ennen uutta (seitsemättä) puiteohjelmaa koskevan komission ehdotuksen esittämistä, seitsemännen puiteohjelman hyväksymistä voidaan pitää osoituksena siitä, että arviointi katsottiin kokonaisuudessaan hyväksyttäväksi.

Tämä ei kuitenkaan merkitse sitä, etteikö arviointia voitaisi parantaa. Komissio myöntää varauksitta, että nykyiseen järjestelmään on tarpeen tehdä huolella harkittuja muutoksia, jotka perustuvat tämänhetkiseen hyvin toimivaan lähestymistapaan.

| 114. | Komissio on tyytyväinen siihen, että tilintarkastustuomioistuin pitää arviointia ja seurantaa tärkeänä. Se aikoo jatkaa nykyisten toimintatapojensa uudistamista jo tehtyjen merkittävien parannusten pohjalta, jotta uudet poliittiset ja käytännön vaatimukset voitaisiin ottaa huomioon. |
| --- | --- |

114.

Komissio on tyytyväinen siihen, että tilintarkastustuomioistuin pitää arviointia ja seurantaa tärkeänä. Se aikoo jatkaa nykyisten toimintatapojensa uudistamista jo tehtyjen merkittävien parannusten pohjalta, jotta uudet poliittiset ja käytännön vaatimukset voitaisiin ottaa huomioon.

| 115. | Komissio on jo sitoutunut selkiyttämään ohjelmien perustana olevaa toimintalogiikkaa seitsemättä puiteohjelmaa koskevaan lainsäädäntöön ja vaikutustenarviointiin tehtyjen parannusten pohjalta. Lisäksi se ottaa tilintarkastustuomioistuimen suosituksen huomioon laatiessaan tulevia lainsäädäntöehdotuksia. |
| --- | --- |

115.

Komissio on jo sitoutunut selkiyttämään ohjelmien perustana olevaa toimintalogiikkaa seitsemättä puiteohjelmaa koskevaan lainsäädäntöön ja vaikutustenarviointiin tehtyjen parannusten pohjalta. Lisäksi se ottaa tilintarkastustuomioistuimen suosituksen huomioon laatiessaan tulevia lainsäädäntöehdotuksia.

| 116. | Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että arviointia voidaan edelleen parantaa mm. tehostamalla toimintatason koordinointia puiteohjelman toteuttamiseen osallistuvien yksiköiden välillä. Tässä yhteydessä otetaan huomioon puiteohjelmien arviointiin jo tehdyt merkittävät parannukset. Komissio jatkaa työtään arviointimenetelmien kehittämiseksi. |
| --- | --- |

116.

Komissio on tilintarkastustuomioistuimen kanssa samaa mieltä siitä, että arviointia voidaan edelleen parantaa mm. tehostamalla toimintatason koordinointia puiteohjelman toteuttamiseen osallistuvien yksiköiden välillä. Tässä yhteydessä otetaan huomioon puiteohjelmien arviointiin jo tehdyt merkittävät parannukset. Komissio jatkaa työtään arviointimenetelmien kehittämiseksi.

| 117. | Arvioinnin organisatorisista järjestelyistä komissio toteaa seuraavaa:






  — | (ensimmäinen luetelmakohta) Arviointiryhmät olisi perustettava mahdollisimman aikaisessa vaiheessa avustamaan arvioinnissa. Kulloistakin erityistarkoitusta varten perustetut arviointiryhmät ovat kuitenkin todennäköisesti parempi ratkaisu pyrittäessä selkeyteen ja toimien parempaan kohdentamiseen. |
| --- | --- | --- |

117.

Arvioinnin organisatorisista järjestelyistä komissio toteaa seuraavaa:

—

(ensimmäinen luetelmakohta) Arviointiryhmät olisi perustettava mahdollisimman aikaisessa vaiheessa avustamaan arvioinnissa. Kulloistakin erityistarkoitusta varten perustetut arviointiryhmät ovat kuitenkin todennäköisesti parempi ratkaisu pyrittäessä selkeyteen ja toimien parempaan kohdentamiseen.

| — | (toinen luetelmakohta) Puiteohjelman toteuttamisesta vastaavien pääosastojen toiminta olisi koordinoitava nykyistä paremmin. Tämän tavoitteen saavuttamiseksi ei ole tarpeen perustaa yhteistä arviointiyksikköä, vaan siihen päästään noudattamalla seitsemättä puiteohjelmaa varten kehitettyä uutta arviointistrategiaa ja käyttämällä komission sisäistä TTK-arviointiverkostoa täydentäviä koordinointirakenteita. |
| --- | --- |

—

(toinen luetelmakohta) Puiteohjelman toteuttamisesta vastaavien pääosastojen toiminta olisi koordinoitava nykyistä paremmin. Tämän tavoitteen saavuttamiseksi ei ole tarpeen perustaa yhteistä arviointiyksikköä, vaan siihen päästään noudattamalla seitsemättä puiteohjelmaa varten kehitettyä uutta arviointistrategiaa ja käyttämällä komission sisäistä TTK-arviointiverkostoa täydentäviä koordinointirakenteita.

---

(1)  Komission tiedonanto kevään Eurooppa-neuvostolle – Kasvua ja työllisyyttä koskevan uudistetun Lissabonin strategian täytäntöönpano (KOM(2006) 816).

(2)  Komissio laati seitsemättä puiteohjelmaa koskevan ehdotuksensa yksityiskohtaisen ennakkoon tehdyn vaikutustenarvioinnin perusteella. Arvioinnissa käytettiin ekonometristä mallinnusta, jonka avulla arvioitiin, miten tutkimustoiminta mahdollisesti vaikuttaa muihin osa-alueisiin, kuten talouskasvuun ja työpaikkojen luomiseen (ks. komission yksiköiden valmisteluasiakirja seitsemättä puiteohjelmaa koskeviin ehdotuksiin liittyvästä vaikutusten- ja ennakkoarvioinnista ”Impact Assessment and Ex Ante Evaluation for the proposals for the Council and European Parliament decision on the 7th Framework Programme (EC and Euratom)”, SEC(2005) 430). Seitsemättä puiteohjelmaa koskevissa päätöksissä on selkeä rakenne, jossa tavoitteet, perustelut ja toiminnot on yhdistetty toisiinsa. Lisäksi seitsemännen puiteohjelman erityisohjelmia koskevissa päätöksissä määritellään tavoitteet, lähestymistavat ja toiminnot.

(3)  Selvitys laadunarviointijärjestelmästä on osoitteessa http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Euroopan komission budjettipääosaston kesäkuussa 2004 julkaisema opas ”Evaluating EU Activities – A Practical Guide for the Commission services” on osoitteessa http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, ”What the Evaluation Record tells us about the Framework Programme Performance”, 2004.

(6)  Tutkimuksen pääosasto: ”Structuring Effects of Community Research – The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation”, 2007; Tietoyhteiskunnan ja viestinten pääosasto: ”Effectiveness of IST-RTD Impacts on the EU Innovation System”, 2007.

(7)  Ks. C. Mandl, ”Evaluating Evaluations or The Case for Action Research”, Austrian Platform Newsletter, No. 30, June 2007.

(8)  Ks. esim. Euroopan komission yhteisen tutkimuskeskuksen julkaisu ”Assessing the Socio-Economic Impact of RTD-Policies (EPUB)”, 2002, sekä Manchesterin yliopiston julkaisu ”Assessing the Socio-economic Impacts of the Framework Programme (ASIF)”, 2002, molemmat osoitteessa http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Näitä julkaisuja on levitetty laajalti, ja ne asetettiin myös komission toimeksiannosta arviointitutkimuksia tehneiden asiantuntijoiden saataville.

---