Euroopan unionin toiminnasta tehdyn sopimuksen 287 artiklan 1 ja 4 kohdan määräysten sekä unionin yleiseen talousarvioon sovellettavista varainhoitosäännöistä ja neuvoston asetuksen (EY, Euratom) N:o 1605/2002 kumoamisesta 25 päivänä lokakuuta 2012 annetun Euroopan parlamentin ja neuvoston asetuksen (EU, Euratom) N:o 966/2012 148 artiklan 1 kohdan ja 162 artiklan 1 kohdan ja kymmenenteen Euroopan kehitysrahastoon sovellettavasta varainhoitoasetuksesta 18 päivänä helmikuuta 2008 annetun neuvoston asetuksen (EY) N:o 215/2008, sellaisena kuin se on muutettuna asetuksella (EU) N:o 567/2014, 43, 48 ja 60 artiklan mukaisesti

Euroopan unionin tilintarkastustuomioistuin on 14. heinäkuuta 2016 pitämässään kokouksessa hyväksynyt

vuosikertomukset

varainhoitovuodelta 2015.

Kertomukset ja toimielinten vastaukset tilintarkastustuomioistuimen huomautuksiin on toimitettu vastuuvapauden myöntämisestä vastaaville viranomaisille ja muille toimielimille.

Tilintarkastustuomioistuimen jäsenet ovat

Vítor Manuel da SILVA CALDEIRA (presidentti), Kersti KALJULAID, Karel PINXTEN, Henri GRETHEN, Szabolcs FAZAKAS, Louis GALEA, Ladislav BALKO, Lazaros S. LAZAROU, Hans Gustaf WESSBERG, Pietro RUSSO, Ville ITÄLÄ, Kevin CARDIFF, Baudilio TOMÉ MUGURUZA, Iliana IVANOVA, George PUFAN, Neven MATES, Alex BRENNINKMEIJER, Danièle LAMARQUE, Nikolaos MILIONIS, Phil WYNN OWEN, Klaus-Heiner LEHNE, Oskar HERICS, Bettina JAKOBSEN, Janusz WOJCIECHOWSKI, Samo JEREB, Jan GREGOR, Mihails KOZLOVS, Rimantas ŠADŽIUS.

TALOUSARVION TOTEUTTAMISTA KOSKEVA VUOSIKERTOMUS VARAINHOITOVUODELTA

(2016/C 375/01)

SISÄLLYS

Komission (tai tarvittaessa muiden EU:n toimielinten ja elinten) vastaukset tilintarkastustuomioistuimen huomautuksiin on liitetty tähän kertomukseen. Tilintarkastustuomioistuin ottaa vastaukset huomioon havainnoissaan ja johtopäätöksissään. Ulkoisena tarkastajana tilintarkastustuomioistuimella on kuitenkin edelleen velvollisuus raportoida tarkastushavainnoista ja tehdä niiden perusteella johtopäätöksiä ja täten antaa riippumaton ja puolueeton arvio tilien luotettavuudesta sekä toimien sääntöjenmukaisuudesta.

(4) Yleiskirje No. A-123 liite C Requirements for Effective Estimation and Remediation of Improper Payments.

Vuodelta 2015 raportoitiin virheellisiä maksuja 136,7 miljardin Yhdysvaltain dollarin arvosta (123,2 miljardia euroa) (6) , mikä vastaa 4,4:ää prosenttia liittovaltion menoista (7) . Tarkastusten kattamien menojen luonteessa ja virheiden määritelmissä on monia eroavaisuuksia. Pääasiallinen ero on, että varoja hallinnoivien elinten täytyy Yhdysvalloissa tuottaa omat tilastollisesti pätevät arvionsa virhetasosta.

Yhdysvalloissa laskettu virheellisten maksujen kokonaismäärä sisältää laajan kirjon erilaisia julkisia menoja sosiaalihuollon menoista puolustusalan menoihin. Maatalous ja infrastruktuurit ovat EU:n talousarviossa tärkeimpiä menoaloja, mutta niiden osuus Yhdysvaltojen liittovaltion talousarviossa on suhteellisen pieni. Virhetyyppien jaottelu tuo esiin selviä eroja virhemalleissa. Toissijaisten ehtojen rikkomisella (aihealueina mm. hankintamenettelyjen asianmukaisuus tai valtiontukea koskevat ongelmat, joita ilmenee, koska EU:n politiikka painottaa sisämarkkinoiden toimintaa) on suurempi vaikutus tilintarkastustuomioistuimen arvioituun virhetasoon kuin virheellisten maksujen kokonaismäärään Yhdysvalloissa. Vajaat maksusuoritukset ovat Yhdysvalloissa lasketun kokonaismäärän merkittävä osatekijä toisin kuin tilintarkastustuomioistuimen arvioidun virhetason yhteydessä. Myös dokumentointivirheet vaikuttavat enemmän Yhdysvaltain lukuihin kuin tilintarkastustuomioistuimen arvioituun virhetasoon.

Yhdysvalloissa kongressin säätämässä laissa edellytetään, että kaikki julkisyhteisöt testaavat maksunsa riittävällä tavalla niin, että on mahdollista laskea tilastollisesti pätevä arvio virheellisten maksujen vuotuisesta määrästä ohjelmissa, joissa riskianalyysin mukaan tällaisten maksujen osuus on todennäköisesti yli 1,5 prosenttia maksetusta kokonaismäärästä (1) . Julkisyhteisöjen on julkaistava tulokset sekä ekstrapoloituna kokonaismääränä että prosenttiosuutena suoritetuista maksuista. Julkisyhteisöjen tarkastajien (2) on raportoitava, onko näiden lukujen tuottaminen ja julkaisu tapahtunut kongressin laissa säätämällä tavalla (3) .

Julkisiin hankintoihin liittyvien virheiden kvantifiointia koskevat tilintarkastustuomioistuimen perusteet esitellään asiakirjassa Non-compliance with the rules on public procurement – types of irregularities and basis for quantification (2) .

Tapahtumien virheet johtuvat useista eri syistä, ja virheitä on monenlaisia riippuen rikkomisen luonteesta ja siitä, mitä nimenomaista sääntöä tai sopimusehtoa ei ole noudatettu. Virhe voi liittyä yksittäisen tapahtuman osaan tai koko tapahtumaan. Tilintarkastustuomioistuin ei ota virhetasoa ja virheiden esiintyvyyttä laskiessaan huomioon virheitä, jotka on havaittu ja korjattu ennen sen toimittamia tarkastuksia ja niistä riippumatta, sillä ne ovat osoitus valvontajärjestelmien vaikuttavasta toiminnasta. Tilintarkastustuomioistuin arvioi, ovatko yksittäiset virheet ilmaistavissa kvantitatiivisesti vai eikö niitä voida ilmaista kvantitatiivisesti. Jako perustuu siihen, missä määrin on mahdollista mitata, kuinka suureen osaan tarkastetusta määrästä virhe vaikuttaa.

Menojen alalla tilintarkastustuomioistuin tarkastaa maksut, kun menot ovat aiheutuneet ja ne on kirjattu ja hyväksytty. Tarkastus kattaa kaikentyyppiset (myös omaisuuserien hankintaan liittyvät) maksut. Ennakkomaksuja ei tarkasteta siinä vaiheessa, kun ne on suoritetaan. Ennakkomaksut tutkitaan, kun

Tuloihin luettavat arvonlisäveroon (alv) ja bruttokansantuloon (BKTL) perustuvat omat varat tarkastetaan niiden laskemisperustan eli makroekonomisten aggregaattien perusteella. Tämän jälkeen tilintarkastustuomioistuin arvioi varmuuden saamiseksi komission valvontajärjestelmät, joiden avulla makroekonomisia aggregaatteja käsitellään, kunnes jäsenvaltioiden maksuosuudet on saatu ja kirjattu konsolidoituun tilinpäätökseen. Perinteisten omien varojen osalta tilintarkastustuomioistuin tutkii tulliviranomaisten tilit ja analysoi tullivalvonnan alaisen maksuvirran siihen saakka, kunnes komissio on vastaanottanut asianomaiset määrät ja ne on kirjattu tileihin.

hyödynnetään kansainvälisten tarkastusstandardien mukaisesti muiden tarkastajien tekemää työtä, kun se on mahdollista. Tämä koskee erityisesti tarkastuksia komission hallinnoimasta lainanotto- ja lainanantotoiminnasta, josta on saatavilla ulkoisia tarkastuslausuntoja.

Tilintarkastustuomioistuimen soveltama tarkastustapa on esitetty ”Tilintarkastuksen ja säännönmukaisuuden tarkastuksen käsikirjassa”, joka on saatavilla tilintarkastustuomioistuimen verkkosivustolla. Tilintarkastustuomioistuin käyttää tarkastustyönsä suunnittelussa varmuuteen perustuvaa mallia. Suunnittelun osana arvioidaan toimintariski (tapahtumissa voi olla virheitä) ja valvontariski (valvontajärjestelmillä ei kyetä ehkäisemään tai havaitsemaan ja korjaamaan näitä virheitä).

(28) Suora hallinnointi (Euroopan komissio toteuttaa talousarviota suoraan), välillinen hallinnointi (talousarvion toteuttaminen on annettu tehtäväksi EU:n ulkopuolisille kumppanimaille, kansainvälisille järjestöille jne.) ja yhteistyössä tehtävä hallinnointi (talousarvion hallinnointi on jaettu komission ja jäsenvaltioiden kesken).

(23) IPSAS 29 -standardin kohdassa 10 todetaan, että johdannainen on rahoitusinstrumentti, jolla on seuraavat kolme ominaisuutta: a) sen arvo muuttuu tietyn koron, rahoitusinstrumentin hinnan, hyödykkeen hinnan taikka muun muuttujan arvon muuttuessa, b) se ei sopimusta tehtäessä vaadi lainkaan nettosijoitusta tai vaatii pienemmän nettosijoituksen kuin mitä vaadittaisiin toisen tyyppisissä sopimuksissa, joiden odotettaisiin reagoivan markkinatekijöiden muutoksiin vastaavalla tavalla, c) se toteutetaan tulevana ajankohtana.

(17) Euroopan parlamentin ja neuvoston asetus (EU) 2015/1017, annettu 25 päivänä kesäkuuta 2015, Euroopan strategisten investointien rahastosta, Euroopan investointineuvontakeskuksesta ja Euroopan investointihankeportaalista sekä asetusten (EU) N:o 1291/2013 ja (EU) N:o 1316/2013 muuttamisesta – Euroopan strategisten investointien rahasto ( EUVL L 169, 1.7.2015, s. 1 ) (”ESIR-asetus”).

(9) Ks. kansainvälisiä julkisen sektorin tilinpäätösstandardeja käsittelevän elimen (International Public Sector Accounting Standards Board, IPSASB) tilinpäätöksen sisältöä ja analyysiä koskevasta suositellusta käytännöstä antama ohje RPG 2 Financial Statements Discussion and Analysis.

(7) Tilintarkastustuomioistuin vastaanotti alustavan tilinpäätöksen sekä tilinpitäjän vahvistusilmoituksen 31. maaliskuuta 2016 eli varainhoitoasetuksen mukaisen määräajan umpeutuessa (ks. asetuksen (EU, Euratom) N:o 966/2012 147 artikla). Lopullinen vahvistettu tilinpäätös vastaanotettiin 12. heinäkuuta eli ennen sen esittämiselle asetetun määrärajan umpeutumista (määräaika on asetuksen 148 artiklan mukaan 31. heinäkuuta).

Komissio on parantanut menetelmiään ja tarvittaessa korjannut EU:n talousarviota koskevan vuotuisen hallinto- ja tuloksellisuuskertomuksen 2015 numerotietoja varmistaakseen, että ilmoitetut numerotiedot antavat varovaisen arvion riskienalaisesta määrästä ja oikaisukapasiteetista. Vuosina 2014–2020 sovellettava uusi säädöskehys huomioon ottaen menetelmiin on ehkä aiheellista tehdä uusia mukautuksia.

Budjettipääosasto ilmoittaa pääjohtajille oikaisukapasiteetin laskemista varten, minkä verran varoja on tilien mukaan peritty takaisin ja rahoitusoikaisuja tehty keskimäärin vuodesta 2009 alkaen (34) . Kyseisistä 48 pääosastosta ja toimeenpanovirastosta 29 on tarvittaessa mukauttanut tätä määrää, jotta voitaisiin esittää maltillisempi arvio, muun muassa jättämällä pois ennakkoon tehdyt ja muut epärelevantit oikaisut ja takaisinperintätoimet sekä kertaluonteiset tapahtumat (35) tai valitsemalla vaihtoehtoisen laskentaperustan (36) . Komissio arvioi EU:n talousarviota koskevassa vuotuisessa hallinto- ja tuloksellisuuskertomuksessa, että vuoden 2015 menoihin vaikuttavien tulevien oikaisujen määrä on näin ollen 2,1 miljardia euroa (2014: 2,7 miljardia euroa). Lisäksi komissio esittää mahdollisten tulevien oikaisujen osalta korkeamman arvion, 2,7 miljardia euroa.

Komissio aikoo jatkaa yhteistyötään jäsenvaltioiden tarkastuselinten kanssa säädöskehyksessä asetettujen vaatimusten mukaisesti ja määritellä yhteistyössä tilastollisesti pätevän menettelytavan virhetasojen arvioimiseksi ohjelmatasolla. Se aikoo myös käyttää tällaisia virhetasoja niiden validoinnin jälkeen. Komissio siis soveltaa yhtenäisen tarkastusmallin periaatetta keskittämällä toimintansa jäsenvaltioiden tarkastajien tarkastamiseen ja heidän tarkastustoimiensa validointiin. Lähtökohtana on tilintarkastustuomioistuimen lausunto nro 2/2004 yhtenäisestä tarkastusmallista sekä yhteisön sisäisen valvonnan menettelyjä koskeva ehdotus. Tällainen menettelytapa on täysin edunsaajien hallinnollisen rasituksen vähentämistavoitteen mukainen ja vähentää myös tarkastajan virkojen tarvetta komissiossa.

Yhteistyössä hallinnoitujen menojen arvioitu kokonaisvirhetaso vuonna 2015 on 4,0 prosenttia (2014: 4,6 prosenttia); kaikkien muunlaisten toimintamenojen (30) arvioitu virhetaso on 3,9 prosenttia (2014: 4,6 prosenttia). Hallintomenojen arvioitu virhetaso on 0,6 prosenttia (2014: 0,5 prosenttia).

Globaali Eurooppa (kahdeksas luku): arvioitu virhetaso on 2,8 prosenttia eli tulos on lähellä vuoden 2014 tasoa (2,7 prosenttia). Alan arvioidusta kokonaisvirhetasosta kaksi kolmasosaa johtuu siitä, että komissio on hyväksynyt urakoita, palveluja tai tavarantoimituksia, joita ei ole suoritettu, ja korvannut tukeen oikeuttamattomia kuluja.

Luonnonvarat (seitsemäs luku): arvioitu virhetaso on 2,9 prosenttia eli lähellä vuoden 2014 tasoa (3,6 prosenttia) (29) . Yli kolme neljäsosaa alan menoista liittyy Euroopan maatalouden tukirahastoon (maataloustukirahasto). Maataloustukirahaston menoissa esiintyy vähemmän virheitä (2,2 prosenttia) kuin maaseudun kehittämisen alalla (5,3 prosenttia), jolla havaitut virhetasot ovat olleet pitkään korkeat investointimenoissa (maatilayrityksille myönnetään tukea korvaamalla tukikelpoisia menoja). Lähes kaksi kolmasosaa monivuotisen rahoituskehyksen otsakkeen 2 menoista liittyy viljelijöille myönnettyyn pinta-alaperusteiseen suoraan tukeen. Näin ollen suurin osa (yli puolet) arvioidusta virhetasosta johtuu maatalousmaan pinta-alan ilmoittamisesta liian suurena. Yhdessä viidesosassa virheistä syynä on se, etteivät edunsaajat, toimet tai menot ole oikeutettuja tukeen. Julkisia hankintoja koskevien sääntöjen rikkominen nosti virhetasoa vuonna 2014 havaitusta.

Koheesiopolitiikka (kuudes luku): arvioitu virhetaso on 5,2 prosenttia eli tulos on alhaisempi kuin vuonna 2014 (5,7 prosenttia). Lähes kaikissa tämän alan menoissa on kyse kulujen korvaamisesta. Tukeen oikeuttamattomat kulut menoilmoituksissa ja tukeen oikeuttamattomat hankkeet vastaavat kolmea neljäsosaa virhetasosta. Julkisia hankintoja koskevien sääntöjen vakava rikkominen puolestaan vastaa yhtä seitsemäsosaa kokonaisvirhetasosta (puolta vuonna 2014).

Kilpailukyky (viides luku): arvioitu virhetaso on 4,4 prosenttia eli tulos on alhaisempi kuin vuonna 2014 (5,6 prosenttia). Suuressa osassa menoja on kyse kulujen korvaamisesta. Niissä ilmenevät virheet kuuluvat pääasiassa tukeen oikeuttamattomien kulujen eri luokkiin (henkilöstökulut, muut välittömät kustannukset ja välilliset kustannukset).

Menomäärä on sama molemmilla puolilla kaaviota. Vasemmalla puolella menot on jaoteltu hallinnointitavan mukaan, ja kuvasta näkyy, että valtaosaa toimintamenoista hallinnoidaan yhteistyössä jäsenvaltioiden kanssa. Oikealla puolella menot on jaoteltu maksun perusteen mukaan, ja kuva osoittaa, että korvauksiin perustuvia menoja on merkittävästi enemmän kuin tukioikeuksiin perustuvia menoja. Pylväiden sijainti pystyakselilla kuvastaa niiden arvioitua virhetasoa. Kuvasta käy ilmi, kuinka vähäinen vaikutus on hallinnointitavalla ja kuinka merkittävä vaikutus on maksun perusteella.

Tilintarkastustuomioistuimen havaitsema virhetaso on yleensä alhaisempi aloilla, joita koskevissa säännöissä on määrätty ennen maksua toimitettavasta tarkastuksesta.

Kuva 1.5 perustuu tilintarkastustuomioistuimen kaikkien EU:n menojen osalta tekemiin tapahtumatarkastuksiin, jotka on suoritettu kahden viime vuoden aikana yleistä talousarviota ja Euroopan kehitysrahastoja koskevia vuosikertomuksia varten. Yleisesti ottaen voidaan todeta, että mitä monimutkaisempia tietoja edunsaajilta vaaditaan, sitä suurempi on virheriski.

Kulujen korvaaminen tarkoittaa sitä, että EU korvaa tukikelpoisista toimista aiheutuneet tukikelpoiset kulut. Kyse on esimerkiksi tutkimushankkeista (viides luku), koulutusohjelmista (kuudes luku), alueellista ja maaseudun kehittämistä koskevista hankkeista (kuudes ja seitsemäs luku) tai kehityshankkeista (kahdeksas luku). Näissä järjestelmissä tuensaajien on annettava tietoja perustellakseen ilmoituksensa, joiden mukaan ne ovat harjoittaneet tukikelpoista toimintaa ja niille on aiheutunut korvaukseen oikeuttavia kuluja. Vaatimus esittää täsmälliset tiedot johtaa monimutkaisiin tukikelpoisuussääntöihin (mitkä kulut voidaan ilmoittaa) ja muodollisiin vaatimuksiin (miten kuluja voi korvata; esimerkiksi julkisia hankintoja tai valtiontukea koskevat säännöt).

Komissio arvioi vuoden 2015 lopullisessa tilinpäätöksessä, että ilmoittamatta on vielä 106 miljardia euroa edunsaajille aiheutuneita tukikelpoisia menoja. Se kirjasi nämä menot siirtovelkoihin (24) . Määrä on kasvanut 18 miljardia euroa vuodesta 2014.

ESIR-velkasalkkuun liittyvä takaus EU:n talousarviosta kattaa EIP:n suorittamat rahoitustoimet sisältävän salkun suuririskisimmän osan. Tämän vuoksi komissio kirjaa sen rahoitustakauksesta johtuvana velkana (19) . ESIR-rahaston oman pääoman ehtoisten sijoitusten salkun yhteydessä EIP tekee samansuuruisia rinnakkaisia sijoituksia omalla riskillään ja EU:n riskillä. Niiden pääomasijoitusten osalta, jotka EIP tekee EU:n riskillä, riski kohdistuu täysimääräisenä EU:n talousarvioon. Komissio siirtää kunkin vuoden lopussa EIP:lle määrän, joka vastaa negatiivisten arvostusvarausten (realisoitumattomien tappioiden), sijoitusten purkamisesta aiheutuneiden realisoituneiden tappioiden ja EIP:n rahoituskulujen summaa ja josta on vähennetty saadut korot, osingot ja realisoituneet voitot. EIP ei siirrä EU:lle alkuperäisen sijoituksen arvon ylittäviä realisoitumattomia voittoja. Oman pääoman ehtoisten sijoitusten salkun sijoitukset (ainoastaan infrastruktuureita ja innovaatiota koskevat IIW-toimet), jotka on taattu EU:n talousarviosta, olivat vuoden lopussa määrältään 7,6 miljoonaa euroa (20) .

Euroopan strategisten investointien rahaston (ESIR) toiminta käynnistyi vuonna 2015 (17) . ESIR-rahasto on EU:n ja EIP:n käynnistämä aloite, jolla kannustetaan investointeihin kaikkialla EU:ssa parantamalla Euroopan investointipankkiryhmän riskinkantokykyä. Aloitteen mukaisesti EU:n talousarviossa annetaan enintään 16 miljardin euron takaus, josta voidaan kattaa ESIR-rahaston toimista (18) mahdollisesti koituvat tappiot (12,3 miljardia euroa velkasalkkua varten ja 3,7 miljardia euroa oman pääoman ehtoisten sijoitusten salkkua varten). Asiaa käsitellään tämän vuosikertomuksen kohdissa 2.32–2.38. Tilintarkastustuomioistuin paneutui tähän osa-alueeseen, koska ESIR-rahaston rakenne on johtanut useisiin monimutkaisiin kirjanpito-ongelmiin, joiden syynä ovat EU:n ja EIP:n väliset järjestelyt.

Menojen alalla tilintarkastustuomioistuin tarkastaa maksutapahtumat, kun menot ovat aiheutuneet ja ne on kirjattu ja hyväksytty. Tarkastus kattaa ennakkomaksuja lukuun ottamatta kaikentyyppiset (myös omaisuuserien hankintaan liittyvät) maksut siinä vaiheessa, kun maksu on suoritettu. Ennakkomaksut tutkitaan, kun varojen saajaa vaaditaan näyttämään toteen tai tämä näyttää toteen varojen asianmukaisen käytön ja ennakkomaksun kirjanpidollinen selvitys suoritetaan tai maksu on perittävissä takaisin.

Tulojen alalla tilintarkastustuomioistuimen tarkastus, joka koskee arvonlisäveroon (alv) ja bruttokansantuloon (BKTL) perustuvia omia varoja, alkaa makroekonomisista aggregaateista, joiden perusteella näiden omien varojen määrä lasketaan. Tämän jälkeen tilintarkastustuomioistuin arvioi komission järjestelmät, joiden avulla makroekonomisia aggregaatteja käsitellään, kunnes jäsenvaltioiden maksuosuudet on saatu ja tiedot on sisällytetty konsolidoituun tilinpäätökseen. Perinteisten omien varojen osalta tilintarkastustuomioistuin tutkii tulliviranomaisten tilit ja analysoi tullivalvonnan alaisen maksuvirran siihen saakka, kunnes komissio on vastaanottanut asianomaiset määrät ja ne on kirjattu tileihin.

Tarkastuksessa suoritetaan toimenpiteitä, joiden avulla hankitaan tarkastusevidenssiä konsolidoituun tilinpäätökseen sisältyvistä luvuista ja siinä esitettävistä muista tiedoista sekä tilien perustana olevien toimien laillisuudesta ja asianmukaisuudesta. Toimenpiteiden valinta perustuu tarkastajan harkintaan ja arvioon siitä, kuinka suuri on riski, että petoksista tai virheistä johtuen konsolidoituun tilinpäätökseen sisältyy olennaisia virheellisyyksiä tai että tilien perustana olevien toimien kohdalla on jätetty olennaisella tavalla noudattamatta Euroopan unionin lainsäädäntökehyksen vaatimuksia. Näitä riskejä arvioidessaan tarkastaja arvioi sisäisiä kontrolleja, jotka ovat relevantteja konsolidoidun tilinpäätöksen laatimisen ja sen oikein esittämisen sekä tilien perustana olevien toimien laillisuuden ja asianmukaisuuden kannalta. Tämän pohjalta tarkastaja suunnittelee olosuhteisiin nähden asianmukaiset tarkastustoimenpiteet, mutta tarkoituksena ei ole esittää lausuntoa sisäisen valvonnan vaikuttavuudesta. Tarkastukseen kuuluu myös sovellettujen tilinpäätösperiaatteiden asianmukaisuuden ja esitettyjen kirjanpidollisten arvioiden kohtuullisuuden sekä konsolidoidun tilinpäätöksen yleisen esittämistavan arvioiminen.

Komissio vastaa SEUT:n 317 ja 318 artiklan ja varainhoitoasetuksen mukaisesti Euroopan unionin konsolidoidun tilinpäätöksen laatimisesta ja oikein esittämisestä kansainvälisesti hyväksyttyjen julkisen sektorin tilinpäätösstandardien pohjalta sekä tilien perustana olevien toimien laillisuudesta ja asianmukaisuudesta. Tähän velvollisuuteen kuuluu suunnitella, ottaa käyttöön ja ylläpitää sisäisen valvonnan järjestelmä, jonka pohjalta on mahdollista laatia ja esittää tilinpäätös, jossa ei ole petoksesta tai virheestä johtuvaa olennaista virheellisyyttä. Komissio on viime kädessä vastuussa Euroopan unionin tilien perustana olevien toimien laillisuudesta ja asianmukaisuudesta (SEUT, 317 artikla).

(37) Uusimmat saatavilla olevat luvut koskevat vuoden 2014 loppua. Ne esitetään komission syyskuussa 2015 antamassa kertomuksessa ”Summary of data on the progress made in financing and implementing financial engineering instruments reported by the managing authorities in accordance with Article 67(2)(j) of Council Regulation (EC) No 1083/2006”.

(4) Asetuksen (EU, Euratom) N:o 1311/2013 14 artiklan mukaisesti monivuotisessa rahoituskehyksessä maksusitoumusmäärärahojen enimmäismääriin (2014–2017) nähden jäävä liikkumavara muodostaa sellaisen monivuotisen rahoituskehyksen kokonaisliikkumavaran sitoumuksia varten, joka on määrä ottaa käyttöön monivuotisessa rahoituskehyksessä vuosiksi 2016–2020 vahvistettujen enimmäismäärien lisäksi kasvuun ja työllisyyteen, erityisesti nuorten työllisyyteen liittyviä politiikkatavoitteita varten.

(3) Asetuksen (EU, Euratom) N:o 1311/2013 5 artiklan mukaisesti komission on mukautettava tietyn vuoden maksumäärärahojen enimmäismäärää ylöspäin määrällä, joka vastaa suoritettujen maksujen ja monivuotisen rahoituskehyksen maksumäärärahojen edellisen vuoden enimmäismäärän välistä eroa. Nämä vuotuiset mukautukset eivät saa ylittää seuraavia enimmäismääriä: 2018 – 7 miljardia euroa, 2019 – 9 miljardia euroa, 2020 – 10 miljardia euroa (vuoden 2011 hintoina).

Verkkojen Eurooppa -välinettä koskevaan ennakkoarviointiin on valmisteilla lisäys, jotta voidaan tuoda esiin i) viimeisin selvitys mahdollisuudesta käynnistää Verkkojen Eurooppa -välineeseen kuuluva oman pääoman ehtoinen väline Verkkojen Eurooppa -välineeseen kuuluvilla aloilla ja ii) ESIR-rahaston toiminnan käynnistymisen jälkeinen markkinakehitys. Tätä lisäystä on pidettävä aiemman ennakkoarvioinnin täydennyksenä eikä sen tarkistuksena.

Suositus 1: Komission on ryhdyttävä toimiin vähentääkseen maksattamatta olevia sitoumuksia. Komission tulisi muun muassa tarvittaessa nopeuttaa sitoumusten vapauttamista ja päättää nopeammin vuosien 2007–2013 ohjelmat, käyttää nettomääräisiä oikaisuja laajemmin koheesioalalla, vähentää ulkopuolisten tahojen hallussa olevia käteisvaroja sekä laatia maksusuunnitelmia ja ennusteita niillä aloilla, joilla maksattamattomien sitoumusten ja muiden velvoitteiden määrä on merkittävä (ks. kohdat 2.5–2.9, 2.19 ja 2.28).

ESIR-rahaston perustaminen ei vaikuttanut Verkkojen Eurooppa -välineen kokonaistavoitteisiin vaan rahastolla luotiin ylimääräinen mekanismi, jolla EU tukee taloudellisesti muun muassa infrastruktuurihankkeita etenkin velkarahoituksen avulla. Voidakseen ottaa huomioon ESIR-rahaston toiminnan käynnistymisen Verkkojen Eurooppa -välineen vieraan pääoman ehtoisten rahoitusvälineiden ohjauskomitea määritteli ensimmäisessä kokouksessaan pääperiaatteet Verkkojen Eurooppa -välineestä ja ESIR-rahastosta myönnettäville tuille, jotta ne täydentäisivät paremmin toisiaan. Verkkojen Eurooppa -välinettä koskevaan ennakkoarviointiin on myös valmisteilla lisäys, jotta voidaan tuoda esiin i) viimeisin selvitys mahdollisuudesta käynnistää Verkkojen Eurooppa -välineeseen kuuluva oman pääoman ehtoinen väline Verkkojen Eurooppa -välineeseen kuuluvilla aloilla ja ii) ESIR-rahaston toiminnan käynnistymisen jälkeinen markkinakehitys. Tätä lisäystä on pidettävä aiemman ennakkoarvioinnin täydennyksenä eikä sen tarkistuksena. Verkkojen Eurooppa -välineeseen kuuluvan vieraan pääoman ehtoisen rahoitusvälineen johdonmukaisuus ESIR-rahaston ja EU:n muiden aloitteiden kanssa arvioidaan Verkkojen Eurooppa -välineen väliarvioinnin yhteydessä.

Välillisen hallinnoinnin piiriin kuuluvien rahoitusvälineiden hallussa on yhä enemmän varoja. EIP-ryhmä on edelleen ensisijainen rahoituslaitos hallinnoimaan näitä rahoitusvälineitä (kohta 2.23).

EU takaa infrastruktuureita ja innovaatiota koskevat IIW-toimet (Infrastructure and Innovation Window), jotka EIP toteuttaa, ja pk-yrityksiä koskevat SMEW-toimet (Small and medium-sized enterprises Window), jotka EIR toteuttaa. Kummallakin välineellä on velkasalkku (EU:n takaus IIW-toimien osalta 11 miljardia euroa ja SMEW-toimen osalta 1 250 miljoonaa euroa) ja oman ehtoisen pääoman salkku (EU:n takaus IIW-toimen osalta 2 500 miljoonaa euroa ja SMEW-toimien osalta 1 250 miljoonaa euroa).

Komissio pyysi Italiaa toimittamaan lisätietoja 31. joulukuuta 2015 mennessä. Tiedot osoittavat, että Italian osalta varoja oli käyttämättä 45 prosenttia 31. joulukuuta 2015. Saadut tiedot, jotka on tarkastettu vertaamalla niitä komission tilinpäätöksessä 2015 tehtyihin kirjauksiin, on toimitettu tilintarkastustuomioistuimelle. Analyysissa kävi ilmi, ettei nykyisiin menetelmiin tarvitse tehdä muutoksia. Täytäntöönpano arvioidaan kuitenkin uudelleen vuotta 2016 koskevan hankkeen yhteydessä.

59 miljoonaa euroa on käyttämättömien varojen palautuksia EU:n yleiseen talousarvioon. Kyse on rahoitusvälineiden ja teknisen avun välineiden varoista, jotka olivat erillistileillä, kun välineet päätettiin. Lisäksi 18 miljoonaa euroa on peräisin Eurooppalaisen naapuruuden ja kumppanuuden välineen (ENPI) peruutetuista toimista.

Vuosia 2014–2020 koskevassa monivuotisessa rahoituskehyksessä välillisen hallinnoinnin piiriin kuuluvien rahoitusvälineiden merkitys on korostunut, ja niiden osuus EU:n talousarvion maksuista on kasvanut. Euroopan investointipankkiryhmä (EIP-ryhmä) hallinnoi lähes kaikkia välillisen hallinnoinnin piiriin kuuluvia rahoitusvälineitä. Niihin kuuluu muun muassa ulkosuhteisiin liittyvien hankkeiden takuurahasto (ks. kuva 2.9 ), jonka osuus rahoitusvälineiden kokonaisvaroista on 32 prosenttia. Vain muutamaa huomattavasti pienempää välinettä (74 miljoonaa euroa) ja joitakin ennen vuotta 2014 perustettuja teknisen avun välineitä hallinnoi muu kansainvälinen rahoituslaitos (27) . Komissio on tehnyt vuosien 2014–2020 monivuotisen rahoituskehyksen osalta ainoastaan kaksi valtuutussopimusta (28) EIP-ryhmän ulkopuolisen elimen kanssa.

Täytäntöönpanon tehostamista jäsenvaltioissa käsittelevä työryhmä perustettiin vuonna 2014 tehostamaan täytäntöönpanoa ja määrärahojen käyttöä jäsenvaltioissa, joilla käyttö on alhaisin ja joilla EU-rahoituksesta käyttämättä jäänyt osuus on suhteellisesti suurin ( 25 )

Lopuksi todettakoon, että vuonna 2014 perustettiin täytäntöönpanon tehostamista käsittelevä työryhmä (Task Force for Better Implementation), joka auttaa jäsenvaltioita optimoimaan kauden 2007–2013 koheesiopolitiikan määrärahojen käytön. Komissio seuraa, miten tässä asiassa edistytään.

Koheesion alalla tukikelpoisuuden päättymispäivä on 31. joulukuuta 2015. Päättämisasiakirjat on lähetettävä 31. maaliskuuta 2017 mennessä. Asetuksen (EY) N:o 1083/2006 mukaan viisi prosenttia EU:n kokonaismäärärahoista säilytetään ohjelmien päättymiseen saakka.

Suurinta osaa EU-jäsenyyden eduista (kuten pääsyä sisämarkkinoille) ei sinänsä saavuteta EU:n yleisellä talousarviolla eikä talousarvioon kirjata kaikkia aiheutuvia kuluja (esimerkiksi osarahoitusta ja yhteistyössä toteutetusta hallinnoinnista johtuvia menoja). Kuten tilintarkastustuomioistuin on todennut (5) , useat rahoitusmekanismit, jotka tukevat Euroopan unionin toimintapolitiikkoja, eivät saa rahoitusta suoraan EU:n talousarviosta eikä niitä kirjata EU:n taseeseen. Näitä ovat Euroopan rahoitusvakausväline, Euroopan vakausmekanismi, yhteinen kriisinratkaisumekanismi sekä Euroopan investointipankki (6) (EIP) ja sen yhteydessä Euroopan investointirahasto (EIR). Osa näistä mekanismeista ei ole tilintarkastustuomioistuimen tarkastettavana, joten niihin ei paneuduta perusteellisesti tässä luvussa. Muita mekanismeja on osittain kirjattuna EU:n taseeseen. Näitä ovat esimerkiksi rahoituslähteiden yhdistämisjärjestelyt (7) ja Euroopan strategisten investointien rahasto (ESIR) (ks. kohdat 2.32–2.37). Tilintarkastustuomioistuin kohdistaa erillisen tarkastuksen Euroopan kehitysrahastoon (8) , jonka osalta havainnot talousarvio- ja varainhallinnosta esitetään omassa vuosikertomuksessaan (9) .

EU:n vuotuiseen talousarvioon sovellettava monivuotinen rahoituskehys kattaa seitsenvuotisen jakson. Rahoituskehys on määritelty neuvoston asetuksessa (1) , ja siinä vahvistetaan maksumäärärahojen ja maksusitoumusmäärärahojen yleinen vuotuinen enimmäismäärä. Nykyisessä monivuotisessa rahoituskehyksessä rajoitetaan sitoumusten määrä 1 083 miljardiin euroon ja maksujen määrä 1 024 miljardiin euroon (2) seitsemäksi vuodeksi (2014–2020). Uutena ominaisuutena tässä monivuotisessa rahoituskehyksessä on se, että maksumäärärahojen (3) ja maksusitoumusmäärärahojen (4) enimmäismäärästä käyttämättä jääneet varat nostavat automaattisesti monivuotisen rahoituskehyksen seuraavien vuosien enimmäismääriä.

KOLMAS LUKU

EU:n talousarviosta rahoitetun toiminnan tuloksellisuus

SISÄLLYS

Johdanto 3.1–3.5

Osa 1 – Horisontti 2020 (2014–2020) 3.6–3.59

Osio 1 – Eurooppa 2020 -strategian, komission uusien painopisteiden ja Horisontti 2020 -ohjelman väliset yhteydet eivät aina helpota tuloksellisuuden painottamista ja niitä on selvennettävä 3.7–3.21

Osio 2 – ERI-rahastojen ja kansallisten ohjelmien väliset synergiat ja täydentävyys 3.22–3.23

Osio 3 – Horisontti 2020 -ohjelman toimintarakenteessa ei painoteta johdonmukaisesti tuloksellisuutta 3.24–3.59

Osa 2 – Tuloksellisuuden suunnittelu ja tuloksellisuusraportointi pääosastoissa: luonnonvarojen toimintalohko 3.60–3.65

Osa 3 – Tilintarkastustuomioistuimen toimittaman tuloksellisuuden tarkastuksen tulokset 3.66–3.85

Vuoden 2015 erityiskertomukset ja muut tuloksellisuutta koskevat tuotokset 3.66–3.77

Erityiskertomusten suositusten seuranta 3.78–3.85

Johtopäätökset ja suositukset 3.86–3.95

Johtopäätökset 3.86–3.93

Suositukset 3.94–3.95

Liite 3.1 – Tilintarkastustuomioistuimen vuonna 2015 hyväksymät erityiskertomukset

Liite 3.2 – Aiempien tuloksellisuutta koskevien suositusten seuranta

TILINTARKASTUSTUOMIOISTUIMEN HUOMAUTUKSET JOHDANTO 3.1 Tämän luvun aiheena on toiminnan tuloksellisuus (ks. kuva 3.1 ). Tilintarkastustuomioistuimen vuosikertomuksiin on vuodesta 2010 lähtien sisällytetty luku, jossa arvioidaan komission perustamiin järjestelmiin liittyviä eri näkökohtia. Järjestelmien tarkoituksena on varmistaa, että EU:n varat on käytetty hyvin eikä yksinomaan sovellettavaa lainsäädäntöä noudattaen. 3.2 Tilintarkastustuomioistuin on vuodesta 2010 alkaen analysoinut tuloksellisuutta koskevia komission itsearviointeja poimimalla otoksen komission pääjohtajien vuotuisista toimintakertomuksista. Samalla on perehdytty joihinkin asianomaisena vuonna julkaistujen tuloksellisuustarkastuksia koskevien erityiskertomusten aiheisiin. Tuloksellisuusnäkökohtien tarkastuksen kohteena ovat olleet myös tarkastukseen valittujen pääosastojen hallintosuunnitelmat sekä komission raportointi Euroopan parlamentille ja neuvostolle, mukaan lukien komission julkaisemat ensimmäiset arviointikertomukset (1). Laatikko 3.1 – EU:n tuloksellisuus EU:n tuloksellisuutta arvioidaan moitteettoman varainhoidon periaatteiden (taloudellisuus, tehokkuus ja vaikuttavuus) (2) näkökulmasta. Tuloksellisuus kattaa seuraavat osatekijät: a) panokset – taloudelliset, inhimilliset, aineelliset, organisatoriset tai sääntelyyn liittyvät resurssit, joita tarvitaan ohjelman täytäntöönpanoon b) tuotokset – ohjelman suoritteet c) tulokset – ohjelman välittömät vaikutukset suoraan kohderyhmään tai tuensaajiin d) vaikutukset – asianomaisessa yhteisössä tapahtuneet pitkän aikavälin muutokset, jotka on ainakin osittain saatu aikaan EU:n toiminnalla. 3.3 Vastaavassa viime vuoden vuosikertomuksen luvussa tilintarkastustuomioistuin keskittyi erityisesti EU:n pitkän aikavälin Eurooppa 2020 -strategiaan. Tilintarkastustuomioistuin tutki strategiaa koskevaa EU:n korkean tason seurantaa ja raportointia. Euroopan rakenne- ja investointirahastojen (ERI-rahastot) (3) osalta arvioitiin lisäksi, kuinka strategia heijastuu komission ja jäsenvaltioiden tekemiin kumppanuussopimuksiin ja sopimiin rahoitusohjelmiin. Aiheen käsittelyä jatketaan tänä vuonna keskittymällä komission tuloksellisuuteen sen tutkimus- ja innovointiohjelma Horisontti 2020:n yhteydessä. Kuten jäljempänä käy ilmi, ohjelma muodostaa erittäin huomattavan menoerän EU:n talousarviossa. 3.4 Luku jakautuu näin ollen kolmeen osaan. Ensimmäisessä osassa arvioidaan Horisontti 2020 -puiteohjelman tuloksellisuutta. Kahdessa jälkimmäisessä osassa käsitellään tilintarkastustuomioistuimen edeltävinä vuosina tutkimia aiheita. Jälkimmäisissä osissa arvioidaan, missä määrin tuloksellisuus otetaan huomioon komission pääjohtajien laatimissa pääasiallisissa vuotuisissa suunnittelu- ja raportointiasiakirjoissa. Lisäksi käsitellään joitakin vuoden 2015 erityiskertomuksiin sisältyneitä keskeisiä aiheita ja kohdistetaan seurantaa edeltävien vuosien erityiskertomuksissa annetuista suosituksista poimittuun otokseen. Nyt seurannan kohteena ovat ensimmäistä kertaa myös vastaukset, joita jäsenvaltiot ovat antaneet kyselytutkimukseen, joka koski tilintarkastustuomioistuimen suositusten perusteella toteutettuja toimia. 3.5 Tilintarkastustuomioistuin ilmoitti komission toimittamien tietojen perusteella vuoden 2014 vuosikertomuksessa, että Eurooppa 2020 -strategian väliarviointi, jonka piti olla neuvoston käytettävissä maaliskuussa 2015, on lykätty vuoden 2016 alkuun (4). Kesäkuussa 2016 komissio tiedotti tilintarkastustuomioistuimelle, että väliarviointi oli saatu valmiiksi ja että siitä ei laadittaisi virallista loppuasiakirjaa. Tilintarkastustuomioistuin ei näin ollen pysty raportoimaan tässä luvussa, kuinka arviointiprosessi suoritettiin. Se saattaa kuitenkin palata tähän aiheeseen tulevissa kertomuksissa. OSA 1 – HORISONTTI 2020 (2014–2020) 3.6 Horisontti 2020 -ohjelmaa koskeva analyysi käsittää kolme osa-aluetta. Ensin esitellään ohjelman pääpiirteet ja tutkitaan sen toiminnan strategiakehystä. Arvioinnissa painotetaan strategiakehyksen yhteyksiä muihin EU:n strategioihin. Toisena osa-alueena arvioidaan tutkimus- ja innovointitoimien yhdistämisen etuja ja mahdollisia riskejä. Lopuksi arvioidaan, missä määrin Horisontti 2020 -ohjelman yhteydessä on painotettu tuloksellisuutta. Osio 1 – Eurooppa 2020 -strategian, komission uusien painopisteiden ja Horisontti 2020 -ohjelman väliset yhteydet eivät aina helpota tuloksellisuuden painottamista ja niitä on selvennettävä Eurooppa 2020 ja Horisontti 2020 3.7 Eurooppa 2020 -strategia on Euroopan unionin kymmenvuotinen kasvu- ja työllisyysstrategia. Strategia käynnistettiin vuonna 2010 luomaan otolliset olosuhteet älykkäälle, kestävälle ja osallistavalle kasvulle. Vastuu Eurooppa 2020 -strategian toteuttamisesta on jaettu EU:n ja sen 28 jäsenvaltion kesken. Strategian jokaiseen viiteen yleistavoitteeseen (5) liittyy kussakin jäsenvaltiossa kansallinen tavoite, jossa otetaan huomioon jäsenvaltioiden erilaiset olosuhteet. 3.8 Horisontti 2020:n budjetti ohjelmakaudelle 2014–2020 on noin 75 miljardia euroa. Kyseessä on tutkimusta ja innovointia tukeva EU:n ohjelma, jonka yleistavoitteena on ”edistää osaamiseen ja innovointiin perustuvan yhteiskunnan ja talouden rakentamista koko unionin alueella” (6). Ohjelman avulla tuetaan Eurooppa 2020 -strategiaa sekä eurooppalaisen tutkimusalueen luomista koskevaa EU:n tavoitetta (7). Ohjelma yhdistää aiemmin erilliset tutkimusta ja innovointia koskevat meno-ohjelmat (8). 3.9 Rahoitusta myönnetään pääasiassa avustusten muodossa. Saatavilla tosin on myös muuntyyppistä rahoitusta, esimerkiksi eri rahoitusvälineiden muodossa. Komissio hallinnoi itse suurinta osaa Horisontti 2020 -ohjelman menoista joko itse tai virastojen ja muiden elinten välityksellä. Horisontti 2020 -ohjelman edunsaajina on yksityishenkilöitä, ryhmiä, yliopistoja, tutkimuslaitoksia sekä pk-yrityksiä ja suurempia yrityksiä niin EU:sta kuin sen ulkopuoleltakin. Useat rahoitettavat hankkeet ovat yhteistyöhankkeita. 3.10 Kuvassa 3.2 kuvataan Horisontti 2020 -ohjelman rakennetta. Yleistavoite jakautuu kolmeen painopisteeseen (1. Huipputason tiede, 2. Teollinen johtoasema ja 3. Yhteiskunnalliset haasteet). Näitä painopisteitä pyritään toteuttamaan 14 erityistavoitteen avulla. Lisäksi painopisteitä tuetaan laaja-alaisien toimien avulla, joiden yhteydessä määritetään tavoitteiden tieteellinen ja tekninen sisältö. Yleistavoitteen toteuttamiseen pyritään myös kahden erityistavoitteen avulla (”Huippuosaamisen levittäminen ja laajempi osallistuminen” ja ”Tiede yhteiskunnassa ja yhteiskuntaa varten”). Lisäksi myös kaksi muuta organisaatiota – yhteinen tutkimuskeskus ja EIT – edistävät yleistavoitetta ja painopisteitä omien erityistavoitteidensa kautta. Horisontti 2020 -ohjelmaan liittyy myös muita tutkimustoimenpiteitä, kuten nopeutetun innovoinnin väline, jonka tarkoituksena on edistää markkinaläheisiä innovaatiotoimia. Kuva 3.2 – Horisontti 2020 -ohjelman rakenne Lähde: Euroopan tilintarkastustuomioistuin. TILINTARKASTUSTUOMIOISTUIMEN HUOMAUTUKSET KOMISSION VASTAUKSET Horisontti 2020 -ohjelman ja Eurooppa 2020 -strategian välillä on yleisen tason yhteyksiä, mutta niitä on tehostettava, jotta voidaan varmistaa, että niillä lisätään tuloksellisuuden painottamista 3.11 Lainsäädännön mukaan Horisontti 2020 -ohjelman yhteydessä arvioidaan yleistavoitteen edistymistä kolmen tulosindikaattorin avulla: a) tutkimuksen ja kehittämisen intensiteettiä kuvaava indikaattori, jonka mukaan investointien osuuden olisi oltava vähintään kolme prosenttia BKT:stä vuoteen 2020 mennessä; tämä tavoite on yksi Eurooppa 2020 -strategian viidestä yleistavoitteesta b) innovaatiotuotosta mittaava indikaattori c) tutkijoiden osuus aktiiviväestöstä (9). Tällä indikaattorilla ei ole suoraa yhteyttä Eurooppa 2020 -yleistavoitteisiin. 3.12 Kolmen prosentin tavoitetta koskeva indikaattori mittaa tutkimukseen ja kehittämiseen suunnattavien varojen muodostamaa panosta. Sitä ei ole tarkoitettu mittaamaan tuotosta, tuloksia tai vaikutusta. Horisontti 2020 -ohjelma lisää ensimmäistä kertaa lainsäädäntöön vaatimuksen, jonka mukaan yksityisten investointien osuuden tutkimuksesta ja kehittämisestä olisi oltava kaksi kolmasosaa kokonaismäärästä julkisiin investointeihin suhteutettuna (10). Näiden tavoitearvojen perusteella arvioituna tällaisten investointien osuus oli vuonna 2014 koko Euroopassa vain hieman yli kaksi prosenttia BKT:stä; yksityisen sektorin osuus investoinneista oli noin 64 prosenttia. Vastaava osuus oli Yhdysvalloissa 2,8 prosenttia vuonna 2012. Vuonna 2013 vastaava osuus oli puolestaan Japanissa 3,5 prosenttia ja Etelä-Koreassa 4,2 prosenttia. 3.12 Tutkimuksen ja kehittämisen intensiteetin indikaattorilla (kolme prosenttia BKT:sta) mitataan tutkimukseen ja kehitykseen investoitujen varojen osuutta, ja lisäksi se ilmentää sellaisten poliittisten toimenpiteiden tehokkuutta, joiden avulla on pyritty parantamaan tiedeperustan laatua jäsenvaltioissa ja luomaan paremmat toimintapuitteet tutkimukselle ja innovoinnille yksityisellä sektorilla. 3.13 Horisontti 2020 -ohjelman menot muodostavat suhteellisen pienen osuuden tavoitteesta. Oletusarvona on aina ollut, että jäsenvaltiot maksavat suurimman osan tämän alan rahoituksesta. Ohjelman ensimmäisenä täytäntöönpanovuonna (2014) EU:n toimielinten käyttämät Horisontti 2020 -ohjelman menot olivat hieman alle kymmenen prosenttia tutkimuksen ja kehittämisen julkisista kokonaismäärärahoista. Tilintarkastustuomioistuin pani merkille viime vuoden vuosikertomuksessa, että jos kaikki tutkimusta ja kehittämistä koskevat kansalliset tavoitteet saavutettaisiin, kokonaisinvestoinnit tutkimukseen ja kehittämiseen olisivat vuoteen 2020 mennessä 2,6 prosenttia BKT:stä, mikä jää jonkin verran alle asetetun kolmen prosentin tavoitteen (11). 3.13 Tutkimuksen alalla sekä Horisontti 2020 -ohjelman yhteydessä pyritään koordinoimaan ja parantamaan jäsenvaltioiden tutkimus- ja innovaatioinvestointeja sekä kehittämään taustaehtoja, joiden avulla yksityisen sektorin innovaatiot (avoin innovointi) voivat menestyä. Tämä on erittäin tärkeää, jotta voitaisiin merkittävästi kaventaa Euroopan unionin ja sen tärkeimpien kilpailijoiden välistä innovaatiokuilua. Tutkimuspolitiikan keskeisiin tavoitteisiin kuuluvat myös vaikutusten ja huipputason tieteen lisääminen avoimuuden (avoin tiede) ja digitaalisten sisämarkkinoiden avulla, digitalisoinnin nivominen suuriin yhteiskunnallisiin haasteisiin, energiaunionin tutkimus-, innovointi- ja kilpailukykyulottuvuuden täytäntöönpano yhdessä ennakoivan ilmastonmuutospolitiikan kanssa sekä EU:n tieteen ja teknologian vahvuuksiin perustuva johtava maailmanlaajuinen asema (avoinna maailmalle). Koheesiopolitiikan vuosien 2007–2013 ohjelmista tutkimukseen ja innovointiin suunnatuilla investoinneilla edistettiin niin ikään kolmen prosentin tavoitteen saavuttamista. Tätä rahoitusta jatketaan ohjelmakaudella 2014–2020 Euroopan aluekehitysrahaston temaattisen keskittämisen ansiosta, ja tutkimuksen ja innovoinnin älykästä erikoistumista koskeva ennakkoehto vahvistaa sen tehoa ja vipuvaikutusta. Vuorovaikutus muiden EU:n ja kansallisen tason toimien kanssa vahvistaa Horisontti 2020 -ohjelman vaikutusta Eurooppa 2020 -strategian tavoitteiden saavuttamiseen. 3.14 Toinen innovointia koskeva Horisontti 2020 -ohjelman tulosindikaattori on tuotoksia koskeva yhdistelmäindikaattori. Se kehitettiin alun perin Eurooppa 2020 -strategian lippulaivahanketta ”Innovaatiounioni” (12) varten. Indikaattori kattaa tiedot neljältä osa-alueelta: patentit, työllisyys tietointensiivisen toiminnan alalla, kilpailukyky tietointensiivisten tavaroiden ja palveluiden alalla ja työllisyys innovatiivisten alojen nopeasti kasvavissa yrityksissä. EU:n rahoittama yhdistelmäindikaattoreita käsittelevä tutkimusryhmä (Composite Indicators Research Group) on painottanut, että tällaisilla indikaattoreilla, jotka perustuvat alaindikaattoreihin ja joilla ei ole mielekästä yhteistä mittayksikköä eikä ilmeistä painotusmenetelmää, on sekä myönteisiä että kielteisiä piirteitä. Erityisesti silloin, kun indikaattorit ovat yleisluontoisia, riskinä on, että erikseen tarkasteltuina ne saattavat johtaa yksinkertaistaviin poliittisiin johtopäätöksiin. Indikaattoreita olisi näin ollen käytettävä yhdessä alaindikaattoreiden kanssa. Komissio raportoi tästä indikaattorista ja alaindikaattoreista maaliskuussa 2016 (13). 3.15 Innovointia koskevan tuotosindikaattorin etuna on, että se kiinnittää huomion innovointia edistävien olosuhteiden luomiselle ja tarjoaa mittauskeinon innovoinnin edistymisen arvioinnille EU:n talouden tasolla. Indikaattoriin liittyy kuitenkin myös joukko puutteita, jotka rajoittavat sen hyödyllisyyttä pyrittäessä seuraamaan Horisontti 2020 -ohjelman vaikutusta Eurooppa 2020 -strategian tavoitteiden saavuttamisessa: 3.15 — komissio ei ole vielä asettanut määrällisesti ilmaistua tavoitearvoa, joka olisi saavutettava tiettyyn ajankohtaan mennessä (14) — Jotta määrällisen tavoitteen avulla voitaisiin vaikuttaa päätöksentekoon ja vauhdittaa edistymistä, asetetun tavoitteen on oltava yhteisesti sovittu, sen on perustuttava näyttöön ja vertailuanalyysiin ja sen on oltava helposti ymmärrettävä ja kommunikoitava. Tätä on vaikeampi saavuttaa yhdistelmäindikaattorien, kuten innovaatiotuotosta mittaavan indikaattorin yhteydessä, sillä niiden tuloksena saatavat yhteispisteet ovat luonteeltaan abstrakteja. Tästä syystä yhdistelmäindikaattoreihin ei yleensä liity tavoitearvoja. Toinen esimerkki tästä on innovaatiounionin tulostaulun yhteenvetoindeksi, jolla ei myöskään ole tavoitetasoa mutta joka silti selvästi vaikuttaa jäsenvaltioiden päätöksentekoon. Lisäksi joidenkin osaindikaattoreiden yhteydessä käytettävissä olevat aikasarjat ovat edelleen liian lyhyitä, jotta voitaisiin muodostaa kehityskäyriä ja määrittää merkityksellisiä tavoitetasoja EU:lle (kasvuyrityksiä koskeva komponentti perustui Eurostatin uuteen tiedonkeruutapaan). EU:n tavoitetason asettaminen edellyttäisi myös vertailua Euroopan unionin ulkopuolisten maiden tuloksellisuuteen. Tämä ei kuitenkaan ollut mahdollista indikaattorin käyttöönottohetkellä. — komissio ei ole määrittänyt indikaattorin osalta kansallisia tavoitearvoja, jotka kuvastaisivat kunkin yksittäisen jäsenvaltion tilannetta; innovointia mittaavien indikaattoreiden alan asiantuntijat ovat suositelleet kansallisten tavoitearvojen määrittämistä (15). — Jäsenvaltio asettaa tutkimusintensiteettiä koskevan tavoitteen, ja innovaatiotuotosta mittaava indikaattori täydentää sitä tarjoamalla poliittisen kokonaiskuvan innovaatiotuotoksesta. Näitä osatekijöitä on tarkasteltava yhdessä. 3.16 Horisontti 2020 -ohjelman yhteydessä asetetut erityistavoitteet ovat seuraavalla tasolla tavoitteiden hierarkiassa, jonka perusteella luodaan yhteydet Eurooppa 2020 -strategiaan. Horisontti 2020 -ohjelman budjetin suurin yksittäinen osa (38 prosenttia) suunnataan yhteiskunnalliset haasteet – painopisteeseen, jonka tarkoituksena on edistää Eurooppa 2020 -strategian toimintapoliittisia painopisteitä. 3.17 Useissa tapauksissa erityistavoitteiden kuvauksessa viitataan lippulaivahankkeisiin, joita asianomaisten tavoitteiden avulla on määrä tukea. Ne muodostavat hyödyllisen osoittimen Horisontti 2020 -ohjelman ja Eurooppa 2020 -strategian välisestä yleisestä suhteesta. Niitä ei kuitenkaan muokata alemmilla tasoilla erityisempiin ja operatiivisiin yhteyksiin, jotka voisivat muodostaa pohjan seurannalle ja raportoinnille siitä, kuinka Horisontti 2020 -ohjelma on edistänyt yksittäisiä lippulaivahankkeita ja samalla Eurooppa 2020 -strategiaa. 3.17 Horisontti 2020 -ohjelman vaikutus kuhunkin lippulaivahankkeeseen esitetään vuosittain talousarvion laatimista varten ohjelmasta laaditussa selvityksessä ohjelman käynnistämisen yhteydessä kehitetyn menetelmän mukaisesti. Komission kymmenen poliittisen painopisteen ja Eurooppa 2020:n / Horisontti 2020:n välisiä yhteyksiä on tarpeen edelleen selventää 3.18 Vuonna 2013 Horisontti 2020 -ohjelman perustamisasetuksessa asetettiin painopisteet ja yleiset sekä erityiset tavoitteet ohjelmakaudelle 2014–2020. Nämä painopisteet ja tavoitteet oli määrä mukauttaa ja niiden avulla oli määrä edistää Eurooppa 2020 -strategiaa (16). Vuoden 2014 lopussa komissio asetti kymmenen painopistettä koko komissiolle vuosille 2014–2019 (17). Näihin painopisteisiin sisältyy joitakin uusia aloja (esim. vapaakauppasopimus Yhdysvaltojen kanssa), mutta kuten olettaa saattaa, painopisteissä on myös paljon päällekkäisyyksiä nykyisen Eurooppa 2020 -strategian kanssa sekä yleistavoitteiden että lippulaivahankkeiden osalta. Esimerkiksi työllisyyttä ja ilmastonmuutosta koskevat kysymykset niveltyvät vahvasti sekä yleistavoitteisiin että lippulaivahankkeisiin. Päällekkäisyyksistä ja täydentävyydestä huolimatta on ollut vaikea yksilöidä, missä määrin kymmenen toimintapoliittista painopistettä muodostavat uuden erillisen komission lähestymistavan tai missä määrin ne on tarkoitettu uudeksi keinoksi, jolla komissio voi saattaa Eurooppa 2020 -strategian toimintaan. 3.18 Eurooppa 2020 -strategia on EU:n laajuinen vuosikymmenen kasvustrategia EU:lle ja EU:n tasolla. Komission kymmenen toimintapoliittista painopistettä tarjoavat Eurooppa 2020 -strategian mukaisesti selkeän ja kohdennetun toimintaohjelman/strategian komission toiminnalle sen pyrkiessä kohti Eurooppa 2020 -strategian tavoitteita, ja ne ovat täysin yhdenmukaisia Eurooppa 2020 -strategian kokonaistavoitteiden kanssa. Samanaikaisesti niillä selvennetään ja tarkennetaan komission yleistä poliittista strategiaa, ja niissä otetaan huomioon viimeaikaiset kehityssuuntaukset. Eurooppa 2020 -strategian laatimisen jälkeen EU on esimerkiksi nähnyt useita julkisen talouden velkakriisejä, julkisen sektorin alijäämien kasvun, Ukrainan ja Syyrian sodat sekä valtavat muuttovirrat. Lisäksi se on osallistunut COP21-ilmastokokouksessa ilmastosopimuksen hyväksymiseen. Kyseiset kymmenen toimintapoliittista painopistettä on myös esitelty Euroopan parlamentille, Eurooppa-neuvostolle ja neuvostolle uuden komission nimittämisen yhteydessä. Painopisteet korvaavat tavoitteina ja indikaattoreina Eurooppa 2020 -strategian tavoitteet ja indikaattorit. 3.19 On normaalia, että strategiset painopisteet vaihtelevat olosuhteiden mukaan. Komission sisäisen tarkastuksen osasto on kuitenkin tuonut esille, että vaikka näillä kahdella strategialla on yhteinen perusta, komissio ei ole toistaiseksi määrittänyt niiden välisiä yhteneväisyyksiä. Tilintarkastustuomioistuimen näkemyksen mukaan strategioiden välistä suhdetta ei ole selkiytetty, joten ne ovat olemassa rinnakkain ja niitä käytetään eri tarkoituksiin: 3.19 Komissio katsoo, että sen painopisteet muodostavat komissiolle selkeän ja kohdennetun poliittisen toimintaohjelman, joka on yhdenmukainen koko Euroopan unionia koskevan Eurooppa 2020 -strategian kanssa. Painopisteitä käytetään luonnollisesti eri tarkoituksiin. Tämä ei kuitenkaan tarkoita, että ne olisivat missään määrin ristiriitaisia tai epäjohdonmukaisia, vaan ne ovat kaikilta osin toisiaan täydentäviä. Ks. myös komission vastaus 3.18 kohtaan. — EU:n talousarviosta meno-ohjelmiin (esim. Horisontti 2020) suunnattava rahoitus perustuu muun muassa niiden vaikutukseen Eurooppa 2020 -strategian yleistavoitteisiin ja lippulaivahankkeisiin. Myös meno-ohjelmien seuranta ja arviointi perustuvat tavoitteisiin, joiden tarkoituksena on kuvastaa Eurooppa 2020 -strategiaa. — Horisontti 2020 -ohjelman osalta tämä toteutettiin ensimmäisissä työohjelmissa vuosina 2014–2015. Nykyisen komission asettamat toimintapoliittiset painopisteet, jotka se on esittänyt vastauksena uuteen poliittiseen, taloudelliseen ja teknologiseen tilanteeseen, vaikuttavat yhä enemmän ohjelman voimassaolon loppuajan työohjelmiin ja työohjelman tiettyjen osien talousarvioon. — Komission vuotuisessa toimintaohjelmassa keskitytään tällä hetkellä kymmeneen toimintapoliittiseen painopisteeseen. Komissio on ottanut vuodesta 2016 alkaen käyttöön myös uuden strategiseen suunnitteluun tarkoitetun menetelmän, jonka yhteydessä pääosastojen on laadittava strategiset viisivuotissuunnitelmat kymmenen toimintapoliittisen painopisteen perusteella. Strategisia viisivuotissuunnitelmia tullaan käyttämään pääosastojen tehtäviä koskevien vuotuisten hallintosuunnitelmien lähtökohtana (Horisontti 2020 kaltaisten meno-ohjelmien täytäntöönpano mukaan luettuna). Vuotuisissa toimintakertomuksissa tapahtuva raportointi liittyy vahvasti vuotuisiin hallintosuunnitelmiin. Näin ollen myös vuotuisten toimintakertomusten voidaan olettaa perustuvan vuodesta 2016 alkaen ensisijaisesti asetettuihin kymmeneen toimintapoliittiseen painopisteeseen. — Komission vuotuinen työohjelma sisältää toimia, joihin komissio ryhtyy edistääkseen poliittisten painopisteiden saavuttamista ja Eurooppa 2020 -strategian toteutumista. Komission eri yksiköiden uudet monivuotiset strategiset suunnitelmat perustuvat kymmeneen toimintapoliittiseen painopisteeseen, jotka on esitetty yleisinä tavoitteina. Pääosastoja neuvottiin selostamaan, miten niiden toiminta edistää Eurooppa 2020 -strategian tavoitteiden saavuttamista. Tämän helpottamiseksi Eurooppa 2020 -strategian yleistavoitteet esitetään niitä vastaaviin yleisiin tavoitteisiin liittyvinä vaikutusindikaattoreina. Näitä täydentävissä vuotuisissa hallintosuunnitelmissa esitetään kullekin yksikölle suunnitellut tuotokset ja se, miten niiden avulla edistetään tavoitteiden saavuttamista. Komission yksiköt raportoivat saavutuksistaan vuotuisissa toimintakertomuksissaan, jotka ovat rakenteeltaan strategisten suunnitelmien ja hallintosuunnitelmien kaltaiset. Komissio raportoi kuitenkin edelleen Eurooppa 2020 -strategian tavoitteissa saavutetusta edistyksestä osana talouspolitiikan EU-ohjausjaksoa sekä siitä, miten Eurooppa 2020 -strategia otetaan huomioon talousarviossa, vuotuisessa hallinto- ja tulosraportissa. 3.20 Horisontti 2020:n kohdalla tämä johtaa tilanteeseen, jossa ohjelman säädöskehys ja määrärahat ovat Eurooppa 2020 -strategian mukaisia, mutta Horisontti 2020 -ohjelmaa toteuttavat komission yksiköt ovat keskittyneet noudattamaan strategisessa suunnittelussa ja hallinnointijärjestelyissä kymmentä toimintapoliittista painopistettä. Esimerkiksi vuosien 2016 ja 2017 Horisontti 2020 -työohjelmien yhteydessä edistettävät keskeiset painopisteet perustuvat uuden komission toimintaohjelmaan sisältyvistä yhteensä kymmenestä toimintalohkosta seitsemään. Tässä tilanteessa on epäselvää, mihin strategisiin tavoitteisiin Horisontti 2020 -ohjelma olisi kohdennettava. Tutkimuksen ja innovoinnin pääosasto määritti neljä toimintapoliittista painopistettä, joihin pääosasto voi vaikuttaa (18). Tavoitteisiin pyrkiminen edellyttää kuitenkin toimien kohdentamista uudelleen Horisontti 2020 -ohjelmaa koskevassa lainsäädännössä määritettyjen alkuperäisten tavoitteiden perusteella. 3.20 Komissio katsoo, ettei ole epäselvyyttä siitä, mihin strategisiin tavoitteisiin Horisontti 2020 -ohjelma olisi kohdennettava. Kyseiset tavoitteet ovat Eurooppa 2020 -strategian tavoitteet, jotka on vahvistettu oikeusperustassa. Kymmentä toimintapoliittista painopistettä käytetään sen tarkastelemiseen, miten komissio voi parhaiten edistää Eurooppa 2020 -strategian prioriteettien saavuttamista. Esimerkiksi digitaalisten sisämarkkinoiden strategian toteuttaminen johtaa siihen, että Horisontti 2020 -ohjelman tieto- ja viestintäteknologiaa koskevan osan vuosien 2017–2018 työohjelman painopisteitä päivitetään sekä Eurooppa 2020 -strategian että komission asettaman digitaalisia sisämarkkinoita koskevan painopisteen mukaisesti Horisontti 2020 -ohjelmassa käytettävissä olevan jouston puitteissa. Huhtikuun 18. päivänä 2016 esitetyt toimenpiteet ja aloitteet (digitaalisia sisämarkkinoita koskeva paketti) osoittavat jo Horisontti 2020 -ohjelman ja digitaalisten sisämarkkinoiden painopisteen yhdenmukaisuuden. 3.21 Tilintarkastustuomioistuin korosti viime vuoden vuosikertomuksessa, että Eurooppa 2020 -strategian kattama ajanjakso ei vastaa EU:n seitsemän vuoden talousarviosykliä (19). Sama ongelma saattaa vaikuttaa myös kymmeneen toimintapoliittiseen painopisteeseen, sillä nykyisen komission toimikausi päättyy vuonna 2019 – vuotta aiemmin kuin Eurooppa 2020 ja Horisontti 2020. 3.21 Vuodet 2007–2013 kattanut monivuotinen rahoituskehys ei ehkä ollut täysin samanaikainen Eurooppa 2020 -strategian kattaman jakson kanssa. Komissio kuitenkin pitää kiinni kannasta, jonka se esitti vastauksena tilintarkastustuomioistuimen vuodelta 2014 antaman vuosikertomuksen 3.7–3.11 ja 3.87 kohtaan ja jonka mukaan tämä ei tarkoita sitä, että monivuotinen rahoituskehys ei olisi yhdenmukainen yleisen strategian kanssa. Lisäksi vuosien 2014–2020 monivuotisen rahoituskehyksen kattama ajanjakso sisältyy kokonaan Eurooppa 2020 -strategian kattamaan ajanjaksoon, ja niiden päättymisajankohta on sama. Vuosien 2014–2020 monivuotinen rahoituskehys on suunniteltu siten, että siinä keskitytään Eurooppa 2020 -strategian toteuttamiseen. Komissio seuraa Euroopan unionin talousarvion vaikutusta EU:n yleistavoitteisiin ja erityisesti Eurooppa 2020 -strategiaan ja raportoi siitä. Tämänhetkinen monivuotinen rahoituskehys, Horisontti 2020 -ohjelma ja Eurooppa 2020 -strategia ovat täysin linjassa keskenään ja päättyvät samanaikaisesti vuonna 2020. Nykyisen komission toimikauden päättyminen vuonna 2019 ei vaikuta kyseisiin kehyksiin. Osio 2 – ERI-rahastojen ja kansallisten ohjelmien väliset synergiat ja täydentävyys Synergioista ERI-rahastojen kanssa on vain vähän tietoa 3.22 Yhtenä Eurooppa 2020 -strategian ja sen innovaatiounionin päätavoitteena on toteuttaa eurooppalainen tutkimusalue, jolla tutkijat, tieteellinen tieto ja teknologia liikkuvat vapaasti. EU:n talousarviosta edistetään eurooppalaisen tutkimusalueen tavoitetta Horisontti 2020 -ohjelman ja ERI-rahastojen avulla. Tässä yhteydessä komissio laati lainsäädännön mukaisesti järjestelmän, jonka avulla kannustetaan ja määritetään synergioita Horisontti 2020:n ja ERI-rahastojen välillä. Horisontti 2020 -hankkeiden luokittelu ERI-rahastojen temaattisten tavoitteiden mukaan sekä mahdollisia synergioita koskevien erityisten viitearvojen käyttöönotto niiden suunnittelu- ja raportointivaiheessa loisi pohjan tällaiselle järjestelmälle. Ensimmäisessä Horisontti 2020 -ohjelmaa koskevassa seurantakertomuksessa annetaan kuitenkin vain vähän tietoa Horisontti 2020:n ja ERI-rahastojen välisten synergioiden käytöstä ja vaikutuksesta. Komissio aikoo analysoida Horisontti 2020:n ja ERI-rahastojen välistä vaikutusta ja synergioita Horisontti 2020 -ohjelman väliarvioinnin yhteydessä. 3.22 Komissio on luonut sääntelyedellytykset, jotka mahdollistavat rahastojen väliset synergiat lisääntyneen koordinoinnin ja asiaa koskevien säädöskehysten yhdenmukaistamisen myötä. Synergian toteutuminen vaatii kuitenkin jatkuvasti ponnisteluja sekä Horisontti 2020 -ohjelmasta vastaavilta elimiltä että jäsenvaltioiden ja alueiden viranomaisilta. Jäsenvaltioissa ja alueilla nähtiin paljon vaivaa erityisesti älykkään erikoistumisen strategioiden laatimisen yhteydessä sellaisten toimenpiteiden kehittämiseksi, joiden avulla voidaan panna täytäntöön komission ohjeissa mainittuja eri synergiatyyppejä ja keskittää tutkimusta ja innovointia koskevat toimet aloille, joilla kyseisellä jäsenvaltiolla tai alueella on suurimmat mahdollisuudet sekä tieteelliseen huippuosaamiseen että kilpailukyvyn kehittämiseen. Nämä alat tarjoavat myös parhaimmat onnistumismahdollisuudet Horisontti 2020 -ohjelman ehdotuspyynnöissä. Horisontti 2020 -ohjelman hallinnosta voidaan mainita myös, että synergioiden edistämiseksi ja kehittämiseksi toteutetaan laajoja toimia, esimerkiksi laatimalla yhteisyritysten välisiä yhteisymmärryspöytäkirjoja tai käyttämällä komission jäsenten Carlos Moedasin ja Corina Creţun aloitteesta lokakuussa 2015 käyttöön otettua huippuosaamismerkkiä. Monet alueet ja jäsenvaltiot ovat jo mukana tässä aloitteessa. Komissio panee niin ikään täytäntöön ”huippuosaamisen portaikko” -aloitteen, jolla autetaan EU13-jäsenvaltioita pääsemään helpommin mukaan Horisontti 2020 -ohjelmaan. Esimerkkejä kansallisten ja EU:n tutkimusohjelmien välisestä täydentävyydestä 3.23 Horisontti 2020 -ohjelman lainsäädännössä otetaan huomioon tarve luoda ”synergiaa ja täydentävyyttä jäsenvaltioiden ja unionin tutkimus- ja innovointiohjelmien välille” (20). Laatikossa 3.3 esitetään keskeiset viestit, jotka perustuvat tilintarkastustuomioistuimen yhteistyöhön (21) Bulgarian ja Portugalin ylimpien tarkastuselinten kanssa: kansalliset ja EU:n tutkimusohjelmat täydentävät toisiaan joillakin aloilla, mutta tilintarkastustuomioistuimen yhteistyökumppanit havaitsivat myös joitakin ongelmia kansallisella tasolla. Laatikko 3.3 – Esimerkkejä täydentävyydestä kansallisten ohjelmien kanssa sekä joistakin kansallisella tasolla havaituista puutteista Laatikko 3.3 – Esimerkkejä täydentävyydestä kansallisten ohjelmien kanssa sekä joistakin havaituista puutteista Bulgaria (Bulgarian kansallisen tarkastusviraston julkaisu, heinäkuu 2016) Bulgaria (Bulgarian kansallisen tarkastusviraston (BNAO) tekemän, heinäkuussa 2016 julkaistun tarkastuksen mukaan) Älykästä, kestävää ja osallistavaa kasvua koskevien, Eurooppa 2020 -strategian yhteydessä määritettyjen EU:n painopisteiden ja Bulgarian kansallisten painopisteiden välinen suhde yksilöidään Bulgarian kansallisessa Bulgaria 2020 -kehitysohjelmassa määritettyjen kahdeksan painopisteen avulla. Painopisteistä kolme liittyy tieteeseen ja innovointiin: — Koulutuksen saatavuuden ja laadun sekä työvoiman laadullisten piirteiden parantaminen. — Innovointi- ja investointitoimien tukeminen talouden kilpailukyvyn kohentamista silmällä pitäen. — Energiavarmuuden ja paremman resurssitehokkuuden takaaminen etenkin pk-yrityksille. Kansallisen kehitysohjelman, joka on Bulgarian sosioekonomista kehitystä vuoteen 2020 saakka koskeva yhdennetty asiakirja, lisäksi myös Horisontti 2020 -ohjelman tavoitteet on synkronoitu ja jaoteltu operatiivisiin tavoitteisiin ja suunnitelmiin seuraavasti: — vuoteen 2020 saakka ulottuva kansallinen tieteellisen tutkimuksen strategia, jonka tarkoituksena on tukea tieteellistä kehittämistä Bulgariassa ja tehdä siitä osaamis- ja innovointitoimiin perustuvan talouden kehitystekijä — innovointia koskeva älykäs erikoistumisstrategia, jonka yhteydessä Bulgarian strategisena tavoitteena on siirtyä vähäisten innovoijien ryhmästä kohtuullisesti innovoivien ryhmään vuoteen 2020 mennessä. Kansallisten strategioiden yhteydessä asetettiin kansallinen tavoite, jonka yhteydessä pyritään lisäämään tutkimus- ja kehitystoiminnan menojen osuutta 1,5 prosenttiin BKT:stä vuoteen 2020 mennessä. Kansallisten strategia-asiakirjojen täytäntöönpanoa koskevissa toimintasuunnitelmissa määritetään toimenpiteitä ja toimia, joiden avulla kansallinen tavoite pyritään saavuttamaan. Bulgarian kansallinen tarkastusvirasto havaitsi kuitenkin, että kansallista kehitysohjelmaa koskeviin toimintasuunnitelmiin ei sisälly kvantitatiivisia tulosindikaattoreita eikä Horisontti 2020 -ohjelmaan liittyviin toimiin sovellettavia vuotuisia tavoitearvoja. Kvantitatiivisia toimintakohtaisia indikaattoreita ei sisältynyt myöskään kansallista tieteellisen tutkimuksen strategiaa koskevaan toimintasuunnitelmaan. Bulgarian kansallinen tarkastusvirasto on yksilöinyt myös joitakin ongelmia, jotka koskevat koordinointia ja vuorovaikutusta kaikkien Horisontti 2020 -ohjelmaan kansallisella tasolla osallistuvien välillä. Tarkastusvirasto on todennut, että kaikkien osallistujien välisen vuorovaikutuksen parantaminen tehostaisi Bulgarian osallistumista ohjelmaan. Komissio tukee Bulgariaa aktiivisesti sekä ”huippuosaamisen portaikko” -pilottialoitteen (ks. edellä) että kehityksessä jälkeen jääneitä alueita koskevan uuden aloitteen (1) kautta parantaakseen maan innovaatioekosysteemiä ja helpottaakseen sen osallistumista Horisontti 2020 -ohjelmaan panemalla täytäntöön ja kehittämällä Bulgarian älykkään erikoistumisen strategiaa. Euroopan komissio esitti lokakuussa 2015 keskeisiä poliittisia suosituksia, joiden tarkoituksena on edistää tutkimus- ja innovointialojen uudistamista Bulgariassa. Tämä oli ensimmäinen kerta, kun EU:n jäsenvaltio vapaaehtoisesti käytti Horisontti 2020 -ohjelman toimintapolitiikan tukijärjestelyä (PSF). Kyseessä on uusi väline, joka tarjoaa hallituksille käytännön tukea julkisten tutkimus- ja innovaatiorakenteiden laadun parantamiseksi tarvittavien uudistusten määrittämiseen, toteuttamiseen ja arviointiin. Portugali (Portugalin kansallisen tarkastuselimen (Tribunal de Contas) vuoden 2016 ensimmäisen neljänneksen aikana suorittaman erityisen tarkastustyön pohjalta) Tutkimus- ja innovointialan pääasiallinen kansallinen strategia-asiakirja on tutkimusta ja innovointia koskeva älykäs erikoistumisstrategia, joka toteutetaan vuosina 2014–2020; toteuttamiskausi vastaa Horisontti 2020 -ohjelman toteuttamiskautta ja päättymisvuosi Eurooppa 2020 -strategian päättymisajankohtaa. Strategia-asiakirjan yhdessä luvussa käsitellään Eurooppa 2020 -strategian sekä Portugalin ja komission välillä tehdyn Portugal 2020 -kumppanuussopimuksen välisiä yhteyksiä tutkimuksen ja kehittämisen sekä innovoinnin alalla. Sopimukseen on suunnattu sekä koheesiopolitiikan että Horisontti 2020 -ohjelman varoja. Portugalin kansallinen tarkastusvirasto (Tribunal de Contas) pani merkille, että tutkimusta ja innovointia koskevaan älykkääseen erikoistumisstrategiaan sisältyi kaksi skenaariota tutkimukseen ja kehittämiseen suunnattavaa BKT:n osuutta koskevan indikaattorin kehityksen osalta: konservatiivinen skenaario kahden prosentin osuudesta vuoteen 2020 mennessä ja muutosskenaario 2,7 prosentin osuudesta vuoteen 2020 mennessä. Portugalin kansallinen tarkastusvirasto havaitsi myös, että kun huomioon otetaan Eurooppa 2020 -strategia, Horisontti 2020 -indikaattorit sekä innovaatiounionia koskevat indikaattorit, voidaan todeta, että kansallisen strategian indikaattoreiden yhteydessä ei puututa tiettyihin ongelmiin. Esimerkkeinä voidaan mainita tutkijoiden sukupuoleen liittyvät kysymykset, kestävään kehitykseen ja ilmastonmuutokseen kohdistuva vaikutus sekä pk-yritysten osallistuminen. Tarkastusvirasto pani merkille niin ikään, että kansallisella tasolla ja Euroopan tasolla on samantyyppisiä indikaattoreita, joista voidaan mainita esimerkkeinä tieteellisiä julkaisuja tai innovatiivisia tuotteita taikka prosesseja koskevat indikaattorit, joita ei voida verrata esimerkiksi siitä syystä, että käytössä on erilaiset nimittäjät. Osio 3 – Horisontti 2020 -ohjelman toimintarakenteessa ei painoteta johdonmukaisesti tuloksellisuutta 3.24 Tuloksellisuuden mittaaminen on tutkimusalalla luonnostaan vaikeaa. Tutkimustuloksia ja tutkimusten vaikutuksia on luonnostaan vaikea ennustaa. Ne ilmenevät yleensä melko pitkällä aikavälillä eivätkä useinkaan etene lineaarisesti. EU kuitenkin tarvitsee tästä huolimatta luotettavaa tietoa rahoittamansa tutkimustoiminnan tieteellisestä edistymisestä, tuottavuudesta ja laadusta, jotta tieteellistä tuloksellisuutta voidaan mitata hyvää päätöksentekoa silmällä pitäen. Tämä tarve on otettu huomioon Horisontti 2020 -puiteasetuksessa, jonka mukaan ”tehokas suorituskyvyn hallinta, mukaan lukien arviointi ja seuranta, edellyttää sellaisten yksittäisten suorituskykyindikaattoreiden kehittämistä […] jotka ovat merkityksellisiä tavoitteiden ja toimien asianmukaisen hierarkian kannalta” (22). 3.25 Tätä taustaa vasten tässä osiossa arvioidaan, a) painotetaanko Horisontti 2020 ohjelman avustusten hallinnointiprosessin yhteydessä tuloksellisuutta ja onko Eurooppa 2020 -strategiaan olemassa selkeä operatiivinen yhteys b) onko Horisontti 2020 -ohjelman seuranta- ja raportointijärjestelmä suunniteltu siten, että komission on mahdollista seurata tuloksellisuutta ja raportoida siitä c) käyttääkö komissio tuloksellisuuden seurannan ja raportoinnin tärkeitä peruskäsitteitä johdonmukaisesti ja oikein. Avustusten hallinnointiprosesseja ei ole suunniteltu täysin tuloksellisuuteen keskittymistä varten 3.26 Tilintarkastustuomioistuin tarkasti Horisontti 2020 -ohjelman säädöskehyksen rakenteen, tuloksellisuuden painottamisen työohjelmien ja ehdotuspyyntöjen yhteydessä sekä jokaisen otokseen kuuluneen viiden työohjelman osalta (23) yhden edunsaajien esittämän hyväksytyn ehdotuksen. Näin pyrittiin arvioimaan, painotettiinko Horisontti 2020 -ohjelman avustusten hallinnointiprosessien yhteydessä riittävästi tuloksellisuutta erityisesti suhteessa Eurooppa 2020 -strategiaan. Horisontti 2020 -ohjelman säädöskehys sisältää useita tärkeitä tuloksellisuuden hallintaa koskevia osatekijöitä, mutta suunnittelussa on joitakin puutteita erityisesti tulosindikaattoreiden käytön osalta 3.27 Lainsäädäntövallan käyttäjän Horisontti 2020:ta varten hyväksymät tavoitteet ja indikaattorit ovat todellakin parantuneet edellisistä puiteohjelmista. Kuten tilintarkastustuomioistuin on aiemmin todennut, lainsäädännössä määritetyt tavoitteet saattavat olla operatiivisen hallinnoinnin kannalta liian yleisluontoisia ja asetettu liian korkealle tasolle (24). Tämä koskee myös ylätason Horisontti 2020 -tavoitteita – myös niitä, joihin viitataan asetuksessa erityistavoitteina, joista suurinta osaa ei ole käytännössä muotoiltu tavoitteina vaan pikemminkin haasteina ja/tai toiminta-aloina. Esimerkiksi yhteiskunnallisia haasteita koskevan painopisteen kaksi erityistavoitetta ovat ”terveys, väestönmuutos ja hyvinvointi” sekä ”turvallinen, puhdas ja tehokas energia”. Seuraavassa osiossa arvioidaan, kuinka hyvin nämä ylätason tavoitteet on onnistuttu hallinnoinnin yhteydessä muuntamaan alemman tason tavoitteiksi. 3.27–3.28 Horisontti 2020 -ohjelman tavoitteiden sisällyttäminen ensimmäistä kertaa lainsäädäntöön merkitsi kiistatta askelta eteenpäin. Se johti lainsäädäntövallan käyttäjän kanssa käytyyn laaja-alaiseen keskusteluun ohjelman tavoitteista sekä seurattavista indikaattoreista. 3.28 Horisontti 2020 -lainsäädännössä määritetään ohjelman tavoitteiden lisäksi myös kolme tulosindikaattoria, joiden avulla voidaan arvioida edistymistä kohdassa 3.10 esitetyn yleisen tavoitteen perusteella. Säädöskehystä lähinnä olevalla alemmalla – yksittäisen ohjelman (25) – tasolla, määritetään lisää tuloksellisuuden hallinnan kannalta keskeisiä osa-alueita. Siinä luetellaan 18 keskeistä indikaattoria Horisontti 2020 -ohjelman erityistavoitteiden tulosten ja vaikutusten arviointia varten (26). Komissio on määrittänyt lisäksi viisi muuta keskeistä tulosindikaattoria, joten niitä on kaikkiaan 23 (27). Tulosindikaattoreiden sisällyttäminen lainsäädäntöön merkitsee edistysaskelta. Tilintarkastustuomioistuin havaitsi kuitenkin ohjelmaindikaattoreissa joukon puutteita, joita käsitellään seuraavissa kohdissa. 3.29 Näistä 23 keskeisestä tulosindikaattorista yli puolet mittaa pikemmin panoksia tai tuotoksia kuin tuloksia ja vaikutuksia (ks. myös laatikko 3.4 ). Lisäksi jotkin indikaattorit on muotoiltu epäselvästi, mikä vaikeuttaa niiden tulkintaa, jos lisätarkennuksia ei anneta. Esimerkkeinä voidaan mainita ”ohjelman avulla edistettyjen institutionaalisten muutostoimien lukumäärä” tai ”niiden tapausten lukumäärä, joissa yhteisen tutkimuskeskuksen antamalla teknisellä ja tieteellisellä tuella on ollut konkreettisia erityisvaikutuksia unionin eri alojen politiikkaan” (28). 3.29 Muotoilussa saattaa aina esiintyä moniselitteisyyksiä, erityisesti lainsäädännössä, joten lisätarkennuksia annetaan usein. Esimerkiksi kohtaa ”niiden tapausten lukumäärä, joissa yhteisen tutkimuskeskuksen antamalla teknisellä ja tieteellisellä tuella on ollut konkreettisia erityisvaikutuksia unionin eri alojen politiikkaan” on tarkennettu indikaattoriselosteessa, joka sisältää myös viittauksen indikaattorin mittaamismenetelmään. 3.30 Kolmasosassa Horisontti 2020 -ohjelman keskeisistä tulosindikaattoreista komissio ei määrittänyt perustasoja, välitavoitteita tai tavoitearvoja sillä perusteella, että nämä indikaattorit edustavat uutta lähestymistapaa, joten tavoitearvoja ei voida asettaa ennen kuin ensimmäiset tulokset ovat saatavilla. Niiden on määrä tulla saataville vuoden 2018 alussa. Horisontti 2020 -ohjelman 23 keskeisestä tulosindikaattorista ainoastaan viiden kohdalla on määritetty sekä perustaso että tavoitearvo. Tilintarkastustuomioistuimen näkemyksen mukaan vuosi 2018 on aivan liian myöhäinen ajankohta sen kannalta, että tuloksista olisi hyötyä vuodesta 2014 vuoteen 2020 kestävän ohjelman yhteydessä. Tapauksissa, joissa tavoitearvoja on määritetty, ne ovat joskus vaatimattomia. Joissakin tapauksissa tavoitearvot on asetettu seitsemännen puiteohjelman tuloksia alhaisemmalle tasolle. Tilintarkastustuomioistuin havaitsi lisäksi vuoden 2015 ohjelmaselvityksissä viisi Horisontti 2020 -indikaattoria (29), joiden kohdalla tavoitearvo oli alhaisempi kuin perustaso. 3.30 Vaikka rahoitusselvityksessä, joka oli liitetty Horisontti 2020 -ohjelmaa koskevaan komission ehdotukseen, esitettiin yleisesti indikaattoreiden perustasot ja tavoitearvot, lainsäädäntöprosessin aikana lisättiin monia uusia indikaattoreita. Niillä ei ollut perustasoa, jota vasten olisi voinut esittää kohtuullisen tavoitearvon. Jos tavoitearvo asetetaan ilman riittävää näyttöä, indikaattori saattaa menettää merkityksellisyytensä ja uskottavuutensa (kaksi RACER-kriteeriä). Seitsemännen puiteohjelman tuloksia alemmista Horisontti 2020 -ohjelman tavoitearvoista on annettu selvitys. Esimerkiksi niiden tutkijoiden määrää, jotka voivat käyttää tutkimusinfrastruktuureja unionin tuen avulla, on vähennetty, koska etusija annetaan uusille infrastruktuureille ja uusille yhteisöille (aloittaville yhteisöille), joiden infrastruktuureja ei yleensä voida käyttää yhtä laajasti kuin kehittyneiden yhteisöjen infrastruktuureja (tutkimuksen ja innovoinnin pääosaston vuosikertomus, sivu 33). Monilla aloilla tavoitteet ovat kunnianhimoisia ja tiukempia kuin seitsemännen puiteohjelman tavoitearvot. Esimerkkeinä voidaan mainita pk-yritysten osallistuminen, ilmastonmuutokseen liittyvät menot, uusiutuvaa energiaa koskevat menot ja avustusten myöntämiseen käytetty aika. 3.31 Useiden indikaattoreiden osalta tulee saataville merkityksellistä tietoa raportointia varten vasta vuosina 2018 ja 2019. Komissio katsoo, että neljänneksestä Horisontti 2020 -ohjelman keskeisistä tulosindikaattoreista on mielekästä raportoida vasta vuonna 2019, koska päätökseen saatujen hankkeiden kriittistä massaa ei saavuteta ennen sitä. Nämä indikaattorit saattaisivat olla hyödyllisiä Horisontti 2020 -ohjelman jälkiarvioinnissa, mutta niitä ei voida hyödyntää väliarviointeihin tai vuotuiseen seurantaan ennen vuotta 2018. Tämä tuodaan esille myös Horisontti 2020 -ohjelman seurantakertomuksessa vuodelta 2014. 3.31 Tutkimusalalla määrärahojen maksamisesta tuotosten ja edelleen tulosten syntymiseen saattaa kulua enemmän aikaa (sekä hankkeen ollessa käynnissä että sen jälkeen) kuin muilla rahoitusta saavilla aloilla. Kun esimerkiksi seitsemännen puiteohjelman jälkiarviointi julkaistiin tammikuussa 2016 (kaksi vuotta puiteohjelman päättymisen jälkeen), yli puolet puiteohjelman hankkeista oli vielä käynnissä. Tästä syystä komissio raportoi edelleen seitsemännen puiteohjelman tuloksista Horisontti 2020 -ohjelman seurantaraporttien erillisessä osiossa. Horisontti 2020 -ohjelman väliarviointiin sisältyy lisäksi arvio aiempien puiteohjelmien pitkän aikavälin vaikutuksista. Tämän lähestymistavan avulla ongelma lievenee ajan mittaan. 3.32 Euroopan innovaatio- ja teknologiainstituuttia (EIT) koskevassa tilintarkastustuomioistuimen erityiskertomuksessa annetaan käytännön esimerkki heikon indikaattoreiden käytön aiheuttamista ongelmista. Tilintarkastustuomioistuin pani kertomuksessaan merkille, että instituutin keskeisissä indikaattoreissa keskitytään edelleen tulosten tai vaikutusten sijasta panoksiin tai tuotoksiin. Tilintarkastustuomioistuin totesi, että EIT:n tuloksellisuutta on vaikeaa arvioida sen toiminnan aloittamisesta eli vuodesta 2010 lähtien. Luotettavat ja merkitykselliset raportointi- ja seurantaprosessit puuttuivat, ja näkyviä vaikutuksia oli vähän (30). 3.32 Kuten komission ja EIT:n vastauksessa erityiskertomukseen nro 4/2016 todetaan, EIT suorittaa laajoja analyyseja vertaillakseen osaamis- ja innovaatioyhteisöjä useiden tekijöiden, ei pelkästään keskeisten tulosindikaattoreiden perusteella. Osaamis- ja innovaatioyhteisöjen liiketoimintasuunnitelmien täytäntöönpanoa arvioidaan paitsi määrällisillä tulosindikaattoreilla myös ulkoisten asiantuntijoiden ja EIT:n henkilökunnan suorittamilla laatuarvioinneilla. EIT seuraa lisäksi osaamis- ja innovaatioyhteisöjen toimintaa paikan päällä ja tekee siitä aihekohtaisia arvioita. Nämä välineet tarjoavat yhdessä hyvin informatiivisen kuvan osaamis- ja innovaatioyhteisöjen eroista. Työohjelmien ja ehdotuspyyntöjen yhteydessä ei painoteta riittävästi tuloksellisuutta 3.33 Työohjelmat ja niihin liittyvät ehdotuspyynnöt ovat määrääviä tekijöitä Horisontti 2020 -ohjelman toiminnassa. Niiden avulla komission on mahdollista muuntaa Horisontti 2020 -ohjelman ylätason yleis- ja erityistavoitteet alemman tason tavoitteiksi, joita voidaan hyödyntää operatiivisen tuloksellisuuden hallinnassa. 3.34 Erityisohjelman perusteella komissio laatii kaksivuotiset työohjelmat, joiden yhteydessä määritetään erityistavoitteet ja odotetut vaikutukset. Komissio asettaa rahoitusmahdollisuudet käyttöön ehdotuspyyntöjen avulla: 15 miljardia euroa vuosina 2014–2015 ja 14,5 miljardia euroa vuosina 2016–2017. Horisontti 2020:n pääasiallisessa työohjelmassa käsitellään omissa osioissaan erityisohjelman kutakin yksittäistä tavoitetta. Sitä täydentävät erilliset työohjelmat, jotka laaditaan Euroopan tutkimusneuvoston (vuotuinen ohjelma), yhteisen tutkimuskeskuksen (kaksivuotiset ohjelmat) sekä EIT:n (kolmivuotinen ohjelma, jota tarkistetaan vuosittain) osalta. 3.34 Komissio otti tilintarkastustuomioistuimen esittämän huomautuksen jälkeen käyttöön strategisen suunnitteluprosessin, joka oli käytössä ennen vuosien 2016–2017 työohjelmien viimeistelyä. Kyseessä on jäsenvaltioiden ja muiden sidosryhmien kanssa suoritettava painopisteiden ja tarpeiden strateginen tarkastelu, jonka avulla varmistetaan Horisontti 2020 -ohjelman erityistavoitteiden ja niiden täytäntöönpanoon käytettävien työohjelmien välinen yhteys. 3.35 Horisontti 2020 -ohjelman lainsäädäntö hyväksyttiin hieman ennen ohjelman täytäntöönpanon käynnistymistä, mikä rajoitti strategisen suunnittelun mahdollisuuksia. Vuosien 2014 ja 2015 työohjelmaa koskevassa yleisessä strategiakehyksessä viitataan Eurooppa 2020 -strategiaan, innovaatiounioniin ja muihin lippulaivahankkeisiin, mutta viittaukset ovat yleisluontoisia ja epäsystemaattisia eikä niiden yhteydessä selvitetä tarkemmin yksittäisten työohjelmien nimenomaista vaikutusta tiettyihin strategisiin tavoitteisiin. Vuosia 2016 ja 2017 koskeva strateginen suunnitteluprosessi oli parempi ja se dokumentoitiin kokonaisvaltaisen strategisen suunnitteluasiakirjan ja sisältöä määrittävien asiakirjojen avulla. 3.35 Horisontti 2020 -lainsäädäntöä valmisteltiin samaan aikaan kuin vuoden 2014–2015 työohjelmia. Kullakin työohjelman osalla oli selvä yhteys Horisontti 2020 -ohjelman erityistavoitteisiin. 3.36 Kaikkien tilintarkastustuomioistuimen tarkastamien työohjelmien tavoitteet vastaavat erityisohjelmassa määritettyjä erityistavoitteita. Otokseen kuuluneiden työohjelmien yhteydessä ei kuitenkaan ole muunnettu lainsäädännössä määritettyjä ylätason tavoitteita operatiivisiksi tavoitteiksi, joita voidaan seurata ja joista voidaan raportoida: viidestä työohjelmien tavoitteesta kolmen sanamuoto vastaa täysin lainsäädännön sanamuotoa, eikä yksikään tavoite täytä SMART (31)-kriteereitä. Tavoitteiden yhteydessä ei ole määritetty indikaattoreita, joille olisi vahvistettu tavoitearvot ja välitavoitteet. Operatiiviset tavoitteet ja relevantit indikaattorit helpottaisivat vaadittua tuloksellisuuden painottamista sekä tuloksellisuuden seurantaa ja raportointia työohjelman tasolla. 3.36–3.38 Komissio myöntää, että työohjelmissa vahvistettua odotettua vaikutusta voidaan parantaa, ja tämä on jo aloitettu vuosien 2016–2017 työohjelmissa. Työohjelman päätarkoituksena on kuitenkin tarjota hakijoille laadukkaiden ehdotusten valmisteluun tarvittavat välttämättömät tiedot. Työohjelmissa ei tarvitse määrittää, mikä on niiden panos Eurooppa 2020 -strategian tavoitteiden saavuttamiseen. Työohjelmat pitäisi ennemmin yhdistää Horisontti 2020 -strategian erityistavoitteisiin, jotka on laadittu Eurooppa 2020 -strategian mukaisiksi. Tuloksellisuutta arvioidaan ensin lainsäädännössä säädettyjen indikaattorien avulla. Tämä on esitetty selvästi Horisontti 2020 -ohjelmaa koskevan asetuksen 5 artiklassa: ”Ensimmäinen joukko asiaankuuluvia suorituskykyindikaattoreita arvioitaessa edistystä yleiseen tavoitteeseen nähden esitetään [asetuksen liitteessä].” Nämä ovat ensisijaiset tiedot, joiden pohjalta tuloksellisuuden arviointi tehdään. 3.37 Jokaiseen työohjelmaan sisältyy ehdotuspyyntöjä, jotka vastaavat erityistavoitteen toimien päälinjoja (erityistavoitteen yhteydessä määritetään tieteellinen ja teknologinen sisältö). Otokseen kuuluneiden ehdotuspyyntöjen yhteydessä määritetään tavoitteet, jotka vastaavat työohjelman tavoitteita ja ovat tarvittaessa yhdenmukaisia yksittäisten toimien päälinjojen kanssa (32). Ehdotuspyyntöjen tavoitteet ovat kaiken kaikkiaan yksityiskohtaisempia kuin työohjelman tavoitteet, mutta ne eivät kuitenkaan täytä kaikkia SMART-kriteereitä. Jokaiseen ehdotuspyyntöön sisältyy tavoitteiden lisäksi odotettua vaikutusta käsittelevä osio. Odotettuja vaikutuksia on kuitenkin harvoin kvantifioitu eikä niiden osalta ole yleensä määritetty indikaattoreita. Näin ollen komission on vaikea mitata ehdotuspyyntöjen onnistumista, koska operatiiviset tavoitteet ja tavoitearvot sisältävät indikaattorit puuttuvat. 3.38 Otokseen kuuluneissa työohjelmissa ei ole määritetty niiden pitkän aikavälin vaikutusta strategisiin tavoitteisiin, vaikka työohjelmia koskevien ohjeiden mukaan siitä olisi annettava selvitys. Yhdenkään tilintarkastustuomioistuimen analysoiman tapauksen yhteydessä ei selitetty, miten työohjelma edistää tiettyjen Eurooppa 2020 -tavoitteiden saavuttamista; yhdessä tapauksessa työohjelman tavoitteen yhteydessä tuetut toimet yhdistetään yhteen lippulaivahankkeeseen, mutta yhteyttä ei kuvata tarkemmin. TILINTARKASTUSTUOMIOISTUIMEN HUOMAUTUKSET Ehdotuksissa, arvioinneissa ja avustussopimuksissa painotetaan tuloksellisuutta, mutta olemassa on puutteita, jotka saattavat johtaa ongelmiin tuloksellisuutta arvioitaessa 3.39 Ehdotuspyyntöjen yhteydessä hakijat esittävät rahoitusehdotuksia. Komissio arvioi ehdotukset ja tekee rahoitettaviksi valitsemiensa ehdotusten osalta avustussopimukset edunsaajien kanssa. Tässä osiossa tilintarkastustuomioistuin arvioi tuloksellisuuden painottamista näissä hallinnointiprosessin vaiheissa. Ehdotusten arviointi 3.40 Ehdotusten arvioinnista vastaavat yleensä komission puolesta asiantuntijat, jotka perustavat arvioinnin kolmeen kriteeriin eli huippuosaamiseen, vaikutukseen ja toteutuksen laatuun ja tehokkuuteen (33). Kaikkiin tilintarkastustuomioistuimen tutkimiin edunsaajien ehdotuksiin sisältyi osioita, joiden taustalla vaikuttivat mainitut kolme arviointikriteeriä siten, että vaikutuksen kriteeriä painotettiin vähintään yhtä paljon kuin kahta muuta kriteeriä. Ainoan poikkeuksen muodosti Euroopan tutkimusneuvosto, joka soveltaa ainoastaan huippuosaamista koskevaa kriteeriä. Arvioinnin laatu riippuu kuitenkin komission julkaisemissa ehdotuspyynnöissä määritettyjen odotettujen vaikutusten laadusta. 3.41 Ehdotuksiin sisältyvissä malleissa eritellään huippuosaamista koskevan kriteerin osalta, kuinka tavoitteet on määritettävä. Otokseen kuuluneista viidestä ehdotukseen sisältyvästä mallista kolmessa vaadittiin hakijoita määrittämään SMART-tavoitteet ja selittämään, kuinka ehdotus liittyy kyseessä olevaan työohjelmaan. Näiden kolmen ehdotuksen tavoitteet ovat yleisesti ottaen SMART-muotoisia. Kahden muun, Euroopan tutkimusneuvostoa ja Marie Curie -toimia koskeneen ehdotuksen kohdalla otokseen poimitut ehdotukset eivät kuitenkaan sisältäneet SMART-tavoitteita, koska sitä ei vaadittu. TILINTARKASTUSTUOMIOISTUIMEN HUOMAUTUKSET KOMISSION VASTAUKSET Avustussopimukset 3.42 Avustussopimukset ovat pääasiallinen Horisontti 2020 -ohjelman tukimuoto, jonka avulla pyritään saavuttamaan ohjelmatavoitteet. Otokseen kuuluneissa avustussopimuksissa käytettiin samoja tavoitteita kuin ehdotuksissa. 3.43 Avustussopimuksiin sisältyy tausta-aineistoa ja tuloksia käsittelevä osio. Tuloksilla tarkoitetaan ”toimen aineellisia tai aineettomia tuotoksia”, jotka on määritetty osallistumissäännöissä (34). Avustussopimuksiin sisältyy tärkeä määräys, jonka mukaan edunsaajien on toimitettava komissiolle tietoja Horisontti 2020 -ohjelman keskeisten tulosindikaattoreiden kokoamista varten; tällä tasolla saadaan näin ollen tärkeää kokonaistietoa Horisontti 2020 -ohjelman tuloksellisuudesta. Tilintarkastustuomioistuin on tuonut edeltävissä kohdissa esille ongelmia, jotka liittyvät tuloksellisuuden arviointiin ylemmällä (työohjelmien ja ehdotuspyyntöjen) tasolla. 3.43 Ks. komission vastaukset 3.36–3.38 kohtaan. Oikeusperustassa vahvistettuja indikaattoreita koskevia tietoja voidaan kerätä ja kerätään tuloksellisuuden arvioimiseksi. Horisontti 2020 -ohjelman seuranta- ja raportointijärjestelmän rakenne rajoittaa komission mahdollisuuksia seurata kunnolla tuloksellisuutta ja raportoida siitä 3.44 Tässä osassa keskitytään Horisontti 2020 -ohjelman seuranta- ja raportointijärjestelmään. Tilintarkastustuomioistuin tutki, a) pystyikö komissio nykyjärjestelmän avulla toteuttamaan seurantaa ja raportointia tutkimuksen ja kehittämisen menojen osalta erillään innovoinnin menoista b) onko Horisontti 2020 -ohjelman vaikutuksesta Eurooppa 2020 -strategiaan mahdollista raportoida c) onko komissiolla mahdollisuuksia arvioida ohjelmaa sen toteutuksen aikana. Tutkimuksen menoja ei seurata erillään innovoinnin menoista 3.45 Horisontti 2020 -ohjelma yhdistää aiemmin toisistaan erillään olleet tutkimus- ja innovaatioalojen rahoitusvälineet yhteiseen strategiakehykseen (35). Tämän lähestymistavan mukaisesti innovointia koskevat kilpailukyvyn ja innovoinnin puiteohjelman (36) ja Euroopan innovaatio- ja teknologiainstituutin osat koottiin Horisontti 2020 -ohjelman alaisuuteen. 3.46 Tilintarkastustuomioistuin on aiemmin korostanut, että Horisontti 2020 -ohjelman osalta ehdotettu lainsäädäntö ei sisältänyt selkeää innovoinnin määritelmää ja että ilman rahoitettavissa olevien innovointitoimien rajoittamista riskinä oli, että rahoituksen merkitys vesittyy, jos olemassa on paljon erilaisia innovaatiohankkeita (37). Tilintarkastustuomioistuin katsoo, että tämä riski on yhä olemassa. Horisontti 2020:n puiteohjelma ja erityisohjelma eivät sisällä selkeitä kriteereitä, joiden avulla tutkimus ja kehittäminen erotetaan innovoinnista (38) tai tuloksellisuutta seurataan ja siitä raportoidaan erikseen näissä otsakkeissa. 3.46–3.47 Yksi Horisontti 2020 -ohjelman päätavoitteista, joka esitettiin jo puiteohjelmaa koskevien keskustelujen alussa, oli kaventaa tutkimuksen ja innovoinnin välistä kuilua. Asetuksessa ei määritellä erikseen tutkimusta ja innovointia, vaan siinä tarkoitetaan ”tutkimus- ja innovointitoimilla tutkimukseen, teknologian kehittämiseen, demonstrointiin ja innovointiin liittyvien toimien koko kirjoa, mukaan lukien kolmansien maiden ja kansainvälisten organisaatioiden kanssa tehtävän yhteistyön edistäminen, tulosten levittäminen ja optimointi sekä tutkijoiden korkealaatuisen koulutuksen ja liikkuvuuden edistäminen unionissa”. Komissio katsoo, ettei tutkimus- ja innovointitoimintojen välillä tarvitse tehdä eroa, sillä erottelu ei tuo selvää lisäarvoa ja saattaisi heikentää pyrkimyksiä pienentää tutkimuksen ja innovoinnin välistä kuilua Euroopassa. TILINTARKASTUSTUOMIOISTUIMEN HUOMAUTUKSET 3.47 EU on ottanut tutkimuksen ja kehittämisen intensiteettiä kuvaavan indikaattorin osalta käyttöön kolmen prosentin yleistavoitteen. Kaikki Horisontti 2020 -ohjelmasta rahoitettu innovointitoiminta ei kuulu tutkimuksen ja kehittämisen määritelmän piiriin, siten kuin määritelmää käytetään kyseisen tavoitearvon yhteydessä (39). Horisontti 2020 -ohjelmassa on itse asiassa toimia, joiden tavoitteena on erityisesti innovoinnin eikä tutkimuksen ja kehittämisen edistäminen (40), ja kolmen prosentin tavoitearvo ei näin ollen koske kyseisiä toimia. Horisontti 2020 -ohjelman vaikutus Eurooppa 2020 -strategiaan on määritetty talousarviossa, mutta siitä raportoidaan mielekkäällä tavalla aikaisintaan vuonna 2018 3.48 Ohjelmaselvitykset, joita käytetään talousarviomenettelyssä toimintamenojen perusteluun, antavat tietoa meno-ohjelmien ja Eurooppa 2020 -strategian välisistä yhteyksistä. Selvityksissä tuodaan esille yleistavoitteet ja arvioidaan ohjelmien taloudellinen vaikutus lippulaivahankkeisiin. Näin ollen Eurooppa 2020 -strategiaan EU:n talousarviosta suunnattava rahoitus lasketaan arvioimalla ohjelmaselvityksissä meno-ohjelmien taloudellista vaikutusta lippulaivahankkeisiin. TILINTARKASTUSTUOMIOISTUIMEN HUOMAUTUKSET KOMISSION VASTAUKSET 3.49 Yli 90 prosenttia Horisontti 2020 -ohjelman vuoden 2015 määrärahoista suunnattiin talousarvioprosessissa ohjelmaselvitysten kautta eri lippulaivahankkeisiin. Tästä määrästä lähes puolet (4,3 miljardia euroa 9,5 miljardista eurosta) suunnattiin innovaatiounionia koskevaan lippulaivahankkeeseen liittyviin toimiin. 3.50 Horisontti 2020 -ohjelman ja Eurooppa 2020 -strategian väliset yhteydet on määritetty talousarviomenettelyä varten, mutta niitä ei yksilöidä Horisontti 2020 -ohjelman tuloksellisuutta koskevan raportoinnin yhteydessä. Horisontti 2020 -ohjelmaa koskevassa lainsäädännössä edellytetään, että seurantaan sisältyy monialaisia aiheita, joista yksi koskee vaikutusta kaikkiin relevantteihin Eurooppa 2020 -strategian lippulaivahankkeisiin (41). Vuotta 2014 koskevassa Horisontti 2020 -ohjelman vuotuisessa seurantakertomuksessa (julkaistu huhtikuussa 2016) ei kuitenkaan käsitellä Horisontti 2020 -ohjelman vaikutusta relevantteihin lippulaivahankkeisiin. Horisontti 2020 -ohjelman ja Eurooppa 2020 -strategian väliset yhteydet arvioidaan vasta Horisontti 2020:n väliarviointia koskevassa kertomuksessa, joka on määrä laatia vuonna 2017. Yhdessäkään komission viime vuosina SEUT:n 318 artiklan mukaisesti julkaisemassa arviointikertomuksessa ei myöskään ole raportoitu tästä aiheesta hyödyllisellä tavalla. 3.50 Horisontti 2020 -ohjelman ja Eurooppa 2020 -strategian välistä yhteyttä arvioidaan perinpohjaisesti Horisontti 2020 -ohjelman väliarvioinnissa. Horisontti 2020 -ohjelman väliarvioinnissa käsitellään myös vipuvaikutusta. Komissio katsoo, että Horisontti 2020 -ohjelman perustamista koskevan asetuksen 31 artiklassa, jossa vahvistetaan vuotuisen seurantaraportin kattavuus, ei vaadita kertomuksessa selvitettävän, miten Horisontti 2020 -ohjelma vaikuttaa relevantteihin Eurooppa 2020 -strategian lippulaivahankkeisiin. Seurantaraportti koskee ainoastaan Horisontti 2020 -puiteohjelman täytäntöönpanoa. Horisontti 2020 -puiteohjelman perustamisesta annetun asetuksen 32 artiklan mukaan Horisontti 2020 -ohjelman panos Eurooppa 2020 -strategian tavoitteiden saavuttamiseen otetaan huomioon Horisontti 2020 -ohjelman väliarvioinnissa. SEUT-sopimuksen 318 artiklan mukaisesti annettavissa komission arviointikertomuksissa voidaan antaa tietoja Horisontti 2020 -puiteohjelman vaikutuksesta Eurooppa 2020 -strategiaan vasta, kun nämä tiedot ovat saatavilla väliarvioinnin jälkeen. Osa seitsemännen puiteohjelman jälkiarvioinnissa havaituista luontaisista puutteista saattaa pysyä ennallaan myös Horisontti 2020 -ohjelman yhteydessä 3.51 Tutkimuksen puiteohjelmien arviointien ajoittaminen on luonnostaan vaikeaa. Horisontti 2020 -puiteohjelman mukaan arvioinnit on suoritettava ”riittävän ajoissa, jotta ne voidaan ottaa huomioon päätöksentekoprosessissa”. Tämä vaatimus on vaikeasti täytettävissä tutkimuksen alalla, jolla tulosten ja vaikutusten esiintulo voi viedä vuosia. Lainsäädännössä asetetaan kuitenkin määräajat erityyppisille arvioinneille: väliarviointi vaaditaan yleensä seitsenvuotisen puiteohjelman neljäntenä vuotena (Horisontti 2020 -ohjelman tapauksessa vuonna 2017), ja jälkiarviointi on suoritettava 2–3 vuoden kuluttua ohjelman päättymisen jälkeen (vuonna 2023). Määräaikojen tarkoituksena on tukea päätöksentekoprosessia, mutta riskinä on, että ne johtavat arviointeihin, jotka eivät kata ohjelmien tuloksia ja vaikutuksia riittävissä määrin. 3.51–3.53 Komissio on myöntänyt, että kunkin puiteohjelman seitsemän vuoden voimassaolon aikana on vaikeaa tehdä merkityksellisiä arviointeja. Tästä syystä Horisontti 2020 -ohjelman väliarviointiin sisältyy päivitetty arvio seitsemännen puiteohjelman tuloksellisuudesta. Tämän avulla lievennetään havaittuja ongelmia. Komissio toteaa myös, että sen on punnittava, onko tarpeellisempaa tuottaa oikea-aikaista tietoa uutta lainsäädäntöä varten vai arvioida tutkimusmenojen lisäarvon pitkän aikavälin vaikutuksia. Tämä näkyy lainsäädännössä. Komissio myöntää, että tutkimuksen puiteohjelman väliarvioinnissa on väistämättä sekä tuotoksia että saatavissa olevia tietoja koskevia vaikeuksia. Jos arviointi jätetään myöhemmäksi, sellaiset tärkeät opetukset, joita voidaan varmasti arvioida väliarviointivaiheessa, saattavat viivästyä. Tämä on otettu huomioon asetuksessa, sillä monia 32 artiklan 3 kohdassa mainituista tekijöistä, joita on käsiteltävä väliarvioinnissa, voidaan arvioida melko aikaisessa vaiheessa ohjelmaa. Tällaisia ovat esimerkiksi seuraavat: — sellaisten osallistujien osallistuminen, joilla on käytettävissään huipputason tutkimusinfrastruktuureja tai jotka ovat käyttäneet seitsemännessä puiteohjelmassa omakustannuslaskelmaa; — yksinkertaistaminen sellaisille osallistujille, joilla on käytettävissään huipputason tutkimusinfrastruktuureja tai jotka ovat käyttäneet seitsemännessä puiteohjelmassa omakustannuslaskelmaa; — asetuksen (EU) N:o 1290/2013 27 artiklassa tarkoitetun henkilökunnalle maksettavan lisäpalkan käytön laajuus. Komissio katsoo tästä syystä, että lainsäädännöllä ja arviointikäytännöillä lievennetään merkittävästi tilintarkastustuomioistuimen havaitsemia luontaisia vaikeuksia. 3.52 Seitsemännen puiteohjelman (2007–2013) jälkiarviointi saatiin päätökseen vuoden 2015 lopussa, jolloin yli puolet puiteohjelman hankkeista oli vielä käynnissä ja seuraavan ohjelman, Horisontti 2020:n, hyväksymisestä oli kulunut kaksi vuotta. Arviointiin vaikuttivat moniin seitsemännen puiteohjelman hankkeisiin liittyneet viiveet sekä se, että edunsaajien raportointivelvoite lakkasi hankkeiden päättyessä. Lisäksi joihinkin seitsemännen puiteohjelman tulosindikaattoreihin liittyvä tietojenkeruu lakkasi vuonna 2013, kun seitsemännen puiteohjelman toteutuskausi päättyi. 3.53 Horisontti 2020 -ohjelmaa koskevaa väliarviointia, joka on määrä suorittaa vuonna 2017, rajoittaa se, että useiden tulosindikaattoreiden osalta ei ole saatavilla mielekkäitä tuloksia (ks. kohta 3.31). Horisontti 2020 -ohjelman arviointia ylipäätään vaikeuttavat todennäköisesti puutteet, joita on havaittu ehdotuspyyntöjä ja työohjelmia koskevien tulosten raportoinnissa (hankkeista kerättyjä tietoja ei voida koota ehdotuspyyntöjä ja työohjelmia koskevan palautteen antamista silmällä pitäen – ks. kohdat 3.33–3.38). Vaikeuttavana tekijänä ovat myös ongelmat, joita komissiolla on tuloksellisuustietojen keräämisessä edunsaajilta hankkeiden päättämisen jälkeen. Komissio voi suorittaa vaikutuksenarviointeja hankkeiden päättymisen jälkeen, mutta tilintarkastustuomioistuimen tutkimissa tapauksissa ei havaittu, että edunsaajilla olisi ollut raportointivelvoite hankkeiden päättämisen jälkeen. 3.53 Komissio voi koota tietoja, jotta se voisi arvioida oikeusperustassa säädettyjä 23:a indikaattoria. Tämä on Horisontti 2020 -puiteohjelmasta annetun asetuksen 5 artiklassa vahvistetun tuloskehyksen perusta: ”Ensimmäinen joukko asiaankuuluvia suorituskykyindikaattoreita arvioitaessa edistystä yleiseen tavoitteeseen nähden esitetään [asetuksen liitteessä].” Komissio ei aina käytä keskeisiä tuloksellisuuskäsitteitä johdonmukaisesti, mikä saattaa heikentää tuloksellisuuden hallintajärjestelmää 3.54 Laatikossa 3.1 eritellään tavat, joilla EU:n toimet voivat tuottaa hyötyä: ”panos”, ”tulos” ja ”vaikutus”. ”Seuraukset” kattavat sekä tulokset että vaikutukset. Näitä termejä käytetään tavoitteiden ja indikaattoreiden määrittämiseen komission tuloksellisuuden seuranta- ja raportointijärjestelmän yhteydessä. Termien käyttöön liittyvät mahdolliset epäjohdonmukaisuudet tai puutteet saattavat heikentää tuloksellisuuden hallintajärjestelmää. 3.55 Komissio käyttää termejä yleisesti ottaen mainittujen määritelmien mukaisesti (42). Edunsaajien osallistumista Horisontti 2020 -ohjelmaan koskevissa säännöissä tarkoitetaan kuitenkin tuloksilla ”toimen aineellisia tai aineettomia tuotoksia, kuten toimessa tuotettavaa dataa, tietämystä tai tietoja”. Tätä määritelmää sovellettaisiin yleensä ”tuotokseen” pikemmin kuin ”tulokseen”. 3.55–3.57 Horisontti 2020 -ohjelmaa koskevat asetukset hyväksyttiin (joulukuu 2013) ennen parempaa sääntelyä koskevien suuntaviivojen hyväksymistä (toukokuu 2015). Tästä on tilintarkastustuomioistuimen mukaan seurannut joitakin epäjohdonmukaisuuksia. Paremman sääntelyn terminologiaa on käytetty johdonmukaisesti parempaa sääntelyä koskevien suuntaviivojen hyväksymisestä lähtien Horisontti 2020 -ohjelman tuloksellisuuden seurannassa ja arvioinnissa. 3.56 Näiden termien soveltamisessa Horisontti 2020 -ohjelman yhteydessä on epäjohdonmukaista myös se, että lainsäädännön mukaan yksittäiset Horisontti 2020 -ohjelmaa toteuttavat työohjelmat sisältävät ”odotetut tulokset” (43), kun taas osallistumista (44) koskevien sääntöjen yhteydessä sovellettuna kriteerinä ovat ”vaikutukset”. Komission työohjelmien ja ehdotuspyyntöjen yhteydessä käyttämä termi on kuitenkin ”odotetut vaikutukset”. 3.57 Tuloksilla mitataan suoraan tietystä toimesta seuraavia välittömiä vaikutuksia, joten ne soveltuvat hankkeiden valintakriteereiksi paljon paremmin kuin vaikutukset, jotka ilmenevät pidemmällä aikavälillä ja saattavat sisältää osatekijöitä, joihin ei voida puuttua hankkeiden tasolla. 3.58 Tilintarkastustuomioistuimen käynnissä olevista Horisontti 2020 -hankkeista poimima viiden hankkeen otos osoittaa, että odotetun vaikutuksen käsitettä tulkittiin vaihtelevasti eri ehdotuspyyntöjen yhteydessä. Erästä edunsaajaa vaadittiin pk-yrityksille suunnatun järjestelmän yhteydessä toimittamaan markkina-analyysi ja liiketoimintasuunnitelma. Nämä asiakirjat olivat osana ehdotusta ja arvioijat analysoivat ne vaikutuskriteerin osalta. Eräs toinen edunsaaja esitti lyhyen laadullisen kuvauksen hankkeen ja siltä odotettujen erilaisten vaikutusten välisestä yhteydestä. Odotettuna vaikutuksena mainittiin esimerkiksi ”paremmat innovointimahdollisuudet palveluntarjoajille, pk-yritykset ja julkishallinnot mukaan luettuna”. Kolmas edunsaaja kuvasi hankkeen tuloksena käyttöön otettavan uuden hoitosuunnitelman hyötyjä ja vahvisti, että tulosten pitäisi edistää asianomaisessa ehdotuspyynnössä määritettyä vaikutusta. Odotettuja vaikutuksia tulkitaan eri tavoin eri ehdotuspyynnöissä ja edunsaajat löysivät erilaisia tapoja rahoitusosuuksiensa perusteluun. Tilanne aiheuttaa riskin, että hankkeiden tuloksellisuuden arviointi on riittämätöntä ehdotuspyyntöjen yleisten tavoitteiden ja työohjelmien osalta. 3.58 Toisen työohjelman yhteydessä havaittiin, että selvityksiä odotetusta vaikutuksesta on syytä vahvistaa, ja tästä syystä parannettiin voimassa olevia ohjeita. Laadukkaan arviointiprosessin avulla kuitenkin varmistetaan, että valituiksi tulevat parhaat hankkeet. Kun edunsaajaa vaadittiin toimittamaan markkina-analyysi ja liiketoimintasuunnitelma, kyse oli pk-yrityksiä koskevasta ohjelmasta, jossa markkina-analyysin ja liiketoimintasuunnitelman esittäminen ovat avustuksen myöntämisen ehtoja. Horisontti 2020 -ohjelman painopiste on innovoinnissa ja pitkän aikavälin vaikutuksissa. Tästä syystä ehdotuspyynnöissä on käytetty termiä ”odotettu vaikutus”, jota tarkastellaan arvioinnin yhteydessä. Lainsäädännössä puhutaan ”tuloksista”, koska Horisontti 2020 -lainsäädäntö tuli voimaan ennen parempaa sääntelyä koskevien suuntaviivojen hyväksymistä. Hankkeiden vaikutuksia eri aloilla arvioidaan käyttämällä Horisontti 2020 -ohjelmaa koskevissa säädöksissä ja muissa asiakirjoissa vahvistettuja indikaattoreita. Indikaattorit ovat vain yksi tietolähde. Komissio käyttää tuloksellisuuden seurannassa ja arvioinnissa monenlaisia tietoja vaikutuksen arvioimiseksi (esimerkiksi ulkoisia tutkimuksia, kyselyjä, tapaustutkimuksia ja vertailuanalyyseja). 3.59 Komission selkeyden puute aiheuttaa tällä alalla myös sen ongelman, että jotkin indikaattorit, jotka on kuvattu tulos- tai vaikutusindikaattoreiksi, mittaavat tosiasiassa panoksia ja tuotoksia. Tämä rajoittaa komission kykyä arvioida tuloksellisuutta. Laatikossa 3.4 annetaan joitakin esimerkkejä mainittujen riskien toteutumisesta. 3.59 Asetuksessa vahvistetut indikaattorit kattavat panoksen, tuotoksen, tulokset ja vaikutukset. Komissio katsoo, että näiden indikaattoreiden seuranta, jota arviointi tukee, tarjoaa hyvän perustan tuloksellisuuden arviointia varten. Laatikko 3.4 – Indikaattoreiden epäjohdonmukainen käyttö Kuten kohdassa 3.28 tuodaan esille, ”Horisontti 2020 -puiteohjelman erityistavoitteiden tulosten ja vaikutusten arviointia varten on määritetty 23 keskeistä tulosindikaattoria”. Indikaattoreista seitsemän liittyy julkaisuihin, kuten ”Johtoasema mahdollistavissa ja teollisuusteknologioissa (LEIT) – julkisen ja yksityisen sektorin yhteisten julkaisujen lukumäärä”. Tämäntyyppisten tuotosten saavuttaminen saattaa olla ohjelman kannalta päte