Erityiskertomus N:o 4/2010 ”Onko Leonardo da Vinci -ohjelman liikkuvuustoimet suunniteltu ja hallinnoidaanko niitä siten, että niiden avulla todennäköisesti saadaan vaikuttavia tuloksia?”





Tiivistelmä I. Leonardo da Vinci -ohjelma on suunniteltu Euroopan unionin koulutuspolitiikan täytäntöönpanoa varten. Ohjelman suurimman osa-alueen muodostavat liikkuvuushankkeet, joiden avulla koulutustoimintaan osallistuvat organisaatiot voivat lähettää osallistujia muihin Euroopan maihin, jolloin heillä on mahdollisuus parantaa valmiuksiaan, tietojaan ja taitojaan. II. Euroopan komissiolla on kokonaisvastuu ohjelmasta. Komissio seuraa ja valvoo ohjelman täytäntöönpanoa yhteistyössä osallistujamaiden kansallisten viranomaisten – yleensä opetusministeriöiden – kanssa. Liikkuvuushankkeiden hallinnointiin liittyvä toiminnallinen vastuu on hajautettu kokonaisuudessaan jäsenvaltioiden nimeämille kansallisille toimistoille. III. Tilintarkastustuomioistuin tutki, tuottaako Elinikäisen oppimisen ohjelmaan (2007–2013) kuuluvan Leonardo da Vinci -ohjelman liikkuvuustoimien suunnittelu ja hallinnointi todennäköisesti vaikuttavia tuloksia. IV. Tilintarkastustuomioistuimen havainnot perustuvat tarkastukseen, joka toimitettiin komissiossa ja tarkastukseen valituissa kuudessa osallistujamaassa. Leonardo-ohjelma on yksi komission Elinikäisen oppimisen ohjelmaan kuuluvista neljästä koulutusalan ohjelmasta, joten useat tarkastushavainnot ulottuvat myös muihin elinikäisen oppimisen ohjelmiin. Tilintarkastustuomioistuin havaitsi, että: - Komissio otti nykyisen Leonardo da Vinci -ohjelman (2007–2013) suunnittelussa huomioon edeltävästä ohjelmasta tekemänsä pakolliset arvioinnit, mutta ei ottanut järjestelmällisesti huomioon muita tärkeitä tutkimuksia ja raportteja. - Komissio laati Leonardo-ohjelmaa varten asianmukaisen hankkeen elinkaaren hallintajärjestelmän, mutta ohjelmaa tukevassa tietotekniikkajärjestelmässä oli joitakin huomattavia puutteita. - Ohjelman toiminnallisia osa-alueita, kuten ohjelman julkisuutta ja edistämistä sekä vuotuista ohjelmatyöjaksoa, hallinnoitiin yleensä hyvin, mutta komissio ei puuttunut vaikeuksiin, joita hakijoilla oli yhteistyökumppaneiden haussa, eikä komissio myöskään varmentanut kansallisten toimistojen avustushakemuksista tekemien arviointien laatua. - Käytössä on raportointijärjestelmä, mutta komissio ei vielä pysty arvioimaan sen avulla Leonardo-ohjelman tuloksia ja vaikutuksia, sillä järjestelmässä on puutteita. Komissio oli alkanut perustaa kattavaa Leonardo-ohjelman vaikutusten arviointijärjestelmää, mutta ohjelman kolmanteen toteutusvuoteen mennessä sitä ei ollut kuitenkaan saatu vielä valmiiksi. - Kansalliset toimistot toteuttivat tarkastuksia komission ohjeiden mukaisesti. - Kansallisten viranomaisten kansallisiin toimistoihin kohdistamien ylemmän tason tarkastusten toteutustavassa on puutteita. - Yleisenä päätelmänä on, että Leonardo da Vinci -ohjelman liikkuvuustoimet on suunniteltu ja niitä hallinoidaan siten, että niiden avulla voidaan saada vaikuttavia tuloksia. Komissio oli alkanut perustaa kattavaa Leonardo-ohjelman vaikutusten arviointijärjestelmää, mutta sitä ei ollut kuitenkaan saatu vielä valmiiksi. Näin ollen komissio ei voi vielä ohjelman kolmantena toteutusvuotena – liki puolivälissä – arvioida, miten tavoitteiden saavuttaminen edistyy. V. Näiden huomautusten perusteella tilintarkastustuomioistuin esittää komissiolle seuraavanlaisia suosituksia: ohjelmaa tukevaa tietotekniikkajärjestelmää olisi parannettava, vuotuisesta ohjelmatyön suunnittelusta olisi annettava laadullista palautetta, isäntäorganisaatioiden hakua olisi tuettava aiempaa enemmän, hankehakemusten arviointimenettelyjä olisi kehitettävä ja seurattava tiiviimmin, SMART-tavoitteet ja tulosindikaattorit olisi viimeisteltävä viipymättä, tulosarviointia olisi parannettava, ohjelman vaikutusta olisi painotettava aiempaa enemmän ja tulevaisuudessa olisi varmistettava, että uusien ohjelmien yhteydessä vaikutustenarviointijärjestelmä on olemassa alusta alkaen. Johdanto 1. Lissabonissa maaliskuussa 2000 kokoontunut Eurooppa-neuvosto asetti Euroopan unionille strategisen tavoitteen, jonka mukaan siitä on tultava maailman dynaamisin tietoon perustuva talous vuoteen 2010 mennessä. Eurooppa-neuvosto totesi koulutuksen tärkeän aseman talous- ja sosiaalipolitiikan olennaisena osana. Ammatillisen koulutuksen alalla tehtävän eurooppalaisen yhteistyön perustaksi laadittiin sittemmin "Kööpenhaminan prosessi" [1], jolla pyritään lisäämään vapaaehtoista yhteistyötä keskinäisen luottamuksen, avoimuuden sekä pätevyyden ja tutkintojen tunnustamisen edistämiseksi, mikä luo pohjaa liikkuvuuden lisäämiselle ja helpottaa elinikäistä oppimista. 2. Euroopan komissio on yhdistänyt erityyppiset koulutusalan aloitteensa Elinikäisen oppimisen ohjelmaan [2]. Tavoitteena on tukea unionin alueen koulutusjärjestelmien välistä vaihtoa, yhteistyötä ja liikkuvuutta. Uusi Elinikäisen oppimisen ohjelma korvaa aiemmat koulutusalan, ammatillisen koulutuksen ja verkko-oppimisen ohjelmat, jotka päättyivät vuonna 2006. 3. Ohjelman täytäntöönpanoa varten myönnettiin 1. tammikuuta 2007 alkavalle seitsenvuotiskaudelle 6970 miljoonan euron ohjeelliset määrärahat [3]. Määrärahoista suunnataan alaohjelmiin vähintään seuraavat osuudet: - Comenius 13 prosenttia - Erasmus 40 prosenttia - Leonardo da Vinci 25 prosenttia - Grundtvig 4 prosenttia 4. Leonardo da Vinci -nimi annettiin alaohjelmalle, jonka avulla on tarkoitus panna täytäntöön Euroopan unionin ammattikoulutuspolitiikkaa. Politiikan avulla tuetaan ja täydennetään jäsenvaltioiden toimia. Leonardo da Vinci -ohjelman nykyinen vaihe (2007–2013) on jatkoa aiemmille ohjelmille Leonardo I (1995–1999) ja Leonardo II (2000–2006). Elinikäisen oppimisen ohjelman ja Leonardo da Vinci -ohjelman yleiset, erityiset ja toiminnalliset tavoitteet [4]esitetään kohdassa 44 sekä liitteessä. 5. Leonardo da Vinci -ohjelman avulla voidaan tukea esimerkiksi seuraavantyyppisiä toimia: - liikkuvuus – osallistujat oleskelevat tietyn ajanjakson toisessa Euroopan maassa - yhteistyökumppanuudet, jotka kohdistuvat kaikkia osallistuvia tahoja kiinnostaviin aiheisiin - erityisesti koulutusjärjestelmien parantamiseen tähtäävät monenväliset hankkeet. 6. Liikkuvuushankkeet ovat keskeisiä toimintamuotoja Leonardo-ohjelman yhteydessä samaan tapaan kuin edeltävien ohjelmien aikana. Kuten kaaviosta 1 käy ilmi, liikkuvuushankkeisiin suunnattiin vuonna 2007 yhteensä 64 prosenttia ja vuonna 2008 yhteensä 59 prosenttia Leonardo-ohjelman avustuksista. Kaavio 1 Leonardo da Vinci -ohjelman hankeavustukset toimintatyypeittäin vuosina 2007–2008 (milj. euroa) +++++ TIFF +++++ Lähde: Euroopan komissio. 7. Leonardo-ohjelman avulla tuettavien liikkuvuushankkeiden tarkoituksena on antaa osallistujille – sekä ammatillisessa peruskoulutuksessa että jo työelämässä oleville ja ammatillisen koulutuksen alan ammattilaisille – mahdollisuus parantaa valmiuksiaan, tietojaan ja taitojaan suorittamalla koulutusjakso toisessa Euroopan maassa. Avustuksilla tuetaan hankehallinnointia sekä matka- ja oleskelukustannuksia. Liikkuvuushankkeisiin vuonna 2008 osallistuneiden jakautuminen koulutusaloittain on kuvattu kaaviossa 2. Kaavio 2 Liikkuvuushankkeiden osallistujat vuonna 2008 koulutusaloittain +++++ TIFF +++++ Lähde: Euroopan komissio. Komission tehtävä 8. Euroopan komissiolla on kokonaisvastuu siitä, että Elinikäisen oppimisen ohjelma pannaan täytäntöön tehokkaasti ja vaikuttavasti [5]. Elinikäisen oppimisen ohjelmakomitea, johon kuuluu jäsenvaltioiden edustajia, tukee komissiota ohjelman täytäntöönpanossa. Komission tehtävänä on: - seurata ja arvioida säännöllisesti Elinikäisen oppimisen ohjelman tavoitteiden toteutumista [6] yhteistyössä jäsenvaltioiden kanssa - huolehtia asianmukaisesta valvonnasta siten, että koko järjestelmän toimintaa seurataan ja koordinoidaan ja kansallisiin valvontajärjestelmiin kohdistetaan tarkistuksia. [7] Kansallisen viranomaisen tehtävä 9. Ohjelmaan osallistuu 31 maata: 27 EU:n jäsenvaltiota sekä Islanti, Liechtenstein, Norja ja Turkki. Kansallinen viranomainen –yleensä opetusministeriö – seuraa ja valvoo kussakin osallistujamaassa kansallisen toimiston työtä yhteistyössä komission kanssa. Kansallisen viranomaisen vastuulla on perustaa ylemmän tason valvontajärjestelmä, jonka tarkoituksena on antaa kohtuullinen varmuus siitä, että järjestelmät ja kansallisten toimistojen toimittamat ensimmäisen tason tarkastukset toimivat tehokkaasti. Kansallisen toimiston tehtävä 10. Toiminnallinen vastuu Leonardo-ohjelman liikkuvuushankkeista on hajautettu kokonaisuudessaan kaikkiin osallistujamaihin perustetuille kansallisille toimistoille. Kansalliset toimistot vastaavat liikkuvuushankkeiden hallinnoinnista koko niiden elinkaaren ajan. Toimistot osallistuvat tarvittaessa myös komission toteuttamaan ohjelman seurantaan ja arviointiin. Toimistoilta odotetut toiminnot on eritelty ohjelman oikeusperustassa, johon sisältyy esimerkiksi komission päätös jäsenvaltioiden, komission ja kansallisten toimistojen vastuualueista elinikäisen oppimisen toimintaohjelman täytäntöönpanossa (C(2007) 1807); toimintaohjeet on eritelty komission julkaisemissa ohjeissa (Guide for National Agencies), jotka kuuluvat osana rahoitussopimuksiin, joita komissio tekee vuosittain kansallisten toimistojen kanssa. Tarkastuksen sisältö ja lähestymistapa 11. Tarkastus keskittyi Leonardo-ohjelmasta rahoitettuihin liikkuvuustoimiin. Yleistavoitteena oli arvioida, onko Elinikäisen oppimisen ohjelmaan (2007–2013) kuuluvan Leonardo da Vinci -ohjelman liikkuvuustoimet sunniteltu ja hallinnoidaanko niitä siten, että että niiden avulla todennäköisesti saadaan vaikuttavia tuloksia. 12. Tarkastuksen tavoitteena oli arvioida: a) otettiinko ohjelman suunnittelussa huomioon tarkoituksenmukaiset arvioinnit ja tutkimukset ja sovellettiinko sen yhteydessä asianmukaista hankkeen elinkaaren hallintajärjestelmää b) hallinnoitiinko ohjelman toiminnallisia osa-alueita hyvin (esimerkiksi vuotuisten työohjelmien valmistelu, julkisuuteen, edistämiseen ja tiedonjakeluun liittyvä prosessi sekä rahoitettavien hankkeiden valinta) c) oliko käytössä raportointijärjestelmä, jonka avulla komissio voi mitata ohjelman tuloksia ja vaikutusta d) oliko valvontajärjestelmä riittävä. 13. Tarkastus kattoi Elinikäisen oppimisen ohjelman valmistelun, joka alkoi vuonna 2004, sekä ohjelman varsinaisen toteuttamisen vuosina 2007–2008. Huomioon otettiin myös vuonna 2009 tapahtunut ohjelman kannalta olennainen kehitys. Komissiossa toimitetun tarkastuksen lisäksi tehtiin tarkastuskäynti kuuteen jäsenvaltioon [8]. Kyseiset jäsenvaltiot saivat vuonna 2007 yhteensä 45 prosenttia Leonardo-ohjelman liikkuvuustoimien kokonaismäärärahoista, ja vuonna 2008 niiden osuus oli 44 prosenttia (ks. kaavio 3). 14. Leonardo-ohjelma on osa Elinikäisen oppimisen ohjelmaa, johon on yhdistetty erityyppisiä koulutusaloitteita. Näin ollen monet havainnot, päätelmät ja suositukset koskevat koko ohjelmaa. 15. Tarkastustyön aikana kerättiin ja analysoitiin tietoja, tarkistettiin suunnittelu-, arviointi- ja täytäntöönpanoasiakirjoja, tutkittiin liikkuvuushankkeiden hankeasiakirjoja ja haastateltiin komission virkamiehiä ja kansallisten viranomaisten sekä kansallisten toimistojen ja tarkastukseen valittujen jäsenvaltioissa toimivien edunsaajaorganisaatioiden edustajia. Kaavio 3 Leonardo-ohjelman liikkuvuustoimiin perustuvat avustukset maittain vuosina 2007-2008 (milj. euroa) +++++ TIFF +++++ Lähde: Euroopan komissio. Huomautukset Suunnittelu 16. Tarkastuksessa tutkittiin, ottiko komissio Leonardo-ohjelmaa laatiessaan huomioon tietolähteet, joita sillä oli käytössään edeltävistä ohjelmista (esimerkiksi kaikki arvioinnit, tutkimukset ja kansalliset raportit sekä se, hyödynsivätkö kansalliset viranomaiset niitä). Tarkastuksessa arvioitiin, perustiko komissio Leonardo-hankkeen täytäntöönpanoa varten asianmukaisen hankkeen elinkaaren hallintajärjestelmän sekä komission että hankkeeseen osallistuvan maan tasolla, ja oliko hankkeen tueksi kehitetty tietotekniikkajärjestelmä. Komission tasolla tarkastuksessa arvioitiin, oliko tehtävät jaettu selkeästi eri yksiköiden kesken. Hankkeeseen osallistuvien maiden tasolla tutkittiin, kuinka ohjelman hallinnoinnista vastaavat kansalliset viranomaiset ja toimistot olivat toteuttaneet hallinnollista täytäntöönpanoa; viranomaisten ja toimistojen vastuualueet on eritelty komission laatimissa ohjeissa. Komissio otti huomioon omat pakolliset arviointinsa edeltävästä ohjelmasta, mutta ei huomioinut järjestelmällisesti muita tärkeitä tutkimuksia ja raportteja 17. Kaikkiin Euroopan yhteisöjen yleisestä talousarviosta rahoitettaviin ohjelmiin kohdistetaan pakollinen arviointi kolmessa eri vaiheessa [9]: - Ennakkoarviointi: uutta tai uudistettua EU-ohjelmaa tai toimea koskevasta lainsäädäntöehdotuksesta laaditaan raportti. - Väliarviointi: ohjelman puolivälissä suoritettavan arvioinnin avulla annetaan suoraa palautetta ohjelman aikana ja voidaan näin vaikuttaa käynnissä olevien tukitoimenpiteiden laadun parantamiseen. Uusien ohjelmien valmisteluun kuluu pitkähkö aika, joten väliarvioinnit ovat erittäin tärkeitä tiedonlähteitä myös uuden ohjelmasukupolven suunnittelun kannalta. - Loppuarviointi: suoritetaan ohjelman päättyessä. 18. Uutta Leonardo-ohjelmaa suunnitellessaan komissio otti huomioon edeltävän ohjelman väli- ja loppuarvioinnin tulokset. Väliarvioinnin tulokset otettiin huomioon ennakkoarvioinnin valmistelun yhteydessä. Komissio laati sekä väli- että loppuarvioinnin osalta sisäiset toimintasuunnitelmat, joissa eriteltiin, kuinka arvioinneissa esitetyt suositukset otettaisiin huomioon alustavassa suunnitteluvaiheessa, ja kuinka suunnittelua mukautettaisiin arviointien perusteella. Tietotekniikka-alaa ja SMART-tavoitteita sekä tulosindikaattoreita koskevat sisäiset toimintasuunnitelmat eivät ole kuitenkaan vielä tuottaneet toivottua tulosta (ks. kohdat 27–29 ja 48–52). 19. Jokaisen osallistujamaan on laadittava oma kansallinen väli- ja loppuarviointi ohjelman täytäntöönpanosta ja vaikuttavuudesta sekä ohjelman vaikutuksista ammatillisiin koulutusjärjestelmiin ja järjestelyihin jäsenvaltioissa. Arvioinnit on toimitettava komissiolle osana ohjelman seurantaa ja arviointia; arviointeja on tässä yhteydessä analysoitava ja niiden perusteella on suoritettava seurantaa. 20. Komissio antoi kansallisten loppuarviointien analysoinnin tehtäväksi ulkopuoliselle toimeksisaajalle [10]. Toimeksisaaja ei kuitenkaan kyennyt analysoimaan kaikkia kansallisia arviointiraportteja, sillä ainoastaan 19 maata 31:stä lähetti raportin komissiolle asetettuun määräaikaan mennessä. Komissio ei puolestaan analysoinut erikseen raportteja, jotka toimitettiin määräajan umpeuduttua. Se ei myöskään kohdistanut niihin seurantaa. 21. Myös osa kansallisista viranomaisista hyödynsi raportteja vain vähäisessä määrin. Kolmessa tarkastuskäynnnin kohteena olleessa jäsenvaltiossa suositukset käytiin läpi ja niiden perusteella suoritettiin seurantaa, mutta ainoastaan yksi jäsenvaltio nivelsi suositukset uuden Leonardo-ohjelman hallinnointijärjestelyihin. Muissa kolmessa tarkastuskäynnin kohteena olleessa maassa ei ollut havaittavissa, että kansalliset viranomaiset olisivat tutkineet raportteja. 22. Komissio on suorittanut kaksi laajaa tutkimusta, jotka koskevat Leonardo-ohjelmaan liittyviä liikkuvuustoimien näkökohtia [11]. Komission mukaan tutkimukset tukevat päätöksentekijöiden työtä, mutta on epäselvää, miten komissio on itse hyödyntänyt tutkimusten sisältämää hyödyllistä tietoa ohjelmien vaikuttavuuden kehittämistä ja parantamista silmällä pitäen. Komissio perusti tarkoituksenmukaisen hankkeiden elinkaaren hallintajärjestelmän, mutta järjestelmää tukeva tietotekniikkajärjestelmä sisälsi joitakin huomattavia puutteita 23. Tarkastuksessa perehdyttiin komission perustamaan hankkeiden elinkaaren hallintajärjestelmään ja arvioitiin järjestelmän tarkoituksenmukaisuutta. Tilintarkastustuomioistuin katsoo, että järjestelmä on tarkoituksenmukainen, jos hankkeen elinkaaren hallinta on jaettu selkeästi eri osallistujatahojen kesken, tehtävät on määritetty selkeästi ja käytössä on valvontatoimenpiteitä. Laatikko 1 Esimerkkejä toimenpiteitä koskevista suosituksista analyysissä, joka koski Leonardo da Vinci -ohjelman liikkuvuustoimien vaikutuksia (Impact Analysis of Leonardo da Vinci Mobility Measures on Young Trainees and Employees, and the Influence of Socio-economic Factors, 2007) Tukitoimenpiteiden täytäntöönpanossa ja valmistelussa on yhä joitakin puutteita ohjelmaa toteuttavissa maissa. Hankevalmistelua olisi parannettava ja osallistujien osuutta siinä lisättävä, isäntäorganisaatiot olisi valittava huolellisemmin ja lähettäjänä toimivan ja erityisesti isäntäorganisaation olisi annettava enemmän ja parempaa ohjausta liikkuvuutta koskevien tutkitoimenpiteiden aikana. Ohjelman vaikutusta olisi analysoitava laajemmin ja jatkuvasti. Prosessien jatkuvassa arvioinnissa olisi otettava huomioon valmistelu, täytäntöönpano ja seuranta sekä erityisesti taitojen kehittymisprosessi (vaikutus) siten, että osallistujien tarpeet otetaan asianmukaisesti huomioon. 24. Sen jälkeen kun uusi Elinikäisen oppimisen ohjelma oli käynnistetty vuonna 2007, komission koulutuksen ja kulttuurin pääosasto järjesti toimintansa uudelleen, jotta se vastaisi paremmin uuden yhdennetyn ohjelman tarpeita. 25. Aiemmin eri koulutusohjelmista vastasivat erityyppiset kansalliset toimistot. Kun uusi Elinikäisen oppimisen ohjelma käynnistettiin vuonna 2007, komissio kannusti ohjelmaan osallistuvia maita nimeämään yhden kansallisen toimiston, joka vastaa kaikista Elinikäisen oppimisen ohjelman alaohjelmista. Tämä on toteutunut useimmissa maissa. Kansalliset toimistot hallinnoivat suoraan Leonardo-ohjelman liikkuvuushankkeita. Toimistot vastaavat kaikista hallinnoinnin osa-alueista: - ohjelman edistämisestä - avustuksen myöntämismenettelyn organisoinnista (hakemusten arviointi mukaan lukien) - avustussopimusten laadinnasta ja avustusten siirrosta hyväksytyille hakijoille - ohjelman edunsaajien seurannasta ja tuesta - tulosten levittämisen organisoinnista - ohjelman toimintaa koskevan palautteen antamisesta sekä palautteen antamisesta siitä, kuinka ohjelma on vaikuttanut asianomaisessa maassa. 26. Kansallisten toimistojen toimintaa valvovat kansalliset viranomaiset, jotka vastaavat kansallisille toimistoille siirrettyjen EU-varojen hallinnoinnin asianmukaisuudesta sekä kansallisten toimistojen työn seurannasta ja valvonnasta yhteistyössä komission kanssa. 27. Hankkeen elinkaaren hallintajärjestelmän perusrakenne on näin ollen tarkoituksenmukainen. Hankehallinnointia ja raportointia koskevassa tietotekniikkajärjestelmässä oli kuitenkin huomattavia puutteita. Kansallisten toimistojen on käytettävä komission niiden käyttöön antamia tietotekniikkajärjestelmiä [12]. Tuorein komission kehittämä tietotekniikkajärjestelmä on LLPLink, joka on Elinikäisen oppimisen ohjelmaa varten tarkoitettu väline. Järjestelmän avulla hankkeen elinkaaren hallinta tapahtuu sähköisesti hakemusvaiheesta loppumaksun suorittamiseen. Samanaikaisesti LLPLink-järjestelmän kehittämisen kanssa komissiossa olivat kehitteillä myös internet-pohjaiset sähköiset lomakkeet, joiden avulla hakemukset voidaan jättää verkossa ja kansalliset toimistot voivat huolehtia hankkeiden arvioinnista, valinnasta ja raportoinnista verkossa. Kansallisten toimistojen on täytynyt käyttää LLPLink-järjestelmää kaikkien uusien hankkeiden hallinnointiin vuodesta 2008 alkaen. 28. Uudessa tietoteknisessä tukijärjestelmässä oli joitakin huomattavia puutteita. Tarkastuksen toimittamisajankohtana LLPLink-järjestelmän avulla kyettiin vastaamaan vain kaikkein kiireellisimpiin Elinikäisen oppimisen ohjelman tarpeisiin. Hanke viivästyi ja oli puutteellinen. Kansalliset toimistot, jotka halusivat hallinnoida hakemusten arviointiprosessia ja raportointia verkko-sovellusten avulla, joutuivat jatkamaan vanhan järjestelmän tai paikallisten järjestelmiensä rinnakkaiskäyttöä LLPLink-järjestelmän kanssa vuoden 2009 loppuun saakka. Tapauksissa, joissa LLPLink-järjestelmän ja kansallisten toimistojen käyttämien järjestelmien välillä ei ollut yhteyttä, tiedot oli syötettävä kahteen kertaan, mikä oli aikaaviepää ja lisäsi henkilöstön työkuormitusta. 29. LLPLink-järjestelmän täytäntöönpanossa ilmenneet viiveet vaikuttavat Leonardo-ohjelman ja koko muun Elinikäisen oppimisen ohjelman hallinnointiin, sillä järjestelmän avulla ei saada kattavaa ja yhdenmukaista tietoa ohjelman täytäntöönpanosta osallistujamaissa ohjelman alusta alkaen. Tiedot ovat välttämättömiä arvioitaessa ohjelman tavoitteiden toteutumisen edistymistä. Hallinnointi 30. Tarkastuksessa käsiteltiin ohjelman päivittäiseen hallinnointiin liittyviä näkökohtia. Tarkastajat arvioivat, saiko komissio vuotuisen työohjelman hyväksymismenettelyiden avulla alustavan varmuuden siitä, että ohjelma pannaan täytäntöön sovellettaviin puiteasiakirjoihin sisältyvien sääntöjen mukaisesti. Tarkastuksessa arvioitiin niin ikään, ovatko komissio ja kansalliset toimistot edistäneet ohjelmaa; ovatko toimistot julkistaneet ohjelmaa koskevia tietoja komission antamien ohjeiden mukaisesti ja onko toimistojen keskeisiin ohjelman toteuttamisongelmiin puututtu. Tarkastuksessa tutkittiin myös, arvioivatko toimistot hankehakemuksia avoimesti, hyvin organisoidusti, noudattivatko ne komission antamia ohjeita ja suoritettiinko havaittujen puutteiden perusteella seurantaa. Kansallisten toimistojen vuotuisten työohjelmien hyväksymisjärjestelyt ovat tarkoituksenmukaisia, joskaan komissio ei anna niistä toimistoille systemaattisesti laadullista palautetta 31. Kukin kansallinen toimisto laatii komission vakiomuotoisten määritelmien ja mallien perusteella vuotuisen työohjelman, jonka komissio hyväksyy. Työohjelmia hyväksyessään komissio pyrkii ensisijaisesti saamaan alustavan varmuuden siitä, että kansallinen toimisto panee ohjelman täytäntöön sovellettaviin puiteasiakirjoihin sisältyvien sääntöjen mukaisesti. Myös kansalliset viranomaiset hyväksyvät työohjelman ja sitoutuvat samalla antamaan kansallisille toimistoille tarvittavat kansalliset resurssit. Järjestelmä toimii ilman suurempia ongelmia; vuotuiset työohjelmat hyväksytään määräaikojen puitteissa, mikä mahdollistaa ohjelman täytäntöönpanon jatkumisen sovittujen suuntaviivojen mukaisesti. Komissio antaa kansallisten toimistojen esittää konsolidoidut työohjelmat, mutta komissio ei ole hyödyntänyt mahdollisuutta antaa kansallisille toimistoille ja viranomaisille systemaattisesti palautetta työohjelman laadusta; palautteen avulla saataisiin tiivis kuva suunnitellusta kansallisesta täytäntöönpanosta, mikä hyödyttäisi sekä komissiota että osallistujamaita, kun ongelmat kyettäisiin yksilöimään ja korjaamaan ajoissa. Komissio ja osallistujamaat huolehtivat tyydyttävästi ohjelman julkisuudesta ja edistämisestä 32. Komissio ja kansalliset toimistot ovat huolehtineet edistämistoimiin liittyvistä velvoitteistaan antamalla ohjelmalle näkyvyyttä ja tukemalla hyvien käytäntöjen levittämistä ja käyttöä useiden toimenpiteiden avulla. Kansalliset toimistot ovat julkistaneet osallistujamaissa komission ohjeiden avulla "ehdotuspyyntöjä" ja antaneet oleellista lisätietoa Leonardo-ohjelmasta. Komissio ei ole puuttunut hakijoiden vaikeuksiin löytää isäntäorganisaatioita muista maista 33. Hakijoilla oli vaikeuksia löytää isäntäorganisaatioita muista maista. Tämä johtui esimerkiksi kielitaidon puutteesta ja kulttuurieroista. Leonardo-ohjelman ja myös muiden Elinikäisen oppimisen ohjelmaan kuuluvien liikkuvuusohjelmien yhteydessä kansalliset toimistot vastaavat ainoastaan oman maansa hakijoiden sijoittumisen varmistamisesta vieraissa maissa; niiden tehtävänä ei ole auttaa muista maista tulevia hakijoita löytämään sopivia isäntäorganisaatioita. 34. Komissio antaa mahdollisille isäntäorganisaatioita etsiville hakijoille tietoa, ohjeita ja tukea. Vuonna 2007 komissio kuitenkin sulki eurooppalaisten yhteistyökumppaneiden hakua koskevan tietokantansa, jonka tarkoituksena oli helpottaa yhteistyökumppaneiden hakua. Syynä sulkemiseen oli se, että komissio ei kyennyt varmistumaan siitä, että tietokannassa olevat potentiaalisia yhteistyökumppaneita koskevat tiedot vastasivat laadullisesti tietokannan käyttäjien odotuksia osallistujamaissa. Tietokantaa ei ole vielä korvattu sopivalla järjestelmällä. 35. Joissakin osallistujamaissa on jo kansalliset tietokannat yhteistyökumppaneiden hakua varten, mutta kyseiset järjestelmät eivät kuitenkaan korvaa Euroopan laajuista tietokantaa. Kansallisten tietokantojen käyttö yhteistyökumppaneiden haussa johtaa tilanteeseen, jossa yhteistyökumppaneita hakevien on rekisteröidyttävä useaan eri tietokantaan voidakseen kirjautua järjestelmiin hakua varten. Hakemusten arvioinnissa on puutteita 36. Osallistujamaat soveltavat hakemusten arviointiin ja hankkeiden valintaan avoimia, hyvin organisoituja ja komission ohjeiden mukaisia menettelyjä. Hakemusten arvioinnissa ilmeni kuitenkin esimerkkejä seuraavista puutteista, jotka lisäävät riskiä siitä, että asianomaiset hankkeet eivät saavuta asetettuja tavoitteita: - hakemuksia hyväksyttiin, vaikka koulutuksen sisältö, tavoitteet ja odotetut tulokset oli kuvattu puutteellisesti; hakemusten arvioinnin tulokset eivät näin ollen olleet perusteltuja - hakemuksia hyväksyttiin, vaikka hakemuksissa ilmoitetut kustannustiedot eivät riittäneet perustaksi haettavalle rahamäärälle - arvioijat eivät perustelleet arviointilomakkeiden eri osioissa antamiaan pisteytyksiä etenkään laadullisten näkökohtien osalta. 37. Komissio ei kohdista hanketukihakemusten arviointeihin laadunvarmennustarkistuksia, sillä se katsoo tehtävän kuuluvan kansalliselle viranomaiselle. Komissio ei ole kuitenkaan antanut erillisiä suuntaviivoja siitä, kuinka kansallisten viranomaisten olisi tarkistettava hakemusten arvioinnit. Selkeiden suuntaviivojen puuttuessa riskinä on, että kaikkien osallistujamaiden kansalliset viranomaiset eivät suorita tarkistuksia yhtä huolellisesti. Raportointi 38. Komission on yhteistyössä osallistujamaiden kanssa varmistettava, että ohjelman tulosten ja vaikutusten mittaamiseen tarvittavat saatavissa olevat tiedot kerätään, analysoidaan ja käsitellään [13]. Tämän lisäksi Leonardo-ohjelman yhteydessä on suoritettava perusteellinen vaikutusten arviointi osana ohjelman väli- ja loppuarviointia. Tarkastuksessa arvioitiin, oliko käytössä SMART-tavoitteisiin perustuva raportointijärjestelmä, jonka avulla komissio voi arvioida ohjelman tuloksia ja vaikutusta suunniteltuihin toimiin nähden [14]. Leonardo-ohjelman tuloksia ja vaikutuksia koskevassa raportointijärjestelmässä on puutteita 39. Kansalliset toimistot laativat komissiolle vuotuisen toimintakertomuksen [15], jossa annetaan tietoa ohjelman täytäntöönpanosta. Komissio määrää kertomuksen sisällön; siinä käsitellään esimerkiksi tuettavien hankkeiden lukumäärää ja tyyppiä sekä hankkeiden tuloksia. 40. Tilintarkastustuomioistuin tutki tarkastuskäynnin kohteena olleiden kuuden maan toimintakertomukset vuodelta 2007 ja havaitsi lukuisia puutteita, jotka on kuvattu kohdissa 41–44. Puutteet vähentävät kertomusten arvoa komission ja muiden käyttäjien tiedonlähteenä Leonardo-ohjelman tulosten ja vaikutusten osalta. 41. Vuotuisen työohjelman rakenne poikkeaa vuotuisen toimintakertomuksen rakenteesta, joten tuloksia on vaikea verrata mielekkäästi suunniteltuihin toimiin nähden. Komissio suunnittelee hyväksyvänsä vuotuisen toimintakertomuksen rakenteen työohjelman rakenteen uudistusta mukaillen; uudistuksen on määrä tulla voimaan vuoden 2011 työohjelmasta alkaen. 42. Kansalliset toimistot antavat tuloksista ainoastaan asiatietoa, jonka avulla ei voida arvioida Leonardo-ohjelman vaikutuksia sen tavoitteiden perusteella – esimerkiksi opetuksen parantumista, uusien taitojen hankkimista ja taloudellisia vaikutuksia. Vuotuisissa toimintakertomuksissa on tietoa esimerkiksi hankkeiden lukumäärästä, mutta vain vähän informaatiota tuettujen toimien tuloksista ja niiden vaikutuksista osallistujien ja organisaatioiden tasolla. 43. Kansalliset toimistot eivät myöskään sovella yhteinäistä lähestymistapaa vuotuisiin toimintakertomuksiin perustuvaan raportointiin, minkä seurauksena komissiolle toimitettavissa loppuraporteissa on erilaisia, eri tavoin esitettyjä analyysejä saavutetuista tuloksista. 44. Komissio on keskittynyt kansallisten toimistojen vuotuisia toimintakertomuksia tarkistaessaan pikemminkin kattavuuteen ja yhtenäisyyteen kuin sen varmistamiseen, että kaikista oleellisista kysymyksistä raportoidaan (ks. kohta 38). Komissio kuitenkin ilmoitti lähettäneensä osallistujamaille palautetta vuoden 2008 vuotuisten kertomusten arvioinnin jälkeen. Näin komissio aikoi luoda yhteyden työohjelman ennakkoarvioinnin ja vuotuisten kertomusten jälkiarvioinnin välille vuodesta 2009 alkaen. Laatikko 2 Esimerkkejä puutteista, jotka liittyivät kansallisten toimistojen noudattamaan vuoden 2007 työohjelman täytäntöönpanotulosten esittämistapaan hanketuloksia ei arvioitu kvantitatiivisesti tavoitteiden käsittelytapaa ei analysoitu riittävästi mahdollisia yleisvaikutuksia kuvailtiin antamatta tosiasiallista näyttöä vaikutuksista vaikutuksia koskevat esimerkit oli poimittu edeltävää Leonardo II -ohjelmaa koskevasta tutkimuksesta. 45. Kansalliset toimistot tekevät myös hankkeiden seurantakäyntejä, joiden avulla pyritään tukemaan edunsaajia, kokoamaan ja levittämään esimerkkejä parhaista käytännöistä ja luomaan tai ylläpitämään hyviä suhteita edunsaajien ja kansallisen toimiston välillä. 46. Komissio on asettanut vaatimuksen [16]sille, kuinka käyntikohteena olevat edunsaajat on valittava; vaatimus koskee edunsaajien kokoa ja tyyppiä, maantieteellistä levittymistä asianomaisessa maassa sekä EU-avustuksen suuruutta. Toisin kuin ensimmäisen tason tarkastusten yhteydessä, komissio ei ole kuitenkaan yksilöinyt, kuinka monta seurantakäyntiä kansallisten toimistojen olisi vähintään tehtävä. 47. Komissio otti vuonna 2008 käyttöön laatuun ja vaikutuksiin kohdistuvat seurantakäynnit. Tavoitteena oli saada parempi näkemys ohjelmatoimien laadusta osallistujamaissa. Käynteihin kuuluu esimerkiksi tapaamisia kansallisten viranomaisten, toimistojen ja avustusten saajien kanssa. Kyseessä on edistysaskel, mutta käyntien sisältöä ei ole kuitenkaan hiottu riittävästi. Komission vuonna 2008 käyntien tuloksista laatimat kertomukset sisälsivät liikkuvuustoimien osalta asiatietoa ja kehityksen kuvailua, mutta Leonardo-ohjelman liikkuvuushankkeiden varsinaisia vaikutuksia koulutusjärjestelmiin, osallistuviin organisaatioihin tai yksilöihin ei analysoitu lainkaan. Ohjelman kahden ensimmäisen toteutusvuoden aikana osallistujamaille ei ollut lähetetty systemaattisesti kertomuksia taikka muuta palautetta vahvistusta tai kommentointia varten. Komissio oli alkanut perustaa kattavaa Leonardo-ohjelman vaikutusten arviointijärjestelmää, mutta ohjelman kolmanteen toteutusvuoteen mennessä sitä ei ollut kuitenkaan saatu vielä valmiiksi 48. Ohjelman tavoitteiden tulisi olla erityiset, mitattavissa ja toteutettavissa olevat, asiaan kuuluvat ja ajallisesti määrätyt, eli SMART-tavoitteiden mukaiset (SMART on lyhenne sanoista Specific, Measurable, Achievable, Realistic ja Timely) [17]. Tämä ei kuitenkaan toteudu Leonardo-ohjelman tavoitteiden tapauksessa, sillä ne ovat pikemminkin yleisluontoisia, minkä seurauksena on vaikea arvioida, kuinka liikkuvuushankkeet edistävät tavoitteiden saavuttamista (ks. laatikko 3). Laatikko 3 Leonardo da Vinci -ohjelman erityiset tavoitteet tukea koulutus- ja jatkokoulutustoimiin osallistuvia sellaisten tietojen, taitojen ja pätevyyden hankkimisessa ja käyttämisessä, joilla edistetään henkilökohtaista kehittymistä, työllistyvyyttä ja osallistumista Euroopan laajuisille työmarkkinoille tukea ammatillisen koulutuksen järjestelmien, laitosten ja käytäntöjen laadun parantamista sekä innovointia lisätä ammatillisen koulutuksen ja liikkuvuuden houkuttelevuutta työnantajille ja yksittäisille henkilöille ja helpottaa työskentelevien harjoittelijoiden liikkuvuutta. Leonardo da Vinci -ohjelman toiminnalliset tavoitteet parantaa ammatilliseen perus- ja jatkokoulutukseen osallistuvien henkilöiden liikkuvuuden laatua ja lisätä sen määrää kaikkialla Euroopassa, jotta yrityksissä tapahtuvien harjoittelujen määrää voidaan lisätä vähintään 80000 harjoittelujaksoon vuodessa Elinikäisen oppimisen ohjelman päättymiseen mennessä parantaa koulutusmahdollisuuksia järjestävien laitosten tai järjestöjen, yritysten, työmarkkinaosapuolten ja muiden asiaankuuluvien tahojen välisen yhteistyön laatua ja lisätä sen määrää kaikkialla Euroopassa helpottaa muun kuin korkea-asteeseen kuuluvan ammatillisen koulutuksen innovatiivisten toimintatapojen kehittämistä ja niiden siirtoa, myös osallistujamaasta toiseen lisätä tutkintojen ja pätevyyksien selkeyttä ja tunnustamista, epävirallisen koulutuksen ja arkioppimisen yhteydessä hankitut taidot ja pätevyydet mukaan luettuina kannustaa vieraiden nykykielten opiskeluun tukea tieto- ja viestintätekniikkaan perustuvien, elinikäiseen oppimiseen sovellettavien innovatiivisten sisältöjen, palveluiden, opetusmenetelmien ja toimintatapojen kehittämistä. 49. Kansalliset toimistot raportoivat ohjelman tuloksista vuotuisissa toimintakertomuksissaan. Tilintarkastustuomioistuimen tarkastuksen toimittamisajankohtaan mennessä komissio ei ollut laatinut kansallisille toimistoille seikkaperäisiä suuntaviivoja siitä, miten ohjelman tuloksia tai liikkuvuushankkeiden vaikutusta olisi arvioitava. 50. Elinikäisen oppimisen ohjelmakomitea [18]päätti joulukuussa 2006 perustaa työryhmän, jonka tehtävänä on arvioida koko Elinikäisen oppimisen ohjelman vaikutusta – Leonardo da Vinci -ohjelma mukaan lukien. Työryhmän toimeksiantoon sisältyi yleisten vaikutusindikaattoreiden määrittäminen, jotta Elinikäisen oppimisen ohjelman onnistumista voidaan arvioida sen tavoitteiden perusteella. Marraskuussa 2009 työryhmä ehdotti elinikäisen oppimisen ohjelmakomitealle vaikutusindikaattoreita sekä tiedonkeruu- ja raportointijärjestelmää, joiden avulla voitaisiin puuttua osaan nykyisistä puutteista. Ehdotusta ei ollut kuitenkaan hyväksytty tammikuuhun 2010 mennessä. 51. Kun komissio on päättänyt indikaattorit, joita se haluaa mitata, on tarpeen tehdä myös muita muutoksia: esimerkiksi nykyisiin vuotuisiin toimintakertomuksiin kuuluvat kysymykset on käytävä läpi sen varmistamiseksi, että niiden avulla voidaan kerätä tarvittavia tilastotietoja ohjelman tehokasta hallinnointia silmällä pitäen. LLPLink-tietotekniikkajärjestelmän raportointimoduulia on mukautettava uusiin tiedonkeruutarpeisiin. 52. Vaikutuksia arvioivan työryhmän perustaminen oli edistysaskel kohti tulosten ja vaikutusten seurantaan ja arviointiin tarvittavia olosuhteita. Komissio ei ole kuitenkaan kyennyt vielä nykyisen Leonardo-ohjelman kolmantena toteutusvuotena arvioimaan, missä laajuudessa ohjelma saavuttaa tavoitteitaan. Sillä ei ole myöskään käytössään järjestelmää, jonka avulla se voisi suorittaa arvioinnin tulevaisuudessa. Vaikka elinikäisen oppimisen ohjelmakomitea hyväksyisi vaikutusindikaattorit vuonna 2010, ohjelman vaikutusten arviointiin tarvittavat tiedot kerättäisiin vain ohjelman loppuvaiheen osalta; vertailutietojen hankkiminen tulee olemaan erittäin hankalaa ohjelman kolmen ensimmäisen vuoden (2007–2009) ajalta, eli ajalta, joka on katettava Elinikäisen oppimisen ohjelman väliarvioinnissa. Väliarviointiin liittyvä raportti on toimitettava maaliskuussa 2011. Tarkastukset 53. Tarkastuksessa käsiteltiin Leonardo-ohjelmaa koskevien tarkastusten asianmukaisuutta kaikilla tasoilla – kansalliset toimistot, kansalliset viranomaiset ja komissio – Elinikäisen oppimisen ohjelman puitteissa [19]. Tarkastuksia pidettiin asianmukaisina, jos ne tapahtuivat komission antamien ohjeiden mukaisesti ja komission valvonnassa. Kansallisten toimistojen Leonardo-ohjelmaan kohdistamat tarkastukset olivat useimmissa tapauksissa komission ohjeiden mukaisia 54. Kansalliset toimistot suorittavat ensimmäisen tason tarkastukset edunsaajien tasolla. Tarkastusten avulla pyritään saamaan varmuus EU-varoin tuettujen toimien tosiasiallisuudesta ja tukikelpoisuudesta sekä tapahtumien perustana olevien toimien laillisuudesta ja sääntöjenmukaisuudesta. 55. Ensimmäisen tason tarkastuksiin sovellettavat standardit ja vähimmäisvaatimukset on eritelty komission kansallisille toimistoille laatimissa ohjeissa [20]. Tarkastuksiin kuuluu useita eri toimintoja: loppuraporttien analysointia, edunsaajien loppuraportointivaiheessa toimittaman todentavan aineiston asiakirjatarkastuksia, paikalla toimitettava tarkastus tuettujen toimien toteutusvaiheessa, toimien päättymisen jälkeen suoritettava tarkastus sekä vakituisten edunsaajien luona toimitettava järjestelmätarkastus. 56. Ensimmäisen tason tarkastukset ovat nimenomaisesti säännönmukaisuuden tarkastuksia, joiden tarkoituksena ei ole keskittyä liikkuvuustoimien tuloksiin. Kansalliset toimistot toteuttavat yleensä ensimmäisen tason tarkastukset komission niille laatimien ohjeiden mukaisesti, mutta havaittavissa oli kuitenkin esimerkiksi seuraavanlaisia puutteita: - yhdessä kansallisessa toimistossa loppuraportteja ei arvioitu ja hyväksytty asetetussa määräajassa, joka on 45 päivää raportin vastaanottamisesta - eräs toinen kansallinen toimisto suoritti edunsaajille loppumaksuja, vaikka edellytettyä palautetta ei ollut saatu kaikilta liikkuvuusohjelman osallistujilta. Kansallisten viranomaisten suorittamien ylemmän tason tarkastusten avulla saadaan yleensä kohtuullinen varmuus ensimmäisen tason tarkastusten vaikuttavuudesta, mutta joitakin puutteita oli silti havaittavissa 57. Kansalliset viranomaiset vastaavat Leonardo-ohjelman kansallisista tarkastuksista. Tätä silmällä pitäen komissio vaatii, että kansalliset viranomaiset perustavat ylemmän tason tarkastusjärjestelmän, jonka tavoitteena on tuottaa kohtuullinen varmuus siitä, että kansallisten toimistojen vastuulle kuuluva ensimmäisen tason tarkastusjärjestelmä toimii vaikuttavasti [21]. Kansallisten viranomaisten toimittamat ylemmän tason tarkastukset tuottivat useimmissa tapauksissa kohtuullisen varmuuden ensimmäisen tason tarkastusjärjestelmän vaikuttavuudesta. Tarkastuksessa havaittiin kuitenkin puutteita ylemmän tason tarkastusten toteuttamistavassa: valvontamenettelyjä ei dokumentoitu asianmukaisesti, kansallisen toimiston toimia ei valvottu riittävästi ja kansallisten tai komission tarkastuselinten esittämiin suosituksiin perustuvassa seurannassa oli puutteita. Komissio on antanut vasta hiljattain lisäohjeita ylemmän tason tarkastuksiin kuuluvista erityisistä menettelyistä 58. Komissio tekee osallistujamaihin järjestelmien seurantaan perustuvia tarkastuskäyntejä. Käyntien yhteydessä keskitytään seuraamaan sitä, miten kansallisten toimistojen järjestelmien ja menettelyiden yhteydessä noudatetaan Elinikäisen oppimisen ohjelmaan sovellettavia sääntöjä. Kansalliset viranomaiset ovat tulkinneet ylemmän tason tarkastusten merkitystä eri tavoin. Kuten tilintarkastustuomioistuin toi esille varainhoitovuoden 2008 vuosikertomuksessaan [22], komission ohjeet kansallisten viranomaisten vastuualueista olivat epäselviä tiettyjen menettelyiden osalta. Tilintarkastustuomioistuimen Leonardo-ohjelmaan kohdistama tarkastus vahvistaa tämän päätelmän, sillä ylemmän tason tarkastuksissa havaittiin puutteita. Komissio on sittemmin ryhtynyt korjaaviin toimiin antamalla viranomaisille lisäohjeita ylemmän tason tarkastuksiin kuuluvista menettelyistä. Päätelmät ja suositukset 59. Komissio otti Leonardo-ohjelman suunnittelussa huomioon omat pakolliset arviointinsa, mutta ei laatinut toimintasuunnitelmia muita tärkeitä tutkimuksia ja raportteja varten. Komissio perusti asianmukaisen hankkeen elinkaaren hallintajärjestelmän, mutta pääasiallinen tietotekniikkajärjestelmä (LLPLink) oli vuoden 2009 lopussa yhä keskeneräinen, mikä haittaa asianmukaista raportointia ja edellyttää vanhojen järjestelmien rinnakkaiskäyttöä. Elinikäisen oppimisen ohjelman vaikutusten arviointiin sovellettava yleinen raportointiväline ei ollut valmis vielä vuoden 2010 puolivälissä. 60. Ohjelman toiminnallisia osa-alueita – vuotuisen työohjelman laadintaa, julkisuutta, edistämistä ja tiedonjakelua – hallinnoitiin yleensä hyvin. Puutteita havaittiin kuitenkin joillakin aloilla; hakijoita ei esimerkiksi tuettu riittävästi heidän etsiessään isäntäorganisaatioita toisista maista, eikä kansallisten toimistojen avustushakemuksista tekemien arviointien laatua varmennettu riittävän hyvin. Suositus nro 1 a) Komission olisi annettava vuotuisen työohjelman analysoinnin jälkeen laadullista palautetta kansallisille viranomaisille. Palautteen pitäisi luoda tiivis kuva kansallisesta täytäntöönpanosta ja tuoda esille vahvuudet sekä heikkoudet. Tämä hyödyttäisi sekä komissiota että kansallisia viranomaisia. b) Komission olisi perehdyttävä mahdollisuuksiin asettaa käyttöön käyttäjäystävällinen ja tehokas yhteistyökumppaneiden hakuväline, joka toimisi joko kansallisella tai EU:n tasolla. c) Komission olisi tutkittava, olisiko kansallisten toimistojen helpotettava ulkomaalaisten osallistujien sijoittumista antamalla toisille kansallisille toimistoille tietoa omassa maassaan isäntinä ja välittäjinä toimivista organisaatioista. d) Hakemusten arviointia voitaisiin parantaa kehittämällä arvioijille tarkoitettua arviointikäsikirjaa siten, että jokaisen arviointilomakkeen kohdan osalta eriteltäisiin tarkasti arvioinnin tarkoitus ja tarkoituksen saavuttamiseen käytettävät menetelmät. e) Jotta komissio kykenisi varmistamaan, että sen sääntöjä tulkitaan yhdenmukaisesti, sen olisi tarkasteltava mahdollisuuksia suorittaa hakemusarviointien tarkistuksia osallistujamaihin tekemiensä laatua ja vaikutuksia koskevien seurantakäyntien yhteydessä. f) Komission olisi viimeisteltävä vaikutustenarviointia koskevaan raportointiin tarkoitettu LLPLink-sovellus viipymättä, jotta voitaisiin varmistaa, että kaikista osallistujamaista saadaan kerättyä kattavat ja yhdenmukaiset täytäntöönpanotiedot. 61. Komission ja jäsenvaltioiden valvontajärjestelmät olivat useimmissa tapauksissa riittäviä, mutta niiden raportointijärjestelmät eivät keskittyneet tarpeeksi ohjelman tuloksiin, ja vielä vähemmän sen vaikuttavuuteen ja vaikutukseen. Komissio oli alkanut perustaa kattavaa Leonardo-ohjelman vaikutusten arviointijärjestelmää, mutta ohjelman kolmanteen toteutusvuoteen mennessä sitä ei ollut kuitenkaan saatu vielä valmiiksi. Näin ollen komissio ei ole pystynyt mittaamaan Leonardo-ohjelman vaikutusta sen kolmen ensimmäisen toteutusvuoden osalta; tämä merkitsee lähes puolta ohjelman koko elinkaaresta. Suositus nro 2 a) Komission olisi parannettava laadun- ja vaikutustenseurantajärjestelmäänsä ja koordinoitava sitä vuotuisiin toimintakertomuksiin perustuvan raportoinnin kanssa; raportoinnista vastaavat nykyisin kansalliset toimistot. b) Komission olisi yhdenmukaistettava työohjelman ja vuotuisen toimintakertomuksen rakenne, jotta tuloksia voitaisiin arvioida suunniteltujen toimien perusteella. c) Komission olisi saatettava viipymättä päätökseen SMART-tavoitteiden ja tulosindikaattoreiden asettamiseen liittyvä työnsä. d) Komission olisi tulevaisuudessa varmistettava, että uusien ohjelmien yhteydessä perustetaan vaikutustenarviointijärjestelmä ohjelmien alusta alkaen. 62. Yleispäätelmä on, että Leonardo da Vinci -ohjelman liikkuvuustoimet on suunniteltu ja niitä hallinnoidaan siten, että niiden avulla on mahdollista saada vaikuttavia tuloksia. Komissio oli alkanut perustaa kattavaa Leonardo-ohjelman vaikutusten arviointijärjestelmää, mutta ei ollut kuitenkaan saanut sitä vielä valmiiksi. Näin ollen komissio ei voi vielä ohjelman kolmantena toteutusvuotena – liki puolivälissä – arvioida, miten tavoitteiden saavuttaminen edistyy. Tilintarkastustuomioistuimen jaosto IV on tilintarkastustuomioistuimen jäsenen Morten LEVYSOHNIN johdolla hyväksynyt tämän kertomuksen Luxemburgissa 29. kesäkuuta 2010 pitämässään kokouksessa. Tilintarkastustuomioistuimen puolesta +++++ TIFF +++++ Vítor Manuel da Silva Caldeira presidentti [1] Kööpenhaminan prosessin käynnistivät marraskuussa 2002 seuraavat osapuolet: koulutuksesta ja ammatillisesta koulutuksesta vastaavat Euroopan unionin alueen, Euroopan talousalueen (ETA) sekä Euroopan vapaakauppa-alueen (EFTA) ministerit, Euroopan työmarkkinaosapuolet ja Euroopan komissio. [2] Euroopan parlamentin ja neuvoston päätös N:o 1720/2006/EY, tehty 15 päivänä marraskuuta 2006, elinikäisen oppimisen toimintaohjelman perustamisesta (EUVL L 327, 24.11.2006, s. 45). [3] Päätös N:o 1720/2006/EY, 14 artikla ja liitteen kohta B.11. [4] Leonardo-ohjelmalla viitataan tässä kertomuksessa ohjelman nykyiseen vaiheeseen. [5] Päätös 1720/2006/EY, 6 artikla. [6] Päätös 1720/2006/EY, 15 artikla. [7] Komission päätös, tehty 26/IV 2007, jäsenvaltioiden, komission ja kansallisten toimistojen vastuualueista Elinikäisen oppimisen toimintaohjelman (2007–2013) täytäntöönpanossa. [8] Malta, Puola, Ranska, Romania, Saksa ja Yhdistynyt kuningaskunta. [9] Arviointien sisältöä, tarkoitusta, ajoitusta ja käyttöä koskevat perusvaatimukset on eritelty varainhoitoasetuksessa (27 artiklan 4 kohta, 28 ja 33 artikla, 56 artiklan 3 kohta ja 166 artikla) sekä sen soveltamissäännöissä (21 artikla). [10] Joint Report on the Final Evaluation of Socrates II, Leonardo da Vinci II and eLearning, 2008. [11] Study on the obstacles to transnational mobility facing apprentices and other young people in initial vocational training and on ways of overcoming them, johon viitataan myös MoVE-iT -tutkimuksena (2007). Impact Analysis of Leonardo da Vinci Mobility Measures on Young Trainees and Employees, and the Influence of Socio-economic Factors (2007). [12] 2008 Guide for National Agencies implementing the Lifelong Learning Programme (kohdat 28.1. ja 9.1.1.). [13] Päätös N:o 1720/2006/EY, 6 artiklan 3 kohdan d alakohta. [14] Neuvoston asetus (EY, Euratom) N:o 1605/2002, annettu 25 päivänä kesäkuuta 2002, Euroopan yhteisöjen yleiseen talousarvioon sovellettavasta varainhoitoasetuksesta (EYVL L 248, 16.9.2002, s. 1). [15] Kansallisen toimiston vuotuinen toimintakertomus, osa 1. [16] 2008 Guide for National Agencies implementing the Lifelong Learning Programme, kohta 3.1.1.3. [17] Neuvoston asetus (EY, Euratom) N:o 1605/2002, annettu 25 päivänä kesäkuuta 2002, Euroopan yhteisöjen yleiseen talousarvioon sovellettavasta varainhoitoasetuksesta, 27 artikla (EYVL L 248, 16.9.2002, s. 1). [18] Elinikäisen oppimisen ohjelmakomitea avustaa komissiota ohjelman täytäntöönpanossa. Komiteaan kuuluu jäsenvaltioiden edustajia, ja se antaa lausuntoja tai sitä kuullaan Elinikäisen oppimisen ohjelman täytäntöönpanotoimia koskevissa kysymyksissä. [19] Tilintarkastustuomioistuin on hiljattain raportoinut Elinikäisen oppimisen ohjelmaan sovellettavista valvontajärjestelmistä. Katso tilintarkastustuomioistuimen vuosikertomus varainhoitovuodelta 2008 (EUVL C 269, 10.11.2009, s. 181–185). [20] 2008 Guide for National Agencies implementing the Lifelong Learning Programme, kohta 3.8.1. [21] Komission päätös, tehty 26/IV 2007, 8 artikla. [22] Tilintarkastustuomioistuimen vuosikertomus varainhoitovuodelta 2008, yhdeksäs luku, kohdat 9.21 ja 9.33. -------------------------------------------------- LIITE Tavoitteet (elinikäisen oppimisen ohjelmaan sovellettava oikeusperusta) Euroopan parlamentin ja neuvoston päätös N:o 1720/2006/EY, tehty 15 päivänä marraskuuta 2006, elinikäisen oppimisen toimintaohjelman perustamisesta Elinikäisen oppimisen ohjelman yleiset tavoitteet edistää elinikäisen oppimisen avulla yhteisön kehittymistä edistyneenä osaamiseen perustuvana yhteiskuntana, jonka talouskehitys on kestävää, jossa luodaan uusia ja parempia työpaikkoja, jossa sosiaalinen yhteenkuuluvuus on entistä suurempi ja jossa samalla varmistetaan ympäristön asianmukainen suojelu tulevia sukupolvia varten tavoitteena on erityisesti tukea yhteisön koulutusjärjestelmien välistä vaihtoa, yhteistyötä ja liikkuvuutta siten, että järjestelmistä tulee laatunsa osalta maailmanlaajuisia esimerkkejä. Elinikäisen oppimisen ohjelman erityiset tavoitteet myötävaikuttaa laadukkaan elinikäisen oppimisen kehittämiseen ja edistää tämän alan järjestelmien ja toimintatapojen hyvää suorituskykyä, innovatiivisuutta ja eurooppalaista ulottuvuutta tukea elinikäisen oppimisen eurooppalaisen alueen toteuttamista auttaa parantamaan jäsenvaltioissa tarjottavien elinikäisen oppimisen mahdollisuuksien laatua, kiinnostavuutta ja saatavuutta lisätä elinikäisen oppimisen vaikutusta sosiaaliseen yhteenkuuluvuuteen, aktiiviseen kansalaisuuteen, kulttuurien väliseen vuoropuheluun, sukupuolten tasa-arvoon sekä itsensä kehittämiseen ja toteuttamiseen myötävaikuttaa luovuuden, kilpailukyvyn, työllistyvyyden ja yrittäjähengen lisääntymiseen myötävaikuttaa elinikäisen oppimisen mahdollisuuksien käytön lisääntymiseen kaikenikäisten ihmisten, myös erityistarpeita omaavien ja heikommassa asemassa olevien henkilöiden, parissa riippumatta heidän sosioekonomisesta taustastaan edistää kieltenoppimista ja kielellistä monimuotoisuutta tukea tieto- ja viestintätekniikkaan perustuvien, elinikäiseen oppimiseen sovellettavien innovatiivisten sisältöjen, palveluiden, opetusmenetelmien ja toimintatapojen kehittämistä kehittää elinikäisen oppimisen asemaa luotaessa ihmisoikeuksien ja demokratian ymmärtämiseen ja kunnioittamiseen perustuvaa tunnetta Euroopan kansalaisuudesta sekä kannustettaessa suvaitsevaisuuteen ja muiden kansojen ja kulttuurien kunnioittamiseen edistää laadunvarmistusta koskevaa yhteistyötä kaikilla koulutuksen aloilla Euroopassa tukea tulosten, innovatiivisten tuotteiden ja prosessien optimaalista käyttöä sekä vaihtaa hyviä toimintatapoja Elinikäisen oppimisen ohjelman kattamilla aloilla, jotta yleissivistävän ja ammatillisen koulutuksen laatua voitaisiin parantaa. Leonardo da Vinci -ohjelman erityiset tavoitteet tukea koulutus- ja jatkokoulutustoimiin osallistuvia sellaisten tietojen, taitojen ja pätevyyden hankkimisessa ja käyttämisessä, joilla edistetään henkilökohtaista kehittymistä, työllistyvyyttä ja osallistumista Euroopan laajuisille työmarkkinoille tukea ammatillisen koulutuksen järjestelmien, laitosten ja toimintatapojen laadun parantamista sekä innovointia lisätä ammatillisen koulutuksen ja liikkuvuuden houkuttelevuutta työnantajille ja yksittäisille henkilöille ja helpottaa työskentelevien harjoittelijoiden liikkuvuutta. Leonardo da Vinci -ohjelman toiminnalliset tavoitteet parantaa ammatilliseen perus- ja jatkokoulutukseen osallistuvien henkilöiden liikkuvuuden laatua ja lisätä sen määrää kaikkialla Euroopassa, jotta yrityksissä tapahtuvien harjoittelujen määrää voidaan lisätä vähintään 80000 harjoittelujaksoon vuodessa Elinikäisen oppimisen ohjelman päättymiseen mennessä parantaa koulutusmahdollisuuksia järjestävien laitosten tai järjestöjen, yritysten, työmarkkinaosapuolten ja muiden asiaankuuluvien tahojen välisen yhteistyön laatua ja lisätä sen määrää kaikkialla Euroopassa helpottaa muun kuin korkea-asteeseen kuuluvan ammatillisen koulutuksen innovatiivisten toimintatapojen kehittämistä ja niiden siirtoa, myös osallistujamaasta toiseen lisätä tutkintojen ja pätevyyksien selkeyttä ja tunnustamista, epävirallisen koulutuksen ja arkioppimisen yhteydessä hankitut taidot ja pätevyydet mukaan luettuina kannustaa vieraiden nykykielten opiskeluun tukea tieto- ja viestintätekniikkaan perustuvien, elinikäiseen oppimiseen sovellettavien innovatiivisten sisältöjen, palveluiden, opetusmenetelmien ja toimintatapojen kehittämistä. --------------------------------------------------