LT Europos Sąjungos oficialusis leidinys C 26/1

SPECIALIOJI ATASKAITA Nr. 9/2007

dėl ES mokslinių tyrimų ir technologinės plėtros bendrųjų programų vertinimo: ar Komisijos taikomas metodas galėtų būti pagerintas? su Komisijos atsakymais

(pagal EB sutarties 248 straipsnio 4 dalies antrą pastraipą)

(2008/C 26/01)

TURINYS

I–V SANTRAUKA

1–14 ĮVADAS

1–7 Europos Sąjungos vaidmuo remiant su moksliniais tyrimais ir technologine plėtra susijusią veiklą

8–14 Bendrųjų programų vertinimas ir stebėsena

15–18 AUDITO APIMTIS IR METODAS

19–109 AUDITO PASTABOS

19–37 Intervencinė logika, tikslų nustatymas ir veiklos rodikliai

38–49 Vertinimo strategija

50–68 Bendrųjų programų vertinimo organizavimas

69–97 Vertinimo metodikos ir būdai

98–109 Vertinimo metu nustatytų faktų sklaida ir panaudojimas

110–118 BENDROJI IŠVADA

I priedas. Viešosios intervencijos mokslinių tyrimų ir technologinės plėtros srityje poveikio ir rezultatų įvertinimas

II priedas. BP4–BP7 teisėkūros sprendimų nuostatos dėl stebėsenos ir vertinimo

III priedas. Pagrindiniai mokslinių tyrimų programų ex post vertinimo ES (BP4–BP6), JAV ir Kanadoje skirtumai

IV priedas. Galima BP7 vertinimo komisijos struktūra

Komisijos atsakymai

SANTRAUKA

I. Bendrijos mokslinių tyrimų ir technologinės plėtros bendrosios programos (BP) – tai didžiausias viešasis mokslinių tyrimų finansavimo šaltinis Europos Sąjungoje. Komisija yra atsakinga už bendrųjų programų valdymą ir jų rezultatų vertinimą.

II. Auditas apėmė nuo 1995 m. trims pastariesiems programavimo laikotarpiams (BP4, BP5 ir BP6) taikomas stebėsenos ir vertinimo priemones; taip pat buvo pateikta BP7 (2007–2013 m.) apžvalga. Auditas buvo atliktas dalyvaujant ELPA auditorių valdybos nariams ir padedant išorės ekspertams.

III. Audito metu buvo nagrinėjamas klausimas, ar Komisijos metodas, kuriuo ji vadovavosi vertindama bendrųjų programų rezultatus, buvo adekvatus. Šiame kontekste Audito Rūmai tikrino, ar Komisija įvykdė vertinimui skirtus teisinius reikalavimus ir nustatė, ar jos vertinimo ir stebėsenos sistema atitiko suinteresuotųjų šalių lūkesčius. Visų pirma, Audito Rūmai domėjosi, ar i) bendrosios programos bei jų sudėtinės programos buvo paremtos intervencijos logika, suteikiančia patikimą vertinimo ir stebėsenos pagrindą; ii) Komisija buvo nustačiusi bendrųjų programų vertinimo strategiją; iii) Komisijos vykdomo bendrųjų programų vertinimo sistemos organizacinė struktūra užtikrino, kad vertinimas būtų tinkamai koordinuojamas, jam būtų skirti atitinkami ištekliai, o suinteresuotosios šalys jį laikytų pakankamai nepriklausomu; iv) vertinimui naudotos metodikos buvo patenkinamos; v) su vertinimu ir stebėsena susijusios veiklos metu buvo surinkta informacija ir parengta analizė, kuria būtų galima pasinaudoti tobulinant vykdomas programas ir rengiant bendrąsias programas ateityje.

IV. Audito Rūmų audito metu buvo nustatyti šie faktai ir išvados: i) dėl aiškios intervencijos logikos nebuvimo ir netiksliai apibrėžtų programos tikslų, taip pat dėl prasto veiklos rezultatų įvertinimo stebėsena ir vertinimas nebuvo veiksmingi; ii) dėl to, kad nebuvo integruotos vertinimo strategijos, dėl kurios būtų susitarę bendrąsias programas įgyvendinantys mokslinių tyrimų generaliniai direktoratai, skirtingos Komisijos tarnybos taikė nenuoseklius metodus. Tai patvirtina, pavyzdžiui, faktas, kad buvo nepakankamai įvertintos svarbios bendrųjų programų dalys; iii) bendrųjų programų vertinimas buvo decentralizuotas, generalinių direktoratų, įgyvendinančių bendrąsias programas, taikomi veiklos koordinavimo mechanizmai buvo neveiksmingi, o Komisijos centrinėms tarnyboms nebuvo suteiktas įgyvendinimo priežiūros vaidmuo. Tačiau apskritai mokslinių tyrimų generaliniai direktoratai atitiko formalius Komisijos nustatytus vertinimo reikalavimus. Vertinimo komisijų, sudarytų iš aukštos kvalifikacijos Komisijos paskirtų išorės ekspertų svarbiems vertinimams atlikti, pasitelkimas visiškai atitiko Bendrijos ypatumus. Tačiau šios laikinosios komisijos iš pat pradžių nebuvo įsitraukusios į šį procesą, kad galėtų daryti įtaką įrodymų rinkimui, be to, jų galimybės imtis tolesnių priemonių laikui bėgant nagrinėjant svarbius klausimus buvo ribotos. Naudojantis tik visai bendrajai programai vertinti skirtos komisijos paslaugomis (be komisijos, kuri buvo įsteigta vienai specialiajai programai), buvo skiriamas nepakankamas dėmesys konkretiems su įvairiomis bendrųjų programų mokslinėmis sritimis susijusiems klausimams; iv) buvo pateiktos netinkamos metodinės gairės; vertintojai susidūrė su sunkumais renkant svarbius duomenis; nebuvo atlikti vertinimo tyrimai, kuriuose būtų nagrinėjamos ilgalaikės bendrųjų programų išdavos ir poveikiai, o ne trumpalaikiai programų įgyvendinimo klausimai; v) dėl pirmiau išvardytų priežasčių ir dėl vertinimų, kurie dažnai buvo atliekami per anksti, kad būtų galima nagrinėti svarbiausius klausimus, Komisijos bendrųjų programų vertinimo sistema menkai tepasitarnavo politikos formuotojams, suinteresuotiesiems asmenims ar net pačiai Komisijai. Tokiu būdu yra mažai žinoma apie programos tikslų pasiekimą ir bendrųjų programų rezultatus.

V. Audito Rūmai rekomenduoja: i) ateityje rengiamuose teisės aktuose aiškiai įvardyti intervencijos logiką. Turėtų būti paaiškintos pagrindinės prielaidos bei sąsaja tarp mokslinių ir socialinių bei ekonominių tikslų bei parengti atitinkami veiklos rodikliai; ii) bendrąsias programas įgyvendinantys generaliniai direktoratai turėtų parengti integruotą vertinimo strategiją (ir dėl jos susitarti). Visų pirma turėtų būti vadovaujamasi nuosekliu metodu nustatant minimalų išsamaus vertinimo lygį siekiant atsižvelgti į kiekvienos mokslinės srities specifiką; iii) turėtų būti apsvarstyta galimybė įsteigti jungtinę vertinimo tarnybą, skirtą mokslinių tyrimų generalinių direktoratų vykdomai visos bendrosios programos vertinimo veiklai koordinuoti, ir sukurti vertinimo komisijų (ir pakomisių), kurias sudarytų išorės ekspertai, sistemą. Šios komisijos turėtų būti įsteigtos pakankamai anksti, kad Komisijai galėtų teikti veiksmingą pagalbą. Ši pagalba turi būti teikiama viso programavimo laikotarpio metu ir jam pasibaigus; iv) turėtų būti tinkamai išanalizuoti vertinimui ir stebėsenai skirti duomenų reikalavimai bei plačiau naudojamasi kitais esamais duomenų šaltiniais. Komisija taip pat turėtų racionalizuoti dalyviams skirtus ataskaitų teikimo reikalavimus. Galiausiai, ji turėtų parengti išsamų bendrųjų programų vertinimo vadovą ir sukurti įvairesnes vertinimo metodikas bei būdus, kurie būtų naudojami atliekant vertinimus šioje srityje; v) Komisija turėtų nustatyti vertinimo, kuris būtų tinkamas atsižvelgiant į BP7 teisės aktuose nustatytus terminus, rūšį ir apimtį bei nurodyti, kaip šie vertinimai gali būti panaudojami pritaikant programas („mokymosi programas“) ir kaip jie gali prisidėti priimant politinius sprendimus.

ĮVADAS

Europos Sąjungos vaidmuo remiant su moksliniais tyrimais ir technologine plėtra susijusią veiklą

1. Moksliniai tyrimai ir technologinė plėtra (1) – tai pagrindinis mokslo ir technologijų pažangos bei naujovių variklis. Jie – svarbus indėlis gerinant gyvenimo lygį. Viešosios intervencijos vykdymas mokslinių tyrimų ir technologinės plėtros srityje paprastai yra pagrįstas tuo, kad tai – koreguojamasis vadinamųjų nesėkmių rinkoje veiksnys, kai valstybė teikia paramą mažinant netikrumą, investuojant tose srityse, kuriose moksliniai tyrimai prisideda prie visuomenės gerovės arba tose srityse, kuriose išorės veiksniai turi didelį poveikį.

2. EB sutarties 163 straipsnyje įtvirtintas Bendrijų vaidmuo remiant mokslinius tyrimus ir technologinę plėtrą. Jame nustatyta, kad „Bendrijos tikslas – stiprinti Bendrijos pramonės mokslinį bei technologinį pagrindą ir skatinti pramonę tapti konkurencingesnę tarptautiniu mastu, kartu remiant visus reikalingus mokslinius tyrimus …“. 164–173 straipsniuose nustatoma šiuo atžvilgiu vykdytina veikla ir apibrėžiami daugiamečių mokslinių tyrimų ir technologinės plėtros bendrųjų programų apimtis ir įgyvendinimas. Komisija yra atsakinga už pasiūlymų dėl bendrųjų programų teikimą, o Europos Parlamentas ir Taryba bendru sprendimu priima su bendrosiomis programomis susijusius sprendimus bei tvirtina dalyvavimo ir mokslinių tyrimų rezultatų sklaidos taisykles. Specialiąsias programas tvirtina viena Taryba. Bendrąsias programas bendrai įgyvendina šeši generaliniai direktoratai, vadinamieji „mokslinių tyrimų generaliniai direktoratai“ (2).

3. Įvairių Europos Sąjungoje vykdomų politikos krypčių kontekste siekiant skatinti naujoves ir stiprinti konkurencingumą, bendrosios programos yra svarbiausias finansinis instrumentas, Bendrijos lygmeniu prisidedantis prie Lisabonos strategijos (3) ir Barselonos tikslo (4).

4. Vykdydama bendrąsias programas Bendrija suteikia finansavimą tyrėjams, dirbantiems ES, asocijuotose šalyse ir tarptautinėse organizacijose. Jų biudžetams skiriamų lėšų dydis per pastaruosius metus ženkliai išaugo – per metus BP7 skiriama 7 217 milijonų eurų, o BP4 buvo skiriama 2 761 milijonas eurų (žr. 1 diagramą). Kiek tai susiję su biudžetiniais asignavimais, bendrosios programos sudaro didžiausią Komisijos tiesioginio centralizuoto valdymo sritį (5).

5. Bendrosios programos skiriasi nuo daugelio nacionalinių programų tuo, kad jos apima ir pagrindinius, ir taikomuosius mokslinius tyrimus, dalyvaujant pramonės sektoriaus atstovams ir viešosioms mokslinių tyrimų organizacijoms (6). Jas sudaro specialiosios programos (ir paprogramės), susijusios su plačiomis mokslinėmis sritimis. Paprastai šios programos aprėpia keletą sričių, kuriose dėmesys sutelkiamas į konkretesnes mokslines sritis. Tuomet šios sritys yra įgyvendinamos vykdant projektus („netiesioginiai veiksmai“) paskelbus kvietimus teikti paraiškas. Tokiu būdu kiekvienoje srityje finansuojami šimtai atskirų projektų.

6. Bendra bendrosioms programoms tenkanti viso viešojo finansavimo, skirto moksliniams tyrimams ir technologinei plėtrai Europos Sąjungoje ir jos valstybėse narėse, dalis sudaro 4 %–5 %. Vis dėlto jos poveikis Europoje vykdomos mokslinių tyrimų veiklos pobūdžiui yra žymiai didesnis. Taip yra todėl, kad Bendrijos dotacijos paprastai sudaro tik dalį viso projektui skirto finansavimo. Be to, teikdami prašymą dėl finansavimo, tyrėjai turi įrodyti, kad jų projektai atitinka kvietimuose teikti paraiškas nurodytus tikslus. Tokiu būdu bendrosiomis programomis skatinama taip orientuoti mokslinių tyrimų ir technologinės plėtros veiklą, kad ši atitiktų konkrečius ES tikslus.

7. Pastaraisiais metais buvo atlikti ženklūs bendrųjų programų pakeitimai atsižvelgiant į: — naujus politinius iššūkius (Lisabonos strategiją ir Barselonos tikslus, Europos mokslinių tyrimų erdvės sukūrimą ir vis plačiau naudojamą atvirą koordinavimo metodą (7) mokslinių tyrimų ir naujovių politikos srityje), — pakeistą bendrųjų programų veiklos kryptį, pereinant nuo paprasčiausių techninių problemų sprendimo pagal BP4 ir konkrečių socialinių problemų nagrinėjimo pagal BP5, prie mokslinių tyrimų organizacijų bendradarbiavimo Europos mokslinių tyrimų erdvėje skatinimo ir prisidėjimo kuriant žinių ekonomiką ir visuomenę pagal BP6 ir BP7, — nustatytus ilgesnius programavimo laikotarpius (anksčiau jie būdavo nustatomi ketveriems metams, dabar – septyneriems metams (BP7) pagal 2007–2013 m. finansinę perspektyvą), — didesnį dalyvaujančių valstybių narių ir susijusių šalių skaičių, — padidintą finansavimą, visų pirma pagal dabartinę finansinę perspektyvą, — Europos mokslinių tyrimų tarybos įsteigimą ir nuo BP7 vykdymo pradžios programos valdymo įgaliojimų perdavimą vykdomosioms įstaigoms, — vis platesnį naudojimąsi didelio masto finansavimo instrumentais (pvz., kompetencijos tinklais, integruotais projektais, 169 straipsnyje nurodytais projektais, bendromis technologijų iniciatyvomis).

Bendrųjų programų vertinimas ir stebėsena

8. Komisija yra atsakinga už programų įgyvendinimą ir programų rezultatų vertinimą (8). Komisijoje vertinimas atliekamas decentralizuotai, jį patikint generaliniams direktoratams. Centrinės tarnybos (visų pirma Biudžeto generalinis direktoratas ir Generalinis sekretoriatas) teikia paramą ir vykdo koordinavimo veiklą.

9. Šioje ataskaitoje naudojamos Komisijos nustatytos apibrėžtys. Vertinimas – tai „intervencijos priemonių analizė, atliekama pagal jų rezultatus, poveikį ir reikmes, kurias yra siekiama patenkinti“ (9), o stebėsena – tai informacijos apie įgyvendinamas programas ir projektus suteikimas siekiant patenkinti valdymo reikmes (10). Taip šios dvi veiklos rūšys yra atskiriamos ir šiuo metu taikomuose BP7 teisės aktuose.

10. Tolesniame tekste naudojama ši terminologija mokslinių tyrimų ir technologinės plėtros rezultatams apibūdinti: — išdirbiai – tai tiesiogiai sukuriamos žinios, pagaminamos prekės ir suteikiamos paslaugos (leidiniai, konferencijų dokumentai, patentai, licencijos, prototipai, standartai, apmokyti mokslininkai ir pan.) atlikus viešąją intervenciją, — išdavos – tai vartotojų naudojimosi išdirbiais ilgalaikiai rezultatai, — poveikiai – tai ilgalaikiai viešosios intervencijos sąlygoti socialiniai ir ekonominiai bei politiniai pokyčiai. 1 langelisGlobaliosios judriųjų ryšių sistemos (GSM) pavyzdysŠiame pavyzdyje Bendrijai finansuojant gauti išdirbiai – tai tiesioginiai projekto rezultatai, kaip antai GSM standarto sukūrimas. Išdava – tai šio standarto kaip skaitmeninės korinės telefonijos standarto patvirtinimas visoje Europoje ir už jos ribų, o tai ženkliai prisidėjo prie telekomunikacijų pramonės vystymo. Galiausiai, poveikiai – tai naudojimosi šia technologija tarptautiniu mastu ekonominiai, socialiniai ir politiniai padariniai. Taip pat buvo prisidėta prie darbo vietų kūrimo telekomunikacijų ir susijusiose pramonės šakose bei šio pramonės sektoriaus svarbos Europos ekonomikai didinimo. Be kita ko, GSM sistema suteikė naują būdą žmonėms bendrauti vieniems su kitais.

11. Tačiau vertinant šiuos rezultatus susiduriama su nemažai metodinių problemų (žr. I priedą). Socialiniai ir ekonominiai pokyčiai yra sudėtingi, o konkrečiai – dažnai sunku atsekti, koks yra santykis tarp mokslinių tyrimų veiklos ir pastebėtų išdavų bei poveikių. Nors įveikti šiuos metodinius sunkumus yra gana sunki užduotis, jie nebūtinai būna kliūtis atlikti veiksmingą įvertinimą.

12. Nuo devintojo dešimtmečio Komisija turėjo įdiegusi sistemą bendrosioms programoms stebėti ir vertinti (11). Pradėjus vykdyti BP4 programą dešimtojo dešimtmečio viduryje, stebėsenos ir vertinimo sistemą sudarė tam tikras skaičius iš dalies susijusių veiklos sričių, tarp jų: — metinė (daugiausia programos įgyvendinimo) stebėsena, — BP veiklos penkerių metų laikotarpio įvertinimai (ir, pradėjus vykdyti BP6 programą, – papildomi konkrečių klausimų vertinimai). Šios abi veiklos sritys turėjo būti vykdomos padedant išorės ekspertams (žr. 2 diagramą ir II priedą). 2 diagrama BP4–BP7 – Pagrindiniai stebėsenos ir vertinimo reikalavimai BP4 (1995–1998 m.) BP5 (1999–2002 m.) BP6 (2003–2006 m.) BP7 (2007–2013 m.) du vertinimai (vidutinio laikotarpio ir galutinis), kiekvienu atveju buvo vertinamos 20 paprogramių ir bendroji programa; galutinis įvertinimas beveik sutapo su BP5 vidutinio laikotarpio vertinimu du tuo pačiu metu atlikti (vidutinio laikotarpio) vertinimai, kiekvienu atveju buvo vertinamos 7 specialiosios programos ir bendroji programa vienas (vidutinio laikotarpio) vertinimas, apimantis bendrąją programą ir jos 3 specialiąsias programas, bet ne konkrečiai visas 20 paprogramių. Šį vertinimą papildė specialios vertinimo ir reguliarios pažangos (t. y. stebėsenos) ataskaitos bent penki vertinimai (ex ante, vidutinio laikotarpio ir galutinis), įskaitant specialią pažangos ataskaitą prieš atliekant tarpinį vertinimą 1. Ex ante: ne 1. Ex ante: ne 1. Ex ante: ne 1. Ex ante: įtraukta į Komisijos pasiūlymo dėl BP7 poveikio įvertinimą (2005 m.) 2. Vidutinio laikotarpio: — 5 metų laikotarpio įvertinimas: įpusėjus bendrajai programai, prieš prasidedant kitai bendrajai programai (1997 m.) 2. Vidutinio laikotarpio: — 5 metų laikotarpio įvertinimas: prieš pateikiant pasiūlymą dėl kitos bendrosios programos (2000 m.) — pažangos įvertinimas įpusėjus bendrajai programai (2001 m.) 2. Vidutinio laikotarpio: — instrumentų veiksmingumo vertinimas (2004 m.) — 5 metų laikotarpio įvertinimas, prieš pateikiant pasiūlymą dėl kitos bendrosios programos (2004 m.) — reguliarios pažangos (t. y. stebėsenos) ataskaitos 2. Vidutinio laikotarpio: — ex post, praėjus 2 metams po ankstesnės bendrosios programos pabaigos (2008 m.) — pažangos ataskaita prieš atliekant tarpinį įvertinimą (prieš 2010 m.) — tarpinis įvertinimas (2010 m.) 3. Galutinis: — pasibaigus bendrajai programai (1999 m.) 3. Galutinis: ne 3. Galutinis: ne (pakeista BP7 sprendimu) 3. Galutinis: praėjus dvejiems metams po bendrosios programos pabaigos (2015 m.), jį papildant konkrečiais tyrimais, tarpiniu vertinimu ir kita viso bendrosios programos laikotarpio metu vykdyta vertinimo veikla Šaltinis: žr. II priedą.

13. Iki šios dienos buvo atlikti trys penkerių metų laikotarpio įvertinimai (12), kuriuos atlikus buvo parengtos Davignon, Majó ir Ormala ataskaitos (atitinkamai 1997 m., 2000 m. ir 2004 m.). Be to, Informacinės visuomenės generalinis direktoratas atliko tikslinius savo specialiajai programai skirtus įvertinimus. Pažymėtina, kad pagal BP7 reglamentuojančius teisės aktus nebereikėjo atlikti penkerių metų laikotarpio įvertinimų, tokiu būdu buvo panaikintas apribojimas sutelkti daugumą pagrindinių įvertinimų ties praėjusių penkerių metų laikotarpiu, todėl į šį procesą buvo įtrauktos dviejų vienas po kito einančių programavimo laikotarpių dalys. 2004 m. taip pat buvo paskelbta Marimón ataskaita (13) – specialus BP6 laikotarpiu sukurtų naujų instrumentų veiksmingumo įvertinimas.

14. Komisijos vertinimo veiklos sistema buvo peržiūrėta 2000 m. ir 2002 m (14). 2007 m. šie komunikatai buvo atnaujinti atsižvelgiant į Komisijos administracinės reformos pasekmes ir naująjį Finansinį reglamentą (15). Šiuose dokumentuose apibūdinti vertinimo vaidmuo ir funkcija Komisijos bendro planavimo, programavimo ir ataskaitų teikimo ciklo kontekste bei įvardytas 21 vertinimo standarto ir 18 gerosios praktikos modelių sąrašas. Be to, šiuose dokumentuose aptariamas vertinimo naudojimas rengiant ir supaprastinant ES teisės aktus.

AUDITO APIMTIS IR METODAS

15. Pagrindinis audito tikslas buvo įvertinti, ar Komisija taikė tinkamą metodą vertindama mokslinių tyrimų ir technologinės plėtros bendrųjų programų rezultatus.

16. Šiuo tikslu Audito Rūmai įvertino, kokiu mastu: — bendrosios programos bei jų sudėtinės programos yra pagrįstos aiškia intervencijos logika, kuria vadovaujantis galima įvertinti išdirbius, išdavas ir poveikius, tokiu būdu suteikiant patikimą vertinimo ir stebėsenos pagrindą, — yra nustatyta bendrųjų programų vertinimo strategija, skatinanti veiksmingą ir nuoseklų vertinimą, — vertinimo sistemos organizacinė struktūra užtikrina, kad ji būtų tinkamai koordinuojama vertinant bendrąsias programas, jai būtų skirti atitinkami ištekliai, o suinteresuotosios šalys ją laikytų pakankamai nepriklausoma, — vertinimui naudotos metodikos užtikrina, kad susiję klausimai būtų tinkamai nagrinėjami, kad vertinimas būtų laikomas patikimu, — su vertinimu ir stebėsena susijusios veiklos metu buvo renkama informacija ir rengiama analizė, kuria būtų galima pasinaudoti tobulinant vykdomas (mokymosi) programas ir rengiant bendrąsias programas ateityje.

17. Šioje ataskaitoje nagrinėjami atitinkami BP4 (1995–1998 m.), BP5 (1999–2002 m.) ir BP6 (2003–2006 m.) skirti susitarimai. Joje taip pat aptariami šiuo metu pagal BP7 (2007–2013 m.) galiojantys teisiniai reikalavimai, tačiau nepateikiama Komisijos BP7 „Poveikio ir ex ante įvertinimų“ analizė (16). Joje didžiausias dėmesys skiriamas programų stebėsenai ir ex post vertinimui, o ne projektų pasiūlymų ex ante vertinimui ar pačių projektų ex post vertinimui.

18. Auditas buvo atliktas dalyvaujant ELPA auditorių valdybos nariams ir padedant išorės ekspertams. Audito įrodymai buvo surinkti: — atlikus su auditu susijusį darbą Komisijoje (vykdant dokumentų peržiūrą ir organizuojant interviu su darbuotojais), įskaitant teisinių ir įstatymų nustatytų reikalavimų identifikavimą, tikslų ir veiklos kriterijų peržiūrą, daugiau kaip 80 stebėsenos ir vertinimo ataskaitų analizę bei vertinimo veiklos Komisijoje organizavimo analizę, — suorganizavus interviu su daugiau kaip 90 ekspertų, pripažintų suinteresuotosiomis šalimis valstybėse narėse ir asocijuotose šalyse (Čekijos Respublikoje, Vokietijoje, Estijoje, Ispanijoje, Prancūzijoje, Italijoje, Liuksemburge, Nyderlanduose, Austrijoje, Suomijoje, Švedijoje, Jungtinėje Karalystėje ir Norvegijoje), — atlikus tyrimus kartu su Europos Parlamento ITRE komiteto (17) ir Tarybos CREST komiteto (18) veikloje dalyvaujančiomis suinteresuotosiomis šalimis, — surengus konsultacijas su daugiau kaip 65 ekspertais, kaip tarptautine palyginamąja grupe, mokslinių tyrimų vertinimo srityje JAV ir Kanadoje, — peržiūrėjus akademinę literatūrą apie naujausias tendencijas mokslinių tyrimų vertinimo srityje, — su mokslinių tyrimų vertinimo ekspertais iš Europos ir Šiaurės Amerikos aptarus audito metu nustatytus faktus, išvadas ir rekomendacijas 2007 m. vasario mėn. supaprastintomis aplinkybėmis surengus keletą tikslinių grupių susitikimų.

AUDITO PASTABOS

Intervencinė logika, tikslų nustatymas ir veiklos rodikliai

19. Siekiant atlikti veiksmingą įvertinimą ir stebėseną, būtina, kad politikos, programos ir projekto lygmenimis būtų nustatyti aiškūs tikslai ir tinkami veiklos rodikliai, kuriais remiantis būtų galima vertinti viešosios intervencijos rezultatus. Geroji praktika kitose biudžeto ir ne tik srityse reiškia, kad jie turėtų būti nustatomi pasitelkiant intervencijos logiką.

20. Intervencijos logika gali būti apibrėžta kaip hipotetinių priežasčių ir pasekmių sąsajų, apibūdinančių tikimybę, kaip pasitelkus intervenciją, bus pasiekti jos bendrieji tikslai, visuma (19). Komisijos vertinimo gairėse teigiama, kad intervencijos logika sukuria „konceptualią sąsają tarp intervencijos indėlių ir gaunamų išdirbių, taigi ir jos poveikių visuomenei rezultatų ir išdavų prasme“ (20). Ši apibrėžtis naudojama visoje ataskaitoje.

21. Audito Rūmai įvertino, kokiu mastu bendrosios programos bei jų sudėtinės programos buvo paremtos intervencijos logika, tokiu būdu suteikiant patikimą vertinimo ir stebėsenos pagrindą.

Bendrųjų programų intervencijos logika nebuvo aiški

22. Intervencijos logikos apibrėžimas turėtų būti pagrindinis programos kūrimo elementas pačioje proceso pradžioje. Sutarties 163 straipsnis, kuriame išdėstyta, kad reikia stiprinti mokslinį bei technologinį pagrindą ir skatinti šias sritis tapti konkurencingesnėmis, turėtų būti tokios intervencijos logikos, skirtos bendrosioms programoms, pradinis taškas (žr. 2 dalį). Šis aspektas turėtų būti sukonkretintas ir pritaikytas skirtingoms mokslinėms sritims, kurias apima bendrosios programos, ir skirtingiems naudojamiems instrumentams.

23. Tačiau visais lygiais trūksta aiškaus loginio modelio, kuris padėtų suprasti, kaip bendrosios programos ir jų sudėtinės programos prisideda prie mokslinės ir technologinės pažangos bei naujovių.

24. Tai, kad nėra parengta bendrosioms programoms skirta intervencijos logika, taip pat pabrėžė 2004 m. penkerių metų laikotarpio vertinimo komisija, kuri pareiškė, jog „… tokios vertinimo komisijos kaip mūsų prašoma panaikinti atotrūkį tarp, viena vertus, įrodymų, iš esmės surinktų projektų lygmenyje, ir kita vertus – aukštesnio lygio socialinių ir ekonominių mokslinių tyrimų politikos tikslų. Tačiau šiuo metu sudėtinga nustatyti sąsają dėl būdo, kaip yra planuojama bendroji programa. Trūksta aiškios logikos mechanizmo, sujungiančio aukščiausius tikslus su konkrečiais mokslinių tyrimų ir žinių tikslais“ (21).

25. Kitoks metodas yra taikomas kai kuriose valstybėse narėse (pvz., Nyderlanduose, Suomijoje) ir JAV (žr. 3 diagramą), kur intervencijos logikos apibrėžimo praktika yra daug labiau paplitusi, bei Kanadoje – ten tokią praktiką privaloma taikyti visoms programoms (žr. III priedą). Iš tiesų tose šalyse naudojant intervencijos logiką programų kūrimo metu programos tampa tikslingesnės ir geriau struktūrizuotos. Šią praktiką Komisija taip pat pradėjo diegti kitose Bendrijos politikos (pvz., išorės pagalbos) srityse (22). 3 diagrama Tikslų, grindžiamų loginiais modeliais, eiliškumo pagal svarbą apibrėžtis – JAV mokslinių tyrimų žemės ūkio srityje pavyzdys Politika Programa Projektas Politikos uždavinys: prisidėti prie pagerėjusio ūkininkaujančių šeimų pragyvenimo lygio Tikslas: padidėjusi žemės ūkio produkcija, našumas ir ūkininkaujančių šeimų pajamos Programos uždavinys: prisidėti prie žemės ūkio produkcijos, našumo ir ūkininkaujančių šeimų pajamų didinimo Laukiamas rezultatas: tiksliniai ūkininkai daugiau naudosis pagerintomis žemės ūkio technologijomis Tikslas: ūkininkai daugiau naudosis pagerintomis žemės ūkio technologijomis (pvz., ryžių) Projekto uždavinys: prisidėti prie didesnio rekomenduojamų pagerintų technologijų naudojimo Laukiamas rezultatas: tiksliniams ūkininkams teikiamos (platinamos) rekomendacijos Tikslas: dėl pagerintų technologijų suteiktos rekomendacijos yra tinkamos tiksliniams ūkininkams Laukiami rezultatai (pvz.): 1. Nustatytos technologijos grindžiamos ūkininkų prioritetais; 2. Sukurtos ir pritaikytos technologijos; 3. Ūkininkų laukuose patikrintos technologijos. Šaltinis: JAV nacionalinė žemės ūkio mokslinių tyrimų taryba.

26. Nesusisteminus viešosios intervencijos loginio pagrindimo ir numanomų priežastinių ryšių (pagal kuriuos programa yra išsamiai suplanuojama, įvykdoma ir įvertinama), bendrųjų programų vertinimas ir stebėsena tampa nebe tokie veiksmingi. Tai visų pirma susiję su tuo, kaip nustatomi programos tikslai ir veiklos rodikliai.

Be aiškaus loginio modelio sunkiau nustatyti nuoseklius programos tikslus

27. Aiškiai nepagrindus viešosios intervencijos loginės esmės tampa sunkiau nuosekliai nustatyti programos tikslus bei juos susisteminti. Tai rodo, kad: — nėra aišku, kaip bendrųjų programų programiniai tikslai yra susiję su politikos tikslais, kaip antai su Sutarties 163 straipsnyje pateiktu bendruoju tikslu ir Lisabonos strategijoje bei Barselonos deklaracijoje išdėstytais tikslais (žr. 2 ir 7 dalis), — ne visuomet santykis tarp atskirų programos tikslų, tiek įvairiais teisės aktų (pvz., sprendimo dėl bendrosios programos, sprendimo dėl specialiosios programos ir dalyvavimo bei sklaidos taisyklių) lygmenimis, tiek pagrindiniuose teisės aktuose ir Komisijos darbo programose, yra akivaizdus.

28. Komisija, remdamasi bendrųjų programų teisės aktuose nustatytais programos tikslais, mėgino darbo programose išdėstyti veiklos tikslus. Tačiau beveik visais atvejais šiomis iniciatyvomis nepasisekė paaiškinti logikos, kuria programos yra grindžiamos, o darbo programose nurodyti tikslai nebuvo konkretūs, išmatuojami, pasiekiami, svarbūs ir su laiko nuoroda (SMART). 2003 m. pagal Finansinį reglamentą tai tapo teisiniu reikalavimu (23).

29. Neaišku, kokiu mastu galima atsekti politikos tikslus individualiuose Bendrijos bendrai finansuojamuose projektuose, nagrinėjant specialiąsias programas, darbo programas ir kvietimus teikti paraiškas. Šių sąryšių nepaaiškinus, negalima įvertinti bendrųjų programų ir jų sudėtinių programų indėlio siekiant šių politikos tikslų. Audito metu buvo nustatyta, kad Komisija savo vertinimuose pateikė mažai svarių ilgalaikių tikslų pasiekimo įrodymų tiek projekto, tiek programos lygmeniu, arba apskritai jų nepateikė (žr. 82 dalį).

Aiškios intervencijos logikos ir aiškių tikslų nebuvimas apsunkina veiklos rodiklių parengimą

30. Tai, kad nėra parengtas aiškus loginis modelis ir nėra aiškiai išdėstytų programos tikslų, taip pat apsunkino veiklos rodiklių, skirtų programos tikslų pasiekimui stebėti, rengimą išdirbių, išdavų ir poveikių prasme. Tokie veiksmingumui įvertinti skirti su bendrosiomis programomis susiję rodikliai iki šiol apskritai nėra apibrėžti (žr. 73 dalį).

31. Esant tokiai situacijai, taip pat yra sunkiau tikrinti vis dar vykdomus, pagal šias programas finansuojamus projektus ir atlikti jau užbaigtų projektų ex post įvertinimą. Tai taipogi apsunkina vertinimų nuo projekto lygmens iki programos lygmens apibendrinimą (žr. I priedą ir 84 dalį).

Šiuo metu vykdomas biudžeto sudarymas pagal veiklos sritis (veikla pagrįstas valdymas) – netinkama bendrųjų programų veiklos vertinimo priemonė

32. Kai kurie rodikliai, pagal kuriuos įvertinamas programos įgyvendinimo veiksmingumas (pvz., sutarties sudarymo, mokėjimų atlikimo laiko aspektais) yra pateikti Komisijos metinėse priežiūros ataskaitose ir Komisijos veikla pagrįsto valdymo sistemos kontekste.

33. Tačiau iki šiol mokslinių tyrimų generaliniai direktoratai, net įgyvendindami tą pačią specialiąją programą (ar paprogramę), netaikė standartizuotos ar palyginamos biudžeto sudarymo pagal veiklos sritis nomenklatūros ir atitinkamų rodiklių. Todėl šie rodikliai negali būti naudojami lyginant įvairių programų ir konkrečios programos veiklos rezultatus. 2 langelisMokslinių tyrimų generalinių direktoratų vykdomas biudžeto sudarymas pagal veiklos sritis (veikla pagrįstas valdymas)Taikant biudžeto sudarymo pagal veiklos sritis (veikla pagrįsto valdymo) sistemą, bendrosios programos apima dvi skirtingas politikos sritis, kuriose bendrųjų programų veikla pateikiama pagal skirtingą įvairiems generaliniams direktoratams būdingą nomenklatūrą (24). Tai taikoma net toms specialiosioms programoms ar paprogramėms, kurias įgyvendina keli generaliniai direktoratai. Veikla pagrįsto valdymo tikslai buvo apibrėžti remiantis skirtingais pagrindiniais principais (25) ir, kaip nurodė Komisijos vidaus audito tarnyba (26), buvo iš esmės suformuluoti abstrakčiai, apibūdinant siekius ar veiklą. Rodikliai buvo daugiausia orientuoti į indėlius (pvz., susitikimų skaičius ir pan.). Kai kurie iš jų buvo susiję su proceso efektyvumu (pvz., sutarties sudarymo, mokėjimų atlikimo laiko aspektais), tačiau nebuvo palyginami nagrinėjant skirtingas programas ir skirtingų generalinių direktoratų veiklą dėl biudžeto sudarymo pagal veiklos sritis nomenklatūros skirtumų, generaliniams direktoratams būdingų konkrečių prielaidų (kaip antai konkrečių administracinių procesų pradžia ir pabaiga) ir jų apskaičiavimui naudotos pagrindinių duomenų (pvz., dotacijos susitarimo rūšis, mokėjimo rūšis) visumos.

Rekomendacijos

34. Ateityje Tarybai ir Europos Parlamentui teikdama teisės aktų projektus Komisija turėtų išdėstyti aiškią visai bendrajai programai bei jos sudėtinėms dalims skirtą intervencijos logiką. 35. BP7 atveju Komisija turėtų — aiškiai apibūdinti bendrosios programos ir jos specialiųjų sudėtinių programų (ir paprogramių) tikslus ir būdus, kaip jie turi būti pasiekti, — kiekvienos specialiosios programos (ir paprogramės) atveju aiškiai įvardyti sąsają tarp mokslinių ir socialinių bei ekonominių tikslų, — apibrėžti tinkamus veiklos tikslus. 36. Komisija, taikydama savo BP7 stebėsenos sistemą, kiekvienai specialiajai programai (ir paprogramei) turėtų sudaryti ribotą, bet subalansuotą veiklos rodiklių, kuriais būtų vertinami programos įgyvendinimo efektyvumas ir rezultatyvumas, sąrašą. 37. Mokslinių tyrimų generaliniai direktoratai turėtų suderinti savo biudžeto sudarymo pagal veiklos sritis (veikla pagrįsto valdymo) nomenklatūrą, kad veiklos rodikliai būti palyginami laike ir, jei įmanoma, – nagrinėjant specialiąsias programas (ir paprogrames).

Vertinimo strategija

38. Vertinimo strategija sudaro koncepcinę sistemą, pagal kurią vertinimo veikla yra numatoma, planuojama, vykdoma ir panaudojama. Geroji praktika kitose ES biudžeto ir ne tik srityse reiškia, kad taikant tokią strategiją turėtų būti atsižvelgiama į su programos vertinimu susijusius pagrindinius teisinius, organizacinius ir metodinius klausimus, taip pat į tai, kokie vertinimai turi būti atlikti, kas ir kada juos turi atlikti, kaip duomenys turi būti renkami, kokia turi būti naudojama metodika ir kaip turi būti pranešama apie nustatytus faktus bei kokių tolesnių veiksmų reiktų imtis.

39. Turėti tokią strategiją ir užtikrinti, kad ji būtų įgyvendinta, – tai būtina vertinimo principo įdiegimo Komisijos organizacijos kultūroje ir sprendimų priėmimo procese sąlyga. Tačiau Audito Rūmai pripažįsta, kad atsižvelgiant į mokslinių sričių, kurias apima bendrosios programos, įvairovę, tokia strategija kiekvienam atsakingam generaliniam direktoratui turėtų suteikti pakankamai lankstumo ir nebūti per daug suvaržanti.

40. Audito Rūmai patikrino, kokiu mastu Komisija turėjo įdiegusi tokią bendrųjų programų vertinimo strategiją.

Nėra integruotos bendrųjų programų vertinimo strategijos

41. Bendrųjų programų atveju Komisija pirmą kartą savo vertinimo metodą paskelbė devintajame dešimtmetyje (27). Jis buvo atnaujintas 1996 m., kai Komisija informavo Europos Parlamentą ir Tarybą apie, jos manymu, tuo metu tinkamus pagrindinius stebėsenos ir vertinimo principus, ir kai patvirtinus BP4, ji išdėstė metodą, kurį ji ketina taikyti (28). Tačiau tai nebuvo integruota vertinimo strategija, kaip nurodyta pirmiau (žr. 38 ir 39 dalis). Be to, 1996–2006 m. Komisija iš naujo iš esmės neišnagrinėjo BP5 ir BP6 taikomo savo vertinimo metodo, nepaisant to, kad pasikeitė bendrųjų programų apimtis ir kryptis (žr. 7 dalį). Visų pirma mokslinių tyrimų generaliniai direktoratai nesusitarė dėl nuoseklaus bendrųjų programų ir jų sudėtinių programų vertinimo metodo, neskaitant tų teisės aktų reikalavimų, kurie buvo patvirtinti 1999 m. (BP5), 2002 m. (BP6) ir 2006 m. (BP7) (29).

42. Tokio vertinimui skirto strateginio metodo šioje srityje nebuvimas dabartiniu programavimo laikotarpiu – tai rimta problema turint omeny tai, kad keli generaliniai direktoratai, EMTT ir vykdomosios agentūros bendrai įgyvendina BP7, ir tai, kad Finansinis reglamentas nustato privalomą darbuotojų, einančių svarbias pareigas, rotaciją. Tai taip pat sudaro kontrastą esamai praktikai išorės pagalbos srityje (kuri yra antra pagal dydį tiesioginio Komisijos vykdomo valdymo sritis). Šioje srityje 2002 m. kompetentingi generaliniai direktoratai susitarė dėl bendrų daugiamečių vertinimo strategijų, susijusių su programavimo laikotarpiais (žr. 52 dalį).

43. Šios aiškiai suformuluotos vertinimo strategijos nebuvimas taip pat sudaro didelį kontrastą situacijai JAV ir Kanadoje, kur strategijos parengimas yra būtinas pagal norminę bazę (žr. III priedą).

44. Kaip parodyta toliau, esama didelių bendrųjų programų vertinimo apimties ir intensyvumo skirtumų. Taip pat buvo kitų trūkumų, kaip antai koordinavimo problemos, metodikos skirtumai, laiko apskaičiavimo problemos ir trūkumai pranešant apie vertinimo metu nustatytus faktus bei atsižvelgimą į juos. Visa tai nagrinėjama tolesniuose šios ataskaitos skirsniuose. Šie trūkumai rodo, kad nėra integruotos bendrųjų programų vertinimo strategijos.

Bendrųjų programų vertinimo apimties ir intensyvumo skirtumai

45. Bendrąsias programas sudaro nemažai specialiųjų programų (ir paprogramių), kurios gali ženkliai skirtis savo tikslo, dinamikos, įtakojančios procesus, ir biudžeto asignavimų prasme (BP7 programos atveju žr. IV priedą). Kartu paėmus, konkrečios įvairių sprendimų dėl bendrųjų programų ir Finansinio reglamento (30) nuostatos (pagal kurias reikalaujama, kad būtų atliktas programų ir veiklos sričių, susijusių su didelėmis išlaidomis, vertinimas) reiškia, kad nuo BP4 parengimo galiojo teisinis reikalavimas vertinti ir visą bendrąją programą, ir daugelį jos specialiųjų sudėtinių programų.

46. Komisija nenustatė taisyklės, kada specialiosios BP programos ar paprogramės turi būti vertinamos, ar bendros ribos, kurią viršijus tai turi būti padaryta. Todėl buvo nenuosekliai aiškinama, kas turėtų būti įvertinta ir kaip išsamiai tai turėtų būti padaryta: — Informacinės visuomenės generalinis direktoratas laikė Informacinės visuomenės technologijų (IST) programą atskira pagrindine išlaidų programa ir 2004 m. kartu su visos bendrosios programos įvertinimu atliko visapusišką penkerių metų laikotarpio įvertinimą, — Mokslinių tyrimų generalinis direktoratas neorganizavo sistemingų tokio pobūdžio specialiųjų programų vertinimų nepaisant to, kad kelių programų, už kurias jis yra atsakingas, biudžetai buvo panašaus dydžio.

47. Tokiu būdu 2004 m. atliekant penkerių metų laikotarpio įvertinimą svarbios BP4 ir BP5 programų dalys buvo visiškai neįvertintos (BP4 atveju tai atitinka 30 % visų biudžeto asignavimų, o BP5–50 % visų biudžeto asignavimų). Tai reiškia, kad Komisija nesilaikė Finansinio reglamento 27 straipsnyje nurodytų vertinimo reikalavimų.

48. Šios skirtingos interpretacijos, kokie turi būti minimalūs su vertinimu susiję teisiniai reikalavimai, ir dėl to praeityje atliktas nepakankamas bendrųjų programų įvertinimas iliustruoja koordinavimo stoką ir Komisijos strateginio metodo vertinant bendrąsias programas neparengimo pasekmes.

Rekomendacijos

49. Mokslinių tyrimų generaliniai direktoratai turėtų skubiai parengti bendrą bendrųjų programų vertinimo strategiją ir dėl jos susitarti. Nebūdama pernelyg suvaržanti, ši strategija turėtų sudaryti sąlygas taikyti nuoseklų bendrųjų programų ir jų sudėtinių dalių vertinimo metodą. Tokia strategija taip pat turėtų numatyti gaires dėl minimalaus lygio, kuriam esant turi būti atliekamas išsamus įvertinimas, siekiant atsižvelgti į kiekvienos mokslinės srities specifiką.

Bendrųjų programų vertinimo organizavimas

50. Bendrųjų programų vertinimas turėtų remtis atitinkamomis organizacinėmis nuostatomis, suderintomis su Komisijos nustatyta strategine bendrųjų programų vertinimo kryptimi. Audito Rūmai patikrino, kokiu mastu organizacinė struktūra užtikrino, kad vertinimo sistema būtų tinkamai koordinuojama, jai būtų skirti atitinkami ištekliai, o suinteresuotosios šalys ją laikytų pakankamai nepriklausoma.

Komisija

Bendrąsias programas bendrai vykdo keli generaliniai direktoratai, o atsakomybė už įvertinimą yra decentralizuota

51. Komisijoje atsakomybė už išlaidų programų vertinimą tenka atskiriems generaliniams direktoratams (žr. 8 dalį); kiekviename generaliniame direktorate įsteigti vertinimo padaliniai. Šie vertinimo padaliniai yra atsakingi už vertinimų planavimą, koordinavimą ir atlikimą.

52. Specialaus koordinavimo skyriaus ar vieno visų bendrųjų programų vertinimui skirto organizacinio darinio, pavyzdžiui, bendros vertinimo tarnybos, įsteigtos mokslinių tyrimų generaliniams direktoratams, nebuvimas sudaro kontrastą kitoms politikos sritims. Išorės pagalbos srityje trims generaliniams direktoratams (Vystymosi, Išorės ryšių ir EuropeAid) yra įsteigtas bendras vertinimo padalinys, atsakingas už Komisijos vystymosi programų trečiosiose šalyse įvertinimą (žr. 42 dalį).

53. Mokslinių tyrimų generalinis direktoratas, pasitelkdamas Komisijos vidinį mokslinių tyrimų ir technologinės plėtros vertinimo tinklą, užtikrina žinių mainus tarp skirtingų generalinių direktoratų vertinimo padalinių, tačiau neturi įgaliojimų nustatyti minimalių vertinimo reikalavimų. Tačiau šis mechanizmas nebuvo pakankamas, kad galėtų užtikrinti tinkamą Komisijos vykdomo bendrųjų programų vertinimo koordinavimą.

54. 2000 m. ir 2002 m., o po to ir 2007 m. Komisija patikslino savo bendrąjį vertinimo metodą (žr. 14 dalį). Nors nebuvo pastebėta didelės pažangos planuojant, rengiant ir atliekant bendrųjų programų ir jų sudėtinių programų vertinimus, apskritai mokslinių tyrimų generaliniai direktoratai įvykdė formalius visoje Komisijoje taikomus reikalavimus.

Komisijos centrinės tarnybos nustato standartus, bet ne prižiūri, kaip jie taikomi

55. Komisijos centrinės tarnybos (visų pirma Biudžeto generalinis direktoratas ir Generalinis sekretoriatas) teikia metodines gaires, nustato visoje Komisijoje taikytinus bendrus standartus ir prižiūri, kaip generaliniai direktoratai ir tarnybos taiko šiuos standartus (žr. 14 ir 70 dalis). Jie negali nustatyti, kaip vertinimai turi būti atliekami praktikoje.

56. Patirtis JAV ir Kanadoje byloja, kad tose valstybėse vykdymo priežiūros funkcija, kurią atlieka standartų nustatymo įstaigos, padeda užtikrinti veiksmingą vertinimo sistemos funkcionavimą. Abiejose šalyse federaliniai departamentai sukuria sistemą, kuria remiantis galiausiai yra vertinama programos sėkmė, bei prižiūri jos taikymą (žr. III priedą). Nors aplinkybės skiriasi, jų sistemos vis dėlto yra grindžiamos tuo pačiu pagrindiniu principu, kad įstaiga, veikianti atskirai nuo programą įgyvendinančios įstaigos, turėtų pakankamai išsamiai įvertinti vertinimo sistemos veikimo pagrindus ir patikrinti jos veiksmingumą. Ta pati tendencija pastebima ir kai kuriose valstybėse narėse (pvz., Prancūzijoje (31), Ispanijoje (32), Vokietijoje (33)), kur išorės įstaigos prižiūri finansavimo agentūrų atliekamus vertinimus ar net pačios atlieka šiuos vertinimus.

Vertinimo komisijos

Išorės ekspertų vertinimo komisijos: jos privalomos nuo BP4 programos pradžios pagal bendrųjų programų teisės aktus

57. Nuo BP4 programos pradžios visus svarbius pagrindinių programų vertinimus (ir metinę stebėseną) turėjo atlikti išorės ekspertų vertinimo komisijos (arba jie turėjo būti atlikti joms padedant) (žr. II priedą). Nepaisant su tinkamų ekspertų paieškomis susijusių sunkumų, tokios komisijos gali suteikti skaidrumo, tam tikro nepriklausomumo, sudaryti palankias sąlygas įsitraukti suinteresuotosioms šalims ir skleisti žinias apie pačias bendrąsias programas, vertinimą ir susijusius mokslinius klausimus.

58. Tai patvirtino Audito Rūmų apklausos, per kurias respondentai pasisakė, jog vertinimo komisijų darbu grindžiama Komisijos vertinimo sistema suteikia nepriklausomumo garantiją (žr. 4 diagramą).

Komisijos vykdomo metodo, kuris yra grindžiamas vertinimo komisijos darbu, trūkumai

59. Nepaisant šios teigiamos nuomonės, kaip Audito Rūmams audito metu pareiškė vertinimo komisijos nariai ir suinteresuotosios šalys, Komisijai naudojantis vertinimo komisijos paslaugomis siekiant įvertinti bendrąsias programas, išryškėjo šie trūkumai: — vertinimo komisijos dažniausiai sudaromos likus mažiau nei vieneriems metams iki dienos, kai turi būti parengta jų ataskaita; o jų susirinkimai yra reti. Dėl to vertinimo komisijos nariams sunku daryti įtaką jų darbui būtinų duomenų ir analizės apibrėžimui. Be to, kadangi komisijos yra specializuotos ir laikinos, nėra lengva kaupti žinias apie programas, o svarbūs klausimai negali būti nagrinėjami laikui bėgant. Tai – rimtas trūkumas, kai (pvz., BP7 atveju) viso programavimo laikotarpio metu planuojama atlikti nemažai svarbių įvertinimų (žr. II priedą). Tai taip pat sudaro kontrastą Komisijos praktikai bendrosioms programoms pasitelkti savo ekspertų patariamąsias grupes, kurios yra nuolatiniai dariniai (34). Tai pat ir Kanadoje (35) vertinimo komisijos yra nuolatinės, kad būtų užtikrintas nuoseklus ir suderintas požiūris (žr. III priedą), — nustatydama vertinimo komisijoms skirtas technines užduotis ir formuluodama vertinimo klausimus, Komisija nesikonsultuoja su išorės suinteresuotosiomis šalimis, tokiomis kaip bendrosiose programose dalyvaujančios pramonės ir didelės mokslinių tyrimų organizacijos. 2004 m. stebėsenos komisija taip pat atkreipė dėmesį į šią problemą, pažymėdama, kad „… galimi vartotojai turėtų įsijungti į procesą pačioje jo pradžioje“ (36), — vertinimo komisijų darbo pobūdis skiriasi nuo kolegų atliekamos peržiūros. Jų nariai neturi laiko patys atlikti vertinimus; paprastai jie duoda patarimus, pagrįstus iš kitų šaltinių jiems suteiktais duomenimis ir įrodymais. Dėl laiko suvaržymų vertinimo komisijos turėjo labai mažai galimybių pavesti atlikti jų techninėse užduotyse nurodytiems klausimams nagrinėti skirtus papildomus tyrimus. Iš tikrųjų, išskyrus kelias išimtis, penkerių metų laikotarpio vertinimo komisijoms buvo prieinama tik Komisijos pateikta informacija.

Ištekliai

Nėra konkrečių bendrosioms programoms vertinti skirtų išteklių

60. Vertinimui skirtas finansavimas teikiamas kiekvienais metais atsižvelgiant į bendrąsias programas įgyvendinančių generalinių direktoratų nurodytus poreikius. Šiuo metu jis yra užtikrinamas iš kelių išteklių Komisijos mastu, būtent, Biudžeto generalinio direktorato ir administracinės susijusių generalinių direktoratų biudžeto dalies. Be to, iš bendrųjų programų veiklos biudžeto kaip netiesioginiai veiksmai finansuojamos konkrečios priemonės. Tai reiškia, kad nėra atidėtos konkrečios vertinimui skirtos sumos.

61. 2006 m. visos Komisijos darbuotojų, dirbančių vertinimo ir veikla grindžiamo valdymo srityje, vidurkis siekė apytiksliai 1 % visų darbuotojų (37). Mokslinių tyrimų ir technologinės plėtros bendrųjų programų stebėsenos ir vertinimo veiklos rodikliai Mokslinių tyrimų ir Informacinės visuomenės generaliniuose direktoratuose buvo atitinkamai 1,2 % ir 1,3 %. Tačiau Mokslinių tyrimų generalinio direktorato atveju daugiau kaip du trečdaliai šių žmogiškųjų išteklių buvo skirta veiklos programų skyriams, o ne vertinimo padaliniui, o vertinimas buvo tik viena iš daugelio jiems priskirtų užduočių.

Bendrųjų programų vertinimui skirtos sumos mažesnės nei rekomenduoja Komisija

62. Vertinimui skirti ištekliai taip pat gali būti išreikšti visų programai numatytų biudžeto asignavimų procentine dalimi. Audito metu gauti skaičiai rodo, kad ES valstybėse narėse praktiniam mokslinių tyrimų programų įgyvendinimui tenka 0,1 %–2 % asignavimų. Komisijos gairėse rekomenduojama, kad 0,5 % programos biudžeto turėtų būti skirta vertinimui (38). Tačiau didesnės apimties programų atveju masto ekonomija reiškia, kad pakaktų skirti mažesnę jų biudžeto dalį.

63. Palyginus Komisijos 2003–2006 m. vertinimo išlaidų duomenis su kiekvienam generaliniam direktoratui skirtais biudžeto asignavimais, paaiškėjo, kad bendras vidurkis sudaro maždaug 0,15 %, o tai yra daug mažiau nei Komisijos siūlomas lygis. Atlikus išsamesnę 2006 m. analizę paaiškėjo, kad Informacinės visuomenės generalinis direktoratas vertinimui skyrė maždaug keturis kartus daugiau lėšų nei Mokslinių tyrimų generalinis direktoratas, palyginti su asignavimais, skiriamais pagal jų atitinkamas pareigas. Be to, Mokslinių tyrimų generaliniame direktorate vienam metinio biudžeto milijonui eurų vertinti tenka tik 0,7 % vieno visą darbo dieną dirbančio pareigūno. Tuo tarpu Informacinės visuomenės generalinis direktoratas skiria dukart tiek.

64. Kaip parodyta šioje ataskaitoje, šios papildomos Informacinės visuomenės generalinio direktorato pastangos leido atlikti labiau integruotą vertinimą (žr. 13 ir 46 dalis), ir kaip rodo Audito Rūmų peržiūrėtos vertinimo tyrimų imties rezultatai, buvo naudotasi vertinimo poreikiams nagrinėti geriau pritaikyta metodika (žr. 84 dalį).

65. Audito Rūmų parengta išlaidų sąmata, grindžiama Komisijos pateiktais duomenimis, rodo, kad vertinimo sistema, sukurta remiantis šioje ataskaitoje pateiktais pasiūlymais, vidutiniškai sudarytų mažiau nei 0,4 % BP7 biudžeto asignavimų. Šios išlaidos apimtų vertinimo komisijų, subrangos būdu atliktų tyrimų, bendros vertinimo tarnybos ir dabartinių konkrečių generalinių direktoratų vertinimo padalinių darbuotojų išlaidas bei kitas įvairias išlaidas (39).

Rekomendacijos

66. Be dabartinių vertinimo padalinių kiekviename generaliniame direktorate mokslinių tyrimų generaliniai direktoratai turėtų apsvarstyti galimybę įsteigti bendrą vertinimo tarnybą. Pagal dabartinę praktiką kitose politikos srityse ši tarnyba galėtų koordinuoti Komisijos vykdomą visos bendrosios programos vertinimo veiklą. Anksčiau jau buvo rekomenduojama bendrąsias programas įgyvendinantiems generaliniams direktoratams vykdyti tokias bendros paramos funkcijas (40). Šios funkcijos ateityje gali tapti dar svarbesnės įsteigus EMTT ir programos įgyvendinimo įgaliojimus perdavus vykdomosioms įstaigoms. 67. Komisija ir toliau turėtų naudotis vertinimo komisijų paslaugomis, kad šios padėtų jai vykdyti vertinimo veiklą. Tačiau Komisija turėtų apsvarstyti, kaip suderinti vertinimo komisijos struktūrą su bendra BP programos struktūra. Tai galėtų būti padaryta kuriant komisijas specialiosioms programoms ar, prireikus, paprogramėms (žr. IV priedą). Be to, šios komisijos turėtų būti įsteigtos pakankamai anksti, kad galėtų teikti Komisijai veiksmingą pagalbą. Tokia pagalba turėtų būti teikiama viso programavimo laikotarpio metu ir jam pasibaigus. 68. Komisija turėtų iš naujo nagrinėti klausimą, kiek išteklių turi būti panaudota vertinant bendrąsias programas ir jų sudėtines programas.

Vertinimo metodikos ir būdai

69. Tam, kad būtų atliktas veiksmingas įvertinimas, būtina taikyti tinkamą metodiką ir būdus. Audito Rūmai patikrino, ar buvo parengtos konkrečios gairės, skirtos bendrosioms programoms vertinti, ar poreikiai gauti informaciją buvo tinkamai ir laiku analizuojami ir ar svarbūs duomenys buvo prieinami vertintojams. Atsižvelgdami į Komisijos (ar jos vardu) atliktus vertinimo tyrimus, Audito Rūmai patikrino, ar atskiriems tyrimams naudoti būdai sudarė pakankamą pagrindą vertinimo klausimams, nustatytiems penkerių metų laikotarpio vertinimams, spręsti. Taip pat buvo atsižvelgta į galimą vertinimų, atliekamų nacionaliniu mastu, indėlį vertinant bendrąsias programas.

Naudojimasis bendrosioms programoms būdingais standartais ir gairėmis

70. Biudžeto generalinis direktoratas paskelbė keletą komunikatų, kuriuose išdėstyta jo vertinimo politika ir numatytos jos įgyvendinimo taisyklės. Juose taip pat nustatyti visoje Komisijoje privalomi taikyti standartai (žr. 14 ir 55 dalis) (41). Kitose politikos srityse kompetentingi generaliniai direktoratai taip pat yra parengę konkrečius vertinimo vadovus (42).

71. Tačiau taip nėra bendrųjų programų atveju. Mokslinių tyrimų srityje yra parengta keletas vertinimo veiklai skirtų metodinių vadovų ir priemonių komplektų, kuriuos paskelbė (ar finansavo) Komisija (43). Tačiau juose nėra konkrečių gairių, kaip atlikti bendrųjų programų vertinimus, ir nėra apibrėžta, kaip Komisijos darbuotojai ar išorės ekspertai turi naudoti pagrindines sąvokas ar terminologiją. Tai sukėlė toliau aprašytas problemas.

Duomenų poreikiai ir duomenų rinkimas

Nepakankama informacijos poreikių analizė

72. Mokslinių tyrimų generaliniai direktoratai skyrė nepakankamai dėmesio duomenų, kurių reikia vertinimo ir stebėsenos tikslams, pobūdžio nustatymui. Užuot atlikus sistemingą ir išsamią informacijos poreikių analizę, Komisija, deramai neatsižvelgdama į bendrus vertinimo poreikius, vėlai įvardijo reikalavimus dėl duomenų, jau įsibėgėjus programavimo laikotarpiui. BP6 socialinio ir ekonominio pobūdžio klausimynas buvo vienintelis generalinių direktoratų bandymas susitarti dėl tokių duomenų (žr. 76 dalį). Tačiau šis klausimynas buvo užbaigtas 2004 m. (praėjus trejiems metams nuo programavimo laikotarpio pradžios) ir daugiausia apima tokius aspektus kaip vyrų ir moterų dalyvavimas ir poveikis aplinkai, o ne mokslinius išdirbius (kaip antai intelektinės nuosavybės klausimus, leidinius ir t. t.), išdavas ar poveikius.

73. Norint įvertinti programas būtina turėti trijų rūšių duomenis: — pagal veiksmingumo rodiklius surinktus duomenis, kurių analizė suteikia informacijos apie pažangą siekiant programos tikslų. Pirmiau nurodytos intervencijos logikos nebuvimas reiškia, kad buvo sunku nustatyti tokius rodiklius (žr. 30 dalį). Faktiškai surinkti duomenys buvo mažai svarbūs įvertinant programos tikslų pasiekimą, — programos valdymo duomenis (pagal veiksmingumo rodiklius), — duomenis apie dalyvius (tokius kaip pagrindinių mokslinių tyrimų organizacijų dalyvavimo lygis).

74. Visų pirma, Komisijoje turi būti prieinami pastarųjų dviejų rūšių duomenys. Tačiau dėl problemų, susijusių su Komisijos vidinėmis IT sistemomis, kurios yra pagrindinių duomenų apie programos valdymą ir dalyvius (44) šaltinis, praktiškai šiuos duomenis gauti buvo labai sudėtinga (45).

75. Tai atspindi faktas, kad smarkiai vėluojama pateikti 173 straipsnyje nurodytus pranešimus ir metines priežiūros ataskaitas (2002–2005 m. 173 straipsnyje nurodytų pranešimų atveju (46) buvo vėluojama iki 16 mėnesių, o metinių priežiūros ataskaitų atveju – iki 7 mėnesių). Kadangi ši informacija būdavo pastoviai per vėlai teikiama, jos nauda buvo nedidelė.

Neveiksmingas vertinimo duomenų iš dalyvių gavimo metodas

76. Nuo BP5 programos pradžios Komisija pagal sutarčių nuostatas sistemingai prašydavo dalyvių pateikti šiuos duomenis, skirtus vertinti programos tikslų pasiekimą išdirbių, išdavų ir poveikių atžvilgiu: — pagal BP5 programą dalyvių buvo prašoma pateikti technologinio pobūdžio įgyvendinimo planą kartu su galutine ataskaita po to, kai būdavo užbaigiamas projektas. Šie dokumentai dažnai būdavo prastos kokybės arba visai nebūdavo pateikiami, — pagal BP6 programą jų prašoma pateikti žinių sklaidos ir naudojimo planą; teikdami savo metines technines ataskaitas jie turi atsakyti į standartiniame klausimyne suformuluotus socialinius ir ekonominius klausimus.

77. Dėl šių sutartinių reikalavimų teikti duomenis dalyviams teko bereikalinga administracinė našta. Pavyzdžiui, BP6 programos metinio klausimyno atveju duomenys yra renkami daug dažniau nei to reikia; jie imami iš visos projektų populiacijos, nors užtektų tik reprezentatyviosios imties. Dėl to gali susidaryti „vertinimo nuovargio“ efektas. Be to, ši informacija buvo renkama netinkamu laiku; daugelis esminių duomenų rinkimo veiksnių yra vidutinės trukmės arba ilgalaikio pobūdžio, todėl duomenų rinkimas projekto sutartinės trukmės metu yra iš esmės per ankstyvas (47). Tai paaiškina, kodėl praktiškai buvo labai nedaug pasinaudota šių priemonių teikiama informacija atliekant vertinimus pagal BP5 ir BP6 programas.

78. Tačiau nė viena įdiegta sistema nenumato informacijos rinkimo standartiniu būdu baigiantis (ar ką tik pasibaigus) visai projekto trukmei. Apklaustos suinteresuotosios šalys pareiškė, kad tokia informacija gali apimti projekto tikslų pasiekimą, numatytus (ir nesuplanuotus) rezultatus bei tai, kaip dalyviai suvokia Bendrijos pridėtinę vertę. Tokia informacija taip pat galėtų būti užbaigtų projektų išorės peržiūrų pagrindas (48).

79. Tuo pačiu plačiau naudojant mokslometrinius metodus (tokius kaip nuorodų analizė) vertinant projekto rezultatus (žr. 83 dalį), tai galėtų suteikti pagrindą Komisijai pereiti prie labiau į rezultatus orientuotos su moksliniais tyrimais ir technologine plėtra susijusios veiklos, kurią bendrai finansuoja Bendrija, finansavimo sistemos taikymo (49).

Kiti netinkamai naudojami duomenų šaltiniai

80. Nepakankamai naudojamasi kitais Komisijoje ir valstybėse narėse esamais duomenų šaltiniais (pvz., nacionalinių mokslinių tyrimų ir technologinės plėtros programų ir finansavimo agentūrų duomenų bazėmis bei Komisijos leidinių biuro (50) valdomos Bendrijos mokslinių tyrimų ir plėtros informacinės tarnybos (CORDIS) paslaugomis).

Komisijos atlikti vertinimo tyrimai

Audito Rūmų peržiūrėtos ataskaitos

81. Audito Rūmai peržiūrėjo nuo 2000 m. Komisijos (ar jos vardu) atliktus 86 vertinimo tyrimus. Šie tyrimai apėmė visus 36 tyrimus, kurie sudarė pagrindą 2004 m. paskelbtam penkerių metų laikotarpio įvertinimui, ir kitus 50 tyrimų, kurie buvo užbaigti po šios datos. Tik 23 iš šių tyrimų gali būti laikomi tikrais bendrosios programos ir jos sudėtinių programų vertinimais (žr. 5 diagramą). 5 diagrama 2000–2006 m. Komisijos (ar jos vardu) atliktų vertinimo tyrimų apžvalga Tyrimų tipas Skaičius Aprašymas BP veiklos vertinimai 23 Vertinimo tyrimai — grindžiami pripažinta metodika (51), — juose pateikta konkreti nuoroda į programos tikslus ir į tai, kiek buvo pasiekti programos tikslai. Valstybių narių lygmeniu atlikti nacionaliniai poveikio vertinimai 12 Valstybių narių atlikti tyrimai, kuriuose daugiausia nagrinėjamas nacionalinis dalyvavimo lygis, o ne daromos išvados dėl programos tikslų. Metodiniai tyrimai 5 Komisijos organizuoti tyrimai siekiant padėti rengti vertinimo metodikas. Europos mokslinių tyrimų ir technologinės plėtros aplinkos tyrimai 2 Tyrimai, kuriuose pateikiamos mokslinių tyrimų vietos Europoje, o ne bendrųjų programų konteksto analizės. Visų pirma nėra pateikta aiški nuoroda, kokį poveikį bendrosios programos turi nacionalinėms mokslinių tyrimų ir naujovių sistemoms. Neanalitiniai aprašomieji ir statistiniai dokumentai 33 Dokumentai, kuriuose paprastai labai netiesiogiai nagrinėjama bendrųjų programų veikla. Dažnai veikla yra aprašoma, o ne analizuojama. Kiti dokumentai 11 Įvairūs dokumentai, kuriuose analizuojami klausimai, susiję su bendraisiais politikos interesais, bendrųjų programų tame kontekste nenagrinėjant.

Vertinimai, kuriuose didžiausias dėmesys skiriamas stebėsenos klausimams, bet ne išdavoms ir poveikiams

82. Dvi pagrindinės pastabos, gautos Audito Rūmams atlikus šių konkrečių vertinimo tyrimų metaanalizę, yra šios: — nors daugelyje šių tyrimų stengiamasi prieiti prie tam tikrų išvadų dėl programos tikslų, šios išvados formuluojamos neaiškiai, tokiu būdu skaitytojas lieka neįtikintas, kad atlikus įvertinimą buvo iš tikrųjų išspręstas šis klausimas. Taip yra dažnai dėl to, kad neapibrėžus aiškių programos tikslų šis procesas yra labai susilpninamas (žr. 28 dalį), — vietoj to, kad būtų vertinami bendrųjų programų ar jų specialiųjų programų (ir paprogramių) išdavos ir poveikiai, daugelis dokumentų yra aprašomojo pobūdžio ir geriausiu atveju juose dėmesys yra skiriamas tiesioginiams projektų rezultatams ir projektų valdymo klausimams. Šios ataskaitos negali suteikti svarių su išdavomis ar poveikiais susijusių įrodymų.

Nepakankamas dėmesys skiriamas novatoriškoms metodikoms kurti

83. 2000–2006 m. vykdant tyrimus buvo daugiausia naudojamasi tradicinėmis metodikomis ir būdais (visų pirma, apklausomis, dokumentų peržiūromis ir interviu) (žr. 6 diagramą). Be to, nebuvo naudojamasi kitomis sudėtingomis, tačiau labai paplitusiomis vertinimo metodikomis ir būdais (arba tai buvo daroma labai retai), visų pirma: — mokslometriniais metodais (tokiais kaip nuorodų analizė) (52), — kiekybiniais modeliais (kaip antai rentabilumo, išlaidų efektyvumo ir ekonomiškumo) (53), arba — veikiančiųjų asmenų (ar elgesio) modeliais (kuriuos taikant dėmesys skiriamas intervencijoje dalyvaujančių subjektų požiūriams, pvz., mokslinių tyrimų tinklų charakteristikoms ar juose laikui bėgant vykstantiems pokyčiams).

84. Tik retais atvejais buvo atliekami vertinimo tyrimai siekiant išnagrinėti kai kuriuos viešosios intervencijos mokslinių tyrimų srityje vertinimo metodinius sunkumus (žr. I priedą): — neseniai buvo užbaigti du su intervencijos logika susiję tyrimai (54), — buvo nustatyti tik trys tyrimai, kurių tikslas – įvertinti Bendrijos finansavimo poveikį mokslinių tyrimų organizacijų būrimuisi į visą Europą apimančius tinklus (55). Ir tai nepaisant prielaidos, kad teigiami tinklų kūrimo rezultatai yra Europos mokslinių tyrimų erdvės koncepcijos pagrindas, — tik vienu atveju buvo mėginta daryti išvadas dėl programos (ar paprogramės) lygmeniu pasiekto poveikio agreguojant projektams taikomas vertinimo analizes ir kitus vertinimo metodus (56), — nebuvo rasta kitų metodikų, kaip antai kontrafaktinio metodo (ar kontrolinės grupės) naudojimo įrodymų. Šis metodas būtų ypač naudingas iliustruojant programų pridėtinę vertę Bendrijos lygmeniu palyginti su jokio intervencinio metodo nenaudojimu (arba jo naudojimu nacionaliniu arba regioniniu lygmeniu).

85. Audito Rūmų apklaustos suinteresuotosios šalys manė, kad Komisijos vertinimų naudingumas ir aktualumas galėtų būti pagerintas. Tai išryškina poreikį toliau plėtoti metodiką, kad vertinimo sistema būtų pritaikyta prie kintančio bendrųjų programų pobūdžio (žr. 7 dalį) (57).

Opūs penkerių metų laikotarpio vertinimų metu iškelti klausimai negalėjo būti nagrinėjami remiantis Komisijos konkrečiais vertinimo tyrimais

86. Tai taip pat patvirtina didelės problemos, su kuriomis susidūrė 2004 m. penkerių metų laikotarpio vertinimo komisija (58), atsakydama į techninėje užduotyje pateiktus vertinimo klausimus. Daug šių opių klausimų apskritai negalėjo būti išnagrinėta todėl, kad prieš tai Komisijos (ar jos vardu) nebuvo atlikti tinkami vertinimo tyrimai ir dėl to, kad komisijos nariai negalėjo laiku pavesti atlikti šių tyrimų (žr. 7 diagramą). 7 diagrama 2004 m. atlikto penkerių metų laikotarpio vertinimo klausimų nagrinėjimas Vertinimo klausimas Nagrinėta ataskaitoje? ĮGYVENDINIMAS Ar veikla buvo vykdoma veiksmingai? iš dalies Ar veikla buvo ekonomiškai efektyvi? iš dalies Ar veikla buvo vykdoma pačiu tinkamiausiu būdu nustatytiems tikslams pasiekti? ne Ar bendra teisinė sistema (įskaitant dalyvavimo taisykles ir sutartis), politikos instrumentai ir įgyvendinimo tvarka buvo aiškūs, tinkami ir veiksmingi? ne Ar finansavimo lygis ir kiti esami ištekliai buvo adekvatūs? ne Ar tikslinės pramonės ir tyrėjų bendruomenės, įskaitant MVĮ, galėjo tinkamai atsakyti? taip PASIEKIMAI Ar vykdant veiklą buvo pasiekti jos atitinkami tikslai ir kiek buvo gauta nelauktų rezultatų? ne Kokie yra pagrindiniai rezultatai mokslo, technologijų, socialinių ir ekonominių bei aplinkosaugos išdirbių prasme, tarptautinio bendradarbiavimo, žinių perdavimo ir naujovių, ikinormatyvinės veiklos, prieinamumo, mokslinių tyrimų sklaidos ir panaudojimo, žmogiškųjų išteklių vystymo, mobilumo ir mokymų, taip pat mokslinių tyrimų veiklos koordinavimo rėmimo ir didinimo srityse? ne Ar rezultatai ir jų padariniai bei poveikiai buvo iš esmės patenkinami su veikla tiesiogiai ar netiesiogiai susijusiems naudos gavėjams ir suinteresuotosioms šalims? ne Ar buvo patenkinamai atsižvelgta į atitinkamas pramonės ir tyrėjų bendruomenes, įskaitant MVĮ? talp Kaip ir kiek veikla prisidėjo prie pagerinto ES mokslinių tyrimų konkurencingumo tarptautiniu lygmeniu? Ar ES moksliniai tyrimai buvo pirmaujantys konkrečiose srityse? iš dalies Kaip ir kiek veikla prisidėjo prie ES politikos krypčių apskritai ir prie ES tvaraus vystymo strategijos? ne Ar yra struktūrinių pokyčių, susijusių su Bendrijos mokslinių tyrimų veikla, įrodymų, įskaitant visų pirma mokslinių tyrimų tinklų kūrimą, integravimą ir koordinavimą nacionaliniu ar tarptautiniu lygmeniu? ne Ar programos buvo vykdomos racionaliai naudojant lėšas? Ar veikla turėjo ilgalaikį poveikį? ne RAIDA IR ATEITIES PERSPEKTYVOS Kaip bendrosios programos vystėsi loginio pagrindo, tikslų, teminių prioritetų, balanso tarp „iš apačios į viršų“ ir „iš viršaus į apačią“ prioritetų bei tarp fundamentaliųjų ir taikomųjų mokslinių tyrimų, instrumentų, Europos pridėtinės vertės ir kitų poveikių prasme, visų pirma atsižvelgiant į Europos mokslinių tyrimų erdvės koncepcijos sukūrimą, Lisabonos tikslus ir pagrindines tarptautines ekonomines ir mokslinių tyrimų gaires? taip Kaip vykdant bendrąją programą buvo sukurta Europos pridėtinė vertė? taip Ar gali Europos pridėtinė vertė būti sukurta naudojant kitus tarptautinius ar nacionalinius mechanizmus? ne Ar programų politikos tikslai, prioritetai, instrumentai ir raidos ciklas yra tinkami ateičiai? taip

87. Be to, pažymėtina, kad tik tais atvejais, kai buvo apibrėžti aiškūs ir kiekybiškai išmatuojami programų tikslai (pvz., mažų ir vidutinių įmonių dalyvavimo procentas), vertinimo komisijos nariai galėjo atsakyti į techninėje užduotyje nurodytus klausimus.

Nacionaliniu lygmeniu atliekami bendrųjų programų vertinimai

88. Kai kurios valstybės narės ir asocijuotos šalys atlieka savo nacionalinius bendrųjų programų vertinimus, kuriuose nagrinėjami jų požiūriu svarbūs ir įdomūs klausimai (59). Per pastaruosius aštuonerius metus buvo atlikta keturiolika tokių tyrimų devyniose valstybėse narėse ir vienoje asocijuotoje šalyje.

89. Nors Komisija skatino kur įmanoma taikyti standartizuotus metodus, šie nacionalinio poveikio tyrimai yra labai nevienodi (60). Tokiu būdu, kadangi jie nėra atliekami vadovaujantis suderinta metodika, galimybės susumuoti, sujungti ar palyginti rezultatus yra menkos. Be to, atsižvelgiant į jų nacionalinį pobūdį, šie tyrimai gali tik iš dalies atspindėti Europos bendradarbiavimo aspektą.

90. 2007 m. Europos mokslinių tyrimų erdvės žaliojoje knygoje Komisija tvirtino, kad svarbu Europos mokslinių tyrimų erdvės lygmeniu turėti tikslias su moksliniais tyrimais ir politika, kurią vykdo tiek valstybės narės, tiek ES, susijusios veiklos poveikio ir veiksmingumo analizes. Joje taip pat buvo pripažinta, kad dabartiniai susitarimai nėra tinkami šiam uždaviniui spręsti, nes kiekviename intervencijos lygmenyje vertinimai yra atliekami atskirai vienas nuo kito (61).

Rekomendacijos

91. Komisija turėtų parengti bendrosiomis programomis finansuojamos veiklos vertinimo vadovą, kuriame būtų pateiktos pagrindinių sąvokų apibrėžtys ir terminologija bei nustatytos tam tikrai vertinimo veiklai skirtos tinkamos metodikos. Šis vadovas turėtų būti pagrįstas esamais vadovais ir priemonių komplektais bei turėtų būti reguliariai atnaujinamas. 92. Komisija turėtų nustatyti savo informacijos reikmes, atsižvelgdama į poreikį apriboti dalyviams tenkančią administracinę naštą. 93. Komisija turėtų laiku teikti stebėsenos informaciją apie bendrųjų programų įgyvendinimą. Kaip to reikalaujama pagal BP7 dalyvavimo taisykles, su Komisijos IT sistemomis, skirtomis informacijai apie programos valdymą ir dalyvius tvarkyti, susijusios problemos turėtų būti skubiai sprendžiamos. 94. Dalyvių ataskaitų teikimo Komisijai prievolės turėtų būti žymiai sumažintos, o tyrimai atliekami tik imties pagrindu. Sutartinį įsipareigojimą teikti rodikliais grindžiamus su kiekvienu projektu susijusius poveikio duomenis turėtų pakeisti trumpas savęs įvertinimas projektui pasibaigus. 95. Komisija, atlikdama vertinimus, turėtų plačiau naudotis esamais papildomais svarbių duomenų šaltiniais (tiek pačioje Komisijoje, tiek valstybėse narėse). 96. Komisija turėtų naudotis visais esamais vertinimo metodais. Be to, ji turėtų remti novatoriškų metodų, kurie padėtų įveikti viešosios intervencijos mokslinių tyrimų srityje vertinimo metodinius sunkumus, kūrimą (žr. I priedą) bei naudotis šiais metodais pati atlikdama vertinimus. 97. Komisija turėtų konsultuotis su valstybėmis narėmis, kaip maksimaliai padidinti nacionaliniu lygmeniu atliekamų bendrųjų programų vertinimų naudą.

Vertinimo metu nustatytų faktų sklaida ir panaudojimas

98. Vertinimas turėtų teikti svarbią informaciją ir galimybę atlikti analizę, kuri būtų veiksmingai panaudojama valdant programas ir formuojant politiką. Visų pirma vertinimas turi sudaryti pagrindą kompetentingiems svarstymams apie viešosios intervencijos privalumus ir trūkumus, o tai mokymuisi yra būtina. Audito Rūmai patikrino, ar vertinimai buvo atliekami laiku, nustatyti faktai buvo perduodami suinteresuotosioms šalims ir skleidžiami už Komisijos ribų, ir ar Komisija atsižvelgė į rekomendacijas tikslindama tebevykdomas programas (mokymosi programas).

Pasirenkant vertinimui skirtą laiką nebuvo atsižvelgta į informacijos, kurios iš tikrųjų galima buvo tikėtis, pobūdį

99. Audito Rūmai pripažįsta, kad kai kurios analizės rūšys grindžiamos ilgalaike perspektyva (pvz., išdavų ir socialinių bei ekonominių poveikių vertinimas) ir kad kai kurie aspektai yra susiję su konkrečiu programavimo laikotarpiu (pvz., programos tikslai net ir konkrečioje mokslo srityje), o kai kurie – ne (žr. 8 diagramą). Tačiau Komisija nenustatė savo vertinimo veiklai skirto metodo, kurį taikant būtų atsižvelgiama į šią laiko perspektyvą.

100. Pagal teisės aktus buvo reikalaujama, kad Komisijai vykdant pagrindinę vertinimo veiklą būtų susitelkta tik ties penkerių metų laikotarpiu prieš atliekant penkerių metų laikotarpio įvertinimą, tokiu būdu apimant dviejų vienas po kito einančių programavimo laikotarpių dalis. Todėl vidutinio laikotarpio ir ilgalaikės išdavos ir poveikiai buvo beveik nenagrinėjami, o atliekant penkerių metų laikotarpio vertinimus paprastai didžiausias dėmesys būdavo skiriamas stebėsenos aspektams, trumpalaikiams programos kūrimo klausimams ir bendroms pastaboms apie bendrųjų programų pobūdį. Audito Rūmai pritaria tam faktui, kad BP7 teisės aktai nebereikalauja atlikti penkerių metų laikotarpio ar bet kokio kito iš anksto nustatyto laikotarpio vertinimus. 8 diagrama Stebėsenos ir vertinimo klausimai pagal skirtingas laiko perspektyvas Programos vykdymo stebėsena (tebevykdoma) — Programos valdymo klausimai (pvz., sutarties sudarymo, mokėjimų atlikimo laikas, įmokos ir sėkmės procentas, biudžeto vykdymas, finansavimo dydis ir t. t.) Trumpalaikis vertinimas (tarkim, anksčiausiai praėjus 1–2 metams) — Programos valdymo klausimai (pvz., administracinių procedūrų veiksmingumas) — Programos kūrimo klausimai (pvz., galimybė pasinaudoti instrumentais ir lankstumas, dalyvavimo kliūtys, kvietime teikti paraiškas patirtos nesėkmės padariniai ir pan.) — Dalyvavimo profilio analizė (šiame etape – daugiausia kiekybinė) Vidutinio laikotarpio vertinimas (tarkim, po 7 metų) — Programos kūrimo klausimai (pvz., instrumentų veiksmingumas) — Dalyvavimo analizė (apimanti kokybinius ir kiekybinius aspektus, pvz., mokslinių tyrimų tinklų analizė, poveikiai tyrėjų elgsenai ir pan.) — Projekto išdirbių analizė (62) (pvz., leidiniai, konferencijų dokumentai, patentai, licencijos, prototipai, standartai, apmokyti mokslininkai ir pan.) Ilgalaikis vertinimas (tarkim, praėjus daugiau kaip 10 metų) — Išdavų ir poveikių įvertinimas Šaltinis: Europos Audito Rūmai.

101. Trūkumus, su kuriais buvo susidurta penkerių metų laikotarpio vertinimų metu nustatant bendrųjų programų išdavas ir poveikius, taip pat pažymėjo Komisijos ekspertai: — 2004 m. penkerių metų laikotarpio vertinimo komisija pažymėjo, kad „… vertinimas turėtų apimti ir jo metu pakankamas dėmesys turi būti skiriamas tiek ilgalaikiams, tiek trumpalaikiams klausimams“ ir „… galėtų būti skiriami ištekliai […] siekiant atlikti ambicingesnius ilgalaikius vertinimo tyrimus, sistemingiau nagrinėjančius struktūrinius ir platesnius ekonominius bei socialinius klausimus“ (63)., — tyrimo, kurį užsakė atlikti Mokslinių tyrimų generalinis direktoratas, metu buvo nustatyta, kad „…dabartinei ES mokslinių tyrimų ir technologinės plėtros vertinimo (įskaitant nuolatinę stebėseną, penkerių metų laikotarpio ir vidurio laikotarpio vertinimus) praktikai būdingas didelis stebėsenai skiriamas dėmesys palyginti su poveikio vertinimu“ ir „… tam, kad paklausa ir lūkesčiai […] būtų nukreipti socialinio ir ekonominio poveikio linkme, prireiks naujos vertinimo ir stebėsenos sistemos, kuri reikalautų dėti daugiau pastangų poveikio nustatymui, o ne išdirbių stebėsenai“ (64).

102. Savalaikiškumo klausimas taip pat turi įtakos pagal teisės aktus turimiems atlikti konkretiems vertinimams. Pavyzdžiui, 2004 m. Marimón ataskaita, kurioje analizuojami BP6 laikotarpiu (2003–2006 m.) sukurti nauji instrumentai, buvo užsakyta per anksti, todėl buvo sukaupta mažai praktinės patirties ir empirinių įrodymų (arba jų visai negauta), kuriais būtų galima grįsti jos išvadas (65).

Komunikacija ir sklaida

103. Pati Komisija, gavusi atitinkamo programos komiteto pritarimą, gali rengti ir pritaikyti operatyvinės veiklos programas pagal trumpalaikius ciklus. Taip būtų sudaryta galimybė atlikti programos valdymo patikslinimus ir perskirstyti paprogramių biudžetus. Nebuvo rasta įrodymų, kad Komisija naudojasi šia galimybe (žr. 107 dalį).

104. Nepaisant to ir atsižvelgiant į bendrųjų programų kūrimo ir patvirtinimo būdą, Komisija praktiškai negali atlikti ženklių pakeitimų, tokių kaip programos tikslų pakeitimai ar paprogramių biudžetų perskirstymai. Tik teisės aktų leidėjas gali priimti tokius daug aprėpiančius pakeitimus bendrųjų programų teisės aktų peržiūros metu (BP7 atveju – 2010 m.) ar tvirtinant paskesnę bendrąją programą. Dėl šios priežasties teisės aktuose būdavo paprastai nustatoma, kad pagrindinių vertinimų atlikimo laikas turi būti gerai apskaičiuotas, kad jų rezultatai būtų kaip galima naudingesni formuojant politiką.

105. Todėl kai kurie pagrindiniai Komisijos vykdomų vertinimų naudotojai yra patys mokslinių tyrimų generaliniai direktoratai (66). Tačiau bendrąsias programas reglamentuojančiuose teisės aktuose taip pat aiškiai nurodyta, kad apie vertinimų rezultatus turi būti pranešta Europos Parlamentui ir Tarybai.

106. Tačiau Audito Rūmų atlikto tyrimo, apimančio Europos Parlamento ITRE komitetą ir Tarybos CREST komitetą, metu dauguma respondentų nurodė, kad jie nebuvo pakankamai informuojami apie bendrųjų programų įgyvendinimą ir jų rezultatus (žr. 9 diagramą) (67).

Tolesnės priemonės dėl vertinimo metu nustatytų faktų

107. Savo metinėse vertinimo peržiūrose Komisija pateikia nustatytų faktų ir veiksmų, kurių buvo imtasi atlikus vertinimus, santrauką (68). Kai dėl tolesnių veiksmų, Komisija taip pat pateikė formalius atsakymus dėl penkerių metų laikotarpio vertinimų metu nustatytų faktų ir rekomendacijų bei pagal teisės aktus būtinų atlikti konkrečių vertinimų, taip pat, kiek tai įmanoma, ėmėsi tinkamų priemonių su šiais vertinimais susijusiems nustatytiems trūkumams šalinti. Tačiau taip nebuvo padaryta daugelio kitų peržiūrėtų vertinimo ataskaitų atveju ir nebuvo gauta įrodymų, kad atliekant darbo programų pakeitimus buvo atsižvelgta į jose pateiktus nustatytus faktus ir rekomendacijas. Taip pat generalinių direktoratų pagal veiklos sritis sudaromo biudžeto ataskaitose ir jų metinės veiklos ataskaitose nenurodyta, kokių priemonių buvo imtasi siekiant atsižvelgti į vertinimo metu nustatytus faktus.

Rekomendacijos

108. Komisija turėtų nustatyti vertinimo, kurį pagrįstai galima tikėtis atlikti laikantis teisės aktuose nurodytų terminų (2008 m., 2010 m. ir 2015 m.), rūšį ir apimtį, paaiškinti, kaip vertinimai gali būti panaudoti pritaikant programas (mokymosi programas) ir nurodyti, kaip vertinimais galima būtų prisidėti formuojant politiką. Visų pirma Komisija turėtų paaiškinti, kokio ankstesnių ir dabartinių bendrųjų programų ilgalaikių rezultatų vertinimo metodo ji ketina laikytis, turinti omeny tai, kad gali praeiti 7–10 metų, kol tokie rezultatai pasimatys (žr. 8 diagramą). 109. Komisija turėtų peržiūrėti savo atliekamų vertinimų metu nustatytų faktų perdavimo ir sklaidos praktiką, siekdama užtikrinti, kad suinteresuotosios šalys gautų reikalingą informaciją. Visų pirma mokslinių tyrimų generaliniai direktoratai turėtų pateikti formalų atsakymą dėl visų vertinimų ir laiku paskelbti šiuos tyrimus kartu su savo atsakymais. Mokslinių tyrimų generaliniai direktoratai taip pat savo pagal veiklos sritis sudaromo biudžeto ataskaitose ir metinės veiklos ataskaitose turėtų nurodyti, kokių jie ėmėsi tolesnių priemonių, bei pasinaudoti rekomendacijomis atnaujinant darbo programas ir kuriant naujas.

BENDRA IŠVADA

110. Audito Rūmai pripažįsta, kad mokslinių tyrimų ir technologinės plėtros programų, visų pirma – jų ilgalaikių rezultatų – vertinimui yra būdingi sunkumai ir nėra lengva nustatyti geriausią praktiką.

111. Audito Rūmų nuomone, vertinimas yra būtinas valdant programas, planuojant jas ateityje ir formuojant politiką. Vertinimas – taip pat atskaitomybės pagrindas. Jis suteikia vertingos informacijos apie tai, kokių buvo pasiekta planuotų (neplanuotų) rezultatų, kokiu mastu buvo įgyvendinti programos tikslai, ar programos buvo aktualios ir naudingos ir ar programos vykdymas buvo efektyvus ir rezultatyvus. Kadangi dėl bendrųjų gairių, biudžetinių klausimų ir bendrųjų programų kūrimo sprendimus priima Europos Parlamentas ir Taryba, būtina skaidri, patikima ir tvirta vertinimo sistema, kuri šioms institucijoms teiktų atitinkamą informaciją.

112. 2000 m. ir 2002 m. Komisija nustatė bendrą vertinimo sistemą ir 2007 m. ją patobulino. Nors Audito Rūmams atliekant auditą nebuvo pastebėta didelės pažangos planuojant, rengiant ir atliekant bendrųjų programų ir jų sudėtinių programų vertinimus, apskritai mokslinių tyrimų generaliniai direktoratai įvykdė formalius visoje Komisijoje taikomus reikalavimus.

113. Laikotarpio, kurį apima ši ataskaita, metu, kaip reikalaujama pagal bendrųjų programų teisės aktus, mokslinių tyrimų generaliniai direktoratai turėjo įdiegę vertinimo sistemą ir Komisija gali pažymėti, kad buvo atlikta nemažai vertinimo tyrimų. Nepaisant to, mažai arba nieko nėra žinoma apie programos tikslų pasiekimą ir bendrųjų programų rezultatus. Taip yra todėl, kad atliekant vertinimus daugiausia dėmesio paprastai buvo skiriama trumpalaikiams programos įgyvendinimo klausimams. Tokiu būdu Komisijos atlikti vertinimai buvo mažai naudingi politikos formuotojams, suinteresuotosioms šalims ir net pačiai Komisijai.

114. Turint omeny vertinimo svarbą valdant programas ir formuojant politiką bei atsižvelgiant į naujus politinius iššūkius, padidėjusį finansavimą, Bendrijos mokslinių tyrimų politikos krypties išplėtimą ir neseniai Komisijos įvykdytą reformą, turi būti peržiūrėtas metodas, kuriuo Komisija vadovaujasi vertindama bendrąsias programas ir jų sudėtines programas. Tai taip pat rekomendavo EURAB savo 2007 m. ataskaitoje.

115. Audito Rūmų nuomone, naudojant aiškią intervencijos logiką kuriant bendrąsias programas ateityje, programos taptų labiau sutelktos į atitinkamus tikslus ir labiau struktūrizuotos. Tai taip pat prisidėtų prie Bendrijos „geresnio reguliavimo“ politikos, kuria siekiama sukurti nesudėtinga koncepcija paremtą paprastesnę, veiksmingesnę ir lengviau suprantamą reguliavimo aplinką (69).

116. Bendrųjų programų ir jų sudėtinių programų vertinimas būtų veiksmingesnis, jei iš pat pradžių būtų nustatyti aiškesni programos tikslai ir rodikliai, bendrąsias programas įgyvendinantys mokslinių tyrimų generaliniai direktoratai susitartų dėl griežtos, bet ne pernelyg suvaržančios vertinimo strategijos ir būtų naudojamos pažangesnės vertinimo metodikos, įskaitant kiekybinius metodus.

117. Audito Rūmai taip pat pažymėjo keletą aspektų, į kuriuos atsižvelgdama Komisija gali iš naujo nagrinėti dabartinę bendrųjų programų vertinimo organizacinę tvarką. Gali būti gauta naudos, jei — vertinimo komisijos į vertinimo procesą būtų anksčiau įtrauktos, tokiu būdu Komisijai teikiant pagalbą viso programavimo laikotarpio metu ir jam pasibaigus, taip pat jei būtų dažniau naudojamas specializacijos aspektas suburiant specialiosioms programoms ir, prireikus, paprogramėms nagrinėti skirtas vertinimo komisijas, — dabartinius konkrečius generalinių direktoratų vertinimo padalinius papildytų už bendrųjų programų vertinimų koordinavimą atsakinga bendra vertinimo tarnyba.

118. Šioje ataskaitoje pateiktos rekomendacijos yra grindžiamos arba Komisijoje naudojamais esamais metodais, arba tarptautine gerąja praktika. Tiesa, siūlomo programos vertinimo metodo įdiegimas pareikalautų didesnių išlaidų ištekliams. Tačiau Audito Rūmų nuomone, labai tikėtina, kad jos atsipirks ir gauta nauda bent jau prilygs patirtoms išlaidoms.

Šią ataskaitą Audito Rūmai priėmė Liuksemburge 2007 m. lapkričio 22 d. įvykusiame Audito Rūmų posėdyje. Audito Rūmų vardu Pirmininkas Hubert WEBER

(1) Pagal EBPO, mokslinius tyrimus ir plėtrą galima būtų apibrėžti kaip „… sistemingai atliekamą kūrybinį darbą, kuriuo siekiama pagilinti žinojimą, įskaitant žmogaus, kultūros ir visuomenės pažinimą, ir naudoti šias žinias kuriant naujus jų pritaikymo būdus“ (žr. EBPO Frascati vadovą – Siūlomas mokslinių tyrimų ir eksperimentinės plėtros tyrinėjimo standartas – Paryžius, 2002 m., p. 30). Bendrijos kontekste naudojamas RTD akronimas, apimantis technologijas, taip pat mokslinius tyrimus ir plėtrą.

(2) Mokslinių tyrimų generalinis direktoratas yra pagrindinis bendrąsias programas administruojantis ir koordinuojantis generalinis direktoratas. Iš kitų penkių generalinių direktoratų, kurie taip pat administruoja specialiąsias programas (jų dalis) svarbiausias yra Informacinės visuomenės ir žiniasklaidos generalinis direktoratas (kiti – Energetikos ir transporto generalinis direktoratas, Įmonių ir pramonės generalinis direktoratas, Žuvininkystės generalinis direktoratas ir Komisijos jungtinis tyrimų centras).

(3) 2000 m. Lisabonos Europos Vadovų Taryba apsibrėžė tikslą iki 2010 m. paversti ES dinamiškiausia, konkurencingiausia ir tvariausia žinių ekonomika pasaulyje, užtikrinančia visišką užimtumą ir didesnę ekonominę bei socialinę sanglaudą.

(4) 2002 m. Europos Vadovų Taryba sutarė, kad bendras moksliniams tyrimams, technologinei plėtrai ir naujovėms Europos Sąjungoje skiriamų lėšų lygis iki 2010 m. turėtų būti padidintas iki 3 % BVP. Ji taip pat nurodė, kad du šios naujos investicijos trečdalius turėtų padengti privatus sektorius (žr. Komisijos komunikatą Tarybai, Europos Parlamentui, Europos ekonomikos ir socialinių reikalų komitetui bei Regionų komitetui „Investavimas į mokslinius tyrimus: veiksmų planas Europai“, COM(2003) 226 galutinis, p. 7).

(5) Tiesioginio valdymo atveju Komisija atlieka būtinas su savo biudžeto vykdymo veikla susijusias operacijas, jose nedalyvaujant valstybėms narėms ar trečiosioms šalims, kuriose gyvena pagalbos gavėjai.

(6) 2006 m. vien tik BP6 dalyvavo daugiau nei 22 000 viešųjų ir privačių juridinių asmenų, daugiausia susibūrusių į kelių partnerių konsorciumus.

(7) Tai savanoriško tarpvyriausybinio bendradarbiavimo principu grindžiamas bendradarbiavimo metodas. Visų pirma, jis paremtas abipusiu mokymusi, lyginamąja analize ir dalijimusi geriausia praktika.

(8) 2002 m. birželio 25 d. Tarybos reglamento (EB, Euratomas) Nr. 1605/2002 (OL L 248, 2002 9 16, p. 1) 27, 48, 59 ir 60 straipsniai.

(9) Europos Komisija, Biudžeto generalinis direktoratas, D. Grybauskaitės Komisijai pateiktas komunikatas, parengtas jį derinant su Pirmininku: „Reagavimas į strateginius poreikius – dažnesnis vertinimo metodo panaudojimas“, SEC(2007) 213, 2007 m. vasario 21 d.; Europos Komisija, Biudžeto generalinis direktoratas, p. Schreyer Komisijai pateiktas komunikatas „Rezultatams skiriamas dėmesys: Komisijos veiklos vertinimo proceso stiprinimas“, SEC (2000) 1051, 2000 m. liepos 26 d.

(10) 2006 m. gruodžio 18 d. Europos Parlamento ir Tarybos sprendimo Nr. 1982/2006/EB dėl Europos bendrijos mokslinių tyrimų, technologinės plėtros ir demonstracinės veiklos septintosios bendrosios programos (2007–2013 m.) (OL L 412, 2006 12 30, p. 1) 7 straipsnio 1 dalis; Programų komitetams Komisijos turima suteikti stebėsenos informacija yra apibrėžta spendimuose dėl specialiųjų programų (žr., pvz., 2006 m. gruodžio 19 d. Tarybos sprendimo 2006/971/EB dėl specialiosios programos Bendradarbiavimas, įgyvendinančios Europos bendrijos mokslinių tyrimų, technologinės plėtros ir demonstracinės veiklos septintąją bendrąją programą (2007–2013 m.) (OL L 400, 2006 12 30, p. 86), 8 straipsnio 4 dalį ir V priedą).

(11) Europos Komisijos komunikatas Tarybai dėl su 1987–1991 m. Bendrijos mokslinių tyrimų ir technologinės plėtros įvertinimu susijusio Bendrijos veiksmų plano, COM(86) 660 galutinis, 1986 m. lapkričio 20 d., atsakant į 1983 m. birželio 28 d. Tarybos rezoliuciją.

(12) Europos Komisija, Europos Sąjungos mokslinių tyrimų ir technologinės plėtros programų penkerių metų laikotarpio įvertinimas, 1992–1996 m.; Nepriklausomų ekspertų komisijos, kuriai pirmininkavo Viscount Davignon, ataskaita (1997 m.); Europos Komisija, Europos Sąjungos mokslinių tyrimų ir technologinės plėtros programų penkerių metų laikotarpio įvertinimas, 1995–1999 m.; Nepriklausomų ekspertų komisijos, kuriai pirmininkavo Joan Majó, ataskaita (2000 m. liepos mėn.); Europos Komisija, Europos Sąjungos mokslinių tyrimų bendrųjų programų penkerių metų laikotarpio įvertinimas, 1999–2003 m.; Nepriklausomų ekspertų komisijos, kuriai pirmininkavo Erkki Ormala, ataskaita (2004 m. gruodžio 15 d.).

(13) Europos Komisija, Šeštosios pagrindinės programos naujų instrumentų veiksmingumo įvertinimas, 2004 m. birželio 21 d.; Aukštos kvalifikacijos ekspertų komisijos, kuriai pirmininkavo profesorius Ramon Marimón, ataskaita.

(14) Europos Komisija, Biudžeto generalinis direktoratas, p. Schreyer Komisijai pateiktas komunikatas „Rezultatams skiriamas dėmesys: Komisijos veiklos vertinimo proceso stiprinimas“, SEC(2000) 1051, 2000 m. liepos mėn.; Europos Komisija, Biudžeto generalinis direktoratas, Pirmininko ir p. Schreyer Komisijai pateiktas komunikatas „Vertinimo standartai ir geroji praktika“, C(2002) 5267, 2002 12 23.

(15) Europos Komisija, Biudžeto generalinis direktoratas, D. Grybauskaitės Komisijai pateiktas komunikatas, parengtas jį derinant su Pirmininku: „Reagavimas į strateginius poreikius – dažnesnis vertinimo metodo panaudojimas“, SEC(2007) 213, 2007 m. vasario 21 d.

(16) Europos Komisijos tarnybų darbo dokumentas „Poveikio ir ex ante įvertinimai“, SEC(2005) 430.

(17) Europos Parlamento pramonės, mokslinių tyrimų ir energetikos (ITRE) komitetas yra (visų pirma) atsakingas už pramonės politiką, mokslinių tyrimų politiką (įskaitant mokslinių tyrimų išvadų sklaidą ir panaudojimą), kosmoso politiką, Jungtinio tyrimų centro veiklą, Euratomo sutartį bei informacinę visuomenę ir informacines technologijas.

(18) CREST (pranc. Comité de la Recherche Scientifique et Technique, Mokslinių ir techninių tyrimų komitetas) įsteigtas 1974 m. sausio 14 d. Tarybos rezoliucija. Jį sudaro nacionalinių valdžios institucijų atstovai, atsakingi už valstybių narių mokslo ir technologijų politiką. CREST atlieka patariamąją funkciją, t. y. informuoja Komisiją ir Tarybą temomis, susijusiomis su nacionalinių mokslinių tyrimų ir technologijų plėtros politikų koordinavimu bei bendrųjų programų stebėsena ir vertinimu.

(19) Loginiai modeliai, rodantys, kaip indėliai skirtingose veiklos srityse duoda laukiamų rezultatų, yra pats tinkamiausias būdas intervencijos logikai apibūdinti. Pasitelkus šiuos modelius galima suprantamai paaiškinti prielaidas, kaip programa yra parengta ir kaip bendrieji tikslai yra skirstomi į veiklos tikslus.

(20) Europos Komisija, Biudžeto generalinio direktorato parengtas dokumentas „ES veiklos vertinimas: Komisijos tarnyboms skirtas praktinis vadovas“, 2004 m. liepos mėn., p. 87 ir 106.

(21) Europos Sąjungos mokslinių tyrimų bendrųjų programų penkerių metų laikotarpio įvertinimas, 1999–2003 m.: Nepriklausomų ekspertų komisijos, kuriai pirmininkavo Erkki Ormala, ataskaitos (2004 m. gruodžio 15 d.) 6 skirsnio „Bendrosios programos įvertinimas“ p. 19.

(22) Išorės pagalbą gaunančios šalys privalo pateikti loginius modelius, kad gautų Bendrijos finansavimą (Europos Komisija, Pagalbos teikimo metodai, 1 tomas, Projekto ciklo valdymo gairės, 2004 m. kovo mėn., 5 skirsnis „Loginės sistemos metodas“).

(23) Reglamento (EB, Euratomas) Nr. 1605/2002 27 straipsnio 3 dalis.

(24) 2006 m. politikos srities „Moksliniai tyrimai 08“ struktūra buvo sudaryta remiantis dabartinio BP6 programavimo laikotarpio specialiosiomis programomis (ir paprogramėmis), o 2007 m. jos struktūra buvo pakeista. Tuo tarpu „Informacinė visuomenė 09“ politikos srityje dabartinė ir ankstesnioji specialiosios programos buvo sujungtos į vieną biudžeto sudarymo pagal veiklos sritis veiklą (Europos Komisija, Mokslinių tyrimų generalinis direktoratas, A direktoratas: Bendrijos veiklos koordinavimas, planavimas, programavimas, vertinimas, 2006 m. metinis valdymo planas, 2005 12 20; Europos Komisija, Informacinės visuomenės ir žiniasklaidos generalinis direktoratas, 2006 m. metinis valdymo planas, 2005 12 23).

(25) Mokslinių tyrimų generalinio direktorato atveju veikla pagrįsto valdymo tikslai (ir rodikliai, naudojami jų pasiektiems tikslams įvertinti) kiekvienais metais vis keitėsi. Kita vertus, Informacinės visuomenės generalinis direktoratas naudojo daugiamečius tikslus, kurie nesutapo su programos tikslais (arba su tais, kurie buvo nurodyti darbo programoje).

(26) Europos Komisija, Vidaus audito tarnyba, Strateginio planavimo ir programavimo (veikla pagrįsto valdymo) ciklo efektyvumo ir rezultatyvumo peržiūra – SG ir Biudžeto GD, 2005 m.: 4.1 dalis, p. 31.

(27) Europos Komisija, Komisijos komunikatas Tarybai dėl Bendrijos veiksmų plano, susijusio su Bendrijos mokslinių tyrimų ir plėtros programų įvertinimu COM(83) 1 galutinis, 1983 m. sausio 19 d.

(28) Komisijos komunikatas Tarybai ir Europos Parlamentui dėl mokslinių tyrimų ir technologinės plėtros srityje Bendrijos vykdomos veiklos nepriklausomos išorės stebėsenos ir vertinimo, 1996 5 22 (COM(1996) 220 galutinis).

(29) Kiekvienas bendrąsias programas įgyvendinantis generalinis direktoratas savo planuojamus atlikti įvertinimus dokumentuoja metiniuose (ir daugiamečiuose) vertinimo planuose. Tačiau šie planavimo dokumentai negali būti laikomi vertinimo strategija kaip tokia.

(30) Reglamento (EB, Euratomas) Nr. 1605/2002 27 straipsnio 4 dalis.

(31) Loi de programme pour la recherche no 2006–450, 2006 m. balandžio 18 d. ir Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES), 2006 m. lapkričio 3 d.

(32) Agencia Nacional de Evaluación y Prospectiva under the Ministerio de Educación y Ciencia: 2005 m. gegužės 4 d. įsakymas ECI/1252/2005, kuriuo įsteigiama Comisión Asesora de Evaluación y Prospectiva (Patariamoji vertinimo ir prognozavimo komisija).

(33) 2004 m. Deutsche Forschungsgemeinschaft (DFG) įsteigė specializuotą institutą, Institut für Forschungsinformation und Qualitätssicherung (IFQ) ir suteikė jam įgaliojimus rengti ir standartizuoti vertinimo metodikas, vykdyti kokybės užtikrinimą ir atlikti DFG finansuojamos su moksliniais tyrimais ir technologine plėtra susijusios veiklos vertinimus.

(34) BP7 programos atveju Komisija buvo sukūrusi 15 ekspertų patariamųjų grupių, BP6–12 ekspertų patariamųjų grupių, o BP5–17 ekspertų patariamųjų grupių. Šios ekspertų patariamosios grupės konsultuoja Komisiją dėl politikos ir programos klausimų, susijusių su bendrosiomis programomis. Tačiau pažymėtina, kad šios ekspertų patariamosios grupės negali visiškai aprėpti bendrųjų programų programinės struktūros. Kitais žodžiais tariant, ne kiekvienai specialiajai programai (ar paprogramei) yra sukurta ekspertų patariamoji grupė.

(35) Kanadoje beveik visi federalinės vyriausybės departamentai yra įsteigę nuolatinius vertinimo komitetus, kuriuos sudaro vyresnieji departamentų pareigūnai ir dažnai išorės suinteresuotosios šalys, siekiant prižiūrėti vertinimo sistemos veikimą (Kanados socialinių mokslų ir humanitarinių mokslų mokslinių tyrimų taryba: Nuolatinis vertinimo komitetas – įgaliojimai ir narystė).

(36) Europos Komisija, 2004 m. priežiūros ataskaita „Veiklos vykdymas pagal EB ir Euratomo pagrindines ir atitinkamas specialiąsias programas“, 2005 m. rugpjūčio mėn., p. 5.

(37) Europos Komisija, „Komisijos žmogiškųjų išteklių planavimas ir optimizavimas siekiant atitikti ES prioritetus“, SEC(2007) 530, 2007 m. balandžio 24 d.

(38) Europos Komisija, Pirmininko ir p. Schreyer Komisijai pateiktas komunikatas „Vertinimo standartai ir geroji praktika“, C(2002) 5267, 2002 12 23; Europos Komisijos tarnybų darbo dokumentas „Poveikio ir ex ante įvertinimai“, SEC(2005) 430, 2005 m. balandžio 6 d., 1 priedas, išnaša Nr. 209.

(39) 2007 m. Europos tyrimų patariamasis komitetas (EURAB) taip pat rekomendavo padidinti bendrųjų programų vertinimui skiriamus išteklius (EURAB, „Rekomendacijos dėl ex post poveikio įvertinimo“, 2007 m. liepos mėn.).

(40) Specialiosios ataskaitos Nr. 1/2004 dėl netiesioginių mokslinių tyrimų ir technologinės plėtros veiksmų valdymo pagal mokslinių tyrimų ir technologinės plėtros penktąją bendrąją programą (BP5) (1998–2002 m.) (OL C 99, 2004 4 23), 116 ir 122 dalys.

(41) Europos Komisija, Biudžeto generalinis direktoratas, D. Grybauskaitės Komisijai pateiktas komunikatas, parengtas jį derinant su Pirmininku: „Reagavimas į strateginius poreikius – dažnesnis vertinimo metodo panaudojimas“, SEC(2007) 213, 2007 m. vasario 21 d.; Europos Komisija, Pirmininko ir p. Schreyer Komisijai pateiktas komunikatas „Vertinimo standartai ir geroji praktika“, COM(2002) 5267, 2002 12 23.

(42) 14 generalinių direktoratų turi tokius politikos sričių ir programų, už kurias jie yra atsakingi, vertinimo vadovus (Europos Komisija, Biudžeto generalinis direktoratas – Vertinimo padalinys, „Komisijoje naudojamų vertinimo vadovų apžvalga“, 2004 m. spalio mėn.).

(43) Fahrenkrog, G. et al, RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; „Assessing the Socio-economic Impacts of the Framework Programme“; Mančesterio universitetas; 2002.

(44) Nors Komisija paprastai turi tokią informaciją apie dalyvius, ja dažnai negalima lengvai pasinaudoti siekiant atlikti išsamią analizę, nes duomenys apie tam tikrą dalyvį nėra kaupiami vienoje vietoje arba jie yra nebūtinai registruojami pasitelkiant formatus, kurie būtų vienas su kitu suderinti. Dėl to sunku sekti, kaip su laiku dalyvis įsitraukia į procesą, pavyzdžiui, įvertinti nedalyvavimo priežastis, nustatyti santykius tarp dalyvių, pvz., tirti tinklų kūrimo rezultatus (žr. 84 dalį).

(45) 2006 finansinių metų metinės ataskaitos 2.3 lentelė; 2005 finansinių metų metinės ataskaitos 7.13 dalis; 2004 finansinių metų metinės ataskaitos 6.8 ir 6.10 dalys; 2003 finansinių metų metinės ataskaitos 6.9 ir 6.70 dalys; Specialiosios ataskaitos Nr. 1/2004 105–108 dalys; Nuomonės Nr. 1/2006 dėl Europos Parlamento ir Tarybos reglamento, nustatančio įmonių, mokslinių tyrimų centrų ir universitetų dalyvavimo Septintosios pagrindų programos veiksmuose ir mokslinių tyrimų rezultatų sklaidos taisykles (2007–2013 m.), pasiūlymo (OL C 203, 2006 8 25) 57 dalis.

(46) Europos bendrijos steigimo sutarties 173 straipsnis: „Kiekvienų metų pradžioje Komisija siunčia Europos Parlamentui ir Tarybai pranešimą. Pranešime pateikiama informacija apie mokslo tiriamuosius darbus ir technologijų plėtrą bei jos rezultatų skleidimą praėjusiais metais ir einamųjų metų darbo programa“.

(47) Nebuvo sistemingai stengiamasi rinkti duomenis iš dalyvių pasibaigus projektui, išskyrus konkrečias apklausas atliekant vertinimus. Pasinaudoti apklausos būdu sutrukdė tas faktas, kad dalyviai, priešingai nei daugelio nacionalinių mokslinių tyrimų ir technologinės plėtros programų (pvz., Vokietijoje) atveju, nėra teisiškai įpareigoti teikti tokius analitinius duomenis.

(48) Specialiosios ataskaitos Nr. 1/2004 94 dalis; Nuomonės Nr. 1/2006 56 dalis.

(49) 2006 finansinių metų metinės ataskaitos 7.33 dalis; 2005 finansinių metų metinės ataskaitos 7.8 ir 7.29 dalys; Nuomonės Nr. 1/2006 58–61 dalys.

(50) CORDIS – tai vienintelė visai bendrajai programai taikoma ir kelis programavimo laikotarpius apimanti duomenų bazė, teikianti informaciją apie pasiūlymus, projektus ir rezultatus, kuri yra prieinama ne Komisijos darbuotojams. Tačiau atrinkus pasiūlymą CORDIS bazėje įvesti atskirų projektų duomenys dažnai nėra atnaujinami. Tačiau ankstesnių ir BP6 programos metu bendrosiose programose dalyvaujantys privataus ir viešojo sektoriaus subjektai neprivalėjo skelbti savo rezultatų (Europos tyrimų patariamasis komitetas (EURAB), „Mokslinių rezultatų skelbimas: atviros prieigos politika“, 2006 m. gruodžio mėn.).

(51) Hanne Foss Hansen, „Choosing evaluation models: A discussion on evaluation design,“ Vertinimas, 11 tomas Nr. 4, 2005, p. 447–462.

(52) Ankstesnių ir BP6 programos metu bendrosiose programose dalyvaujantys privataus ir viešojo sektoriaus subjektai neprivalėjo skelbti savo mokslinių rezultatų. 2006 m. gruodžio mėn. EURAB rekomendavo padaryti skelbimą būtiną, kad visuomenė galėtų laisvai susipažinti su Bendrijos finansuojamais moksliniais tyrimais. Taip pat buvo pasiūlyta Komisijai sukurti internetinę paskelbtų projektų rezultatų saugyklą (žr. EURAB, „Mokslinių rezultatų skelbimas: atviros prieigos politika“, 2006 m. gruodžio mėn.).

(53) Pažymima, kad tokiais modeliais buvo naudojamasi planuojamos BP7 programos mikro ir makroekonominiams padariniams numatyti (žr. Europos Komisijos 2004 m. priežiūros ataskaitą „Veiklos vykdymas pagal EB ir Euratomo pagrindines ir atitinkamas specialiąsias programas“, 2005 m. rugpjūčio mėn., p. 23–25). Tačiau nėra jokių įrodymų, kad šis galimo bendrųjų programų ekonominio poveikio įvertinimas yra susijęs su kokiu nors ex post vertinimo planu.

(54) Informacinės visuomenės ir žiniasklaidos generalinis direktoratas, „Informacinės visuomenės technologijų (IST) bei mokslinių tyrimų ir technologinės plėtros stebėsena ir vertinimas: rezultatai ir poveikio rodikliai (2003–2004 m.)“, 2005 m.; „Naujovių tinklų informacinėje visuomenėje plėtojimas ir panaudojimas Europoje“, 2006 m.

(55) Informacinės visuomenės ir žiniasklaidos generalinis direktoratas „Europos mokslinių tyrimų erdvės tinklai – bendradarbiavimo tarp dalyvių informacinės visuomenės technologijų mokslinių tyrimų srityje bei tinklų plėtotės prisidedant prie bendradarbiavimo Europos mokslinių tyrimų erdvėje įvertinimas“ (galutinė ataskaita), 2005 m.; „Pažangos kuriant informacinės visuomenės technologijų Europos mokslinių tyrimų erdvę įvertinimas“, 2005 m.; „Naujovių tinklų informacinėje visuomenėje plėtojimas ir panaudojimas Europoje“, 2006 m.

(56) Informacinės visuomenės ir žiniasklaidos generalinis direktoratas, Mokslinių tyrimų poveikio vertinimų informacinės visuomenės technologijų srityje bendroji sutartis.

(57) EURAB, „Rekomendacijos dėl ex post poveikio įvertinimo“, 2007 m. liepos mėn.

(58) Europos Komisija, Europos Sąjungos mokslinių tyrimų bendrųjų programų penkerių metų laikotarpio įvertinimas, 1999–2003 m. Nepriklausomų ekspertų komisijos, kuriai pirmininkavo Erkki Ormala, ataskaitos (2004 m. gruodžio 15 d.) 1 priedas.

(59) Europos Komisija, „EB mokslinių tyrimų ir plėtros politikos poveikis Europos mokslo ir technologijų bendrijai; Nacionalinių poveikio tyrimų galutinė suvestinė ataskaita“ (1995 m.).

(60) Europos Komisija, „Suderintos ES mokslinių tyrimų ir plėtros bendrosioms programoms skirtos poveikio tyrimų metodikos planas“, 1992 m.

(61) Europos Komisijos tarnybų darbo dokumento „Europos mokslinių tyrimų erdvė: naujos perspektyvos“, SEC(2007) 412/2, 2007 m. balandžio 4 d., 3.3.3 skirsnio „Europos mokslinių tyrimų erdvė ir poveikis įrodymais grindžiamai stebėsenai ir vertinimui“ p. 93.

(62) Pažymėtina, kad projektų susitarimai dėl dotacijų yra pasirašomi viso programavimo laikotarpio metu; pirmieji susitarimai paprastai įsigalioja pasibaigus pirmiesiems programos metams. Šie susitarimai daugiausiai trunka nuo trejų iki penkerių metų, todėl galutinių išdirbių galima tikėtis anksčiausiai po ketverių–šešerių metų.

Šaltinis: Europos Audito Rūmai.

(63) Europos Komisija, Europos Sąjungos mokslinių tyrimų bendrųjų programų penkerių metų laikotarpio įvertinimas, 1999–2003 m.: Nepriklausomų ekspertų komisijos, kuriai pirmininkavo Erkki Ormala, ataskaitos (2004 m. gruodžio 15 d.) 6 skirsnio „Bendrosios programos įvertinimas“ p. 19.

(64) Europos Komisija, „Vertinimo priemonių komplektas – mokslinių tyrimų ir technologinės plėtros politikos socialinio ir ekonominio poveikio vertinimas“, vadinamasis „EPUB priemonių komplektas“, kurį išleido Jungtinis tyrimų centras – Naujų technologijų tyrimų institutas (NTTI) ir Joanneum Research (2002 m. rugpjūčio mėn.), Santrauka, p. 9 ir 12.

(65) Europos Komisija, Šeštosios pagrindinės programos naujųjų priemonių veiksmingumo įvertinimas, 2004 m. birželio 21 d., aukštos kvalifikacijos ekspertų komisijos, kuriai pirmininkavo profesorius Ramon Marimón, ataskaitos p. 20.

(66) Europos politikos vertinimo konsorciumas, Technopolis France, „Vertinimo rezultatų naudojimo Komisijoje tyrimas: galutinė ataskaita“, dokumentų paketas Nr.1, suvestinė ataskaita ir priedai, 2005 m. gegužės mėn.

(67) CREST respondentai, kurie dažnai taip pat yra ir programos komitetų nariai, nurodė, kad jie buvo labiau patenkinti tuo, kaip jie yra informuojami. Taip gali būti dėl to, kad jie atlieka formalų vaidmenį prižiūrint programos įgyvendinimą.

(68) Europos Komisijos tarnybų darbo dokumentas, 2004 m. metinė vertinimo peržiūra – Komisijos vertinimo metu nustatytų faktų ir veiklos apžvalga, SEC(2005) 587, 2005 m. balandžio 28 d.

(69) Europos Komisija, Biudžeto generalinis direktoratas, D. Grybauskaitės Komisijai pateiktas komunikatas, parengtas jį derinant su Pirmininku: „Reagavimas į strateginius poreikius – dažnesnis vertinimo metodo panaudojimas“, SEC(2007) 213, 2007 m. vasario 21 d. p. 4.

I PRIEDAS VIEŠOSIOS INTERVENCIJOS MOKSLINIŲ TYRIMŲ IR TECHNOLOGINĖS PLĖTROS SRITYJE POVEIKIO IR REZULTATŲ ĮVERTINIMAS Kai kurie pagrindiniai metodiniai sunkumai vertinant viešosios intervencijos mokslinių tyrimų ir technologinės