SK Úradný vestník Európskej únie C 26/1

OSOBITNÁ SPRÁVA č. 9/2007

o hodnotení rámcových programov EÚ v oblasti výskumu a technologického rozvoja – je možné zlepšiť prístup Komisie?, spolu s odpoveďami Komisie

(podľa článku 248 ods. 4 druhého pododseku Zmluvy o ES)

(2008/C 26/01)

OBSAH

I – V ZHRNUTIE

1 – 14 ÚVOD

1 – 7 Úloha Európskej únie v podpore činností v oblasti výskumu a technologického rozvoja

8 – 14 Hodnotenie a monitorovanie rámcových programov

15 – 18 ROZSAH AUDITU A AUDÍTORSKÝ PRÍSTUP

19 – 109 AUDÍTORSKÉ PRIPOMIENKY

19 – 37 Intervenčná logika, stanovovanie cieľov a ukazovatele výkonnosti

38 – 49 Stratégia hodnotenia

50 – 68 Organizovanie hodnotenia pri rámcových programoch

69 – 97 Metódy a techniky hodnotenia

98 – 109 Šírenie a využívanie zistení hodnotenia

110 – 118 CELKOVÝ ZÁVER

Príloha I: Meranie dosahu a výsledkov opatrení verejnej pomoci v oblasti výskumu a technologického rozvoja

Príloha II: Ustanovenia legislatívnych rozhodnutí týkajúce sa monitorovania a hodnotenia 4. RP až 7. RP

Príloha III: Hlavné rozdiely následného hodnotenia programov v oblasti výskumu medzi EÚ (4. RP – 6. RP), Spojenými štátmi americkými a Kanadou

Príloha IV: Navrhovaná štruktúra pracovnej skupiny pre 7. RP

Odpovede Komisie

ZHRNUTIE

I. Rámcové programy (RP) Spoločenstva v oblasti výskumu a technologického rozvoja sú najväčším verejným zdrojom financovania výskumu v Európskej únii. Za riadenie rámcových programov a hodnotenie výsledkov zodpovedá Komisia.

II. Pri audite sa kontrolovali mechanizmy monitorovania a hodnotenia zavedené v roku 1995 na posledné tri programové obdobia (4. RP, 5. RP, 6. RP) a takisto sa poskytol výhľad pre 7. RP (2007 – 2013). Audit sa vykonával v spolupráci s audítorským výborom EZVO a s pomocou nezávislých expertov.

III. Počas auditu sa riešila otázka, či bol prístup Komisie k posudzovaniu výsledkov rámcových programov primeraný. Dvor audítorov v tejto súvislosti kontroloval, či Komisia splnila právne požiadavky na hodnotenie a uistila sa, či jej systém hodnotenia a monitorovania splnil očakávania partnerov. Dvor audítorov konkrétne skúmal, či: i) rámcové programy a jednotlivé programy v rámci nich boli založené na stanovenej intervenčnej logike, ktorá by mohla byť spoľahlivým základom na hodnotenie a monitorovanie; ii) Komisia definovala stratégiu hodnotenia pre rámcové programy; iii) sa prostredníctvom organizačnej štruktúry systému Komisie na hodnotenie rámcových programov zabezpečilo, aby bolo hodnotenie náležite koordinované, s primeranými zdrojmi a aby ho zúčastnené strany považovali za dostatočne nezávislé; iv) boli metodiky uplatnené pri hodnotení uspokojivé; v) sa na základe činností súvisiacich s hodnotením a monitorovaním získali informácie a analýza, ktoré by viedli k zlepšeniu práve prebiehajúcich programov a mohli by sa využiť pri príprave rámcových programov v budúcnosti.

IV. Dvor audítorov dospel k týmto zisteniam a záverom: i) chýbajúca jasná intervenčná logika, nedostatočne definované ciele programu a neuspokojivé posúdenie výkonnosti boli prekážkami účinného monitorovania a hodnotenia; ii) chýbajúca komplexná stratégia hodnotenia schválená „generálnymi riaditeľstvami pre výskum“, ktoré implementujú rámcové programy, viedla k tomu, že rôzne oddelenia Komisie uplatňovali nejednotný prístup. To konkrétne dokazuje aj nedostatočné hodnotenie dôležitých súčastí rámcových programov; iii) hodnotenie rámcových programov sa uskutočnilo decentralizovaným spôsobom, zavedené mechanizmy na koordináciu generálnych riaditeľstiev, ktoré implementujú rámcové programy, boli neúčinné a ústredné oddelenia Komisie nemali právomoc presadzovať štandardy hodnotenia. „Generálne riaditeľstvá pre výskum“ však vo všeobecnosti dodržiavali formálne požiadavky Komisie týkajúce sa hodnotenia. Využitie pracovných skupín, v ktorých sú zastúpení významní nezávislí experti vymenovaní Komisiou, na hlavné hodnotenia bolo pre podmienky Spoločenstva vhodne zvolené. Tieto dočasné pracovné skupiny však neboli do procesu zapojené dostatočne včas na to, aby mohli ovplyvniť zhromažďovanie dôkazov, a neskôr mali len obmedzené možnosti sledovať vývoj príslušných otázok. Keďže sa využila len jedna spoločná pracovná skupina pre všetky rámcové programy (okrem pracovnej skupiny pre jeden špecifický program), konkrétnym otázkam týkajúcim sa rôznych vedeckých oblastí v rámci rámcových programov sa nevenovala dostatočná pozornosť; iv) poskytnuté metodické usmernenie nebolo dostatočné, hodnotitelia mali ťažkosti pri zhromažďovaní relevantných údajov a nevypracovali sa hodnotiace štúdie o dlhodobejších výsledkoch a vplyvoch rámcových programov na rozdiel od krátkodobých otázok týkajúcich sa implementácie programu; v) v dôsledku uvedených skutočností a takisto z toho dôvodu, že hodnotenia boli často vypracované príliš skoro na to, aby riešili najrelevantnejšie otázky, bol systém hodnotenia rámcových programov, ktorý mala Komisia k dispozícii, pre politických činiteľov, partnerov aj pre samotnú Komisiu užitočný len v obmedzenej miere. V dôsledku toho je k dispozícii len minimálne množstvo informácií o dosiahnutých cieľoch programu a výsledkoch rámcových programov.

V. Dvor audítorov odporúča: i) intervenčná logika by mala byť v právnych predpisoch v budúcnosti vyjadrená jasne. Je potrebné vysvetliť základné predpoklady, objasniť súvislosť medzi vedeckými a sociálno-ekonomickými cieľmi a vypracovať vhodné ukazovatele výkonnosti; ii) generálne riaditeľstvá, ktoré implementujú rámcové programy, by mali vytvoriť (a schváliť) komplexnú stratégiu hodnotenia. Konkrétne by toto opatrenie malo zahŕňať jednotný prístup, pokiaľ ide o minimálnu úroveň, na ktorej sa musí vykonať podrobné hodnotenie, aby sa zohľadnil špecifický charakter jednotlivých vedeckých oblastí; iii) malo by sa zvážiť zriadenie úradu pre spoločné hodnotenie na koordináciu hodnotiacich činností „generálnych riaditeľstiev pre výskum“ týkajúcich sa rámcových programov ako celku a vytvorenie systému pracovných skupín (a podskupín) zložených z nezávislých expertov. Tieto pracovné skupiny by mali byť vytvorené dostatočne včas na to, aby Komisii poskytli efektívnu pomoc na začiatku programovacieho obdobia, počas neho aj po ňom; iv) dátové požiadavky na hodnotenie a monitorovanie by sa mali náležite zanalyzovať a ostatné existujúce zdroje hodnotiacich údajov by sa mali využiť vo väčšom rozsahu. Komisia by mala takisto účastníkom vysvetliť požiadavky na predkladanie správ. A napokon by mala vypracovať podrobnú príručku na hodnotenie rámcových programov a vytvoriť širšiu škálu hodnotiacich metód a techník, ktoré sa využijú pri hodnoteniach v tejto oblasti; v) Komisia by tiež mala stanoviť, aký typ a rozsah hodnotenia je možné racionálne očakávať v lehotách stanovených v právnych predpisoch upravujúcich 7. RP, a objasniť, ako by sa hodnotenia dali využiť pri úprave programov (learning programmes) a ako môžu prispieť k rozhodnutiam o politike.

ÚVOD

Úloha Európskej únie v podpore činností v oblasti výskumu a technologického rozvoja

1. Výskum a technologický rozvoj (1) je hlavným hnacím mechanizmom vedeckého a technologického pokroku a inovácií a ako taký významne prispieva k zlepšovaniu životnej úrovne. Štátne zásahy v oblasti výskumu a technologického rozvoja sa vo všeobecnosti zdôvodňujú ako nápravné opatrenia tzv. „nedokonalostí trhu“, pričom verejná podpora znižuje neistotu prostredníctvom investícií, keď je výskum verejnoprospešný alebo v prípadoch významných externalít.

2. V článku 163 Zmluvy o ES sa definuje úloha spoločenstiev v oblasti podpory výskumu a technologického rozvoja a stanovuje sa, že „cieľom Spoločenstva je posilňovať vedeckú a technologickú základňu priemyslu Spoločenstva a podporovať rozvoj jeho konkurencieschopnosti na medzinárodnej úrovni pri podpore všetkých výskumných aktivít, ktoré sa pokladajú za nevyhnutné …“. V článkoch 164 až 173 sa určujú činnosti, ktoré sa majú vykonávať v tejto súvislosti, ako aj rozsah a implementácia viacročných rámcových programov (RP) v oblasti výskumu a technologického rozvoja. Komisia zodpovedá za predkladanie návrhov rámcových programov, kým rozhodnutia o rámcových programoch a pravidlá účasti a šírenia výsledkov výskumu sa prijímajú na základe spoločného rozhodnutia Európskeho parlamentu a Rady. Rada prijíma konkrétne programy samostatne. Rámcové programy spoločne implementuje šesť generálnych riaditeľstiev (GR), tzv. „generálne riaditeľstvá pre výskum“ (2).

3. Spomedzi mnohých rôznych politík, ktoré sa v Európskej únii implementujú s cieľom posilniť inovácie a konkurencieschopnosť, sú rámcové programy najdôležitejším finančným nástrojom, ktorý prispieva k Lisabonskej stratégii (3) a barcelonskému cieľu (4) na úrovni Spoločenstva.

4. Spoločenstvo prostredníctvom rámcových programov financuje výskumných pracovníkov v Európskej únii, pridružených krajinách a medzinárodných organizáciách. Ich rozpočty sa za posledné roky výrazne zvýšili, pričom v rámci 7. RP dosiahli 7 217 mil. EUR za rok oproti 2 761 mil. EUR v rámci 4. RP (pozri obrázok 1). Z hľadiska rozpočtových prostriedkov tvoria najväčšiu oblasť priameho centralizovaného hospodárenia v rámci Komisie (5).

5. Rámcové programy sa od mnohých národných programov líšia v tom, že zahŕňajú základný aj aplikovaný výskum s účasťou priemyselných a štátnych výskumných organizácií (6). Tvoria ich špecifické programy (a podprogramy), ktoré sa týkajú širokých vedeckých oblastí. Tieto programy spravidla pozostávajú z niekoľkých sfér, ktoré sa sústreďujú na konkrétnejšie vedecké oblasti. Tieto sféry sa následne implementujú prostredníctvom projektov (tzv. nepriame opatrenia) po výzve na predkladanie návrhov. Takto sa stovky jednotlivých projektov financujú podľa jednotlivých sfér.

6. Celkový podiel rámcových programov na celkovom verejnom financovaní oblasti výskumu a technologického rozvoja v Európskej únii a v jej členských štátoch tvorí 4 % až 5 %. Napriek tomu je vplyv financovania na rozhodovanie o tom, aký druh výskumných činností sa bude v Európe vykonávať, výrazne väčší, a to v dôsledku skutočnosti, že granty Spoločenstva tvoria vo všeobecnosti len časť celkového financovania projektu. Výskumní pracovníci musia okrem toho v žiadostiach o financovanie preukázať, že ich projekty sa týkajú cieľov stanovených vo výzvach na predkladanie návrhov. Týmto spôsobom rámcové programy podporujú orientáciu činností v oblasti výskumu a technologického rozvoja smerom ku konkrétnym cieľom EÚ.

7. V posledných rokoch sa rámcové programy výrazne zmenili v dôsledku: — nových politických výziev (Lisabonská stratégia a barcelonské ciele, zriadenie Európskeho výskumného priestoru a čoraz častejšie využívanie otvorenej metódy koordinácie (7) v politike výskumu a inovácií), — posunutia orientácie rámcových programov od jednoduchého riešenia technických problémov v rámci 4. RP a konkrétnych sociálnych problémov v rámci 5. RP k podpore spolupráce výskumných organizácií v rámci Európskeho výskumného priestoru a prispeniu k zriadeniu znalostnej ekonomiky a spoločnosti v rámci 6. RP a 7. RP, — dlhšieho programovacieho obdobia (predtým štvorročné, v súčasnosti sedemročné v prípade 7. RP v súlade s finančnými výhľadmi na roky 2007 – 2013), — väčšieho počtu členských štátov a zúčastnených krajín, — zvýšenej miery financovania, najmä v rámci súčasných finančných výhľadov, — zriadenia Európskej rady pre výskum a prenesenia právomocí za činnosti spojené s riadením programu na výkonné agentúry od 7. RP a — zvýšenej miery využívania rozsiahlych nástrojov financovania (napr. sietí excelencie, integrovaných projektov, projektov definovaných v článku 169, spoločných technologických iniciatív).

Hodnotenie a monitorovanie rámcových programov

8. Za implementáciu programu a hodnotenie jeho výsledkov zodpovedá Komisia (8). V rámci Komisie sa hodnotenie decentralizuje na generálne riaditeľstvá, pričom ústredie (najmä GR pre rozpočet a generálny sekretariát) poskytuje podporu a zabezpečuje koordináciu.

9. V tejto správe sa používajú vlastné definície Komisie a „hodnotenie“ je vymedzené ako „posúdenie zásahov vzhľadom na ich výsledky, vplyvy a potreby, ktoré majú uspokojiť“ (9), a „monitorovanie“ ako poskytovanie informácií o implementácii prebiehajúcich programov a projektov na účely potrieb riadenia (10). Týmto spôsobom sú tieto dve činnosti tiež rozlíšené v právnych predpisoch k súčasnému 7. RP.

10. Ďalej sa na opis výsledkov činností v oblasti výskumu a technologického rozvoja bude používať táto terminológia: — „výstupy“ sú znalosti, tovary a služby vyprodukované v priamom dôsledku verejného zásahu (publikácie, práce predložené na konferenciách, patenty, licencie, prototypy, štandardy, vyškolení vedeckí pracovníci atď.), — „účinky“ sú neskorším výsledkom spracovania výstupov používateľmi, — „dosah“ sú dlhodobé sociálno-ekonomické a politické zmeny, ktoré nastanú po verejnom zásahu. Rámček 1Príklad „globálnej siete pre mobilné komunikácie“ (GSM)V tomto prípade boli „výstupmi“ financovania Spoločenstva bezprostredné výsledky projektu, napríklad vytvorenie štandardu GSM. „Účinkom“ bolo jeho prijatie za digitálny štandard pre mobilné telefóny v rámci Európy a mimo nej, čo výrazne prispelo k rozvoju telekomunikačného priemyslu. A napokon „dosahom“ sú ekonomické, sociálne a politické dôsledky využívania tejto technológie na medzinárodnej úrovni, vrátane prispenia k vytváraniu pracovných miest v oblasti telekomunikácií a v súvisiacich priemysloch a zvýšenej dôležitosti tohto odvetvia priemyslu pre európsku ekonomiku. V konečnom dôsledku okrem toho GSM predstavuje nový spôsob komunikácie medzi ľuďmi.

11. S hodnotením výsledkov však súvisí niekoľko metodických ťažkostí (pozri prílohu I). Sociálno-ekonomické zmeny sú komplexné a z konkrétnejšieho hľadiska je často zložité zistiť vzťah medzi výskumnou činnosťou a zaznamenanými účinkami a dosahom. Hoci tieto metodické ťažkosti predstavujú značnú výzvu, nemusia byť nevyhnutne prekážkou účinnému hodnoteniu.

12. Komisia má zavedený systém monitorovania a hodnotenia rámcových programov od 1980. rokov (11). Od 4. RP v polovici 1990. rokov pozostával systém monitorovania a hodnotenia z niekoľkých čiastočne súvisiacich činností vrátane: — ročného monitorovania (najmä implementácie programu) a — päťročného posudzovania činností v rámci rámcových programov (a od 6. RP dodatočného posudzovania špecifických otázok). Obe činnosti sa museli vykonávať s pomocou nezávislých expertov (pozri obrázok 2 a prílohu II). Obrázok 2 4. RP až 7. RP – hlavné požiadavky na monitorovanie a hodnotenie 4. RP (1995 – 1998) 5. RP (1999 – 2002) 6. RP (2003 – 2006) 7. RP (2007 – 2013) dve hodnotenia (v polovici obdobia a konečné) pri všetkých 20 podprogramoch a navyše hodnotenie rámcového programu; konečné hodnotenie sa prekrýva s hodnotením 5. RP v polovici obdobia dve súbežné hodnotenia (v polovici obdobia) pri všetkých siedmich špecifických programoch a navyše hodnotenie rámcového programu jedno hodnotenie pri rámcovom programe a troch špecifických programoch v rámci neho (v polovici obdobia), nie však osobitne pri všetkých 20 podprogramoch doplnené špecifickým hodnotením a pravidelnými správami o dosiahnutom pokroku (t. j. monitorovacie správy) minimálne päť hodnotení (predbežné, v polovici obdobia a konečné) vrátane špecifických správ o dosiahnutom pokroku pred predbežným hodnotením 1. Predbežné: nie 1. Predbežné: nie 1. Predbežné: nie 1. Predbežné: zahrnuté v Hodnotení dosahu návrhu Komisie týkajúcom sa 7. RP (2005) 2. V polovici obdobia: — päťročné posúdenia: v polovici rámcového programu, pred nasledujúcim rámcovým programom (1997) 2. V polovici obdobia: — päťročné posúdenia, pred predložením návrhu nasledujúceho rámcového programu (2000) — pravidelné správy o dosiahnutom pokroku (t. j. monitorovacie správy) 2. V polovici obdobia: — hodnotenie účinnosti nástrojov (2004) — päťročné posúdenia, pred predložením návrhu nasledujúceho rámcového programu (2004) — pravidelné správy o dosiahnutom pokroku (t. j. monitorovacie správy) 2. V polovici obdobia: — následné, dva roky po ukončení predchádzajúceho rámcového programu (2008) — správa o dosiahnutom pokroku pred predbežným hodnotením (do roku 2010) — predbežné hodnotenie (2010) 3. Konečné: — pri ukončení rámcového programu (1999) 3. Konečné: nie 3. Konečné: nie [upravené rozhodnutím k 7. RP] 3. Konečné: dva roky po ukončení rámcového programu (2015), doložené konkrétnymi štúdiami, predbežné hodnotenie a ostatné hodnotiace činnosti sa vykonávajú počas celého trvania rámcového programu Zdroj: Pozri prílohu II.

13. Doteraz sa vykonali tri päťročné posúdenia (12), ktorých výsledkom boli Davignonova, Majóova a Ormalova správa (v danom poradí v rokoch 1997, 2000, 2004). GR pre informačnú spoločnosť okrem toho vykonalo cielené posúdenia vzhľadom na svoj špecifický program. Treba poznamenať, že päťročné posúdenia boli v právnych predpisoch k 7. RP zrušené, čím sa odstránilo obmedzenie, aby sa hlavné hodnotenia sústreďovali na predchádzajúcich päť rokov, a v dôsledku toho sa museli pokryť časti dvoch po sebe nasledujúcich programovacích období. V roku 2004 bola uverejnená aj Marimónova správa (13), ktorá obsahovala špecifické hodnotenie efektívnosti nových nástrojov zavedených v rámci 6. RP.

14. Rámec pre hodnotiace činnosti bol preskúmaný v rokoch 2000 a 2002 (14). Tieto oznámenia boli v roku 2007 aktualizované, pričom sa zohľadnili dôsledky administratívnej reformy Komisie a nové nariadenie o rozpočtových pravidlách (15). V týchto dokumentoch sa úloha a funkcia hodnotenia opisuje v kontexte všeobecného cyklu plánovania, programovania a predkladania správ Komisie a stanovuje sa súbor 21 štandardov hodnotenia, 18 modelov „osvedčených postupov“. Ďalej sa v týchto dokumentoch prerokúva využívanie hodnotenia pri príprave a zjednodušovaní právnych predpisov EÚ.

ROZSAH AUDITU A AUDÍTORSKÝ PRÍSTUP

15. Hlavným cieľom auditu bolo zistiť, či má Komisia primeraný prístup k posudzovaniu výsledkov rámcových programov v oblasti výskumu a technologického rozvoja.

16. Dvor audítorov na tento účel posudzoval, do akej miery: — sú rámcové programy a jednotlivé programy v rámci nich založené na jasnej intervenčnej logike, v súlade s ktorou je možné zmerať a posúdiť výstupy, účinky a dosah, čím by sa získal spoľahlivý základ na hodnotenie a monitorovanie, — sa definovala stratégia hodnotenia pre rámcové programy, prostredníctvom ktorej by sa podporilo účinné a jednotné hodnotenie, — sa prostredníctvom organizačnej štruktúry systému hodnotenia zabezpečilo, aby bolo hodnotenie náležite koordinované s ohľadom na všetky rámcové programy, s primeranými zdrojmi a aby ho zúčastnené strany považovali za dostatočne nezávislé, — použité metódy zabezpečujú, že sa príslušné problémy riešia vhodným spôsobom, aby bolo hodnotenie vnímané ako spoľahlivé, a — činnosti súvisiace s hodnotením a monitorovaním poskytujú informácie a analýzu, ktoré by sa mohli využiť na zlepšenie prebiehajúcich programov (learning programmes) a pri príprave budúcich rámcových programov.

17. V tejto správe sú obsiahnuté príslušné úpravy pre 4. RP (1995 – 1998), 5. RP (1999 – 2002) a 6. RP (2003 – 2006). Takisto sa v nej rozoberajú právne požiadavky, ktoré sú v súčasnosti platné v rámci 7. RP (2007 – 2013), neobsahuje však posúdenie Hodnotenia dosahu a predbežného hodnotenia (16), ktoré vypracovala Komisia. Správa sa zameriava na monitorovanie a následné hodnotenie programov, nie však na predbežné hodnotenie návrhov projektov ani na následné hodnotenie samotných projektov.

18. Audit sa vykonával v spolupráci s audítorským výborom EZVO a s pomocou nezávislých expertov. Audítorské dôkazy sa zbierali týmito spôsobmi: — audítorskou činnosťou v Komisii (preskúmanie dokumentácie a rozhovory so zamestnancami), vrátane identifikácie právnych a zákonných požiadaviek, preskúmania cieľov a kritérií výkonnosti, analýzy viac než 80 monitorovacích a hodnotiacich správ a analýzy organizácie činností v súvislosti s hodnotením v rámci Komisie, — prostredníctvom rozhovorov s viac než 90 expertmi, ktorí boli označení ako partneri na úrovni členských štátov a pridružených krajín (Česká republika, Nemecko, Estónsko, Španielsko, Francúzsko, Taliansko, Luxembursko, Holandsko, Rakúsko, Fínsko, Švédsko, Spojené kráľovstvo a Nórsko), — pomocou prieskumov s inštitucionálnymi partnermi vo výbore Európskeho parlamentu ITRE (17) a výbore Rady CREST (18), — prostredníctvom konzultácií s viac než 65 expertmi v oblasti hodnotenia výskumu v Spojených štátoch amerických a Kanade v rámci medzinárodnej porovnávacej skupiny, — preskúmaním odbornej literatúry o súčasných trendoch v oblasti hodnotenia výskumu a — diskusiami o kontrolných zisteniach, záveroch a odporúčaniach s odborníkmi v oblasti hodnotenia výskumu z Európy a Severnej Ameriky počas série skupinových diskusií, ktoré viedol externý moderátor, vo februári 2007.

AUDÍTORSKÉ PRIPOMIENKY

Intervenčná logika, stanovovanie cieľov a ukazovatele výkonnosti

19. Účinné hodnotenie a monitorovanie si vyžaduje jasné ciele a primerané ukazovatele výkonnosti na politickej úrovni, na úrovni programu aj projektu, prostredníctvom ktorých sa posúdia výsledky verejného zásahu. Z osvedčených postupov v ostatných rozpočtových oblastiach EÚ a mimo nej vyplýva, že tieto ciele a ukazovatele by mali byť definované v rámci intervenčnej logiky.

20. Intervenčnú logiku je možné definovať ako súbor hypotetických spojení príčiny a dôsledku, ktoré charakterizujú, akým spôsobom sa majú dosiahnuť všeobecné ciele (19). V usmerneniach Komisie k hodnoteniu sa stanovuje, že intervenčná logika poskytuje koncepčné spojenie medzi vstupmi opatrení pomoci a vytváraním jej výstupov, a následne dosahom na spoločnosť z hľadiska výsledkov a účinkov (20). V celej tejto správe je použitá táto definícia.

21. Dvor audítorov posudzoval, do akej miery sa stanovila intervenčná logika pre rámcové programy a jednotlivé programy v rámci nich, čím sa získal spoľahlivý základ na hodnotenie a monitorovanie.

Intervenčná logika pre rámcové programy nebola jasná

22. Definícia intervenčnej logiky by mala byť od začiatku kľúčovým prvkom návrhu programu. Článok 163 Zmluvy o ES, v ktorom je vyjadrená potreba posilnenia vedeckej a technologickej základne a zvýšenia konkurencieschopnosti, by mal predstavovať východiskový bod pre takúto intervenčnú logiku pre rámcové programy (pozri bod 2). Článok by mal byť presnejšie formulovaný, pokiaľ ide o rôzne vedecké oblasti, na ktoré sa vzťahujú rámcové programy, a rozličné použité nástroje.

23. Jasný logický model, prostredníctvom ktorého by sa vysvetlilo, akým spôsobom rámcové programy a jednotlivé programy v rámci nich prispievajú k vedeckému a technologickému pokroku a inováciám, však chýba na všetkých úrovniach.

24. Na chýbajúcu intervenčnú logiku pre rámcové programy upozornila aj pracovná skupina pre päťročné posúdenie v roku 2004, ktorá uviedla, že „… od pracovných skupín, ako je tá naša, sa požaduje, aby vyplnili medzeru medzi dôkazmi zozbieranými na úrovni projektu a vyššou úrovňou sociálno-ekonomických cieľov politiky výskumu. V súčasnosti je však pre spôsob, akým sa plánuje rámcový program, zložité vytvoriť toto spojenie. Chýba tu jasná logika, ktorá by dala do súvisu najvyššie ciele s konkrétnymi výskumnými cieľmi a cieľmi týkajúcimi sa znalostí“ (21).

25. Niektoré členské štáty (napr. Holandsko, Fínsko), ako aj Spojené štáty americké (pozri obrázok 3) majú iný prístup, pričom definovanie intervenčnej logiky je oveľa bežnejšie, a v Kanade je povinné pri všetkých programoch (pozri prílohu III). Definovanie intervenčnej logiky pri navrhovaní programov v týchto štátoch preto vedie k lepšie zameraným a štruktúrovanejším programom. Komisia ich zavádza aj v iných oblastiach politiky Spoločenstva (napr. vonkajšia pomoc) (22). Obrázok 3 Definícia hierarchie cieľov založenej na modeloch logiky – príklad poľnohospodárskeho výskumu v Spojených štátoch amerických Politika Program Projekt Cieľ politiky : prispievať k zlepšeniu životnej úrovne rodín poľnohospodárov Účel : zvýšenie poľnohospodárskej produkcie, produktivity a príjmov domácností poľnohospodárov Cieľ programu : prispievať k zvyšovaniu poľnohospodárskej produkcie, produktivity a príjmov domácností poľnohospodárov Očakávaný výsledok : častejšie využívanie skvalitnených poľnohospodárskych technológií v cieľovej skupine poľnohospodárov Účel : častejšie využívanie skvalitnených poľnohospodárskych technológií farmármi (napr. ryža) Cieľ projektu : prispievať k častejšiemu využívaniu odporúčaných skvalitnených technológií Očakávaný výsledok : poskytnutie/šírenie odporúčaní pre cieľovú skupinu poľnohospodárov Účel : poskytnutie odporúčaní skvalitnených technológií vhodných pre cieľovú skupinu poľnohospodárov Očakávané výsledky (napr.): 1. určenie technológií na základe priorít poľnohospodárov 2. vytvorenie a úprava technológií 3. overenie technológií na poľnohospodárskych plochách Zdroj: Národná rada Spojených štátov amerických pre poľnohospodársky výskum.

26. Nestanovenie základnej logiky opatrení verejnej pomoci a očakávaných príčinných súvislostí (na základe ktorých sa potom plánujú podrobnosti programu a implementuje a hodnotí samotný program) sťažuje účinné hodnotenie a monitorovanie rámcových programov. To sa týka najmä spôsobu definovania cieľov a ukazovateľov výkonnosti.

Bez jasného modelu logiky je ťažšie stanoviť koherentné ciele programu

27. Nevyjasnenie základnej logiky opatrení verejnej pomoci sťažuje koherentné stanovenie a štruktúrovanie cieľov programu. To dokazuje skutočnosť, že: — nie je jasné, ako ciele rámcových programov súvisia s cieľmi politiky, napríklad so všeobecným cieľom stanoveným v článku 163 Zmluvy o ES alebo cieľmi uvedenými v Lisabonskej stratégii a barcelonskej deklarácii (pozri body 2 a7), — vzťah medzi jednotlivými cieľmi programu na rôznych úrovniach legislatívy (napríklad rozhodnutie o rámcových programoch, rozhodnutie o konkrétnom programe a pravidlá účasti a šírenia), ako aj medzi základnými aktmi a programami práce Komisie nie je vždy jasný.

28. Komisia sa pokúsila stanoviť operačné ciele v programoch práce na základe programových cieľov definovaných v právnych predpisoch k rámcovým programom. Takmer vo všetkých prípadoch však tieto iniciatívy nedokázali objasniť základnú logiku programov a ciele stanovené v programoch práce neboli konkrétne, merateľné, dosiahnuteľné, relevantné a načasované (SMART). V roku 2003 sa táto požiadavka právne stanovila v nariadení o rozpočtových pravidlách (23).

29. Nie je jasné, v akej miere sa v konkrétnych programoch, programoch práce a vo výzvach na predkladanie návrhov jednotlivých projektov spolufinancovaných Spoločenstvom odrážajú ciele politiky. Kým sa tieto súvislosti neobjasnia, nie je možné posúdiť prispenie rámcových programov a jednotlivých programov v rámci nich k dosiahnutiu týchto cieľov politiky. Pri audite sa zistilo, že Komisia vo svojich hodnoteniach neposkytla žiadne alebo len minimálne presvedčivé dôkazy o dosiahnutí dlhodobejších cieľov na úrovni projektov a na úrovni programu (pozri bod 82).

Absencia jasnej intervenčnej logiky a jasne stanovených cieľov sťažuje vypracúvanie ukazovateľov výkonnosti

30. Absencia jasného logického modelu a jasne stanovených programových cieľov natoľko sťažila vytvorenie ukazovateľov výkonnosti pre monitorovanie dosiahnutia programových cieľov z hľadiska výstupov, účinkov a dosahu, že doteraz sa vôbec nedefinovali takého ukazovatele „efektívnosti“ pre všetky rámcové programy (pozri bod 73).

31. V tejto situácii je sťažené aj preskúmanie prebiehajúcich projektov financovaných v rámci týchto programov, ako aj následné hodnotenie ukončených programov, čo ďalej komplikuje celkové hodnotenia od úrovne projektov až po úroveň programu (pozri prílohu I a bod 84).

ABB/ABM v podobe, v akej sú implementované v súčasnosti, nie sú vhodnými nástrojmi na meranie výkonnosti rámcových programov

32. Niektoré ukazovatele, ktorými sa zisťuje efektívnosť implementácie programu (napr. čas na uzatvorenie zmluvy, čas na vykonanie platby), sú zahrnuté do ročných správ Komisie o monitorovaní a vyskytujú sa aj v kontexte systému Komisie týkajúceho sa riadenia založeného na činnosti (Activity-Based Management – ABM).

33. Aj keď však „generálne riaditeľstvá pre výskum“ implementovali ten istý špecifický program (alebo podprogram), doteraz neuplatnili štandardizovanú alebo porovnateľnú nomenklatúru zostavovania rozpočtu podľa činností (Activity-Based Budgeting – ABB) a súvisiace ukazovatele. Preto tieto ukazovatele nie je možné použiť na porovnanie výkonnosti medzi programami a v rámci nich. Rámček 2ABB/ABM v podobe, v akej ich implementujú „generálne riaditeľstvá pre výskum“V systéme ABB/ABM sa na rámcové programy vzťahujú dve rôzne oblasti politiky, v rámci ktorých sa činnosti v rámcovom programe predkladajú podľa nomenklatúry špecifickej pre jednotlivé generálne riaditeľstvá (24). To sa týka aj tých špecifických programov a podprogramov, ktoré implementujú viaceré generálne riaditeľstvá. Ciele ABM sa definovali podľa rôznych základných zásad (25) a, ako naznačil útvar vnútorného auditu Komisie (26), väčšinou boli formulované všeobecne a opisovali snahy a činnosti. Ukazovatele sa vo všeobecnosti zameriavali na vstupy (napr. počet zasadnutí atď.). Pri niektorých sa zohľadnila efektívnosť procesu (napr. čas na uzatvorenie zmluvy, čas na vykonanie platby), avšak pre rozdiely v nomenklatúre ABB, predpoklady špecifické pre generálne riaditeľstvá (napr. začiatok a ukončenie konkrétnych administratívnych procesov) a odlišnú základnú vzorku (napr. typ dohody o grante, typ platby), ktorá sa brala do úvahy pri ich výpočte, neboli porovnateľné medzi programami a generálnymi riaditeľstvami.

Odporúčania

34. Komisia by mala pri budúcich návrhoch právnych predpisov určených Rade a Európskemu parlamentu stanoviť jasnú intervenčnú logiku pre rámcové programy ako celok, ako aj pre ich jednotlivé časti. 35. V prípade 7. RP by Komisia mala: — jasne opísať ciele rámcového programu a jednotlivých špecifických programov (a podprogramov) v rámci neho a spôsob ich dosiahnutia, — objasniť súvislosť medzi vedeckými a sociálno-ekonomickými cieľmi jednotlivých špecifických programov (a podprogramov), — a definovať relevantné prevádzkové ciele. 36. Na účely systému monitorovania 7. RP by Komisia mala pre každý špecifický program (a podprogram) zaviesť malý, ale vyvážený súbor ukazovateľov výkonnosti na meranie „efektívnosti“ a „účinnosti“ implementácie programu. 37. „Generálne riaditeľstvá pre výskum“ by mali zosúladiť nomenklatúru ABM/ABB, aby boli ukazovatele výkonnosti porovnateľné z časového hľadiska, ak je to možné, aj medzi špecifickými programami (a podprogramami).

Stratégia hodnotenia

38. Stratégia hodnotenia predstavuje koncepčný rámec, v ktorom sa navrhujú, plánujú, uskutočňujú a využívajú činnosti týkajúce sa hodnotenia. Z osvedčených postupov v ostatných rozpočtových oblastiach EÚ a mimo nej vyplýva, že pri stratégii by sa mali zohľadniť hlavné právne, organizačné a metodické otázky týkajúce sa hodnotenia programov. To zahŕňa rozhodnutie o tom, ktoré hodnotenia sa majú uskutočniť, kto a kedy ich má vykonať, ako sa majú zbierať údaje, aké metodické prístupy sa majú použiť a ako sa majú oznamovať zistenia a prijímať k nim následné opatrenia.

39. Zavedenie a implementácia takejto stratégie je nevyhnutným predpokladom uvedenia hodnotenia do organizačnej kultúry a procesu rozhodovania Komisie. Dvor audítorov však uznáva, že vzhľadom na rozmanitosť vedeckých oblastí, na ktoré sa rámcové programy vzťahujú, by takáto stratégia mala všetkým zodpovedným generálnym riaditeľstvám poskytovať dostatočnú flexibilitu a nemala by byť príliš obmedzujúca.

40. Dvor audítorov kontroloval, do akej miery Komisia zaviedla takúto stratégiu hodnotenia rámcových programov.

Chýbajúca komplexná stratégia hodnotenia rámcových programov

41. Komisia prvýkrát zverejnila svoj prístup k hodnoteniam rámcových programov v 1980. rokoch (27). Strategický prístup bol aktualizovaný v roku 1996, keď Komisia informovala Európsky parlament a Radu o základných zásadách monitorovania a hodnotenia, ktoré v tom čase považovala za relevantné, a stanovila si plánovaný prístup po prijatí 4. RP (28). To však nepredstavovalo komplexnú stratégiu hodnotenia vymedzenú v predchádzajúcich bodoch (pozri body 38 a 39). Komisia navyše v rokoch 1996 až 2006 podrobnejšie neprehodnotila svoj prístup k hodnoteniu 5. RP a 6. RP napriek tomu, že sa zmenil rozsah aj orientácia rámcových programov (pozri bod 7). Generálne riaditeľstvá pre výskum sa nedohodli na jednotnom prístupe k hodnoteniu rámcových programov a jednotlivých programov v rámci nich, odhliadnuc od právnych požiadaviek prijatých v roku 1999 (pre 5. RP), v roku 2002 (pre 6. RP) a v roku 2006 (pre 7. RP) (29).

42. V prípade súčasného programovacieho obdobia predstavuje chýbajúca stratégia hodnotenia tejto oblasti osobitný problém z hľadiska spoločnej implementácie 7. RP viacerými generálnymi riaditeľstvami, Európskou radou pre výskum a výkonnými agentúrami, ako aj z hľadiska rotácie zamestnancov na citlivých pozíciách, ktorá je stanovená v nariadení o rozpočtových pravidlách. Absencia stratégie hodnotenia je tiež v rozpore s terajšou praxou v oblasti vonkajšej pomoci (ktorá je druhou najväčšou oblasťou priameho riadenia Komisie). Pokiaľ ide o túto oblasť, príslušné generálne riaditeľstvá sa od roku 2002 dohodli na spoločných viacročných stratégiách hodnotenia, ktoré sú prepojené s programovacími obdobiami (pozri bod 52).

43. Absencia jasne formulovanej stratégie hodnotenia je takisto v ostrom kontraste so situáciou v Spojených štátoch amerických a Kanade, kde sa stanovenie stratégie vyžaduje v právnom rámci (pozri prílohu III).

44. Ako je uvedené ďalej, v pokrytí a intenzite hodnotení rámcových programov sú výrazné rozdiely. Okrem toho sa vyskytli aj iné nedostatky, napríklad problémy pri koordinácii, rozdiely v metodických prístupoch, problémy s načasovaním a nedostatky v oznamovaní zistení hodnotenia a prijímaní následných opatrení k nim, čo je predmetom ďalších častí správy. Tieto nedostatky odrážajú absenciu komplexnej stratégie hodnotenia rámcových programov.

Rozdiely v pokrytí a intenzite hodnotení rámcových programov

45. Rámcové programy tvorí niekoľko špecifických programov (a podprogramov), ktoré sa z hľadiska účelu, základnej dynamiky a rozpočtových prostriedkov môžu výrazne líšiť (pre 7. RP pozri prílohu IV). Z celkového hľadiska z konkrétnych ustanovení rozhodnutí o rôznych rámcových programoch, ako aj z ustanovení nariadenia o rozpočtových pravidlách (30) (v ktorom sa požaduje hodnotenie programov a činností, na ktoré sa vynakladá značné množstvo výdavkov) vyplýva, že zákonná požiadavka na hodnotenie rámcového programu ako celku a väčšiny jednotlivých špecifických programov v rámci neho platí od 4. RP.

46. Komisia zatiaľ nestanovila pravidlo o tom, kedy sa majú hodnotiť špecifické programy alebo podprogramy v rámci rámcového programu, a takisto neurčila ani spoločnú hornú hranicu, nad ktorou sa hodnotenie musí vykonať. To viedlo k nejednotným výkladom toho, čo by sa malo hodnotiť a nakoľko podrobne: — GR pre informačnú spoločnosť považovalo program IST za hlavný výdavkový program a v roku 2004 zorganizovalo kompletné päťročné posúdenie súbežne s hodnotením rámcového programu ako celku, — GR pre výskum neorganizovalo systematicky takého posúdenie na úrovni špecifických programov napriek tomu, že výška rozpočtových prostriedkov pridelených na niekoľko programov, za ktoré zodpovedá, bola porovnateľná.

47. V dôsledku toho sa pri päťročnom posudzovaní v roku 2004 vôbec nehodnotili veľké časti programov v rámci 4. RP a 5. RP (ktoré predstavovali 30 % všetkých rozpočtových prostriedkov na 4. RP a 50 % na 5. RP). To znamená, že Komisia nesplnila požiadavky na hodnotenie stanovené v článku 27 nariadenia o rozpočtových pravidlách.

48. Rozdielne výklady minimálnych právnych požiadaviek na hodnotenie a následné nedostatočné hodnotenie rámcových programov v minulosti poukazujú na chýbajúcu koordináciu a na dôsledok absencie stratégie Komisie týkajúcej sa hodnotenia rámcových programov.

Odporúčania

49. „Generálne riaditeľstvá pre výskum“ by mali bezodkladne vypracovať a schváliť spoločnú stratégiu hodnotenia rámcových programov. Táto stratégia by mala zahŕňať jednotný prístup k hodnoteniu rámcových programov a jednotlivých programov v rámci nich, zároveň by však nemala byť príliš obmedzujúca. Takisto by mala poskytovať usmernenie, pokiaľ ide o minimálnu úroveň, na ktorej sa musí vykonať podrobné hodnotenie, aby sa zohľadnil špecifický charakter jednotlivých vedeckých oblastí.

Organizovanie hodnotenia pri rámcových programoch

50. Hodnotenie rámcových programov musí byť založené na vhodných organizačných opatreniach, ktoré by mali vyplývať zo strategickej orientácie Komisie v súvislosti s hodnotením rámcových programov. Dvor audítorov kontroloval, do akej miery sa prostredníctvom organizačnej štruktúry zabezpečilo, aby bolo hodnotenie náležite koordinované, s primeranými zdrojmi a aby ho zúčastnené strany považovali za dostatočne nezávislé.

Komisia

Rámcové programy spoločne implementuje niekoľko generálnych riaditeľstiev, pričom zodpovednosť za hodnotenie je decentralizovaná

51. V rámci Komisie zodpovednosť za hodnotenie výdavkových programov spočíva na jednotlivých generálnych riaditeľstvách (pozri bod 8) a v rámci každého generálneho riaditeľstva bol zriadený útvar pre hodnotenie. Tieto útvary zodpovedajú za plánovanie, koordináciu a vykonávanie hodnotení.

52. Absencia špecifického orgánu pre koordináciu alebo jediného subjektu zodpovedného za hodnotenie rámcových programov ako celku, napríklad úradu pre hodnotenie „generálnych riaditeľstiev pre výskum“, je v rozpore s ostatnými oblasťami politiky. Napríklad v oblasti vonkajšej pomoci tri generálne riaditeľstvá (rozvoj, vonkajšie vzťahy a EuropeAid) vytvorili spoločný útvar pre hodnotenie, aby zhodnotili rozvojové programy Komisie v tretích krajinách (pozri bod 42).

53. GR pre výskum prostredníctvom internej hodnotiacej siete Komisie v oblasti výskumu a technologického rozvoja zabezpečuje výmenu informácií medzi útvarmi pre hodnotenie a rôznymi generálnymi riaditeľstvami, nemá však právomoc stanovovať minimálne požiadavky na hodnotenie. Tento mechanizmus však nepostačuje na zabezpečenie primeranej koordinácie hodnotenia rámcových programov Komisie.

54. Komisia v rokoch 2000 a 2002 a znovu v roku 2007 (pozri bod 14) prehodnotila svoj všeobecný prístup k hodnoteniu. Hoci sa nezaznamenali žiadne výrazné zlepšenia plánovania, navrhovania a vykonávania hodnotení rámcových programov a jednotlivých programov v rámci nich, „generálne riaditeľstvá pre výskum“ vo všeobecnosti dodržali formálne požiadavky platné pre celú Komisiu.

Ústredné oddelenia Komisie: úloha stanovenia štandardov, avšak bez právomoci dohliadať nad ich implementáciou

55. Ústredné oddelenia Komisie (najmä GR pre rozpočet a generálny sekretariát) poskytujú metodické poradenstvo, definujú spoločné štandardy v rámci Komisie ako celku a monitorujú spôsob uplatňovania štandardov generálnymi riaditeľstvami a oddeleniami (pozri body 14 a 70). Nemajú však právomoc rozhodovať o spôsobe vykonávania hodnotení.

56. Zo skúseností v Spojených štátoch amerických a Kanade vyplýva, že právomoc útvarov dohliadať na implementáciu štandardov, ktoré samy stanovili, napomáha pri zabezpečovaní účinného fungovania systému hodnotenia. V oboch krajinách federálne ministerstvá stanovujú rámec, v ktorom sa posudzuje dosah programu, a zároveň dohliadajú na jeho implementáciu (pozri prílohu III). Hoci je prostredie v týchto krajinách odlišné, ich systémy sú založené na tej istej základnej zásade, že návrh systému hodnotenia má podrobnejšie hodnotiť a jeho efektívnosť skúmať iný orgán ako ten, ktorý program implementuje. Zistilo sa, že niektoré členské štáty [napr. Francúzsko (31), Španielsko (32), Nemecko (33)] uplatňujú ten istý postup, pričom nezávislé orgány dohliadajú na hodnotenia, ktoré vykonávajú financujúce agentúry, alebo dokonca tieto orgány samotné vykonávajú hodnotenia.

Pracovné skupiny

Pracovné skupiny nezávislých expertov: požadujú sa v legislatíve k rámcovým programom od 4. RP

57. Od 4. RP musia všetky hlavné hodnotenia (a ročné monitorovanie) rámcových programov vykonávať pracovné skupiny nezávislých expertov (prípadne sa musia vykonávať s ich pomocou) (pozri prílohu II). Napriek ťažkostiam pri hľadaní vhodných expertov môžu tieto pracovné skupiny potenciálne zabezpečiť transparentnosť, istý stupeň nezávislosti, umožniť zainteresovanosť partnerov a využitie poznatkov o samotných rámcových programoch, hodnotení a základných vedeckých otázkach.

58. To sa potvrdilo aj pri prieskumoch Dvora audítorov, z ktorých vyplynulo, že respondenti považovali systém hodnotenia Komisie založený na pracovných skupinách za záruku nezávislosti (pozri obrázok 4).

Nedostatky prístupu, pri ktorom sa využívajú pracovné skupiny, v podobe, v akej ho implementuje Komisia

59. Napriek tomuto pozitívnemu vnímaniu členovia pracovných skupín a zúčastnené strany počas auditu Dvora audítorov uviedli, že využívanie pracovných skupín na hodnotenia rámcových programov poznačili tieto nedostatky: — hodnotiace pracovné skupiny sa zväčša vytvárajú menej než rok pred konečnou lehotou ich správy a zasadajú len niekoľkokrát. To členom pracovných skupín sťažuje možnosť ovplyvniť definíciu údajov a analýzy potrebnej pre ich prácu. Keďže sú tieto skupiny okrem toho vytvárané ad hoc a dočasne, nie je jednoduché zhromaždiť informácie o programoch a k relevantným otázkam nie je možné dlhodobo prijímať následné opatrenia. Tento nedostatok sa prejavuje najmä, ak sa (ako pri 7. RP) na celé programovacie obdobie naplánuje niekoľko hlavných hodnotení (pozri prílohu II). Táto prax je tiež v rozpore s postupom Komisie týkajúcim sa expertných poradenských skupín pre rámcové programy, ktoré sú stálymi orgánmi (34). Takisto v Kanade (35) sú hodnotiace pracovné skupiny stále, aby sa zaručil jednotný a konzistentný prístup (pozri prílohu III), — Komisia pri definovaní zadávacích podmienok pracovným skupinám a pri špecifikovaní hodnotiacich otázok nekonzultuje s externými partnermi, napríklad s priemyselnými a veľkými výskumnými organizáciami podieľajúcimi sa na rámcových programoch. Na tento problém upozornila aj pracovná skupina pre monitorovanie v roku 2004: „… potenciálni používatelia by sa mali na procese podieľať už v počiatočnej fáze“ (36), a — pracovné skupiny fungujú odlišne od nezávislého rovnocenného posúdenia (peer review). Ich členovia nemajú dostatok času na vykonanie vlastných hodnotení a v zásade poskytujú poradenstvo na základe údajov a dôkazov, ktoré získavajú z iných zdrojov. V dôsledku časových obmedzení mali pracovné skupiny len obmedzené možnosti nariadiť vypracovanie dodatočných štúdií potrebných na zodpovedanie otázok uvedených v zadávacích podmienkach. V praxi mali pracovné skupiny pri päťročných posúdeniach až na niekoľko výnimiek k dispozícii len informácie od Komisie.

Zdroje

Žiadne osobitne vyčlenené zdroje na hodnotenie rámcových programov

60. Financovanie hodnotení sa uskutočňuje každoročne v súlade s potrebami, ktoré určia generálne riaditeľstvá implementujúce rámcové programy. Zdroj financovania v súčasnosti tvorí kombinácia zdrojov Komisie z GR pre rozpočet a zdrojov z administratívnej časti rozpočtu na úrovni príslušných generálnych riaditeľstiev. Okrem toho sa z prevádzkového rozpočtu rámcových programov financujú osobitné opatrenia ako nepriame akcie. Z toho vyplýva, že na hodnotenie nie je osobitne vyčlenená suma.

61. V roku 2006 predstavoval odhad priemerného počtu zamestnancov v oblasti hodnotenia a riadenia podľa činností v rámci celej Komisie približne 1 % všetkých zamestnancov (37). Zodpovedajúce údaje pri činnostiach súvisiacich s monitorovaním a hodnotením rámcových programov v oblasti výskumu a technologického rozvoja v GR pre výskum a GR pre informačnú spoločnosť predstavovali 1,2 % a 1,3 % v danom poradí. Pokiaľ však ide o GR pre výskum, viac než dve tretiny zamestnancov bolo presunutých na oddelenia pre operačné programy, a nie do útvarov pre hodnotenie, a hodnotenie bolo len jednou z úloh, ktoré im boli pridelené.

Financovanie hodnotenia rámcových programov je nižšie, než ako odporúča Komisia

62. Zdroje na hodnotenie sa dajú vyjadriť aj ako percentuálny podiel celkových rozpočtových prostriedkov pridelených na program. Z údajov získaných počas auditu vyplýva, že skutočný podiel pri výskumných programoch predstavuje medzi 0,1 % a 2 %. V usmerneniach Komisie sa uvádza, že na hodnotenie by sa malo vyčleniť 0,5 % rozpočtu na program (38). Pri väčších programoch však prínos z hospodárenia znamená, že postačujú aj menšie sumy z rozpočtu.

63. Z porovnania údajov Komisie o výdavkoch na hodnotenie v období 2003 až 2006 a rozpočtových prostriedkov vyčlenených na jednotlivé generálne riaditeľstvá vyplýva, že celkový priemer je približne 0,15 %, čo je výrazne pod úrovňou, ktorú stanovuje Komisia. Pri podrobnejšej analýze údajov za rok 2006 sa zistilo, že GR pre informačnú spoločnosť vynaložilo približne štyrikrát viac prostriedkov na hodnotenie ako GR pre výskum v porovnaní s rozpočtovými prostriedkami, ktoré každé z nich spravuje. V GR pre výskum je okrem toho na hodnotenie vyčlenených len 0,7 % zamestnanca na plný úväzok na milión EUR ročného rozpočtu. Pre porovnanie GR pre informačnú spoločnosť vyčleňuje dvojnásobok tohto množstva.

64. Ako je uvedené v správe, toto dodatočné úsilie GR pre informačnú spoločnosť viedlo ku komplexnejšiemu hodnoteniu (pozri body 13 a 46) a, ako vyplýva zo vzorky štúdií týkajúcich sa hodnotenia, ktoré Dvor audítorov preskúmal, aj k používaniu metód, ktoré sú vhodnejšie na riešenie potrieb týkajúcich sa hodnotenia (pozri bod 84).

65. Z odhadu nákladov, ktorý urobil Dvor audítorov na základe údajov Komisie, vyplýva, že systém hodnotenia založený na návrhoch uvedených v tejto správe by v priemere predstavoval menej než 0,4 % rozpočtových prostriedkov v rámci 7. RP. To by pokrylo náklady na pracovné skupiny, štúdie zadané tretím stranám, zamestnancov úradu pre spoločné hodnotenie, ako aj súčasných útvarov pre hodnotenie v rámci konkrétnych generálnych riaditeľstiev, a taktiež rôzne iné náklady (39).

Odporúčania

66. „Generálne riaditeľstvá pre výskum“ by mali zvážiť zriadenie úradu pre spoločné hodnotenie okrem existujúcich útvarov pre hodnotenie v rámci jednotlivých generálnych riaditeľstiev. V súlade so súčasnou praxou v ostatných oblastiach politiky by tento úrad mohol koordinovať činnosti Komisie súvisiace s hodnotením pri rámcovom programe ako celku. Tieto spoločné pomocné útvary boli už v minulosti predmetom odporúčaní pre generálne riaditeľstvá implementujúce rámcové programy (40) a v budúcnosti môžu byť ešte dôležitejšie pri vytvorení Európskej rady pre výskum a prenesení právomocí za implementáciu programu na výkonné agentúry. 67. Komisia by mala na podporu činností v súvislosti s hodnotením naďalej využívať hodnotiace pracovné skupiny. Mala by však zvážiť, ako zosúladiť štruktúru pracovných skupín s celkovou programovou štruktúrou rámcových programov. To by sa dalo dosiahnuť vytvorením pracovných skupín pre špecifické programy a, ak je to vhodné, aj pre podprogramy (pozri prílohu IV). Tieto pracovné skupiny by navyše mali byť vytvorené dostatočne včas na to, aby Komisii poskytli účinnú podporu na začiatku programovacieho obdobia, počas neho aj po ňom. 68. Komisia by mala prehodnotiť zdroje na hodnotenie rámcových programov a jednotlivých programov v rámci nich.

Metódy a techniky hodnotenia

69. Účinné hodnotenie si vyžaduje používanie primeraných metód a techník. Dvor audítorov preskúmal, do akej miery existovali špecifické usmernenia k hodnoteniu rámcových programov, či sa informačné potreby správne a včas analyzovali a či mali hodnotitelia k dispozícii relevantné údaje. S ohľadom na hodnotiace štúdie, ktoré vypracovala Komisia (alebo boli vypracované v jej mene), Dvor audítorov preskúmal, či techniky použité pri jednotlivých štúdiách predstavovali dostatočný základ na riešenie hodnotiacich otázok stanovených pre päťročné posúdenie. Dvor audítorov zvážil aj potenciálne prispenie hodnotení uskutočnených na národnej úrovni k hodnoteniu rámcových programov.

Implementácia štandardov a usmernení k rámcovým programom

70. GR pre rozpočet predložilo niekoľko oznámení, v ktorých sa stanovuje politika hodnotení a pravidlá jej implementácie, a vypracovalo súbor štandardov pre celú Komisiu (pozri body 14 a 55) (41). Príslušné generálne riaditeľstvá vytvorili pre ostatné oblasti politiky špecifické príručky na hodnotenie (42).

71. To však neplatí pri rámcových programoch. Komisia zverejnila (alebo financovala) niekoľko metodických príručiek a nástrojov pre hodnotiace činnosti v oblasti výskumu (43). Tieto však neposkytujú špecifické usmernenie o tom, ako vykonávať hodnotenia rámcových programov, ani sa v nich nedefinuje, ako majú zamestnanci Komisie alebo nezávislí experti používať hlavné koncepty a terminológiu. To prispelo k problémom uvedeným v nasledujúcich bodoch.

Potreby súvisiace s potrebami a so zhromažďovaním údajov

Nedostatočná analýza informačných potrieb

72. „Generálne riaditeľstvá pre výskum“ nevenovali dostatočnú pozornosť pochopeniu, aké údaje sú potrebné na účely hodnotenia a monitorovania. Namiesto vykonania systematickej a komplexnej analýzy informačných potrieb Komisia stanovila požiadavky na údaje v neskorej fáze programovacieho obdobia a bez zváženia celkových potrieb v súvislosti s hodnotením. Jediným spoločným pokusom generálnych riaditeľstiev o stanovenie týchto údajov bol sociálno-ekonomický dotazník k 6. RP (pozri bod 76). Tento dotazník však bol dokončený v roku 2004 (tri roky po začatí programovacieho obdobia) a týka sa skôr aspektov ako napríklad účasť podľa pohlaví a environmentálne vplyvy, než vedeckých výstupov (napríklad otázok týkajúcich sa vlastníckych práv, publikácií atď.), účinkov a dosahu.

73. Pri hodnotení programov sa veľmi spolieha na dostupnosť troch typov údajov: — údaje zhromaždené na základe ukazovateľov efektívnosti, ktorých analýza vedie k informáciám o postupe plnenia programových cieľov. Chýbajúca intervenčná logika spomenutá v predchádzajúcich bodoch je príčinou ťažkosti definovať takéto ukazovatele (pozri bod 30). V praxi boli zozbierané údaje málo relevantné na meranie dosiahnutých cieľov programu, — údaje o riadení programu (na základe ukazovateľov „účinnosti“) a — údaje o účastníkoch (napríklad miera účasti veľkých výskumných organizácií).

74. Komisia by mala mať k dispozícii najmä dva posledné typy údajov. Avšak pre problémy s internými informačnými systémami, ktoré sú zdrojom väčšiny údajov o riadení projektu a účastníkoch (44), sa v súvislosti s uvedeným vyskytli v praxi výrazné problémy (45).

75. To potvrdzujú aj výrazné omeškania pri predkladaní správ v súlade s článkom 173 a ročných správ o monitorovaní (až 16 mesiacov v prípade správ podľa článku 173 (46) a sedem mesiacov pri ročných správach o monitorovaní v období od roku 2002 do roku 2005). Keďže boli tieto informácie neustále predkladané neskoro, využívali sa len minimálne.

Neúčinný prístup k zbieraniu údajov od účastníkov

76. Od 5. RP Komisia systematicky zmluvne zaväzovala účastníkov, aby predkladali údaje potrebné na meranie dosiahnutých cieľov programu z hľadiska výstupov, účinkov a dosahu. Robila to týmito spôsobmi: — v rámci 5. RP museli účastníci predložiť „plán technologickej implementácie“ spolu so záverečnou správou po ukončení projektu. Tieto dokumenty mali často nízku kvalitu, prípadne neboli predložené vôbec, — v rámci 6. RP museli účastníci vypracovať „plán šírenia a využívania poznatkov“ a pri predkladaní ročných technických správ museli vyplniť štandardizovaný dotazník o sociálno-ekonomických otázkach.

77. Tieto zmluvné požiadavky na predkladanie údajov pre účastníkov predstavovali zbytočnú administratívnu záťaž. Napríklad údaje v ročnom dotazníku k 6. RP sa zhromažďujú omnoho častejšie, než je potrebné, a z celej vzorky projektov, pričom by postačovala reprezentatívna vzorka. To môže viesť k „vyčerpaniu v dôsledku hodnotenia“. Tieto informácie sa navyše zbierali v nevhodnom čase. Mnohé z dôležitých aspektov, kvôli ktorým sa údaje zhromažďujú, majú strednodobý alebo dlhodobý charakter, takže zbieranie údajov počas zmluvného trvania projektu je vo svojej podstate predčasné (47). Preto mali informácie získané prostredníctvom týchto nástrojov pre hodnotenia v rámci 5. RP a 6. RP len malé praktické využitie.

78. Avšak v rámci žiadneho zavedeného systému sa nestanovuje, aby sa informácie zbierali na konci projektu (alebo krátko po ňom) štandardizovaným spôsobom. Partneri počas rozhovorov navrhli, aby tieto informácie zahŕňali aj dosiahnutie cieľov projektu, plánovaných (a neplánovaných) výsledkov a údaje o tom, či účastníci vnímali pridanú hodnotu Spoločenstva. Tieto informácie môžu tiež tvoriť základ vonkajších kontrol ukončených projektov (48).

79. Spolu s rozsiahlejším využitím scientometrických prístupov (napríklad citačnej analýzy) pri hodnotení výsledkov projektov (pozri bod 83) to môže pre Komisiu predstavovať základ na posunutie smerom k systému financovania činností v oblasti výskumu a technologického rozvoja spolufinancovaných Spoločenstvom, ktorý je viac zameraný na výsledky (49).

Ostatné zdroje údajov sa nevyužívali dostatočne

80. Ostatné existujúce zdroje údajov v rámci Komisie a členských štátov sa nevyužívali dostatočne [napr. databázy národných programov v oblasti výskumu a technologického rozvoja a financujúcich agentúr a Informačnej služby Spoločenstva pre výskum a vývoj (CORDIS), ktorú riadi Úrad pre publikácie (50)].

Hodnotiace štúdie vypracované Komisiou

Správy, ktoré preskúmal Dvor audítorov

81. Dvor audítorov preskúmal 86 hodnotiacich štúdií, ktoré vypracovala Komisia (alebo boli vypracované v jej mene) od roku 2000. Obsahovali všetkých 36 štúdií, ktoré tvoria základ päťročných posúdení uverejnených v roku 2004, a ďalších 50 štúdií vypracovaných odvtedy. Z tohto počtu sa môže len 23 štúdií považovať za skutočné hodnotenia rámcových programov a jednotlivých programov v rámci nich (pozri obrázok 5). Obrázok 5 Prehľad hodnotiacich štúdií vypracovaných Komisiou (alebo v jej mene) od roku 2000 do roku 2006 Typ štúdií Počet Opis Hodnotenie činností rámcových programov 23 Hodnotiace štúdie — založené na známych metódach (51), — zahrňujú konkrétnu zmienku o programových cieľoch a o tom, v akej miere boli splnené. Národné hodnotenia dosahu uskutočnené na úrovni členských štátov 12 Štúdie vypracované členskými štátmi, ktoré sa týkajú hlavne miery účasti v členských štátoch, a nie záverov o programových cieľoch. Metodické štúdie 5 Štúdie, ktorých vypracovanie organizovala Komisia s cieľom vytvoriť hodnotiace metódy. Štúdie európskej krajiny z hľadiska výskumu a technologického rozvoja 2 Štúdie týkajúce sa kontextuálnych analýz v súvislosti s oblasťou výskumu v Európe, nie však rámcových programov. Najmä sa neuvádzajú žiadne priame zmienky o účinku, ktorý majú rámcové programy na národné systémy výskumu a inovácie. Neanalytické deskriptívne a štatistické dokumenty 33 Dokumenty, ktoré sa spravidla veľmi nepriamo týkajú činností rámcových programov, a často sa v nich činnosti len opisujú, no neanalyzujú. Iné dokumenty 11 Rôzne dokumenty, ktoré sa týkajú otázok všeobecného politického záujmu, nie však preskúmania rámcových programov v tomto kontexte.

Hodnotenia zamerané skôr na monitorovanie, ako na účinky a dosah

82. Z metaanalýzy týchto špecifických hodnotiacich štúdií, ktorú uskutočnil Dvor audítorov, vyplynuli tieto dve hlavné pripomienky: — hoci mnohé štúdie obsahujú závery, ktoré sú v protiklade s programovými cieľmi, ich prezentácia je nejasná a čitateľa nepresvedčia, že v hodnotení sa skutočne riešil daný problém. Dôvodom je, že absencia jasných programových cieľov rozhodujúcim spôsobom ohrozuje tento proces (pozri bod 28), — mnohé dokumenty namiesto toho, aby obsahovali hodnotenie účinkov a dosahu rámcových programov alebo špecifických programov (a podprogramov) v rámci nich, sú opisné, a v lepšom prípade sa zameriavajú len na bezprostredné výstupy projektu a záležitosti týkajúce sa projektového riadenia. Tieto správy neobsahujú dostatočne presvedčivé dôkazy o účinkoch a dosahu.

Nedostatočné zameranie na vytváranie inovatívnych metód

83. Pri hodnoteniach uskutočnených v období od roku 2000 do roku 2006 prevládalo používanie tradičných metód a techník (najmä prieskumov, preskúmania dokumentov a rozhovorov) (pozri obrázok 6). Okrem toho sa nevyužilo (alebo sa využili len veľmi zriedka) niekoľko sofistikovaných, avšak už zavedených hodnotiacich metód a techník, konkrétne: — scientometrické prístupy (napríklad citačná analýza) (52), — kvantitatívne modely (napríklad analýza efektívnosti z hľadiska nákladov, analýza účinnosti z hľadiska nákladov a analýza nákladov a výnosov) (53), — účastnícke modely (alebo modely správania) (ktoré sa sústreďujú na hľadiská zúčastnených strán zásahu, napríklad charakteristiky výskumných sietí a ich zmeny v ďalšom období).

84. Hodnotiace štúdie, ktoré sú snahou riešiť niektoré metodické ťažkosti pri hodnotení opatrení verejnej pomoci v oblasti výskumu (pozri prílohu I), sa využili len v minimálnom počte prípadov: — nedávno sa ukončili dve štúdie o intervenčnej logike (54), — len v prípade troch štúdií bola vyvinutá snaha posúdiť účinok financovania Spoločenstva na správanie siete výskumných organizácií na paneurópskej úrovni (55), a to napriek tomu, že predpoklad pozitívnych účinkov vytvárania sietí je stredobodom konceptu Európskeho výskumného priestoru, — len v jednom prípade bola vyvinutá snaha o vyvodenie záverov týkajúcich sa dosiahnutých výsledkov na úrovni programu (alebo podprogramu) na základe kombinácie zhromaždených analýz hodnotení uskutočnených na úrovni projektov a ostatných hodnotiacich techník (56) a — o použití iných metód, napríklad „kontrafaktuálneho“ prístupu (alebo prístupu „kontrolných skupín“), sa nenašli žiadne dôkazy. Tento prístup by bol obzvlášť užitočný na ilustráciu pridanej hodnoty programov na úrovni Spoločenstva v porovnaní so situáciou bez akéhokoľvek zásahu (alebo zásahu na národnej alebo regionálnej úrovni).

85. Partneri pri rozhovoroch s Dvorom audítorov vyjadrili názor, že užitočnosť a relevantnosť hodnotení Komisie možno zlepšiť. Z uvedeného vyplýva potreba ďalšieho metodického rozvoja, aby sa systém hodnotenia mohol vyvinúť tak, aby zohľadnil meniaci sa charakter rámcových programov (pozri bod 7) (57).

Na základe štúdií špecifických hodnotení Komisie nebolo možné riešiť náročné otázky uvedené v päťročných posúdeniach

86. Príkladom toho sú aj výrazné problémy, ktorým čelila pracovná skupina pre päťročné posúdenie (58), pri odpovediach na hodnotiace otázky stanovené v zadávacích podmienkach. Mnohé z týchto náročných otázok nebolo možné vôbec riešiť pre chýbajúce vhodné štúdie, ktoré by vopred vypracovala Komisia (alebo by sa vypracovali v jej mene), a pretože členovia pracovných skupín nemali možnosť nariadiť včasné vypracovanie takýchto štúdií (pozri obrázok 7). Obrázok 7 Riešenie hodnotiacich otázok v päťročnom posudzovaní Hodnotiaca otázka Riešila sa otázka v správe? IMPLEMENTÁCIA Vykonávali sa činnosti efektívne? čiastočne Boli činnosti efektívne z hľadiska nákladov? čiastočne Boli činnosti najlepším spôsobom dosiahnutia stanovených cieľov? nie Boli celkový rámec politiky (vrátane pravidiel účasti a uzatvárania zmlúv), nástroje politiky a modality implementácie zrozumiteľné, primerané a účinné? nie Boli úroveň financovania a ostatné dostupné zdroje dostatočné? nie Dokázali cieľové priemyselné a výskumné komunity, vrátane malých a stredných podnikov, vhodne reagovať? áno DOSIAHNUTÉ VÝSLEDKY Splnili sa prostredníctvom činností príslušné ciele a do akej miery sa dosiahli neočakávané výsledky? nie Aké sú hlavné výsledky, najmä z hľadiska vedeckých, technologických, sociálno-ekonomických a environmentálnych výstupov, z hľadiska medzinárodnej spolupráce, prenosu informácií a inovácií, prenormatívnych činností, dostupnosti, šírenia a prijatia výsledkov výskumu, rozvoja ľudských zdrojov, mobility a odborného vzdelávania a z hľadiska podpory a zlepšovania koordinácie výskumných činností? nie Boli výsledky a ich účinky vcelku uspokojivé z hľadiska priamych a nepriamych príjemcov a zúčastnených strán? nie Bola príslušným priemyselným a výskumným komunitám, vrátane malých a stredných podnikov venovaná uspokojivá pozornosť? áno Ako a v akej miere sa prostredníctvom činností prispelo k zlepšeniu konkurencieschopnosti EÚ v oblasti výskumu na medzinárodnej úrovni? Dosiahla EÚ prvenstvo v špecifickej oblasti výskumu? čiastočne Ako a v akej miere sa prostredníctvom činností prispelo k politikám EÚ vo všeobecnosti a k stratégii EÚ v oblasti udržateľného rozvoja? nie Existuje dôkaz o štrukturálnej zmene, vrátane vytvárania sietí, integrácie a koordinácie výskumu na národnej a medzinárodnej úrovni, v dôsledku výskumných činností Spoločenstva? nie Boli programy efektívne, účinné a hospodárne? Mali činnosti pretrvávajúci dosah? nie VÝVOJ A PERSPEKTÍVY DO BUDÚCNOSTI Ako sa rámcové programy vyvíjali z hľadiska základnej logiky, cieľov, tematických priorít, rovnováhy medzi prioritami zostavenými zdola nahor a opačným smerom a medzi základným a aplikovaným výskumom, z hľadiska nástrojov, európskej pridanej hodnoty a ďalšieho dosahu, konkrétne s ohľadom na vytvorenie koncepcie Európskeho výskumného priestoru, lisabonských cieľov a hlavných medzinárodných hospodárskych a výskumných porovnávacích štandardov? áno Ako sa prostredníctvom rámcových programov dosiahla európska pridaná hodnota? áno Je možné európsku pridanú hodnotu dosiahnuť aj prostredníctvom iných medzinárodných a národných mechanizmov? nie Sú politické ciele, priority, nástroje a trvanie programu vhodné pre budúcnosť? áno

87. Ďalej treba poznamenať, že členovia pracovných skupín boli schopní odpovedať na otázky stanovené v zadávacích podmienkach len pri tých aspektoch, pre ktoré sa v programe definovali jasné a vyčísliteľné ciele (napríklad podiel účasti malých a stredných podnikov).

Hodnotenia rámcových programov na národnej úrovni

88. Niekoľko členských štátov a pridružených krajín vykonáva vlastné hodnotenia rámcových programov na národnej úrovni, pri ktorých sa riešia relevantné a zaujímavé otázky z ich vlastného hľadiska (59). Za posledných osem rokov sa v deviatich členských štátoch a jednej pridruženej krajine vypracovalo 14 takýchto správ.

89. Hoci Komisia, pokiaľ je to možné, podporuje štandardizované prístupy, tieto národné štúdie dosahu sú veľmi rôznorodé (60). Keďže tieto štáty nepoužívajú harmonizovanú metódu, možnosti spájania, kombinovania a porovnávania výsledkov sú obmedzené. Vzhľadom na ich národný charakter môžu tieto štúdie okrem toho len čiastočne zachytiť dimenziu európskej spolupráce.

90. V Zelenej knihe Európskeho výskumného priestoru v roku 2007 Komisia argumentovala, že je nevyhnutné, aby boli na úrovni ERA k dispozícii presné analýzy dosahu a efektívnosti činností a politík v oblasti výskumu, vrátane analýz členských štátov a EÚ. Komisia takisto uznala, že súčasné mechanizmy nepostačujú na riešenie tejto výzvy, pretože na každej úrovni pomoci sa hodnotenia vykonávali nezávisle od ostatných (61).

Odporúčania

91. Komisia by mala vypracovať príručku na hodnotenie činností financovaných v rámci rámcových programov, ktorá by zahŕňala definície kľúčových konceptov a terminológie a stanovenie radu vhodných metód pre určité hodnotiace činnosti. Táto príručka by mala vychádzať z existujúcich usmernení a nástrojov a mala by byť pravidelne aktualizovaná. 92. Komisia by mala definovať svoje informačné potreby, pričom by zohľadnila potrebu znížiť administratívnu záťaž na účastníkov. 93. Komisia by mala včas poskytovať informácie o monitorovaní implementácie rámcových programov. V súlade s požiadavkami pravidiel účasti na 7. RP by sa mali bezodkladne riešiť problémy v súvislosti s informačnými systémami Komisie na spravovanie údajov o riadení projektu a účastníkoch. 94. Mali by sa výrazne obmedziť povinnosti účastníkov voči Komisii v súvislosti s predkladaním správ a prieskumy by sa mali vykonávať len na základe vzorky. Zmluvná požiadavka o predkladaní údajov o dosahu založených na ukazovateľoch a týkajúcich sa všetkých projektov by mala byť nahradená krátkym sebahodnotením pri ukončení projektu. 95. Komisia by mala pri vlastných hodnoteniach viac využívať existujúce dodatočné zdroje relevantných údajov (ako v rámci Komisie, tak aj v členských štátoch). 96. Takisto by mala využiť celý rad dostupných hodnotiacich techník. Okrem toho by mala podporovať rozvoj inovatívnych prístupov na riešenie metodických ťažkostí, ktoré sú späté s hodnotením verejnej pomoci v oblasti výskumu (pozri prílohu I), a využiť tieto prístupy pri vlastných hodnoteniach. 97. Komisia by mala prekonzultovať s členskými štátmi spôsob maximalizácie prínosov hodnotení rámcových programov uskutočnených na národnej úrovni.

Šírenie a využívanie zistení hodnotenia

98. Z hodnotenia by mali vyplynúť relevantné informácie a analýza, ktoré by sa mohli účinne využiť pri riadení programu a vytváraní politiky. Hodnotenie by konkrétne malo tvoriť základ úvahy o silných stránkach a nedostatkoch opatrení verejnej pomoci, čo je nevyhnutným predpokladom poučení pre budúcnosť. Dvor audítorov skontroloval, do akej miery boli hodnotenia vhodne načasované, či boli zistenia oznámené a šírené medzi partnermi mimo Komisie a či Komisia zohľadnila odporúčania pri prehodnocovaní prebiehajúcich programov (learning programmes).

Pri načasovaní hodnotení sa nezohľadnil typ informácií, ktoré bolo možné realisticky očakávať

99. Dvor audítorov uznáva, že niektoré typy analýz si vyžadujú dlhodobejšiu perspektívu (napr. hodnotenie účinkov a sociálno-ekonomického dosahu) a isté aspekty sa vzťahujú na konkrétne programovacie obdobie (napr. programové ciele, aj v rámci príslušnej vedeckej oblasti), kým o ostatných to neplatí (pozri obrázok 8). Komisia však pri svojich hodnotiacich činnostiach neprijala prístup, pri ktorom by sa zohľadnili tieto časové horizonty.

100. V právnej úprave sa požaduje, aby sa hlavné hodnotiace činnosti Komisie sústreďovali len na päť rokov pred päťročným posúdením, čím by pokrývali časti dvoch po sebe nasledujúcich programovacích období. Strednodobé účinky a dosah sa preto posudzovali len minimálne. V dôsledku toho boli päťročné posúdenia vo všeobecnosti zamerané hlavne na monitorovacie aspekty, otázky týkajúce sa návrhu krátkodobých programov a všeobecných pripomienok o orientácii rámcových programov. Dvor audítorov víta skutočnosť, že v právnej úprave k 7. RP sa už nevyžaduje vykonávanie päťročných posúdení ani hodnotenie akéhokoľvek iného vopred definovaného obdobia. Obrázok 8 Otázky týkajúce sa monitorovania a hodnotenia podľa rôznych časových horizontov Monitorovanie implementácie programu (prebiehajúce) — Otázky týkajúce sa riadenia programu (napr. čas na uzatvorenie zmluvy, čas na vykonanie platby, miera účasti a miera vybratých návrhov, plnenie rozpočtu, miery financovania atď.) Hodnotenie krátkodobé (najskôr napríklad po roku až dvoch rokoch) — Otázky týkajúce sa riadenia programu (napr. efektívnosť administratívnych postupov) — Otázky týkajúce sa návrhu programu (napr. dostupnosť a flexibilita nástrojov, prekážky účasti, vplyv neúspechu pri výzvach na predkladanie návrhov atď.) — Analýza účastníckeho profilu (v tejto fáze hlavne kvantitatívna) Hodnotenie strednodobé (napríklad po siedmich rokoch) — Otázky týkajúce sa návrhu programu (napr. účinnosť nástrojov) — Analýza účasti (kombinácia kvalitatívnych a kvantitatívnych aspektov, napr. analýza výskumných sietí, dosah na správanie vedcov atď.) — Analýza výstupov projektu (62)(napr. publikácie, vedecké práce, patenty, licencie, prototypy, vyškolení vedci atď.) Hodnotenie dlhodobé (napríklad po viac než desiatich rokoch) — Posúdenie účinkov a dosahu Zdroj: Európsky dvor audítorov.

101. Experti Komisie tiež poukázali na nedostatky päťročných posúdení pri hodnotení účinkov a dosahu rámcových programov: — pracovná skupina pre päťročné posúdenie v roku 2004 uviedla, že „… hodnotenie by sa malo týkať a dostatočne sa zameriavať na dlhodobé, ako aj krátkodobé otázky“ a „… mohli by sa uvoľniť zdroje […] na ambicióznejšie dlhodobé hodnotiace štúdie, v rámci ktorých by sa systematickejšie preskúmali štrukturálne a širšie sociálno-ekonomické otázky“ (63), — v rámci štúdie, ktorej vypracovanie zadalo GR pre výskum, sa zistilo, že „… súčasnú prax hodnotenia EÚ v oblasti výskumu a technologického rozvoja (zahŕňajúceho neustále monitorovanie, päťročné posúdenia a hodnotenie v polovici obdobia) charakterizuje silné zameranie na monitorovanie v porovnaní s hodnotením dosahu“ a „… s cieľom posunúť dopyt a očakávania […] smerom k sociálno-ekonomickému dosahu, je potrebné zaviesť nový rámec hodnotenia a monitorovania, pri ktorom by sa pozornosť zameriavala na vyvinutie väčšieho úsilia na úrovni dosahu než na monitorovanie výstupov“ (64).

102. Otázka načasovania má vplyv aj na špecifické hodnotenia, ktoré sa požadujú v právnych predpisoch. Napríklad predloženie Marimónovej správy v roku 2004, ktorá obsahovala analýzu nového nástroja zavedeného v rámci 6. RP (2003 – 2006), sa vyžadovalo príliš skoro, a v dôsledku toho boli k dispozícii len minimálne praktické skúsenosti a empirické dôkazy, na ktorých mali byť založené závery (65).

Oznamovanie a šírenie

103. Komisia môže sama vytvoriť a prispôsobiť operačné programy práce na základe krátkodobých cyklov, ktoré schváli príslušný programový výbor. To môže byť príležitosťou na uskutočnenie úprav programového riadenia, ako aj na presunutie rozpočtových prostriedkov medzi podprogramami. O tom, že Komisia využíva túto možnosť, sa nenašli žiadne dôkazy (pozri bod 107).

104. Okrem uvedených skutočností a s ohľadom na spôsob, akým sa rámcové programy navrhujú a prijímajú, je pre Komisiu možné urobiť výrazné zmeny, napríklad úpravy programových cieľov alebo presunutie pridelených rozpočtových prostriedkov medzi podprogramami. Len zákonodarca môže nariadiť úpravy v takomto veľkom rozsahu počas revízie právnych predpisov k rámcovým programom (ako pri 7. RP v roku 2010) alebo pri prijímaní nasledujúceho rámcového programu. Z tohto dôvodu sa v právnych predpisoch spravidla stanovuje, aby bolo hlavné hodnotenie načasované tak, aby sa jeho výsledky mohli čo najužitočnejšie zohľadniť pri vytváraní politiky.

105. Preto medzi hlavných používateľov hodnotení Komisie patria samotné „generálne riaditeľstvá pre výskum“ (66). V právnych predpisoch k rámcovým programom sa však priamo požaduje aj oznamovanie hodnotení Európskemu parlamentu a Rade.

106. Počas prieskumu Dvora audítorov uskutočnenom vo výbore Európskeho parlamentu ITRE a výbore Rady CREST väčšina respondentov odpovedala, že nemali pocit dostatočnej informovanosti o implementácii a výsledkoch rámcových programov (pozri obrázok 9) (67).

Následné opatrenia k zisteniam hodnotenia

107. Komisia na základe svojich hodnotení v ročných preskúmaniach hodnotení predkladá súhrn zistení a prijatých opatrení (68). Pokiaľ ide o následné opatrenia, Komisia tiež predložila formálne odpovede k zisteniam a odporúčaniam vyplývajúcim z päťročného posúdenia a špecifických hodnotení, ktoré sa vyžadujú v právnych predpisoch, a v najvyššej možnej miere prijala vhodné opatrenia na riešenie zistených nedostatkov. To však neplatilo pre mnohé ďalšie preskúmané hodnotiace správy a Dvor audítorov nenašiel dôkaz o tom, že by sa zistenia a odporúčania zohľadnili pri úpravách programov práce. Takisto z rozpočtových výkazov týkajúcich sa ABB a výročných správ o činnosti generálnych riaditeľstiev nie je zrejmé, do akej miery sa zistenia hodnotení zohľadnili.

Odporúčania

108. Komisia by mala stanoviť, aký typ a rozsah hodnotenia je možné racionálne očakávať v lehotách stanovených v právnych predpisoch (2008, 2010 a 2015), objasniť, ako by sa hodnotenia dali využiť pri úprave programov (learning programmes), a spresniť, ako môžu prispieť k rozhodnutiam o politike. Komisia by konkrétne mala objasniť svoj plánovaný prístup k hodnoteniu dlhodobejších výsledkov predchádzajúcich aj súčasných rámcových programov, keďže tieto výsledky sa môžu prejaviť o sedem až desať rokov (pozri obrázok 8). 109. Komisia by mala prehodnotiť svoj postup pri oznamovaní a šírení zistení hodnotenia, aby zabezpečila, že zúčastnené strany dostanú potrebné informácie. „Generálne riaditeľstvá pre výskum“ by najmä mali formálne reagovať na všetky hodnotenia a včas tieto štúdie zverejniť spoju so svojimi odpoveďami. „Generálne riaditeľstvá pre výskum“ by takisto mali v rozpočtových výkazoch týkajúcich sa ABB a vo výročných správach o činnosti informovať o prijatých následných opatreniach a pri aktualizácii programov práce a navrhovaní ďalších programov využiť odporúčania.

CELKOVÝ ZÁVER

110. Dvor audítorov uznáva, že hodnotenie programov v oblasti výskumu a technologického rozvoja a posudzovanie dlhodobých výsledkov je vo svojej podstate zložité a je ťažké definovať osvedčené postupy.

111. Dvor audítorov zastáva názor, že hodnotenie je nevyhnutné pre riadenie programu, budúce plánovanie a vytváranie politiky. Hodnotenie predstavuje tiež základ povinnosti zodpovedať sa. Vyplývajú z neho cenné informácie o plánovaných (alebo neplánovaných) výsledkoch, ktoré sa dosiahli, o miere dosiahnutia programových cieľov, relevantnosti a užitočnosti programov a efektívnosti a účinnosti implementácie programu. Keďže o všeobecnej orientácii, rozpočtových záležitostiach a návrhu rámcových programov rozhoduje Európsky parlament a Rada, je nevyhnutné mať k dispozícii transparentný, spoľahlivý a osvedčený systém hodnotenia, ktorý im poskytne primerané informácie.

112. Komisia v rokoch 2000 a 2002 stanovila celkový rámec hodnotenia a následne ho zrevidovala v roku 2007. Hoci sa za obdobie, ktoré sa kontrolovalo prostredníctvom auditu Dvora audítorov, nezistili žiadne zlepšenia spôsobu plánovania, navrhovania a vykonávania rámcových programov a jednotlivých programov v rámci nich, „generálne riaditeľstvá pre výskum“ vo všeobecnosti dodržali formálne požiadavky platné pre celú Komisiu.

113. Na obdobie, ktorého sa táto správa týka, zaviedli „generálne riaditeľstvá pre výskum“ systém hodnotenia v súlade s požiadavkami právnych predpisov k rámcovým programom, a Komisia môže teda predložiť veľký súbor hodnotiacich štúdií. Faktom však ostáva, že k dispozícii je len minimálne množstvo informácií o dosiahnutých cieľoch programu a výsledkoch rámcových programov, prípadne nie sú k dispozícii žiadne informácie, a to v dôsledku toho, že hodnotenia boli vo všeobecnosti zamerané na krátkodobé otázky súvisiace s implementáciou programu. Následne boli hodnotenia Komisie pre politických činiteľov, partnerov aj pre samotnú Komisiu užitočné len v obmedzenej miere.

114. Keďže hodnotenie riadenia programov a vytvárania politiky je dôležité, treba znovu preskúmať prístup Komisie k hodnoteniu rámcových programov a jednotlivých programov v rámci nich z hľadiska nových politických výziev, zvýšeného financovania, rozšírenej orientácie výskumnej politiky Spoločenstva a nedávnej reformy Komisie. Poradný výbor EURAB to takisto odporučil vo svojej správe za rok 2007.

115. Dvor audítorov zastáva názor, že využívanie jasnej intervenčnej logiky pri navrhovaní budúcich rámcových programov by viedlo k lepšie zameraným a štruktúrovanejším programom. Takisto by prispelo k politike „lepšej právnej úpravy“ Komisie, ktorej cieľom je lepšie navrhnuté, jednoduchšie, účinnejšie a jasnejšie regulačné prostredie (69).

116. Hodnotenie rámcových programov a jednotlivých programov v rámci nich by bolo účinnejšie, keby boli programové ciele a ukazovatele od začiatku jasnejšie, keby sa „generálne riaditeľstvá pre výskum“ dohodli na spoľahlivej, nie však príliš obmedzujúcej stratégii hodnotenia a keby sa používali rozvinutejšie hodnotiace metódy vrátane kvantitatívnych prístupov.

117. Dvor audítorov zaznamenal, že v niekoľkých súvislostiach existuje priestor, aby Komisia prehodnotila existujúci organizačný mechanizmus na hodnotenie rámcových programov. Nasledujúce úpravy by mohli priniesť výhody: — skoršie zapojenie hodnotiacich pracovných skupín do procesu hodnotenia, aby poskytovali podporu Komisii počas celého programovacieho obdobia aj po ňom. Pracovné skupiny pre jednotlivé špecifické programy, prípadne podprogramy, by okrem toho prispeli k zvýšenej špecializácii, — doplnenie existujúcich hodnotiacich útvarov špecifických pre generálne riaditeľstvá o úrad pre spoločné hodnotenie, ktorý by zodpovedal za koordináciu hodnotení rámcových programov.

118. Odporúčania v tejto správe sú založené buď na zavedených postupoch v Komisii, alebo na medzinárodných osvedčených postupoch. Z hľadiska zdrojov je zrejmé, že zavedenie navrhovaného prístupu k hodnoteniu programov by si vyžadovalo vysoké náklady. Dvor audítorov však zastáva názor, že tento prístup bude s najväčšou pravdepodobnosťou viesť k pozitívnemu výnosu v minimálne tej istej miere.

Túto správu prijal Dvor audítorov v Luxemburgu na svojom zasadnutí 22. novembra 2007. Za Dvor audítorov Hubert WEBER predseda

(1) Podľa OECD je možné výskum a rozvoj definovať ako „… tvorivú prácu vykonávanú na systematickom základe s cieľom zvýšiť objem znalostí, vrátane znalostí o človeku, kultúre a spoločnosti, a využitie tohto objemu znalostí na navrhnutie nových aplikácií“ (pozri OECD, Frascati manuál – Navrhnutý štandardný postup na realizáciu prieskumov výskumu a experimentálneho vývoja, Paríž, 2002, s. 30). V kontexte Spoločenstva sa používa akronym RTD (research and technological development), ktorý zahŕňa technológiu, ako aj výskum a rozvoj.

(2) GR pre výskum je hlavným generálnym riaditeľstvom a riadi a koordinuje rámcové programy. Konkrétne programy (alebo ich časti) ďalej riadi päť generálnych riaditeľstiev, z ktorých najdôležitejším je GR pre informačnú spoločnosť a médiá (a zvyšné sú GR pre energetiku a dopravu, GR pre podnikanie a priemysel, GR pre rybné hospodárstvo a spoločné výskumné centrum Komisie).

(3) V roku 2000 Európska rada v Lisabone stanovila za cieľ vytvoriť z EÚ do roku 2010 najdynamickejšiu, najkonkurencieschopnejšiu, udržateľnú znalostnú ekonomiku, v ktorej by sa dosiahla plná zamestnanosť a silná hospodárska a sociálna súdržnosť.

(4) V roku 2002 sa Európska rada dohodla, že celkové výdavky na výskum a technologický rozvoj a inovácie v Európskej únii by sa mali zvýšiť s cieľom priblížiť sa 3 % HDP do roku 2010. Európska rada ďalej bližšie určila, že dve tretiny týchto nových investícií by mali plynúť zo súkromného sektora [pozri Európska komisia – Investovanie do výskumu: akčný plán pre Európu; oznámenie Komisie Rade, Európskemu parlamentu, Európskemu hospodárskemu a sociálnemu výboru a Výboru regiónov, KOM(2003) 226 v konečnom znení, s. 7].

(5) V prípade priameho hospodárenia vykonáva Komisia operácie potrebné na uskutočňovanie činností v súvislosti s plnením rozpočtu bez účasti členských štátov alebo tretích krajín, v ktorých majú sídlo príjemcovia finančných prostriedkov.

(6) Do roku 2006 sa len na samotnom 6. RP zúčastnilo 22 000 verejných a súkromných právnických osôb, vo všeobecnosti v rámci konzorcií s viacerými partnermi.

(7) Táto metóda je založená na zásade dobrovoľnej medzivládnej spolupráce. Spočíva najmä vo vzájomnom vzdelávaní, porovnávaní a zdieľaní osvedčených postupov.

(8) Nariadenie Rady (ES, Euratom) č. 1605/2002 z 25. júna 2002 (Ú. v. ES L 248, 16.9.2002, s. 1), články 27, 48, 59 a 60.

(9) Európska komisia, GR pre rozpočet, oznámenie Komisii Posilnenie využívania hodnotenia ako strategická nevyhnutnosť, návrh komisárky Dalie Grybauskaitėovej po dohode s predsedom Európskej komisie, SEK(2007) 213 z 21. februára 2007; Európska komisia, GR pre rozpočet, oznámenie Komisii Zameranie na výsledky: posilnenie hodnotenia činností Komisie, návrh komisárky Michaele Schreyerovej, SEK(2000) 1051 z 26. júla 2000.

(10) Rozhodnutie Európskeho parlamentu a Rady č. 1982/2006/ES z 18. decembra 2006 o siedmom rámcovom programe Európskeho spoločenstva v oblasti výskumu, technického rozvoja a demonštračných činností (2007 – 2013) (Ú. v. EÚ L 412, 30.12.2006, s. 1): článok 7 ods. 1; informácie o monitorovaní, ktoré má Komisia poskytnúť programovým výborom, sú definované v špecifických programových rozhodnutiach (pozri napríklad rozhodnutie Rady 2006/971/ES z 19. decembra 2006 o osobitnom programe Spolupráca, ktorým sa vykonáva siedmy rámcový program Európskeho spoločenstva v oblasti výskumu, technického rozvoja a demonštračných činností (2007 – 2013) (Ú. v. EÚ L 400, 30.12.2006, s. 86): článok 8 ods. 4 a príloha V).

(11) Európska komisia, oznámenie Rade o akčnom pláne Spoločenstva týkajúcom sa hodnotenia činností Spoločenstva v oblasti výskumu a rozvoja na roky 1987 až 1991, KOM(86) 660 v konečnom znení z 20. novembra 1986, v reakcii na uznesenie Rady z 28. júna 1983.

(12) Európska komisia, Päťročné posúdenie programov Európskej únie v oblasti výskumu a technologického rozvoja, 1992 – 1996; správa pracovnej skupiny nezávislých expertov pod vedením predsedu Viscounta Davignona (1997); Európska komisia, Päťročné posúdenie programov Európskej únie v oblasti výskumu a technologického rozvoja, 1995 – 1999; správa pracovnej skupiny nezávislých expertov pod vedením predsedu Joana Majóa (júl 2000); Európska komisia, Päťročné posúdenie rámcových programov Európskej únie v oblasti výskumu, 1999 – 2003; správa pracovnej skupiny nezávislých expertov pod vedením predsedu Erkkiho Ormalu (15. decembra 2004).

(13) Európska komisia, Hodnotenie účinnosti nových nástrojov šiesteho rámcového programu, 21. júna 2004, správa pracovnej skupiny expertov na vysokej úrovni pod vedením predsedu profesora Ramona Marimóna.

(14) Európska komisia, GR pre rozpočet, oznámenie Komisii Zameranie na výsledky: posilnenie hodnotenia činností Komisie, návrh komisárky Michaele Schreyerovej, júl 2000, SEK(2000) 1051; Európska komisia, GR pre rozpočet, oznámenie Komisii Štandardy hodnotenia a osvedčené postupy predložené predsedom a komisárkou Michaele Schreyerovou, K(2002) 5276 z 23. decembra 2002.

(15) Európska komisia, GR pre rozpočet, oznámenie Komisii Posilnenie využívania hodnotenia ako strategická nevyhnutnosť, návrh komisárky Dalie Grybauskaitėovej po dohode s predsedom Európskej komisie, SEK(2007) 213 z 21. februára 2007.

(16) Európska komisia, pracovný dokument Hodnotenie dosahu a predbežné hodnotenie, SEK(2005) 430.

(17) Výbor Európskeho parlamentu pre priemysel, výskum, dopravu a energetiku (ITRE) zodpovedá (najmä) za priemyselnú a výskumnú politiku (vrátane šírenia a využívania vedeckých poznatkov), vesmírnu politiku, aktivity spoločného výskumného centra, Zmluvu o Euratome a informačnú spoločnosť a informačné technológie.

(18) Výbor pre vedecký a technický výskum (CREST) bol zriadený na základe uznesenia Rady zo 14. januára 1974 a pozostáva zo zástupcov národných orgánov, ktorí sú zodpovední za politiku členských štátov v oblasti vedy a technológií. CREST pôsobí v úlohe poradcu a informuje Komisiu a Radu najmä o záležitostiach, ktoré sa týkajú koordinácie národných politík v oblasti výskumu a rozvoja a monitorovania a hodnotenia rámcových programov.

(19) Logické modely, ktoré znázorňujú, ako vstupy pri rôznych činnostiach vedú k očakávaným výsledkom, sú najvhodnejším spôsobom ilustrácie intervenčnej logiky. Tieto modely umožňujú jasné vysvetlenie predpokladov, na ktorých je založený návrh projektu, ako aj spôsobu rozdelenia všeobecných cieľov na prevádzkové ciele.

(20) Európska komisia, GR pre rozpočet, Hodnotenie činností EÚ: praktický návod pre oddelenia Komisie, júl 2004, s. 87 a 106.

(21) Päťročné posúdenie rámcových programov Európskej únie v oblasti výskumu, 1999 – 2003, správa pracovnej skupiny nezávislých expertov pod vedením predsedu Erkkiho Ormalu (15. decembra 2004): časť 6 Hodnotenie rámcového programu, s. 19.

(22) Od krajín prijímajúcich vonkajšiu pomoc sa požaduje, aby k svojim žiadostiam o finančné prostriedky Spoločenstva predložili logické modely (Európska komisia, Metódy poskytovania pomoci, zväzok 1, Usmernenia k riadeniu projektového cyklu, marec 2004, časť 5: Prístup logického rámca).

(23) Nariadenie (ES, Euratom) č. 1605/2002, článok 27 ods. 3.

(24) V roku 2006 bola štruktúra oblasti politiky „08 výskum“ stanovená na základe špecifických programov (a podprogramov) súčasného programovacieho obdobia 6. RP (a v dôsledku toho sa táto štruktúra nahradila v roku 2007 novou), avšak v oblasti politiky „09 informačná spoločnosť“ boli súčasný a predchádzajúci špecifický program spojené do jednej činnosti v rámci ABB (Európska komisia, GR pre výskum, riaditeľstvo A: koordinácia činností Spoločenstva, plánovanie, programovanie, hodnotenie, ročný plán riadenia na rok 2006 z 20. decembra 2005; Európska komisia, GR pre informačnú spoločnosť a médiá, ročný plán riadenia na rok 2006 z 23. decembra 2005).

(25) V prípade GR pre výskum sa ciele ABM (a ukazovatele na hodnotenie ich dosiahnutia) zmenili z roka na rok. GR pre informačnú spoločnosť na druhej strane uplatnilo viacročné ciele, ktoré sa však líšili od programových cieľov (alebo cieľov stanovených na úrovni programu práce).

(26) Európska komisia, útvar vnútorného auditu, Preskúmanie účinnosti a efektívnosti cyklu SPP/ABM – generálny sekretariát a GR pre rozpočet, 2005: odsek 4.1, s. 31.

(27) Európska komisia, oznámenie Komisie Rade o akčnom pláne Spoločenstva týkajúcom sa hodnotenia programov Spoločenstva v oblasti výskumu a rozvoja, KOM(83) 1 v konečnom znení z 19. januára 1983.

(28) Oznámenie Komisie Rade a Európskemu parlamentu, Nezávislé externé monitorovanie a hodnotenie činností Spoločenstva v oblasti výskumu a technologického rozvoja, KOM(1996) 220 v konečnom znení z 22. mája 1996.

(29) Každé generálne riaditeľstvo implementujúce rámcové programy dokladá svoje plánované hodnotenia v ročných (a viacročných) plánoch hodnotenia. Tieto plánovacie dokumenty sa však nedajú považovať za stratégiu hodnotenia ako takú.

(30) Nariadenie (ES, Euratom) č. 1605/2002, článok 27 ods. 4.

(31) „Loi de programme pour la recherche no 2006 – 450“ z 18. apríla 2006 a „Décret no 2006 – 1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)“ z 3. novembra 2006.

(32) Agencia Nacional de Evaluación y Prospectiva v rámci ministerstva vzdelávania a vedy: Orden ECI/1252/2005 zo 4. mája 2005, na základe ktorého sa zriaďuje poradná komisia pre hodnotenie a plánovanie (Comisión Asesora de Evaluación y Prospectiva).

(33) V roku 2004 Deutsche Forschungsgemeinschaft (DFG) zriadilo špecializovaný inštitút – Institut für Forschungsinformation und Qualitätssicherung (IFQ) – s právomocou vytvárať a štandardizovať hodnotiace metodiky a zodpovedajúci za záruku kvality a vykonávanie hodnotení činností v oblasti výskumu a technologického rozvoja, ktoré financuje DFG.

(34) Komisia v rámci 7. RP zriadila 15 expertných poradenských skupín v porovnaní s 12 skupinami v rámci 6. RP a 17 skupinami v prípade 5. RP. Tieto expertné poradenské skupiny Komisii poskytujú poradenstvo týkajúce sa politických a programových otázok v súvislosti s rámcovými programami. Je však potrebné poznamenať, že expertné poradenské skupiny nezapadajú úplne do programovej štruktúry rámcových programov. Inými slovami expertné poradenské skupiny sa nevyužívajú pri každom špecifickom programe (alebo podprograme).

(35) V Kanade takmer všetky ministerstvá federálnej vlády zriadili stále hodnotiace výbory s účasťou vyšších úradníkov a zvyčajne aj externých partnerov, aby dohliadali nad systémom hodnotenia (Výskumná rada Kanady pre spoločenské a humanitné vedy: stály výbor pre hodnotenie – poverenie a členstvo).

(36) Európska komisia, Monitorovacia správa za rok 2004: Implementácia činností v rámci ES a Euratomu a zodpovedajúcich špecifických programov, august 2005, s. 5.

(37) Európska komisia, Plánovanie a optimalizácia ľudských zdrojov Komisie na účely priorít EÚ, SEK(2007) 530 z 24. apríla 2007.

(38) Európska komisia, oznámenie Komisii Štandardy hodnotenia a osvedčené postupy, predložené predsedom a komisárkou Michaele Schreyerovou, K(2002) 5267 z 23. decembra 2002; pracovný dokument Európskej komisie, Hodnotenie dosahu a predbežné hodnotenie, SEK(2005) 430 zo 6. apríla 2005, príloha I, poznámka pod čiarou č. 209.

(39) Európsky poradný výbor pre výskum (EURAB) v roku 2007 tiež odporučil zvýšenie zdrojov na hodnotenie rámcových programov (EURAB, Odporúčania k následnému hodnoteniu dosahu, júl 2007).

(40) Osobitná správa č. 1/2004 týkajúca sa riadenia nepriamych opatrení VTR 5. rámcového programu (5. RP) v oblasti výskumu a technického rozvoja (1998 – 2002) (Ú. v. EÚ C 99, 23.4.2004), body 116 a 122.

(41) Európska komisia, GR pre rozpočet, oznámenie Komisii Reakcia na strategické potreby: posilnenie využívania hodnotenia, návrh komisárky Dalie Grybauskaitėovej po dohode s predsedom, SEK(2007) 213 z 21. februára 2007; Európska komisia, oznámenie predsedu a komisárky Michaele Schreyerovej Komisii, Štandardy hodnotenia a osvedčené postupy, K(2002) 5267 z 23. decembra 2002.

(42) 14 generálnych riaditeľstiev má takéto príručky na hodnotenie oblastí politiky a programov, za ktoré zodpovedajú (Európska komisia, GR pre rozpočet – útvar pre hodnotenie, Prehľad hodnotiacich príručiek v Komisii, október 2004).

(43) Fahrenkrog, G. et al, Hodnotiace nástroje pre oblasť výskumu a technolotického rozvoja – posudzovanie sociálno-ekonomického dosahu politík v oblasti výskumu a technologického rozvoja, IPTS-JRC, 2002; PREST et al.; Posudzovanie sociálno-ekonomického dosahu rámcového programu; Univerzita v Manchesteri; 2002.

(44) Kým Komisia má spravidla k dispozícii informácie týkajúce sa účastníkov, často ich nie je možné jednoducho použiť na podrobnú analýzu, pretože údaje o danom účastníkovi sa neuchovávajú na jedinom mieste, a takisto nie sú zaznamenané v kompatibilnom formáte. To sťažuje dlhodobé sledovanie zainteresovanosti účastníka, napríklad posudzovanie dôvodov neúčasti, ako aj vzťahov medzi účastníkmi, napríklad skúmanie účinkov vytvárania a fungovania sietí (pozri bod 84).

(45) Výročná správa za rozpočtový rok 2006, tabuľka 2.3; výročná správa za rozpočtový rok 2005, bod 7.13; výročná správa za rozpočtový rok 2004, body 6.8 a 6.10; výročná správa za rozpočtový rok 2003, body 6.9 a 6.70; osobitná správa č. 1/2004, body 105 až 108; stanovisko č. 1/2006 k návrhu nariadenia Európskeho parlamentu a Rady, ktorým sa stanovujú pravidlá účasti podnikov, výskumných centier a vysokých škôl na akciách v rámci siedmeho rámcového programu a šírenia výsledkov výskumu (2007 – 2013) (Ú. v. EÚ C 203, 25.8.2006), bod 57.

(46) Zmluva o založení Európskeho spoločenstva, článok 173: „Komisia na začiatku každého roku zašle správu Európskemu parlamentu a Rade. Správa obsahuje informácie o činnostiach v oblasti výskumu a technologického rozvoja a o šírení výsledkov za uplynulý rok a o pracovnom programe na bežný rok.“

(47) Po ukončení projektu nebola vyvinutá systematická snaha o zhromaždenie údajov od účastníkov okrem špecifických prieskumov v rámci hodnotení. Prekážkou využívania prieskumov bola skutočnosť, že účastníci nie sú právne zaviazaní takéto analytické údaje predkladať, na rozdiel od niektorých národných programov v oblasti výskumu a technologického rozvoja (napr. v Nemecku).

(48) Osobitná správa č. 1/2004, bod 94; stanovisko Dvora audítorov č. 1/2006, bod 56.

(49) Výročná správa za rozpočtový rok 2006, bod 7.33; výročná správa za rozpočtový rok 2005, body 7.8 a 7.29; stanovisko č. 1/2006, body 58 až 61.

(50) CORDIS je jedinou databázou, ktorá obsahuje informácie o návrhoch, projektoch a výsledkoch, ktoré sú spoločné pre rámcové programy ako celok, vzťahuje sa na viaceré programovacie obdobia a je dostupná aj mimo Komisie. Avšak po vybratí návrhu sa údaje v databáze CORDIS týkajúce sa jednotlivých projektov už často neaktualizujú. Do 6. RP (vrátane) nemuseli účastníci rámcových programov z verejného a súkromného sektora zverejňovať svoje výsledky (Európsky poradný výbor pre výskum (EURAB), „Vydávanie vedeckých publikácií: politika otvoreného prístupu“, december 2006).

(51) Hanne Foss Hansen, Výber modelov hodnotenia: diskusia o návrhu hodnotenia, Hodnotenie, zv. 11 č. 4, 2005, s. 447 – 462.

(52) Do 6. RP (vrátane) nemuseli účastníci v rámcových programoch z verejeného a súkromného sektora zverejňovať svoje vedecké výsledky. EURAB v decembri 2006 odporučil, aby sa umožnil voľný prístup verejnosti k výskumu financovanému Spoločenstvom, a to zavedním povinnosti uverejňovať výsledky. Výbor takisto navrhol, aby Komisia zriadila internetový archív uverejnených výsledkov projektov (pozri EURAB, Vydávanie vedeckých publikácií: politika otvoreného prístupu, december 2006).

(53) Je treba poznamenať, že takéto modely sa používali pri predpovediach mikro- a makroekonomických účinkov plánovaného 7. RP (pozri Európska komisia, Monitorovacia správa za rok 2004: implementácia činností v rámci ES a Euratomu a zodpovedajúcich špecifických programov, august 2005, s. 23 – 25). Neexistuje však dôkaz o tom, že toto hodnotenie potenciálneho ekonomického dosahu rámcových programov je prepojené s plánom následného hodnotenia.

(54) GR pre informačnú spoločnosť a médiá, Monitorovanie a hodnotenie IST-VTR: výsledky a ukazovatele dosahu (2003 – 2004), 2005; Siete inovácií v oblasti rozvoja a zavádzania informačnej spoločnosti v Európe, 2006.

(55) GR pre informačnú spoločnosť a médiá: ERAnets – Hodnotenie sietí spolupráce medzi účastníkmi výskumu IST a ich transformácia na spoluprácu v Európskom výskumnom priestore (záverečná správa), 2005; Hodnotenie postupu šírenia Európskeho výskumného priestoru pre technológie informačnej spoločnosti, 2005; Siete inovácií v oblasti rozvoja a zavádzania informačnej spoločnosti v Európe, 2006.

(56) GR pre informačnú spoločnosť a médiá, Rámcová zmluva týkajúca sa hodnotenia dosahu výskumu v oblasti technológií informačnej spoločnosti.

(57) EURAB, Odporúčania k následnému hodnoteniu dosahu, júl 2007.

(58) Európska komisia, Päťročné posúdenie rámcových programov Európskej únie v oblasti výskumu, 1999 – 2003. Správa pracovnej skupiny nezávislých expertov pod vedením Erkkiho Ormalu (15. decembra 2004), príloha I.

(59) Európska komisia, Dosah politiky ES v oblasti výskumu a rozvoja na európsku vedeckú a technologickú komunitu; Súhrnná záverečná správa národných štúdií dosahu (1995).

(60) Európska komisia, Návrh harmonizovanej metodiky na štúdium dosahu rámcových programov EÚ v oblasti výskumu a rozvoja, 1992.

(61) Európska komisia, pracovný dokument zamestnancov, Európsky výskumný priestor: nové perspektívy, SEK(2007) 412/2 z 4. apríla 2007, časť 3.3.3 Európsky výskumný priestor a dôsledky monitorovania a hodnotenia založených na dôkazoch, s. 93.

(62) Je potrebné poznamenať, že dohody o grantoch na projekty sa uzatvárajú počas celého programovacieho obdobia a prvé dohody zväčša nadobúdajú platnosť koncom prvého roku programu. Trvanie dohôd je väčšinou tri až päť rokov, v dôsledku čoho je možné očakávať konečné výstupy najskôr o štyri až šesť rokov.

Zdroj: Európsky dvor audítorov.

(63) Európska komisia, Päťročné posúdenie rámcových programov Európskej únie v oblasti výskumu, 1999 – 2003, správa pracovnej skupiny nezávislých expertov pod vedením predsedu Erkkiho Ormalu (15. decembra 2004): časť 6 Hodnotenie rámcového programu, s. 19.

(64) Európska komisia, Hodnotiace nástroje – posudzovanie sociálno-ekonomického dosahu politík v oblasti výskumu a technologického rozvoja upravené spoločným výskumným centrom (Joint Research Centre – JRC) – inštitút pre prípadné technologické štúdie a Joanneum Research (august 2002), zhrnutie, s. 9. a 12.

(65) Európska komisia, Hodnotenie účinnosti nových nástrojov šiesteho rámcového programu, 21. júna 2004, správa pracovnej skupiny expertov na vysokej úrovni pod vedením predsedu profesora Ramona Marimóna, s. 20.

(66) European Policy Evaluation Consortium (EPEC), Technopolis Francúzsko, Štúdia o využívaní výsledkov hodnotení v Komisii: záverečná správa, zložka č. 1 súhrnná správa a prílohy, máj 2005.

(67) Respondenti z výboru CREST, ktorí sú často aj členmi programových výborov, vyjadrili vyššiu spokojnosť, čo môže byť v dôsledku ich formálnej úlohy pri monitorovaní implementácie programu.

(68) Európska komisia, pracovný dokument, Ročné preskúmanie hodnotení za rok 2004 – prehľad zistení a činností Komisie na základe hodnotenia, SEK(2005) 587 z 28. apríla 2005.

(69) Európska komisia, GR pre rozpočet, oznámenie Komisii Reakcia na strategické potreby: posilnenie využívania hodnotenia, návrh komisárky Dalie Grybauskaitėovej po dohode s predsedom, SEK(2007) 213 z 21. februára 2007, s. 4.

PRÍLOHA I MERANIE DOSAHU A VÝSLEDKOV OPATRENÍ VEREJNEJ POMOCI V OBLASTI VÝSKUMU A TECHNOLOGICKÉHO ROZVOJA Niektorými z hlavných metodických ťažkostí pri meraní dosahu a výsledkov opatrení verejnej pomoci v oblasti výskumu a technologického rozvoja sú: — „Atribučné problémy“: atribučné problémy sa prejavujú pri hodnoteniach a meraní výkonnosti. Úzko súvisia s otázkou „doplnkovosti“, v ktorej sa rieši, či by k zmenám nedošlo aj bez opatrení pomoci. Problém stanovenia súvislosti medzi výsledkami a konkrétnym opatrením pomoci ovplyvňuje aj mnoho vonkajších faktorov (napríklad účinky iných politík a programov, zmeny právneho rámca, spoločenské zmeny atď.). V oblasti výskumu okrem toho nedosiahnutie očakávaných výsledkov môže tiež znamenať úspech. Ďalšiu komplikáciu predstavuje zjavný problém presne priradiť výstupy výskumu, nehovoriac o účinkoch a dosahu, ku konkrétnym aspektom procesu v oblasti výskumu a technologického rozvoja, a dokonca k jednotlivým subjektom, ktoré sa zúčastňujú na výskumnej činnosti. — „Problémy pri meraní“: — „dostupnosť údajov“: vo všeobecnosti sa väčšina dostupných údajov, najmä údaje zhromaždené pomocou monitorovacích systémov, týka vstupov a výstupov činností v oblasti výskumu a technologického rozvoja, a nie účinkov a dosahu, — „pochopenie dynamiky“: vzhľadom na zjavný problém pri vytváraní modelu príčinných vzťahov medzi vstupmi a výstupmi je vnútorné fungovanie výskumného procesu nejasné; a pri chýbajúcej jasnej intervenčnej logike sa samotný proces väčšinou považuje za akúsi „čiernu skrinku“, — „porovnateľnosť výsledkov“: výsledky rôznych vedeckých oblastí sa dajú porovnať len v obmedzenom rozsahu, takže ich treba interpretovať v kontexte špecifických programov a podprogramov. Okrem toho sa výsledky ťažšie hodnotia pri základnom (alebo fundamentálnom) výskume ako pri aplikovanom výskume alebo technologickom rozvoji. Hlavným dôvodom je, že základný výskum spravidla pozostáva z jedinečných postupov, ktoré nemožno zopakovať. Dokonca aj v oblasti aplikovaného výskumu sa výsledky výrazne líšia, a preto ich nie je možné jednoducho porovnať, — „nahromadené výsledky“: problémy vznikajú pri prijímaní záverov na základe výsledkov hodnotenia z hľadiska výstupov, účinkov a dosahu, ku ktorým sa dospelo na nižšej úrovni, pri prechode na vyššiu úroveň (napríklad pri hromadení výsledkov projektov od skupín projektov, k oblastiam v rámci programu až k samotnému programu), — „primeranosť ukazovateľov“: ďalšou otázkou je, či hodnotitelia merajú tie správne aspekty. Posudzované hodnoty musia byť ľahko merateľné, ťažko manipulovateľné a musia vyvolávať vhodné správanie. „Merateľný“ ukazovateľ výstupu však nevyhnutne neumožňuje vyvodenie záverov o účinkoch a dosahu. — „Problémy s načasovaním“: ďalšou prekážkou je veľký časový rozdiel medzi výskumnou činnosťou a vytvorením výstupov a účinkov, aby bolo možné posúdiť dosah. Údaje sa musia zhromažďovať dlhodobo, aby bolo možné vyvodiť zmysluplné a podložené závery. Takýto časový rozsah hodnotenia často nezodpovedá očakávaniam a potrebám politických činiteľov a musí sa nájsť rovnováha medzi skorým predložením politiky a primeraným časom potrebným na prejavenie účinkov. — „Klamné predstavy o projekte“: pri hodnotení účinkov a dosahu jednotlivých projektov v rámci programu sa musí zohľad