ZVLÁŠTNÍ ZPRÁVA č. 9/2007

k hodnocení rámcových programů EU pro výzkum a technologický rozvoj – je možné zlepšit přístup Komise? spolu s odpověďmi Komise

(podle čl. 248 odst. 4 druhého pododstavce Smlouvy o ES)

(2008/C 26/01)

OBSAH

Příloha I: Měření dopadů a výsledků veřejné intervence v oblasti výzkumu a technologického rozvoje

Příloha II: Ustanovení o monitorování a hodnocení v legislativních rozhodnutích o 4. RP až 7. RP

Příloha III: Hlavní rozdíly v hodnocení ex post u výzkumných programů mezi EU (4. RP–6. RP), USA a Kanadou

Příloha IV: Možná struktura skupin pro 7. RP

Odpovědi Komise

SHRNUTÍ

hodnocení rámcových programů bylo decentralizované, stávající koordinační mechanismy mezi jednotlivými generálními ředitelstvími provádějícími rámcové programy byly neúčelné a ústřední útvary Komise nemohou dodržování standardů vynucovat. Obecně však generální ředitelství zabývající se výzkumem formální požadavky na hodnocení plní. Využívání skupin složených z externích odborníků na vysoké úrovni jmenovaných Komisí pro zásadní hodnocení bylo vzhledem ke kontextu Společenství vhodné. Tyto dočasné skupiny však nebyly do procesu zapojeny dostatečně včas na to, aby mohly ovlivnit shromažďování důkazů, a měly pouze omezenou možnost průběžně sledovat relevantní záležitosti. Protože byla použita pouze jedna obecná skupina pro pětiletá hodnocení, která se zabývala všemi aspekty a programy, nebyla specifickým záležitostem souvisejícím s různými vědeckými oblastmi v rámci rámcových programů věnována dostatečná pozornost;

neexistence komplexní strategie hodnocení rámcových programů, kterou by odsouhlasila generální ředitelství zabývající se výzkumem a provádějící rámcové programy, vedla k tomu, že přístupy jednotlivých útvarů Komise nebyly konzistentní. To dokládá zejména nedostatečné hodnocení významných částí rámcových programů;

požadavky na údaje pro hodnocení a monitorování byly náležitě analyzovány a více se využívaly ostatní existující zdroje údajů. Komise by dále měla racionalizovat požadavky na předkládání zpráv a výkaznictví ze strany účastníků. Měla by rovněž vypracovat podrobnou příručku pro hodnocení rámcových programů a vyvinout širší škálu metod a postupů hodnocení, jež se budou při hodnocení v této oblasti používat;

generální ředitelství provádějící rámcové programy vypracovala (a společně odsouhlasila) komplexní strategii hodnocení. To by mělo zahrnovat zejména konzistentní přístup, co se týká minimální úrovně, na níž musí být provedeno podrobné hodnocení, aby byla zohledněna specifika každé vědecké oblasti;

ÚVOD

Úloha Evropské unie při podpoře činností v oblasti výzkumu a technologického rozvoje

Prostřednictvím rámcových programů poskytuje Společenství finanční prostředky výzkumným pracovníkům v Evropské unii, přidružených zemích a mezinárodních organizacích. Jejich rozpočty se v průběhu let značně zvýšily a v rámci 7. RP dosáhly výše 7 217 milionů EUR ročně v porovnání s 2 761 miliony EUR v rámci 4. RP (viz obr. 1). Z hlediska rozpočtových položek představují největší oblast přímého centralizovaného řízení v rámci Komise (5) .

Podíl rámcových programů na celkovém veřejném financování VTR v rámci Evropské unie a jejích členských států se pohybuje v rozmezí od 4 % do 5 %. Jeho dopad na to, které výzkumné činnosti se v Evropě provádějí, je však podstatně větší. Důvodem je skutečnost, že z grantů Společenství se obecně kryje pouze část celkových finančních prostředků na projekt. Kromě toho musí výzkumní pracovníci při předkládání žádostí o financování prokázat, že se jejich projekty zabývají cíli, které jsou uvedeny ve výzvách k předkládání nabídek. Tímto způsobem rámcové programy motivují k tomu, aby se činnosti v oblasti VTR zaměřovaly na konkrétní cíle EU.

Hodnocení a sledování rámcových programů

Komise má systém monitorování a hodnocení rámcových programů zaveden od 80. let minulého století (11) . Počínaje 4. RP v polovině 90. let minulého století systém monitorování a hodnocení sestával z řady částečně propojených činností, včetně

ROZSAH A KONCEPCE AUDITU

15. Hlavním cílem auditu bylo zjistit, zda má Komise přiměřený přístup při posuzování výsledků rámcových programů v oblasti VTR.

Tato zpráva zahrnuje příslušná opatření pro 4. RP (1995–1998), 5. RP (1999–2002) a 6. RP (2003–2006). Zabývá se rovněž právními požadavky, které v současnosti platí v rámci 7. RP (2007–2013), ale nijak neposuzuje dokument Komise týkající se 7. RP „Posouzení dopadů a hodnocení ex ante“ (16) . Zaměřuje se na monitorování a hodnocení programů ex post, nikoliv na hodnocení návrhů projektů ex ante nebo hodnocení samotných projektů ex post.

AUDITNÍ PŘIPOMÍNKY

Logika intervence, stanovení cílů a ukazatele výkonnosti

Logika intervence pro rámcové programy není explicitně stanovena

Definování logiky intervence by mělo být od samého počátku hlavním prvkem návrhu programu. Výchozím bodem pro takovouto logiku intervence pro rámcové programy by měl být článek 163 Smlouvy, v němž se uvádí, že je nutné posilovat vědecké a technologické základy a zajistit větší konkurenceschopnost (viz bod 2). Toto by bylo potřeba více konkretizovat z hlediska různých vědeckých oblastí zahrnutých do rámcových programů a různých používaných nástrojů.

Jiný přístup se používá v některých členských státech (např. Nizozemsku, Finsku) a v USA (viz obr. 3), kde je stanovení logiky intervence mnohem samozřejmější, a v Kanadě, kde je povinné pro všechny programy (viz příloha III). Používání logiky intervence v návrhu programu zde vede k cílenějším a lépe strukturovaným programům. Komise ji zavádí i v jiných oblastech politiky Společenství (např. vnější pomoc) (22) .

Bez explicitně stanoveného logického modelu je obtížnější stanovit koherentní cíle programu

Není jasné, nakolik lze cíle politiky sledovat prostřednictvím zvláštních programů, pracovních programů a výzev k předkládání nabídek pro jednotlivé projekty spolufinancované Společenstvím. Dokud nebudou tyto vztahy objasněny, příspěvek rámcových programů a programů, které jsou jejich součástí, k dosažení těchto cílů nebude možné posoudit. Při auditu bylo zjištěno, že Komise ve svých hodnoceních může uvést jen málo důkazů (či nemůže poskytnout žádné přesvědčivé důkazy) o dosažení dlouhodobějších cílů, a to na úrovni projektů i programů (viz bod 82).

Neexistence explicitně stanovené logiky intervence a jasných cílů ztěžuje vypracování ukazatelů výkonnosti

Systém ABB/ABM není ve stávající zavedené podobě vhodným nástrojem pro měření výkonnosti rámcových programů

Rámeček 2ABB/ABM, jak je v současnosti zaveden v generálních ředitelstvích zabývajících se výzkumemV systému ABB/ABM se na rámcové programy vztahují dvě různé oblasti politiky, v jejichž rámci jsou činnosti těchto programů prezentovány podle různé nomenklatury specifické pro jednotlivá generální ředitelství (24) . To platí dokonce pro zvláštní programy a podprogramy prováděné více generálními ředitelstvími. Cíle ABM byly stanoveny podle odlišných základních zásad (25) a – jak uvádí útvar interního auditu Komise (26) – většinou byly formulovány obecně a popisují snahy nebo činnosti. Ukazatele byly zpravidla orientovány na vstupy (např. počet schůzek atd.). Některé zohledňovaly efektivnost procesu (např. doba, která předchází uzavření smluv, doba do platby), avšak mezi programy a generálními ředitelstvími nebyly srovnatelné kvůli rozdílům v nomenklatuře ABB, ve specifických předpokladech jednotlivých generálních ředitelství (např. zahájení a ukončení zvláštních správních procesů) a základním souboru (např. druh grantové dohody, druh platby), který se vzal v úvahu při jejich výpočtu.

Doporučení

34. V budoucích legislativních návrzích pro Radu a Evropský parlament by Komise měla explicitně stanovit logiku intervence pro rámcový program jako celek a části, z nichž se skládá. 35. Pro 7. RP by Komise měla: — jasně popsat cíle rámcového programu a zvláštních programů (a podprogramů), které jsou jeho součástí, a jak by jich mělo být dosaženo, — pro jednotlivé zvláštní programy (a podprogramy) objasnit vztah mezi vědeckými a sociálně-ekonomickými cíli a — stanovit příslušné operační cíle. 36. V rámci monitorovacího systému 7. RP by Komise měla pro každý zvláštní program (a podprogram) vypracovat omezený, avšak vyvážený soubor ukazatelů výkonnosti pro měření efektivnosti a účelnosti provádění programu. 37. Generální ředitelství zabývající se výzkumem by měla harmonizovat svou nomenklaturu ABM/ABB, aby ukazatele výkonnosti byly srovnatelné jak v čase, tak pokud možno mezi jednotlivými zvláštními programy (a podprogramy).

Strategie hodnocení

Strategie hodnocení stanoví koncepční rámec, v němž jsou jednotlivé hodnotící činnosti navrženy, naplánovány, prováděny a používány. Z osvědčených postupů v jiných rozpočtových oblastech EU a v dalších oblastech vyplývá, že by tato strategie měla vzít v úvahu hlavní právní, organizační a metodické záležitosti vztahující se k hodnocení programů. To zahrnuje otázku, jaká hodnocení mají být provedena, kým a kdy, jak mají být shromážděny údaje, jaké metodické přístupy mají být použity a jak mají být zjištění sdělena a dále sledována.

Zavedení takovéto strategie a zajištění, aby byla provedena, je předpokladem pro to, aby se hodnocení stalo nedílnou součástí organizační kultury Komise a jejího rozhodovacího procesu. Účetní dvůr však uznává, že vzhledem k rozmanitosti vědeckých oblastí zahrnutých do rámcových programů by tato strategie měla každému odpovědnému generálnímu ředitelství poskytovat přiměřenou míru pružnosti a neměla být příliš preskriptivní.

Absence komplexní strategie pro hodnocení rámcových programů

Komise poprvé zveřejnila svůj přístup k hodnocení rámcových programů v 80. letech minulého století (27) . Tento přístup byl aktualizován v roce 1996, kdy Komise informovala Evropský parlament a Radu o tom, co tehdy považovala za důležité základní zásady pro monitorování a hodnocení, a objasnila zamýšlený přístup po přijetí 4. RP (28) . Nejednalo se však o komplexní strategii hodnocení, jak je popsána výše (viz body 38 a 39). Navíc v letech 1996–2006 Komise svůj přístup k hodnocení 5. RP a 6. RP výrazně nerevidovala, a to navzdory skutečnosti, že se změnil rozsah i zaměření těchto programů (viz bod 7). Konkrétně generální ředitelství zabývající se výzkumem nedohodla konzistentní přístup k hodnocení rámcových programů a programů, které jsou jejich součástí, nad rámec legislativních požadavků přijatých v roce 1999 (pro 5. RP), v roce 2002 (pro 6. RP) a 2006 (pro 7. RP) (29) .

Neexistence takového strategického přístupu k hodnocení v této oblasti představuje pro současné programové období konkrétní problém, neboť 7. RP provádí společně několik generálních ředitelství, Evropská rada pro výzkum a výkonné agentury, a dále s ohledem na povinné střídání zaměstnanců na citlivých místech dle požadavků finančního nařízení. Je to rovněž v rozporu se současnou praxí v oblasti vnější pomoci (která je druhou největší oblastí přímo řízenou Komisí). V této oblasti se od roku 2002 příslušná generální ředitelství dohodla na společných víceletých strategiích hodnocení v návaznosti na programová období (viz bod 52).

Rozdíly v pokrytí a intenzitě hodnocení napříč rámcovými programy

Komise nestanovila pravidlo, pokud jde o to, kdy mají být zvláštní programy nebo podprogramy rámcového programu vyhodnoceny, nebo společnou prahovou hodnotu, při jejímž překročení je nutno hodnocení provést. To vedlo k nejednotným výkladům toho, co by se mělo hodnotit a jak podrobně:

Doporučení

49. Generální ředitelství zabývající se výzkumem by měla naléhavě vypracovat a dohodnout společnou strategii hodnocení rámcových programů. Tato strategie by měla zahrnovat konzistentní přístup k hodnocení rámcových programů a programů, které jsou jejich součástí, aniž by byla příliš preskriptivní. Dále by měla poskytnout vodítko, pokud jde o minimální úroveň, na niž je nutno hodnocení provést, aby se zohlednila specifika jednotlivých vědeckých oblastí.

Organizace hodnocení rámcových programů

Komise

Rámcové programy jsou prováděny společně několika generálními ředitelstvími, přičemž odpovědnost za hodnocení je decentralizovaná

Ústřední útvary Komise: stanoví standardy, ale nevymáhají je

Ze zkušeností v USA a Kanadě vyplývá, že vymáhání normotvornými subjekty zde přispívá k zajištění účinného fungování systému hodnocení. V obou zemích federální ministerstva stanoví a prosazují rámec, v němž se posuzuje úspěch programu (viz příloha III). Prostředí je sice jiné, nicméně jejich systémy jsou založeny na stejné základní zásadě, že by podobu systému hodnocení měl posoudit a jeho účelnost přezkoumat subjekt nezávislý na subjektu provádějícím program. Totéž lze zaznamenat v některých členských státech (např. Francii (31) , Španělsku (32) , Německu (33) ), kde na hodnocení prováděná financujícími agenturami dohlížejí externí subjekty, nebo dokonce provádějí tato hodnocení samy.

Skupiny

Skupiny externích odborníků: vyžadované právními předpisy o rámcových programech od 4. RP

To potvrdily průzkumy Účetního dvora, z nichž vyplynulo, že respondenti považují systém hodnocení Komise založený na skupinách za systém, který zaručuje nezávislost (viz obr. 4).

Nedostatky přístupu založeného na skupinách zavedeného Komisí

při stanovení zadání skupin a upřesnění otázek hodnocení Komise nekonzultuje externí zúčastněné strany, např. výrobní odvětví a významné výzkumné organizace podílející se na rámcových programech. Monitorovací skupina z roku 2004 tento problém rovněž zaznamenala a poznamenala, že „… možní uživatelé by měli být do procesu zapojeni v počáteční fázi“ (36) , a

hodnotící skupiny jsou obvykle zřízeny méně než jeden rok před tím, než má být jejich zpráva vyhotovena, a scházejí se pouze k omezenému počtu zasedání. To členům skupin ztěžuje možnost ovlivnit vymezení údajů a analýzu potřebnou pro jejich práci. Vzhledem k tomu, že se jedná o skupiny „ad hoc“ a dočasné skupiny, nelze poznatky o programech snadno shromáždit a důležité otázky sledovat v průběhu času. To je problémem zejména v případě, kdy je (jako v případě 7. RP) v průběhu programového období naplánována řada zásadních hodnocení (viz příloha II). Je to rovněž v rozporu s praxí Komise v případě jejích odborných poradních skupin pro rámcové programy, které jsou stálými subjekty (34) . Rovněž v Kanadě (35) jsou hodnotící skupiny stálé, aby byl zajištěn konzistentní a vnitřně provázaný přístup (viz příloha III),

Prostředky

Pro hodnocení rámcových programů nebyly výslovně vyčleněny žádné prostředky

Finanční prostředky na hodnocení rámcových programů jsou nižší, než doporučila Komise

Prostředky vyhrazené na hodnocení lze rovněž vyjádřit jako procento celkových rozpočtových položek přidělených na program. Z údajů získaných během auditu vyplývá, že v případě výzkumných programů v rámci členských států tato částka leží v rozmezí od 0,1 % do 2 %. Komise ve svých pokynech navrhuje, aby na hodnocení bylo vyhrazeno 0,5 % rozpočtu programu (38) . U větších programů však úspory z rozsahu znamenají, že by mohla postačovat menší část jejich rozpočtů.

Jak ukazuje tato zpráva, toto dodatečné úsilí vynakládané GŘ pro informační společnost vedlo k ucelenějšímu pokrytí hodnocením (viz body 13 a 46) a (jak se ukázalo ve vzorku hodnotících studií přezkoumaných Účetním dvorem) k použití metodik, které jsou pro potřeby hodnocení vhodnější (viz bod 84).

Odhad nákladů, který Účetní dvůr provedl na základě údajů poskytnutých Komisí, ukazuje, že by systém hodnocení založený na návrzích předložených v této zprávě v průměru představoval méně než 0,4 % rozpočtových položek 7. RP. To by pokrylo náklady na skupiny, externě vypracované studie, zaměstnance úřadu pro společné hodnocení i ve stávajících hodnotících jednotkách v rámci jednotlivých generálních ředitelství a různé jiné náklady (39) .

Doporučení

66. Generální ředitelství zabývající se výzkumem by kromě existujících hodnotících jednotek v rámci jednotlivých generálních ředitelství měla zvážit zřízení úřadu pro společné hodnocení. V souladu se stávající praxí v jiných oblastech politiky by tento úřad mohl koordinovat činnosti Komise v oblasti hodnocení rámcového programu jako celku. Takovéto společné podpůrné funkce byly v minulosti doporučeny pro generální ředitelství provádějící rámcové programy (40) a po vytvoření ERV a postoupení provádění programů výkonným agenturám se v budoucnu mohou stát ještě důležitějšími. 67. Komise by měla nadále využívat hodnotící skupiny, aby jí napomáhaly při hodnotících činnostech. Komise by však měla uvážit, jak strukturu skupin sladit s celkovou strukturou programů v rámci rámcového programu. To by bylo možno provést prostřednictvím skupin pro zvláštní programy a popřípadě podprogramy (viz příloha IV). Tyto skupiny by navíc měly být vytvořeny v dostatečném předstihu, aby Komisi poskytovaly účelnou podporu a činily tak po celé programové období i po jeho skončení. 68. Komise by měla znovu uvážit prostředky, které mají být použity k hodnocení rámcových programů a programů, které jsou jejich součástí.

Metodiky a postupy hodnocení

Využití specifických standardů a pokynů pro rámcové programy

Potřeby údajů a shromažďování údajů

Nedostatečná analýza informačních potřeb

To dokládají značné prodlevy při předkládání zpráv podle článku 173 a ročních monitorovacích zpráv (až o 16 měsíců později v případě zpráv podle článku 173 (46) a až o 7 měsíců později u ročních monitorovacích zpráv v období od roku 2002 do roku 2005). Jelikož tyto informace byly trvale opožděny, jejich využití bylo jen omezené.

Neúčelný přístup k získávání údajů hodnocení od účastníků

Tyto smluvní požadavky na poskytování údajů pro účastníky znamenaly zbytečnou administrativní zátěž. Např. co se týká ročního dotazníku pro 6. RP, údaje jsou shromažďovány mnohem častěji, než je nutné, a navíc z celého souboru projektů, přičemž by postačoval reprezentativní vzorek. To pravděpodobně vede k „únavě z hodnocení“. Tyto informace byly kromě toho shromažďovány v nevhodné době; mnoho základních záležitostí, o nichž jsou získávány údaje, je střednědobé nebo dlouhodobější povahy, takže shromažďování údajů ve smluvní době trvání projektu je samozřejmě předčasné (47) . Proto se informace získané pomocí těchto nástrojů v praxi využívaly k hodnocení v rámci 5. RP a 6. RP pouze omezeně.

Spolu s rozsáhlejším využíváním scientometrických metod (např. analýzy citací) k posouzení výsledků projektu (viz bod 83) by to mohlo Komisi poskytnout základ pro přechod na systém financování činností v oblasti VTR spolufinancovaných Společenstvím, který je více založen na výsledcích (49) .

Nebyly přiměřeně využity ostatní zdroje údajů

Hodnotící studie provedené Komisí

Zprávy přezkoumané Účetním dvorem

Hodnocení se soustředí na otázky monitorování, nikoliv výsledky a dopady

Nedostatečný důraz na vývoj inovativních metodik

U hodnocení z let 2000–2006 převládá využívání tradičních metodik a postupů (zejména průzkumů, dokumentárního přezkumu a pohovorů) (viz obr. 6). Řada jiných náročných, nicméně dobře zavedených metodik a postupů hodnocení nebyla použita (nebo byla použita jen zřídka), konkrétně:

nebyly zjištěny žádné důkazy o použití jiných metodik, např. „srovnávací“ metoda (nebo metoda „kontrolní skupiny“). To je přístup, který by byl zvlášť prospěšný k doložení přidané hodnoty programů na úrovni Společenství v porovnání se situací, kdy by nedošlo k žádné intervenci (nebo došlo k intervenci na vnitrostátní nebo regionální úrovni).

byly zjištěny pouze tři studie, které se pokoušely posoudit účinek financování Společenství na chování výzkumných organizací, co se týká vytváření celoevropských sítí (55) , a to navzdory skutečnosti, že jádrem koncepce EVP je předpoklad kladných účinků vytváření sítí,

Zúčastněné strany, s nimiž Účetní dvůr hovořil, zastávaly názor, že užitečnost a důležitost hodnocení Komise by mohla být lepší. To svědčí o potřebě dalšího metodologického rozvoje, aby bylo při vývoji systému hodnocení možné zohlednit měnící se povahu rámcových programů (viz bod 7) (57) .

Náročné otázky vznesené v pětiletých hodnoceních nebylo možno zodpovědět na základě konkrétních hodnotících studií Komise

To dokládají rovněž značné problémy, s nimiž se skupina pro pětileté hodnocení v roce 2004 (58) potýkala při zodpovídání otázek hodnocení uvedených v zadání. Mnoho z těchto náročných otázek nemohlo být vůbec přezkoumáno vzhledem k neexistenci vhodných studií provedených předtím Komisí (nebo jejím jménem) a k nemožnosti, aby členové skupiny zadali takovéto studie včas (viz obr. 7).

Hodnocení rámcových programů provedená na vnitrostátní úrovni

Doporučení

91. Komise by měla vypracovat příručku pro hodnocení činností financovaných z rámcových programů, která by obsahovala definice hlavních pojmů a terminologie a stanovila škálu vhodných metodik pro některé hodnotící činnosti. Tato příručka by měla být založena na stávajících pokynech a sadách nástrojů a měla by být pravidelně aktualizována. 92. Komise by měla definovat své informační potřeby s přihlédnutím k nutnosti omezit administrativní zátěž účastníků. 93. Komise by měla poskytovat informace z monitorování provádění rámcových programů včas. Jak požadují „pravidla účasti“ pro 7. RP, je nutno naléhavě řešit problémy týkající se počítačových systémů Komise pro údaje o řízení programu a účastnících. 94. Povinnosti účastníků týkající se předkládání zpráv a výkaznictví pro Komisi by se měly významně snížit a průzkumy by se měly provádět pouze na základě vzorku. Smluvní požadavek na předkládání údajů o dopadech na základě ukazatelů pro každý projekt by se měl nahradit stručným sebehodnocením při skončení projektu. 95. Komise by měla při svých hodnoceních šířeji využívat stávající doplňkové zdroje příslušných informací (a to jak v Komisi, tak i v členských státech). 96. Komise by měla využívat všechny dostupné metody hodnocení. Kromě toho by měla podporovat rozvoj inovativních přístupů k řešení metodických problémů spojených s hodnocením veřejné intervence ve výzkumu (viz příloha I) a využít tyto přístupy ve vlastních hodnoceních. 97. Komise by měla s členskými státy konzultovat, jak co nejvíce zvýšit přínosy hodnocení rámcových programů na vnitrostátní úrovni.

Šíření a využití zjištění hodnocení

Hodnocení by mělo poskytnout relevantní informace a analýzu, které lze účelně využít při řízení programu a tvorbě politiky. Hodnocení by mělo zejména poskytnout základ pro informované posouzení silných a slabých stránek veřejné intervence, které je nezbytné pro ponaučení. Účetní dvůr ověřoval, nakolik byla hodnocení náležitě načasovaná, zjištění sdělena zúčastněným stranám mimo Komisi a doporučení zohledněna Komisí za účelem revize probíhajících programů (tzv. learning programmes).

Načasování hodnocení nebralo v úvahu druh informací, které lze reálně očekávat

Účetní dvůr uznává, že některé druhy analýz vyžadují dlouhodobou perspektivu (např. vyhodnocení důsledků a sociálně-ekonomických dopadů) a že některé aspekty souvisejí s konkrétním programovým obdobím (např. cíle programu, a to i v rámci dané vědecké oblasti), zatímco jiné nikoliv (viz obr. 8). Komise však ve svých hodnotících činnostech nepřijala přístup, který tyto časové horizonty bere v úvahu.

studie zadaná GŘ pro výzkum zjistila, že „… stávající postupy hodnocení VTR v EU (zahrnující průběžné monitorování, pětiletá hodnocení a hodnocení v polovině období) jsou charakterizována silným zaměřením na monitorování v porovnání s posouzením dopadů“ a „… k posunutí požadavku a očekávání […] směrem k sociálně-ekonomickému dopadu by byl nutný nový rámec pro hodnocení a monitorování, který by vyžadoval větší úsilí na úrovni dopadů místo monitorování výstupů“ (64) .

skupina pro pětileté hodnocení v roce 2004 uvedla, že „… hodnocení by mělo pokrývat dlouhodobé i krátkodobé záležitosti a věnovat jim dostatečnou pozornost“ a „… mohly by se uvolnit prostředky […], aby bylo možno provést ambicióznější dlouhodobé hodnotící studie, které by mohly systematičtěji přezkoumat strukturální a širší sociálně-ekonomické záležitosti“ (63) ,

Komunikace a šíření výsledků

Komise sama může vypracovat a přizpůsobit operační pracovní programy podle krátkodobých cyklů na základě schválení příslušným programovým výborem. To by mohlo být příležitostí k provedení úprav v řízení programu a rovněž přerozdělení rozpočtů v rámci podprogramů. Nebyly nalezeny žádné důkazy, že Komise tuto možnost využívá (viz bod 107).

Kontrola opatření přijatých v návaznosti na zjištění hodnocení

Doporučení

108. Komise by měla zavést druh a rozsah hodnocení, jež lze přiměřeně očekávat u termínů stanovených v právních předpisech (2008, 2010 a 2015), vysvětlit, jak lze hodnocení použít k úpravě programů (tzv. learning programmes) a upřesnit, jak mohou hodnocení přispět k rozhodnutím o politice. Komise by měla zejména objasnit plánovaný přístup k hodnocení dlouhodobějších výsledků minulých a stávajících rámcových programů vzhledem k tomu, že tyto výsledky se mohou objevit za 7 až 10 let (viz obr. 8). 109. Komise by měla přezkoumat své postupy při oznamování a šíření zjištění hodnocení, aby bylo zajištěno, že zúčastněné strany obdrží potřebné informace. Generální ředitelství zabývající se výzkumem by měla oficiálně reagovat na všechna hodnocení a včas zveřejnit tyto studie spolu se svou odpovědí. Generální ředitelství zabývající se výzkumem by měla ve svých rozpočtových výkazech ABB a ročních zprávách o činnosti rovněž podat zprávu o následných opatřeních a využít doporučení při aktualizaci pracovních programů a navrhování budoucích programů.

CELKOVÝ ZÁVĚR

Podle názoru Účetního dvora by použití explicitně stanovené logiky intervence při navrhování programů RP v budoucnu vedlo k cílenějším a lépe strukturovaným programům. Přispělo by rovněž k politice Komise týkající se „lepší právní úpravy“, která usiluje o lépe navržené, jednodušší, účelnější a lépe chápané právní prostředí (69) .

Hodnocení rámcových programů a programů, které jsou jejich součástí, by mohlo být účelnější, pokud by cíle programu a ukazatele byly od samého počátku jasnější, pokud by generální ředitelství zabývající se výzkumem provádějící rámcové programy dohodla podrobnou, nikoliv příliš preskriptivní strategii hodnocení a pokud by se používaly modernější metodiky hodnocení, včetně kvantitativních metod.

Doporučení obsažená v této zprávě jsou založena buď na stávající praxi Komise, nebo na mezinárodních osvědčených postupech. Co se týká prostředků, je zřejmé, že zavedení navrhovaného přístupu k hodnocení programů by znamenalo vyšší náklady. Podle mínění Účetního dvora je však nanejvýš pravděpodobné, že to přinese kladné výnosy přinejmenším stejného řádu.

(1) Podle OECD lze výzkum a vývoj definovat jako „… tvůrčí práci prováděnou na systematickém základě s cílem zvýšit úroveň znalostí, včetně znalostí o člověku, kultuře a společnosti, a využití těchto znalostí k navržení nových aplikací“ (viz OECD, Manuál Frascati – Navržený standardní postup pro realizaci průzkumů o výzkumu a experimentálním vývoji, Paříž, 2002, s. 30). V rámci Společenství se používá zkratka VTR, která zahrnuje jak technologii, tak výzkum a vývoj.

(2) Hlavním generálním ředitelstvím pro řízení a koordinaci rámcových programů je GŘ pro výzkum. Pět dalších ředitelství řídí rovněž (části) zvláštních programů, přičemž nejdůležitější je GŘ pro informační společnost a média (dalšími jsou GŘ pro energetiku a dopravu, GŘ pro podniky a průmysl, GŘ pro rybolov a Společné výzkumné středisko Komise).

(3) Na zasedání v Lisabonu v roce 2000 Evropská rada stanovila cíl učinit z EU do roku 2010 nejdynamičtější a nejkonkurenceschopnější znalostní ekonomiku na světě, schopnou udržitelného růstu, s plnou zaměstnaností a posílenou hospodářskou a sociální soudržností.

(4) V roce 2002 se Evropská rada dohodla, že by se celkové výdaje na VTR a inovace v Evropské unii měly zvýšit s cílem přiblížit se 3 % HDP do roku 2010. Dále objasnila, že by dvě třetiny těchto nových investic měly pocházet ze soukromého sektoru (viz Evropská komise, „Investice do výzkumu: akční plán pro Evropu“; sdělení Komise Radě, Evropskému parlamentu, Evropskému hospodářskému a sociálnímu výboru a Výboru regionů, KOM(2003) 226 v konečném znění, s. 7).

(5) V případě přímého řízení Komise provádí operace potřebné k plnění rozpočtu bez jakékoliv účasti členských států nebo třetích zemí, v nichž sídlí příjemci finančních prostředků.

(6) Do roku 2006 se jen 6. RP zúčastnilo více než 22 000 veřejných a soukromých právních subjektů, obvykle v rámci konsorcií zahrnujících více partnerů.

(7) Jedná se o metodu spolupráce založenou na zásadě dobrovolné mezivládní spolupráce. Spočívá zejména ve vzájemném učení, porovnávání s referenčními hodnotami a sdílení osvědčených postupů.

(8) Nařízení Rady (ES, Euratom) č. 1605/2002 ze dne 25. června 2002 (Úř. věst. L 248, 16.9.2002, s. 1), články 27, 48, 59 a 60.

(9) Evropská komise, GŘ pro rozpočet, Sdělení Komisi předložené paní Grybauskaitė po dohodě s předsedou Komise, „Zesílené využívání hodnocení jako strategická nutnost“, SEK(2007) 213 ze dne 21. února 2007; Evropská Komise, GŘ pro rozpočet, Sdělení Komisi předložené paní Schreyerovou, „Zaměřeno na výsledky: posílení hodnocení činností Komise“, SEK(2000) 1051 ze dne 26. července 2000.

(10) Rozhodnutí Evropského parlamentu a Rady č. 1982/2006/ES ze dne 18. prosince 2006 o sedmém rámcovém programu Evropského společenství pro výzkum, technologický rozvoj a demonstrace (2007 až 2013) (Úř. věst. L 412, 30.12.2006, s. 1): čl. 7 odst. 1; informace z monitorování, které má Komise poskytovat programovým výborům, jsou stanoveny v rozhodnutích o zvláštních programech (viz např. rozhodnutí Rady 2006/971/ES ze dne 19. prosince 2006 o zvláštním programu „Spolupráce“, kterým se provádí sedmý rámcový program Evropského společenství pro výzkum, technologický rozvoj a demonstrace (2007 až 2013) (Úř. věst. L 400, 30.12.2006, s. 86): čl. 8 odst. 4 a příloha V).

(11) Evropská Komise, Sdělení Radě o akčním plánu Společenství týkajícím se hodnocení činností Společenství v oblasti výzkumu a vývoje pro roky 1987 až 1991, KOM(86) 660 v konečném znění ze dne 20. listopadu 1986, v reakci na usnesení Rady ze dne 28. června 1983.

(12) Evropská komise, „Pětileté hodnocení programů Evropské unie v oblasti výzkumu a technologického rozvoje, 1992–1996“; zpráva skupiny nezávislých odborníků, jejímž předsedou byl p. Viscount Davignon (1997); Evropská komise, „Pětileté hodnocení programů Evropské unie v oblasti výzkumu a technologického rozvoje, 1995–1999“; zpráva skupiny nezávislých odborníků, jejímž předsedou byl p. Joan Majó (červenec 2000); Evropská komise, „Pětileté hodnocení rámcových výzkumných programů Evropské unie, 1999–2003“; zpráva skupiny nezávislých odborníků, jejímž předsedou byl p. Erkki Ormala (15. prosince 2004).

(13) Evropská komise, „Vyhodnocení účinnosti nových nástrojů 6. rámcového programu“, 21. června 2004, zpráva skupiny odborníků na vysoké úrovni, jejímž předsedou byl profesor Ramon Marimón.

(14) Evropská komise, GŘ pro rozpočet, Sdělení Komisi předložené paní Schreyerovou, „Zaměřeno na výsledky: posílení hodnocení činností Komise“, SEK(2000) 1051 ze dne 26. července 2000; Evropská komise, GŘ pro rozpočet, Sdělení Komisi předložené předsedou a paní Schreyerovou, „Standardy pro hodnocení a osvědčené postupy“, K(2002) 5267 ze dne 23. prosince 2002.

(15) Evropská komise, GŘ pro rozpočet, Sdělení Komisi předložené paní Grybauskaitė po dohodě s předsedou Komise, „Zesílené využívání hodnocení jako strategická nutnost“, SEK(2007) 213 ze dne 21. února 2007.

(16) Evropská komise, pracovní dokument útvarů Komise, „Posouzení dopadů a hodnocení ex ante“, SEK(2005) 430.

(17) Výbor Evropského parlamentu pro průmysl, výzkum a energetiku (ITRE) odpovídá (zejména) za průmyslovou politiku, výzkumnou politiku (včetně šíření a využití zjištění výzkumu), vesmírnou politiku, činnosti Společného výzkumného střediska, Smlouvu o Euratomu a informační společnost a informační technologie.

(18) Výbor CREST (Comité de la Recherche Scientifique et Technique – Výbor pro vědecký a technický výzkum) byl zřízen usnesením Rady ze dne 14. ledna 1974 a je složen ze zástupců vnitrostátních orgánů odpovědných za vědecké a technické politiky členských států. Výbor CREST má poradní roli, informuje Komisi a Radu zejména o tématech týkajících se koordinace vnitrostátních politik v oblasti výzkumu a vývoje a sledování a hodnocení rámcových programů.

(19) Pro znázornění logiky intervence jsou nejvhodnější logické modely ukazující, jak vstupy vložené do různých činností vedou k očekávaným výsledkům. Tyto modely jsou s to jasně vysvětlit základní předpoklady způsobu, jakým je program navržen a jak jsou celkové cíle rozčleněny do operačních cílů.

(20) Evropská komise, GŘ pro rozpočet, „Hodnocení činností EU: praktická příručka pro útvary Komise“, červenec 2004, s. 87 a 106.

(21) „Pětileté hodnocení rámcových výzkumných programů Evropské unie, 1999–2003“, zpráva skupiny nezávislých odborníků, jejímž předsedou byl p. Erkki Ormala (15. prosince 2004): oddíl 6 „Hodnocení rámcového programu“, s. 19.

(22) Od zemí, které jsou příjemci vnější pomoci, se požaduje, aby předložily logické modely pro financování Společenství (Evropská komise, Metody poskytování pomoci, svazek 1, Pokyny k řízení projektového cyklu, březen 2004, oddíl 5: Metoda logického rámce).

(23) Nařízení (ES, Euratom) č. 1605/2002, čl. 27 odst. 3.

(24) V roce 2006 byla oblast politiky „08 výzkum“ strukturována na základě zvláštních programů (a podprogramů) stávajícího programového období 6. RP (a v důsledku toho byla v roce 2007 nahrazena jinou strukturou), zatímco v oblasti politiky „09 informační společnost“ byly stávající a předchozí zvláštní programy sloučeny jako jedna činnost v rámci ABB (Evropská komise, GŘ pro výzkum, ředitelství A: Koordinace činností Společenství, plánování, programování, hodnocení, roční plán řízení pro rok 2006, 20. prosince 2005; Evropská komise, GŘ pro informační společnost a média, roční plán řízení pro rok 2006, 23. prosince 2005).

(25) V případě GŘ pro výzkum se cíle ABM (a ukazatele používané k měření jejich dosažení) měnily z roku na rok. GŘ pro informační společnost na druhé straně používalo víceleté cíle, které však nebyly stejné jako cíle programu (nebo cíle stanovené na úrovni pracovního programu).

(26) Evropská komise, útvar interního auditu, přezkum účelnosti a efektivnosti cyklu SPP/ABM – generální sekretariát a GŘ pro rozpočet, 2005: bod 4.1, s. 31.

(27) Evropská komise, Sdělení Komise Radě o akčním plánu Společenství týkajícím se hodnocení programů Společenství v oblasti výzkumu a vývoje, KOM(83) 1 v konečném znění ze dne 19. ledna 1983.

(28) Sdělení Komise Radě a Evropskému parlamentu, „Nezávislé externí“ monitorování a hodnocení činností Společenství v oblasti výzkumu a technologického rozvoje, 22. května 1996 (KOM(1996) 220 v konečném znění).

(29) Každé GŘ provádějící RP dokumentuje svá plánovaná hodnocení v ročních (a víceletých) plánech hodnocení. Tyto plánovací dokumenty však nelze považovat za strategii hodnocení jako takovou.

(30) Nařízení (ES, Euratom) č. 1605/2002, čl. 27 odst. 4.

(31) Zákon o programu pro výzkum (Loi de programme pour la recherche no 2006–450) ze dne 18. dubna 2006 a Nařízení č. 2006–1334 o organizaci a fungování hodnotící agentury pro výzkum a školení (AERES) (Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)) ze dne 3. listopadu 2006.

(32) Národní agentura pro hodnocení a prognózování (Agencia Nacional de Evaluación y Prospectiva) v rámci ministerstva školství a vědy: Orden ECI/1252/2005 ze dne 4. května 2005, kterým se zřizuje poradní výbor pro hodnocení a prognózu (Comisión Asesora de Evaluación y Prospectiva).

(33) V roce 2004 založila německá výzkumná nadace Deutsche Forschungsgemeinschaft (DFG) specializovaný institut pro výzkumné informace a zajišťování kvality (Institut für Forschungsinformation und Qualitätssicherung, IFQ) a svěřila mu odpovědnost za vypracování a standardizaci metodik hodnocení, zajištění kvality a provádění hodnocení činností v oblasti VTR financovaných DFG.

(34) V rámci 7. RP Komise zřídila 15 odborných poradních skupin v porovnání s 12 odbornými poradními skupinami pro 6. RP a 17 skupinami v rámci 5. RP. Tyto odborné poradní skupiny Komisi radí v otázkách politiky a programů, které souvisejí s RP. Je však nutno poznamenat, že tyto odborné poradní skupiny nemapují strukturu RP vyčerpávajícím způsobem. Jinými slovy, ne pro každý zvláštní program (nebo podprogram) existuje odborná poradní skupina.

(35) V Kanadě téměř všechna federální ministerstva zřídila stálé hodnotící výbory zahrnující vyšší úředníky ministerstev a obvykle rovněž externí zúčastněné strany, aby dohlížely na systém hodnocení (Kanadská rada pro výzkum v oblasti společenských a humanitních věd (Social Sciences and Humanities Research Council of Canada): Stálý hodnotící výbor – mandát a členství).

(36) Evropská komise, „Monitorovací zpráva za rok 2004: Provádění činností v rámci ES a Euratomu a příslušných zvláštních programů“, srpen 2005, s. 5.

(37) Evropská Komise, „Plánování a optimalizace lidských zdrojů Komise s ohledem na priority EU“, SEK(2007) 530 ze dne 24. dubna 2007.

(38) Evropská komise, Sdělení Komisi předložené předsedou a paní Schreyerovou, „Standardy pro hodnocení a osvědčené postupy“, K(2002) 5267, 23. prosince 2002; Evropská Komise, pracovní dokument útvarů Komise, „Posouzení dopadů a hodnocení ex ante“, SEK(2005) 430, 6. dubna 2005, příloha 1, pozn. pod čarou 209.

(39) V roce 2007 Evropský poradní výbor pro výzkum (EURAB) rovněž doporučil zvýšit zdroje přidělené na hodnocení rámcových programů (EURAB, „Doporučení k posouzení dopadů ex post“, červenec 2007).

(40) Zvláštní zpráva č. 1/2004 o řízení nepřímých akcí v oblasti výzkumu a technologického vývoje v rámci 5. rámcového programu pro výzkum a technologický vývoj (1998 až 2002) (Úř. věst. C 99, 23.4.2004), body 116 a 122.

(41) Evropská komise, GŘ pro rozpočet, Sdělení Komisi předložené paní Grybauskaitė po dohodě s předsedou Komise, „Zesílené využívání hodnocení jako strategická nutnost“, SEK(2007) 213 ze dne 21. února 2007; Evropská Komise, Sdělení Komisi předložené předsedou a paní Schreyerovou, „Standardy pro hodnocení a osvědčené postupy“, K(2002) 5267 ze dne 23. prosince 2002.

(42) Takovéto příručky pro hodnocení má 14 GŘ pro oblasti politiky a programy, které jsou v jejich působnosti (Evropská komise, GŘ pro rozpočet – oddělení pro hodnocení, „Přehled pokynů k hodnocení v Komisi“, říjen 2004).

(43) Fahrenkrog, G. et al, RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al. Assessing the Socio-economic Impacts of the Framework Programme; univerzita v Manchesteru, 2002.

(44) Ačkoliv Komise obecně disponuje informacemi o účastnících, často je nelze snadno použít pro podrobnou analýzu, jelikož údaje o daném účastníkovi buď nejsou uloženy na jednom místě, nebo nejsou nutně zaznamenány v kompatibilních formátech. To ztěžuje sledování účasti účastníka v čase, např. k posouzení důvodů neúčasti a vztahů mezi účastníky, např. k prozkoumání účinků vytváření sítí (viz bod 84).

(45) Výroční zpráva za rozpočtový rok 2006, tabulka 2.3; výroční zpráva za rozpočtový rok 2005, bod 7.13; výroční zpráva za rozpočtový rok 2004, body 6.8 a 6.10; výroční zpráva za rozpočtový rok 2003, body 6.9 a 6.70, zvláštní zpráva č. 1/2004, body 105–108; stanovisko č. 1/2006 k návrhu nařízení Evropského parlamentu a Rady, kterým se stanoví pravidla pro účast podniků, výzkumných středisek a vysokých škol na akcích v rámci sedmého rámcového programu a pro šíření výsledků výzkumu (2007–2013) (Úř. věst. C 203, 25.8.2006), bod 57.

(46) Smlouva o založení Evropského společenství, článek 173: „Na počátku každého roku předloží Komise zprávu Evropskému parlamentu a Radě. Zpráva pojedná zejména o činnostech v oblasti výzkumu a technologického rozvoje a v oblasti šíření výsledků za uplynulý rok a o pracovním programu pro běžný rok.“

(47) Neexistoval žádný systematický pokus shromáždit údaje od účastníků po dokončení projektu s výjimkou zvláštních průzkumů v rámci hodnocení. Využití průzkumů bránila skutečnost, že účastníci na rozdíl od řady vnitrostátních programů v oblasti VTR (např. Německo) nemají právní povinnost takovéto analytické údaje poskytovat.

(48) Zvláštní zpráva č. 1/2004, bod 94; stanovisko č. 1/2006, bod 56.

(49) Výroční zpráva za rozpočtový rok 2006, bod 7.33; výroční zpráva za rozpočtový rok 2005, body 7.8 a 7.29; stanovisko č. 1/2006, body 58 až 61.

(50) CORDIS je jedinou databází, která poskytuje informace o návrzích, projektech a výsledcích, které jsou společné pro celý RP, zahrnují několik programových období a jsou dostupné mimo Komisi. Údaje o jednotlivých projektech v databázi CORDIS však často nejsou poté, co byl návrh vybrán, aktualizovány. Až do 6. RP včetně neměli účastníci RP z veřejného a soukromého sektoru povinnost zveřejňovat své výsledky (Evropský poradní výbor pro výzkum (EURAB), „Vědecká publikace: politika otevřeného přístupu“, prosinec 2006).

(51) Hanne Foss Hansen, „Výběr hodnotících modelů: diskuse o návrhu hodnocení“, Hodnocení, sv. 11 č. 4, 2005, s. 447–462.

(52) Až do 6. RP včetně nebyli účastníci RP z veřejného a soukromého sektoru povinni zveřejňovat své vědecké výsledky. V prosinci 2006 výbor EURAB doporučil, aby zveřejňování bylo povinné, a zaručil se tak volný přístup veřejnosti k výzkumu financovanému Společenstvím (viz EURAB, „Vědecká publikace: politika otevřeného přístupu“, prosinec 2006).

(53) Poznamenává se, že takové modely byly použity k prognózám mikro- a makroekonomických účinků plánovaného 7. RP (viz Evropská komise, „Monitorovací zpráva za rok 2004: Provádění činností v rámci ES a Euratomu a příslušných zvláštních programů“, srpen 2005, s. 23–25). Nejsou však k dispozici žádné důkazy, že toto posouzení možných hospodářských dopadů RP je spojeno s jakýmkoliv plánem pro hodnocení ex post.

(54) GŘ pro informační společnost a média, „Monitorování a hodnocení IST-VTR: Logika intervence – výsledky a ukazatele dopadu (2003–2004)“, 2005: „Sítě inovace při rozvoji informační společnosti a využití v Evropě“, 2006.

(55) GŘ pro informační společnost a média: „ERAnets – Hodnocení sítí spolupráce mezi účastníky výzkumu IST a jejich vývoj směrem ke spolupráci v Evropském výzkumném prostoru“ (závěrečná zpráva), 2005; „Hodnocení pokroku směrem k evropskému výzkumného prostoru pro informační společnost“, 2005; „Sítě inovace při rozvoji informační společnosti a využití v Evropě“, 2006.

(56) GŘ pro informační společnost a média: „Rámcová smlouva pro posuzování dopadů v případě výzkumu v oblasti technologií informační společnosti“.

(57) EURAB, „Doporučení k posouzení dopadů ex post“, červenec 2007.

(58) Evropská komise, „Pětileté hodnocení rámcových výzkumných programů Evropské unie, 1999–2003“; zpráva skupiny nezávislých odborníků, jejímž předsedou byl p. Erkki Ormala (15. prosince 2004), příloha 1.

(59) Evropská komise, „Dopad politiky ES v oblasti výzkumu a vývoje na evropské vědecké a technické společenství; závěrečná zpráva shrnující vnitrostátní studie dopadů“ (1995).

(60) Evropská komise, „Návrh harmonizované metodiky studií dopadů pro rámcové programy EU v oblasti výzkumu a vývoje“, 1992.

(61) Evropská komise, pracovní dokument útvarů Komise, „Evropský výzkumný prostor: nové perspektivy“, SEK(2007) 412/2 ze dne 4. dubna 2007, bod 3.3.3 „EVP a důsledky pro monitorování a hodnocení založené na důkazech“, s. 93.

(62) Je třeba upozornit, že grantové dohody pro projekty jsou podepisovány během celého programového období, přičemž první dohody obvykle vstupují v platnost na konci prvního roku programu. Doba trvání těchto dohod je zpravidla tři až pět let, jelikož výsledné konečné výstupy lze očekávat nejdříve po čtyřech až šesti letech.

Zdroj: Evropský účetní dvůr.

(63) Evropská komise, „Pětileté hodnocení rámcových výzkumných programů Evropské unie, 1999–2003“, zpráva skupiny nezávislých odborníků, jejímž předsedou byl p. Erkki Ormala (15. prosince 2004): Oddíl 6 „Vyhodnocení rámcového programu“, s. 19.

(64) Evropská komise, „Sada nástrojů hodnocení – Posouzení sociálně-ekonomických dopadů politik v oblasti VTR“, tzv. „sada nástrojů EPUB“ sestavených Společným výzkumným střediskem – Ústavem pro studium technologií budoucnosti (IPTS) a institucí Joanneum Research (srpen 2002), shrnutí, s. 9 a 12.

(65) Evropská komise, „Hodnocení účinností nových nástrojů 6. rámcového programu“, 21. června 2004, zpráva skupiny odborníků na vysoké úrovni, jejímž předsedou byl profesor Ramon Marimón, s. 20.

(66) Konsorcium pro hodnocení evropských politik (European Policy Evaluation Consortium – EPEC), Technopolis France, „Studie o využití výsledků hodnocení v Komisi: závěrečná zpráva“, sbírka dokumentů č. 1 Souhrnná zpráva a přílohy, květen 2005.

(67) Vyšší úroveň spokojenosti vykazovali respondenti z výboru CREST, kteří jsou často rovněž členy programových výborů, což by mohlo být dáno jejich formální úlohou při sledování provádění programů.

(68) Evropská Komise, pracovní dokument útvarů Komise, Roční přehled hodnocení 2004 – přehled zjištění a činnosti Komise v oblasti hodnocení, SEK(2005) 587 ze dne 28. dubna 2005.

(69) Evropská komise, GŘ pro rozpočet, Sdělení Komisi předložené paní Grybauskaitė po dohodě s předsedou Komise, „Zesílené využívání hodnocení jako strategická nutnost“, SEK(2007) 213 ze dne 21. února 2007, s. 4.

(2) RMAF (Results-based Management and Accountability Framework) – rámec řízení a odpovědnosti podle výsledků: viz sekretariát kanadského ministerstva financí (Treasury Board). Kanady

(1) PART (Programme Assessment Rating Tool) od roku 2002 – nástroj hodnocení programu: viz Úřad pro řízení a rozpočet (Office of Management and Budget (OMB)), výkonný úřad prezidenta, USA.

ODPOVĚDI KOMISE

I. Rámcové programy Společenství pro výzkum a technologický rozvoj (dále také „rámcové programy“ nebo „RP“) se staly během posledních desetiletí rozsáhlým, avšak uceleným systémem podpůrných nástrojů pro výzkumné pracovníky ve 27 členských státech, přidružených zemích i jinde. Rámcové programy jsou dnes největším veřejným nadnárodním systémem financování výzkumu na světě. Na rámcový program v současné době připadá 5 % z celkových veřejných prostředků EU na výzkum. Roční finanční účast Společenství bude v případě sedmého rámcového programu o zhruba 60 % větší než u 6. RP. Hodnotit tento unikátní systém je mimořádný úkol pro všechny zúčastněné. Mechanismy hodnocení a sledování prošly v posledních letech výraznými změnami, naposledy při spouštění sedmého rámcového programu v roce 2007. Systém hodnocení a sledování je v Komisi založen na přímé odpovědnosti útvarů komise, které program provádějí. Právě ony disponují nejvyšším stupněm technických odborných znalostí. Hodnocení na úrovni rámcových programů probíhají na základě koordinovaného úsilí všech generálních ředitelství (dále také „GŘ“).

IV. Komise vítá připomínku Účetního dvora, že generální ředitelství provádějící rámcový program (dále také „GŘ pro výzkum“) splnila požadavky Komise, včetně těch, jež jsou uvedeny ve sděleních o hodnocení z let 2000 a 2002. V hodnocení RP byly zavedeny podstatné změny, včetně provedení rozsáhlé restrukturalizace v případě sedmého rámcového programu. Komise má rovněž za to, že i) Rámcové programy byly vždy založeny na řádné logice intervence. Sedmý rámcový program je v tomto ohledu jasnější, což dále posílí systém Komise pro hodnocení a sledování. ii) Hlavní strategické prvky přístupu Komise k hodnocení a sledování byly od poloviny 90. let definovány v sérii právních aktů týkajících se rámcových programů. Od té doby, co Komise v roce 1996 přijala své poslední sdělení o hodnocení výzkumu, se přístup Komise k hodnocení RP neustále zdokonaloval a v hodnoceních byly provedeny výrazné změny. Během období, na které se vztahoval audit Účetního dvora, byla prováděna zásadní hodnocení rámcových programů, tzv. „pětiletá hodnocení“, jež byla předkládána každé čtyři roky. iii) Rámcové programy jsou společně prováděny „GŘ pro výzkum“, která jednají samostatně a spolupracují tam, kde je to nutné. Ústřední útvary Komise, zejména GŘ pro rozpočet, se aktivně zúčastňují různých fází procesu hodnocení. S ohledem na decentralizovanou organizační strukturu Komise a specifika každého vědeckého oboru je třeba, aby hodnocení prováděly pověřené pracovní útvary. Při koordinaci se velmi osvědčila „interní síť Komise pro hodnocení VTR“. Komise souhlasí, že hodnotící skupiny by měly v rámci hodnocení hrát důležitou roli, a vítá zjištění auditu, že její skupiny pro „pětiletá hodnocení“ a další důležitá hodnocení byly vnímány institucionálními zúčastněnými stranami jako záruka nezávislosti přístupu Komise během kontrolovaného období. iv) Poskytování přímých metodických pokynů k hodnocením je omezeno nutností udržet nezávislost hodnotitelů. Komise uznává dřívější potíže při shromažďování údajů a připouští, že dlouhodobé výsledky a dopady rámcových programů jsou méně známy, což je případ většiny hodnocení veřejných intervencí ve vědecké oblasti i jinde. v) Načasování většiny hodnocení je stanoveno v právních předpisech týkajících se rámcových programů a přijatých Evropským parlamentem a Radou. Celkově považuje Komise svůj systém hodnocení a sledování rámcových programů za účinný. Tento pohled sdílely i Evropský parlament a Rada, když v roce 2006 přijímaly návrhy aktuálních právních předpisů pro sedmý RP.

V. S ohledem na doporučení Účetního dvora Komise: i) Poukazuje na jednoznačnější logiku intervence v právních předpisech týkajících se 7. RP (přijatých Evropským parlamentem a Radou v roce 2006) a posílí použití jednoznačné logiky intervence ve svých budoucích návrzích právních předpisů. Kromě toho Komise hodlá dále objasňovat na úrovni pracovních programů své operační cíle pro sedmý RP a dále rozvíjet svůj přístup k měření výkonnosti. ii) Bude na základě návrhů v posouzení dopadů 7. RP dále rozvíjet svou strategii hodnocení pro tento program. Pečlivě bude zajišťována vhodná míra flexibility, tak aby si každý pracovní útvar mohl určit své specifické potřeby hodnocení. iii) Přestože nepovažuje za nutné zřídit úřad pro společné hodnocení, souhlasí s posouzením dalších možností, jak zlepšit koordinaci. Hodnotící skupiny by měly být svolávány co nejdříve, aby podpořily určité hodnocení. Přínosnější co do jasnosti a zaměření jsou však pravděpodobněji specializované skupiny svolané za konkrétním účelem. iv) Už učinila kroky k lepšímu využití existujících i nových zdrojů údajů pro svá hodnocení. Požadavky na předkládání zpráv v rámci 7. RP byly částečně přepracovány na základě potřeb pro hodnocení a sledování. Komise navíc v současné době vyvíjí nový informační systém pro 7. RP, který má ohledně údajů o projektech poskytovat solidnější základ. Komise zohlední nedávno předložené příklady a zváží možnost vypracování nové příručky pro hodnocení. v) Komise hodlá rozvíjet a posilovat své výhledové plánování hodnocení v rámci 7. RP, přičemž vezme v potaz možné výhody pro důslednost a použitelnost výsledků.

1.–13. Rámcové programy Společenství pro výzkum a technologický rozvoj (dále také „VTR“) se staly během posledních desetiletí rozsáhlým, avšak uceleným systémem podpůrných nástrojů pro výzkumné pracovníky ve 27 členských státech, přidružených zemích i jinde. Rámcové programy jsou dnes největším nadnárodním systémem financování výzkumu na světě (viz bod 6 dokumentu Účetního dvora). Roční finanční účast Společenství bude v případě 7. rámcového programu o zhruba 60 % větší než u 6. RP (viz obrázek 1 v dokumentu Účetního dvora). Hodnotit tento unikátní systém je mimořádný úkol pro všechny zúčastněné. Způsoby hodnocení prošly v posledních letech významnými změnami (viz obr. 2 dokumentu Účetního dvora), naposledy při zavádění 7. RP v roce 2007 (viz např. odpovědi k bodům 23, 30, 41, 46, 72, 76–78, 93).

14. Generální ředitelství provádějící rámcové programy pro VTR („GŘ pro výzkum“) formálně splnila požadavky Komise na hodnocení, včetně těch, jež jsou uvedeny ve sděleních o hodnocení z let 2000 a 2002 (viz bod 54 dokumentu Účetního dvora).

22. Komise vyjadřuje svůj souhlas s tím, že řádná logika intervence je pro program důležitá, i s tím, že úloha stanovená v článku 163 Smlouvy o ES je v tomto ohledu klíčová. Kromě toho je přínos aktivit VTR financovaných Komisí velmi významný i pro další politiky a cíle Společenství. Naposledy byl pohled Komise na roli investic EU do VTR podrobně představen v obnovené lisabonské strategii a strategii pro udržitelný rozvoj (1).

23. Rámcové programy byly vždy založeny na řádné logice intervence. Sedmý rámcový program je v tomto ohledu jasnější (2), což dále posílí systém Komise pro hodnocení a sledování.

25. Řada zemí, včetně členských států, tento přístup rozvíjí, nicméně se v žádném případě nejedná o přístup jednotný. Zkušenosti z USA a Kanady mohou být hůře převoditelné než zkušenosti z členských států EU.

26. Komise se domnívá, že během období kontrolovaného auditem Účetního dvora, měla k dispozici účinný systém hodnocení a sledování (viz též odpověď na bod 23).

28. Je velmi náročné zajistit, zejména s ohledem na neodhadnutelnost výsledků výzkumu, aby všechny cíle v plném rozsahu vyhovovaly přísně vymezeným kritériím SMART. Všechny pracovní programy v rámci 7. RP obsahují analýzy očekávaných dopadů, které odpovídají cílům, odůvodněním a činnostem stanoveným ve zvláštních programech.

29. Během období, na které se audit Účetního dvora vztahuje, byla větší pozornost věnována krátkodobým výsledkům; existuje prostor pro dlouhodobější analýzy.

30. Na úrovni rámcových programů je v současné době vypracováván systém sledování pro 7. RP, který má zajistit souvislejší a systematičtější využití ukazatelů výkonnosti. Vícero na sobě nezávislých iniciativ na vypracování ukazatelů výkonnosti také probíhá uvnitř různých útvarů provádějících 7. RP.

34. Komise se už angažuje při zajišťování jasnější logiky intervence programu a vychází přitom z pokroků obsažených v právních předpisech týkajících se 7. RP a v posouzení dopadů. Bude se rovněž zabývat doporučeními Účetního dvora pro budoucí legislativní návrhy.

35. Komise vítá doporučení Účetního dvora, že by cíle 7. RP měly být dále objasněny, a bude v rámci možností daných příslušnými základními právními akty přijatými Evropským parlamentem a Radou na dosažení větší jasnosti cílů pracovat.

36.–37. Komise vítá doporučení Účetního dvora a vyvíjí iniciativu pro další rozvoj v měření výkonnosti a pro úpravu nomenklatury ABM/ABB.

38.–39. Komise se domnívá, že by její strategie hodnocení pro rámcové programy měla stanovit obecné zásady pro organizaci a další rozvoj hodnocení a sledování RP. Strategie by měla zahrnovat účel, definici nejdůležitějších částí systému, včetně zásadních hodnocení, a výhled do budoucna. S ohledem na decentralizovaný systém Komise pro hodnocení rámcových programů by i nadále měla být zaměřena na strategickou úroveň.

41. Hlavní strategické prvky přístupu Komise k hodnocení a sledování byly od poloviny 90. let definovány v sérii právních aktů týkajících se rámcových programů (viz příloha II). Od té doby, co Komise přijala své sdělení o hodnocení výzkumu v roce 1996, se její přístup k hodnocení RP neustále zdokonaloval a v hodnoceních byly provedeny výrazné změny (viz obrázek 2 v dokumentu Účetního dvora). Pro aktuální programové období je Komisí plánovaná strategie hodnocení jasněji stanovena v předběžném (ex ante) posouzení dopadů 7. RP (SEK(2005) 430). Zahrnuje podobu systému hodnocení, způsob jeho provádění a podrobný časový rozvrh plánovaných hodnocení na úrovni RP. Většího úsilí bude třeba při převádění této strategie do konkrétních plánů, přičemž Komise k tomuto účelu využije specifické koordinační struktury.

43. Komise sice uznává připomínku Účetního dvora, nicméně podotýká, že situace v USA a Kanadě je značně diferencovanější, než jak ji mohou znázornit jednotlivé strategie hodnocení.

44. Rozdíly ve využití hodnocení a v přístupu k nim napříč rámcovými programy odráží decentralizovaný systém Komise, který spojuje hodnocení s rozhodováním.

46. S ohledem na decentralizovanou organizační strukturu Komise je třeba, aby otázku ohledně patřičné míry vyhodnocování zodpověděly pověřené pracovní útvary (viz body 41 a 49). — (Druhá odrážka) Pětileté hodnocení (1999–2003) z roku 2004, koordinované GŘ pro výzkum, přineslo hodnocení na celkové úrovni RP. Rozhodnutí, zda provést samostatná hodnocení na různých úrovních programu, odráželo potřeby zapojených útvarů a různé souvislosti a rozsah příslušných činností.

47. Pětileté hodnocení z roku 2004 přineslo koordinované, aktuální a důkladné hodnocení celkového RP, v souladu s finančním nařízením. Bylo vypracováno renomovanými externími odborníky a jeho výsledky jsou široce přístupné.

48. Viz odpovědi na body 41 a 46.

49. Pro aktuální programové období je Komisí plánovaná strategie hodnocení stanovena v předběžném (ex ante) posouzení dopadů 7. RP (SEK(2005) 430). Zahrnuje podobu systému hodnocení, způsob jeho provádění a podrobný časový rozvrh plánovaných hodnocení na úrovni RP. Komise uznává, že většího úsilí bude třeba při převádění této strategie do konkrétních plánů, přičemž k tomuto účelu využije specifické koordinační struktury. Komise se však domnívá, že minimální úroveň podrobného hodnocení nemůže být stanovena vždy, jelikož je třeba, aby byla řídícím pracovníkům ponechána dostatečná pružnost při určování náležitých potřeb hodnocení.

51. Rámcové programy jsou prováděny společně „generálními ředitelstvími pro výzkum“, která jednají samostatně a spolupracují tam, kde je to nutné.

52. Úřad EuropeAid má operativní a řídící úkoly, které vykonává ve spolupráci s delegacemi Komise a prováděcími orgány ve třetích zemích. Proto lze jen obtížně uvádět tuto součást Komise jako příklad, jelikož není srovnatelná s decentralizovaným systémem odpovědností a úloh ve vědecké oblasti.

53. „Interní síť Komise pro hodnocení VTR“ přináší neformální způsob, jak vypracovat strategii hodnocení a jak koordinovat hodnocení na úrovni RP. Tento pružný mechanismus se velmi osvědčil.

55. Aktuální revize norem vnitřní kontroly Komise, přijatá dne 16. října 2007 (SEK(2007)1341), obsahuje 21 norem hodnocení, proto bude dodržování těchto norem zahrnuto do výročních zpráv o činnosti jednotlivých generálních ředitelství. Ústřední útvary Komise, zejména GŘ pro rozpočet, se aktivně zúčastňují různých fází procesu hodnocení. Hodnotící aktivity útvarů mohou být kontrolovány oddělením interního auditu nebo útvarem interního auditu. V budoucnosti bude k posuzování minimálních požadavků týkajících se kvality sloužit nedávno vypracovaný „Quality Assessment Framework“ (3). Od roku 2007 pomáhá s kontrolou kvality pro výhledové posouzení dopadů „výbor Komise pro posouzení dopadů“.

56. Srovnání znázorněné v příloze III zahrnuje období, na které se vztahuje audit Účetního dvora. Nebere tudíž v potaz značná vylepšení v rámci 7. RP, zejména pokud jde o novou strategii hodnocení, jasnější logiku intervence a konkrétní údaje o očekávaných výsledcích v pracovních programech. Účetní dvůr upozorňuje na určité členské státy, kde odpovědnost za hodnocení a finanční odpovědnost jsou odděleny. Stejně tak existují i jiné příklady (např. Spojené království), kde hodnocení je součástí správy programu (tak jako je tomu i v Komisi). Pokud jde o zásadní otázku nezávislosti, audit Účetního dvora zjistil spokojenost externích zúčastněných stran s konáním Komise v této záležitosti (viz bod 58 a obrázek 4 v dokumentu Účetního dvora).

59. — (První odrážka) Zajistit odpovídající účast renomovaných odborníků v hodnotících skupinách, které zasedají v dlouhém časovém rozmezí, je obtížné. — (Druhá odrážka) Zadání pro hodnocení na úrovni RP jsou stanovena rozhodnutím Komise v návaznosti na rozsáhlé neformální konzultace se zúčastněnými stranami, včetně zohlednění formálního stanoviska programových výborů sedmého RP, složených ze zástupců členských států a přidružených zemí. Tak tomu bude i v případě hodnocení ex post 6. rámcového programu v roce 2008.

62. Cíl, aby z rozpočtu programu bylo 0,5 % vyhrazeno na hodnocení, je Komisí doporučován jako průměrná hodnota. Výše nakonec přidělených prostředků záleží do značné míry na charakteru programu.

66. Přestože Komise nepovažuje za nutné zřídit úřad pro společné hodnocení, souhlasí s posouzením dalších možností, jak zlepšit koordinaci. Propojení mezi hodnocením a rozhodováním řídících pracovníků může být nejlépe dosaženo pomocí hodnotících pozic v rámci jednotlivých GŘ a tím, že se za podpory ústředních útvarů dodá „interní síti Komise pro hodnocení VTR“ nový impulz. To je rovněž v souladu s legislativním a rozpočtovým procesem, jak se požaduje ve finančním nařízení, se sdělením Komise o hodnocení z roku 2007 a postupy v kontextu ABM.

67. Komise souhlasí, že skupiny mohou hrát v hodnocení důležitou roli. Rovněž souhlasí, že skupiny by v zájmu podpoření konkrétního hodnocení měly být svolávány co nejdříve, nicméně nepovažuje za vhodné zřizovat stálé skupiny po celé programové období. Přínosnější co do jasnosti a zaměření je však pravděpodobněji specializovaná skupina svolaná za konkrétním účelem.

68. Komise bude pečlivě posuzovat zdroje potřebné k provedení hodnocení rámcových programů v následujících letech.

70.–71. Metodické pokyny pro hodnocení, zahrnující i dostupné nástroje a slovník terminologie, poskytuje příručka GŘ pro rozpočet (4), kterou útvary, včetně „generálních ředitelství pro výzkum“, v současnosti aktualizují. Mimoto generální ředitelství pro podniky a průmysl vypracovalo v roce 2002 konkrétní pokyny pro hodnocení, které zahrnují činnosti, za které zodpovídá toto GŘ, včetně rámcových programů. Další podpůrné iniciativy budou zvažovány pro obnovenou „Evropskou síť pro hodnocení VTR“ (složenou z odborníků z členských států a přidružených zemí) a interní „síť Komise pro hodnocení VTR“. Komise bude i nadále podporovat workshopy a nezávislé studie o metodice hodnocení.

72. Komise souhlasí, že proces rutinního shromažďování údajů z projektů byl účinný jen zčásti. Postupy pro podávání zpráv o projektech byly přepracovány během platnosti 6. RP a budou dále zdokonalovány v rámci 7. RP (např. pravidelné předkládání zpráv bude zjednodušeno; průběžné dotazníky byly zrušeny; závěrečné zprávy budou přínosnější, zejména co se týče získávání údajů o provádění projektu a jeho výsledcích).

74. „Generální ředitelství pro výzkum“ pracují v současné době na novém informačním systému pro 7. RP ve spolupráci s GŘ pro informatiku. Takto rozšířená IT podpora má přinést solidnější základ pro hodnocení a sledování.

76.–78. Během období, na které se vztahuje audit Účetního dvora, bylo získávání údajů o hodnocení účinné jen zčásti. Komise zavádí vylepšení v rámci 7. RP (viz odpověď na bod 72).

79. Cílem Komise je podporovat typy kvantitativních studií, jež navrhuje Účetní dvůr.

81. Komise je toho názoru, že v nedávné době bylo předloženo mnoho metodicky zajímavějších hodnocení (viz bod 84) a že je třeba rozlišovat mezi rozsáhlými hodnoceními a běžnými hodnoceními.

82. Komise uznává, že v hodnoceních byla všeobecně větší pozornost věnována krátkodobějším výsledkům, a souhlasí, že existuje prostor pro více analýz ohledně výsledků a dopadů. Takový přístup ovšem vyžaduje dlouhodobější perspektivu, a proto jsou hodnocení Komise srovnatelná s podobnými pracemi jinde.

83. Komise se snaží respektovat nezávislost odborníků na hodnocení, zejména pokud jde o výběr vhodné metodiky. Pro nadcházející hodnocení ex post 6. RP v roce 2008 je navrženo vypracování studií o adicionalitě (doplňkovosti) chování, analýze sítí a využití scientometrických metod.

84. Pro pětileté hodnocení (1999–2003) v roce 2004 byla nezávislým odborníkem provedena metaanalýza předchozích hodnotících studií (5). — (druhá odrážka) Kromě studií, na které odkazuje Účetní dvůr, byly v roce 2007 zveřejněny další významné studie (6).

85. Komise souhlasí, že je dále nutné vyvinout nové metodické přístupy s ohledem na měnící se charakter rámcových programů. Tento vývoj v metodice Komise podporuje a bude podporovat i nadále.

86. Protože otázky uvedené v zadání pro pětileté hodnocení (1999–2003) v roce 2004 byly pouze orientační, skupina si mohla libovolně vybrat oblasti, na které se zaměří, a určit si své pracovní postupy. Členové skupiny konstatovali vynikající kvalitu hodnocení (7).

87. Samotný charakter výzkumného programu, příznačný svou neurčitostí, s sebou nese určitá omezení v tom, nakolik mohou být vyčíslitelné cíle stanoveny.

90. V roce 2007 Komise obnovila svou „Evropskou síť pro hodnocení VTR“, kterou tvoří úředníci členských států a odborníci na hodnocení a kterou Komise hodlá využít k rozvíjení větší propojenosti činností v rámci hodnocení výzkumu EU, zejména pokud jde o studie o dopadech na úrovni členských států.

91. Komise zváží možnost vypracování nové příručky pro hodnocení RP, přičemž vezme v potaz nedávno předložené příklady (8).

92. Postupy pro předkládání zpráv o projektech byly přepracovány během platnosti 6. RP a budou dále zdokonalovány v rámci 7. RP (viz odpověď na bod 72).

93. Na úrovni rámcových programů je v současné době vypracováván systém sledování pro 7. RP, který má zajistit souvislejší a systematičtější využití ukazatelů výkonnosti (viz odpověď na bod 30). „Generální ředitelství pro výzkum“ pracují v současné době na novém informačním systému pro 7. RP ve spolupráci s GŘ pro informatiku. Takto rozšířená IT podpora má přinést solidnější základ pro hodnocení a sledování.

94. Komise souhlasí s připomínkami Účetního dvora ohledně problému, že předkládání zpráv představuje velkou zátěž, a výslovně je zohlednila v požadavcích pro podávání zpráv pro 7. RP (viz odpověď na bod 72).

95. Komise se v současné době zabývá snahami využít stávající i nové zdroje údajů pro hodnocení a sledování (viz odpověď na bod 72).

96. V 7. RP se v rámci tématu 8 (sociálně-ekonomické a humanitní vědy) uvádějí konkrétní opatření, která řeší inovativní přístupy k hodnocení a sledování.

97. Komise v roce 2007 obnovila svou „Evropskou síť pro hodnocení VTR“ (viz odpovědi na body 70–71 a 90), kterou Komise hodlá využít k rozvíjení větší propojenosti činností v rámci hodnocení výzkumu EU, zejména pokud jde o studie o dopadech na úrovni členských států. Komise rovněž hodlá udržet svou čelnou pozici v podpoře mezinárodních sítí a sdílení postupů při hodnocení výzkumu prostřednictvím workshopů a jiných akcí.

99. Načasování hodnocení je dáno požadavky uvedenými v základních právních aktech přijatých Evropským parlamentem a Radou. Komise uznává, že dlouhodobé dopady jsou méně známy, a souhlasí, že v této oblasti existuje prostor pro větší aktivitu.

100. Komise souhlasí, že pětiletá hodnocení měla tendenci zaměřovat se více na krátkodobé hodnocení než na hodnocení v delším časovém horizontu. Vysvětluje to faktory, mezi které patří zájem externích zúčastněných stran, jako např. Evropského parlamentu a Rady o rychlou zpětnou vazbu při uskutečňování RP, problém předem určit dopady výzkumu z dlouhodobého hlediska a zaměření, které vybraly nezávislé skupiny při provádění hodnocení. Komise nicméně uznává, že na posouzení dlouhodobějších účinků by se mělo věnovat více pozornosti.

108. Komise se nachází v procesu plánování hlavních hodnotících činností v rámci 7. RP a doporučení Účetního dvora bude pečlivě zohledňovat. Komise uznává, že dlouhodobé dopady jsou méně známy, a souhlasí, že v této oblasti existuje prostor pro větší aktivitu.

109. Jak uvádí Účetní dvůr v bodě 107, Komise poskytuje shrnutí všech zjištění a opatření přijatých v návaznosti na hodnocení výzkumu ve své každoroční hodnotící zprávě. Komise se při zpracování hodnocení zavázala k plné transparentnosti a vezme na vědomí doporučení Účetního dvora k přezkoumání prostředků pro oznamování a šíření výsledků hodnocení.

110.–111. Komise souhlasí s Účetním dvorem, že hodnocení výzkumu, zejména tak rozsáhlého programu, jako je RP, je velmi obtížné. Podotýká, že v systému byly za posledních 25 let provedeny významné změny k lepšímu a že celkově je systém účinný pro politiky, výzkumné řídící pracovníky a jiné zúčastněné strany.

112. Komise vítá připomínku Účetního dvora, že generální ředitelství provádějící RP splnila požadavky Komise, včetně těch, jež jsou uvedeny ve sděleních o hodnocení z let 2000 a 2002. V rámci hodnocení RP byly zavedeny výrazné změny, včetně důležité restrukturalizace v rámci 7. RP, jak je stanoveno ve strategii obsažené v posouzení dopadů (SEK(2005) 430).

113. Pokud jde o důležitost a užitečnost hodnocení, může Komise poukázat na všeobecně pozitivní zpětnou vazbu, které se jí v tomto ohledu dostává, zejména v rámci nedávných klíčových hodnocení, jako např. pětiletého hodnocení (1999–2003) z roku 2004. Výsledky pětiletého hodnocení byly široce zveřejňovány, přičemž byly představeny hlavním orgánům, jako jsou Evropský parlament, Rada, CREST (Výbor pro vědecký a technický výzkum) a programový výbor RP. Protože toto hodnocení muselo být závazně vypracováno dříve, než Komise předloží návrh na nový rámcový program (v tomto případě 7. RP), jeho celková přijatelnost byla vyjádřena následným přijetím 7. rámcového programu. To ovšem neznamená, že neexistuje prostor pro zlepšení, přičemž Komise plně uznává potřebu provádět pečlivě promyšlené změny, které vycházejí z těch prvků současného přístupu, které se již osvědčily.

114. Komise vítá, že Účetní dvůr uznává důležitost hodnocení a sledování, a bude na základě již provedených zlepšení a s ohledem na nové politické a praktické skutečnosti nadále pokračovat v modernizaci svých současných metod.

115. Komise se už angažuje při zajišťování větší jasnosti v logice intervence programu, přičemž vychází z vylepšených postupů obsažených v právních předpisech týkajících se 7. RP a v posouzení dopadů. Bude se rovněž zabývat doporučeními Účetního dvora pro budoucí legislativní návrhy.

116. Na základě již provedených významných vylepšení v hodnocení rámcového programu Komise souhlasí, že je stále co zlepšovat, např. bližší operativní koordinaci mezi příslušnými útvary. Komise bude pokračovat ve svém úsilí podporovat rozvoj v rámci metodiky hodnocení.

117. Pokud jde o organizační opatření, Komise má za to, že: — (První odrážka) Hodnotící skupiny by měly být svolávány co nejdříve, aby podpořily určité hodnocení. Přínosnější co do jasnosti a zaměření je však pravděpodobněji specializovaná skupina svolaná za konkrétním účelem. — (Druhá odrážka) Musí být posílena koordinace mezi jednotlivými generálními ředitelstvími, která rámcové programy provádějí. Vedle nové strategie hodnocení v rámci 7. RP toho bude snadněji dosaženo prostřednictvím specifických organizačních struktur, které doplní interní „síť Komise pro hodnocení VTR“, než zřízením úřadu pro společné hodnocení.

(1) Sdělení Komise pro jarní zasedání Evropské rady – Provádění obnovené lisabonské strategie pro růst a zaměstnanost (KOM(2006) 816).

(2) Například návrh 7. RP předložený Komisí byl vypracován na základě podrobného předběžného (ex ante) posouzení dopadů, které obsahovalo ekonometrické modelování možných dopadů výzkumné činnosti v otázkách, jako např. ekonomický růst nebo tvorba pracovních míst (viz Evropská komise, pracovní dokument útvarů Komise, „Impact Assessment and Ex Ante Evaluation for the proposals for the Council and European Parliament decision on the 7th Framework Programme (EC and Euratom)“, SEK(2005) 430). Rozhodnutí o 7. RP mají jasnou strukturu, která propojuje cíle, odůvodnění a činnosti. Kromě toho v rozhodnutích o zvláštních programech 7. RP jsou stanoveny cíle, přístup a činnosti.

(3) „Quality Assessment Framework“ naleznete na internetové stránce: http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4) Evropská komise, GŘ pro rozpočet, „Evaluating EU Activities – A Practical Guide for the Commission services“, červenec 2004, publikaci naleznete na: http://ec.europa.eu/budget/publications/other_en.htm.

(5) E. Arnold, „What the Evaluation Record tells us about the Framework Programme Performance“, 2004.

(6) GŘ pro výzkum, „Structuring Effects of Community Research The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation“, 2007. GŘ pro informační společnost a média, „Effectiveness of IST-RTD Impacts on the EU Innovation System“, 2007.

(7) Viz C. Mandl, „Evaluating Evaluations or The Case for Action Research“, Austrian Platform Newsletter, č. 30, červen 2007.

(8) Viz například Evropská komise, Společné výzkumné středisko, „Assessing the Socio-Economic Impact of RTD-Policies“ (EPUB), 2002 a Univerzita Manchester, „Assessing the Socio-economic Impacts of the Framework Programme“ (ASIF), 2002, obě publikace naleznete na stránce: http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Tyto zprávy byly široce distribuovány a jsou přístupné smluvním partnerům a odborníkům, kteří jménem Komise hodnotící studie vypracovávají.