HU Az Európai Unió Hivatalos Lapja C 26/1

9/2007. sz. KÜLÖNJELENTÉS

„Az uniós kutatási és technológiai fejlesztési (KTF) keretprogramok értékelése – Tökéletesíthetné-e módszereit a Bizottság?” – a Bizottság válaszaival együtt

(az EK-Szerződés 248. cikke (4) bekezdésének második albekezdése alapján)

(2008/C 26/01)

TARTALOMJEGYZÉK

I–V. ÖSSZEFOGLALÓ

1–14. BEVEZETÉS

1–7. Az Európai Unió szerepe a KTF-tevékenységek támogatásában

8–14. A keretprogramok értékelése és felügyelete

15–18. AZ ELLENŐRZÉS TERJEDELME ÉS SZEMLÉLETE

19–109. ELLENŐRZÉSI MEGÁLLAPÍTÁSOK

19–37. Beavatkozási logika, a célok kitűzése és a teljesítménymutatók

38–49. Értékelési stratégia

50–68. A keretprogramok értékelésének megszervezése

69–97. Értékelési módszerek és technikák

98–109. Az értékelési megállapítások terjesztése és felhasználása

110–118. ÁLTALÁNOS KÖVETKEZTETÉS

I. melléklet: A közszféra KTF-be történő beavatkozása hatásainak és eredményeinek mérése

II. melléklet: A 4. KP-tól a 7. KP-ig vonatkozó jogalkotási határozatokban szereplő felügyeleti és értékelési rendelkezések

III. melléklet: A kutatási programok utólagos értékelése során felmerülő legfontosabb eltérések az EU (4. KP–6. KP), az USA és Kanada között

IV. melléklet: A szakértői bizottságok lehetséges struktúrája a 7. KP keretében

A Bizottság válaszai

ÖSSZEFOGLALÓ

I. A közösségi kutatási és technológiafejlesztési (a továbbiakban: KTF) keretprogramok jelentik a legnagyobb kutatás-finanszírozási közforrást az Európai Unióban. A keretprogramok (KP) irányításáért és eredményeik értékeléséért a Bizottság felelős.

II. Az ellenőrzés az 1995 óta érvényes felügyeleti és értékelési intézkedéseket ölelte fel a legutóbbi három programozási időszak (4. KP, 5. KP, 6. KP) tekintetében, előretekintést adva egyben a 7. keretprogramról (2007–2013) is. Az ellenőrzés az EFTA Számvevő Bizottságával közösen, külső szakértők bevonásával zajlott.

III. Az ellenőrzés középpontjában az a kérdés állt, hogy a Bizottság megfelelő szemléletet alkalmazott-e a keretprogramok eredményeinek értékelése során. Ezzel kapcsolatban a Számvevőszék ellenőrizte, hogy a Bizottság betartotta-e az értékelésre vonatkozó jogi előírásokat, és megvizsgálta, hogy az értékelési és felügyeleti rendszer megfelel-e az érdekeltek elvárásainak. A Számvevőszék főbb kérdései a következők voltak: i. megnyilvánul-e olyan közös beavatkozási logika a keretprogramokban és az őket alkotó programokban, amely az értékelés és felügyelet szilárd alapjául szolgálhat; ii. kidolgozott-e a Bizottság értékelési stratégiát a keretprogramokat illetően; iii. alkalmas volt-e a Bizottság keretprogram-értékelési rendszerének szervezeti struktúrája annak biztosítására, hogy az értékelés koordinációja megfelelően történjék, hogy elegendő forrás álljon rendelkezésre, és hogy az érdekeltek kellően függetlennek találják azt; iv. kielégítőek voltak-e az értékelésnél alkalmazott módszerek; v. segítheti-e az értékelési és felügyeleti tevékenységből származó információ és ennek elemzése a folyamatban lévő programok tökéletesítését és jövőbeni keretprogramok előkészítését.

IV. A Számvevőszék az alábbi megállapításokra és következtetésekre jutott: i. az explicit beavatkozási logika hiánya, a nem elég egyértelműen meghatározott programcélkitűzések és a teljesítménymérés gyöngesége gátolták az eredményes felügyeletet és értékelést; ii. mivel a keretprogramokat megvalósító „kutatási” főigazgatóságok nem fogadtak el átfogó értékelési stratégiát, az egyes bizottsági részlegek eltérő szemléletet követtek. Ezt jól példázza, hogy a keretprogramok jelentős részét nem értékelték kellő alapossággal; iii. a keretprogram-értékelés decentralizáltan folyt, nem működtek eredményesen a keretprogramokat végrehajtó főigazgatóságok közötti koordinációs mechanizmusok, és a Bizottság központi részlegei – különösen a Költségvetési Főigazgatóság – nem rendelkeztek olyan szerepkörrel, mely a normák betartatását biztosíthatta volna. Általánosságban azonban a „kutatási” főigazgatóságok betartották a Bizottság hivatalos értékelési követelményeit. A közösségi környezetet tekintve jól bevált az a gyakorlat, hogy a Bizottság magas szintű külső szakértőket nevezett ki a jelentősebb értékelésekhez felállított szakértői bizottságokba. Ezeket az időleges bizottságokat azonban nem vonták be az értékelési folyamatba elég korán ahhoz, hogy bele tudjanak szólni a bizonyítékgyűjtésbe, és arra is kevéssé volt lehetőségük, hogy az értékelést követően figyelmet szentelhessenek a releváns kérdések utógondozásának. Miután az ötéves értékeléseknél csak a keretprogrammal átfogóan foglalkozó, valamennyi szempontot és programot egyaránt szem előtt tartó szakértői bizottság állt fel (azon az egy bizottságon kívül, amelyik az egyik egyedi program keretében jött létre), a keretprogramokon belüli különböző tudományos területek egyes témáinak nem jutott elég figyelem; iv. a rendelkezésre bocsátott módszertani útmutatás nem volt megfelelő, az értékelőknek nehezen sikerült releváns adatokat összegyűjteniük, és nem volt olyan értékelő tanulmány, amely rövid távú program-végrehajtási témák helyett a keretprogramok hosszabb távon érvényesülő végeredményeit és hatásait tárgyalta volna; v. a fenti hiányosságok okán, és mivel az értékelésekre gyakran korábban került sor, mintsem hogy foglalkozhattak volna a legrelevánsabb témákkal, a Bizottság keretprogram-értékelési rendszere kevéssé bizonyult hasznosnak a politikaformálók, az egyéb érdekeltek, sőt akár a Bizottság számára. Végeredményben keveset lehet tudni arról, hogy sikerült-e elérni a programok kitűzött céljait, illetve hogy milyen eredményekkel zárultak a keretprogramok.

V. A Számvevőszék az alábbi ajánlásokat teszi: i. a jövőbeni jogi szabályozás tegye explicitté a beavatkozási logikát. Az azt megalapozó feltételezések nyerjenek világos kifejtést, akárcsak a tudományos célkitűzések és a társadalmi-gazdasági célkitűzések közötti kapcsolat; dolgozzanak ki megfelelő teljesítménymutatókat; ii. a keretprogramokat végrehajtó főigazgatóságok dolgozzanak ki (és közösen fogadjanak el) átfogó értékelési stratégiát, és különösen arra vonatkozóan jussanak egységes álláspontra, hogy – az egyes tudományterületek sajátosságainak figyelembevételével – melyik legyen az a legalacsonyabb szint, amelyen részletes értékelésre kerül sor; iii. a „kutatási” főigazgatóságoknak a keretprogram egészére vonatkozó értékelési tevékenységének összehangolása érdekében fontolóra veendő egy közös értékelő hivatal felállítása, illetve külső szakértőkből álló bizottságok (és albizottságok) rendszerének létrehozása. Ez utóbbiak időben jöjjenek létre ahhoz, hogy a programozási időszak során és azután is folyamatosan és eredményesen tudják támogatni a Bizottságot; iv. mélyrehatóan kell elemezni az értékelés és a felügyelet adatszolgáltatási igényeit, és fokozottan igénybe kell venni egyéb rendelkezésre álló adatforrásokat is. A Bizottság ésszerűsítse a keretprogramok résztvevőivel szemben támasztott beszámolási igényeket, végül pedig szerkesszen a keretprogramokról átfogó értékelési kézikönyvet, és dolgozzon ki többfajta, az e téren történő értékeléseknél alkalmazható módszert és technikát; v. a Bizottság határozza meg, hogy a 7. KP jogi szabályozásában megjelölt időpontokra milyen fajta és milyen kiterjedésű értékelés végrehajtását lehet elvárni, és tegye világossá, hogy az értékelések mennyiben használhatóak fel a programok módosításához („öntanító programok”), illetve mivel járulhatnak hozzá a szakpolitikai döntésekhez.

BEVEZETÉS

Az Európai Unió szerepe a KTF-tevékenységek támogatásában

1. A kutatás és technológiai fejlesztés (KTF) (1) a tudományos és technológiai haladás és innováció fő hajtóereje, s egyben az életszínvonal emelkedésének fontos motorja. A KTF közfinanszírozását általában azzal szokás igazolni, hogy az mintegy kiigazítja a piac elégtelen működését: a köztámogatás csökkenti a bizonytalansági tényezőket azzal, hogy oda juttat beruházást, ahol a kutatás a közérdeket szolgálja, vagy ahol jelentősek az externáliák.

2. Az EK-Szerződés 163. cikke a következőképpen szabja meg a Közösségeknek a KTF támogatásában játszott szerepét: „a Közösség célkitűzése, hogy erősítse a közösségi ipar tudományos és technológiai alapjait, ösztönözze nemzetközi versenyképességének fejlődését, ugyanakkor támogassa a […] szükségesnek ítélt kutatási tevékenységeket”. Az EK-Szerződés 164–173. cikke meghatározza az e tekintetben folytatandó tevékenységeket, valamint a többéves KTF-keretprogramok alkalmazási körét és végrehajtását. A keretprogram-javaslatokat a Bizottság terjeszti elő, míg a keretprogram-határozatokat, valamint a részvételre és a kutatási eredmények terjesztésére vonatkozó szabályokat együttdöntéssel az Európai Parlament és a Tanács hozza meg. Az egyedi programokat az utóbbi egyedül fogadja el. A keretprogramokat közösen hajtja végre hat főigazgatóság, az ún. „kutatási” főigazgatóságok (2).

3. Az innováció és a versenyképesség erősítését célzó európai uniós szakpolitikák széles körén belül a keretprogramok jelentik azt a legjelentősebb pénzügyi eszközt, amely közösségi szinten járul hozzá a lisszaboni stratégia (3) és a barcelonai célkitűzés (4) megvalósításához.

4. A keretprogramokon keresztül a Közösség olyan kutatókat finanszíroz, akik az Európai Unióban, társult országokban és nemzetközi szervezeteknél működnek. A keretprogramok költségvetése az évek során jelentősen emelkedett: míg a 4. KP idején még csak évi 2 761 millió EUR volt, a 7. KP keretében már eléri a 7 217 millió EUR-t (lásd: 1. ábra). Költségvetési előirányzatban kifejezve ez a legnagyobb közvetlen központi igazgatású terület a Bizottságon belül (5).

5. A keretprogramok számos nemzeti programtól eltérően mind az alapkutatásra, mind az alkalmazott kutatásra kiterjednek, és egyaránt részt vesznek bennük vállalatok és közfinanszírozású kutatási szervezetek (6). A keretprogramok a széles értelemben vett tudományterületek szerinti egyedi programokból (és azok alprogramjaiból) állnak, az egyedi programok pedig rendszerint – a szűkebben vett egyes tudományos területek szerinti megoszlásban – több alterületből allnak. A („közvetett tevékenységeknek” nevezett) projektek pályázati felhívások nyomán, az egyes alterületekre vonatkozóan valósulnak meg. Ily módon minden alterületen több száz egyedi projekt finanszírozására kerül sor.

6. A keretprogramok erősen befolyásolják, hogy Európában milyen típusú kutatási tevékenységekre kerül sor – annak ellenére, hogy a KP-k teljes részesedése az egész KTF-közfinanszírozásból az Európai Unióban, illetve a tagállamokban csak 4 % és 5 % között mozog. Ennek az az oka, hogy a projektek teljes finanszírozásának általában csak egy része származik közösségi támogatásból. Ezenkívül a finanszírozás kérelmezésekor a kutatóknak azt is bizonyítaniuk kell, hogy projektjük megfelel a pályázati kiírás célkitűzéseinek. A keretprogramok ily módon arra ösztönöznek, hogy a KTF-tevékenységek konkrét uniós célkitűzésekre irányuljanak.

7. Az utóbbi években több fontos változás történt a keretprogramokat illetően: — új politikai kihívások merültek fel (a lisszaboni stratégia és a barcelonai célkitűzések; az „Európai Kutatási Térség” (EKT) létrehozása; a nyílt koordinációs módszer (7) egyre gyakoribb alkalmazása a kutatási és innovációs politika terén), — módosult a keretprogramok irányultsága: amíg a 4. KP keretében még egyszerűen technikai problémák megoldása volt a cél, az 5. KP során pedig egyes szociális problémák kerültek a középpontba, addig a 6. és 7. KP keretében a kutatási szervezetek EKT-n belüli együttműködésének ösztönzése, illetve a tudásalapú gazdaság és társadalom létrehozásához való hozzájárulás vált központi kérdéssé, — hosszabb lett a programozási időszak (korábban négy év volt, míg a jelenlegi, 7. KP a 2007–2013 közötti időszakra szóló pénzügyi tervvel összhangban hét évig tart), — nőtt a tagállamok és a részt vevő országok száma, — nőtt a finanszírozás, különösen a jelenlegi pénzügyi terv keretében, — létrejött az Európai Kutatási Tanács, a programirányítási tevékenységeket pedig a 7. KP-val kezdve végrehajtó ügynökségekre ruházzák, — gyakrabban alkalmaztak nagyszabású finanszírozási eszközöket (pl. a kiválósági hálózatok, az integrált projektek, a Szerződés 169. cikke értelmében végrehajtott projektek, a közös technológiai kezdeményezések esetében).

A keretprogramok értékelése és felügyelete

8. A Bizottság hatáskörébe tartozik a programvégrehajtás, illetve a programok eredményeinek értékelése (8). A Bizottságon belül az értékelés decentralizáltan, az egyes főigazgatóságoknál történik, a központi részlegek (elsősorban a Költségvetési Főigazgatóság és a főtitkárság) támogató és koordinációs szerepe mellett.

9. Ebben a jelentésben mind az „értékelés”, mind a „felügyelet” szót a Bizottság saját meghatározása szerinti értelemben használjuk, tehát az előbbi „a beavatkozások aszerinti megítélése, hogy milyen eredménnyel és hatással jártak, illetve hogy milyen igény kielégítése a céljuk” (9), az utóbbi pedig a vezetők igényei szerinti információszolgáltatás a folyamatban lévő programok és projektek végrehajtásáról (10). A jelenlegi 7. KP jogi szabályozása ugyanígy tesz különbséget a két tevékenység között.

10. Az alábbiakban a következő kifejezéseket használjuk a KTF-tevékenységek eredményeinek leírására: — „végtermékek”: olyan tudás, termék vagy szolgáltatás, amely közvetlenül a beavatkozás eredményeképp áll elő (kiadványok, konferenciadokumentumok, szabadalmak, licenciák, prototípusok, standardok, magasan képzett tudósok stb.), — „végeredmények”: olyan késleltetett eredmények, amelyek abból adódnak, hogy a felhasználók hasznosítják a végtermékeket, — „hatások”: a beavatkozás eredményeképpen előálló hosszú távú társadalmi-gazdasági és politikai változások. 1. keretes szövegA „mobil kommunikáció globális rendszerének” (GSM) példájaPéldánkban a közösségi finanszírozás „végtermékei” a projekt közvetlen eredményei voltak, például a GSM-standard kifejlesztése. „Végeredménynek” tekinthetjük, hogy a GSM-et Európában és másutt is általánosan elfogadták a digitális cellás telefonrendszerek standardjaként, ami nagyban hozzájárult a távközlési iparág fejlődéséhez. Végül pedig „hatásként” könyvelhetjük el a GSM-technológia nemzetközi használatának gazdasági, szociális és politikai következményeit: többek között azt, hogy a távközlésben és a kapcsolódó iparágakban új munkahelyek teremtődtek, az európai gazdaságon belül pedig megnőtt az ipar ezen ágazatának jelentősége. Végső soron elmondható az is, hogy a GSM új kommunikációs utat nyitott meg az emberek előtt.

11. Az eredmények értékelése azonban számos módszertani nehézséggel jár (lásd: I. melléklet). Ezt egyrészt a társadalmi-gazdasági változások összetett volta okozza, másrészt – és ennek még közvetlenebb jelentősége van – gyakran nehéz kimutatni, hogy milyen viszony áll fenn a kutatási tevékenység, illetve a megfigyelt végeredmények és hatások között. Ezek a módszertani nehézségek ugyan jelentős kihívást jelentenek, de korántsem teszik lehetetlenné az eredményes értékelést.

12. A Bizottságnak már az 1980-as évek óta van a keretprogramokat felügyelő és értékelő rendszere (11). Az 1990-es évek közepétől, a 4. KP-val kezdve a felügyeleti és értékelési rendszert több, egymással részben összefüggő tevékenység alkotta, többek között: — az éves felügyelet (elsősorban a programvégrehajtásé), — a keretprogram tevékenységeinek ötéves értékelése (amihez a 6. KP-val kezdve egyes témák külön értékelése is járult). Mindkét tevékenységhez külső szakértők támogatása volt szükséges (lásd: 2. ábra és II. melléklet). 2. ábra 4. KP–7. KP – Fő felügyeleti és értékelési követelmények 4. KP (1995–1998) 5. FP (1999–2002) 6. KP (2003–2006) 7. KP (2007–2013) két értékelés (félidős és záró), mindkét esetben annak 20 alprogramjáról, valamint a KP-ról; a záróértékelés egybeesik az 5. KP félidős értékelésével két egyidejű értékelés (félidős), mindkét esetben annak 7 egyedi programjáról, valamint a KP-ról egy értékelés a KP-ről és annak 3 egyedi programjáról (félidős), – de nincs külön mind a 20 alprogramról; egyedi értékelés és haladási (nyomonkövető) jelentések egészítik ki. legalább öt értékelés (előzetes félidős és záró) – többek között egyedi haladási jelentés az időszaki értékelés előtt 1. Előzetes: nincs 1. Előzetes: nincs 1. Előzetes: nincs 1. Előzetes: Beépítve a Bizottság 7. KP-ra (2005) vonatkozó javaslatának hatásértékelésébe 2. Félidős: — „ötéves értékelés”: A KP félidejében, a rákövetkező KP előtt (1997) 2. Félidős: — ötéves értékelés: a rákövetkező KP-re vonatkozó javaslat benyújtása előtt (2000) — a haladás áttekintése a KP félidejében (2001) 2. Félidős: — az eszközök hatékonyságának értékelése (2004) — ötéves értékelés, a rákövetkező KP-re vonatkozó javaslat benyújtása előtt (2004) — rendszeres haladási (nyomonkövető) jelentések 2. Félidős: — utólagos, két évvel az előző KP vége után (2008) — haladási jelentés az időszaki értékelés előtt (2010 előtt) — időszaki értékelés (2010) 3. Záró: — A KP befejeztével (1999) 3. Záró: nincs 3. Záró: nincs [módosította a 7. KP határozata] 3. Záró: két évvel a KP befejezése után (2015), ehhez járulnak még egyedi tanulmányok, az időszaki értékelés és a KP teljes időtartama alatt folyó egyéb értékelési tevékenységek Forrás: lásd II. melléklet

13. Eddig három ötéves értékelésre került sor (12), amelyekről a Davignon-, Majó- és Ormala-jelentések születtek (1997-ben, 2000-ben, illetve 2004-ben). Az Információs Társadalmi Főigazgatóság ezenkívül célzottan értékelte a saját egyedi programját. Megjegyzendő, hogy a 7. KP szabályozása értelmében félbemaradt az ötéves értékelések sorozata, ezáltal megszűnt az a nyűg, hogy a nagyszabású értékeléseknek a megelőző öt évre kellett összpontosítaniuk, s tárgyuk így két egymást követő programozási időszakot fedett át. 2004-ben látott napvilágot a 6. KP keretében bevezetett új eszközök eredményességének külön értékeléséről szóló Marimón-jelentés (13).

14. A bizottsági értékelési tevékenységek keretrendszerének felülvizsgálatára 2000-ben, majd 2002-ben került sor (14). Az erről szóló közleményeket 2007-ben, a Bizottság adminisztratív reformja és az új költségvetési rendelet következményeinek figyelembevételével frissítették fel (15). Ezek a dokumentumok a Bizottság általános tervezési, programozási és jelentéstételi ciklusának összefüggésében írják le az értékelés szerepét és funkcióját, valamint meghatároznak 21 értékelési standardot és 18 példaértékű megoldásokat nyújtó modellt. Ezenkívül tárgyalják azt is, hogy milyen szerepe lehet az értékelésnek az uniós jogszabályok előkészítésében és egyszerűsítésében.

AZ ELLENŐRZÉS TERJEDELME ÉS SZEMLÉLETE

15. Az ellenőrzés elsősorban annak megállapítására törekedett, hogy a Bizottság megfelelő szemléletet alkalmazott-e a KTF-keretprogramok eredményeinek értékelésénél.

16. A Számvevőszék e célból felmérte, hogy milyen mértékben: — nyilvánul meg olyan explicit beavatkozási logika a keretprogramokban és az őket alkotó programokban, amely a végtermékek, végeredmények és hatások mérhetővé és értékelhetővé tétele révén az értékelés és felügyelet szilárd alapjául szolgálhat, — szabtak meg olyan keretprogram-értékelési stratégiát, amely elősegíti az eredményes és koherens értékelést, — alkalmas az értékelési rendszer szervezeti struktúrája annak biztosítására, hogy az értékelés koordinációja megfelelően történjék, hogy elegendő forrás álljon rendelkezésre, és hogy az érdekeltek kellően függetlennek találják azt, — biztosítják az értékelésnél alkalmazott módszerek a releváns témák megfelelő kezelését, erősítve ezáltal az értékelés hitelességét, — segíti az értékelésekből és a felügyeletből származó információ – illetve ennek elemzése – a folyamatban lévő programok tökéletesítését („öntanító programok”) és a jövőbeni keretprogramok előkészítését.

17. Ez a jelentés a 4. KP (1995–1998), az 5. KP (1999–2002) és a 6. KP (2003–2006) releváns intézkedéseit, valamint a 7. KP keretében (2007–2013) jelenleg hatályos jogi előírásokat tárgyalja, de nem ad értékelést a 7. KP előzetes bizottsági hatásvizsgálatáról (16). A jelentés a programok felügyeletére és utólagos értékelésére összpontosít, és nem foglalkozik sem a projektjavaslatok előzetes értékelésével, sem maguknak a projekteknek az utólagos értékelésével.

18. Az ellenőrzésre az EFTA Számvevő Bizottságának részvételével és külső szakértők támogatásával került sor. Az ellenőrzési bizonyíték összegyűjtése a következő tevékenységeken alapult: — a Bizottságnál végzett ellenőrzési tevékenység (dokumentumok átvizsgálása, beszélgetés a munkatársakkal), többek között a jogi és szabályozási követelmények tisztázása, a célkitűzések és a teljesítménykritériumok felülvizsgálata, több mint 80 felügyeleti és értékelési jelentés elemzése, és a bizottsági értékelési tevékenységek megszervezésének elemzése, — értekezés több mint 90, érdekeltnek minősülő tagállami és társult országbéli (Cseh Köztársaság, Németország, Észtország, Spanyolország, Franciaország, Olaszország, Luxemburg, Hollandia, Ausztria, Finnország, Svédország, Egyesült Királyság, illetve Norvégia) szakértővel, — felmérések egyes érintett intézményeknél: az Európai Parlament ITRE (17) és a Tanács CREST (18) bizottságánál, — véleménykérés – a nemzetközi összevethetőség érdekében – több mint 65 amerikai és kanadai kutatás-értékelési szakértőtől, — a jelenlegi kutatás-értékelési trendekről szóló szakirodalom áttekintése, — az ellenőrzési megállapítások, következtetések és ajánlások megvitatása európai és észak-amerikai kutatás-értékelési szakértőkkel 2007 februárjában, külső szakértő által vezetett fókuszcsoport-találkozókon.

ELLENŐRZÉSI MEGÁLLAPÍTÁSOK

Beavatkozási logika, a célok kitűzése és a teljesítménymutatók

19. Az eredményes értékeléshez és felügyelethez elengedhetetlen, hogy a célkitűzések mind politikai, mind program- és projektszinten egyértelműek legyenek, és hogy a beavatkozás eredményeit releváns teljesítménymutatókkal lehessen összevetni. Az egyéb uniós költségvetési területeken és az Unión kívül is bevált gyakorlat azt sugallja, hogy a célokat és teljesítménymutatókat érdemes egy beavatkozási logika keretén belül meghatározni.

20. A „beavatkozási logika” a következőképp határozható meg: „azon feltételezett ok-okozati viszonyok összessége, amelyek leírják, hogyan érhetőek el egy beavatkozás átfogó célkitűzései” (19). A Bizottság értékelési útmutatója szerint a beavatkozási logika adja meg „azt a gondolati vonalat, amely elvezet valamely beavatkozás inputjaitól a végtermékek előállításához, majd a beavatkozásnak a társadalomra gyakorolt, eredményekben és végeredményekben kifejezett hatásához” (20). Ebben a jelentésben végig ehhez a meghatározáshoz tartjuk magunkat.

21. A Számvevőszék azt vizsgálta, hogy a keretprogramok és az őket alkotó programok tekintetében milyen mértékben dolgoztak ki – az értékelés és felügyelet szilárd alapjául szolgáló – beavatkozási logikát.

A keretprogramokra alkalmazott beavatkozási logika nem volt explicit

22. A beavatkozási logika meghatározásának kezdettől fogva fontos szerepet kell játszania a programtervezésben. A keretprogramok beavatkozási logikája a Szerződés 163. cikkéből induljon ki, amely kimondja, hogy erősíteni kell a tudományos és technológiai alapokat és ösztönözni a nemzetközi versenyképesség fejlődését (lásd: 2. bekezdés). A beavatkozási logika ezután az egyes keretprogramok alá tartozó különböző tudományos területek és különböző alkalmazott eszközök függvényében pontosítandó.

23. Ennek ellenére semmilyen szinten nem működik explicit logikai modell, amely kimutatná, hogyan mozdítják elő a keretprogramok és az őket alkotó programok a tudományos és technológiai haladást és innovációt.

24. A keretprogramok beavatkozási logikájának hiányára a 2004-es ötéves értékelés szakértői bizottsága is rámutatott: „… a miénkhez hasonló szakértői bizottságokat arra kérik fel, hogy mintegy betöltsük azt az űrt, amely egyfelől az elsősorban projektszinten begyűjtött ellenőrzési bizonyítékok között, másfelől a kutatáspolitika magasabb szintű társadalmi-gazdasági céljai között tátong. Ezt a feladatunkat jelenleg azonban megnehezíti a keretprogram tervezésének mikéntje, abban ugyanis hiányzik az explicit logikai kapcsolat a legmagasabb szintű célkitűzések, illetve az egyes kutatási és ismeretbővítési célok között” (21).

25. Eltérően járnak el egyes tagállamok (pl. Hollandia, Finnország) és az Egyesült Államok (lásd: 3. ábra), ahol sokkal megszokottabb dolog a beavatkozási logika meghatározása; Kanadában ez egyenesen minden program esetében kötelező is (lásd: III. melléklet). Ezekben az országokban a beavatkozási logika alkalmazása a programtervezésben csakugyan célzottabb és jobban strukturált programokat eredményezett. A Bizottság jelenleg más közösségi politikaterületeken (pl. külső segély) (22) is bevezeti ezt a típusú modellt. 3. ábra A célkitűzések hierarchiájának meghatározása logikai modellek alapján – Példa: Mezőgazdasági kutatás az Egyesült Államokban Koncepció Program Projekt Koncepcionális cél : hozzájárulni a gazdálkodó családok jobb megélhetéséhez Cél : a mezőgazdasági termelés, a termelékenység és a gazdálkodó háztartások jövedelmének növelése A program célkitűzése : hozzájárulni a mezőgazdasági termelés, a termelékenység és a gazdálkodó háztartások jövedelmének növekedéséhez Várható eredmény : az érintett gazdák körében megnövekszik az élenjáró mezőgazdasági technológia használata Cél : váljon gyakoribbá az élenjáró mezőgazdasági technológia alkalmazása a gazdák körében (pl. rizs) A projekt célja : hozzájárulni az ajánlott élenjáró mezőgazdasági technológia fokozott használatához Várható eredmény : ajánlásokat készítenek az érintett gazdák számára, és terjesztik azokat körükben Cél : az érintett gazdák számára alkalmas élenjáró technológiával kapcsolatos ajánlások készítése Várható eredmények (pl.): 1. A gazdák prioritásai alapján megválasztott technológiák 2. Technológiák kialakítása és adaptációja 3. A technológiák kipróbálása a gazdák földjén Forrás: Az USA Országos Mezőgazdasági Kutató Tanácsa.

26. Ha a beavatkozás alapjául szolgáló elvek és a feltételezett oksági kapcsolatok (amelyek alapján a programot részletesen megtervezik, végrehajtják, majd értékelik) kifejtetlenül maradnak, az veszélyezteti a keretprogramok eredményes értékelését és felügyeletét. Ez a veszély elsősorban a programcélkitűzések és teljesítménymutatók meghatározásának módjából fakad.

Explicit logikai modell nélkül nehezebb koherens programcélokat kitűzni

27. Ha a beavatkozás alapjául szolgáló elvek nincsenek kifejtve, az megnehezíti koherens programcélok kitűzését és ezek strukturálását. Ezt a következők is mutatják: — nem világos, hogyan kapcsolódnak a keretprogramok célkitűzései a politikai célkitűzésekhez, mint amilyenek a Szerződés 163. cikkében leírt általános célkitűzés, illetve a lisszaboni stratégia és a barcelonai nyilatkozat célkitűzései (lásd: 2. és 7. bekezdés), — nem mindig egyértelmű, hogy milyen viszony áll fenn az egyedi programcélkitűzések között, egyrészt a jogi szabályozás különböző szintjein (keretprogram-határozatok, egyedi programokra vonatkozó határozatok, a részvételre és az eredmények terjesztésére vonatkozó szabályok), másrészt az alap jogi aktusok és a bizottsági munkaprogramok között.

28. A Bizottság megpróbált a munkaprogramokban olyan operatív célkitűzéseket megszabni, amelyek a keretprogramokra vonatkozó jogszabályokban meghatározott programcélkitűzéseken alapulnak. Legtöbbször azonban így sem sikerült tisztázni a programok alapjául szolgáló logikát, és a munkaprogramokban megfogalmazott célkitűzések nem voltak konkrétak, mérhetőek, teljesíthetőek, relevánsak és időhöz kötöttek (angol betűszóval: SMART), pedig 2003-ban ezt a költségvetési rendelet elő is írta (23).

29. Nem könnyű megállapítani, hogy mennyire érvényesülnek a politikai célkitűzések az egyedi programokon, a munkaprogramokon és a pályázati felhívásokon keresztül egészen a közösségi társfinanszírozásban részesülő egyedi projektekig. Csak e kérdés tisztázása után lehet majd megállapítani, hogy mennyiben járulnak hozzá a keretprogramok és az őket alkotó programok e politikai célkitűzések megvalósításához. Az ellenőrzés megállapítása szerint a bizottsági értékelésekben szinte egyáltalán nem szerepelt meggyőző bizonyíték a hosszabb távú célkitűzések megvalósulásáról, akár projekt- akár programszinten (lásd: 82. bekezdés).

Explicit beavatkozási logika és egyértelmű célkitűzések hiányában nehezebb teljesítménymutatókat kidolgozni

30. Az explicit logikai modellnek és az egyértelműen megfogalmazott programcélkitűzéseknek a hiánya gátolta a programcélkitűzések megvalósulását nyomon követő – végtermékekben, végeredményekben és hatásokban kifejezett – teljesítménymutatók kidolgozását is, elannyira, hogy a keretprogramokra mindeddig nem is dolgoztak ki ilyen „eredményességi” mutatókat (lásd: 73. bekezdés).

31. Ebben a helyzetben nehezebb az e programok keretében finanszírozott, folyamatban lévő projektek felülvizsgálata és a befejezett projektek utólagos értékelése is, ami tovább nehezíti a projektszintű értékelések programszintű összegzését (lásd: I. melléklet és 84. bekezdés).

A TKT/TAI rendszer jelenlegi működési módja nem alkalmas a keretprogramok megfelelő teljesítménymérésére

32. A programvégrehajtás hatékonyságát (pl. szerződéskötéshez szükséges idő, kifizetéshez szükséges idő) tükröző egyes mutatók a Bizottság éves felügyeleti jelentéseiben és a Bizottság tevékenységalapú irányítási (TAI) rendszerében is megtalálhatóak.

33. Mindeddig azonban a „kutatási” főigazgatóságok még akkor sem alkalmaztak egységes vagy akár csak összevethető TKT-nómenklatúrát (TKT = tevékenységalapú költségvetés-tervezés) és kapcsolódó mutatókat, amikor ugyanazt az egyedi programot (vagy alprogramot) hajtották végre. Ezért e mutatókat nem lehet programok közötti vagy egyedi programokon belüli teljesítmény-összevetésre használni. 2. keretes szövegA TKT/TAI jelenlegi működése a „kutatási” főigazgatóságokon:A TKT/TAI rendszerben a keretprogramok két különböző politikaterület alá tartoznak, így a KP-tevékenységeket az egyes főigazgatóságok eltérően, saját nómenklatúrájuk szerint mutatják be (24). Ez még azokra az egyedi programokra és alprogramokra is érvényes, amelyeket egynél több főigazgatóság hajt végre. A TAI szerinti célkitűzések meghatározása különböző alapelveken alapult (25), és – amint a Bizottság belső ellenőrzési szolgálata is jelezte (26) – e meghatározásokat rendszerint csak nagy általánosságban, elképzelések vagy tevékenységek megjelölésével fogalmazták meg. A mutatók általában input-orientáltak voltak (pl. értekezletek száma stb). Egyes mutatók (pl. a szerződéskötéshez, illetve a kifizetéshez szükséges idő) ugyan a folyamathatékonyságra irányultak, ám a TKT-nómenklatúra eltérései, az egyes főigazgatóságok (pl. az egyes adminisztratív eljárások kezdetére és végére vonatkozóan) különböző előfeltevései és a kiszámításuknál tekintetbe vett alapsokaság (pl. támogatási megállapodás fajtája, kifizetés fajtája) eltérő volta miatt e mutatókat nem lehetett programonként vagy főigazgatóságonként összevetni egymással.

Ajánlások

34. A Tanácsnak és az Európai Parlamentnek benyújtott jövőbeni jogalkotási javaslataiban a Bizottság fejtse ki világosan, hogy milyen beavatkozási logika érvényes a keretprogram egészére, illetve annak alkotórészeire. 35. A 7. KP-t illetően a Bizottság — írja le világosan a keretprogram, illetve az azt alkotó egyedi programok (és alprogramok) célkitűzéseit és azok megvalósításának módját, — tegye világossá, hogy az egyedi programok (és alprogramok) esetében milyen kapcsolat áll fenn a tudományos és a társadalmi-gazdasági célkitűzések között, — határozzon meg releváns operatív célkitűzéseket. 36. A 7. keretprogram felügyeleti rendszerének keretében a Bizottság vezessen be egy kevés elemből álló, ám kiegyensúlyozott teljesítménymutató-együttest minden egyedi program (és alprogram) programvégrehajtási hatékonyságának és eredményességének mérésére. 37. A „kutatási” főigazgatóságok hozzák összhangba TAI/TKT nómenklatúrájukat, hogy teljesítménymutatóik révén időbeli és – lehetőség szerint – egyedi programok (és alprogramok) közötti összevetéseket lehessen tenni.

Értékelési stratégia

38. Az értékelési stratégia adja meg azt a gondolati keretet, amelyen belül az értékelési tevékenységeket kidolgozzák, megtervezik, végrehajtják és alkalmazzák. Az egyéb uniós költségvetési területeken és az Unión kívül is bevált gyakorlat arra utal, hogy egy ilyen stratégiának tekintetbe kell vennie a programértékeléssel kapcsolatban felvetődő főbb jogi, szervezeti és módszertani kérdéseket is. Ilyen kérdés például, hogy milyen értékeléseket ki és mikor hajtson végre, hogyan történjék az adatgyűjtés, milyen módszertani megközelítést alkalmazzanak, hogyan közöljék a megállapításokat, és hogyan kísérjék figyelemmel a javaslatok hasznosulását.

39. A Bizottság szervezeti kultúrájába és döntéshozatali folyamatába csak akkor sikerülhet szervesen beépíteni az értékelést, ha egy ilyen stratégia megszületik, és ha azt valóban meg is valósítják. A Számvevőszék elismeri azonban, hogy a keretprogramok alá tartozó tudományos területek sokféleségére való tekintettel egy ilyen stratégia nem lehet túlzottan előíró jellegű, és megfelelő rugalmassággal kell teret hagynia az egyes területekért felelős főigazgatóságoknak.

40. A Számvevőszék ellenőrizte, hogy a Bizottság mennyiben rendelkezett a keretprogramokra vonatkozó ilyen értékelési stratégiával.

Nincsen átfogó értékelési stratégia a keretprogramokat illetően

41. A keretprogramokat illetően a Bizottság először az 1980-as években ismertette értékelési szemléletét (27). Ezt 1996-ban korszerűsítették, amikor a Bizottság tájékoztatta az Európai Parlamentet és a Tanácsot az általa akkor relevánsnak tartott alapvető felügyeleti és értékelési elvekről, és kifejtette, milyen szemléletet szándékozik alkalmazni a 4. KP elfogadását követően (28). Ez azonban még nem jelentett átfogó értékelési stratégiát a fentebb (lásd: 38. és 39. bekezdés) kifejtett értelemben. Ráadásul a Bizottság 1996 és 2006 között nem vizsgálta felül alapvetően az 5. és 6. KP-ra vonatkozóan az értékelési szemléletét, pedig időközben a keretprogramoknak mind a hatóköre, mind az irányultsága nagyot változott (lásd: 7. bekezdés). A „kutatási” főigazgatóságok nem állapodtak meg a keretprogramokra és az azokat alkotó programokra vonatkozó olyan egységes értékelési szemléletben sem, amely túlmutatna az 1999-ben (5. KP), a 2002-ben (6. KP) és 2006-ban (7. KP) elfogadott jogi előírásokon (29).

42. A jelenlegi programozási időszakot illetően az értékelésre vonatkozó stratégiai szemléletnek az ezen a területen mutatkozó hiánya elsősorban azért okoz gondot, mert a 7. KP-t több főigazgatóság, az Európai Kutatási Tanács és végrehajtó ügynökségek közösen hajtják végre, és mert a költségvetési rendelet a kényes beosztásokban a személyzet rotációját írja elő. A szemlélet hiánya ellentétben áll továbbá a külső segélynyújtás (a Bizottság által közvetlenül kezelt második legnagyobb kiadási terület) terén szokásos jelenlegi gyakorlattal. Ezen a téren 2002 óta az illetékes főigazgatóságok programozási időszakhoz kötött, közös többéves értékelési stratégiákban állapodtak meg (lásd: 52. bekezdés).

43. A világosan megfogalmazott értékelési stratégia hiányával szemben egészen más a helyzet az Egyesült Államokban és Kanadában: e két országban a szabályozási keret kötelezően előírja a stratégia meglétét (lásd: III. melléklet).

44. Amint alább bemutatjuk, az egyes keretprogramok között jelentős különbségek vannak az értékelési lefedettséget és intenzitást illetően. Mutatkoztak egyéb hiányosságok is, pl. koordinációs gondok, módszertani szemléleti eltérések, időzítési problémák, illetve az értékelési megállapítások közlésében és a javaslatok hasznosulásának figyelemmel kísérésében tapasztalható hiányosságok. Mindezekről a jelentés további részében még szó lesz. Ezek a gondok ismét rámutatnak az átfogó keretprogram-értékelési stratégia hiányára.

Eltérő lefedettség és intenzitás az egyes keretprogramok értékelésénél

45. A keretprogramokat egyedi programok (és alprogramok) összessége alkotja. Ezek jelentősen eltérhetnek céljukat, az alapjukul szolgáló dinamikát és költségvetési előirányzataikat tekintve (a 7. KP-t illetően lásd: IV. melléklet). A különböző keretprogram-határozatok és a (valamennyi jelentős kiadással járó program és tevékenység értékelését előíró) költségvetési rendelet vonatkozó előírásaiból (30) együttesen az következik, hogy a 4. KP-val kezdődően érvényes jogi előírás szerint értékelni kell mind a keretprogram egészét, mind az azt alkotó legtöbb egyedi programot.

46. A Bizottság nem írt elő szabályt arra, hogy az egyes keretprogramokat vagy alprogramokat mikor kell értékelni, illetve hogy milyen egységes küszöbérték felett van erre szükség. Ezért egymásnak ellentmondó értelmezések születtek arról, hogy mit és milyen részletességgel kell értékelni: — az Információs Társadalmi Főigazgatóság úgy tekintette, hogy az IST program saját jogán jelentős kiadási programnak minősül, és 2004-ben – a keretprogram egészére vonatkozó értékeléssel párhuzamosan – teljes körű ötéves értékelést tartott róla, — a Kutatási Főigazgatóság nem szervezett az egyedi programok szintjén ilyen rendszeres értékelést, pedig több hozzá tartozó program hasonló méretű költségvetéssel rendelkezett.

47. Ennek következtében a 2004. évi ötéves értékelés során a 4. KP és az 5. KP programjainak jelentős részét egyáltalán nem értékelték (ez a 4. KP esetében az összes költségvetési előirányzat 30 %-ának felel meg; az 5. KP-nál ez az arány 50 %). Más szóval a Bizottság nem tartotta be a költségvetési rendelet 27. cikkében előírt értékelési követelményeket.

48. Az, hogy az értékelésre vonatkozó jogi minimumkövetelményeket ilyen eltérően értelmezték, illetve hogy ebből adódóan a keretprogramokat régebben nem elég alaposan értékelték, szintén rámutat a koordináció hiányára, és jól érezteti, hogyan hatott a keretprogramok értékelésére a Bizottság stratégiai szemléletének a hiánya.

Ajánlások

49. A keretprogramokra nézve a „kutatási” főigazgatóságok sürgősen dolgozzanak ki és fogadjanak el közös értékelési stratégiát, amely ne legyen túlzottan előíró jellegű, ám tegyen magáévá világos álláspontot a keretprogramok és az őket alkotó programok értékelési szemléletére nézve. A stratégia szolgáljon útmutatással abban a tekintetben is, hogy az egyes tudományterületek sajátosságainak figyelembevételével melyik legyen az a legalacsonyabb szint, amelyen részletes értékelésre kerül sor.

A keretprogramok értékelésének megszervezése

50. A keretprogramok értékelését az e témára vonatkozó bizottsági stratégiai iránymutatásból következő megfelelő szervezeti intézkedésekkel kell támogatni. A Számvevőszék ellenőrizte, mennyiben volt alkalmas a szervezeti struktúra annak biztosítására, hogy az értékelési rendszert megfelelően koordinálják, hogy annak elegendő forrás álljon a rendelkezésére, illetve hogy az érdekeltek kellően függetlennek találják azt.

Bizottság

Több főigazgatóság közösen hajt végre keretprogramokat, míg az értékelési felelősség decentralizált

51. A Bizottságon belül a finanszírozási programok értékelésének feladata az egyes főigazgatóságokra hárul (lásd: 8. bekezdés). Minden főigazgatóságon belül létrehoztak egy-egy értékelési egységet, amely az értékelések tervezésével, összehangolásával és végrehajtásával foglalkozik.

52. Az, hogy nincsen különálló koordináló vagy a keretprogramok egészét értékelő szerv (ilyen lehetne egy közös értékelő hivatal a „kutatási” főigazgatóságoknál), eltér a más politikaterületeken tapasztalt helyzettől. A külső segély terén három főigazgatóság (a Fejlesztési Főigazgatóság, a Külkapcsolati Főigazgatóság és az EuropeAid) közös értékelési egységet hozott létre a harmadik országokban működő bizottsági fejlesztési programok értékelésére (lásd: 42. bekezdés).

53. A Kutatási Főigazgatóság a Bizottság belső KTF-értékelési hálózata útján gondoskodik az ismeretátadásról a különböző főigazgatóságok értékelési egységei között, ám nincsen felhatalmazása minimális értékelési követelmények megszabására. E mechanizmus révén azonban nem biztosítható a keretprogramok bizottsági értékelésének megfelelő koordinációja.

54. A Bizottság 2000-ben, 2002-ben, majd 2007-ben is felülvizsgálta általános értékelési szemléletét (lásd: 14. bekezdés). A keretprogramok és az őket alkotó programok értékelése kidolgozásának, megtervezésének és végrehajtásának módja ugyan nem mutatott jelentős javulást, ám a „kutatási” főigazgatóságok általában véve megfeleltek a Bizottsági részlegeknél általánosan érvényes hivatalos előírásoknak.

A Bizottság központi részlegei standardokat határoznak meg, de azok betartatásában már nem játszanak szerepet

55. A Bizottság központi részlegei (elsősorban a Költségvetési Főigazgatóság és a Főtitkárság) módszertani tanácsadással foglalkoznak, közös standardokat határoznak meg a Bizottság egészére nézve, és felügyelik, hogy a főigazgatóságok és egyéb részlegek hogyan alkalmazzák a standardokat (lásd: 14. és 70. bekezdés). Az értékelések gyakorlati megvalósítását viszont nem szabhatják meg.

56. Amerikai és kanadai tapasztalat az, hogy a standardokat meghatározó szervek ott döntő szerepet játszanak az értékelési rendszer eredményes működésének biztosításában. Mindkét országban a szövetségi minisztériumok határozzák meg és tartatják be azt a keretet, amelyen belül a program sikere végső soron megítélésre kerül (lásd: III. melléklet). Eltérő környezetben ugyan, ám az ottani rendszerek is azon az elven alapulnak, hogy a programot végrehajtó szervezettől eltérő szerv véleményezze viszonylag részletesen az értékelési rendszer megtervezettségét, illetve vizsgálja meg annak eredményességét. Ugyanez a tapasztalat egyes tagállamokban (pl. Franciaország (31), Spanyolország (32), Németország (33)) is, ahol külső szervek vizsgálják felül a finanszírozó szervek által végzett értékeléseket, vagy akár maguk a külső szervek végzik az értékeléseket is.

Szakértői bizottságok

A keretprogramokra vonatkozó jogi szabályozás a 4. KP óta előírja a külső szakértői bizottságok alkalmazását

57. A 4. KP óta a keretprogramok valamennyi nagyszabású értékelését (és éves felügyeletét) külső szakértői bizottságok révén (illetve ezek bevonásával) kellett megvalósítani (lásd: II. melléklet). Nehéz ugyan megfelelő szakértőket találni, de szakértői bizottságok alkalmazásával potenciálisan mégis jobban lehet biztosítani az átláthatóságot és bizonyos fokú függetlenséget, bevonni a folyamatokba az érdekelteket, illetve hasznosítani a keretprogramokból, az azok értékeléséből és a mögöttes tudományos témákból származó ismereteket.

58. Megerősítették ezt a Számvevőszék felmérései is: a válaszadók szerint a Bizottság szakértői bizottságot alkalmazó értékelési rendszere szavatolja az értékelés függetlenségét (lásd: 4. ábra).

A Bizottság szakértői bizottságot alkalmazó módszerének hiányosságai

59. Habár a kép tehát pozitív, az ellenőrzés során a Számvevőszék egyes szakértőktől és érdekeltektől mégis azt hallhatta, hogy a szakértői bizottságoknak a keretprogram-értékelésben történő bizottsági alkalmazását a következő hiányosságok jellemezték: — a szakértői értékelő bizottságok rendszerint csak a jelentésleadási határidőt megelőző egy éven belül állnak fel, és ritkán tartanak ülést. A bizottság tagjainak így kevés a beleszólásuk abba, hogy a munkájukhoz szükséges adatokhoz és elemzésekhez mennyire jutnak hozzá. Ráadásul, mivel a bizottságok eseti alapon és időlegesen jönnek létre, nem könnyű egybegyűjteni az egyes programokra vonatkozó ismereteket, illetve folyamatos figyelemmel kísérni a releváns témákat. Ez a hiányosság még jobban érzékelhető, amikor (mint a 7. KP esetében) a programozási időszak idejére több nagyszabású értékelést is terveznek (lásd: II. melléklet). Ez a helyzet ellentétes a Bizottságnak a keretprogramok szakértői tanácsadó bizottságaira (SzTB) vonatkozó gyakorlatával is: ez utóbbiak állandó testületek (34). A szakértői értékelő bizottságok Kanadában is (35) állandó jellegűek, ami szavatolja az értékelési szemlélet következetes és összefüggő voltát (lásd: III. melléklet); — a szakértői bizottságok feladatának meghatározásánál és az értékelési kérdések megfogalmazásánál a Bizottság nem kéri ki az olyan külső érdekeltek véleményét, mint a keretprogramokban részt vevő nagy ipari és kutatási szervezetek. Ezt a problémát már a 2004. évi felügyeleti bizottság is észlelte: „… a lehetséges felhasználókat már a folyamat korai szakaszába is be kell vonni” (36), — a szakértői bizottságok nem olyan módon működnek, mint a szakértői értékelés (peer review). A bizottság tagjainak nincs idejük saját értékelést végezni; rendszerint olyan tanáccsal szolgálnak, amilyen a számukra külső forrásból elérhető adatokon és bizonyítékokon alapulhat. A szűkös idő miatt a szakértői bizottságok csak ritkán tudtak kiegészítő tanulmányokat megrendelni a feladatmeghatározásukban megadott kérdések megválaszolásához. A gyakorlatban az ötéves értékelési bizottságok kevés kivétellel csak a Bizottság által nyújtott információt tudták felhasználni.

Források

Nincsenek külön a keretprogram-értékelés céljára elkülönített források

60. Az értékelés finanszírozása éves alapon, a keretprogramokat végrehajtó főigazgatóságok által jelzett igények szerint történik. A finanszírozás jelenleg részben a Költségvetési Főigazgatóság által biztosított, bizottsági szintű forrásokból származik, részben pedig az érintett főigazgatóságok költségvetésének adminisztratív részéből. Ezenkívül egyes egyedi intézkedéseket közvetett tevékenységek gyanánt a keretprogramok működési költségvetéséből finanszíroznak. Nincsen tehát olyan külön összeg, amely az értékelés céljára volna félretéve.

61. 2006-ban a Bizottság összes részlegét tekintve az értékelés és a tevékenységalapú irányítás területén dolgozó munkatársak aránya kb. 1 %-ra volt becsülhető (37). Ugyanez a szám a KTF-keretprogramok felügyeleti és értékelési tevékenységeire vonatkozóan a Kutatási, illetve az Információs Társadalmi Főigazgatóságon 1,2 % illetve 1,3 % volt. A Kutatási Főigazgatóságon azonban ennek a munkaerőnek több mint kétharmada nem az értékelési egységhez, hanem az operatív programirányító részlegekhez volt beosztva, és számos feladatuk közül csak egy volt az értékelés.

A Bizottság által javasoltnál alacsonyabb a keretprogram-értékelés finanszírozása

62. Az értékelésre szánt forrásokat a programnak juttatott általános költségvetési előirányzatok részeként, százalékszámban is ki lehet fejezni. Az ellenőrzés adatai arra utalnak, hogy az Unió tagállamaiban a kutatási programoknál ez az arány rendesen 0,1 % és 2 % között mozog. A Bizottság útmutatója szerint egy program költségvetésének 0,5 %-át kellene értékelésre szánni (38). Nagyobb programoknál azonban méretgazdaságossági okból a program költségvetésének kisebb része is elég lehet.

63. Ha a 2003–2006 közötti időszakra összevetjük a Bizottság értékelési kiadásait és az egyes főigazgatóságok költségvetési előirányzatait, azt látjuk, hogy az általános átlag 0,15 % körül mozog, ami jóval alatta marad a Bizottság által javasolt szintnek. A 2006. év alaposabb elemzéséből kitűnik, hogy – a feladataira biztosított előirányzatok arányában – az Információs Társadalmi Főigazgatóság kb. négyszer annyit költött értékelésre, mint a Kutatási Főigazgatóság. Ezenkívül a Kutatási Főigazgatóságon az éves költségvetés minden millió eurójára vetítve csak egy alkalmazott teljes munkaideje 0,7 %-ának megfelelő időt fordítanak értékelésre. Összehasonlításképpen: az Információs Társadalmi Főigazgatóságnál kétszer annyi munkaidőt szánnak ugyanerre.

64. Amint jelentésünkből is kitűnik, az Információs Társadalmi Főigazgatóság többlet-erőfeszítésének eredményeképp az értékelési hatókör átfogóbbá vált (lásd: 13. és 46. bekezdés); az értékelő tanulmányokból vett, a Számvevőszék által vizsgált minta pedig azt mutatta, hogy az értékelési igényeknek jobban megfelelő módszereket alkalmaztak (lásd: 84. bekezdés).

65. A Bizottság által szolgáltatott adatok alapján készített számvevőszéki költségbecslés szerint, ha az értékelési rendszer ennek a jelentésnek a javaslatain alapulna, akkor az – átlagértéket véve – a 7. KP költségvetési előirányzatainak 0,4 %-ánál kisebb összeget venne igénybe. Ez fedezné a szakértői bizottságok és a szakértőktől megrendelt tanulmányok költségeit, akárcsak a közös értékelő hivatal és a jelenlegi, főigazgatóságonként külön működő értékelési egységek munkaerőköltségeit, valamint különféle egyéb költségeket (39).

Ajánlások

66. A „kutatási” főigazgatóságok vegyék fontolóra, hogy az egyes főigazgatóságokon belül létező értékelési egységeken kívül közös értékelő hivatalt is felállítanak. A közösségi politika egyéb területein már bevált gyakorlat szerint ez a hivatal koordinálhatná a Bizottságnak a keretprogram egészére irányuló értékelési tevékenységeit. Már régebben is történt javaslat arra, hogy a keretprogramokat végrehajtó főigazgatóságokat ilyen közös egység támogassa (40); az Európai Kutatási Tanács létrehozása és a programvégrehajtás végrehajtó ügynökségekre történő ruházása után a jövőben ez még nagyobb jelentőségre tehet szert. 67. Értékelési tevékenységeiben a Bizottság továbbra is támaszkodjék szakértői értékelő bizottságokra. Át kell gondolni azonban, hogy hogyan lehetne összhangba hozni a szakértői bizottságok szerkezetét a keretprogramok általános szerkezetével. E célból az egyes szakértői bizottságokat az egyedi programokhoz, sőt adott esetben alprogramokhoz lehetne rendelni (lásd: IV. melléklet). A szakértői bizottságokat időben hozzák létre ahhoz, hogy a programozási időszak során és azután is folyamatosan és eredményesen tudják támogatni a Bizottságot. 68. A Bizottság értékelje újra, hogy milyen forrásokat használ fel a keretprogramok és az őket alkotó programok értékelésére.

Értékelési módszerek és technikák

69. Eredményes értékelés nem lehetséges megfelelő módszerek és technikák alkalmazása nélkül. A Számvevőszék ellenőrizte, hogy mennyiben léteztek egyedi útmutatók a keretprogramok értékelésére, hogy megfelelően és kellő időben elemezték-e az információs igényeket, és hogy az értékelők rendelkezésére álltak-e a releváns adatok. A Bizottság által (vagy a Bizottság megbízásából) készített értékelő tanulmányok figyelembevételével a Számvevőszék felülvizsgálta, hogy az egyedi tanulmányok elkészítésénél alkalmazott technikák elégséges alapot szolgáltattak-e az ötéves értékelésekben megszabott értékelési kérdések tárgyalásához. A felülvizsgálat kitért arra is, hogy a nemzeti szintű értékelések mennyiben járulhatnak hozzá a keretprogramok értékeléséhez.

Keretprogramonként külön-külön standardok és útmutatók kibocsátása

70. A Költségvetési Főigazgatóság több közleményt bocsátott ki értékelési politikájáról és annak végrehajtási szabályairól, és meghatározott egy sor bizottsági szinten érvényes standardot (lásd: 14. és 55. bekezdés) (41). A közösségi politika egyéb területeire az illetékes főigazgatóságok egyedi értékelési útmutatókat is kidolgoztak (42).

71. A keretprogramokat illetően azonban nem ez a helyzet. A Bizottság ugyan számos módszertani útmutatót és eszköztárat tett közzé (vagy finanszírozott) a kutatás területén történő értékelési tevékenységekre vonatkozóan (43), ám ezek sem abban nem igazítanak el, hogyan kell keretprogram-értékeléseket végezni, sem azt nem szabják meg a bizottsági munkatársaknak és külső szakértőknek, hogyan alkalmazzák a kulcsfogalmakat és alapvető szakkifejezéseket. Részben ebből a helyzetből adódtak az alább tárgyalt problémák is.

Adatszolgáltatási igények és adatgyűjtés

Nem elemezték kellően az információs igényeket

72. A „kutatási” főigazgatóságok nem fordítottak kellő figyelmet arra a kérdésre, hogy a keretprogramok értékelése és felügyelete milyen adatok szolgáltatását teszi szükségessé. Ahelyett, hogy rendszeresen és átfogóan elemezte volna az információs igényeket, a Bizottság csak a programozási időszak egy késői időpontjában és az általános értékelési igények kellő figyelembevétele nélkül határozta meg, hogy mely adatokra van szüksége. Az érintett főigazgatóságok csak egy ízben, a 6. KP társadalmi-gazdasági kérdőíve révén tettek közös kísérletet arra, hogy egyeztessék adatigényeiket (lásd: 76. bekezdés). Azonban még ez a kérdőív is csak 2004-ben (három évvel a programozási időszak kezdete után) készült el, és sokkal inkább a nemek egyenlő részvételére, a környezeti hatásokra és hasonló témákra összpontosított, mintsem a tudományos végtermékek (pl. a szellemi tulajdon kérdései, kiadványok stb.), végeredmények és hatások vizsgálatára.

73. A programok értékelése három adatfajtára támaszkodik nagymértékben: — eredményességi mutatók alapján gyűjtött adatok: ezek elemzése tájékoztat a programcélkitűzések felé történt előrehaladásról. A beavatkozási logika fent említett hiánya miatt nehéz volt ilyen mutatókat meghatározni (lásd: 30. bekezdés). A valóságban az összegyűjtött adatok alig segítették a programcélkitűzések megvalósításának mérését, — programirányítási adatok (hatékonysági mutatók alapján), — adatok a résztvevőkről (pl. a nagy kutatási szervezetek részvételi aránya).

74. Különösen az utóbbi két típusú adatnak kellene a Bizottság rendelkezésére állnia. A Bizottság belső informatikai rendszereivel – ezekből származik a legtöbb programirányítási és résztvevőkre vonatkozó adat (44) – azonban gondok adódtak, ami a gyakorlatban jelentős problémákhoz vezetett (45).

75. Ezek közé a problémák közé tartozott az, hogy a 173. cikk alapján benyújtandó jelentések és az éves felügyeleti jelentések csak nagy késéssel váltak hozzáférhetővé (az előbbiek esetenként akár 16 hónapot is késtek (46), míg az utóbbiak a 2002 és 2005 közötti időszakban néha 7 hónapot). Ez az ismétlődő késés nagyban csökkentette a jelentésekben foglalt információ felhasználhatóságát.

A jelenlegi szemlélet nem szavatolja, hogy az értékelési adatok gyűjtése a résztvevőktől eredményes legyen

76. A Bizottság az 5. KP-val kezdődően szerződésben rögzített módon megköveteli a résztvevőktől, hogy szolgáltassanak adatokat a programcélkitűzések megvalósításának méréséhez, mégpedig végtermékben, végeredményben és hatásban kifejezve: — az 5. KP keretében a résztvevőknek a projekt befejezése után a zárójelentéssel együtt „Technológiai Végrehajtási Tervet” kellett benyújtaniuk. Ezeknek a dokumentumoknak gyakran gyenge volt a minőségük, vagy be sem nyújtották őket, — a 6. KP keretében az éves technikai jelentésük benyújtásakor egy „Terv a szerzett ismeretek terjesztésére és felhasználására” c. dokumentumot kellett beadniuk, illetve egy egységes kérdőív kérdéseire válaszolniuk társadalmi-gazdasági témákról.

77. Ezek a szerződéses adatszolgáltatási követelmények felesleges adminisztratív terhet róttak a résztvevőkre. A 6. KP éves kérdőíve például a szükségesnél sokkal gyakrabban adott alkalmat adatgyűjtésre, és a projektek teljes alapsokasága helyett is be lehetett volna érni egy reprezentatív mintával. Az ilyen jelenségek könnyen okoznak „értékelési kimerültséget”. Az is kifogásolható, hogy az információszerzés időpontja nem volt alkalmas, tudniillik számos közép- vagy hosszabb távon érdekes témakörben is gyűjtöttek adatokat, így a projekt szerződéses időtartamán belüli adatgyűjtés eleve túl korainak minősíthető (47). Ez az oka, hogy az 5. KP és a 6. KP keretében az említett értékelési eszközök révén szerzett információt kevéssé használták fel a gyakorlatban.

78. Jelenleg azonban nem működik olyan rendszer, amelynek révén az információgyűjtésre egységes módon a projekt élettartamának végén (vagy nem sokkal később) kerülhetne sor. Egyes megkérdezett érdekeltek véleménye szerint ilyenkor lenne jó információt gyűjteni a projektcélkitűzések megvalósulásáról, a szándékolt (és a nem tervezett) eredményekről, illetve arról, úgy látják-e a résztvevők, hogy a projekt közösségi jellege külön értékteremtő erőt jelentett. Az ilyen információk befejezett projektek külső vizsgálatának alapját is képezhetnék (48).

79. Ha egyrészt a fent írtak, másrészt a szcientometria módszerei (pl. az idézettségi elemzés) fokozottan érvényesülnének a projekteredmények értékelésénél (lásd: 83. bekezdés), az alapul szolgálhatna a Bizottságnak, hogy a közösségi társfinanszírozású KTF-tevékenységeknél eredményközpontúbb finanszírozási rendszerre álljon át (49).

Nem megfelelően alkalmazzák az egyéb adatforrásokat

80. Nincsenek kellően kiaknázva a Bizottságnál és a tagállamokban meglévő egyéb adatforrások (pl. a nemzeti KTF-programok és a finanszírozó szervek adatbázisai, illetve a Bizottság Kiadóhivatala által működtetett Közösségi Kutatási és Fejlesztési Információs Szolgálat, a CORDIS (50)).

A Bizottság által készített értékelő tanulmányok

A Számvevőszék által felülvizsgált jelentések

81. A Számvevőszék 86, a Bizottság által 2000 után készített (vagy megrendelt) értékelő tanulmányt vizsgált felül: egyrészt a 2004-ben közzétett ötéves értékelés alapjául szolgáló mind a 36 tanulmányt, másrészt az azóta elkészült 50 tanulmányt. Ez utóbbiak közül csak 23 tanulmányt lehet a szó szoros értelmében a keretprogram és annak programjai értékelésének tekinteni (lásd: 5. ábra). 5. ábra A Bizottság által (vagy a Bizottság megbízásából) a 2000–2006. közötti időszakban készített értékelő tanulmányok áttekintése Tanulmány típusa Számuk Leírásuk A keretprogram tevékenységeinek értékelése 23 Értékelő tanulmányok — elismert módszerekre épülnek (51), — konkrétan tárgyalják az egyes programcélkitűzéseket és azok megvalósulásának mértékét. Tagállami szinten végzett nemzeti hatásértékelések 12 A tagállamok által készített tanulmányok, amelyek elsősorban a nemzeti részvételi arányt tárgyalják, és nem vonnak le következtetéseket a programcélkitűzésekről. Módszertani tanulmányok 5 A Bizottság által megrendelt, az értékelési módszerek fejlesztésének támogatását célzó tanulmányok. A KTF európai dimenziójára kitekintő tanulmányok 2 Az európai kutatás világát összefüggésekben elemző, de a keretprogramokat nem tárgyaló tanulmányok. Ezek nem foglalkoznak kifejezetten a keretprogramoknak a nemzeti kutatás és innováció rendszerére gyakorolt hatásával. Nem elemző, csak leíró jellegű és statisztikai dokumentumok 33 Ezek a dokumentumok rendszerint csak igen közvetett módon tárgyalják a keretprogram tevékenységeit, gyakran csak leírják, nem elemzik azokat. Egyéb dokumentumok 11 Az általános politika szempontjából jelentős témákat tárgyaló, a keretprogramokat ebben az összefüggésben sem vizsgáló, különböző dokumentumok.

Az értékelések végeredmények és hatások helyett inkább felügyeleti témákat tárgyaltak

82. E külön értékelő tanulmányok számvevőszéki metaelemzéséből két fő észrevétel adódik: — bár sok tanulmány igyekszik a programcélkitűzésekre vonatkoztatni a következtetéseit, ezek homályos megfogalmazása láttán az olvasóban mégis kétely támad, hogy az értékelés vizsgálta-e egyáltalán az adott témát. Ez nem csoda, hiszen az egyértelmű programcélkitűzések hiánya az egész folyamatra bomlasztó hatással van (lásd: 28. bekezdés), — számos dokumentum nem értékeli a keretprogramok vagy azok egyedi programjai (és alprogramjai) végeredményeit és hatásait, hanem csak leírást ad róluk, illetve legjobb esetben a projekt közvetlen végtermékeiről és projektirányítási kérdésekről értekezik. Ezek a jelentések nem tudnak meggyőző bizonyítékokkal szolgálni a végeredményekre vagy hatásokra nézve.

Nem összpontosítanak eléggé újító módszerek kidolgozására

83. A 2000–2006 közötti időszakban végzett értékelések során túlnyomóan hagyományos módszereket és technikákat (elsősorban: felmérések, a dokumentumok átvizsgálása és értekezés szakértőkkel) alkalmaztak (lásd: 6. ábra). Számos más bonyolult, de bejáratottnak mondható értékelési módszerhez és technikához viszont egyáltalán nem (vagy csak nagyon ritkán) folyamodnak. Ilyenek elsősorban: — a szcientometriai módszerek (mint az idézettségi elemzés) (52), — kvantitatív modellek (pl. a költséghatékonyság, a költség-eredményesség és a költség-haszon elemzése) (53), — szereplői (vagy magatartási) modellek (amelyek a beavatkozás résztvevőinek nézőpontjába helyezkedve olyan kérdésekre összpontosítanak, mint pl. a kutatási hálózatok jellemzői és időbeli változása).

84. Kevés esetben került sor olyan értékelő tanulmányok felhasználására, amelyek a közszférának a kutatás területén történő beavatkozását illetően az értékelés módszertani nehézségeit is tárgyalni igyekeznek (lásd: I. melléklet): — a közelmúltban két tanulmány készült a beavatkozási logika témakörében (54), — csupán három olyan tanulmány akadt, amely megkísérelte felmérni, hogyan hatott a közösségi finanszírozás a kutatói szervezetek összeurópai hálózatépítő magatartására (55) – annak ellenére, hogy az EKT egész gondolatának egyik alapköve a feltételezett pozitív hálózatépítő hatás, — csak egy tanulmány próbált következtetéseket levonni a program- (vagy alprogram-) szinten elért hatásról úgy, hogy a projektszintű értékelések elemzésének összesítése mellett más értékelési technikákat is alkalmazott (56), — semmi jel nem mutat arra, hogy más módszereket is alkalmaztak volna, például az összevető (kontrollcsoportos) elemzést. Ez utóbbi révén különösen találóan lehetne kimutatni, hogy mennyiben teremtett külön értéket a programok közösségi jellege ahhoz képest, ha nem került volna sor beavatkozásra (vagy ha az akár nemzeti, akár regionális szinten történt volna).

85. A Számvevőszék által megkérdezett érdekeltek úgy vélekedtek, hogy a bizottsági értékelések hasznosságát és relevanciáját tökéletesíteni lehetne. Ez is tanúsítja, hogy az értékelési rendszer csak további módszertani fejlesztések révén tarthat lépést a keretprogramok jellegének változásával (lásd: 7. bekezdés) (57).

Az ötéves értékelésekben felmerült fogós kérdéseket nem lehetett a Bizottság egyedi értékelő tanulmányai alapján megválaszolni

86. Erre utalnak azok a jelentős problémák is, amelyekkel a 2004. évi ötéves értékeléssel megbízott szakértői bizottságnak kellett szembesülnie (58) a feladatmeghatározásában javasolt értékelési kérdések megválaszolásánál. E fogós kérdések közül a szakértők sokat nem is tudtak megvizsgálni, mert a Bizottság nem készített (illetve nem rendelt meg) előzetesen megfelelő tanulmányokat, a szakértői bizottság tagjainak pedig nem volt lehetőségük kellő időben ilyen tanulmányokat rendelni (lásd: 7. ábra). 7. ábra Az értékelési kérdések megválaszolása a 2004-es ötéves értékelésnél Értékelési kérdés Kitér-e rá a jelentés? VÉGREHAJTÁS Hatékonyan hajtották-e végre a tevékenységet? részben Költséghatékony volt-e a tevékenység? részben A kitűzött cél elérésének valóban ez a tevékenység volt a legjobb módja? nem Az egész jogi keretrendszer (beleértve a részvételi szabályokat és a szerződéseket), a szakpolitikai eszközök és a végrehajtás feltételei egyértelműek, megfelelőek és eredményesek voltak-e? nem Megfelelő volt-e a finanszírozás szintje és a többi rendelkezésre álló erőforrás? nem Megfelelően tudtak-e reagálni az érintett ipari és kutató közösségek, többek között a kis- és középvállalkozások? igen ELÉRT EREDMÉNYEK Elérte-e a tevékenység a hozzá rendelt célokat, és milyen mértékben merültek fel váratlan eredmények? nem Mik a főbb eredmények, különösen a következő szempontok szerint: tudományos, technológiai, társadalmi-gazdasági és környezetvédelmi végtermékek; nemzetközi együttműködés, tudásátadás és innováció, jogalkotást megelőző tevékenységek, hozzáférhetőség, a kutatási eredmények terjesztése ill. felhasználása, emberierőforrás-fejlesztés, mobilitás és képzés; valamint a kutatási tevékenységek összehangolásának támogatása és előmozdítása? nem Globálisan kielégítőek voltak-e az eredmények és a hatások a közvetlen és közvetett kedvezményezettek és az érintettek szemszögéből nézve? nem Megfelelő módon vonták-e be az érdekelt ipari és kutató közösségeket, többek között a kis- és középvállalkozásokat? igen Hogyan és milyen mélységben járultak hozzá a tevékenységek az EU versenyképességének nemzetközi szintű javításához? Élre tört-e az Unió egyes kutatási területeken? részben Hogyan és milyen mélységben járult hozzá a tevékenység az EU szakpolitikáihoz általában véve, ill. az EU fenntartható fejlődési stratégiájához? nem Van-e kézzel fogható jele annak, hogy az európai közösségi kutatási tevékenység nemzeti vagy nemzetközi szinten strukturális változást hozott, különösen a hálózatépítés, integráció és kutatáskoordináció terén? nem Ráfordításarányos volt-e a programok hozadéka? Tartós hatása volt-e a tevékenységnek? nem KIBONTAKOZÁS ÉS JÖVŐBENI KILÁTÁSOK Hogyan alakultak a keretprogramok a következő szempontok szerint: létjogosultság; célkitűzések; kiemelt témakörök; egyensúly az alulról felfelé irányuló és a felülről lefelé irányuló prioritások, illetve az alap- és az alkalmazott kutatások között; eszközök; a Közösség részvételének tulajdonítható plusz érték és más hatások, különösen az Európai Kutatási Térség (ERA) koncepciójának, a liszaboni célkitűzéseknek és a főbb nemzetközi közgazdasági és kutatási összehasonlító adatoknak a tükrében? igen Hogyan teremtett a keretprogram a Közösség részvételének tulajdonítható plusz értéket? igen Az a bizonyos európai plusz érték más nemzetközi vagy országszintű mechanizmus révén is megteremthető-e? nem Megfelelők-e a jövő szempontjából a programok koncepcionális célkitűzései, prioritásai, eszközei és életciklusa? igen

87. Meg kell még jegyezni azt is, hogy a szakértők csak azokban a témakörökben tudták megválaszolni a feladatmeghatározásukban megadott kérdéseket, ahol a programok egyértelmű és számszerűsíthető célkitűzéseket írtak elő (amilyen pl. a programban részt vevő kis- és középvállalkozások aránya).

Nemzeti szinten végrehajtott keretprogram-értékelések

88. Több tagállamban és társult országban nemzeti szinten is sor kerül keretprogram-értékelésekre: saját szempontjukból ezek releváns és érdekes kérdéseket tárgyalnak (59). Az utóbbi 8 évben 9 tagállamban és egy társult országban 14 ilyen tanulmány készült.

89. Noha a Bizottság szorgalmazta, hogy a nemzeti hatástanulmányok lehetőség szerint egységes szemléletet tükrözzenek, ezek mégis nagyon eltérőre sikerültek (60). Egységes módszertan híján eredményeik összesítése, egybekapcsolása, összevetése csak korlátozottan lehetséges. Nemzeti jellegük miatt a tanulmányok továbbá csak részben ragadhatják meg az európai szintű együttműködés dimenzióját.

90. A 2007-es EKT „Zöld könyvben” a Bizottság hangsúlyozta annak fontosságát, hogy EKT-szinten mind a tagállamok, mind az Unió részéről pontos elemzések álljanak rendelkezésre a kutatási tevékenységek és politikák hatásáról és eredményességéről. A „Zöld könyv” elismerte az is, hogy a hatályos intézkedések révén ennek a kihívásnak nem lehet megfelelni, mert jelenleg mindegyik beavatkozási szinten a többi szinttől függetlenül történnek értékelések (61).

Ajánlások

91. A Bizottság szerkesszen kézikönyvet a keretprogramok alapján finanszírozott tevékenységek értékeléséhez; ebben rögzítse a kulcsfogalmakat és szakkifejezéseket, illetve azt, hogy mely módszerek megfelelőek az egyes értékelési tevékenységekhez. A meglévő útmutatókra és eszköztárakra épülő kézikönyvet rendszeresen frissíteni is kell. 92. A Bizottság határozza meg, hogy milyen információkra tart igényt, de igényeivel ne rójon túl nagy adminisztratív terhet a program résztvevőire. 93. A Bizottság kellő időben szolgáltasson felügyeleti információt a keretprogramok végrehajtásáról. Amint a 7. KP „Részvételi szabályai” is előírják, sürgősen meg kell oldani a Bizottság informatikai rendszereinek a programirányítási és a résztvevőkkel kapcsolatos adatok kezelésében jelentkező gondjait. 94. Nagyban enyhíteni kell a résztvevőknek a Bizottság felé fennálló beszámolási kötelezettségén; kérdőíves felméréseket legyen elég mintavétellel végezni. Jelenleg szerződéses követelmény, hogy minden egyes projektről mutatókon alapuló hatásadatokat kell benyújtani; ehelyett be lehetne érni a projekt befejezése utáni rövid önértékeléssel. 95. A Bizottság fokozottan használjon fel értékeléseihez olyan releváns adatokat, amelyek (akár bizottsági, akár tagállami) kiegészítő adatforrásokból származnak. 96. A Bizottság merítsen bátran a rendelkezésre álló értékelési technikák tárházából; támogassa olyan újító módszerek kidolgozását is, amelyekkel leküzdhetőek az értékelés inherens módszertani nehézségei a közszférának a kutatás területén történő beavatkozását illetően (lásd: I. melléklet), és saját értékeléseiben alkalmazza maga is ezeket a módszereket. 97. A Bizottság cseréljen eszmét a tagállamokkal a keretprogramok nemzeti szintű értékelései eredményeinek maximális hasznosításáról.

Az értékelési megállapítások terjesztése és felhasználása

98. Az értékelés szolgáljon a programirányításban, illetve a politikameghatározásnál eredményesen felhasználható, releváns információval és elemzésekkel. Az értékelés mindenekelőtt adjon szilárd alapot annak átgondolásához, hogy melyek a közszféra beavatkozásának erősségei és hiányosságai, illetve segítsen levonni a tapasztalatokból a tanulságot. A Számvevőszék ellenőrizte, hogy mennyiben volt megfelelő az értékelések időzítése, a megállapítások közlése és a Bizottságon kívüli érdekelteknek történő továbbítása, illetve hogy kellően figyelembe vette-e a Bizottság az ajánlásokat a folyamatban lévő programok felülvizsgálatánál („öntanító programok”).

Az értékelések időzítésénél nem vették számításba, hogy a gyakorlatban milyen fajta információra lehet számítani

99. A Számvevőszék elismeri, hogy egyes elemzéstípusok csak hosszú távon lehetnek gyümölcsözőek (pl. a végeredmények és a társadalmi-gazdasági hatások értékelése), és hogy bizonyos szempontok (pl. a programcélkitűzések, még egy adott tudományterületen belül is) az egyes programozási időszakokhoz kötődnek, mások pedig nem (lásd: 8. ábra). A Bizottság értékelési tevékenységeiben érvényre jutó szemlélet azonban figyelmen kívül hagyja ezeket az időbeli meggondolásokat.

100. Az érvényes jogi szabályozás szerint a Bizottság fő értékelési tevékenységeinek kizárólag az ötéves értékelés időpontját megelőző öt évre kell irányulniuk, aminek következtében két egymást követő programozási időszak részben átfedésbe került. Ezért az ötéves értékelések alig foglalkozhattak a közép- és hosszú távú végeredményekkel és hatásokkal, és általában inkább csak felügyeleti témákra, rövid távú programtervezési kérdésekre és a keretprogramok irányultságára vonatkozó általános észrevételekre szorítkoztak. A Számvevőszék kedvezően értékeli, hogy a 7. KP jogi szabályozása már nem ír elő sem kötelező ötéves értékelést, sem bármely más előre meghatározott értékelési időszakot. 8. ábra Felügyeleti és értékelési témák az eltérő időtávok szerint A program végrehajtásának felügyelete (folyamatos) — Programirányítási kérdések (pl. a szerzõdéskötéshez szükséges idõ, kifizetésekhez szükséges idõ, elfogadási és sikerráta, költségvetés végrehajtása, finanszírozási ráta stb.) Értékelés Rövid távú (legkorábban nagyjából 1–2 év múltán) — Programirányítási kérdések (pl. az adminisztratív eljárások hatékonysága) — Programtervezési kérdések (pl. az eszközök rugalmassága és hozzáférhetõségük, a részvétel akadályai, a pályázatkiírási sikertelenség körülményei és következményei stb.) — A részvételi profilok (ebben a stádiumban többnyire mennyiségi) elemzése Értékelés Középtávú (nagyjából 7 év múltán) — Programtervezési kérdések (pl. eszközök eredményessége) — A részvétel elemzése (a minőségi és számszerûsíthetõ szempontok ötvözése, pl. kutatóhálózat-elemzés, a kutatók magatartását befolyásoló hatások stb.) — A projekt végtermékeinek elemzése (62) (pl. publikációk, dolgozatok, szabadalmak, licenciák, prototípusok, standardok, kiképzett kutatók stb.) Értékelés Hosszú távú (nagyjából > 10 év múltán) — A végeredmények és hatások értékelése Forrás: Európai Számvevőszék.

101. Azt, hogy az ötéves értékelések kevéssé tudták felmérni a keretprogramok végeredményeit és hatásait, a Bizottság szakértői is észlelték: — amint a 2004-es ötéves értékeléskor a szakértői bizottság megjegyezte: „… az értékelésnek egyaránt ki kellene terjednie a hosszú távú és a rövid távú témákra, és elégséges figyelmet kellene szentelnie nekik”; „… forrásokat lehetne felszabadítani […] olyan szélesebb körű, hosszú távú értékelő tanulmányok készítésére, amelyek módszeresebben tárhatnák fel a strukturális és tágabban vett társadalmi-gazdasági témaköröket” (63)., — egy a Kutatási Főigazgatóság által megrendelt tanulmány szerint „… az uniós KTF-értékelés jelenlegi gyakorlatát (többek között: folyamatos felügyelet, ötéves értékelések, félidős értékelés) az jellemzi, hogy a hatások értékeléséhez képest erősen a felügyeletre összpontosít”, valamint „… ahhoz, hogy a követelmények és az elvárások […] inkább a társadalmi-gazdasági hatásokra összpontosuljanak, olyan új értékelési és felügyeleti keretre volna szükség, amelyben inkább a hatások vizsgálatára, mint a végtermékek felügyeletére irányul nagyobb erőfeszítés” (64).

102. Az időzítési gondok kihatással vannak a szabályozásban előírt egyes értékelésekre is. Például a 6. KP (2003–2006) keretében bevezetett új eszközök eredményességét elemző, 2004-es Marimón-jelentést túl korán rendelték meg, s ennek következtében a jelentés elenyészően kevés gyakorlati tapasztalatra és empirikus bizonyítékra alapozhatta következtetéseit (65).

Az eredmények közlése és terjesztése

103. A Bizottság önállóan is kidolgozhat a rövid távú ciklusokhoz alkalmazott operatív munkaprogramokat, amelyeket azután az érintett programbizottság hagy jóvá. Ez alkalmat adna a programirányítás kiigazítására, illetve az alprogramok közötti költségvetés-átcsoportosításra. Semmi jel nem mutatott arra, hogy a Bizottság élne ezzel a lehetőséggel (lásd: 107. bekezdés).

104. A Bizottság számára – figyelembe véve a keretprogramok tervezésének és elfogadásának módját – más módon szinte lehetetlen olyan jelentős változásokat bevezetni, mint a programcélkitűzések módosítása vagy az alprogramok közötti költségvetés-átcsoportosítás. Ilyen alapvető módosításokat csak a jogalkotó léptethet életbe a keretprogramokra vonatkozó jogszabályok felülvizsgálatának (a 7. KP esetében pl. 2010-ben) vagy a következő keretprogram elfogadásának alkalmával. Ez az oka, hogy a jogi szabályozás rendszerint olyan időzítést ír elő a főbb értékelések számára, hogy ezek eredményeit a lehető legjobban figyelembe lehessen venni a politikameghatározás során.

105. A bizottsági értékelések legfőbb felhasználói ezért részben maguk a „kutatási” főigazgatóságok (66). A keretprogramok jogi szabályozása azonban megköveteli, hogy az értékeléseket az Európai Parlamentnek és a Tanácsnak is megküldjék.

106. A Számvevőszéknek az Európai Parlament ITRE bizottságánál és a Tanács CREST bizottságánál végzett kérdőíves felmérésében a válaszadók többsége azonban úgy nyilatkozott, hogy úgy érzi, nem kap elég tájékoztatást a keretprogramok végrehajtásáról és eredményeiről (lásd: 9. ábra) (67).

Az értékelési megállapítások nyomán hozott intézkedések figyelemmel kísérése

107. Éves értékelési áttekintéseiben a Bizottság összefoglalja, hogy milyen észrevételek és intézkedések születtek az értékelései nyomán (68). A javaslatok hasznosulását illetően a Bizottság hivatalos választ is adott az ötéves értékelések, illetve a jogi szabályozásban előírt egyes értékelések megállapításaira és ajánlásaira, és lehetőség szerint megfelelő lépéseket tett az azokban leírt hiányosságok kiküszöbölésére. A többi felülvizsgált értékelési jelentés közül azonban sok esetben nem így áll a helyzet, és semmi jel nem mutat arra, hogy a munkaprogramok módosításánál figyelembe vették volna megállapításaikat és ajánlásaikat. A főigazgatóságoknak a tevékenységalapon tervezett költségvetésükről szóló nyilatkozatai és éves tevékenységi jelentéseik sem térnek ki arra, hogy mire vezettek az értékelési megállapítások.

Ajánlások

108. A Bizottság határozza meg, hogy a jogi szabályozásban előírt időpontokra (2008, 2010 és 2015) milyen fajta és milyen kiterjedésű értékelés végrehajtását lehet elvárni, és fejtse ki, hogy az értékelések mennyiben használhatóak fel a programok („öntanító programok”) módosításához, illetve mivel járulhatnak hozzá a politikai döntésekhez. A Bizottság különösen azt tegye világossá, hogy hogyan szándékozik hozzáállni a jelenlegi és korábbi keretprogramok hosszabb távú eredményeinek értékeléséhez, tekintettel arra, hogy az ilyen eredmények gyakran csak 7–10 éves távlatban bontakoznak ki (lásd: 8. ábra). 109. Ahhoz, hogy az érdekeltek bizonyosan megkapják a szükséges információt, a Bizottság vizsgálja felül az értékelési megállapításainak közlésére és terjesztésére vonatkozó gyakorlatát. Elsősorban a „kutatási főigazgatóságok” adjanak hivatalos választ minden értékelésre, és ezeket a tanulmányokat kellő időben, a rájuk adott válaszokkal együtt tegyék közzé. Tevékenységalapon tervezett költségvetésükről szóló nyilatkozataikban és éves tevékenységi jelentéseikben a „kutatási” főigazgatóságok is számoljanak be arról, hogyan dolgozzák fel a megállapításokat, illetve munkaprogramjuk frissítése és jövőbeni programjaik tervezése során hasznosítsák az ajánlásokat.

ÁLTALÁNOS KÖVETKEZTETÉS

110. A Számvevőszék elismeri, hogy a KTF-programok – különösen pedig a hosszú távú eredményeik – értékelése inherens nehézségekkel jár, és e téren nehéz követendő példákat felmutatni.

111. A Számvevőszék véleménye szerint az értékelés jelentősége alapvető a programirányítás, a jövőbeli tervezés és a politikaformálás szempontjából. Értékelés nélkül nincsen elszámoltathatóság sem. Az értékelési információ lényeges mozzanatokról számol be: milyen szándékolt (vagy nem szándékolt) eredményeket értek el, mennyiben valósították meg a programcélkitűzéseket, relevánsak és hasznosak voltak-e a programok, hatékonyan és eredményesen történt-e a program végrehajtása. Az Európai Parlamentnek és a Tanácsnak döntési jogkörük van a keretprogramok általános irányultságáról, költségvetési vonzatairól és a programtervezésről, ezért megfelelő információra is szükségük van, amelyet csak egy átlátható, hiteles, szilárd alapokon nyugvó értékelési rendszertől kaphatnak meg.

112. A Bizottság 2000-ben, majd 2002-ben állapított meg átfogó értékelési keretszabályozást, amelyet azután 2007-ben felülvizsgált. A Számvevőszék által vizsgált időszakban a keretprogramok és az őket alkotó programok értékelése kidolgozásának, megtervezésének és végrehajtásának módja ugyan nem mutatott jelentős javulást, ám a „kutatási” főigazgatóságok általában véve megfeleltek a bizottsági részlegeknél általánosan érvényes hivatalos előírásoknak.

113. Az ebben a jelentésben tárgyalt időszakban, amint azt a keretprogramokra vonatkozó jogszabályok előírják, a „kutatási” főigazgatóságok működtettek értékelési rendszert, és a Bizottság tekintélyes mennyiségű értékelő tanulmányt is felmutathat. Mégis tagadhatatlan tény, hogy a programcélkitűzések megvalósításáról és a keretprogramok eredményeiről jószerivel semmi sem tudható. Ennek az az oka, hogy az értékelések általában rövid távú programmegvalósítási témákra irányultak. Ennek következtében a bizottsági értékelések kevéssé bizonyultak hasznosnak a politikaformálók, az egyéb érdekeltek, sőt akár a Bizottság számára.

114. Tekintettel arra, hogy milyen jelentős az értékelés a programirányítás és a politikameghatározás szempontjából, az új politikai kihívások, a megnövekedett finanszírozás, a közösségi kutatáspolitika szélesedő orientációja és a Bizottság közelmúltban véghezvitt reformja mind szükségessé teszik a keretprogramok és az őket alkotó programok értékelésénél alkalmazott bizottsági megközelítés felülvizsgálatát. Ezt javasolta az EURAB is a 2007-ben kelt jelentésében.

115. A Számvevőszék véleménye szerint célzottabb és jobban strukturált programokat eredményezne, ha a jövőben a KP-programtervezésben explicit beavatkozási logikát alkalmaznának. Ez előmozdíthatná „a szabályozás javításának” bizottsági politikáját is, amelynek célja a jobban tervezett, egyszerűbb, eredményesebb és könnyebben érthető szabályozási környezet megvalósítása (69).

116. Eredményesebb lenne a keretprogramok és az őket alkotó programok értékelése, ha a programcélkitűzések és mutatók már kezdettől fogva egyértelműek volnának, ha a „kutatási” főigazgatóságok megállapodnának egy szilárd alapokon nyugvó, de nem túlzottan előíró jellegű értékelési stratégiában, és ha fejlettebb értékelési módszereket, többek között kvantitatív módszereket alkalmaznának.

117. A Számvevőszék észrevételezte azt is, hogy a Bizottság számos szempontból újraértékelhetné a keretprogramok értékelésénél jelenleg alkalmazott szervezeti intézkedéseit. Előnyös lehetne, — ha a szakértői értékelő bizottságokat már korábban bevonnák az értékelési folyamatba, hogy munkájukkal az egész programozási időszak során és azután is támogassák a Bizottságot; illetve ha a szakosodást fokozva az egyedi programok és adott esetben alprogramok mellé rendelnének szakértői bizottságot, — ha az egyes főigazgatóságokon belül létező értékelési egységeken kívül közös értékelő hivatalt is felállítanának a keretprogram-értékelések koordinálására.

118. Az ebben a jelentésben foglalt ajánlások egyrészt a Bizottságon belül már meghonosodott, másrészt nemzetközileg bevált követendő példákon alapulnak. A forrásokat illetően kétségtelen, hogy a javasolt programértékelési módszerek bevezetése magasabb költséggel járna. A Számvevőszék mégis úgy véli, hogy ezzel a költséggel szemben végül nagy valószínűséggel legalább ugyanolyan nagyságrendű megtakarítás állna.

Ezt a különjelentést a Számvevőszék a 2007. november 22-i ülésén, Luxembourgban fogadta el. A Számvevőszék nevében Hubert WEBER elnök

(1) Az OECD szerint a kutatás és fejlesztés meghatározása a következő lehet: „[…] az ismeretanyag növelése érdekében szisztematikusan végzett alkotómunka, beleértve az emberi, kulturális és társadalmi ismeretek növelését, valamint ezen ismeretanyag új alkalmazásokra való használatának kidolgozását” (lásd: OECD, Frascati Manual – Proposed standard practice for surveys on research and experimental development („Frascati kézikönyv – Javaslat a kutatás és kísérleti fejlesztés terén végzett felmérések egységes gyakorlatára”), Párizs, 2002, 30. o.). A közösségi környezetben a KTF rövidítés használatos, amely a kutatáson és fejlesztésen kívül a technológiát is magában foglalja.

(2) A keretprogramokat elsősorban a Kutatási Főigazgatóság irányítja és hangolja össze. Öt másik főigazgatóság is irányít egyedi programokat (vagy azok részeit), ezek közül a legjelentősebb az Információs Társadalmi és Médiaügyi Főigazgatóság, a többiek: az Energiaügyi és Közlekedési Főigazgatóság, a Vállalkozási és Ipari Főigazgatóság, a Halászati Főigazgatóság, illetve a Bizottság Közös Kutatóközpontja.

(3) Az Európai Tanács a 2000. évi lisszaboni ülésén célul tűzte ki, hogy az EU 2010-re a gazdasági és társadalmi kohézióját megerősítve, a teljes foglalkoztatottságot megvalósítva a világ legdinamikusabb, legversenyképesebb, a fenntartható fejlődésen alapuló tudásalapú gazdaságává váljék.

(4) Az Európai Tanács 2002-ben megállapodott arról, hogy az Európai Unióban a KTF-re és az innovációra fordított összes kiadást meg kell növelni úgy, hogy 2010-re az megközelítse a GDP 3 %-át. A Tanács külön kiemelte, hogy az új beruházások kétharmadának a magánszektorból kellene származnia (lásd: Európai Bizottság „Beruházás a kutatásba: Cselekvési terv Európa számára”; a Bizottság közleménye a Tanács, az Európai Parlament, az Európai Gazdasági és Szociális Bizottság, valamint a Régiók Bizottsága részére, COM(2003) 226 végleges, 7. o.).

(5) Közvetlen igazgatás esetén a Bizottság nem vonja be azokat a tagállamokat vagy harmadik országokat, ahol a kedvezményezettek élnek, hanem maga végzi el a költségvetése végrehajtásához szükséges műveleteket.

(6) 2006-ra csupán a 6. KP-ban már több mint 22 000 magán- vagy köztulajdonban álló, jogi személyiséggel rendelkező szervezet vett részt, általában többrésztvevős konzorciumok keretében.

(7) Ez a kooperációs módszer az önkéntes kormányközi együttműködés elvén alapul: alappillérei az egymástól való tanulás, az összehasonlító teljesítménymérés (benchmarking) és a követésre érdemes példák kölcsönös átvétele.

(8) A 2002. június 25-i 1605/2002/EK, Euratom tanácsi rendelet (HL L 248., 2002.9.16., 1. o.), 27., 48., 59. és 60. cikke.

(9) Európai Bizottság, Költségvetési Főigazgatóság, Grybauskaitė asszonynak az elnökkel egyetértésben a Bizottsághoz intézett jelentése: „Responding to strategic needs: reinforcing the use of evaluation” („Cselekedjünk a stratégiai igények szerint: alkalmazzuk hatékonyabban az értékelést”), SEC(2007) 213, 2007. február 21.; Európai Bizottság, Költségvetési Főigazgatóság, Schreyer asszonynak a Bizottsághoz intézett jelentése: „Focus on Results: Strengthening Evaluation of Commission Activities” („Középpontban az eredmények: A bizottsági tevékenységek értékelésének erősítése”), SEC (2000) 1051, 2000. július 26.

(10) Az Európai közösség kutatási, technológiafejlesztési és demonstrációs tevékenységekre vonatkozó hetedik keretprogramjáról (2007–2013) szóló, 2006. december 18-i 1982/2006/EK európai parlamenti és tanácsi határozat (HL L 412., 2006.12.30., 1. o.) 7. cikkének (1) bekezdése; azt, hogy a Bizottság milyen felügyeleti információt szolgáltasson a programbizottságoknak, az egyedi programokra vonatkozó határozatok szabják meg (lásd például: az Európai közösség kutatási, technológiafejlesztési és demonstrációs tevékenységekre vonatkozó hetedik keretprogramjának (2007–2013) végrehajtására irányuló Együttműködés egyedi programról szóló, 2006. december 19-i 2006/971/EK tanácsi határozat (HL L 400., 2006.12.30., 86. o.) 8. cikkének (4) bekezdése és V. melléklete.

(11) Az Európai Bizottságnak az 1983. június 28-i tanácsi állásfoglalásra adott válasza: közlemény a Tanácsnak az 1987–1991. évi közösségi K+T tevékenységek értékelésével kapcsolatos közösségi cselekvési tervről, COM(86) 660 végleges, 1986. november 20.

(12) Európai Bizottság, „Az Európai Unió kutatási és technológiafejlesztési programjainak ötéves értékelése, 1992–1996”. A Davignon vikomt elnökletével működő független szakértői bizottság jelentése (1997); Európai Bizottság, „Az Európai Unió kutatási és technológiafejlesztési programjainak ötéves értékelése, 1995–1999”. A Joan Majó elnökletével működő független szakértői bizottság jelentése (2000. július); Európai Bizottság, „Az Európai Unió kutatási és technológiafejlesztési programjainak ötéves értékelése (1999–2003)”. Az Erkki Ormala elnökletével működő független szakértői bizottság jelentése (2004. december 15.).

(13) Európai Bizottság, „A VI. keretprogram új eszközei eredményességének értékelése”, 2004. június 21., A Ramón Marimón professzor elnökletével működő magas szintű szakértői bizottság jelentése.

(14) Európai Bizottság, Költségvetési Főigazgatóság, Schreyer asszonynak a Bizottsághoz intézett jelentése: „Focus on Results: Strengthening Evaluation of Commission Activities” („Középpontban az eredmények: A bizottsági tevékenységek értékelésének erősítése”), SEC(2000) 1051, 2000. július; Európai Bizottság, Költségvetési Főigazgatóság, Az elnök úrnak és Schreyer asszonynak a Bizottsághoz intézett jelentése: „Evaluation Standards and Good Practice” („Értékelési standardok és követendő példák”), C(2002) 5267, 2002.12.23.

(15) Európai Bizottság, Költségvetési Főigazgatóság, Grybauskaitė asszonynak az elnökkel egyetértésben a Bizottsághoz intézett jelentése: „Responding to strategic needs: reinforcing the use of evaluation” („Cselekedjünk a stratégiai igények szerint: alkalmazzuk hatékonyabban az értékelést”), SEC(2007) 213, 2007. február 21.

(16) Az Európai Bizottság munkadokumentuma, „Impact assessment and ex-ante evaluation” („Hatásvizsgálat és előzetes értékelés”), SEC(2005)430.

(17) Az Európai Parlament Ipari, Kutatási és Energiaügyi Bizottsága (ITRE) a következő területek (elsőrendű) felelőse: iparpolitika, kutatáspolitika (így a kutatási eredmények terjesztése és kiaknázása is), űrpolitika, a Közös Kutatóközpont tevékenységei, az Euratom-Szerződés, valamint az információs társadalom és információtechnológia.

(18) A CREST („Comité de la Recherche Scientifique et Technique” – „Tudományos és Műszaki Kutatási Bizottság”), amelyet az 1974. január 14-i tanácsi állásfoglalás hozott létre, a tagállamok tudomány- és technológiapolitikájáért felelős nemzeti hatóságok képviselőiből áll. A CREST tanácsadói tájékoztatást nyújt a Bizottságnak és a Tanácsnak, elsősorban a nemzeti K+F politikák koordinációjával, valamint a keretprogramok felügyeletével és értékelésével kapcsolatos témákban.

(19) A beavatkozási logika legalkalmasabban logikai modellek segítségével szemléltethető: e modellek megvilágítják, hogy az adott inputok a különböző tevékenységekben milyen módon vezetnek a várt eredményekhez. E modellek révén könnyen világossá tehető, hogy egy-egy programot milyen feltevések alapján terveznek meg, illetve hogy az általános célkitűzéseket hogyan bontják le operatív célkitűzésekre.

(20) Az Európai Bizottság Költségvetési Főigazgatósága, Evaluating EU activities: a practical guide for the Commission services („Az uniós tevékenységek értékelése: gyakorlati útmutató a Bizottság szolgálatai számára”), 2004. július, 87. és 106. o.

(21) Az Erkki Ormala elnökletével működő független szakértői bizottság jelentése: „Az Európai Unió kutatási és technológiafejlesztési programjainak ötéves értékelése (1999–2003)” (2004. december 15.), 6. szakasz: „A keretprogram értékelése”, 19. o.

(22) A külső segélyben részesülő országoknak ahhoz, hogy közösségi finanszírozásban részesüljenek, logikai modelleket kell benyújtaniuk (Európai Bizottság, Aid delivery methods [Segélynyújtási módszerek], 1. kötet: Project cycle management guidelines [Projektciklus-irányítási útmutató], 5. szakasz: The logical framework approach [A logikai keretek használata], 2004. március).

(23) Az 1605/2002/EK, Euratom rendelet 27. cikkének (3) bekezdése.

(24) 2006-ban a „08 kutatás” politikaterület a jelenlegi 6. KP programozási időszak egyedi programjai (és alprogramjai) alapján volt strukturálva (és ennek következtében 2007-ben új struktúra fog vonatkozni rá), míg a „09 információs társadalom” politikaterületen belül a jelenlegi és a korábbi egyedi program együtt, egy TKT-tevékenységként szerepelt (Európai Bizottság, Kutatási Főigazgatóság, A Igazgatóság: Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006 („A közösségi tevékenységek összehangolása; tervezés, programozás, értékelés, 2006. évi éves irányítási terv”) 2005.12.20.; Európai Bizottság, Információs Társadalmi és Médiaügyi Főigazgatóság, 2006. évi éves irányítási terv, 2005.12.23.).

(25) A Kutatási Főigazgatóság esetében a TAI szerinti célkitűzések (és az ezek megvalósításának mérésére használt mutatók) évről évre változtak. Az Információs Társadalmi Főigazgatóság ugyanakkor többéves célkitűzésekkel dolgozott, ezek azonban nem egyeztek meg a program célkitűzéseivel (sem a munkaprogram szintjén kitűzött célokkal).

(26) Európai Bizottság belső ellenőrzési szolgálata, Review of effectiveness and efficiency of the SPP/ABM cycle („A stratégiai tervezési és programozási/tevékenységalapú irányítási ciklus eredményességének és hatékonyságának felülvizsgálata”) – Főtitkárság és Költségvetési Főigazgatóság, 2005, 4.1. bekezdés, 31. o.

(27) Európai Bizottság, „A Bizottság közleménye a Tanácsnak a Közösség kutatási és fejlesztési programjai értékelésével kapcsolatos közösségi cselekvési tervről”, COM(83) 1 végleges, 1983. január 19.

(28) A Bizottság közleménye a Tanácsnak és az Európai Parlamentnek, „A kutatás és technológiafejlesztés területén végzett közösségi tevékenységek független külső felügyelete és értékelése”, 1996.5.22. (COM(1996) 220 végleges).

(29) A keretprogramokat végrehajtó egyes főigazgatóságok éves (és többéves) értékelési tervekben dokumentálják tervezett értékeléseit. Az azonban nem állítható, hogy ezek a tervezési dokumentumok felérnének egy valódi értékelési stratégiával.

(30) Az 1605/2002/EK, Euratom rendelet 27. cikkének (4) bekezdése.

(31) Loi de programme pour la recherche no 2006–450 (2006-450 sz. kutatási programtörvény), 2006.4.18., és Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) (2006-1334 sz. rendelet a Kutatási és Felsőoktatási Értékelő Központ szervezéséről és működéséről), 2006.11.3.

(32) A Ministerio de Educación y Ciencia (Felsőoktatási és Tudományos Minisztérium) alatt működő Agencia Nacional de Evaluación y Prospectiva (Nemzeti Értékelési és Előrejelző Központ): a „Comisión Asesora de Evaluación y Prospectiva” (Értékelési és Előrejelző Tanácsadó Bizottság) felállításáról rendelkező 2005. május 4-i ECI/1252/2005 rendelet.

(33) 2004-ben a Deutsche Forschungsgemeinschaft (DFG, Német Kutatási Munkaközösség) „Institut für Forschungsinformation und Qualitätssicherung” (IFQ, Kutatási Információs és Minőségbiztosítási Intézet) néven külön intézetet hozott létre az értékelési módszerek kidolgozására és egységesítésére, a minőségbiztosításra, illetve a DFG által finanszírozott KTF-tevékenységek értékelésére.

(34) A 7. KP keretében a Bizottság 15 SzTB-t hozott létre; ugyanez a szám a 6. KP esetében 12, az 5. KP idején 17 volt. Az SzTB szerepe az, hogy tanáccsal lássa el a Bizottságot a keretprogramokkal kapcsolatos politikai és programvonatkozású témák terén. Megjegyzendő azonban, hogy a KP-programszerkezeten belül nem minden SzTB-nél áll fenn a kölcsönös megfelelés, vagyis nem minden programra (és alprogramra) jut külön SzTB.

(35) Kanadában az értékelési rendszer felügyeletére szinte minden szövetségi minisztérium állandó értékelési bizottságot hozott létre, magas rangú minisztériumi tisztviselők – és rendszerint külső érdekeltek – bevonásával (Social Sciences and Humanities Research Council of Canada: Evaluation Standing Committee – Mandate and Membership [Kanadai Társadalomtudományi és Humán Kutatási Tanács: Állandó értékelő bizottság – Megbízása és tagsága]).

(36) Európai Bizottság, Monitoring Report 2004 – Implementation of Activities under the EC and Euratom framework and corresponding specific programmes („2004. évi felügyeleti jelentés: Az EK és az Euratom, illetve a megfelelő egyedi programok keretében végrehajtott tevékenységek”), 2005. augusztus, 5. o.

(37) Európai Bizottság, „Az emberi erőforrások megtervezéséről és optimalizálásáról az EU prioritásainak szolgálatában”, SEC(2007) 530, 2007. áprillis 24.

(38) Európai Bizottság, Az elnök úrnak és Schreyer asszonynak a Bizottsághoz intézett jelentése: „Evaluation Standards and Good Practice” („Értékelési standardok és követendő példák”), COM(2002) 5267, 2002.12.23; az Európai Bizottság belső munkadokumentuma, „Impact assessment and ex-ante evaluation” („Hatásvizsgálat és előzetes értékelés”), SEC(2005) 430, 2005. április 6., 1. melléklet, 209. lábjegyzet.

(39) 2007-ben az Európai Kutatási Tanácsadó Testület (EURAB) is a keretprogramok értékelésére fordított források növelését javasolta (EURAB, „Recommendations on Ex-Post Impact Assessment” („Ajánlások az utólagos hatásértékeléssel kapcsolatban”), 2007. július).

(40) 1/2004. sz. különjelentés az ötödik kutatási és technológiafejlesztési keretprogramban (5. KP, 1998–2002) végrehajtott közvetett KTD-intézkedések irányításáról (HL C 99., 2004.4.23.), 116. és 122. bekezdés.

(41) Európai Bizottság, Költségvetési Főigazgatóság, Grybauskaitė asszonynak az elnökkel egyetértésben a Bizottsághoz intézett jelentése: „Responding to strategic needs: reinforcing the use of evaluation” („Cselekedjünk a stratégiai igények szerint: alkalmazzuk hatékonyabban az értékelést”) SEC(2007) 213, 2007. február 21.; Európai Bizottság, Az elnök úrnak és Schreyer asszonynak a Bizottsághoz intézett jelentése: „Evaluation standards and good practice” („Értékelési standardok és követendő példák”), COM(2002) 5267, 2002.12.23.

(42) 14 főigazgatóságnak van ilyen értékelési kézikönyve a felelősségi körükbe tartozó politikaterületekről és programokról (Európai Bizottság, Költségvetési Főigazgatóság – Értékelési egység: Overview of Evaluation Guides in the Commission („Áttekintés a Bizottság értékelési útmutatóiról”), 2004. október.

(43) Fahrenkrog, G. és mások: RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies (KTF-értékelési eszköztár – A KTF-politikák társadalmi-gazdasági hatásának felmérése); IPTS-JRC, 2002; PREST és mások: Assessing the Socio-economic Impacts of the Framework Programme (A keretprogram társadalmi-gazdasági hatásainak felmérése); University of Manchester, 2002.

(44) A Bizottság általában ugyan rendelkezik ilyen információval a résztvevőkről, ám gyakran megesik, hogy ezeket jószerivel nem tudja részletes elemzésre felhasználni, mert az egy adott résztvevőre vonatkozó adatokat nem egy helyen, sőt nem is mindig kompatibilis formátumban tárolják. Ez megnehezíti egy-egy résztvevő tevékenységének folyamatos nyomon követését (ami pedig hasznos lenne pl. esetleges kimaradásuk okainak feltárásánál) és a résztvevők közötti viszonyok megismerését (pedig pl. tanulmányozni lehetne a hálózatépítési hatást; lásd: 84. bekezdés).

(45) A 2006-os pénzügyi évre vonatkozó éves jelentés 2.3. táblázata; a 2005-ös pénzügyi évre vonatkozó éves jelentés 7.13. bekezdése; a 2004-es pénzügyi évre vonatkozó éves jelentés 6.8. és 6.10. bekezdése; a 2003-as pénzügyi évre vonatkozó éves jelentés 6.9. és 6.70. bekezdése; 1/2004. sz. különjelentés, 105–108. bekezdés; 1/2006. sz. vélemény a vállalkozásoknak, a kutatóközpontoknak és az egyetemeknek a hetedik keretprogram intézkedéseiben való részvételére, valamint a kutatási eredmények terjesztésére (2007–2013) vonatkozó szabályok megállapításáról szóló európai parlamenti és tanácsi rendeletre irányuló javaslatról (HL C 203., 2006.8.25.), 57. bekezdés.

(46) Az Európai Közösséget létrehozó Szerződés 173. cikke: „A Bizottság minden év elején jelentést nyújt be az Európai Parlamentnek és a Tanácsnak. A jelentés különösen a megelőző évi kutatási és technológiafejlesztési tevékenységre, e tevékenységek eredményének terjesztésére, valamint a folyó év munkaprogramjára terjed ki.”

(47) Az értékelések keretében végzett egyes felmérések kivételével egyszer sem kísérelték meg következetesen, hogy a résztvevőktől a projektek befejezése után gyűjtsenek adatokat. Kérdőíves felméréseket csak kevéssé lehetett alkalmazni, mert számos nemzeti KTF-programmal (pl. Németország) ellentétben a résztvevők jogilag nem kötelezhetőek ilyen analitikus adatok szolgáltatására.

(48) 1/2004. sz. különjelentés, 94. bekezdés; 1/2006. sz. vélemény, 56. bekezdés.

(49) A 2006-os pénzügyi évre vonatkozó éves jelentés 7.33. bekezdése; a 2005-ös pénzügyi évre vonatkozó éves jelentés 7.8. és 7.29. bekezdése; az 1/2006. sz. vélemény 58–61. bekezdése.

(50) A CORDIS az egyetlen olyan adatbázis, amely a keretprogram egészét tekintve közös javaslatokról, projektekről és eredményekről szolgáltat információt, több programozási időszakot fed le, és a Bizottságon kívülről is elérhető. Az egyedi projektekre vonatkozó adatokat azonban a projektjavaslat kiválasztása után a CORDIS gyakran már nem frissíti. A 7. KP előtt a keretprogramok köz- és magánszektorból származó résztvevői nem voltak kötelezve, hogy közzétegyék eredményeiket (Európai Kutatási Tanácsadó Testület (EURAB): Scientific publication: policy on open access [Tudományos közlés: A nyílt hozzáférés politikája], 2006. december).

(51) Hanne Foss Hansen, „Choosing evaluation models: A discussion on evaluation design” („Az értékelési modellek megválasztása: Gondolatok az értékelés megtervezéséről”), Evaluation, 11. kötet 4. sz., 2005, 447–462. o.

(52) A 7. KP előtt a keretprogramok köz- és magánszektorból származó résztvevői nem voltak kötelezve, hogy közzétegyék tudományos eredményeiket. A közzététel kötelezővé tételét 2006 decemberében az EURAB javasolta, hogy a közösségi finanszírozású kutatás ezáltal szabadon hozzáférhetővé váljék. Felvetődött az is, hogy a Bizottság hozzo