MT Il-Ġurnal Uffiċjali ta’ l-Unjoni Ewropea C 26/1

RAPPORT SPEĊJALI Nru 9/2007

dwar “L-evalwazzjoni tal-programmi qafas ta' l-UE dwar ir-Riċerka u l-Iżvilupp Teknoloġiku — L-approċċ tal-Kummissjoni jista' jittejjeb?” flimkien mar-risposti tal-Kummissjoni

(skond l-Artikolu 248(4), it-tieni sub-paragrafu, KE)

(2008/C 26/01)

WERREJ

I-V SOMMARJU EŻEKUTTIV

1-14 INTRODUZZJONI

1-7 Ir-rwol ta' l-Unjoni Ewropea fis-sostenn ta' l-attivitajiet tar-Riċerka u l-Iżvilupp Teknoloġiku

8-14 L-evalwazzjoni u l-monitoraġġ tal-Programmi Qafas

15-18 L-AMBITU U L-APPROĊĊ TAL-VERIFIKA

19-109 OSSERVAZZJONIJIET TAL-VERIFIKA

19-37 Loġika ta' l-intervenzjoni, l-iffissar ta' l-objettivi u l-indikaturi tal-prestazzjoni

38-49 L-istrateġija ta' l-evalwazzjoni

50-68 L-organizzazzjoni ta' evalwazzjonijiet għall-Programmi Qafas

69-97 Metodoloġiji u tekniki ta' evalwazzjoni

98-109 Tixrid u użu tas-sejbiet ta' evalwazzjoni

110-118 KONKLUŻJONI ĠENERALI

Anness I: Kejl ta' l-impatt u tar-riżultati ta' l-intervenzjoni pubblika fir-riċerka u l-iżvilupp teknoloġiku

Anness II: Dispożizzjonijiet dwar il-monitoraġġ u l-evalwazzjoni f'deċiżjonijiet leġiżlattivi għar-Raba' Programm Qafas sas-Seba' Programm Qafas

Anness III: Differenzi ewlenin fl-evalwazzjoni ex-post ta' programmi ta' riċerka bejn l-UE (FP4 — FP6), l-Istati Uniti ta' l-Amerika u l-Kanada

Anness IV: Struttura possibbli għas-Seba' Programm Qafas

Ir-risposti tal-Kummissjoni

SOMMARJU EŻEKUTTIV

I. Il-programmi qafas (FPs) tal-Komunità dwar ir-Riċerka u l-Iżvilupp Teknoloġiku huma l-akbar għajn pubbliku ta' finanzjament tar-riċerka fl-Unjoni Ewopea. Il-Kummissjoni hija responsabbli mill-ġestjoni tal-Programmi Qafas u mill-evalwazzjoni tar-riżultati tagħhom.

II. Il-verifika kopriet l-arranġamenti ta' monitoraġġ u evalwazzjoni fis-seħħ sa mill-1995 għall-aħħar tliet perijodi ta' programmar (ir-Raba', il-Ħames u s-Sitt Programm Qafas) u tagħti ħarsa wkoll lejn is-Seba' Programm Qafas (2007-2013). Il-verifika twettqet mal-Bord ta' l-Awdituri ta' l-EFTA u bl-għajnuna ta' esperti esterni.

III. Il-verifika indirizzat il-kwistjoni dwar jekk l-approċċ tal-Kummissjoni biex tevalwa r-riżultati tal-Programmi Qafas kienx xieraq. F'dan il-kuntest, il-Qorti ċċekkjat jekk il-Kummissjoni ssodisfatx ir-rekwiżiti legali għall-evalwazzjoni u aċċertatx jekk is-sistema tagħha biex tevalwa u timmonitorja kinitx tissodisfa l-aspettattivi tal-partijiet interessati. B'mod partikolari, il-Qorti staqsiet jekk: (i) kienx hemm loġika ta' l-intervenzjoni li fuqha huma bbażati l-Programmi Qafas u l-programmi kostitwenti li tista' tipprovdi bażi soda għall-evalwazzjoni u l-monitoraġġ; (ii) il-Kummissjoni kinitx iddefiniet strateġija ta' l-evalwazzjoni għall-Programmi Qafas; (iii) l-istruttura organizzattiva tas-sistema ta' evalwazzjoni tal-Programmi Qafas tal-Kummissjoni żguratx li l-evalwazzjoni kienet ikkoordinata tajjeb, b'riżorsi xierqa u meqjusa bħala indipendenti biżżejjed mill-partijiet interessati; (iv) il-metodoloġiji użati għall-evalwazzjoni kinux sodisfaċenti; u (v) l-attivitajiet ta' evalwazzjoni u monitoraġġ provdewx informazzjoni u analiżi li jistgħu jintużaw biex itejbu programmi kontinwi u jippreparaw Programmi Qafas futuri.

IV. Is-sejbiet u l-konklużjonijiet tal-Qorti kienu li ġejjin: (i) in-nuqqas ta' loġika ta' l-intervenzjoni espliċita u d-definizzjoni fqira ta' l-objettivi tal-programm u kejl tal-prestazzjoni dgħajjef ma ppermettewx monitoraġġ u evalwazzjoni effettivi; (ii) in-nuqqas ta' strateġija ta' l-evalwazzjoni komprensiva, miftiehma bejn “id-DĠs tar-riċerka” li jimplimentaw il-Programmi Qafas wassal għal approċċi inkonsistenti bejn is-servizzi tal-Kummissjoni. B'mod partikolari, dan jidher min-nuqqas ta' evalwazzjoni ta' partijiet sinifikanti tal-Programmi Qafas; (iii) l-evalwazzjoni tal-Programmi Qafas kienet deċentralizzata, il-mekkaniżmi ta' koordinazzjoni eżistenti fost id-Direttorati Ġenerali li jimplimentaw il-Programmi Qafas ma kinux effettivi u s-servizzi ċentrali tal-Kummissjoni ma kellhom l-ebda rwol ta' infurzar. F'termini ġenerali, madanakollu, “id-Direttorati Ġenerali tar-riċerka” ikkonformaw mar-rekwiżiti formali tal-Kummissjoni dwar l-evalwazzjoni. L-użu ta' panels magħmula minn esperti esterni ta' livell għoli maħtura mill-Kummissjoni għal eżerċizzji ta' evalwazzjoni prinċipali kien jixraq ferm tajjeb lill-kuntest Komunitarju. Madanakollu, dawn il-panels temporanji ma ġewx involuti kmieni biżżejjed fil-proċess biex jinfluwenzaw il-ġbir ta' l-evidenza u kellhom biss possibilitajiet limitati biex isegwu l-kwistjonijiet rilevanti tul iż-żmien. Billi ntuża biss panel tal-Programm Qafas ġenerali (flimkien ma' panel għal programm wieħed speċifiku) ma ngħatatx biżżejjed attenzjoni għal kwistjonijiet speċifiċi relatati ma' l-oqsma xjentifiċi differenti fil-Programmi Qafas; (iv) ingħatat gwida metodoloġika inadegwata, l-evalwaturi sabu diffikultajiet fil-ġbir ta' dejta rilevanti u ma kien hemm l-ebda studji ta' evalwazzjoni li indirizzaw l-eżiti u l-impatti ta' terminu ta' żmien itwal tal-Programmi Qafas, bil-kontra ta' kwistjonijiet ta' terminu ta' żmien qasir dwar l-implimentazzjoni tal-programm; u (v) riżultat ta' dak li intqal hawn fuq, u minħabba li t-twaqqit ta' l-evalwazzjonijiet bosta drabi kien prematur biex jindirizza l-kwistjonijiet l-aktar relevanti, is-sistema ta' evalwazzjoni tal-Programmi Qafas tal-Kummissjoni kienet ta' użu limitat għal dawk li jfasslu l-politika, għall-partijiet interessati jew ukoll għall-Kummissjoni nfisha. Fl-aħħar, ftit hemm tagħrif dwar il-kisba ta' l-objettivi tal-programm u r-riżultati tal-Programmi Qafas.

V. Il-Qorti tirrikmanda illi: (i) il-loġika ta' l-intervenzjoni għandha ssir espliċita fil-leġiżlazzjoni futura. Suppożizzjonijiet ta' bażi għandhom jiġu spjegati, ir-rabta bejn objettivi xjentifiċi u soċjo-ekonomiċi għandha tiġi ċċarata u għandhom jiġu żviluppati indikaturi tal-prestazzjoni xierqa; (ii) għandha tiġi żviluppata strateġija ta' l-evalwazzjoni komprensiva mid-(u mifthema bejn) id-DĠs li jimplimentaw il-Programmi Qafas. B'mod partikolari, din l-istrateġija għandha tinvolvi approċċ konsistenti f'dak li għandu x'jaqsam mal-livell minimu li fih għandha sseħħ l-evalwazzjoni dettaljata sabiex tieħu in konsiderazzjoni l-ispeċifiċitajiet ta' kull qasam xjentifiku; (iii) għandu jiġi kkunsidrat it-twaqqif ta' uffiċċju konġunt ta' l-evalwazzjoni biex jikkoordina l-attivitajiet ta' evalwazzjoni “tad-Direttorati Ġenerali tar-riċerka” għall-Programm Qafas totali u biex tinħoloq sistema ta' panels (u sub-panels) magħmula minn esperti esterni. Dawn il-panels għandhom jiġu stabbiliti minn kmieni biżżejjed sabiex jipprovdu assistenza effettiva lill-Kummissjoni, u jkomplu jagħmlu dan tul il-perijodu ta' programmar u wara; (iv) ir-rekwiżiti tad-dejta għall-evalwazzjoni u l-monitoraġġ għandhom jiġu analizzati tajjeb u għandu jsir użu aktar wiesa' ta' għejun oħra eżistenti ta' dejta. Il-Kummissjoni għandha wkoll tirrazzjonalizza r-rekwiżiti ta' rappurtar għall-parteċipanti. Fl-aħħar, għandha tippreżenta manwal ta' evalwazzjoni komprensiv għall-Programmi Qafas u tiżviluppa firxa usa' ta' metodoloġiji ta' evalwazzjoni u tekniki biex jintużaw fl-evalwazzjonijiet f'dan il-qasam; u (v) il-Kummissjoni għandha tistabbilixxi t-tip u l-ambitu ta' l-evalwazzjoni li għandha tiġi mistennija għad-dati speċifikati fil-leġiżlazzjoni tas-Seba' Programm Qafas u tikkjarifika kif l-evalwazzjonjiet jistgħu jintużaw biex jadattaw programmi (“programmi ta' tagħlim”) u x'kontribuzzjoni jistgħu jagħtu għad-deċiżjonijiet politiċi.

INTRODUZZJONI

Ir-rwol ta' l-Unjoni Ewropea fis-sostenn ta' l-attivitajiet tar-Riċerka u l-Iżvilupp Teknoloġiku

1. Ir-riċerka u l-iżvilupp teknoloġiku (RTD) (1) huwa l-element prinċipali tal-progress xjentifiku u teknologiku u l-innovazzjoni u, bħala tali, huwa kontributur importanti għat-titjib fl-istandards ta' l-għajxien. L-intervenzjoni pubblika fl-RTD hija ġeneralment iġġustifikata bħala miżura ta' korrezzjoni 'l hekk imsejħa “nuqqasijiet tas-suq”, billi s-sostenn pubbliku jnaqqas l-inċertezza, u jipprovdi investiment fejn ir-riċerka hija benefiċċju pubbliku jew fejn hemm esternalitajiet sinifikanti.

2. L-Artikolu 163 tat-Trattat KE jistabbilixxi r-rwol tal-Komunitajiet dwar is-sostenn RTD, li jistipula li “il-Komunità għandha taħdem bil-għan li ssaħħaħ il-bażi xjentifiċi u teknoloġiċi ta' l-industrija tal-Komunità u tħeġġiha biex issir aktar kompetittiva fuq livell internazzjonali, waqt li tippromwovi l-attività tar-riċerka meħtieġa …”. L-Artikoli 164 sa 173 jiddeterminaw l-attivitajiet li għandhom jitwettqu f'dan ir-rigward u l-ambitu u l-implimentazzjoni tal-programmi qafas (FPs) pluriannwali dwar ir-riċerka u l-iżvilupp. Il-Kummissjoni hija responsabbli milli tressaq proposti għall-Programmi Qafas, filwaqt li d-deċiżjonijiet tal-Programm Qafas u r-regoli ta' parteċipazzjoni u t-tixrid huma adottati b'ko-deċiżjoni tal-Parlament Ewropew u tal-Kunsill. Dan ta' l-aħħar jadotta waħdu l-programmi speċifiċi. Il-Programmi Qafas huma implimentati b'mod konġunt minn sitt Direttorati-Ġenerali (DĠ), 'l hekk imsejħa “DĠs tar-riċerka” (2).

3. Mill-firxa vasta ta' politika implimentata fl-Unjoni Ewropea biex tissaħħaħ l-innovazzjoni u l-kompetittività, il-Programmi Qafas huma l-istrument finanzjarju l-aktar importanti li jikkontribwixxi lejn l-istrateġija ta' Liżbona (3) u l-objettiv ta' Barċellona (4) fuq livell Komunitarju.

4. Permezz tal-Programmi Qafas, il-Komunità tipprovdi finanzjament lir-riċerkaturi fl-Unjoni Ewropea, pajjiżi msieħba u organizzazzjonijiet internazzjonali. Il-baġits tagħhom żdiedu ħafna tul is-snin, u laħqu 7 217-il miljun euro fis-sena fis-Seba' Programm Qafas meta mqabbla ma' 2 761 miljun euro fir-Raba' Programm Qafas (ara l-Istampa 1). Fit-termini ta' approprijazzjonijiet tal-baġit, dawn jirrappreżentaw l-akbar qasam ta' tmexxija diretta ċentralizzata fil-Kummissjoni (5).

5. Il-Programmi Qafas huma differenti minn ħafna programmi nazzjonali għax ikopru kemm riċerka bażika kif ukoll riċerka applikata bil-parteċipazzjoni ta' l-industrija u organizzazzjonijiet pubbliċi tar-riċerka (6). Dawn fihom programmi speċifiċi (u sub-programmi) li jitrattaw ma' oqsma xjentifiċi wiesa'. Dawn il-programmi tipikament jikkonsistu f'għadd ta' sferi li jikkonċentraw fuq oqsma xjentifiċi aktar speċifiċi. Dawn l-isferi mbagħad huma implimentati permezz ta' proġetti (imsejħa “azzjonijiet indiretti”) wara s-sejħiet għall-proposti. B'dan il-mod, mijiet ta' proġetti individwali huma ffinanzjati f'kull sfera.

6. Is-sehem ġenerali tal-Programmi Qafas mill-finanzjament pubbliku totali ta' l-RTD fl-Unjoni Ewropea u l-Istati Membri tagħha jlaħħaq bejn 4 % u 5 %. Minkejja dan, l-impatt tiegħu fuq liema tip ta' attivitajiet ta' riċerka jitwettqu fl-Ewropa huwa akbar bil-bosta. Dan huwa minħabba li l-għotjiet Komunitarji ġeneralment jipprovdu biss parti tal-finanzjament totali għal proġett. Barra dan, meta japplikaw għall-finanzjament, ir-riċerkaturi jridu juru li l-proġetti tagħhom jindirizzaw l-objettivi speċifikati fis-sejħiet għall-proposti. B'dan il-mod, il-Programmi Qafas jiffissaw inċentivi biex jidderieġu l-attivitajiet RTD lejn objettivi speċifiċi ta' l-UE.

7. Fis-snin reċenti saru bidliet sinifikanti fil-Programmi Qafas, minħabba: — sfidi politiċi ġodda (l-istrateġija ta' Liżbona u l-objettivi ta' Barċellona, it-twaqqif ta' “Żona Ewropea ta' Riċerka” (ERA) u ż-żieda fl-użu tal-metodu miftuħ ta' koordinazzjoni (7) fil-politika tar-riċerka u l-innovazzjoni); — it-tibdil fl-orjentazzjoni tal-Programmi Qafas, minn sempliċiment li tinstab soluzzjoni għall-problemi tekniċi fir-Raba' Programm Qafas u li jiġu indirizzati problemi soċjali speċifiċi fil-Ħames Programm Qafas, sa t-tħeġġiġ tal-koperazzjoni ta' l-organizzazzjonijiet tar-riċerka fl-ERA u l-kontribuzzjoni lejn it-twaqqif ta' ekonomija u soċjetà imsejjsa fuq l-għarfien fis-Sitt u fis-Seba' Programm Qafas; — perijodi ta' programmar itwal (qabel 4 snin, issa 7 snin għas-Seba' Programm Qafas skond il-Perspettivi Finanzjarji 2007-2013); — aktar Stati Membri u pajjiżi parteċipanti; — żjieda fil-finanzjament, b'mod partikolari bil-Perspettivi Finanzjarji attwali; — it-twaqqif ta' Kunsill Ewropew tar-Riċerka (ERC) u d-delegazzjoni ta' attivitajiet ta' programmi tat-tmexxija lill-aġenziji eżekuttivi li ser jibdew fis-Seba' Programm Qafas; u — iż-żjieda fl-użu ta' strumenti ta' finanzjament fuq skala kbira (eż. Netwerks ta' Eċċellenza, Proġetti Integrati, proġetti ta' l-Artikolu 169, Inizjattivi Teknoloġiċi Konġunti).

L-evalwazzjoni u l-monitoraġġ tal-Programmi Qafas

8. Il-Kummissjoni għandha responsabilità għall-implimentazzjoni tal-programmi u l-evalwazzjoni tar-riżultati tal-programmi (8). Fil-każ tal-Kummissjoni, l-evalwazzjoni hija deċentralizzata lejn id-DĠs, bis-servizzi ċentrali (b'mod partikolari d-DĠ Baġit u s-Segretarjat-Ġenerali) jipprovdu sostenn u koordinazzjoni.

9. Dan ir-rapport juża d-definizzjonijiet tal-Kummissjoni stess ta' evalwazzjoni bħala ġudizzju ta' interventi skond ir-riżultati, l-impatti u l-ħtiġijiet li jimmiraw li jissodisfaw (9), u monitoraġġ bħala l-għoti ta' informazzjoni fuq l-implimentazzjoni ta' programmi kontinwi u proġetti biex jindirizzaw il-ħtiġijiet tal-maniġment (10). Dan huwa wkoll kif iż-żewġ attivitajiet huma distinti fil-leġiżlazzjoni attwali tas-Seba' Programm Qafas.

10. Minn hawn 'il quddiem, it-terminoloġija segwenti tintuża biex tiddeskrivi r-riżultati ta' l-attivitajiet tar-Riċerka u l-Iżvilupp Teknoloġiku: — “Prodott”i huma t-tagħrif, oġġetti u servizzi prodotti direttament bħala konsegwenza ta' intervent pubbliku (pubblikazzjonijiet, dokumenti tal-konferenzi, privattivi, liċenzji, prototipi, standards, xjenzjati mħarrġa, eċċ.); — “Eżiti” huma r-riżultat ttardjat ta' l-ipproċessar tal-prodotti mill-utenti; u — “Impatti” huma l-bidliet soċjo-ekonomiċi u politiċi fuq terminu ta' żmien twil li l-intervent pubbliku jġib miegħu. Kaxxa 1Eżempju tas-Sistema Globali għall-Komunikazzjoni Mobbli (GSM):F'dan l-eżempju, il-“prodotti” tal-finanzjament Komunitarju kienu r-riżultati immedjati tal-proġett, bħall-iżvilupp ta' l-istandard tal-GSM. L-“eżitu” kien li ġie aċċettat bħala l-istandard tat-telefonijia ċellulari diġitali fl-Ewropa u lil hinn minnha, li kkontribwixxa ħafna lejn l-iżvilupp ta' l-industrija tat-telekomunikazzjoni. Fl-aħħar, l-“impatti” kienu l-konsegwenzi ekonomiċi, soċjali u politiċi ta' l-użu internazzjonali ta' din it-teknoloġija. Dan jinkludi l-kontribuzzjoni lejn il-ħolqien ta' l-impjiegi fit-telekomunikazzjoni u industriji relatati u l-kobor fl-importanza ta' dan is-settur industrijali għall-ekonomija Ewropea. Fl-aħħar nett, il-GSM ta mod ġdid li bih in-nies jistgħu jikkomunikaw ma' xulxin.

11. Madanakollu, l-evalwazzjoni ta' dawk ir-riżultati fiha għadd ta' diffikultajiet metodoloġiċi (ara l-Anness I). Il-bidliet soċjo-ekonomiċi huma kumplessi u, b'mod aktar speċifiku, ir-relazzjoni bejn l-attività ta' riċerka u l-eżiti u l-impatti li jiġu osservati ta' sikwit hija diffiċli li tinstab. Filwaqt li jirrappreżentaw sfida konsiderevoli, dawn id-diffikultajiet metodoloġiċi mhux bilfors ifixklu evalwazzzjoni effettiva.

12. Il-Kummissjoni kellha sistema biex timmonitorja u tevalwa l-Programmi Qafas fis-seħħ sa mis-snin tmenin (11). Bdiet bir-Raba' Programm Qafas f'nofs is-snin disgħin, is-sistema ta' monitoraġġ u evalwazzjoni kienet tikkonsisti f'numru ta' attivitajiet parzjalment relatati, li kienu jinkludu — monitoraġġ annwali (prinċipalment ta' l-implimentazzjoni tal-programm) u — evalwazzjonijiet fuq ħames snin (5YAs) ta' attivitajiet tal-Programm Qafas (u, sa mis-Sitt Programm Qafas, evalwazzjonijiet addizzjonali ta' kwestjonijiet speċifiċi). Iż-żewġ attivitajiet kellhom jitwettqu bl-għajnuna ta' esperti esterni (ara l-Istampa 2 u l-Anness II). Stampa 2 FP4 sa FP7 — Rekwiżiti prinċipali għall-monitoraġġ u l-evalwazzjoni FP4 (1995-1998) FP5 (1999-2002) FP6 (2003-2006) FP7 (2007-2013) żewġ eżerċizzji ta’ l-evalwazzjoni (ta’ nofs it-terminu u finali), f’kull każ għall-20 sub-programmi tiegħu u l-Programm Qafas; l-evalwazzjoni finali taħbat ma’ nofs it-terminu tal-FP5 żewġ eżerċizzji ta’ l-evalwazzjoni simultanji (ta’ nofs it-terminu), f’kull każ għas-7 Programmi Speċifiċi tiegħu u l-Programm Qafas eżerċizzju ta’ l-evalwazzjoni għall-Programm Qafas u t-3 Programmi Speċifiċi tiegħu (ta’ nofs it-terminu), imma mhux speċifikament għall-20 sub-programm kollha, ikkomplementat minn evalwazzjoni speċifika u rapporti ta’ progress regolari (jiġifieri monitoraġġ) mill-anqas ħames eżerċizzji ta’ l-evalwazzjoni ( ex-ante, ta’ nofs it-terminu u finali) inkluż rapport ta’ progress speċifiku qabel l-evalwazzjoni interim 1. Ex-ante : le 1. Ex-ante : le 1. Ex-ante : le 1. Ex-ante: inkorporat fl-'Istima ta’ l-Impatt tal-proposta tal-Kummissjoni għas- FP7 (2005) 2. Nofs it-terminu: — “evalwazzjoni fuq ħames snin”: f’nofs il-Programm Qafas, qabel il-Programm Qafas ta’ wara (1997) 2. Nofs it-terminu: — evalwazzjoni fuq ħames snin: qabel il-preżentazzjoni ta’ proposta għal Programm Qafas ta’ wara (2000) — reviżjoni tal-progress f’nofs il-Programm Qafas (2001) 2. Nofs it-terminu: — evalwazzjoni ta’ l-effettività ta’ l-istrumenti (2004) — evalwazzjoni fuq ħames snin, qabel il-preżentazzjoni ta’ proposta għal Programm Qafas ta’ wara (2004) — rapporti ta’ progress regolari (jiġifieri monitoraġġ) 2. Nofs it-terminu: — ex-post, sentejn wara tmiem il-Programm Qafas preċedenti (2008) — rapport ta’ progress qabel l-evalwazzjoni interim (qabel l-2010) — evalwazzjoni interim (2010) 3. Finali: — wara t-tlestija tal-Programm Qafas (1999) 3. Finali: le 3. Finali: le [modifikat għal Deċiżjoni FP7] 3. Finali: sentejn wara t-tlestija tal-Programm Qafas (2015), sostnut minn studji speċifiċi, l-evalwazzjoni interim u attivitajiet oħra ta’ evalwazzjoni mwettqa matul il-perijodu tal-Programm Qafas Sors: Ara l-Anness II.

13. Sal-ġurnata ta' llum, twettqu tliet evalwazzjonijiet fuq ħames snin (12), li wasslu għar-rapporti “Davignon”, “Majó” u “Ormala” (1997, 2000 u 2004 rispettivament). Barra dan, id-DĠ Soċjetà Informatika wettaq evalwazzjonijiet immirati għall-programm speċifiku tiegħu. Ta' min jinnota li l-evalwazzjonijiet fuq ħames snin ma tkomplewx bil-leġiżlazzjoni tas-Seba' Programm Qafas, b'hekk tneħħiet il-kundizzjoni li eżerċizzji ta' evalwazzjoni kbar kellhom jikkonċentraw fuq il-ħames snin preċedenti u, riżultat ta' dan, kellhom ikopru partijiet ta' żewġ perijodi ta' programmar suċċessivi. Fl-2004, ir-rapport “Marimón” (13), evalwazzjoni speċifika dwar l-effettività ta' l-istrumenti ġodda introdotti fis-Sitt Programm Qafas, kien ippubblikat ukoll.

14. Il-qafas tal-Kummissjoni għall-attivitajiet ta' evalwazzjoni kien revedut fl-2000 u fl-2002 (14). Dawn il-komunikazzjonijiet ġew aġġornati fl-2007 u ttieħdu in konsiderazzjoni l-konsegwenzi tar-riforma amministrattiva tal-Kummissjoni u r-Regolament Finanzjarju l-ġdid (15). F'dawn id-dokumenti, ir-rwol u l-funzjoni ta' l-evalwazzjoni huwa deskritt fil-kuntest taċ-ċiklu ta' l-ippjanar, l-ipprogrammar u r-rappurtar ġenerali tal-Kummissjoni u sett ta' 21 standard ta' evalwazzjoni u 18-il mudell ta' “prattika tajba” huma speċifikati. Barra dan, dawn id-dokumenti jiddiskutu l-użu ta' l-evalwazzjoni fil-preparazzjoni u s-simplifikazzjoni tal-leġiżlazzjoni ta' l-UE.

L-AMBITU U L-APPROĊĊ TAL-VERIFIKA

15. L-objettiv prinċipali tal-verifika kien li tiddetermina jekk il-Kummissjoni kelliex approċċ adegwat biex tevalwa r-riżultati tal-programmi qafas tar-Riċerka u l-Iżvilupp Teknoloġiku.

16. Sabiex tikseb dan l-objettiv, il-Qorti evalwat il-punt sa fejn: — il-loġika ta' l-intervenzjoni espliċita hija l-bażi għall-Programmi Qafas u l-programmi kostitwenti tagħhom li madwarha l-prodotti, l-eżiti u l-impatti jistgħu jitkejlu u jiġu evalwati, u b'hekk jipprovdu bażi soda għall-evalwazzjoni u l-monitraġġ; — ġiet definita strateġija ta' evalwazzjoni għall-Programmi Qafas li tippromwovi evalwazzjoni effettiva u konsistenti; — l-istruttura organizzattiva tas-sistema ta' evalwazzjoni tassigura li hija kkoordinata b'mod xieraq fil-Programm Qafas, b'riżorsi adegwati u wkoll li l-partijiet interessati jikkunsidrawha bħala indipendenti biżżejjed; — il-metodoloġiji użati jassiguraw li l-kwistjonijiet rilevanti huma indirizzati b'mod xieraq, sabiex l-evalwazzjoni tkun ikkunsidrata bħala kredibbli; u — l-attivitajiet ta' evalwazzjoni u ta' monitoraġġ jipprovdu informazzjoni u analiżi li jistgħu jintużaw biex itejbu programmi kontinwi (“programmi ta' tagħlim”) u jippreparaw Programmi Qafas futuri.

17. Dan ir-rapport ikopri l-arranġamenti rilevanti għar-Raba' Programm Qafas (1995-1998), il-Ħames Programm Qafas (1999-2002) u s-Sitt Programm Qafas (2003-2006). Jiddiskuti wkoll ir-rekwiżiti legali attwalment fis-seħħ fis-Seba' Programm Qafas (2007-2013), imma ma jipprovdix analiżi ta' l-Evalwazzjoni ta' l-Impatt u l-evalwazzjoni ex-ante (16) tas-Seba' Programm Qafas tal-Kummissjoni. Il-fok tiegħu huwa fuq il-monitoraġġ u l-evalwazzjoni ex-post tal-programmi, u mhux l-evalwazzjoni ex-ante ta' proposti tal-proġetti jew l-evalwazzjonijiet ex-post tal-proġetti nnifishom.

18. Il-verifika twettqet bil-parteċipazzjoni tal-Bord ta' l-Awdituri ta' l-EFTA u bl-għajnuna ta' esperti esterni. L-evidenza tal-verifika nġabret permezz ta': — xogħol tal-verifika fil-Kummissjoni (reviżjoni tad-dokumenti u intervisti mal-persunal), li jinvolvi l-identifikazzjoni ta' rekwiżiti legali u statutorji, reviżjoni ta' l-objettivi u l-kriterji tal-prestazzjoni, l-analiżi ta' aktar minn 80 rapport ta' monitoraġġ u ta'evalwazzjoni u analiżi ta' l-organizzazzjoni ta' l-attivitajiet ta' evalwazzjoni fil-Kummissjoni; — intervisti ma' aktar minn 90 espert identifikati bħala partijiet interessati fl-Istati Membri u l-pajjiżi assoċjati (ir-Repubblika Ċeka, il-Ġermanja, l-Estonja, Spanja, Franza, l-Italja, il-Lussemburgu, l-Olanda, l-Awstrija, il-Finlandja, l-Isvezja, ir-Renju Unit u n-Norveġja); — stħarriġ ma' partijiet interessati istituzzjonali fil-Kumitat tal-Parlament Ewropew ITRE (17) u fil-Kumitat tal-Kunsill CREST (18); — konsultazzjoni ma' aktar minn 65 espert fil-qasam ta' l-evalwazzjoni tar-riċerka fl-Istati Uniti ta' l-Amerika u fil-Kanada bħala grupp internazzjonali ta' paragun; — reviżjoni tad-dokumentazzjoni akkademika fuq it-tendenzi attwali fl-evalwazzjoni tar-riċerka; u — id-diskussjoni tas-sejbiet, konklużjonijiet u rakkomandazzjonijiet tal-verifika ma' esperti ta' l-evalwazzjoni tar-riċerka mill-Ewropa u mill-Amerika ta' Fuq waqt sensiela ta' laqgħat ta' gruppi ta' fok ippreseduti minn konsulent indipendenti (facilitated focus group meetings) fi Frar 2007.

OSSERVAZZJONIJIET TAL-VERIFIKA

Loġika ta' l-intervenzjoni, l-iffissar ta' l-objettivi u l-indikaturi tal-prestazzjoni

19. Evalwazzjoni u monitoraġġ effettivi jeħtieġu objettivi ċari u indikaturi tal-prestazzjoni rilevanti fil-livell tal-politika, programm u proġett biex ir-riżultati ta' intervent pubbliku jiġu evalwati b'paragun magħhom. Prattika tajba f'oqsma baġitarji oħra ta' l-UE u lil hinn mill-UE jissuġġerixxu li dawn għandom jiġu definiti fil-qafas ta' loġika ta' l-intervenzjoni.

20. Il-loġika ta' l-intervenzjoni tista' tiġi definita bħala sett ta' rabtiet ipotetiċi bejn il-kawżi u l-effetti li jiddeskrivu kif intervent huwa mistenni li jikseb l-objettivi globali tiegħu (19). Il-linji ta' gwida tal-Kummissjoni għall-evalwazzjoni jgħidu li l-loġika ta' l-intervenzjoni tagħti r-rabta konċettwali mir-riżorsi ta' l-intervenzjoni sal-produzzjoni tal-prodotti u, sussegwentement, l-impatti tagħha fuq is-soċjetà fit-termini tar-riżultati u l-eżiti (20). Din id-defizzjoni tintuża tul ir-rapport kollu.

21. Il-Qorti evalwat il-punt sa fejn il-loġika ta' l-intervenzjoni ġiet stabbilita għall-Programmi Qafas u l-programmi kostitwenti tagħhom, u b'hekk kellha bażi soda għall-evalwazzjoni u l-monitoraġġ.

Il-loġika ta' l-intervenzjoni għall-Programmi Qafas ma kinitx espliċita

22. Id-definizzjoni ta' loġika ta' l-intervenzjoni għandha tkun element prinċipali tat-tfassil ta' programm mill-bidu. L-Artikolu 163 tat-Trattat, li jgħid li hemm bżonn li jissaħħu l-bażi xjentifiċi u teknoloġiċi u jħeġġeġ aktar kompetittività, għandu jagħti l-punt ta' bidu għal tali loġika ta' l-intervenzjoni għall-Programmi Qafas (ara l-paragrafu 2). Din tkun meħtieġa li ssir aktar speċifika fir-rigward ta' l-oqsma xjentifiċi differenti koperti mill-Programmi Qafas u l-istrumenti differenti użati.

23. Madanakollu, mudell ta' loġika espliċitu li jispjega kif il-Programmi Qafas u l-programmi kostitwenti tagħhom jikkontribwixxu lejn progress xjentifiku u teknologiku u l-innovazzjoni huwa nieqes fil-livelli kollha.

24. In-nuqqas ta' loġika ta' l-intervenzjoni għall-Programmi Qafas kienet enfasizzata wkoll mill-panel ta' l-evalwazzjoni fuq ħames snin ta' l-2004, li kien jgħid li panels bħalu huma mitluba jimlew il-vojt bejn, min-naħa waħda, l-evidenza prinċipalment miġbura fil-livell tal-proġett u, min-naħa l-oħra, l-għanijiet soċjo-ekonomiċi ta' livell aktar għoli tal-politika tar-riċerka. Madanakollu, bħalissa r-rabta hija diffiċli li ssir minħabba l-mod li bih huwa ppjanat il-Programm Qafas. Huwa nieqes minn loġika espliċita li torbot l-ogħla objettivi ma' l-għanijiet speċifiċi tar-riċerka u tat-tagħrif (21).

25. F'xi Stati Membri jittieħed approċċ differenti (eż. l-Olanda, il-Finlandja) u fl-Istati Uniti ta' l-Amerika (ara l-Istampa 3), fejn id-definizzjoni ta' loġika ta' l-intervenzjoni hija aktar komuni u fil-Kanada fejn hija mandatorja għall-programmi kollha (ara l-Anness III). Fil-fatt l-użu tal-loġika ta' l-intervenzjoni fit-tfassil ta' programm hemm jirriżulta fi programmi aktar iffukati u strutturati aħjar. Qed tiġi introdotta ukoll mill-Kummissjoni f'oqsma oħra tal-politika tal-Komunità (eż. l-għajnuna esterna) (22). Stampa 3 Definizzjoni ta' ġerarkija ta' objettivi bbażata fuq mudelli tal-loġika — eżempju tar-riċerka agrikola fl-Istati Uniti Politika Programm Proġett Objettiv tal-politika : li tikkontribwxxi għall-għajxien aħjar ta’ familji tal-bdiewa Għan : żjieda fil-produzzjoni, produttività u dħul agrikolu fost il-familji tal-bdiewa Objettiv tal-programm : li jikkontribwixxi għal żjieda fil-produzzjoni, produttività u dħul agrikolu fost il-familji tal-bdiewa Riżultat mistenni : l-użu ta’ teknoloġiji agrikoli mtejba żdied fost il-bdiewa mmirati Għan : użu akbar ta’ teknoloġiji agrikoli mtejba mill-bdiewa (eż. ross) Objettiv tal-proġett : li jikkontribwixxi għall-użu akbar ta’ teknoloġiji agrikoli mtejba rrikkmandati Riżultat mistenni : għoti/tixrid ta’ rakkommandazzjonijiet għall-bdiewa mmirati Għan : rakkomandazzjonijiet mogħtija għal teknoloġiji mtejba xierqa għal bdiewa mmirati Riżultati mistennija (eż.): 1. teknoloġiji identifikati abbażi ta’ prijoritajiet tal-bdiewa 2. teknoloġiji ġenerati u adattati 3. teknoloġiji ċċekkjati fl-għelieqi tal-bdiewa Sors: Il-Kunsill Nazzjonali tar-Riċerka Agrikola ta’ l-Istati Uniti.

26. Li l-bażi loġika għal intervent pubbliku u r-rabtiet ta' kawżalità issoponuti (li skond dawn il-programm huwa mbagħad ippjanat fid-dettall, eżegwit u evalwat) ma jiġux speċifikati b'mod li joħolqu rabta legali ifixkel l-evalwazzjoni u l-monitoraġġ effettiv tal-Programmi Qafas. Dan huwa partikolarment minħabba l-mod li bih l-objettivi tal-programm u l-indikaturi tal-prestazzjoni jiġu definiti.

Mingħajr mudell tal-loġika espliċitu huwa aktar diffiċli li jiġu ffissati objettivi tal-programm koerenti

27. Jekk il-bażi loġika ta' intervent pubbliku ma tkunx espliċita jkun aktar diffiċli li l-objettivi tal-programm jiġu ffissati u strutturati b'mod koerenti. Dan jintwera mill-fatt li: — mhux ċar kif l-objettivi ta' programm tal-Programmi Qafas jirrelataw ma' l-objettivi tal-politika, bħall-objettiv ġenerali fl-Artikolu 163 tat-Trattat, dawk imsemmija fl-istrateġija ta' Liżbona u fid-dikjarazzjoni ta' Barċellona (ara l-paragrafu 2 u 7); — ir-relazzjoni bejn l-objettivi individwali tal-programm, kemm fl-istrati differenti tal-leġiżlazzjoni (bħad-deċiżjoni tal-Programm Qafas, id-deċiżjoni speċifika tal-programm u r-regoli ta' parteċipazzjoni u ta' tixrid) kif ukoll bejn l-atti bażiċi u l-programmi ta' xogħol tal-Kummissjoni, mhux dejjem tidher.

28. Il-Kummissjoni ppruvat tiffissa objettivi operattivi fil-programmi ta' xogħol ibbażati fuq l-objettivi ta' programm definiti fil-leġiżlazzjoni tal-Programm Qafas. Iżda, kważi fil-każijiet kollha, dawn l-inizjattivi naqqsu milli jiċċaraw il-loġika li fuqha huma bbażati l-programmi u l-objettivi mniżżla fil-programmi ta' xogħol ma kinux speċifiċi, miżurabbli, li jistgħu jinkisbu, rilevanti u fil-ħin (SMART). Fl-2003, dan sar rekwiżit legali skond ir-Regolament Finanzjarju (23).

29. Il-punt sa fejn l-objettivi tal-politika jistgħu jiġu traċċati mill-programmi speċifiċi, mill-programmi ta' xogħol u mis-sejħiet għall-proposti għall-proġetti individwali ko-finanzjati mill-Komunità mhux ċar. Jekk dawn ir-rabtiet ma jiġux ikkjarifikati, il-kontribuzzjoni tal-Programmi Qafas u l-programmi kostitwenti tagħhom lejn il-kisba ta' dawn l-objettivi tal-politika ma tistax tiġi evalwata. Il-verifika sabet illi l-Kummissjoni ma tat l-ebda jew inkella ftit evidenza konvinċenti dwar il-kisba ta' l-objettivi ta' terminu ta' żmien itwal, kemm fil-livell tal-proġett u kif ukoll tal-programm, fl-evalwazzjonijiet tagħha (ara l-paragrafu 82).

In-nuqqas ta' loġika ta' l-intervenzjoni espliċita u objettivi ċari jagħmluha aktar diffiċli li jiġu żviluppati indikaturi tal-prestazzjoni

30. In-nuqqas ta' mudell ta' loġika espliċitu u spjegazzjoni ċara ta' l-objettivi tal-programm fixkel ukoll l-iżvilupp ta' indikaturi tal-prestazzjoni għall-monitoraġġ u l-kisba ta' l-objettivi tal-programm f'termini ta' prodotti, eżiti u impatti, sal-punt fejn, sa llum, tali indikaturi ta' “effettività” ma ġewx definiti għall-Programmi Qafas kollha (ara l-paragrafu 73).

31. F'din is-sitwazzjoni, ir-reviżjoni ta' proġetti kontinwi ffinanzjati minn dawn il-programmi u l-evalwazzjoni ex-post ta' dawk ikkompletati ssir aktar diffiċli u tikkontribwixxi għad-diffikultajiet fl-aggregazzjoni ta' l-evalwazzjonijiet mill-livell tal-proġett għal dak tal-programm (ara l-Anness I u l-paragrafu 84).

L-ABB/ABM kif implimentata attwalment mhix għodda xierqa biex tkejjel il-prestazzjoni tal-Programmi Qafas

32. Xi indikaturi li jittraċċaw l-effiċjenza ta' l-implimentazzjoni ta' programmi (eż. iż-żmien biex isir il-kuntrattar, iż-żmien biex jitwettaq il-pagament) jinstabu fir-rapporti ta' monitoraġġ annwali tal-Kummissjoni u wkoll fil-kuntest tas-sistema ta' Ġestjoni Bbażata fuq l-Attività (ABM) tal-Kummissjoni.

33. Iżda, s'issa, “id-DĠs tar-riċerka”, anke meta qed jimplimentaw l-istess programm speċifiku (jew sub-programm), ma applikawx nomenklatura ta' l-Ibbaġitjar Ibbażat fuq l-Attività (ABB) u indikaturi relatati standard jew komparabbli. Għalhekk, dawn l-indikaturi ma jistgħux jintużaw biex jqabblu l-prestazzjoni bejn u fil-programmi. Kaxxa 2ABB/ABM kif implimentata attwalment “mid-DĠs tar-riċerka”Fis-sistema ta' l-ABB/ABM, il-Programmi Qafas huma koperti minn żewġ oqsma tal-politika differenti fejn l-attivitajiet tal-Programm Qafas huma ppreżentati fihom skond nomenklatura differenti speċifika għad-DĠ (24). Din tapplika wkoll għal dawk il-programmi u sub-programmi speċifiċi implimentati minn aktar minn DĠ wieħed. L-objettivi ta' l-ABM ġew definiti skond prinċipji ta' bażi differenti (25) u, kif indikat mis-servizz tal-verifika interna tal-Kummissjoni (26), ġew ifformulati l-aktar f'termini ġenerali, li jiddeskrivu l-aspirazzjonijiet jew l-attivitajiet. L-indikaturi ġeneralment ġew orjentati skond ir-riżorsi (eż. in-numru ta' laqgħat, eċċ.). Xi wħud kienu relatati ma' l-effiċjenza tal-proċess (eż. iż-żmien biex isir l-ikkuntrattar, iż-żmien biex jitwettaq il-pagament), imma ma kinux kumparabbli bejn il-programmi u minn DĠs għall-ieħor minħabba d-differenzi fin-nomenklatur ta' l-ABB, fis-suppożizzjonijiet speċifiċi għad-DĠ (bħall-bidu u t-tmiem ta' proċessi amministrattivi speċifiċi) u fil-popolazzjoni li huma bbażati fuqha (eż. it-tip ta' ftehim ta' l-għotja, it-tip tal-pagament) li ġie ikkunsidrat għall-komputazzjoni tagħhom.

Rakkomandazzjonijiet

34. Fil-proposti leġiżlattivi futuri lill-Kunsill u lill-Parlament Ewropew, il-Kummissjoni għandha tistabbilixxi loġika ta' l-intervenzjoni espliċita għall-Programm Qafas sħiħ u l-partijiet kostitwenti tiegħu. 35. Għas-Seba' Programm Qafas, il-Kummissjoni għandha — tiddeskrivi biċ-ċar l-objettivi tal-Programm Qafas u l-programmi speċifiċi (u sub-programmi) kostitwenti u kif dawn għandhom jinkisbu; — tiċċara r-rabta bejn l-objettivi xjentifiċi u soċjo-ekonomiċi għal kull programm speċifiku (u sub-programm); u — tiddefinixxi objettivi operattivi rilevanti. 36. Għas-sistema ta' monitoraġġ tas-Seba' Programm Qafas tagħha, il-Kummissjoni għandha tpoġġi fis-seħħ sett limitat, imma bilanċjat, ta' indikaturi tal-prestazzjoni, biex titkejjel l-effiċjenza u l-effettività ta' l-implimentazzjoni tal-programm għal kull programm speċifiku (u sub-programm). 37. “Id-DĠs tar-riċerka” għandhom jarmonizzaw in-nomenklatura ta' l-ABM/ABB tagħhom biex jagħmlu l-indikaturi tal-prestazzjoni kumparabbli kemm fuq perijodu ta' żmien u, fejn possibbli, bejn programmi speċifiċi (u sub-programmi).

L-istrateġija ta' l-evalwazzjoni

38. Strateġija ta' l-evalwazzjoni tipprovdi l-qafas konċettwali li fih l-attivitajiet ta' evalwazzjoni huma mfassla, ippjanati, imwettqa u użati. Prattika tajba f'oqsma baġitarji oħra ta' l-UE u lill hinn mill-UE tissuġġerixxi li tali strateġija għandha tikkunsidra l-kwistjonijiet legali, organizzattivi u metodoloġiċi prinċipali relatati ma' l-evalwazzjoni ta' programmi. Din tinkludi x'evalwazzjonijiet għandhom jitwettqu, minn min u meta, kif għandha tinġabar id-dejta, x'approċċi metodoloġiċi għandhom jintużaw u kif is-sejbiet għandhom jiġu kkomunikati u segwiti.

39. Li tali strateġija tkun fis-seħħ, u l-assigurazzjoni li tiġi implimentata, huwa pre-rekwiżit biex l-evalwazzjoni tissawwar fil-kultura organizzattiva u fil-proċess ta' teħid tad-deċiżjonijiet tal-Kummissjoni. Il-Qorti tirrikonoxxi, madanakollu, li minħabba d-diversità ta' l-oqsma xjentifiċi koperti mill-programmi qafas, tali strateġija għandha tipprovdi grad xieraq ta' flessibilità lil kull DĠs responsabbli u m'għandiex tkun preskrettiva żżejjed.

40. Il-Qorti ċċekkjat il-punt sa fejn il-Kummissjoni kellha fis-seħħ tali strateġija ta' evalwazzjoni għall-Programmi Qafas.

Nuqqas ta' strageġija ta' evalwazzjoni komprensiva għall-Programmi Qafas

41. Għall-Programmi Qafas, l-ewwel darba li l-Kummissjoni għamlet l-approċċ ta' evalwazzjoni tagħha pubbliku kien fis-snin tmenin (27). Dan ġie aġġornat fl-1996, meta l-Kummissjoni infurmat lill-Parlament Ewropew u lill-Kunsill dwar dak li kienet tqis bħala prinċipji ta' bażi rilevanti għall-monitraġġ u l-evalwazzjoni u ffissat l-approċċ intiż tagħha wara l-adozzjoni tar-Raba' Programm Qafas (28). Dan, iżda, ma kienx jikkostitwixxi strateġija ta' evalwazzjoni komprensiva kif imsemmija fuq (ara l-paragrafi 38 u 39). Barra dan, mill-1996 sa l-2006, il-Kummissjoni ma reġgħetx fundamentalment eżaminat mil-ġdid l-approċċ tagħha biex tevalwa l-Ħames Programm Qafas u s-Sitt Programm Qafas, minkejja l-fatt li dawn tbiddlu kemm fl-ambitu kif ukoll fl-orjentazzjoni (ara l-paragrafu 7). B'mod partikolari, “id-DĠs tar-riċerka” ma qablux fuq approċċ konsistenti għall-evalwazzjoni tal-Programmi Qafas u l-programmi kostitwenti tagħhom lil hinn mir-rekwiżiti leġiżlattivi adottati fl-1999 (għall-Ħames Programm Qafas), fl-2002 (għas-Sitt Programm Qafas) u fl-2006 (għas-Seba' Programm Qafas) (29).

42. Għall-perijodu ta' programmar attwali, in-nuqqas ta' tali approċċ strateġiku għall-evalwazzjoni f'dan il-qasam huwa problema partikolari minħabba l-implimentazzjoni konġunta tas-Seba' Programm Qafas minn varji Direttorati Ġenerali, l-ERC u l-aġenziji eżekuttivi, u r-rotazzjoni mandatorja tal-persunal f'karigi sensittivi imposta mir-Regolament Finanzjarju. Dan jikkuntrasta wkoll mal-prattika kurrenti fil-qasam ta' l-għajnuna esterna (li hija t-tieni l-akbar qasam ta' ġestjoni diretta mill-Kummissjoni). F'dan il-qasam id-DĠs, sa mill-2002, ftehmu fuq strateġiji ta' evalwazzjoni pluri-annwali komuni marbuta ma' perijodi ta' programmar (ara l-paragrafu 52).

43. Dan in-nuqqas ta' tfassil ta' strateġija ta' evalwazzjoni ċara jikkuntrasta bis-saħħa mas-sitwazzjoni fl-Istati Uniti ta' l-Amerika u fil-Kanada, minħabba li l-qafas regolartorju jitlob li jkun hemm strateġija (ara l-Anness III).

44. Kif muri hawn taħt, hemm differenzi sinifikanti dwar xi tkopri u l-intensità ta' l-evalwazzjoni fil-Programmi Qafas. Kien hemm ukoll nuqqasijiet oħra, bħal problemi ta' koordinazzjoni, differenzi fl-approċċi metodoloġiċi, problemi ta' twaqqit u nuqqasijiet fil-komunikazzjoni u s-segwitu tas-sejbiet ta' l-evalwazzjoni diskussi f'sezzjonijiet aktar 'il quddiem f'dan ir-rapport. Dan jirrifletti n-nuqqas ta' strateġija ta' evalwazzjoni komprensiva għall-Programmi Qafas.

Differenzi f'dak li tkopri u fl-intensità ta' l-evalwazzjoni fil-Programmi Qafas

45. Il-Programmi Qafas huma komposti min-numru ta' programmi speċifiċi u (sub-programmi) li jistgħu jvarjaw sinifikament f'termini ta' l-għan, dinamiċi ta' bażi u approprijazzjonijiet baġitarji tagħhom (għas-Seba' Programm Qafas, ara l-Anness IV). Meħuda flimkien, id-dispożizzjonijiet speċifiċi tal-varji deċiżjonijiet tal-Programm Qafas u r-Regolament Finanzjarju (30) (li jeħtieġ l-evalwazzjoni ta' programmi u attivitajiet li jeħtieġu infiq sinifikanti) ifissru li rekwiżit legali biex jiġi evalwat kemm il-Programm Qafas sħiħ kif ukoll bosta mill-programmi speċifiċi kostitwenti tiegħu kien fis-seħħ sa mir-Raba' Programm Qafas.

46. Il-Kummissjoni ma stabbilitx regola dwar meta programmi jew sub-programmi speċifiċi tal-Programm Qafas għandhom jiġu evalwati jew grad komuni li 'l fuq minnu din għandha titwettaq. Dan wassal għal interpretazzjonijiet inkonsistenti dwar x'għandu jiġi evalwat, u sa liema livell ta' dettall: — Id-DĠ Soċjetà Informatika kkunsidra li l-programm IST huwa programm ta' infiq prinċipali minnu nniffsu u organizza evalwazzjoni fuq ħames snin sħiħa fl-2004 b'mod parallelu ma' dik tal-Programm Qafas totali; — Id-DĠ Riċerka ma organizzax sistematikament tali evalwazzjoni fuq livell tal-programm speċifiku minkejja li l-baġits ta' bosta programmi taħt ir-responsabilità tiegħu kienu ta' daqs komparabbli.

47. Riżultat ta' dan, għas-sena ta' evalwazzjoni fuq ħames snin ta' l-2004, partijiet sinifikanti tar-Raba' u l-Ħames Programm Qafas ma kinux evalwati (li jikkorrispondu għal 30 % ta' l-approprijazzjonijiet baġitarji kollha għar-Raba' Programm Qafas u 50 % għall-Ħames Programm Qafas). Dan ifisser li l-Kummissjoni ma kkonformatx mar-rekwiżiti ta' l-evalwazzjoni speċifikati fl-Artikolu 27 tar-Regolament Finanzjarju.

48. Dawn l-interpretazzjonijiet diverġenti fir-rigward tar-rekwiżiti legali minimi dwar l-evalwazzjoni, u l-evalwazzjoni insuffiċjenti tal-Programmi Qafas li tirriżulta fil-passat, juru n-nuqqas ta' koordinazzjoni u l-effett tan-nuqqas ta' approċċ strateġiku mill-Kummissjoni għall-evalwazzjoni tal-Programmi Qafas.

Rakkomandazzjonijiet

49. “Id-DĠs tar-riċerka” għandhom jiżviluppaw u jiftehmu urġentement fuq strateġija ta' evalwazzjoni komuni għall-Programmi Qafas. Mingħajr ma tkun wisq preskrittiva, din l-istrateġija għandha tinvolvi approċċ konsistenti f'dak li huwa relatat ma' l-evalwazzjoni tal-Programmi Qafas u l-programmi kostitwenti tagħhom. Tali strateġija għandha tagħti wkoll gwida f'dak li għandu x'jaqsam mal-livell minimu li fih għandha sseħħ l-evalwazzjoni dettaljata sabiex tieħu in konsiderazzjoni l-ispeċifiċitajiet ta' kull qasam xjentifiku.

L-organizzazzjoni ta' evalwazzjonijiet għall-Programmi Qafas

50. L-evalwazzjoni tal-Programmi Qafas teħtieġ li tkun sostnuta minn arranġamenti organizzattivi xierqa, li għandhom joħorġu mill-orjentazzjoni strateġika għall-evalwazzjoni tal-Programmi Qafas tal-Kummissjoni. Il-Qorti ċċekkjat il-punt sa fejn l-istruttura organizzattiva assigurat li s-sistema ta' evalwazzjoni kienet ikkoordinata b'mod xieraq, b'riżorsi adegwati u wkoll ikkunsidrata mill-partijiet interessati bħala indipendenti biżżejjed.

Il-Kummissjoni

Il-Programmi Qafas huma implimentati b'mod konġunt minn bosta DĠs filwaqt li r-responsabilità għall-evalwazzjoni hija deċentralizzata

51. Fil-Kummissjoni, ir-responsabilità għall-evalwazzjoni tal-programmi ta' nfiq hija tad-DĠs individwali (ara l-paragrafu 8) u unitajiet ta' evalwazzjoni ġew imwaqqfa f'kull DĠ. Dawn l-unitajiet ta' evalwazzjoni huma responsabbli mill-ippjanar, il-koordinazzjoni u l-eżekuzzjoni ta' l-evalwazzjonijiet.

52. In-nuqqas ta' korp ta' koordinazzjoni speċifiku jew entità waħda għall-evalwazzjoni tal-Programmi Qafas totali, bħall-uffiċċju konġunt ta' evalwazzjoni għad-“DĠs tar-riċerka”, huwa ta' kuntrast ma' oqsma tal-politika oħra. Fil-qasam ta' l-għajnuna esterna, ġiet stabbilita unità konġunta ta' evalwazzjoni għal tliet DĠs (Żvilupp, Relazzjonijiet Esterni u EuropeAid) biex tieħu ħsieb l-evalwazzjoni tal-programmi ta' żvilupp tal-Kummissjoni f'pajjiżi terzi (ara l-paragrafu 42).

53. Id-DĠ Riċerka, permezz tan-netwerk intern ta' evalwazzjoni ta' l-RTD tal-Kummissjoni, jassigura skambju ta' tagħrif bejn l-unitajiet ta' evalwazzjoni tad-DĠs differenti, imma m'għandux l-awtorità li jiffissa rekwiżiti minimi ta' evalwazzjoni. Iżda, dan il-mekkaniżmu kien insuffiċjenti biex jassigura l-koordinazzjoni xierqa ta' l-evalwazzjoni tal-Programmi Qafas mill-Kummissjoni.

54. Il-Kummissjoni rrevediet l-approċċ ġenerali tagħha għall-evalwazzjoni fl-2000 u fl-2002, u għall-darba oħra fl-2007 (ara l-paragrafu 14). Għalkemm ma ġie osservat l-ebda titjib prinċipali fil-mod li bih l-evalwazzjonijiet għall-Programmi Qafas u l-programmi kostitwenti tagħhom kienu ppjanati, imfassla u implimentati, f'termini ġenerali, id-“DĠs tar-Riċerka” ikkonformaw mal-ħtiġijiet formali fil-Kummissjoni.

Is-servizzi ċentrali tal-Kummissjoni: l-iffissar ta' l-istandards, imma l-ebda rwol ta' infurzar

55. Is-servizzi ċentrali tal-Kummissjoni (b'mod partikolari d-DĠ Baġit u s-Segratarjat-Ġenerali) jipprovdu konsulenza metodoloġika, jiddefinixxu standards komuni fil-Kummissjoni kollha u jimmonitorjaw kif id-DĠs u s-servizzi japplikaw l-istandards (ara l-paragrafi 14 u 70). Ma jistgħux jimponu kif l-evalwazzjonijiet għandhom isiru fil-prattika.

56. L-esperjenza fl-Istati Uniti ta' l-Amerika u fil-Kanada tindika li l-infurzar mill-korpi li jiffissaw l-istandards huwa strumentali biex jassigura l-operat effettiv tas-sistema ta' evalwazzjoni. Fiż-żewġ pajjiżi, id-dipartimenti federali jistabbilixxu u jinfurzaw il-qafas li fih is-suċċess ta' programm jiġi finalment iġġudikat (ara l-Anness III). Filwaqt li l-isfond huwa differenti, minkejja dan, is-sistemi huma bbażati fuq l-istess prinċipju ta' bażi li korp separat minn dak li jimplimenta l-programm għandu jevalwa t-tfassil tas-sistema ta' evalwazzjoni f'ċertu dettall u jistudja fil-fond l-effettività tagħha. L-istess jista' jiġi osservat f'xi Stati Membri (eż. fi Franza (31), fi Spanja (32), fil-Ġermanja (33)), fejn korpi esterni jissorveljaw l-evalwazzjonijiet imwettqa minn aġenziji li jiffinanzjaw jew anke jwettqu dawn l-evalwazzjonijiet huma stess.

Panels

Panels ta' esperti esterni: meħtieġa mil-leġiżlazzjoni tal-Programm Qafas sa mir-Raba' Programm Qafas

57. Sa mir-Raba' Programm Qafas, l-eżerċizzji ta' evalwazzjoni prinċipali kollha (u l-monitoraġġ annwali) tal-Programmi Qafas kellhom jitwettqu minn (jew bl-għanjuna ta') panels ta' esperti esterni (ara l-Anness II). Minkejja diffikultajiet biex jinstabu esperti adattati, tali panels għandhom il-potenzjal li jipprovdu trasparenza, joffru grad ta' indipendenza, jiffaċilitaw l-involviment ta' partijiet interessati u jużaw tagħrif dwar il-programmi qafas innifishom, l-evalwazzjoni u l-kwistjonijiet xjentifiċi ta' bażi.

58. Dan ġie kkonfermat mill-istħarriġ tal-Qorti, li wera li l-persuni li wieġbu jqisu li s-sistema tal-Kummissjoni ta' evalwazzjoni bbażata fuq panels tipprovdi garanzija ta' indipendenza (ara l-Istampa 4).

Nuqqasijiet ta' l-approċċ tal-panel kif implimentat mill-Kummissjoni

59. Minkejja l-impressjoni pożittiva, kif urew il-membri tal-panels u l-partijiet interessati waqt il-verifika tal-Qorti, l-użu ta' panels ta' evalwazzjoni tal-Programmi Qafas mill-Kummissjoni kien ikkaratterizzat min-nuqqasijiet li ġejjin: — is-soltu l-panels ta' evalwazzjoni jitwaqqfu inqas minn sena qabel ir-rapport tagħhom huwa mistenni u jiltaqgħu biss għal għadd limitat ta' laqgħat. Dan jagħmilha diffiċli għall-membri tal-panel biex jinfluwenzaw id-definizzjoni tad-dejta u l-analiżi meħtieġa għal xogħolhom. Barra dan, minħabba li l-panels huma ad hoc u temporanji, it-tagħrif dwar il-programmi ma jistax jiġi akkumulat faċilment u kwistjonijiet rilevanti ma jistgħux jiġu segwiti tul iż-żmien. Dan huwa nuqqas partikolari meta (bħal fil-każ tas-Seba' Programm Qafas) għadd ta' eżerċizzji ta' evalwazzjoni prinċipali huma ppjanati matul il-perijodu ta' programmar (ara l-Anness II). Dan joħloq kuntrast ukoll mal-prattika tal-Kummissjoni għall-Gruppi ta' Konsulenza Esperta (EAGs) għall-Programmi Qafas, li huma korpi permanenti (34). Fil-Kanada (35) ukoll il-panels ta' evalwazzjoni huma permanenti sabiex jiggarantixxu approċċ konsistenti u koerenti (ara l-Anness III); — meta tiddefinixxi t-termini ta' referenza għall-panels, u tispeċifika d-domandi ta' evalwazzjoni, il-Kummissjoni ma tikkonsultax mal-partijiet esterni, bħall-industrija u organizzazzjonijiet ta' riċerka prinċipali li jipparteċipaw fil-Programmi Qafas. Il-panel ta' monitoraġġ 2004 ukoll osserva din il-problema li utenti potenzjali għandhom ikunu nvoluti fil-proċess sa minn stadju bikri (36); u — il-panels joperaw b'mod differenti mill-“peer review”. Il-membri tagħhom ma jkollomx il-ħin li jwettqu evalwazzjonijiet tagħhom stess; dawn tipikament jipprovdu pariri bbażati fuq dejta u evidenza disponibbli għalihom minn sorsi oħra. Minħabba limitazzjonijiet ta' ħin, il-panels kellhom biss opportunitajiet limitati biex jikkummissjonaw studji addizzjonali neċessarji biex jindirizzaw id-domandi speċifikati fit-termini ta' referenza tagħhom. Fil-prattika, ħlief għal xi eċċezzjonijiet, informazzjoni provduta mill-Kummissjoni biss kienet disponibbli għall-panels fl-evalwazzjoni fuq ħames snin.

Riżorsi

L-ebda riżorsi assenjati b'mod speċifiku għall-evalwazzjoni tal-Programmi Qafas

60. Il-finanzjament għall-evalwazzjoni jingħata fuq bażi annwali, skond il-ħtiġijiet speċifikati mid-DĠs li qegħdin jimplimentaw il-Programmi Qafas. Is-sorsi tiegħu bħalissa huma taħlita ta' riżorsi tal-Kummissjoni mid-DĠ Baġit ta' l-UE u riżorsi mill-parti amministrattiva tal-baġit fil-livell tad-DĠs ikkonċernati. Barra dan, miżuri speċifiċi huma ffinanzjati bħala azzjonijiet indiretti mill-baġit operattiv tal-Programmi Qafas. Dan ifisser li m'hemm l-ebda ammont imwarrab speċifikament għall-evalwazzjoni.

61. Fl-2006, il-medja fil-Kummissjoni għall-persunal impjegati fil-qasam ta' l-evalwazzjoni u fil-ġestjoni bbażata fuq l-attività kienet stmata għal madwar 1 % tat-total tal-persunal (37). Iċ-ċifri korrispondenti għall-attivitajiet ta' monitoraġġ u evalwazzjoni tal-programmi qafas tar-Riċerka u l-Iżvilupp fid-DĠ Riċerka u fid-DĠ Soċjetà Informatika kienu 1,2 % u 1,3 % rispettivament. Fil-każ tad-DĠ Riċerka, aktar minn żewġ terzi ta' dawn ir-riżorsi tal-persunal kienu, madankollu, allokati għad-dipartimenti tal-programm operattivi aktar milli għall-unità ta' l-evalwazzjoni, u l-evalwazzjoni kienet biss waħda mill-ħafna kompiti assenjati lilhom.

Il-finanzjament għall-evalwazzjoni tal-Programmi Qafas aktar baxx milli rrakkomandat mill-Kummissjoni

62. Riżorsi ddedikati għall-evalwazzjoni jistgħu jkunu wkoll espressi bħala persentaġġ ta' l-approprijazzjonijiet tal-baġit ġenerali allokati għall-programm. Ċifri miksuba matul il-verifika jindikaw li l-prattika għal programmi ta' riċerka fi ħdan l-Istati Membri ta' l-UE jinsabu bejn 0,1 % u 2 %. Il-linji gwida tal-Kummissjoni jissuġġerixxu li 0,5 % ta' baġit ta' programm għandu jkun iddedikat għall-evalwazzjoni (38). Madankollu, għal programmi akbar, ekonomiji ta' skala jfissru li sehem iżgħar tal-baġits tagħhom jista' jkun biżżejjed.

63. Paragun taċ-ċifri tal-Kummissjoni għan-nefqa fuq l-evalwazzjoni fil-perijodu 2003-2006 ma' l-approprijazzjonijiet tal-baġit għal kull Direttorat-Ġenerali juri li l-medja ġenerali qiegħda madwar 0,15 %, li hija sinifikament taħt il-livell suġġerit mill-Kummissjoni. Analiżi eqreb għas-sena 2006 turi li d-DĠ Soċjetà Informatika nefaq erba' darbiet aktar bejn wieħed u ieħor mid-DĠ Riċerka fuq l-evalwazzjoni meta mqabbla ma' l-approprijazzjonijet taħt ir-responsabbiltajiet rispettivi. Barra dan, fid-DĠ Riċerka, 0,7 % biss ta' uffiċjal wieħed full-time huwa ddedikat għall-evalwazzjoni għal kull baġit annwali ta' miljun euro. Meta mqabbel ma' dan, id-DĠ Soċjetà Informatika jiddedika d-doppju ta' dak l-ammont.

64. Kif muri f'dan ir-rapport, dan l-isforz addizzjonali ddedikat mid-DĠ Soċjetà Informatika rriżulta f'kopertura ta' l-evalwazzjoni aktar komprensiva (ara l-paragrafi 13 u 46) u, kif muri fil-kampjun ta' studji ta' evalwazzjoni rreveduti mill-Qorti, fl-użu ta' metodoloġiji li huma aktar adattati sabiex jindirizzaw ħtiġijiet ta' l-evalwazzjoni (ara l-paragrafu 84).

65. Stima ta' l-ispejjeż magħmula mill-Qorti abbażi ta' dejta mogħtija mill-Kummissjoni turi li sistema ta' evalwazzjoni bbażata fuq il-proposti magħmula f'dan ir-rapport kieku, bejn wieħed u ieħor, tirrappreżenta anqas minn 0,4 % ta' l-approprijazzjonijiet tal-baġit tas-Seba' Programm Qafas. Dan kieku jkopri l-ispejjeż ta' panels, studji sub-kuntrattati, persunal kemm ta' l-uffiċċju konġunt ta' l-evalwazzjoni kif ukoll ta' l-unitajiet ta' evalwazzjoni speċifiċi tad-DĠ kurrenti kif ukoll spejjeż oħra varji (39).

Rakkomandazzjonijiet

66. Id-“DĠs Riċerka” għandhom jikkunsidraw it-twaqqif ta' uffiċċju konġunt ta' l-evalwazzjoni flimkien ma' l-unitajiet ta' evalwazzjoni eżistenti fi ħdan kull DĠ. Skond il-prattika kurrenti f'oqsma ta' politika oħra, dan l-uffiċċju jkun jista' jikkoordina l-attivitajiet ta' evalwazzjoni tal-Kummissjoni għall-Programm Qafas fit-totalità tiegħu. Tali funzjonijiet ta' sostenn komuni kienu rrakkomandati fil-passat għad-DĠs li implimentaw il-Programmi Qafas (40) u għandhom mnejn isiru aktar importanti aktar 'il quddiem bil-ħolqien ta' l-ERC u d-delega ta' l-implimentazzjoni ta' programmi lill-aġenziji eżekuttivi. 67. Panels ta' evalwazzjoni għandhom ikomplu jintużaw mill-Kummissjoni biex jgħinuha fl-attivitajiet tagħha ta' evalwazzjoni. Madankollu, il-Kummissjoni għandha tikkunsidra kif għandha tallinja l-istruttura ta' panel ma' l-istruttura ġenerali ta' programm tal-Progamm Qafas. Dan jista' jsir billi jkun hemm panels għal programmi speċifiċi u, fejn huwa xieraq, sub-programmi (ara l-Anness IV). Barra dan, dawn il-panels għandhom jitwaqqfu kmieni biżżejjed sabiex jagħtu sostenn effettiv lill-Kummissjoni, u jkomplu jagħmlu dan matul il-perijodu ta' programmar u wara. 68. Il-Kummissjoni għandha tikkunsidra mill-ġdid ir-riżorsi li se jintużaw għall-evalwazzjoni tal-Programmi Qafas u l-programmi kostitwenti tagħhom.

Metodoloġiji u tekniki ta' evalwazzjoni

69. Evalwazzjoni effettiva teħtieġ l-użu ta' metodoloġiji u tekniki xierqa. Il-Qorti ċċekkjat safejn jeżistu linji gwida speċifiċi għall-evalwazzjoni tal-Programmi Qafas, jekk ħtiġijiet ta' informazzjoni kinux analizzati tajjeb fuq bażi mwaqqta u jekk dejta relevanti kinitx magħmula disponibbli għall-evalwaturi. Filwaqt li kkunsidrat l-istudji ta' evalwazzjoni mwettqa mill- (jew f'isem il-) Kummissjoni, il-Qorti rrevediet jekk it-tekniki użati għall-istudji individwali tawx bażi biżżejjed sabiex ikunu indirizzati l-ħtiġijiet ta' evalwazzjoni stabbiliti għall-evalwazzjonijiet fuq ħames snin. Kienet ikkunsidrata wkoll il-kontribuzzjoni potenzjali li tista' ssir lill-evalwazzjoni tal-Programmi Qafas minn evalwazzjonijiet fil-livell nazzjonali.

Użu ta' standards u linji gwida speċifiċi għall-Programmi Qafas

70. Id-DĠ Baġit ħareġ bosta Komunikazzjonijiet fejn iffissa l-politika tiegħu ta' evalwazzjoni u ta regoli għall-implimentazzjoni tagħha u waqqaf sett ta' standards tal-Kummissjoni (ara l-paragrafi 14 u 55) (41). Għal oqsma oħra ta' politika, id-DĠs kompetenti żviluppaw ukoll gwidi ta' evalwazzjoni speċifiċi (42).

71. Dan, madankollu, mhuwiex il-każ għall-Programmi Qafas. Hemm għadd ta' gwidi u programmi metodoloġiċi għal attivitajiet ta' evalwazzjoni fil-qasam tar-riċerka li ġew ippubblikati (jew iffinanzjati) mill-Kummissjoni (43). Madankollu, dawn la jagħtu gwida speċifika dwar kif l-evalwazzjonijiet għall-Programmi Qafas għandhom jitwettqu u lanqas ma jiddefinixxu kif kunċetti ewlenin jew terminoloġija għandhom jintużaw mill-persunal tal-Kummissjoni jew minn esperti esterni. Dan ikkontribwixxa għall-problemi diskussi hawn taħt.

Dejta meħtieġa u ġbir tad-dejta

Analiżi insuffiċjenti ta' l-informazzjoni meħtieġa

72. Ma ngħatatx biżżejjed attenzjoni mid-“DĠs Riċerka” biex jifhmu liema dejta tinħtieġ għal skopijiet ta' evalwazzjoni u ta' monitoraġġ. Minflok ma wettqet analiżi sistematika u komprensiva ta' l-informazzjoni meħtieġa, il-Kummissjoni speċifikat id-dejta meħtieġa tard fil-perijodu ta' programmar u mingħajr konsiderazzjoni xierqa għal ħtiġijiet ta' evalwazzjoni ġenerali. Il-kwestjonarju soċjo-ekonomiku tas-Sitt Programm Qafas kien l-uniku sforz komuni fost id-DĠs biex jaqblu fuq tali dejta (ara l-paragrafu 76). Madankollu, dan il-kwestjonarju kien finalizzat fl-2004 (tliet snin wara l-bidu tal-perijodu ta' programmar) u primarjament ikopri aspetti bħall-parteċipazzjoni tas-sessi u impatti ambjentali, minflok prodotti xjentifiċi (bħal kwistjonijiet dwar il-proprjetà intellettwali, pubblikazzjonijiet eċċ.), eżiti jew impatti.

73. L-evalwazzjoni ta' programmi tiddependi ħafna fuq id-disponibbiltà ta' tliet tipi ta' dejta: — dejta miġbura skond indikaturi ta' effettività, li l-analiżi tagħha tagħti tagħrif dwar progress lejn l-objettivi tal-programmi. In-nuqqas ta' loġika ta' intervenzjoni li għaliha ssir referenza hawn fuq ifisser li kien diffiċli li tali indikaturi jkunu definiti (ara l-paragrafu 30). Fil-prattika, id-dejta li nġabret kienet ta' ftit relevanza biex titkejjel il-kisba ta' l-objettivi tal-programmi; — dejta dwar it-treġija tal-programmi (skond indikaturi ta' “effiċjenza”); u — dejta dwar il-parteċipanti (bħar-rati ta' parteċipazzjoni ta' organizzazzjonijet kbar tar-riċerka).

74. B'mod partikolari, l-aħħar tnejn għandhom ikunu disponibbli fil-Kummissjoni. Madankollu, minħabba problemi rigward is-sistemi interni ta' lT tal-Kummissjoni, li huma s-sors tal-biċċa l-kbira tad-dejta dwar it-treġija u l-parteċipanti tal-programmi (44), fil-prattika ġġarrbu problemi sinifikanti (45).

75. Dan jintwera mid-dewmien konsiderevoli biex ir-Rapporti ta' l-Artikolu 173 u r-Rapporti ta' Monitoraġġ Annwali jsiru disponibbli (sa 16-il xahar tard għar-Rapporti ta' l-Artikolu 173 (46). Peress li din l-informazzjoni kienet tard b'mod konsistenti, kienet ta' użu limitat.

Approċċ ineffettiv għat-teħid ta' dejta ta' evalwazzjoni mill-parteċipanti

76. Sa mill-Ħames Programm Qafas, il-Kummissjoni b'mod sistematiku kienet titlob mill-parteċipanti, b'kuntratt, li jagħtu dejta meħtieġa għall-kejl tal-kisba ta' objettivi tal-programmi f'termini ta' prodotti, eżiti u impatti, kif ġej: — taħt il-Ħames Programm Qafas, il-parteċipanti kienu meħtieġa li jippreżentaw “Il-Pjan għall-Implimentazzjoni tat-Teknoloġija” flimkien ma' rapport finali wara li l-proġett kien tlesta. Dawn id-dokumenti spiss kienu ta' kwalità fqira jew inkella ma kienu ppreżentati xejn; — taħt is-Sitt Programm Qafas, huma meħtieġa li jipproduċu “Pjan għad-Disseminazzjoni u l-Użu tat-Tagħrif” u jridu jwieġbu għal kwestjonarju standardizzat dwar kwistjonijiet soċjo-ekonomiċi meta jippreżentaw ir-rapporti tekniċi annwali tagħhom.

77. Dawn ir-rekwiżiti kuntrattwali biex tingħata dejta poġġew piżijiet amministrattivi bla bżonn fuq il-parteċipanti. Per eżempju, rigward il-kwestjonarju annwali tas-Sitt Programm Qafas, tinġabar dejta aktar spiss milli meħtieġa u mill-popolazzjoni sħiħa ta' proġetti meta kampjun rappreżentattiv kien ikun biżżejjed. Dan x'aktarx li jwassal għal “evaluation fatigue”. Barra minn hekk, din l-informazzjoni nġabret fil-ħin ħażin, ħafna mill-kwistjonijiet ta' bażi li għalihom tinġabar dejta fin-natura tagħhom huma ta' terminu medju jew itwal, b'tali mod li l-ġbir ta' dejta tul iż-żmien kuntrattwali tal-proġett huwa prematur minnu (47). Għalhekk sar użu prattiku limitat biss ta' l-informazzjoni mogħtija minn dawn l-għodod għall-evalwazzjonijiet taħt il-Ħames Programm Qafas u s-Sitt Programm Qafas.

78. Madankollu, l-ebda waħda mis-sistemi fis-seħħ ma fiha dispożizzjoni għall-ġbir ta' informazzjoni b'mod standardizzat fi tmiem (jew ftit wara) ħajjet proġett. Il-partijiet interessati intervistati ssuġġerew li tali informazzjoni tista' tinkludi l-kisba ta' objettivi tal-proġett, riżultati intiżi (u mhux ippjanati) u l-perċezzjoni tal-valur miżjud tal-Komunità mill-parteċipanti. Tali informazzjoni tista' wkoll tifforma l-bażi għal reviżjonijiet esterni ta' proġetti kompluti (48).

79. Flimkien ma' użu aktar estensiv ta' approċċi xjentometriċi (bħall-analiżi ta' referenzi) għall-evalwazzjoni ta' riżultati ta' proġett (ara l-paragrafu 83), din tista' tagħti bażi għall-Kummissjoni biex timxi lejn sistema ta' finanzjament ibbażata fuq ir-riżultati għall-attivitajiet ta' l-RTD ko-finanzjati mill-Komunità (49).

Sorsi ta' dejta oħra użati b'mod inadegwat

80. Ma jsirx użu biżżejjed ta' sorsi oħra eżistenti ta' dejta fi ħdan il-Kummissjoni u l-Istati Membri (eż. databases ta' programmi nazzjonali ta' l-RTD u aġenziji ta' finanzjament u s-“Servizz Komunitarju ta' Informazzjoni dwar ir-Riċerka u l-Iżvilupp” (CORDIS) imħaddem mill-uffiċċju tal-pubblikazzjonijiet tal-Kummissjoni (50)).

Studji ta' evalwazzjoni mwettqa mill-Kummissjoni

Rapporti rreveduti mill-Qorti

81. Il-Qorti rrevediet 86 studju ta' evalwazzjoni mwettqa mill- (jew f'isem il-) Kummissjoni sa mill-2000. Dawn kienu jinkludu s-36 studju kollha li ffurmaw il-bażi għall-evalwazzjoni fuq ħames snin ppubblikata fl-2004 u l-50 studju ieħor kompluti wara dik id-data. Minn dawn, 23 studju biss jistgħu jkunu kkunsidrati bħala evalwazzjonijiet ġenwini tal-FP u tal-programmi tiegħu (ara l-Istampa 5). Stampa 5 Ħarsa ġenerali lejn l-istudji ta' evalwazzjoni mwettqa mill- (jew f'isem il-) Kummissjoni fil-perijodu 2000 sa 2006 Tip ta' studji Għadd Deskrizzjoni Evalwazzjonijiet ta' l-attivitajiet tal-Programmi Qafas 23 Studji ta' evalwazzjoni — ibbażati fuq metodoloġiji rikonoxxuti (51); — jagħmlu referenza speċifika għal objettivi tal-programmi u għall-punt safejn intlaħqu l-objettivi tal-programmi. Evalwazzjonijiet ta' l-impatt nazzjonali mibdija fil-livell ta' l-Istat Membru 12 Studji mwettqa mill-Istati Membri li jindirizzaw prinċipalment rati tal-parteċipazzjoni nazzjonali, minflok ma jikkonkludu dwar objettivi tal-programmi. Studji metodoloġiċi 5 Studji organizzati mill-Kummissjoni biex jgħinu fl-iżvilupp ta' metodoloġiji ta' l-evalwazzjoni. Studji tax-xenarju tar-Riċerka u l-Iżvilupp Teknoloġiku Ewropew 2 Studji li jindirizzaw l-analiżi kuntestwali dwar ix-xena tar-riċerka fl-Ewropa, imma mhux il-Programmi Qafas. B'mod partikolari ma ssir l-ebda referenza espliċita għall-effett li l-Programmi Qafas għandhom fuq ir-riċerka nazzjonali u sistemi ta' innovazzjoni. Dokumenti deskrittivi u statistiċi mhux analitiċi 33 Dokumenti li tipikament jindirizzaw attivitajiet tal-Programmi Qafas b'mod indirett ħafna, u li spiss jiddeskrivu l-attivitajiet minflok ma janalizzawhom. Dokumenti oħra 11 Firxa ta' dokumenti li jikkunsidraw kwistjonijiet ta' interess ta' politika ġenerali, mingħajr ma jeżaminaw il-Programmi Qafas f'dak il-kuntest.

Evalwazzjonijet li jiffukaw fuq kwistjonijiet ta' monitoraġġ, aktar milli fuq l-eżiti u l-impatti

82. Żewġ osservazzjonijiet ewlenija jirriżultaw mill-meta-analiżi tal-Qorti ta' dawn l-istudji ta' evalwazzjoni speċifiċi: — filwaqt li ħafna mill-istudji jippruvaw jikkonkludu kontra l-objettivi tal-programm, dawn il-konklużjonijiet huma ppreżentati b'mod vag, li jħalli l-qarrej dubjuż li l-evalwazzjoni tassew indirizzat din il-kwistjoni. Ta' spiss dan huwa minħabba li n-nuqqas ta' objettivi tal-programm ċari li jxejjen il-proċess b'mod kritiku (ara l-paragrafu 28); — minflok ma jevalwaw l-eżiti u l-impatti tal-Programmi Qafas jew tal-programmi (u sub-programmi) speċifiċi tagħhom, ħafna mid-dokumenti huma deskrittivi, u, l-aktar, jikkonċentraw fuq il-prodotti ta' proġetti immedjati u kwistjonijiet dwar it-treġija tal-proġetti. Dawn ir-rapporti ma jistgħux jagħtu provi konvinċenti dwar eżiti jew impatti.

Fokus insuffiċjenti fuq l-iżvilupp ta' metodoloġiji innovattivi

83. Jiddomina l-użu ta' metodoloġiji u tekniki tradizzjonali (b'mod partikolari stħarriġ, reviżjoni ta' dokumenti u intervisti) għall-evalwazzjonijiet mwettqa fil-perijodu bejn l-2000 u l-2006 (ara l-Istampa 6). Barra min hekk, għadd ta' metodoloġiji u tekniki oħra ta' l-evalwazzjoni sofistikati, imma madanankollu stabbiliti sew, ma ntużawx (jew inkella intużaw biss f'okkażżjonijiet rari), b'mod partikolari: — approċċi xjentometriċi (bħal għodda għall-analiżi ta' referenzi) (52); — mudelli kwantitattivi (bħal effiċjenza ta' l-ispejjeż, l-effettività ta' l-ispejjeż u l-benefiċċji u n-nefqa (53)); jew — mudelli ta' atturi (jew ta' mġiba) (li jiffukaw fuq il-perspettivi ta' dawk involuti f'intervenzjoni, bħall-karatteristiċi ta' netwerks tar-riċerka u bidliet fihom tul iż-żmien).

84. Studji ta' l-evalwazzjoni li ppruvaw jindirizzaw xi wħud mid-diffikultajiet metodoloġiċi fl-evalwazzjoni ta' l-intervenzjoni pubblika fir-riċerka (ara l-Anness I) intużaw biss f'għadd limitat ta' każijiet: — dan l-aħħar tlestew żewġ studji fuq is-suġġett tal-loġika ta' intervenzjoni (54); — ġew identifikati tliet studji biss li jipprovaw jevalwaw l-effett li l-finanzjament Komunitarju kellu fuq l-imġiba ta' l-organizzazzjonijiet tar-riċerkaturi f'dak li għandu x'jaqsam ma' ħidma bin-netwerk pan-Ewropea (55). Dan minkejja l-fatt li s-suppożizzjoni dwar effetti pożittivi rigward ħidma bin-netwerk tinsab fiċ-ċentru tal-kunċett ERA; — f'każ wieħed biss sar sforz biex jinkisbu konklużjonijiet dwar l-impatt miksub fil-livell ta' programm (jew sub-programm) permezz ta' taħlita ta' l-aggregazzjoni ta' analiżi ta' evalwazzjoni fil-livell tal-proġett ma' tekniki oħra ta' l-evalwazzjoni (56); u — ma nstabet l-ebda prova ta' l-użu ta' metodoloġiji oħra, bħall-approċċi “kontrofattwali” (jew ta' “grupp tal-kontroll”). Dan huwa approċċ li kien ikun siewi b'mod partikolari biex juri l-valur miżjud ta' programmi fil-livell Komunitarju meta mqabbel ma' nuqqas totali ta' intervenzjoni (jew intervenzjoni fil-livell nazzjonali jew reġjonali).

85. Partijiet interessati intervistati mill-Qorti kienu ta' l-opinjoni li l-utilità u r-relevanza ta' l-evalwazzjonijiet tal-Kummissjoni jistgħu jkunu mtejba. Dan juri l-ħtieġa għal aktar żvilupp metodoloġiku sabiex is-sistema ta' evalwazzjoni tista' tevolvi biex tieħu kont tal-karattur dejjem jinbidel tal-Programmi Qafas (ara l-paragrafu 7) (57).

Sfidi mqajma fl-evalwazzjonijiet fuq ħames snin ma setgħux ikunu indirizzati abbażi ta' l-istudji ta' evalwazzjoni speċifiċi tal-Kummissjoni

86. Dan jintwera wkoll mill-problemi sinifikanti ffaċċjati mill-panel ta' evalwazzjoni fuq ħames snin ta' l-2004 (58) meta kienu qegħdin iwieġbu għall-mistoqsijiet dwar l-evalwazzjoni suġġeriti fit-termini ta' referenza. Ħafna minn dawn l-isfidi ma setgħux ikunu eżaminati, minħabba n-nuqqas ta' studji xierqa mwettqa mill- (jew f'isem il-) Kummissjoni minn qabel u l-impossibbiltà li l-membri tal-panel jikkummissjonaw tali studji f'ħin adegwat (ara l-Istampa 7). Stampa 7 Indirizzati l-mistoqsijiet dwar l-evalwazzjoni fl-evalwazzjonijiet fuq ħames snin ta' l-2004 Mistoqsija dwar l-evalwazzjoni Indirizzata fir-rapport? IMPLIMENTAZZJONI L-attivitajiet twettqu b’mod effiċjenti? parzjalment L-attivitajiet kienu effettivi b’relazzjoni ma’ l-ispejjeż? parzjalment L-attivitajiet kienu l-aħjar mod kif setgħu jinkisbu l-objettivi stabbiliti? le Il-qafas legali ġenerali (inklużi r-regoli għall-parteċipazzjoni u l-kuntratti), strumenti ta’ politika u l-modalitajiet għall-implimentazzjoni kienu ċari, xierqa u effettivi? le Il-livell ta’ finanzjament u riżorsi oħra disponibbli kienu adegwati? le Il-komunitajiet industrijali u ta’ riċerka mmirati, inklużi l-SMEs, setgħu jwieġbu b’mod xieraq? iva KISBIET L-attivitajiet laħqu l-objettivi rispettivi tagħhom u sa liema punt kien hemm riżultati mhux mistennija? le X’inhuma r-riżultati prinċipali b’mod partikolari f’termini ta’ prodotti xjentifiċi, teknoloġiċi, soċjo-ekonomiċi u ambjentali, f’termini ta’ koperazzjoni internazzjonali, trasferiment ta’ tagħrif u innovazzjoni, attivitajiet pre-normattivi, accessibbilità, tixrid u qbid ta’ riċerka, żvilupp tar-riżorsi umani, mobilità u taħriġ, u f’termini ta’ sostenn u tisħiħ tal-koordinazzjoni ta’ attivitajiet ta’ riċerka? le Ir-riżultati u l-effetti u l-impatti tagħhom kienu globalment sodisfaċenti mill-perspettiva tal-benefiċjarji u l-partijiet interessati diretti jew indiretti? le Il-komunitajiet industrijali u ta’ riċerka relevanti, inklużi l-SMEs, kienu indirizzati b’mod sodisfaċenti? iva Kif u safejn l-attivitajiet ikkontribwew għal kompetittività mtejba fir-riċerka ta’ l-UE fil-livell internazzjonali? Ir-riċerka ta’ l-UE laħqet it-tmexxija f’oqsma speċifiċi? parzjalment Kif u safejn l-attivitajiet ikkontribwew għal politiki ta’ l-UE b’mod ġenerali u għall-istrateġija ta’ l-UE ta’ żvilupp sostenibbli? le Hemm provi ta’ bidla strutturali, inkluża b’mod partikolari l-ħidma bin-netwerk, integrazzjoni u koordinazzjoni ta’ riċerka, f’livell nazzjonali jew internazzjonali bħala riżultat ta’ attivitajiet ta’ riċerka tal-Komunità? le Il-programmi taw valur għall-flus? L-attivitajiet kellhom impatti li jdumu? le EVOLUZZJONI U PERSPETTIVI FUTURI Kif evolwew il-Programmi ta’ qafas f’termini ta’ motivazzjonijiet, objettivi, prijoritajiet tematiċi, bilanċ bejn prijoritajiet minn isfel għal fuq u minn fuq għal isfel u bejn riċerka fundamentali u applikata, strumenti, valur miżjud Ewropew u impatti oħra, b’mod partikolari fid-dawl tal-ħruġ tal-kunċett taż-Żona Ewropea tar-Riċerka (ERA), l-għanijiet ta’ Liżbona u standards ekonomiċi u tar-riċerka prinċipali internazzjonali? iva Il-Programm ta’ Qafas kif kiseb il-valur miżjud Ewropew? iva Il-valur miżjud Ewropew jista’ jinkiseb permezz ta’ mekkaniżmi oħra internazzjonali jew nazzjonali? le L-objettivi, prijoritajiet, strumenti u ċ-ċiklu tal-ħajja tal-programmi huma xierqa għall-ġejjieni? iva

87. Barra dan, huwa nnutat li għal dawk l-aspetti biss fejn objettivi ċari u kwantifikabbli kienu definiti fil-programmi (bħas-sehem ta' l-intrapriżi żgħar u ta' daqs medju li kienu qegħdin jipparteċipaw), il-membri tal-panel setgħu jwieġbu għall-mistoqsijiet speċifikati fit-termini ta' referenza.

Evalwazzjonijiet mwettqa fil-livell nazzjonali għall-Programmi Qafas

88. Bosta Stati Membri u pajjiżi assoċjati jwettqu l-evalwazzjonijiet nazzjonali tagħhom stess dwar il-FPs, li jindirizzaw mistoqsijiet relevanti u interessanti mill-perspettiva tagħhom stess (59). Fl-aħħar 8 snin, 14-il studju ta' din ix-xorta kienu prodotti għal 9 Stati Membri u pajjiż wieħed assoċjat.

89. Filwaqt li l-Kummissjoni ħeġġet approċċi standardizzati fejn dan kien possibbli, dawn l-istudji ta' impatt nazzjonali huma eteroġeni ħafna (60). B'riżultat ta' dan, peress li ma jsegwux metodoloġija armonizzata, il-possibbiltajiet għall-aggregazzjoni, taħlit jew tqabbil ta' riżultati huma limitati. Barra minn hekk, minħabba l-karattru nazzjonali tagħhom, dawn l-istudji jistgħu jaqbdu biss parti tad-dimensjoni koperattiva Ewropea.

90. Fil-“Green paper” ta' l-ERA għall-2007 il-Kummissjoni argumentat li kien importanti li analiżi preċiżi jkunu disponibbli fil-livell ta' l-ERA dwar l-impatt u l-effettività ta' attivitajiet u politiki tar-riċerka, inklużi dawk ta' l-Istati Membri u ta' l-UE. Irrikonoxxiet ukoll li l-arranġamenti kurrenti ma kinux adegwati biex jindirizzaw din l-isfida għax kull livell ta' intervenzjoni wettaq evalwazzjonijiet separatament mill-oħrajn (61).

Rakkomandazzjonijiet

91. Il-Kummissjoni għandha tfassal manwal għall-evalwazzjoni ta' attivitajiet iffinanzjati mill-Programmi Qafas, li jagħti definizzjonijiet ta' kunċetti ewlenija u terminoloġija u li jidentifika l-firxa ta' metodoloġiji xierqa għal ċerti attivitajiet ta' evalwazzjoni. Dan il-manwal għandu jkun ibbażat fuq gwidi u programmi eżistenti u għandu jkun aġġornat fuq bażi regolari. 92. Il-Kummissjoni għandha tiddefinixxi l-informazzjoni li teħtieġ, filwaqt li tieħu kont tal-ħtieġa li tillimita l-piż amministrattiv fuq il-parteċipanti. 93. Il-Kummissjoni għandha tagħti informazzjoni ta' monitoraġġ dwar l-implimentazzjoni tal-Programmi Qafas b'mod imwaqqat. Kif meħtieġ mir-“Regoli għall-Parteċipazzjoni” tas-Seba' Programm Qafas, problemi dwar is-sistemi ta' l-IT tal-Kummissjoni li jamministraw id-dejta fuq it-treġija tal-programmi u l-parteċipanti għandhom ikun indirizzati b'mod urġenti. 94. L-obbligi ta' rappurtar tal-parteċipanti lejn il-Kummissjoni għandhom jitnaqqsu b'mod sinifikanti u l-istħarriġ għandu jitwettaq fuq bażi ta' kampjun biss. Ir-rekwiżit kuntrattwali biex wieħed jippreżenta dejta dwar l-impatt ibbażata fuq l-indikatur għal kull proġett għandu jkun sostitwit bi stima personali malli jitlesta l-proġett. 95. Il-Kummissjoni għandha tagħmel użu aktar estensiv għall-evalwazzjonijiet tagħha ta' sorsi komplementari eżistenti ta' dejta relevanti (kemm fi ħdan il-Kummissjoni kif ukoll fl-Istati Membri). 96. Il-Kummissjoni għandha tuża l-firxa sħiħa ta' tekniki ta' evalwazzjoni disponibbli. Barra dan, għandha ssostni l-iżvilupp ta' approċċi innovattivi biex tindirizza d-diffikultajiet metodoloġiċi inerenti għall-evalwazzjoni ta' l-intervenzjoni pubblika fir-riċerka (ara l-Anness I) u tuża dawn l-approċċi fl-evalwazzjonijiet tagħha stess. 97. Il-Kummissjoni għandha tikkonsulta ma' l-Istati Membri dwar kif għandha tisfrutta sa l-aħħar il-benefiċċji ta' l-evalwazzjonijiet tal-Programmi Qafas fil-livell nazzjonali.

Tixrid u użu tas-sejbiet ta' evalwazzjoni

98. L-evalwazzjoni għandha tagħti informazzjoni u analiżi relevanti li jistgħu jintużaw b'mod effettiv għat-treġija ta' programmi u għat-tiswir ta' politika. B'mod partikolari, l-evalwazzjoni għandha tagħti bażi għar-riflessjoni infurmata dwar il-punti tajbin u l-punti dgħajfin ta' intervenzjoni pubblika li tinħtieġ sabiex isir it-tagħlim. Il-Qorti ċċekkjat safejn l-evalwazzjonijiet twaqqtu tajjeb, is-sejbiet kienu kkomunikati u mifruxa lill-partijiet interessati barra l-Kummissjoni u ttieħed kont ta' rakkomandazzjonijiet mill-Kummissjoni għal reviżjoni ta' programmi kontinwi (“programmi ta' tagħlim”).

It-twaqqit ta' evalwazzjonijiet ma ħax kont tat-tip ta' informazzjoni li wieħed seta' jistenna b'mod realistiku

99. Il-Qorti tirrikonoxxi li ċerti tipi ta' analiżi jeħtieġu perspettiva fuq perijodu fit-tul (eż. l-evalwazzjoni ta' eżiti u impatti soċjo-ekonomiċi) u li xi aspetti huma relatati ma' perijodu ta' programmar speċifiku (eż. objettivi tal-programm, saħansitra fi ħdan qasam xjentifiku partikolari), filwaqt li oħrajn le (ara l-Istampa 8). Madankollu, il-Kummissjoni m'addottatx approċċ fl-attivitajiet tagħha ta' evalwazzjoni li jieħu kont ta' dawn l-iskadenzi.

100. Il-leġiżlazzjoni talbet lill-attivitajiet ewlenija ta' evalwazzjoni tal-Kummissjoni jiffukaw b'mod esklussiv fuq il-ħames snin li ġew qabel l-evalwazzjonijiet fuq ħames snin u b'hekk ikopru partijiet minn żewġ perijodi ta' programmar suċċessivi. Riżultat ta' dan, eżiti u impatti fuq perijodi medji u fit-tul bilkemm ġew indirizzati. Konsegwenza ta' dan, l-evalwazzjonijiet fuq ħames snin ġeneralment iffukaw l-aktar fuq aspetti ta' monitoraġġ, kwistjonijiet ta' tfassil ta' programmi fuq perijodu qasir u osservazzjonijiet ġenerali dwar l-orjentazzjoni tal-Programmi Qafas. Il-Qorti tilqa' l-fatt li l-leġiżlazzjoni tas-Seba' Programm Qafas m'għadhiex teħtieġ evalwazzjonijiet fuq ħames snin, jew kwalunkwe perijodu ieħor ta' kopertura pre-definit. Stampa 8 Kwistjonijiet ta' monitoraġġ u ta' evalwazzjoni skond l-iskadenzi Monitoraġġ ta’ l-implimentazzjoni tal-programm (kontinwu) — Kwistjonijiet dwar it-treġija ta’ programmi (eż. żmien biex isir il-kuntratt, żmien biex jitwettaq il-pagament, rati ta’ sottoskrizzjoni u ta’ suċċess, eżekuzzjoni tal-baġit, rati ta’ finanzjament, eċċ.) Evalwazzjoni Fuq perijodu ta’ żmien qasir (eżempju, l-aktar kmieni wara sena sa sentejn) — Kwistjonijiet dwar it-treġija ta’ programmi (eż. effiċjenza tal-proċeduri amministrattivi) — Kwistjonijiet dwar tfassil ta’ programmi (eż. aċċessibbiltà u flessibbiltà ta’ strumenti, xkiel għall-parteċipazzjoni, implikazzjonijiet għal nuqqas ta’ suċċess f’sejħiet għal proposti, eċċ.) — Analiżi ta’ profil tal-parteċipazzjoni (prinċipalment kwantitattiva f’dan l-istadju) Evalwazzjoni Fuq perijodu ta’ żmien medju (eżempju, wara 7 snin) — Kwistjonijiet dwar tfassil ta’ programmi (eż. effettività ta’ strumenti) — Analiżi tal-parteċipazzjoni, (li tħallat aspetti kwalitattivi u kwantitattivi, eż. analiżi tan-netwerks tar-riċerka, impatti fuq l-imġiba tar-riċerkaturi, eċċ.) — Analiżi tal-prodotti ta’ proġetti (62) (eż. pubblikazzjonijet, dokumenti, privattivi, liċenzji, prototipi, xjenzati mħarrġa, eċċ.) Evalwazzjoni Fuq perijodu ta’ żmien twil (eżempju, wara aktar minn 10 snin) — Evalwazzjoni ta’ riżultati u impatti Sors: Il-Qorti Ewropea ta’ l-Awdituri.

101. In-nuqqasijiet ta' l-evalwazzjonijiet fuq ħames snin li jevalwaw ir-riżultati u l-impatti tal-Programmi Qafas kien innutat ukoll mill-esperti tal-Kummissjoni: — il-panel ta' l-2004 innota li l-evalwazzjoni għandha tkopri u tagħti biżżejjed attenzjoni għal kwistjonijiet fuq perijodi ta' żmien kemm twal kif ukoll qosra u li r-riżorsi jistgħu jkunu meħlusa biex jippermettu studji ta' evalwazzjoni aktar ambizzjużi fuq perijodu ta' żmien twil li jkunu jistgħu jesploraw il-kwistjonijiet strutturali u soċjo-ekonomiċi aktar wiesgħa b'mod aktar sistematiku (63); — studju kkummissjonat mid-DĠ Riċerka sab illi prattiċi kurrenti ta' evalwazzjoni tar-Riċerka u l-Iżvilupp ta' l-UE (li jinvolvu monitoraġġ kontinwu, evalwazzjonijiet fuq ħames snin u evalwazzjoni ta' nofs it-terminu) huma kkaratterizzati minn fokus qawwi fuq il-monitoraġġ meta mqabbel ma' l-evalwazzjoni ta' l-impatt u, sabiex ikun hemm ċaqliq tat-talba u ta' l-aspettattiva lejn l-impatt soċjo-ekonomiku, ikunu jinħtieġu evalwazzjoni u qafas ta' monitoraġġ ġodda li jobbligaw sforz akbar fil-livell ta' l-impatt aktar milli l-monitoraġġ tal-prodotti (64).

102. Il-kwistjoni ta' twaqqit tolqot ukoll evalwazzjonijiet speċifiċi meħtieġa mil-leġiżlazzjoni. Per eżempju, ir-rapport Marimón għall-2004, li analizza l-istrumenti ġodda mdaħħla fis-Sitt Programm Qafas (2003-2006), intalab kmieni wisq, u b'riżultat ta' dan, kien hemm ftit li xejn esperjenza prattika u provi empiriċi li fuqhom wieħed seta' jibbaża l-konklużjonijiet tiegħu (65).

Komunikazzjoni u tixrid

103. Waħidha, il-Kummissjoni tista' tiżviluppa u tadatta programmi ta' ħidma operazzjonali skond ċikli ta' perijodi qosra, soġġetti għal approvazzjoni mill-kumitat ta' programm relevanti. Dan jista' jirrapreżenta opportunità biex isiru aġġustamenti għat-treġija ta' programm, u wkoll għal allokazzjonijiet mill-ġdid ta' baġits fi ħdan is-sub-programmi. Ma nstabet l-ebda prova li l-Kummissjoni tagħmel użu minn din il-possibbiltà (ara l-paragrafu 107).

104. Barra minn hekk, minħabba l-mod kif il-Programmi Qafas huma mfassla u adottati, huwa kwazi impossibbli għall-Kummissjoni biex hi tagħmel bidliet sinifikanti, bħal modifikazzjonijiet ta' objettivi tal-programmi jew l-allokazzjoni mill-ġdid ta' baġits bejn sub-programmi. Il-leġiżlatur biss jista' jippromulga tali modifikazzjonijiet fuq firxa wiesgħa matul reviżjoni tal-leġiżlazzjoni tal-Programm Qafas (bħal fl-2010 għas-Seba' Programm Qafas) jew l-adozzjoni tal-Programm Qafas sussegwenti. Għal din ir-raġuni, il-leġiżlazzjoni tipikament stipulat li l-eżerċizzji ewlenija ta' evalwazzjoni għandhom jitwaqqtu sabiex ikun jista' jittieħed kont tar-riżultati tagħhom b'mod siewi ħafna għat-tiswir tal-politika.

105. Għalhekk, xi wħud mill-utenti ewlenija ta' l-evalwazzjonijiet tal-Kummissjoni huma d-“DĠs Riċerka” infushom (66). Madankollu, il-leġiżlazzjoni tal-Programm Qafas teħtieġ ukoll b'mod espliċitu li l-evalwazzjonijiet ikunu kkomunikati lill-Parlament Ewropew u lill-Kunsill.

106. Fl-istħarriġ tal-Qorti dwar il-kumitat ITRE tal-Parlament Ewropew u l-kumitat CREST tal-Kunsill, il-biċċa l-kbira ta' dawk li wieġbu, madankollu, indikaw li ma ħassewhomx infurmati biżżejjed dwar l-implimentazzjoni u r-riżultati tal-Programmi Qafas (ara l-Istampa 9) (67).

Segwitu tas-sejbiet ta' evalwazzjoni

107. Fir-Reviżjonijiet ta' l-Evalwazzjoni Annwali tagħha, il-Kummissjoni tipprovdi sommarju tas-sejbiet u l-azzjonijiet meħuda bħala riżultat ta' l-evalwazzjonijiet tagħha (68). Rigward is-segwitu, il-Kummissjoni tat ukoll tweġibiet formali għas-sejbiet u għar-rakkomandazzjonijiet ta' l-evalwazzjoni fuq ħames snin u għall-evalwazzjonijiet speċifiċi meħtieġa mil-leġiżlazzjoni u, safejn possibbli, ħadet miżuri xierqa biex tindirizza n-nuqqasijiet identifikati hemmhekk. Dan, madankollu, ma kienx il-każ għal ħafna mir-rapporti l-oħra ta' evalwazzjoni rreveduti u ma nstabet l-ebda prova li kien qiegħed jittieħed kont tas-sejbiet u tar-rakkomandazzjonijiet tagħhom għal emendi fil-programmi ta' ħidma. Bl-istess mod, ir-rendikonti baġitarji ABB tad-DĠs u r-Rapporti ta' Attività Annwali tagħhom ma jindikawx safejn ittieħdet azzjoni fuq is-sejbiet ta' l-evalwazzjoni.

Rakkomandazzjonijiet

108. Il-Kummissjoni għandha tistabbilixxi t-tip u l-ambitu ta' evalwazzjoni li wieħed jista' jistenna b'mod raġonevoli għad-dati speċifikati fil-leġiżlazzjoni (2008, 2010 u 2015), tfiehem kif l-evalwazzjonijiet jistgħu jintużaw biex il-programmi (“programmi ta' tagħlim”) ikunu adattati u tispeċifika x'kontribuzzjoni jistgħu jagħtu l-evalwazzjonijiet lil deċiżjonijiet ta' politika. B'mod partikolari, il-Kummissjoni għandha tiċċara l-approċċ intiż tagħha fir-rigward ta' l-evalwazzjoni tar-riżultati fuq perijodu itwal ta' Programmi Qafas tal-passat u tal-preżent, minħabba li tali riżultati jistgħu jieħdu bejn 7 u 10 snin biex jitwettqu (ara l-Istampa 8). 109. Il-Kummissjoni għandha tirrevedi l-prattika tagħha dwar il-komunikazzjoni u t-tixrid tas-sejbiet ta' evalwazzjoni biex tiżgura li l-partijiet interessati jirċievu l-informazzjoni meħtieġa. B'mod partikolari, id-“DĠs Riċerka” għandhom jagħtu tweġiba formali għall-evalwazzjonijiet kollha u jagħmlu dawn l-istudji pubbliċi fil-ħin, flimkien mat-tweġibiet tagħhom. Id-“DĠs Riċerka” għandhom ukoll jirrappurtaw fir-rendikonti baġitarji ABB tagħhom u fir-Rapporti ta' Attività Annwali tagħhom dwar is-segwitu mogħti u jagħmlu użu mir-rakkomandazzjonijiet meta jaġġornaw programmi ta' ħidma u jfasslu programmi futuri.

KONKLUŻJONI ĠENERALI

110. Il-Qorti tirrikonoxxi li l-evalwazzjoni ta' programmi tar-Riċerka u l-Iżvilupp Teknoloġiku, u b'mod partikolari l-evalwazzjoni tar-riżultati tagħhom fuq perijodu twil, hija diffiċli b'mod inerenti u huwa diffiċli biex wieħed jiddefinixxi l-aħjar prattika.

111. Fl-opinjoni tal-Qorti, l-evalwazzjoni hija essenzjali għat-treġija ta' programm, għall-ippjanar għall-quddiem u għat-tiswir ta' politika. L-evalwazzjoni tagħti wkoll bażi għar-responsabbiltà. Hija tagħti informazzjoni ta' valur dwar liema riżultati intiżi (jew mhux intiżi) inkisbu, il-punt safejn inkisbu l-objettivi tal-programmi, ir-relevanza u l-utilità tal-programmi u l-effiċjenza u l-effettività ta' l-implimentazzjoni tal-programmi. Peress li huwa l-Parlament Ewropew u l-Kunsill li jiddeċiedu dwar l-orjentazzjoni ġenerali, affarijiet baġitarji u tfassil ta' programmi għall-Programmi Qafas, tinħtieġ sistema ta' evalwazzjoni trasparenti, kredibbli u robusta biex tagħtihom l-informazzjoni xierqa.

112. Il-Kummissjoni waqqfet qafas ta' evalwazzjoni ġenerali fl-2000 u fl-2002 u rrevedietu wara fl-2007. Għalkemm matul il-perijodu verifikat mill-Qorti ma kien osservat l-ebda titjib prinċipali fil-mod kif l-evalwazzjonijiet tal-Programmi Qafas u l-programmi kostitwenti tagħhom kienu ppjanati, mfassla u implimentati, f'termini ġenerali, id-“DĠs Riċerka” kkonformaw mar-rekwiżiti formali tal-Kummissjoni.

113. Għall-perijodu kopert minn dan ir-rapport, kif meħtieġ mil-leġiżlazzjoni tal-Programm Qafas, id-“DĠs Riċerka” kellhom sistema ta' evalwazzjoni fis-seħħ u l-Kummissjoni tista' tirreferi għal ammont imdaqqas ta' studji ta' evalwazzjoni. Madankollu, jibqa' l-fatt li ftit li xejn huwa magħruf dwar il-kisba ta' objettivi ta' programmi u r-riżultati tal-Programmi Qafas. Dan għaliex l-evalwazzjonijiet ġeneralment iffukaw fuq kwistjonijiet ta' implimentazzjoni tal-programm ta' perijodu qasir. B'riżultat ta' dan, l-evalwazzjonijiet tal-Kummissjoni kienu ta' utilità limitata għal min jagħmel il-politika, għall-partijiet interessati u saħansitra għall-Kummissjoni nfisha.

114. Minħabba l-importanza ta' l-evalwazzjoni għat-treġija ta' programmi u t-tiswir ta' politika, l-approċċ tal-Kummissjoni lejn l-evalwazzjoni tal-Programmi Qafas u tal-programmi kostitwenti tagħhom għandha tkun eżaminata mill-ġdid fid-dawl ta' sfidi politiċi ġodda, finanzjament miżjud, twessigħ ta' l-orjentazzjoni tal-politika tar-riċerka tal-Komunità u r-riforma reċenti tal-Kummissjoni. Dan kien ukoll irrakkomandat mill-EURAB fir-rapport tiegħu ta' l-2007.

115. Fl-opinjoni tal-Qorti, l-użu ta' loġika ta' intervenzjoni espliċita fit-tfassil ta' programmi tal-Programmi Qafas futuri kieku jwassal għal programmi aktar iffukati u strutturati aħjar. Jikkontribwixxi wkoll għal politika ta' “regolament aħjar” tal-Kummissjoni, li timmira għal ambjent regolatorju mfassal aħjar, aktar sempliċi, aktar effettiv u mifhum aħjar (69).

116. L-evalwazzjoni tal-Programmi Qafas u tal-programmi kostitwenti jkunu aktar effettivi kieku l-objettivi u l-indikaturi tal-programmi kienu aktar ċari mill-bidunett, kieku kien hemm ftehim dwar strateġija ta' evalwazzjoni robusta, iżda mhux preskrittiva żżejjed, mid-“DĠs Riċerka” li qegħdin jimplimentaw il-Programmi Qafas u kieku ntużaw metodoloġiji ta' evalwazzjoni aktar avvanzati, inklużi approċċi kwantitattivi.

117. Il-Qorti nnutat ukoll għadd ta' każijiet fejn hemm ambitu għall-Kummissjoni biex tikkunsidra mill-ġdid l-arranġamenti organizzattivi ezistenti tagħha għall-evalwazzjoni tal-Programmi Qafas. Jista' jkun hemm vantaġġi jekk, — panels ta' evalwazzjoni jkunu involuti aktar kmieni fil-proċess ta' evalwazzjoni, u b'hekk jagħtu għajnuna lill-Kummissjoni matul il-perijodu ta' programmar u lil hinn minnu u jżidu l-ispeċjalizzazzjoni billi jkun hemm panels għal programmi speċifiċi u, fejn xieraq, sub-programmi; — l-unitajiet ta' evalwazzjoni speċifiċi għad-DĠ eżistenti jkunu supplimentati b'uffiċċju konġunt ta' evalwazzjoni inkarigat bil-koordinazzjoni ta' l-evalwazzjonijiet tal-Programm Qafas.

118. Ir-rakkomandazzjonijiet li hemm f'dan ir-rapport huma bbażati jew fuq prattiċi eżistenti fi ħdan il-Kummissjoni jew fuq prattika internazzjonali tajba. Fir-rigward ta' riżorsi, huwa ċar li d-daħla ta' l-approċċ suġġerit għall-evalwazzjoni tal-programmi tkun tinvolvi spejjeż ogħla. Madankollu, fl-opinjoni tal-Qorti, probbabbilment li din se tipproduċi riżultat finali pożittiv ta' mill-anqas l-istess xorta.

Dan ir-rapport ġie adottat mill-Qorti ta' l-Awdituri fil-Lussemburgu fil-laqgħa tagħha tat-22 ta' Novembru 2007. Għall-Qorti ta' l-Awdituri Hubert WEBER President

(1) Skond l-OECD, ir-riċerka u l-iżvilupp jistgħu jiġu definiti bħala x-xogħol kreattiv imwettaq fuq bażi sistematika sabiex iżid ir-riżerva ta' l-għarfien, inkluż l-għarfien uman, kulturali u tas-soċjetà u l-użu ta' din ir-riżerva ta' l-għarfien biex jinħolqu applikazzjonijiet ġodda (ara l-OECD, Manwal Frascati — Standard ta' prattika propost għall-istħarriġ fuq ir-riċerka u l-iżvilupp sperimentali, Pariġi, 2002, p. 30). Fil-kuntest Komunitarju, l-akronimu RTD huwa użat, u jkopri t-teknoloġija kif ukoll ir-riċerka u l-iżvilupp.

(2) Id-DĠ Riċerka huwa d-Direttorat-Ġenerali principali li jamministra u jikkoordina l-Programmi Qafas. Ħames DĠs oħra li jamministraw ukoll (partijiet) mill-programmi speċifiċi fosthom l-aktar importanti d-DĠ Soċjetà Informatika u Media (l-oħrajn huma d-DĠ Enerġija u Trasport, id-DĠ Intrapriżi u Industrija, id-DĠ Sajd u ċ-Ċentru Konġunt tar-Riċerka tal-Kummissjoni).

(3) Fl-2000, il-Kunsill Ewropew ta' Liżbona ffissa l-objettiv li jagħmel l-UE l-ekonomija l-aktar dinamika, kompetittiva, b'bażi sostenibbli ta' tagħrif sa l-2010, li tgawdi sitwazzjoni mingħajr qgħad u koeżjoni ekonomika u soċjali msaħħa.

(4) Fl-2002, il-Kunsill Ewropew ftehem li l-infiq b'mod ġenerali fuq l-RTD u l-innovazzjoni fl-Unjoni Ewropea għandu jiżdied bil-għan li jqarreb it-3 % tal-Prodott Gross Domestiku sa l-2010. Barra dan, ikkjarifika li tnejn minn tlieta ta' dan l-investiment il-ġdid għandu jiġi mis-settur privat (ara l-Kummissjoni Ewropea, Investiment fir-riċerka: pjan ta' azzjoni għall-Ewropa; Komunikazzjoni mill-Kumissjoni lill-Kunsill, il-Parlament Ewropew, Il-Kumitat Ekonomiku u Soċjali Ewropew u l-Kumitat tar-Reġjuni, COM(2003) 226 finali, p. 7).

(5) F'każijiet ta' tmexxija diretta, il-Kummissjoni teżegwi l-operazzjonijiet meħtieġa biex twettaq l-attivitajiet ta' implimentazzjoni tal-baġit tagħha mingħajr l-ebda involviment mill-Istati Membri jew pajjiżi terzi li d-destinatarji ta' l-infiq huma residenti fihom.

(6) Sa mill-2006, aktar minn 22 000 entità pubblika u legali kienu pparteċipaw fis-Sitt Programm Qafas biss, generalment f'konsorzji ta' imsieħba.

(7) Dan huwa metodu ta' koperazzjoni bbażat fuq il-prinċipju ta' koperazzjoni intergovernattiva volontarja. Dan jibbaża b'mod partikolari fuq it-tagħlim reċiproku, l-iffissar tal-livelli (benchmarking) u l-qsim ta' l-aħjar prattika.

(8) Ir-Regolament tal-Kunsill (KE, Euratom) Nru 1605/2002 tal-25 ta' Ġunju 2002 (ĠU L 248, 16.9.2002, p. 1), l-Artikoli 27, 48, 59 u 60.

(9) Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjorina Grybauskaitė bi qbil mal-President, Inwieġbu għall-bżonnijiet strateġiċi: rinfurzar ta' l-użu ta' valutazzjoni, SEC(2007) 213, 21 ta' Frar 2007; Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjura Schreyer, Fok fuq ir-Riżultati: it-Tisħiħ ta' l-Evalwazzjoni ta' l-Attivitajiet tal-Kummissjoni, SEC(2000) 1051, is-26 ta' Lulju 2000.

(10) Id-Deċiżjoni Nru 1982/2006/KE tal-Parlament Ewropew u tal-Kunsill tat-18 ta' Diċembru 2006 dwar is-Seba' Programm Qafas tal-Komunità Ewropea għar-riċerka, żvilupp teknoloġiku u attivitajiet ta' dimostrazzjoni (2007 sa 2013) (ĠU L 412, 30.12.2006, p. 1): l-Artikolu 7(1); l-informazzjoni ta' monitoraġġ li għandha tingħata mill-Kummissjoni lill-Kumitati ta' Programmar hija definita fid-deċiżjonjiet tal-programm speċifiċi (ara per eżempju d-Deċiżjoni tal-Kunsill 2006/971/KE tad-19 ta' Diċembru 2006 dwar Koperazzjoni tal-Programm Speċifika li timplimenta s-Seba' Programm Qafas tal-Komunità Ewropea għar-riċerka, żvilupp teknoloġiku u attivitajiet ta' dimostrazzjoni (2007 sa 2013) (ĠU L 400, 30.12.2006, p. 86): l-Artikolu 8(4) u l-Anness V).

(11) Il-Kummissjoni Ewropea, Komunikazzjoni lill-Kunsill dwar Pjan ta' Azzjoni Komunitarju dwar l-Evalwazzjoni ta' l-attivitajiet Komunitarji tar-riċerka u l-iżvilupp għas-snin 1987 sa 1991, COM(86) 660 finali, 20 ta' Novembru 1986, bi tweġiba għar-riżoluzzjoni tal-Kunsill tat-28 ta' Ġunju 1983.

(12) Il-Kummissjoni Ewropea, Evalwazzjoni fuq ħames snin tal-Programmi ta' Żvilupp ta' l-Unjoni Ewropea dwar ir-Riċerka u l-Iżvilupp Teknoloġiku, 1992-1996. Rapport tal-Panel ta' Esperti indipendenti ppresedut mill-Viskonti Davignon (1997); Il-Kummissjoni Ewropea, Evalwazzjoni fuq ħames snin tal-Programmi ta' Żvilupp ta' l-Unjoni Ewropea dwar ir-Riċerka u l-Iżvilupp Teknoloġiku, 1995-1999; Rapport tal-Panel ta' Esperti indipendenti ppresedut minn Joan Majó (Lulju 2000); Il-Kummissjoni Ewropea, Evalwazzjoni ta' ħames snin tal-Programmi ta' Żvilupp ta' l-Unjoni Ewropea dwar ir-Riċerka u l-Iżvilupp Teknoloġiku, 1999-2003; Rapport tal-Panel ta' Esperti indipendenti ppresedut minn Erkki Ormala (15 ta' Diċembru 2004).

(13) Il-Kummissjoni Ewropea, Evalwazzjoni ta' l-effettività ta' l-Istrumenti l-Ġodda tas-Sitt Programm Qafas, 21 ta' Ġunju 2004, Rapport ta' Panel ta' Esperti ta' livell għoli bil-presidenza tal-Professur Ramon Marimón.

(14) Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjura Schreyer, Fok fuq ir-Riżultati: it-Tisħiħ ta' l-Evalwazzjoni ta' l-Attivitajiet tal-Kummissjoni, Lulju 2000, SEC(2000) 1051; Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mingħand il-President u s-Sinjura Schreyer, Standards ta' l-Evalwazzjoni u Prattika Tajba, C(2002) 5267, 23.12.2002.

(15) Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjorina Grybauskaitė bi qbil mal-President, Inwieġbu għall-bżonnijiet strateġiċi: rinfurzar ta' l-użu ta' valutazzjoni, SEC(2007) 213, 21 ta' Frar 2007.

(16) Il-Kummissjoni Ewropea, Dokument ta' Ħidma tal-Persunal, Evalwazzjoni ta' l-Impatt u evalwazzjoni ex-ante, SEC(2005) 430.

(17) Il-Kumitat għall-Industrija, ir-Riċerka u l-Enerġija (ITRE) tal-Parlament Ewropew huwa (b'mod partikolari) responsabbli għall-politika industrijali, il-politika tar-riċerka (inkluża t-tixrid u l-isfruttar tas-sejbiet tar-riċerka), il-politika ta' l-ispazju, l-attivitajiet taċ-Ċentru Konġunt tar-Riċerka, it-Trattat Euratom, u s-soċjetà informatika u l-informazzjoni teknoloġika.

(18) Il-CREST (“Comité de la Recherche Scientifique et Technique” — Il-Kumitat Xjentifiku u ta' Riċerka Teknika) ġie stabbilit minn Riżoluzzjoni tal-Kunsill ta' l-14 ta' Jannar 1974 u huwa magħmul minn rappreżentanti ta' awtoritajiet nazzjonali li huma responsabbli għall-politika xjentifika u teknoloġika ta' l-Istati Membri. Il-CREST għandu rwol konsultattiv, li jinforma lill-Kummissjoni u lill-Kunsill, b'mod partikolari dwar suġġetti relatati mal-koordinazzjoni tal-politika tar-Riċerka u l-Iżvilupp nazzjonali u l-monitoraġġ u l-evalwazzjoni tal-Programmi Qafas.

(19) Il-mudelli tal-loġika li juru kif ir-riżorsi fl-attivitajiet differenti jwasslu għal riżultati mistennija huma l-mod l-aktar xieraq biex tintwera l-loġika ta' l-intervenzjoni. Dawn il-mudelli għandhom il-kapaċità li jispjegaw b'mod ċar is-suppożizzjonijiet li fuqhom huwa bbażat it-tfassil ta' programm u kif l-objettivi ġenerali jiġu maqsuma f'objettivi operattivi.

(20) Il-Kummissjoni Ewropea, DĠ Baġit, Evalwazzjoni ta' l-attivitajiet ta' l-UE: linja ta' ġwida prattika għas-servizzi tal-Kummissjoni, Lulju 2004, p. 87 u 106.

(21) Evalwazzjoni fuq ħames snin tal-Programmi Qafas tar-Riċerka ta' l-Unjoni Ewropea, 1999-2003, Rapport tal-Panel ta' Espert Indipendenti bil-presidenza ta' Erkki Ormala (15 ta' Diċembru 2004): Sezzjoni 6 Evalwazzjoni tal-Programm Qafas, p. 19.

(22) Pajjiżi li jirċievu għajnuna esterna huma meħtieġa li jippreżentaw mudelli tal-loġika għall-iffinanzjar tagħhom mill-Komunità (Il-Kummissjoni Ewropea, Metodi ta' għoti ta' għajnuna, Volum 1, Linji ta' gwida dwar it-tmexxija taċ-ċiklu ta' progett, Marzu 2004, is-Sezzjoni 5: L-approċċ tal-qafas loġiku).

(23) Ir-Regolament (KE, Euratom) Nru 1605/2002, l-Artikolu 27(3).

(24) Fl-2006, il-qasam tal-politika “08 riċerka” kien strutturat abbażi ta' programmi speċifiċi (u sub-programmi) tal-perijodu ta' programmar għas-Sitt Programm Qafas (u b'konsegwenza mibdul minn struttura differenti fl-2007), filwaqt li fil-qasam tal-politika “09 Soċjetà Informatika” il-programm speċifiku kurrenti u l-preċedenti tpoġġew flimkien bħala attività ABB waħda (il-Kummissjoni Ewropea, id-DĠ Riċerka, Direttorat A: Koordinazzjoni ta' l-attivitajiet Komunitarji, Ippjanar, Programmar, Evalwazzjoni, Pjan ta' Ġestjoni Annwali 2006, 20.12.2005; il-Kummissjoni Ewropea, id-DĠ Soċjetà Informatika u Media, Pjan ta' ġestjoni annwali 2006, 23.12.2005).

(25) Fil-każ tad-DĠ Riċerka, l-objettivi ta' l-ABM (u l-indikaturi użati biex ikejlu l-kisba tagħhom) tbiddlu minn sena għall-oħra. Id-DĠ Soċjeta Informatika, min-naħa uża objettivi pluriannwali, iżda li, ma kinux l-istess bħall-objettivi tal-programm (jew dawk speċifikati fil-livell tal-programm ta' xogħol).

(26) Il-Kummissjoni Ewropea, Servizz tal-verifika interna, Reviżjoni ta' l-effettività u l-effiċjenza taċ-ċiklu SPP/ABM — SĠ u DĠ Baġit, 2005: paragrafu 4.1, p. 31.

(27) Il-Kummissjoni Ewropea, Komunikazzjoni mill-Kummissjoni lill-Kunsill dwar pjan ta' azzjoni Komunitarju dwar l-evalwazzjoni tal-programmi ta' riċerka u l-iżvilupp tal-Komunità, COM(83) 1 finali, 19 ta' Jannar 1983.

(28) Komunikazzjoni mill-Kummissjoni lill-Kunsill u lill-Parlament Ewropew, Monitoraġġ u evalwazzjoni esterna indipendenti ta' l-attivitajiet tal-Komunità fil-qasam tar-riċerka u l-iżvilupp teknoloġiku, 22.5.1996 (COM(1996) 220 finali).

(29) Kull DĠ li jimplimenta l-Programmi Qafas jiddokumenta l-evalwazzjonijiet ippjanati tiegħu fi pjanijiet ta' evalwazzjoni annwali (u pluriannwali). Iżda, wieħed ma jistax jgħid li dawn id-dokumenti ta' l-ippjanar jirrappreżentaw strateġija ta' l-evalwazzjoni.

(30) Ir-Regolament (KE, Euratom) Nru 1605/2002, l-Artikolu 27(4).

(31) “Loi de programme pour la recherche no 2006-450” tat-18.4.2006 u “Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)” tat-3.11.2006.

(32) Agencia Nacional de Evaluación y Prospectiva under the Ministerio de Educación y Ciencia: Orden ECI/1252/2005 ta' l-4 ta' Mejju 2005 li tistabbilixxi l-“Comisión Asesora de Evaluación y Prospectiva” (Kummissjoni Konsultattiva ta' l-Evalwazzjoni u l-Previżjoni).

(33) Fl-2004 d-“Deutsche Forschungsgemeinschaft” (DFG) waqqfet stitut speċjalizzat, l-“Institut für Forschungsinformation und Qualitätssicherung” (IFQ), u tatu r-responsabilità biex jiżviluppa u jistandardizza l-metodoloġiji ta' l-evalwazzjoni, l-assigurazzjoni tal-kwalità u t-twettiq ta' evalwazzjonijiet ta' attivitajiet RTD iffinanzjati mid-DFG.

(34) Fis-Seba' Prorgramm Qafas, 15-il Grupp ta' Konsulenza Esperta twaqqfu mill-Kummissjoni meta mqabbla ma' 12-il Grupp ta' Konsulenza Esterna fis-Sitt Programm Qafas u 17-il Grupp ta' Konsulenza Esperta fil-Ħames Programm Qafas. Dawn il-Gruppi ta' Konsulenza Esperta jagħtu pariri lill-Kummissjoni fuq kwistjonijiet ta' politika u tal-programm relatati mal-Programmi Qafas. Iżda, wieħed għandu jinnota li dawn il-Gruppi ta' Konsulenza Esperta ma jagħmlux kompletament parti mill-istruttura tal-programm fil-Programmi Qafas. Fi kliem ieħor, m'hemmx Grupp ta' Konsulenza Esperta għal kull programm speċifiku (jew sub-programm).

(35) Fil-Kanada kważi d-dipartimenti governattivi federali kollha waqqfu kumitati ta' evalwazzjoni permanenti, li jinvolvu uffiċjali dipartimentali anzjani u ta' sikwit partijiet interessati esterni wkoll, biex jissorveljaw is-sistema ta' evalwazzjoni (“Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee — Mandate and Membership).

(36) Il-Kummissjoni Ewropea, Rapport ta' Monitoraġġ 2004: L-implimentazzjoni ta' l-Attivitajiet taħt il-qafas tal-KE u l-Euratom u programmi speċifiċi korrispondenti, Awwissu 2005, p. 5.

(37) Il-Kummissjoni Ewropea, L-ippjanar u l-aħjar użu tar-riżorsi umani tal-Kummissjoni biex iservu l-prijoritajiet ta' l-UE, SEC(2007) 530, l-24 ta' April 2007.

(38) Il-Kummissjoni Ewropea, Komunikazzjoni lill-Kummissjoni mill-President u s-Sinjura Schreyer, Standards ta' evalwazzjoni u prattika tajba, C(2002) 5267, 23.12.2002; Il-Kummissjoni Ewropea, Dokument tal-Ħidma tal-Persunal, “Evalwazzjoni ta' l-Impatt u evalwazzjoni ex-ante”, SEC(2005) 430, is-6 ta' April 2005, l-Anness 1, in-nota ta' qiegħ 209.

(39) Fl-2007, il-Bord Konsultattiv Ewropew għar-Riċerka (EURAB) irrikkmanda wkoll żjieda fir-riżorsi allokati għall-evalwazzjoni tal-Programmi Qafas (EURAB, “Recommendations on Ex-Post Impact Assessments”, Lulju 2007).

(40) Ir-Rapport Speċjali Nru 1/2004 dwar l-amministrazzjoni ta' azzjonijiet tar-Riċerka u l-Iżvilupp Teknoloġiku indiretti taħt il-ħames programm qafas (FP5) għar-riċerka u żvilupp teknoloġiku (1998 sa 2002) (ĠU C 99, 23.4.2004), il-paragrafi 116 u 122.

(41) Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjura Grybauskaitė bi qbil mal-President, “Inwieġbu għall-bżonnijiet strateġiċi: rinfurzar ta' l-użu ta' valutazzjoni”, SEC(2007) 213, il-21 ta' Frar 2007; Kummissjoni Ewropea, Standards ta' evalwazzjoni u prattika tajba, C(2002) 5267, 23.12.2002.

(42) 14-il DĠ għandhom tali manwali ta' evalwazzjoni għall-oqmsa ta' politika u programmi taħt ir-responsabbiltà tagħhom (il-Kummissjoni Ewropea, id-DĠ Baġit — Unità ta' Evalwazzjoni, Ħarsa ġenerali lejn il-Gwidi ta' l-Evalwazzjoni fil-Kummissjoni, Ottubru 2004).

(43) Fahrenkrog, G. et al, RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; “Assessing the Socio-economic Impacts of the Framework Programme”; Università ta' Manchester; 2002.

(44) Filwaqt li l-Kummissjoni ġeneralment ikollha tali informazzjoni dwar il-parteċipanti, sikwit ma tkunx tista' tintuża faċilment għal analiżi dettaljata minħabba li dejta dwar parteċipant partikolari la tinżamm f'post uniku u lanqas ma tiġi bilfors irreġistrata f'forma kumpatibbli. Dan jagħmilha diffiċli li l-involviment tal-parteċipant jiġi traċċat tul iż-żmien, per eżempju għall-evalwazzjoni tar-raġunijiet ta' nuqqas ta' parteċipazzjoni, u relazzjoniiet bejn parteċipanti, per eżempju għall-istudju ta' l-effetti ta' networking (ara l-paragrafu 84).

(45) Ir-Rapport Annwali għas-sena finanzjarja 2006, it-tabella 2.3, ir-Rapport Annwali għas-sena finanzjarja 2005, il-paragrafu 7.13; ir-Rapport Annwali għas-sena finanzjarja 2004, il-paragrafi 6.8 u 6.10; ir-Rapport Annwali għas-sena finanzjarja 2003, il-paragrafi 6.9 u 6.70; ir-Rapport Speċjali Nru 1/2004, il-paragrafi 105-108; l-Opinjoni Nru 1/2006 dwar il-proposta għar-regolament tal-Parlament Ewropew u tal-Kunsill li jistabbilixxi regoli għall-parteċipazzjoni ta' l-intrapriżi, iċ-ċentri tar-riċerka, u l-universitajiet f'azzjonijiet taħt is-Seba' Programm Qafas tal-Komunità Ewropea u għat-tifrix tar-riżultati tar-riċerka (2007 sa 2013) (ĠU C 203, 25.8.2006), il-paragrafu 57.

(46) It-Trattat li jwaqqaf il-Komunità Ewropea, l-Artikolu 173: “Fil-bidu ta' kull sena l-Kummissjoni għandha tibgħat rapport lill-Parlament Ewropew u lill-Kunsill. Ir-rapport għandu jinkludi informazzjoni dwar ir-riċerka u l-attivitajiet ta' żvilupp teknoloġiku, u d-disseminazzjoni tar-riżultati matul is-sena ta' qabel, u l-programm ta' xogħol għas-sena kurrenti.”

(47) Ma kien hemm l-ebda sforz sistematiku biex tinġabar dejta mill-parteċipanti wara t-tlestija tal-proġett, ħlief għal stħarriġ speċifiku fil-qafas ta' l-evalwazzjonijiet. L-użu ta' stħarriġ kien imxekkel mill-fatt li l-parteċipanti, b'differenza minn għadd ta' programmi tar-Riċerka u l-Iżvilupp Teknoloġiku nazzjonali (eż. il-Ġermanja), mhumiex legalment obbligati li jagħtu tali dejta analitika.

(48) Ir-Rapport Speċjali Nru 1/2004, il-paragrafu 94; l-Opinjoni Nru 1/2006, il-paragrafu 56.

(49) Ir-Rapport Annwali għas-sena finanzjarja 2006, il-paragrafu 7.33; ir-Rapport Annwali għas-sena finanzjarja 2005, il-paragrafi 7.8 u 7.29; l-Opinjoni Nru 1/2006, il-paragrafi 58 sa 61.

(50) CORDIS hija l-unika database li tagħti informazzjoni dwar proposti, proġetti u riżultati li hija komuni għall-Programm Qafas kollu, tkopri bosta perijodi ta' programmar, u hija aċċessibbli minn barra l-Kummissjoni. Madankollu, dejta f'CORDIS għal proġetti individwali spiss ma tkunx aġġornata wara li tkun intgħażlet proposta. Sa u fis-Sitt Programm Qafas, il-parteċipanti tas-setturi pubbliċi u privati fil-Programmi Qafas ma kinux obbligati li jagħm