RO Jurnalul Oficial al Uniunii Europene C 26/1

RAPORTUL SPECIAL NR. 9/2007

cu tema „Evaluarea programelor-cadru de cercetare și dezvoltare tehnologică (CDT) ale Uniunii Europene – se pot aduce îmbunătățiri abordării Comisiei?”, însoțit de răspunsurile Comisiei

[prezentat în temeiul articolului 248 alineatul (4) al doilea paragraf din Tratatul de instituire a Comunității Europene]

(2008/C 26/01)

CUPRINS

I-V SINTEZĂ

1-14 INTRODUCERE

1-7 Rolul Uniunii Europene în sprijinirea activităților de cercetare și dezvoltare tehnologică

8-14 Evaluarea și monitorizarea programelor-cadru

15-18 SFERA ȘI ABORDAREA AUDITULUI

19-109 OBSERVAȚIILE ÎN URMA AUDITULUI

19-37 Logica de intervenție, stabilirea obiectivelor și indicatorii de performanță

38-49 Strategia de evaluare

50-68 Organizarea evaluării programelor-cadru

69-97 Metodologiile și tehnicile de evaluare

98-109 Difuzarea și exploatarea constatărilor evaluărilor

110-118 CONCLUZIE GENERALĂ

Anexa I: Măsurarea impactului și a rezultatelor intervenției publice în domeniul cercetării și dezvoltării tehnologice

Anexa II: Dispoziții privind monitorizarea și evaluarea în deciziile legislative pentru PC4-PC7

Anexa III: Principalele diferențe de evaluare ex post a programelor de cercetare între UE (PC4-PC6), SUA și Canada

Anexa IV: Structură potențială a comisiei de evaluare pentru PC7

Răspunsurile Comisiei

SINTEZĂ

I. Programele-cadru (PC) comunitare de cercetare și dezvoltare tehnologică (CDT) reprezintă cea mai importantă sursă publică de fonduri de cercetare din Uniunea Europeană. Responsabilitatea de a gestiona programele-cadru și de a evalua rezultatele acestora îi revine Comisiei.

II. Auditul s-a efectuat cu privire la mecanismele de monitorizare și evaluare existente cu începere din 1995 pentru ultimele trei perioade de programare (PC4, PC5, PC6), dar oferă și considerații referitoare la perspectivele pentru Al șaptelea program-cadru (PC7) (2007-2013). Auditul s-a efectuat alături de Colegiul auditorilor din cadrul AELS și a beneficiat de asistența unor experți externi.

III. Auditul a avut ca obiectiv să stabilească dacă abordarea Comisiei privind evaluarea rezultatelor programelor-cadru a fost adecvată. În acest context, Curtea a verificat dacă obligațiile juridice privind evaluarea au fost îndeplinite de către Comisie și a urmărit să stabilească dacă sistemul de evaluare și monitorizare al acesteia a răspuns așteptărilor factorilor interesați. Curtea a examinat, în special, următoarele aspecte: (i) dacă a existat o logică de intervenție subiacentă programelor-cadru și programelor constitutive ale acestora care să fi putut furniza o bază solidă pentru evaluare și monitorizare; (ii) dacă exista definită de către Comisie o strategie de evaluare pentru programele-cadru; (iii) dacă structura organizatorică a sistemului de evaluare aplicat de Comisie pentru programele-cadru a fost astfel concepută, încât evaluarea să fie coordonată corespunzător, să aibă la dispoziție resurse suficiente și adecvate și să fie percepută de către factorii interesați ca beneficiind de un grad suficient de independență; (iv) dacă metodologiile aplicate pentru evaluare au fost satisfăcătoare; și (v) dacă activitățile de evaluare și monitorizare au furnizat informații și analize care să poată fi utilizate în vederea îmbunătățirii programelor în curs de derulare și a elaborării programelor-cadru viitoare.

IV. Curtea a făcut următoarele constatări și a ajuns la următoarele concluzii: (i) lipsa unei logici de intervenție explicite, proasta definire a obiectivelor programelor și măsurarea deficitară a performanțelor au subminat eficacitatea monitorizării și a evaluării; (ii) absența unei strategii de evaluare atotcuprinzătoare, convenite între direcțiile generale cu competențe în cercetare care pun în aplicare programele-cadru, a avut drept consecință adoptarea unor abordări inconsecvente de la un serviciu al Comisiei la altul, situație care este ilustrată, în special, de o evaluare insuficientă a unor părți semnificative din programele-cadru; (iii) evaluarea programelor-cadru a fost descentralizată, mecanismele existente de coordonare între direcțiile generale care pun în aplicare programele-cadru nu au fost eficace, iar serviciile centrale ale Comisiei nu au avut niciun fel de atribuții de impunere a respectării cerințelor în vigoare. Cu toate acestea, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale ale Comisiei cu privire la evaluare. Utilizarea unor comisii alcătuite din experți externi la nivel înalt desemnați de Comisie pentru exercițiile de evaluare de amploare s-a dovedit a fi bine adecvată contextului comunitar. Însă aceste comisii temporare nu au fost implicate în desfășurarea procesului suficient de devreme, astfel încât nu au putut influența strângerea probelor și au avut numai posibilități limitate de a urmări evoluția în timp a aspectelor relevante. Recurgându-se numai la o singură comisie pentru programul-cadru general (în afară de care a mai existat o comisie pentru unul dintre programele specifice), nu s-a acordat suficientă atenție problemelor specifice aferente diferitelor domenii științifice din interiorul programelor-cadru; (iv) nu s-au furnizat orientări metodologice adecvate, evaluatorii au întâmpinat dificultăți în activitatea de colectare a datelor relevante și nu au existat studii de evaluare care să analizeze mai curând efectele și impactul programelor-cadru pe termen mai lung, în locul problemelor pe termen scurt legate de punerea în aplicare a programelor; și (v) drept consecință a celor exprimate anterior și ca urmare a faptului că evaluările erau adesea programate prea devreme pentru a putea aborda problemele cele mai relevante, sistemul de evaluare al Comisiei pentru programele-cadru s-a dovedit a avea o utilitate limitată pentru factorii de decizie, pentru factorii interesați și chiar pentru Comisia însăși. În esență, nu s-au obținut foarte multe informații cu privire la îndeplinirea obiectivelor programelor și la rezultatele programelor-cadru.

V. Curtea face următoarele recomandări: (i) logica de intervenție ar trebui să fie expusă mai explicit în legislația viitoare. Ar trebui explicate premisele care stau la baza acestei logici, ar trebui clarificată relația dintre obiectivele științifice și cele socioeconomice și ar trebui să se elaboreze indicatori de performanță corespunzători; (ii) este necesar ca direcțiile generale care pun în aplicare programele-cadru să elaboreze (și să convină cu privire la) o strategie de evaluare atotcuprinzătoare. În special, acest demers ar trebui să implice o abordare consecventă din punctul de vedere al nivelului minim la care trebuie să se desfășoare o evaluare detaliată, pentru a se putea ține seama de specificitățile fiecărui domeniu științific; (iii) ar trebui să se aibă în vedere înființarea unui birou de evaluare comun, care să coordoneze, la nivelul de ansamblu al programului-cadru, activitățile de evaluare ale direcțiilor generale cu competențe în cercetare, precum și crearea unui sistem de comisii (și de subcomisii) formate din experți externi. Aceste comisii ar trebui să fie înființate cu suficient timp înainte, pentru a putea furniza asistență Comisiei în mod eficace și pentru a putea continua în acest sens pe parcursul întregii perioade de programare și ulterior acesteia; (iv) ar trebui să se analizeze cu atenție care sunt nevoile în materie de date pentru evaluare și monitorizare și să se apeleze într-o măsură mai mare la alte surse existente de date. De asemenea, Comisia ar trebui să raționalizeze cerințele impuse participanților în ceea ce privește raportarea. Nu în ultimul rând, ar trebui să redacteze un manual detaliat de evaluare a programelor-cadru și să elaboreze o gamă mai largă de metodologii și tehnici de evaluare, în vederea utilizării în cadrul evaluărilor în acest domeniu; și (v) Comisia ar trebui să stabilească ce așteptări pot să existe în mod rezonabil în ceea ce privește tipul evaluării și sfera acesteia, având în vedere termenele specificate în legislația privind cel de Al șaptelea program-cadru, și ar trebui să clarifice modul în care se pot utiliza evaluările în scopul adaptării programelor („programe care învață din mers”), precum și contribuția pe care o pot aduce procesului decizional de stabilire a politicilor.

INTRODUCERE

Rolul Uniunii Europene în sprijinirea activităților de cercetare și dezvoltare tehnologică

1. Cercetarea și dezvoltarea tehnologică (CDT) (1) reprezintă motorul principal al progresului științific și tehnologic și al inovării și aduce, astfel, o contribuție majoră la îmbunătățirea nivelului de trai. Intervenția publică în CDT se justifică în general ca un factor de corecție împotriva așa-numitelor „eșecuri ale pieței”, și anume sprijinul public acționează în sensul reducerii nesiguranței și furnizează investiții în acele cazuri în care cercetarea reprezintă un bun public sau în care sunt prezente externalități semnificative.

2. Articolul 163 din Tratatul de instituire a Comunității Europene stabilește misiunea Comunităților în sprijinirea CDT, stipulând următoarele: „Comunitatea are ca obiectiv consolidarea bazelor științifice și tehnologice ale industriei Comunității și favorizarea dezvoltării competitivității sale internaționale, precum și promovarea acțiunilor de cercetare considerate necesare …”. Articolele 164-173 stabilesc activitățile care trebuie desfășurate în acest scop, precum și sfera și modalitățile de punere în aplicare ale programelor-cadru (PC) multianuale de cercetare și dezvoltare tehnologică. Comisia are responsabilitatea de a prezenta propuneri pentru programele-cadru, în timp ce deciziile privind programele-cadru și normele de participare și de difuzare a rezultatelor activităților de cercetare se adoptă prin codecizie de către Parlamentul European și Consiliu. Programele specifice sunt adoptate numai de către Consiliu. Programele-cadru sunt puse în aplicare în comun de către șase direcții generale (DG-uri), așa-numitele „direcții generale cu competențe în cercetare” (2).

3. În cadrul paletei largi de politici puse în aplicare în Uniunea Europeană pentru consolidarea inovării și a competitivității, programele-cadru reprezintă instrumentul financiar cel mai important care contribuie la realizarea strategiei de la Lisabona (3) și a obiectivului de la Barcelona (4) la nivel comunitar.

4. Prin intermediul programelor-cadru, Comunitatea furnizează finanțare cercetătorilor din cadrul Uniunii Europene, din țări asociate și din organizații internaționale. Bugetele prevăzute pentru programe au crescut simțitor de-a lungul anilor, ajungând la 7 217 milioane de euro pe an pentru cel de Al șaptelea program-cadru, față de cele 2 761 de milioane de euro pentru cel de Al patrulea program-cadru (a se vedea figura 1). Din punctul de vedere al creditelor bugetare, acestea reprezintă sfera cea mai importantă de gestiune centralizată directă din cadrul Comisiei (5).

5. Programele-cadru se deosebesc de multe programe naționale prin aceea că includ atât cercetarea fundamentală, cât și pe cea aplicată, și admit participarea atât a întreprinderilor, cât și a organizațiilor publice de cercetare (6). Sunt alcătuite din programe (și subprograme) specifice care vizează domenii științifice largi. Aceste programe sunt constituite, de regulă, dintr-un număr de segmente care se axează pe ramuri științifice mai precis delimitate. Aceste segmente sunt, la rândul lor, puse în aplicare prin intermediul unor proiecte (denumite „acțiuni indirecte”), în urma unor cereri de propuneri. În acest mod se desfășoară finanțarea a sute de proiecte individuale din cadrul unui segment.

6. Procentul global pe care îl dețin programele-cadru în ansamblul finanțării publice a CDT din Uniunea Europeană și din statele membre variază între 4 % și 5 %. Cu toate acestea, impactul pe care îl au asupra tipurilor de activități de cercetare desfășurate în Europa este considerabil mai puternic. Aceasta se datorează faptului că subvențiile comunitare furnizează de obicei numai o parte din totalul fondurilor pentru un proiect dat. În plus, la solicitarea finanțării, cercetătorii trebuie să demonstreze că proiectele lor vizează obiectivele precizate în cererile de propuneri. Astfel, programele-cadru creează stimulente de natură să orienteze activitățile de CDT către obiective comunitare specifice.

7. În ultimii ani au fost aduse modificări importante programelor-cadru, motivele fiind: — lansarea unor noi provocări politice [strategia de la Lisabona și obiectivele de la Barcelona, crearea „Spațiului European de Cercetare” (SEC) și utilizarea din ce în ce mai frecventă a metodei deschise de coordonare (7) în cadrul politicii de cercetare și inovare]; — schimbarea orientării programelor-cadru, de la simpla rezolvare a unor probleme tehnice în cadrul PC4 și abordarea unor probleme sociale bine definite în cadrul PC5 la încurajarea cooperării între organizațiile de cercetare din Spațiul European de Cercetare și contribuirea la dezvoltarea unei economii și a unei societăți bazate pe cunoaștere în cadrul PC6 și PC7; — fixarea unor perioade de programare mai lungi (anterior 4 ani, actualmente 7 ani pentru PC7, în concordanță cu Perspectivele financiare 2007-2013); — un număr mai mare de state membre și de țări participante; — creșterea finanțării, în special în cadrul actualelor Perspective financiare; — instituirea Consiliului European al Cercetării și delegarea activităților de gestionare a programelor către agenții executive, cu începere de la PC7; și — utilizarea din ce în ce mai frecventă a unor instrumente de finanțare de mare amploare (de exemplu, rețelele de excelență, proiectele integrate, proiectele puse în aplicare în temeiul articolului 169, inițiativele tehnologice comune).

Evaluarea și monitorizarea programelor-cadru

8. Comisia răspunde de punerea în aplicare a programelor și de evaluarea rezultatelor acestora (8). În cadrul Comisiei, evaluarea este descentralizată, fiind delegată diverselor direcții generale, în timp ce serviciile centrale (în special DG Buget și Secretariatul general) furnizează sprijin și coordonare.

9. Prezentul raport utilizează termenii „evaluare” și „monitorizare” în înțelesul pe care îl dă Comisia acestor termeni, și anume „evaluare” ca o apreciere a intervențiilor în funcție de rezultatele și impactul acestora și de necesitățile pe care urmăresc să le satisfacă (9) și „monitorizare” ca acea activitate prin care se furnizează informații cu privire la punerea în aplicare a programelor și a proiectelor în curs de derulare, cu scopul de a răspunde nevoilor de gestionare (10). De altfel, aceste două activități sunt diferențiate în același mod și în legislația actuală privind PC7.

10. În continuarea prezentului document este utilizată terminologia următoare pentru a descrie rezultatele activităților de CDT: — „realizări”: cunoștințe, bunuri și servicii produse direct ca urmare a intervenției publice (publicații, lucrări științifice prezentate la conferințe, brevete de invenție, licențe, prototipuri, standarde, oameni de știință care au beneficiat de formare etc.); — „efecte”: rezultatul în timp al exploatării acestor realizări de către utilizatori; și — „impacturi”: schimbările socioeconomice și politice pe termen lung pe care le generează intervenția publică. Caseta 1Exemplul „Sistemului global de comunicații mobile” (Global System for Mobile communications – GSM)În exemplul de față, „realizările” obținute grație finanțării comunitare sunt reprezentate de rezultatele imediate ale proiectului, cum ar fi elaborarea standardului GSM. „Efectul” constă în acceptarea acestui sistem ca standard de telefonie celulară digitală de referință, atât pe teritoriul european, cât și în afara limitelor acestuia, fapt care a contribuit din plin la dezvoltarea sectorului telecomunicațiilor. În fine, „impactul” este reprezentat de consecințele economice, sociale și politice ale utilizării acestei tehnologii pe plan internațional. Printre acestea se numără crearea de locuri de muncă în cadrul sectorului telecomunicațiilor și al sectoarelor conexe, precum și sporirea importanței acestui sector pentru economia europeană. Nu în ultimul rând, GSM a pus la dispoziția populației o nouă modalitate de comunicare.

11. Evaluarea rezultatelor respective ridică însă un număr de dificultăți metodologice (a se vedea anexa I). Schimbările socioeconomice constituie un fenomen complex și, în termeni mai preciși, relația dintre o activitate de cercetare și efectele și impacturile observate este adesea dificil de stabilit. Deși aceste dificultăți metodologice reprezintă o provocare considerabilă, aceasta nu înseamnă neapărat că ele fac imposibilă evaluarea eficace.

12. Comisia a introdus un sistem de monitorizare și evaluare a programelor-cadru încă din anii 1980 (11). Începând cu PC4, de la mijlocul anilor 1990, sistemul de monitorizare și evaluare a fost constituit dintr-un număr de activități parțial interconectate, printre care: — monitorizarea anuală (în principal a punerii în aplicare a programelor) și — evaluări cincinale ale activităților programelor-cadru (și, începând cu PC6, evaluări suplimentare care vizează probleme anumite). Ambele activități au trebuit să fie efectuate cu ajutorul unor experți externi (a se vedea figura 2 și anexa II). Figura 2 PC4-PC7 – Cerințe fundamentale pentru monitorizare și evaluare PC4 (1994-1998) PC5 (1999-2002) PC6 (2003-2006) PC7 (2007-2013) două exerciții de evaluare (intermediar și final), în fiecare caz pentru cele 20 de subprograme ale acestui PC, plus pentru PC; evaluarea finală se suprapune cu evaluarea intermediară a PC5 două exerciții de evaluare concomitente (intermediare), în fiecare caz pentru cele 7 programe specifice ale acestui PC, plus pentru PC un exercițiu de evaluare pentru PC și cele 3 programe specifice ale acestuia (intermediar), dar nu s-au efectuat evaluări special pentru toate cele 20 de subprograme; exercițiul a fost completat cu o evaluare specifică și cu rapoarte privind stadiul de activitate (de monitorizare) periodice cel puțin cinci exerciții de evaluare (la nivel ex ante, intermediar și final), inclusiv un raport specific privind stadiul de activitate înainte de evaluarea intermediară 1. Ex ante : nu 1. Ex ante : nu 1. Ex ante : nu 1. Ex ante: inclus în studiul de impact privind propunerea Comisiei pentru PC7 (2005) 2. Intermediar: — evaluare cincinală: la jumătatea perioadei PC, înainte de următorul PC (1997) 2. Intermediar: — evaluare cincinală: înainte de prezentarea propunerii pentru următorul PC (2000) — analiza stadiului activității la jumătatea programului-cadru (2001) 2. Intermediar: — evaluarea eficacității instrumentelor (2004) — evaluare cincinală, înainte de prezentarea propunerii pentru următorul PC (2004) — rapoarte privind stadiul de activitate (de monitorizare) periodice 2. Intermediar: — ex post, la 2 ani după terminarea PC-ului anterior (2008) — raport privind stadiul de activitate înainte de evaluarea intermediară (înainte de 2010) — evaluare intermediară (2010) 3. Final: — la încheierea PC (1999) 3. Final: nu 3. Final: nu [modificat prin Decizia privind PC7] 3. Final: la doi ani de la încheierea PC-ului (2015), documentat cu studii specifice și atestat de evaluarea intermediară și alte activități de evaluare desfășurate pe parcursul perioadei PC-ului Sursa: A se vedea anexa II.

13. Până în prezent, s-au efectuat trei evaluări cincinale (12), în urma cărora s-au întocmit rapoartele „Davignon”, „Majó” și „Ormala” (1997, 2000 și, respectiv, 2004). De asemenea, DG Societate Informațională a efectuat evaluări cu obiective foarte precis definite pentru programul său specific. Ar trebui menționat faptul că, în conformitate cu legislația privind PC7, s-a renunțat la evaluările cincinale, eliminându-se astfel constrângerea conform căreia exercițiile de evaluare importante trebuiau să se concentreze pe cei cinci ani anteriori și, în consecință, să acopere segmente din două perioade de programare succesive. De asemenea, în 2004 s-a publicat raportul „Marimón” (13), o evaluare specifică privind eficacitatea noilor instrumente introduse în cadrul PC6.

14. În 2000 și în 2002 (14) s-a reexaminat cadrul prevăzut la nivelul Comisiei pentru activitățile de evaluare. Aceste comunicări au fost actualizate în 2007, ținând seama de consecințele reformei administrative a Comisiei și de noul Regulament financiar (15). În aceste documente sunt descrise rolul și funcția evaluării în contextul ciclului global de planificare, programare și raportare al Comisiei și sunt precizate 21 de standarde de evaluare și 18 modele de „bună practică”. De asemenea, aceste documente abordează problema utilizării evaluării la elaborarea și simplificarea legislației comunitare.

SFERA ȘI ABORDAREA AUDITULUI

15. Principalul obiectiv al auditului a fost să stabilească caracterul adecvat sau inadecvat al abordării adoptate de Comisie pentru aprecierea rezultatelor programelor-cadru de cercetare și dezvoltare tehnologică.

16. În acest scop, Curtea a evaluat măsura în care: — programele-cadru și programele constitutive ale acestora se fundamentează pe o logică de intervenție explicită, în funcție de care se pot măsura și evalua realizările, efectele și impactul, și care poate constitui, astfel, o bază solidă de evaluare și monitorizare; — s-a definit o strategie de evaluare a programelor-cadru care să promoveze o evaluare eficace și coerentă; — structura organizatorică adoptată pentru sistemul de evaluare garantează că acesta este coordonat în mod adecvat în cadrul programului-cadru, că dispune de resurse suficiente și că este perceput de către factorii interesați ca beneficiind de un grad suficient de independență; — metodologiile la care s-a recurs pentru evaluare asigură abordarea corespunzătoare a problemelor relevante, astfel încât evaluarea să fie percepută ca fiind credibilă; și în care — activitățile de evaluare și monitorizare furnizează informații și date analitice care pot fi utilizate în vederea îmbunătățirii programelor în derulare („programe care învață din mers”) și a conceperii programelor-cadru viitoare.

17. Prezentul raport se referă la dispozițiile relevante pentru PC4 (1995-1998), PC5 (1999-2002) și PC6 (2003-2006). El abordează, de asemenea, obligațiile juridice aflate în prezent în vigoare în conformitate cu PC7 (2007-2013), însă nu realizează o apreciere a studiului de impact și a evaluării ex ante efectuate de Comisie pentru PC7 (16). Raportul se axează pe monitorizarea și pe evaluarea ex post a programelor, și nu pe evaluarea ex ante a propunerilor de proiect sau pe evaluarea ex post a proiectelor propriu-zise.

18. Auditul s-a efectuat cu participarea Colegiului auditorilor din cadrul AELS și cu ajutorul unor experți externi. Strângerea probelor de audit s-a efectuat prin intermediul: — activităților de audit desfășurate la Comisie (analiza documentației și interviuri cu personalul), care au implicat identificarea obligațiilor juridice și reglementare, o analiză a obiectivelor și a criteriilor de performanță, studierea a peste 80 de rapoarte de monitorizare și evaluare, precum și o analiză a organizării activităților de evaluare în cadrul Comisiei; — interviurilor cu peste 90 de experți identificați ca factori interesați din statele membre și țările asociate (Republica Cehă, Germania, Estonia, Spania, Franța, Italia, Luxemburg, Țările de Jos, Austria, Finlanda, Suedia, Regatul Unit și Norvegia); — sondajelor întreprinse în rândul factorilor instituționali interesați din cadrul comitetului ITRE (17) al Parlamentului European și al comitetului CREST (18) al Consiliului; — unei consultări cu peste 65 de experți din domeniul evaluării activităților de cercetare, din Statele Unite ale Americii și Canada, cu scopul de a constitui un grup de comparație internațional; — unei treceri în revistă a literaturii de specialitate care abordează tema tendințelor actuale în evaluarea activităților de cercetare; și — discutării constatărilor, a concluziilor și a recomandărilor rezultate în urma auditului cu experți din Europa și din America de Nord, specializați în evaluarea activităților de cercetare, în cadrul unei serii de reuniuni ale grupului tematic (focus group) organizate în februarie 2007, în prezența unui moderator.

OBSERVAȚIILE ÎN URMA AUDITULUI

Logica de intervenție, stabilirea obiectivelor și indicatorii de performanță

19. Pentru ca evaluarea și monitorizarea să fie eficace, este necesar să se definească obiective clare și indicatori de performanță pertinenți la nivel de politică, program și proiect, în funcție de care să se poată evalua rezultatele unei intervenții publice. Bunele practici din alte domenii bugetare ale Uniunii Europene, precum și din afara Uniunii, sugerează că definirea acestor indicatori și a acestor obiective ar trebui să se facă în cadrul unei logici de intervenție.

20. Logica de intervenție se poate defini ca o serie de relații ipotetice cauză-efect care descriu modul în care se preconizează că o intervenție își va atinge obiectivele globale (19). Orientările privind evaluarea elaborate de Comisie precizează că logica de intervenție stabilește o relație conceptuală între mijloacele prin care se realizează intervenția, realizările pe care le generează aceasta și, mai departe, impactul asupra societății din perspectiva rezultatelor și a efectelor (20). Prezentul raport utilizează, în tot cuprinsul său, înțelesul din definiția menționată anterior.

21. Curtea a evaluat măsura în care s-a instituit o logică de intervenție pentru programele-cadru și pentru programele constitutive ale acestora, furnizându-se, în acest mod, o bază solidă pentru evaluare și monitorizare.

Logica de intervenție pentru programele-cadru nu a fost formulată explicit

22. Definirea unei logici de intervenție ar trebui să fie, de la bun început, un element-cheie în conceperea programelor. Articolul 163 din tratat, care susține necesitatea consolidării bazelor științifice și tehnologice și dezvoltarea competitivității, ar trebui să furnizeze punctul de plecare pentru o astfel de logică de intervenție pentru programele-cadru (a se vedea punctul 2). Această logică ar trebui definită mai în profunzime și adaptată diferitelor domenii științifice acoperite de programele-cadru și diferitelor instrumente utilizate.

23. Cu toate acestea, nu există, la niciun nivel, un model logic explicit care să explice modul în care programele-cadru și programele constitutive ale acestora contribuie la progresul științific și tehnologic și la inovare.

24. Absența unei logici de intervenție pentru programele-cadru a fost subliniată și de comisia de evaluare cincinală întrunită în 2004, care a declarat că misiunea unei comisii de genul acesta este de a umple golul dintre, pe de o parte, probele strânse în principal la nivel de proiect și, pe de altă parte, obiectivele socioeconomice, de la un nivel mai înalt, ale politicii de cercetare. Cu toate acestea, au afirmat membrii comisiei, în momentul de față, această racordare este dificil de realizat, din cauza modului în care este planificat programul-cadru. Programul nu dispune de o logică explicită care să realizeze conexiunea dintre obiectivele de nivel înalt și obiectivele de nivel concret privind cercetarea și cunoașterea (21).

25. O cu totul altă abordare au adoptat unele state membre (de exemplu, Țările de Jos și Finlanda) și Statele Unite ale Americii (a se vedea figura 3), unde definirea unei logici de intervenție este mult mai generalizată, precum și Canada, unde aceasta este obligatorie pentru toate programele (a se vedea anexa III). Într-adevăr, utilizarea, în aceste țări, a unei logici de intervenție în stadiul de concepere a programelor a avut drept rezultat o mai bună orientare și structurare a acestora. Comisia a început, și ea, să introducă progresiv logica de intervenție în alte domenii de politică comunitară (de exemplu, ajutorul extern) (22). Figura 3 Stabilirea unei ierarhii a obiectivelor, pe baza modelelor logice – exemplu de cercetare în sectorul agricol din Statele Unite ale Americii Politică Program Proiect Obiectiv al politicii : să contribuie la îmbunătățirea mijloacelor de trai ale familiilor de agricultori Scop : creșterea producției și a productivității agricole, precum și a veniturilor, în rândul gospodăriilor agricole Obiectivul programului : să contribuie la creșterea producției și a productivității agricole, precum și a veniturilor, în rândul gospodăriilor agricole Rezultat scontat : creșterea, în rândul agricultorilor vizați, a utilizării de tehnologii agricole modernizate Scop : creșterea utilizării de tehnologii agricole modernizate de către agricultori (de exemplu, pentru cultura orezului) Obiectivul proiectului : să contribuie la creșterea utilizării de tehnologii modernizate recomandate Rezultat scontat : furnizarea/difuzarea de recomandări agricultorilor vizați Scop : furnizarea de recomandări privind tehnologiile modernizate care sunt adecvate agricultorilor vizați Rezultat scontat (de exemplu): 1. identificarea tehnologiilor în funcție de prioritățile agricultorilor 2. generarea și adaptarea tehnologiilor 3. verificarea tehnologiilor pe terenurile agricultorilor Sursa: Consiliul Național pentru Cercetare Agricolă al Statelor Unite.

26. Lipsa unei formulări oficiale a logicii pe care se fundamentează intervenția publică și a relațiilor de cauzalitate implicite (în conformitate cu care programul este apoi planificat în detaliu, executat și evaluat) subminează eficacitatea evaluării și a monitorizării programelor-cadru. Aceasta se întâmplă în special datorită modului în care se definesc obiectivele programelor și indicatorii de performanță.

În lipsa unui model logic explicit, este mai dificil să se stabilească obiective coerente ale programelor

27. Nespecificarea în mod explicit a logicii pe care se fundamentează intervenția publică face mai dificilă stabilirea și structurarea într-un mod coerent a obiectivelor programelor. Acest lucru este demonstrat prin faptul că: — raportul dintre obiectivele programelor-cadru și obiectivele politicilor, cum ar fi obiectivele generale menționate la articolul 163 din tratat, precum și obiectivele afirmate prin strategia de la Lisabona și declarația de la Barcelona (a se vedea punctele 2 și 7), nu este clar; — nu este întotdeauna evidentă relația dintre diferitele obiective ale programelor individuale, nici de la un nivel ierarhic al legislației la altul (de exemplu, relația dintre deciziile privind programele-cadru, deciziile privind programele specifice și normele de participare și de difuzare) și nici de la nivelul actelor de bază la cel al programelor de lucru ale Comisiei.

28. Comisia a încercat să stabilească obiective operaționale în programele de lucru, pe baza obiectivelor programelor definite în legislația privind programele-cadru. Cu toate acestea, în aproape toate cazurile, aceste inițiative nu au reușit să clarifice logica pe care se fundamentează programele, iar obiectivele formulate în programele de lucru nu erau specifice (clar definite), măsurabile, realizabile, relevante și datate (încadrate în anumite coordonate de timp) (specific, measurable, achievable, relevant and timed – SMART). În 2003, Regulamentul financiar (23) a transformat această cerință referitoare la obiectivele „SMART” într-o obligație juridică.

29. Nu este clar în ce măsură se poate identifica legătura dintre obiectivele politicilor – prin observarea programelor specifice, a programelor de lucru și a cererilor de propuneri – și proiectele individuale cofinanțate de Comunitate. Dacă aceste legături nu sunt clarificate, este imposibil să se evalueze contribuția programelor-cadru și a programelor constitutive ale acestora la atingerea obiectivelor politicilor menționate. În urma auditului, s-a constatat că, în evaluările sale, Comisia nu a furnizat deloc probe convingătoare – sau a făcut-o într-o măsură foarte mică – pentru a demonstra că obiectivele pe termen mai lung au fost atinse, nici în ceea ce privește nivelul de proiect și nici în ceea ce privește nivelul de program (a se vedea punctul 82).

Lipsa unei logici de intervenție explicite și a unor obiective clare face mai dificilă elaborarea unor indicatori de performanță

30. Lipsa unui model logic explicit și a unor obiective clar definite ale programelor a frânat, de asemenea, elaborarea unor indicatori de performanță care să permită monitorizarea atingerii obiectivelor programelor din punctul de vederea al realizărilor, al efectelor și al impacturilor, rezultatul fiind că, până în momentul de față, acești indicatori de „eficacitate” nu au fost deloc definiți pentru programele-cadru (a se vedea punctul 73).

31. În aceste condiții, examinarea proiectelor în derulare finanțate de aceste programe și evaluarea ex post a celor finalizate sunt, de asemenea, mai dificil de realizat și contribuie la dificultatea de a corela evaluările între nivelul proiectelor și cel al programelor (a se vedea anexa I și punctul 84).

Sistemul de întocmire a bugetului pe activități/gestionare pe activități, astfel cum este pus în aplicare în prezent, nu constituie un instrument corespunzător de măsurare a performanțelor programelor-cadru

32. În rapoartele anuale de monitorizare ale Comisiei, precum și în contextul sistemului de gestionare pe activități al Comisiei se regăsesc o serie de indicatori care permit urmărirea eficienței punerii în aplicare a programelor (de exemplu, durata procesului de încheiere/atribuire a contractului, termenul de plată).

33. Cu toate acestea, până în prezent, direcțiile generale cu competențe în cercetare, chiar și atunci când au pus în aplicare același program (sau subprogram) specific, nu au aplicat o nomenclatură uniformizată sau comparabilă pentru întocmirea bugetului pe activități și nici indicatori aferenți care să fie standardizați sau comparabili. Prin urmare, nu se poate recurge la acești indicatori pentru a compara performanțele între programe sau în cadrul aceluiași program. Caseta 2Sistemul de întocmire a bugetului pe activități/gestionare pe activități, astfel cum este pus în aplicare în prezent de către direcțiile generale cu competențe în cercetareÎn sistemul de întocmire a bugetului pe activități/gestionare pe activități, programele-cadru se subordonează unui număr de două domenii diferite de politici, în cadrul cărora activitățile programelor-cadru sunt prezentate în conformitate cu o nomenclatură diferită, ce este specifică unei sau alteia dintre direcțiile generale (24). Această prezentare se aplică chiar și acelor programe și subprograme specifice puse în aplicare de mai multe direcții generale. Obiectivele în materie de gestionare pe activități au fost definite în conformitate cu diferite principii subiacente (25) și, după cum a indicat Serviciul de audit intern al Comisiei (26), au fost formulate, în mare parte, în termeni generali, descriind aspirații sau activități. Indicatorii erau, în general, orientați către mijloacele de punere în aplicare (de exemplu, numărul de ședințe etc.). O parte dintre acești indicatori se refereau la eficiența proceselor (de exemplu, durata procesului de încheiere/atribuire a contractului, termenul de plată), însă nu erau comparabili între programe și nici de la o direcție generală la alta, din cauza diferențelor existente în nomenclatura sistemului de întocmire a bugetului pe activități, dintre premisele asumate de diferitele direcții generale (cum ar fi începutul sau încheierea proceselor administrative specifice) și dintre populațiile subiacente (de exemplu, tipul de acord de subvenționare, tipul plății) luate în considerare în vederea calculării indicatorilor.

Recomandări

34. În viitoarele propuneri legislative pe care le înaintează Consiliului și Paramentului European, Comisia ar trebui să prezinte o logică de intervenție explicită atât pentru programul-cadru în ansamblu, cât și pentru componentele acestuia. 35. În ceea ce privește PC7, Comisia ar trebui: — să furnizeze o descriere clară a obiectivelor programului-cadru și ale programelor (și ale subprogramelor) specifice constitutive ale acestuia, precum și a modalității de a atinge obiectivele respective; — să clarifice corelația dintre obiectivele științifice și cele socioeconomice pentru fiecare program (și subprogram) specific; și — să definească obiective operaționale pertinente. 36. Pentru sistemul său de monitorizare a celui de Al șaptelea program-cadru, Comisia ar trebui să instituie o gamă limitată, dar echilibrată, de indicatori ai performanței, care să măsoare, pentru fiecare program (și subprogram) specific, „eficiența” și „eficacitatea” punerii în aplicare a programului în cauză. 37. Direcțiile generale cu competențe în cercetare ar trebui să își armonizeze nomenclatura în materie de gestionare pe activități/întocmire a bugetului pe activități, astfel încât indicatorii performanței să devină comparabili atât în timp, cât și, în cazurile în care acest lucru este posibil, de la un program (și subprogram) specific la altul.

Strategia de evaluare

38. Strategia de evaluare oferă cadrul noțional în care sunt concepute, planificate, executate și exploatate activitățile de evaluare. Bunele practici din alte domenii bugetare comunitare, dar și din afara Uniunii, sugerează că o astfel de strategie ar trebui să țină seama de principalele aspecte juridice, organizatorice și metodologice asociate evaluării programelor. Această strategie ar trebui să prevadă tipul de evaluări care trebuie efectuate, persoanele responsabile de efectuarea lor și perioada în care se vor efectua, modalitatea de colectare a datelor, abordările metodologice care trebuie utilizate și modalitatea de comunicare și de urmărire a constatărilor.

39. Introducerea unei astfel de strategii și luarea măsurilor necesare pentru garantarea aplicării acesteia reprezintă o premisă obligatorie pentru integrarea evaluării în cultura organizațională și procesul decizional al Comisiei. Cu toate acestea, Curtea recunoaște că, dată fiind diversitatea domeniilor științifice acoperite de programele-cadru, o astfel de strategie ar trebui să acorde un grad adecvat de flexibilitate fiecăreia dintre direcțiile generale responsabile și nu ar trebui să fie exagerat de prescriptivă.

40. Curtea a verificat în ce măsură Comisia avea în funcțiune o astfel de strategie de evaluare pentru programele-cadru.

Absența unei strategii de evaluare atotcuprinzătoare pentru programele-cadru

41. Comisia și-a făcut pentru prima dată publică abordarea față de evaluarea programelor-cadru în anii 1980 (27). Abordarea a fost actualizată în 1996, an în care Comisia a informat Parlamentul European și Consiliul cu privire la ceea ce considera la momentul respectiv a fi principiile subiacente relevante pentru monitorizare și evaluare și și-a stabilit abordarea dorită în urma adoptării celui de Al patrulea program-cadru (28). Aceasta nu s-a dovedit însă a fi o strategie de evaluare atotcuprinzătoare, conformă cu ceea ce s-a prezentat mai sus (a se vedea punctele 38 și 39). Mai mult, din 1996 până în 2006, Comisia nu și-a mai reexaminat fundamental abordarea față de evaluare pentru PC5 și PC6, în pofida faptului că programele-cadru au evoluat în ceea ce privește atât sfera de acoperire, cât și orientarea (a se vedea punctul 7). În special, în ceea ce privește convenirea unei abordări consecvente față de evaluarea programelor-cadru și a programelor lor constitutive, direcțiile generale cu competențe în cercetare nu au mers mai departe de respectarea dispozițiilor legislative adoptate în 1999 (pentru PC5), în 2002 (pentru PC6) și în 2006 (pentru PC7) (29).

42. Lipsa unei astfel de abordări strategice față de evaluare în acest domeniu reprezintă, pentru perioada de programare curentă, o problemă deosebită, în special având în vedere punerea în aplicare a PC7 în comun de către mai multe direcții generale, de către Consiliul European al Cercetării și de către agenții executive, precum și obligația rotației personalului care ocupă posturi sensibile, impusă de Regulamentul financiar. De asemenea, această lipsă nu este în concordanță cu practicile curente din domeniul ajutorului extern (care reprezintă al doilea domeniu ca importanță ce face obiectul gestionării directe de către Comisie). În acest domeniu, direcțiile generale competente au convenit, din 2002, cu privire la strategii de evaluare multianuale comune corespunzătoare perioadelor de programare (a se vedea punctul 52).

43. Această lipsă a unei strategii de evaluare clar formulate contrastează, de asemenea, puternic și cu situația din Statele Unite ale Americii și din Canada, unde existența unei strategii este prevăzută în cadrul de reglementare (a se vedea anexa III).

44. După cum se exemplifică mai jos, există diferențe semnificative în materie de sferă de acoperire și intensitate a evaluării de la un program-cadru la altul, precum și în interiorul aceluiași program-cadru. Au existat și alte deficiențe, discutate în secțiunile ulterioare ale prezentului raport, cum ar fi problemele de coordonare, diferențele dintre abordările metodologice, problemele de planificare în timp și deficiențele constatate în comunicarea și urmărirea constatărilor evaluărilor. Aceasta reflectă absența unei strategii de evaluare atotcuprinzătoare pentru programele-cadru.

Diferențele existente în materie de sferă de acoperire și intensitate a evaluării de la o situație la alta în interiorul aceluiași program-cadru

45. Programele-cadru sunt alcătuite dintr-un număr de programe (și subprograme) specifice, care se pot deosebi în mod fundamental unele de celelalte din punctul de vedere al scopului, al dinamicii subiacente și al creditelor bugetare (pentru PC7, a se vedea anexa IV). Luate în ansamblu, dispozițiile specifice ale diferitelor decizii privind programele-cadru, precum și cele ale Regulamentului financiar (30) (care prevede evaluarea programelor și a activităților ce generează cheltuieli importante) sugerează că, începând cu PC4, a existat în vigoare o obligație juridică de a evalua atât programul-cadru în ansamblu, cât și majoritatea programelor specifice constitutive ale acestuia.

46. Comisia nu a stabilit o regulă privind momentul în care trebuie evaluate programele sau subprogramele specifice din cadrul programului-cadru și nici un nivel comun minim care să dicteze efectuarea evaluării. Această situație a condus la interpretări neuniforme cu privire la ce anume trebuie să facă obiectul evaluării și până la ce grad de aprofundare: — DG Societate Informațională a considerat că programul privind tehnologiile societății informaționale constituie un program important de cheltuieli de sine stătător și a organizat, în 2004, o evaluare cincinală completă, în paralel cu cea efectuată pentru programul-cadru în ansamblu; — DG Cercetare nu a organizat în mod sistematic o astfel de evaluare la nivel de program specific, în ciuda faptului că bugetele unora dintre programele de care răspunde au valori comparabile.

47. Drept urmare, în cazul evaluării cincinale din 2004, s-a omis complet evaluarea unor segmente semnificative din programele PC4 și PC5 (echivalente cu un procent de 30 % din totalul creditelor bugetare pentru PC4 și de 50 % pentru PC5), ceea ce înseamnă că obligațiile de evaluare prevăzute la articolul 27 din Regulamentul financiar nu au fost respectate de către Comisie.

48. Aceste interpretări divergente cu privire la obligațiile juridice minime referitoare la evaluare, precum și gradul insuficient de evaluare a programelor-cadru în trecut, care a decurs din acestea, ilustrează lipsa de coordonare și efectul absenței unei abordări strategice a Comisiei față de evaluarea programelor-cadru.

Recomandări

49. Direcțiile generale cu competențe în cercetare ar trebui să elaboreze și să convină în cel mai scurt timp posibil cu privire la o strategie de evaluare comună pentru programele-cadru. Fără a fi exagerat de prescriptivă, această strategie ar trebui să conducă la o abordare consecventă față de evaluarea programelor-cadru și a programelor constitutive ale acestora. Această strategie ar trebui, de asemenea, să furnizeze orientări cu privire la nivelul minim începând de la care este obligatorie evaluarea detaliată, astfel încât să se țină seama de specificitățile fiecărui domeniu științific.

Organizarea evaluării programelor-cadru

50. Evaluarea programelor-cadru trebuie să se sprijine pe mecanisme organizatorice corespunzătoare, care ar trebui să decurgă din orientările strategice ale Comisiei pentru evaluarea programelor-cadru. Curtea a verificat măsura în care structura organizatorică a garantat că sistemul de evaluare era coordonat în mod adecvat, că dispunea de resurse suficiente și că era perceput de către factorii interesați ca beneficiind de un grad suficient de independență.

Comisia

Programele-cadru sunt puse în aplicare în comun de mai multe direcții generale, în timp ce responsabilitatea evaluării este descentralizată

51. În cadrul Comisiei, responsabilitatea evaluării programelor de cheltuieli revine fiecărei direcții generale în parte (a se vedea punctul 8), astfel încât s-au înființat unități de evaluare în cadrul fiecărei direcții generale. Aceste unități de evaluare răspund de planificarea, coordonarea și efectuarea evaluărilor.

52. Inexistența unui organism de coordonare specific sau a unei entități unice care să răspundă de evaluarea programului-cadru în ansamblu, cum ar fi un birou de evaluare comun pentru direcțiile generale cu competențe în cercetare, nu este caracteristică și pentru alte domenii de politici. În domeniul ajutorului extern s-a înființat o unitate de evaluare comună pentru trei direcții generale (Dezvoltare, Relații Externe și EuropeAid), cu scopul de a prelua evaluarea programelor de dezvoltare desfășurate de Comisie în țările terțe (a se vedea punctul 42).

53. DG Cercetare, prin intermediul rețelei interne a Comisiei de evaluare a activităților de cercetare și de dezvoltare tehnologică, asigură un schimb de cunoștințe între unitățile de evaluare din cadrul diferitelor direcții generale, însă nu are autoritatea de a stabili cerințe minime de evaluare. Acest mecanism nu a fost suficient pentru a asigura o coordonare corespunzătoare a evaluării programelor-cadru de către Comisie.

54. Comisia și-a revizuit abordarea generală față de evaluare în 2000 și 2002 și, din nou, în 2007 (a se vedea punctul 14). Cu toate că nu s-au observat îmbunătățiri semnificative în ceea ce privește modul în care erau planificate, concepute și puse în aplicare evaluările programelor-cadru și ale programelor constitutive ale acestora, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale formulate la nivelul central al Comisiei.

Serviciile centrale ale Comisiei: rol de stabilire a standardelor, nu însă și de impunere a respectării acestora

55. Serviciile centrale ale Comisiei (în special DG Buget și Secretariatul general) furnizează consultanță în materie de metodologie, definesc standarde comune aplicabile în cadrul Comisiei în ansamblu și monitorizează modul în care direcțiile generale și serviciile aplică aceste standarde (a se vedea punctele 14 și 70). Ele nu pot dicta însă modul în care trebuie să se desfășoare în practică evaluările.

56. Experiența din Statele Unite ale Americii și din Canada demonstrează că, în aceste țări, competența organismelor de standardizare de a impune respectarea standardelor este un factor esențial pentru asigurarea funcționării eficace a sistemului de evaluare. În ambele țări, există anumite servicii federale care elaborează cadrul în care se realizează evaluarea finală a reușitei unui program și asigură, de asemenea, respectarea acestui cadru (a se vedea anexa III). Cu toate că este vorba de contexte diferite, sistemele acestor țări se întemeiază totuși pe același principiu fundamental, și anume că este necesar ca un organism diferit de cel care pune în aplicare programul să evalueze într-o anumită măsură modul de concepere a sistemului de evaluare și să îi examineze eficacitatea. Aceeași situație se poate remarca și în anumite state membre (de exemplu, Franța (31), Spania (32), Germania (33), unde există organisme externe care supraveghează evaluările efectuate de agenții de finanțare sau care chiar efectuează ele însele aceste evaluări.

Comisiile de evaluare

Comisiile de experți externi: prevăzute de legislația privind programele-cadru începând cu PC4

57. Începând cu PC4, toate exercițiile importante de evaluare (și de monitorizare anuală) a programelor-cadru au trebuit să fie executate de către comisii de experți externi (sau cu ajutorul acestora) (a se vedea anexa II). În pofida dificultăților legate de găsirea unor experți corespunzători, astfel de comisii oferă posibilitatea asigurării transparenței și a unui anumit grad de independență, a facilitării implicării factorilor interesați și a valorificării cunoștințelor dobândite cu privire la programele-cadru în sine, la evaluare și la aspectele științifice subiacente.

58. Acest lucru a fost confirmat de sondajele realizate de Curte, în urma cărora a reieșit că respondenții percep acest tip de sistem de evaluare pus în aplicare de Comisie ca furnizând o garanție de independență (a se vedea figura IV).

Deficiențele metodei „comisiilor de experți”, în forma în care este aceasta aplicată de către Comisie

59. În ciuda acestei percepții pozitive, membrii comisiilor și factorii interesați au semnalat Curții, în timpul auditului, că modul de utilizare de către Comisie a comisiilor de evaluare a programelor-cadru s-a caracterizat prin următoarele deficiențe: — comisiile de evaluare se înființează, de obicei, cu mai puțin de un an înainte de data la care trebuie să își prezinte raportul și se reunesc într-un număr redus de ședințe. Din acest motiv, membrilor comisiilor le este dificil să influențeze definirea datelor și a analizei necesare pentru a-și putea desfășura activitatea. De asemenea, dat fiind caracterul ad hoc și temporar al acestor comisii, nu este ușor să se acumuleze cunoștințe privind programele și nu se poate proceda la urmărirea în timp a problemelor relevante. Această deficiență devine semnificativă în special atunci când (așa cum este cazul PC7) sunt planificate mai multe exerciții importante de evaluare în decursul perioadei de programare (a se vedea anexa II). Această organizare a sistemului de evaluare se deosebește, de asemenea, de practica Comisiei în ceea ce privește grupurile sale consultative de experți pentru programele-cadru, care sunt organisme permanente (34). Aceeași situație este valabilă și în Canada (35), unde comisiile de evaluare sunt permanente, pentru a garanta o abordare consecventă și coerentă (a se vedea anexa III); — atunci când definește mandatul comisiilor și formulează întrebările în vederea evaluării, Comisia nu se consultă cu factorii interesați externi, cum ar fi întreprinderile și organismele de cercetare importante care iau parte la programele-cadru. Această problemă a fost constatată și de comisia de monitorizare din 2004, care a remarcat că utilizatorii potențiali ar trebui să fie implicați în acest proces încă din fazele incipiente (36); și — comisiile de acest fel funcționează într-un mod care se deosebește de „evaluarea colegială” (inter pares). Membrii acestora nu au suficient timp pentru a efectua ei înșiși evaluări, astfel încât consilierea pe care o oferă se bazează, de regulă, pe date și probe care le sunt puse la dispoziție din alte surse. Ca urmare a constrângerilor de ordin temporal, astfel de comisii nu au avut decât rareori ocazia de a comanda efectuarea unor studii suplimentare care le erau necesare pentru a putea aborda temele ce le erau specificate în mandat. În practică, comisiile de evaluare cincinală au avut la dispoziție, cu câteva excepții, numai informații puse la dispoziție de către Comisie.

Resursele

Nu există resurse alocate special pentru evaluarea programelor-cadru

60. Fondurile pentru evaluare se prevăd anual, în funcție de nevoile exprimate de direcțiile generale care pun în aplicare programele-cadru. În prezent, aceste fonduri sunt furnizate dintr-o combinație de resurse la nivel de Comisie, care provin de la DG Buget, și de resurse la nivelul direcțiilor generale în cauză, care provin din segmentul bugetar pentru cheltuieli administrative alocat acestora. În plus, anumite măsuri sunt finanțate ca acțiuni indirecte de la bugetul operațional al programelor-cadru. Aceasta implică faptul că nu există o sumă prevăzută special pentru evaluare.

61. În 2006, la nivelul întregii Comisii, media personalului care lucra în domeniul evaluării și al gestionării pe activități era estimată la aproximativ 1 % din totalul personalului (37). La nivelul Direcției Generale Cercetare și al Direcției Generale Societate Informațională, aceste cifre erau, pentru activitățile de monitorizare și evaluare din cadrul programelor-cadru de cercetare și dezvoltare tehnologică, 1,2 % și, respectiv, 1,3 %. În cazul Direcției Generale Cercetare, peste două treimi din aceste resurse umane erau însă repartizate mai curând departamentelor responsabile de funcționarea programelor decât unității de evaluare, iar evaluarea reprezenta doar una dintre multiplele sarcini de serviciu care le erau atribuite.

Finanțarea evaluării programelor-cadru este mai redusă decât nivelul recomandat de Comisie

62. Resursele destinate evaluării se pot exprima și ca un procent din totalul creditelor bugetare alocate programului în cauză. Conform cifrelor obținute în cadrul auditului, pentru finanțarea evaluării programelor de cercetare în statele membre ale UE se alocă, în general, între 0,1 % și 2 %. Orientările elaborate de Comisie recomandă ca evaluării să îi fie destinat un procent de 0,5 % din bugetul programului (38). Cu toate acestea, în cazul programelor de mai mare amploare, ar putea fi suficientă o proporție mai mică din bugetul acestora, grație economiilor de scară.

63. În urma unei comparații realizate între cifrele aferente cheltuielilor realizate de Comisie pentru evaluare în perioada 2003-2006 și creditele bugetare ale fiecărei direcții generale, se poate observa că media globală se situează undeva în jur de 0,15 %, un procent considerabil mai scăzut decât nivelul sugerat de Comisie. O analiză mai aprofundată pentru anul 2006 evidențiază că DG Societate Informațională a cheltuit pe evaluare de aproximativ patru ori mai mult decât DG Cercetare, în raport cu creditele care le-au revenit. De asemenea, la DG Cercetare, pentru evaluare se repartizează, pentru fiecare milion de euro din bugetul anual, numai un procent de 0,7 % dintr-un echivalent normă întreagă. Spre deosebire de această direcție generală, DG Societate Informațională repartizează, în același scop, un procent dublu de resurse umane.

64. După cum ilustrează prezentul raport, rezultatul acestor eforturi suplimentare depuse de DG Societate Informațională a avut drept efecte faptul că evaluarea s-a bucurat de o sferă de acoperire mai cuprinzătoare (a se vedea punctele 13 și 46) și că, după cum indică eșantionul de studii de evaluare examinat de Curte, s-au utilizat metodologii mai bine adaptate nevoilor de evaluare (a se vedea punctul 84).

65. O estimare a costurilor efectuată de Curte, pe baza datelor furnizate de Comisie, arată că un sistem de evaluare întemeiat pe propunerile formulate în prezentul raport ar reprezenta, în medie, mai puțin de 0,4 % din creditele bugetare pentru PC7. Acest procent ar acoperi costurile comisiilor de evaluare și ale studiilor subcontractate, cheltuielile atât cu personalul biroului de evaluare comun, cât și cu cel al unităților de evaluare actuale de la nivelul direcțiilor generale, precum și alte cheltuieli diverse (39).

Recomandări

66. Direcțiile generale cu competențe în cercetare ar trebui să aibă în vedere înființarea unui birou de evaluare comun, pe lângă unitățile de evaluare existente deja în cadrul fiecărei direcții generale. În concordanță cu practica actuală din alte domenii de politici, acest birou ar putea să coordoneze activitățile de evaluare ale Comisiei pentru programul-cadru în ansamblu. Astfel de funcții comune de sprijin au fost recomandate în trecut pentru direcțiile generale care pun în aplicare programele-cadru (40) și pot deveni cu atât mai importante în viitor, datorită creării Consiliului European al Cercetării și delegării punerii în aplicare a programelor către agenții executive. 67. Comisia ar trebui să recurgă în continuare la asistența comisiilor de evaluare. Cu toate acestea, Comisia ar trebui să găsească o modalitate prin care să adapteze structura acestor comisii la structura generală a programului-cadru. Aceasta se poate realiza prin instituirea unei comisii pentru fiecare program și, după caz, fiecare subprogram specific (a se vedea anexa IV). De asemenea, aceste comisii de evaluare ar trebui înființate cu suficient timp înainte, pentru a putea furniza un sprijin eficace Comisiei și ar trebui să mențină acest efort pe toată durata perioadei de programare, precum și ulterior. 68. Comisia ar trebui să reanalizeze resursele destinate evaluării programelor-cadru și a programelor constitutive ale acestora.

Metodologiile și tehnicile de evaluare

69. Pentru a obține o evaluare eficace, este necesară utilizarea unor metodologii și tehnici corespunzătoare. Curtea a verificat dacă existau orientări precise pentru evaluarea programelor-cadru, dacă necesarul de informații a fost analizat în mod adecvat și în timp util și dacă evaluatorilor li s-au pus la dispoziție date relevante. Ținând seama de studiile privind evaluarea efectuate de către Comisie (sau în numele acesteia), Curtea a examinat dacă tehnicile utilizate pentru diferitele studii furnizau o bază suficientă pentru a răspunde întrebărilor formulate pentru evaluările cincinale. Curtea a luat în considerare, de asemenea, contribuția pe care evaluările la nivel național o pot aduce evaluării programelor-cadru.

Introducerea unor standarde și a unor orientări specifice programelor-cadru

70. DG Buget a publicat un număr de comunicări în care își prezintă politica de evaluare și în care furnizează norme pentru aplicarea acesteia. DG Buget a elaborat, de asemenea, o serie de standarde aplicabile la nivel de Comisie (a se vedea punctele 14 și 55) (41). Pentru alte domenii de politici, direcțiile generale de resort au elaborat, și ele, ghiduri de evaluare specifice (42).

71. Nu acesta este însă și cazul programelor-cadru. Există un număr de ghiduri și de seturi de instrumente metodologice care se referă la activitățile de evaluare în domeniul cercetării și care au fost publicate (sau finanțate) de către Comisie (43). Cu toate acestea, aceste documente nu furnizează orientări specifice privind modalitatea de efectuare a evaluărilor programelor-cadru, nici nu explică cum trebuie utilizate conceptele-cheie sau terminologia de către personalul Comisiei sau de către experții externi. Aceste deficiențe au contribuit la problemele discutate mai jos.

Necesarul de date și colectarea datelor

O analiză insuficientă a necesarului de informații

72. Direcțiile generale cu competențe în cercetare nu au acordat suficientă atenție definirii acelor date care sunt necesare în scopul evaluării și al monitorizării. În loc să se efectueze o analiză sistematică și aprofundată a necesarului de informații, Comisia a formulat cerințele privind datele tardiv în cursul perioadei de programare și fără a ține seama de nevoile generale în materie de evaluare. Chestionarul socioeconomic aplicat pentru PC6 a reprezentat singura tentativă a direcțiilor generale de a conveni cu privire la aceste date (a se vedea punctul 76). Însă acest chestionar a fost finalizat în 2004 (după trei ani de la începerea perioadei de programare) și face referire în principal la aspecte precum participarea cercetătorilor de ambele sexe și impactul asupra mediului, mai curând decât la realizări științifice (cum ar fi subiecte legate de proprietatea intelectuală, publicații etc.), efecte și impacturi.

73. Evaluarea programelor se bazează în mare parte pe disponibilitatea a trei tipuri de date: — date colectate în funcție de indicatori de eficacitate, a căror analiză furnizează informații cu privire la stadiul în care se află atingerea obiectivelor programului. Datorită lipsei menționate anterior a unei logici de intervenție, definirea unor asemenea indicatori a fost dificilă (a se vedea punctul 30). În practică, datele colectate nu prezentau un nivel ridicat de relevanță pentru măsurarea atingerii obiectivelor programului; — date privind gestionarea programului (în funcție de indicatori de eficiență); și — date privind participanții (cum ar fi ratele de participare a organismelor de cercetare importante).

74. Ultimele două tipuri de date, în special, ar trebui să fie disponibile în cadrul Comisiei. Cu toate acestea, datorită problemelor survenite la nivelul sistemelor informatice interne ale Comisiei, care reprezintă sursa principală de informații privind gestionarea programelor și participanții (44), au existat, în practică, dificultăți majore în această privință (45).

75. Aceste dificultăți sunt ilustrate prin întârzierile considerabile intervenite în transmiterea rapoartelor prevăzute la articolul 173 și a rapoartelor anuale de monitorizare (întârzieri de până la 16 luni pentru rapoartele prevăzute la articolul 173 (46) și de până la 7 luni pentru rapoartele anuale de monitorizare, în cursul perioadei 2002-2005). Dat fiind că aceste informații erau întotdeauna furnizate cu întârziere, utilitatea lor era limitată.

Ineficacitatea modalității de obținere a datelor de evaluare de la participanți

76. Începând cu PC5, Comisia a impus sistematic participanților, prin contract, obligația de a furniza datele necesare pentru măsurarea atingerii obiectivelor programului din perspectiva realizărilor, a efectelor și a impacturilor. Prin urmare, participanții aveau obligația: — în cadrul PC5, de a prezenta un „plan de punere în aplicare tehnologică”, precum și, după finalizarea proiectului, un raport final. Aceste documente aveau adesea un nivel de calitate slab sau nu erau prezentate deloc; — în cadrul PC6, de a elabora un „plan de difuzare și valorificare a cunoștințelor” și, odată cu prezentarea rapoartelor tehnice anuale, de a răspunde la un chestionar-tip referitor la aspecte socioeconomice.

77. Aceste obligații contractuale privind comunicarea datelor au determinat, pentru participanți, un volum de muncă administrativă inutilă. De exemplu, în ceea ce privește chestionarul anual pentru PC6, datele au fost colectate mult mai frecvent decât era necesar și, în plus, de la toți participanții, deși ar fi fost suficient numai un eșantion reprezentativ. Această situație riscă să conducă la o senzație de „saturație” față de evaluare. Mai mult, aceste informații nu au fost colectate la momentul potrivit; întrucât multe din problematicele subiacente pentru care s-au colectat datele sunt relevante pe termen mediu sau lung, colectarea datelor pe parcursul duratei contractuale a proiectului este, prin definiție, prematură (47). Acesta este motivul pentru care, în practică, informațiile furnizate prin intermediul acestor instrumente au prezentat o utilitate redusă pentru evaluările efectuate în cadrul PC5 și PC6.

78. Cu toate acestea, niciunul dintre sistemele puse în aplicare nu prevede colectarea standardizată a informațiilor la sfârșitul duratei unui proiect (sau la scurt timp după aceea). Factorii interesați interogați au sugerat că aceste informații ar putea să facă referire, de exemplu, la atingerea obiectivelor proiectelor, la rezultatele scontate (și nescontate) și la identificarea de către participanți a plusului de valoare pe care îl aduce dimensiunea comunitară a programului. Astfel de informații ar putea, de asemenea, servi drept bază pentru examinarea externă a proiectelor finalizate (48).

79. Colectarea unor astfel de informații, împreună cu o utilizare la scară mai largă a metodologiilor scientometrice (cum ar fi analiza citatelor) pentru evaluarea rezultatelor proiectelor (a se vedea punctul 83), ar putea servi drept bază Comisiei în vederea trecerii la un sistem de finanțare a activităților de CDT cofinanțate de către Comunitate (49) care să se bazeze într-o mai mare măsură pe rezultate.

Insuficienta utilizare a altor surse de date

80. Nu se recurge în mod suficient la alte surse de date existente la nivelul Comisiei sau al statelor membre [de exemplu, baze de date ale programelor de CDT naționale și ale agențiilor de finanțare în domeniul cercetării, precum și Serviciul comunitar de informare privind cercetarea și informarea – „Community Research & Development Information Service” (CORDIS) – gestionat de Oficiul pentru Publicații al Comisiei (50)].

Studiile de evaluare realizate de Comisie

Rapoartele examinate de Curte

81. Curtea a examinat 86 de studii de evaluare realizate de către Comisie (sau comandate de aceasta) din 2000. În acest număr sunt cuprinse toate cele 36 de studii care au stat la baza evaluării cincinale publicate în 2004, precum și cele 50 de studii finalizate de la acea dată. Dintre acestea, numai 23 de studii pot fi considerate ca fiind evaluări veritabile ale programelor-cadru și ale programelor constitutive ale acestora (a se vedea figura 5). Figura 5 Privire de ansamblu asupra studiilor de evaluare realizate de către Comisie (sau la comanda acesteia) în perioada 2000-2006 Tip de studiu Număr Descriere Evaluări ale activităților programelor-cadru 23 Studii de evaluare — care se bazează pe metodologii recunoscute (51); — care fac referire în mod explicit la obiectivele programelor și la gradul de atingere a acestor obiective. Studii naționale de impact întreprinse la nivelul statelor membre 12 Studii realizate de statele membre, ce abordează în principal problema ratelor naționale de participare, fără să formuleze concluzii cu privire la obiectivele programului. Studii metodologice 5 Studii organizate de Comisie în vederea sprijinirii elaborării de metodologii de evaluare. Studii privind mediul european de cercetare și dezvoltare tehnologică 2 Studii ce vizează analize contextuale privind sectorul european al cercetării, fără a face referire la programele-cadru. În special, nu se dezbat în niciun fel efectele programelor-cadru asupra sistemelor naționale de cercetare și inovare. Documente statistice și descriptive neanalitice 33 Documente care tratează în general într-un mod foarte indirect despre activitățile programelor-cadru, mai curând prin descrierea acestora, decât prin analizarea lor. Alte documente 11 Serie de documente care abordează teme ce prezintă un interes general din perspectiva politicilor, fără a examina însă programele-cadru în acest context.

Evaluările se axează mai curând pe probleme legate de monitorizare decât pe efecte și impacturi

82. În urma metaanalizei efectuate de Curte cu privire la aceste studii de evaluare specifice, s-au desprins două observații principale: — deși multe dintre aceste studii încearcă să prezintă concluzii cu privire la obiectivele programului, formularea vagă a acestor concluzii nu reușește să îl convingă pe cititor că evaluarea a abordat într-adevăr acest aspect. Această lipsă de putere de convingere decurge din faptul că absența unor obiective clar definite ale programului compromite în mod fundamental acest proces (a se vedea punctul 28); — în loc să evalueze efectele și impacturile programelor-cadru sau ale programelor (și ale subprogramelor) specifice din cadrul acestora, multe dintre documente se mărginesc să le descrie și, în cel mai bun caz, se concentrează pe realizările imediate ale proiectelor și pe problemele de gestionare a acestora. Aceste rapoarte nu sunt capabile să furnizeze probe convingătoare cu privire la efecte sau impacturi.

Nu s-a acordat suficientă atenție elaborării unor metodologii inovatoare

83. Pentru evaluările efectuate în perioada 2000-2006, predomină metodologiile și tehnicile tradiționale (în special sondajele, analiza documentară și interviurile) (a se vedea figura 6). Nu s-a recurs deloc (sau s-a recurs foarte rar) la alte metodologii și tehnici de evaluare mai sofisticate, dar totuși bine intrate în uz, printre care: — abordările scientometrice (cum ar fi analiza citatelor) (52); — modelele cantitative (cum ar fi analiza rapoartelor costuri-eficiență, costuri-eficacitate și costuri-beneficii) (53); sau — modele de actanți (sau de comportament) (care se axează pe punctele de vedere ale persoanelor implicate într-o intervenție, cum ar fi caracteristicile rețelelor de cercetare și schimbările care le afectează pe acestea în decursul timpului).

84. Doar într-un număr limitat de cazuri s-a făcut apel la studii de evaluare care încearcă să soluționeze unele dintre dificultățile metodologice de evaluare a intervenției publice în cercetare (a se vedea anexa I): — recent, au fost finalizate două studii pe tema logicii de intervenție (54); — s-au putut identifica numai trei studii în care se încearcă să se evalueze efectul pe care l-a avut finanțarea comunitară asupra comportamentului de colaborare în rețea al organizațiilor de cercetare la nivel paneuropean (55), și asta în pofida faptului că în centrul conceptului de Spațiu European de Cercetare (SEC) se află însăși ipoteza efectelor pozitive ale activității în rețea; — s-a făcut o singură tentativă de a trage concluzii cu privire la impactul obținut la nivel de program (sau de subprogram) prin combinarea ansamblului agregat de analize de evaluare de la nivel de proiect cu alte tehnici de evaluare (56); și — nu există nicio dovadă care să ateste că s-a recurs la alte metodologii, cum ar fi abordările bazate pe gândirea ipotetică (sau pe „grupurile martor”). Această abordare și-ar dovedi utilitatea în special pentru a ilustra plusul de valoare adus de programele de nivel comunitar în comparație cu situația existentă în cazul neintervenției (sau al intervenției numai la nivel național sau regional).

85. În opinia factorilor interesați intervievați de Curte, utilitatea și relevanța evaluărilor Comisiei ar putea face obiectul unor îmbunătățiri. Aceasta demonstrează necesitatea de a continua dezvoltarea metodologiei, astfel încât sistemul de evaluare să poată ține pasul cu modificările aduse programelor-cadru, programele-cadru având un caracter dinamic (a se vedea punctul 7) (57).

Problemele ridicate de evaluările cincinale nu au putut fi abordate pe baza studiilor de evaluare specifică ale Comisiei

86. Această constatare este ilustrată, de asemenea, de dificultățile considerabile cu care s-a confruntat comisia de evaluare cincinală din 2004 (58) în cadrul demersului de a răspunde la întrebările de evaluare sugerate în mandatul său. De fapt, multe dintre aceste întrebări problematice nici nu au putut fi abordate, deoarece lipseau studiile adecvate realizate în prealabil de Comisie (sau comandate de aceasta), iar membrii comisiei de evaluare se aflau în imposibilitatea de a comanda astfel de studii în timp util (a se vedea figura 7). Figura 7 Întrebări abordate în cadrul evaluării cincinale din 2004 Întrebare adresată în scopul evaluării A fost abordată în raport? PUNEREA ÎN APLICARE Activitățile au fost desfășurate în mod eficient? parțial Activitățile s-au încadrat într-un raport costuri/eficacitate avantajos? parțial Activitățile în cauză au constituit cea mai bună cale de a atinge obiectivele stabilite? nu Cadrul juridic general (inclusiv normele de participare și de contractare), instrumentele de politici și normele de aplicare au fost clare, adecvate și eficace? nu Finanțarea și alte resurse disponibile au fost la un nivel adecvat? nu Mediile industriale și de cercetare vizate, inclusiv IMM-urile, au putut reacționa adecvat? da REZULTATE Activitățile și-au atins obiectivele aferente? În ce măsură s-au înregistrat rezultate neprevăzute? nu Care sunt principalele rezultate, în special din perspectiva realizărilor științifice, tehnologice, socioeconomice și ecologice, din perspectiva cooperării internaționale, a transferului de cunoștințe și a inovării, a activităților prenormative, a accesibilității, a difuzării și a exploatării rezultatelor de cercetare, a dezvoltării resurselor umane, a mobilității și a formării, precum și din perspectiva susținerii și a consolidării coordonării activităților de cercetare? nu Rezultatele, precum și efectele și impacturile acestora s-au dovedit a fi satisfăcătoare la nivel global din punctul de vedere al beneficiarilor direcți sau indirecți și al factorilor interesați? nu S-a ținut seama într-o măsură suficientă de mediile industriale și de cercetare relevante, inclusiv de IMM-uri? da În ce fel și în ce măsură au contribuit aceste activități la îmbunătățirea competitivității la nivel internațional a cercetării desfășurate în cadrul UE? Cercetarea desfășurată în cadrul UE a obținut o poziție dominantă în anumite domenii? parțial În ce fel și în ce măsură au contribuit aceste activități la politicile comunitare, în general, și la strategia Uniunii de dezvoltare durabilă? nu Există dovezi care să indice o modificare structurală, inclusiv, în special, o interconectare în rețea, o integrare și coordonare a cercetării, la nivel național sau internațional, ca urmare a activităților comunitare de cercetare? nu Programele au avut rezultate optime, având în vedere resursele utilizate? Activitățile au avut un impact durabil? nu EVOLUȚIA ȘI PERSPECTIVELE VIITOARE În ce mod au evoluat programele-cadru din punctul de vedere al logicii, al obiectivelor, al priorităților tematice, al echilibrului dintre prioritățile generate de la nivelul de bază și cele generate de la nivelul cel mai înalt și dintre cercetarea fundamentală și cea aplicată, al instrumentelor, al plusului de valoare comunitar și al altor impacturi, în special având în vedere apariția conceptului de Spațiu European de Cercetare (SEC), obiectivele de la Lisabona și principalele criterii de referință internaționale în domeniul economic și cel al cercetării? da Care este modul în care programul-cadru a adus un plus de valoare european? da Plusul de valoare european poate fi adus și prin intermediul altor mecanisme internaționale sau naționale? nu Obiectivele în materie de politici, prioritățile, instrumentele și ciclul de viață al programelor sunt adecvate în perspectiva viitorului? da

87. Mai mult, s-a remarcat că, dintre toate întrebările specificate în mandatul lor de evaluare, membrii comisiei nu au fost măsură să răspundă decât la acelea care se refereau la aspecte pentru care se stabiliseră, în programe, obiective clare și cuantificabile (cum ar fi ponderea întreprinderilor mici și mijlocii participante).

Evaluările programelor-cadru efectuate la nivel național

88. Un număr de state membre și de țări asociate procedează la propriile evaluări naționale ale programelor-cadru, care abordează subiecte ce prezintă interes și relevanță din punctul lor de vedere (59). În decursul ultimilor opt ani, s-au realizat 14 astfel de studii, pentru nouă state membre și o țară asociată.

89. Deși Comisia a încurajat utilizarea, acolo unde era posibil, a unor abordări standardizate, aceste studii de impact naționale s-au dovedit a avea un caracter foarte eterogen (60). Drept consecință, întrucât nu urmează o metodologie armonizată, posibilitățile de a agrega, combina sau compara rezultatele sunt limitate. Mai mult, dat fiind caracterul lor național, aceste studii nu pot surprinde decât parțial dimensiunea cooperării europene.

90. În Cartea verde privind Spațiul European de Cercetare (SEC) din 2007, Comisia a afirmat importanța punerii la dispoziție, la nivelul SEC, a unor analize precise privind impactul și eficacitatea activităților și a politicilor de cercetare, atât analize realizate de statele membre, cât și de Uniunea Europeană. În același timp, Comisia a recunoscut că mecanismele existente nu erau adecvate pentru a duce la îndeplinire o astfel de sarcină, deoarece fiecare nivel de intervenție își realiza propriile evaluări, separat de celelalte (61).

Recomandări

91. Comisia ar trebui să elaboreze un manual de evaluare a activităților finanțate de programele-cadru, care să furnizeze definiții pentru conceptele-cheie și pentru terminologia specifică și să identifice o serie de metodologii corespunzătoare pentru anumite activități de evaluare. Acest manual ar trebui să se bazeze pe ghiduri și seturi de instrumente deja existente și să fie actualizat periodic. 92. Comisia ar trebui să își precizeze necesarul de informații, ținând seama de necesitatea de a diminua volumul de muncă administrativă care le revine participanților. 93. Comisia ar trebui să furnizeze informații privind monitorizarea punerii în aplicare a programelor-cadru, în timp util. În conformitate cu prevederile „normelor de participare” ale celui de Al șaptelea program-cadru, este necesar să se procedeze la soluționarea urgentă a problemelor legate de sistemele informatice ale Comisiei care permit exploatarea datelor privind gestionarea programelor și participanții. 94. Ar trebui să se reducă semnificativ obligațiile participanților în ceea ce privește raportarea către Comisie, iar sondajele ar trebui să se efectueze numai pe bază de eșantioane reprezentative. Obligația contractuală de a prezenta, pentru fiecare proiect, date privind impactul bazate pe indicatori ar trebui să se înlocuiască cu obligația de a efectua o scurtă autoevaluare la finalizarea proiectului. 95. În cadrul evaluărilor pe care le realizează, Comisia ar trebui să facă apel în mai mare măsură la alte surse complementare existente care conțin date relevante (surse atât din cadrul Comisiei, cât și din cadrul statelor membre). 96. Comisia ar trebui să utilizeze întreaga gamă a tehnicilor de evaluare disponibile. În plus, aceasta ar trebui să sprijine elaborarea unor abordări inovatoare de soluționare a dificultăților metodologice inerente evaluării intervenției publice în cercetare (a se vedea anexa I) și să recurgă la aceste abordări în cadrul propriilor evaluări. 97. Comisia ar trebui să se consulte cu statele membre pentru a identifica modul în care s-ar putea maximiza beneficiile evaluărilor efectuate la nivel național în ceea ce privește programele-cadru.

Difuzarea și exploatarea constatărilor evaluărilor

98. Evaluarea ar trebui să furnizeze analize și informații relevante care să poată fi utilizate cu eficacitate în scopul gestionării programelor și al elaborării politicilor. Evaluarea ar trebui, în special, să constituie fundamentul pentru demersul de reflecție fundamentată la atuurile și deficiențele unei intervenții publice, demers care este necesar pentru desfășurarea cu succes a procesului de învățare. Curtea a verificat în ce măsură evaluările s-au efectuat în timp util, în ce măsură constatările au fost comunicate și difuzate factorilor interesați din afara Comisiei, precum și în ce măsură recomandările au fost luate în considerare de Comisie în vederea revizuirii programelor în derulare („programe care învață din mers”).

Programarea evaluărilor nu a ținut seama de tipul de informații pe a căror obținere se putea conta în mod realist

99. Curtea recunoaște că anumite tipuri de analiză necesită o perspectivă pe termen lung (de exemplu, evaluarea efectelor și a impactului socioeconomic) și că anumite aspecte țin de o perioadă de programare specifică (de exemplu, obiectivele programelor, chiar în cadrul aceluiași domeniu științific dat), în timp ce altele nu (a se vedea figura 8). Cu toate acestea, Comisia nu a adoptat, pentru activitățile sale de evaluare, o abordare care să ia în considerare aceste repere temporale.

100. Conform legislației, activitățile principale de evaluare ale Comisiei trebuie să se axeze exclusiv pe cei cinci ani care precedă evaluarea cincinală, acoperind, prin urmare, segmente din două perioade de programare succesive. Consecința a fost că nu s-au luat aproape deloc în considerare efectele și impacturile pe termen mediu și lung. Drept urmare, de cele mai multe ori, evaluările cincinale s-au axat în principal pe aspecte de monitorizare, pe probleme care sunt legate de conceperea programelor și care sunt relevante pe termen scurt, precum și pe observații generale referitoare la orientarea programelor-cadru. Curtea salută faptul că legislația privitoare la cel de Al șaptelea program-cadru nu mai prevede evaluări cincinale, după cum, de altfel, nu mai prevede o perioadă prestabilită ca sferă de acoperire a evaluării. Figura 8 Aspecte privind monitorizarea și evaluarea în funcție de diferite repere temporale Monitorizarea punerii în aplicare a programului (în cursul programului) — Aspecte privind gestionarea programului (de exemplu, termenul de atribuire a contractelor, termenul de plată, rata înscrierii și rata reușitei, execuția bugetară, ratele de finanțare etc.) Evaluare pe termen scurt (de exemplu, cel mai devreme după 1-2 ani) — Aspecte privind gestionarea programului (de exemplu, eficiența procedurilor administrative) — Aspecte privind conceperea programului (de exemplu, accesibilitatea și flexibilitatea instrumentelor, obstacolele din calea participării, consecințele insuccesului înregistrat de cererile de propuneri etc.) — Analiza profilului de participare (în principal cantitativă în această fază) Evaluare pe termen mediu (de exemplu, după 7 ani) — Aspecte privind conceperea programului (de exemplu, eficacitatea instrumentelor) — Aspecte privind conceperea programului (de exemplu, eficacitatea instrumentelor) — Analiza realizărilor concrete ale proiectelor (62) (de exemplu, publicații, lucrări științifice prezentate la conferințe, brevete de invenție, licențe, prototipuri, standarde, oameni de știință care au beneficiat de formare etc.) Evaluare pe termen lung (de exemplu, după mai mult de 10 ani) — Evaluarea efectelor și a impactului Sursa: Curtea de Conturi Europeană

101. Carențele evaluărilor cincinale în ceea ce privește evaluarea efectelor și a impacturilor programelor-cadru au fost subliniate și de către experții Comisiei: — comisia de evaluare cincinală din 2004 a făcut următoarele observații: evaluarea ar trebui să vizeze atât aspectele pe termen lung, cât și pe cele pe termen scurt, și să le acorde amândurora suficientă atenție; s-ar putea debloca suficiente resurse, astfel încât să se permită realizarea unor studii de evaluare pe termen lung mai ambițioase, care ar putea explora în mod mai sistematic aspectele structurale și pe cele socioeconomice de amploare mai mare (63); — un studiu comandat de DG Cercetare a condus la următoarea constatare: practicile actuale de evaluare aplicate de UE în domeniul cercetării și dezvoltării tehnologice (printre care se pot enumera monitorizarea continuă, evaluările cincinale și evaluarea intermediară) se caracterizează prin plasarea accentului mai curând pe monitorizare decât pe evaluarea impactului; și, pentru a deplasa cererea și așteptările în sensul impactului socioeconomic, ar fi necesar un cadru nou de evaluare și monitorizare care să prevadă un demers mai activ la nivelul impactului decât la cel al monitorizării realizărilor concrete (64).

102. Această problemă care ține de calendarul exercițiilor de evaluare afectează, de asemenea, evaluările specifice prevăzute în legislație. Astfel s-a întâmplat în cazul raportului Marimón din 2004, care a analizat noile instrumente introduse în cadrul PC6 (2003-2006) și care a fost solicitat prea devreme, rezultatul fiind că experimentele practice și dovezile empirice care ar fi trebuit să stea la baza concluziilor erau insuficiente sau inexistente (65).

Comunicarea și difuzarea

103. Comisia are libertatea de a elabora și adapta programe de lucru operaționale pe cicluri de scurtă durată, sub rezerva obținerii aprobării comitetului responsabil de programul în cauză. O astfel de opțiune ar putea reprezenta o bună ocazie de a aduce modificări în gestionarea programelor, precum și de a realoca bugetele în cadrul subprogramelor. Nu există însă dovezi potrivit cărora Comisia ar fi recurs la această posibilitate (a se vedea punctul 107).

104. Dincolo de opțiunea menționată, dat fiind modul în care sunt concepute și adoptate programele-cadru, Comisiei îi este practic imposibil să realizeze schimbări semnificative, cum ar fi modificarea obiectivelor programelor sau realocarea bugetelor de la un subprogram la altul. Numai legislatorul este cel care poate promulga modificări de o asemenea amploare, cu ocazia unei revizuiri a legislației privind programul-cadru (de exemplu, în 2010, pentru PC7) sau a adoptării programului-cadru următor. Acesta este motivul pentru care în legislație s-a prevăzut, de regulă, ca principalele exerciții de evaluare să fie astfel programate, încât să existe o utilitate cât mai mare pentru luarea în considerare a rezultatele lor în vederea elaborării politicilor.

105. Se poate trage concluzia că printre principalii utilizatori ai evaluărilor realizate de Comisie se numără chiar direcțiile generale cu competențe în cercetare (66). Cu toate acestea, legislația cu privire la programele-cadru prevede, de asemenea, în mod explicit, comunicarea evaluărilor și către Parlamentul European, și Consiliu.

106. Cu ocazia sondajului desfășurat de Curte în rândul membrilor comitetului ITRE din cadrul Parlamentului European și al membrilor comitetului CREST din cadrul Consiliului, majoritatea respondenților au declarat însă că nu se consideră suficient de informați cu privire la punerea în aplicare și la rezultatele programelor-cadru (a se vedea figura 9) (67).

Urmărirea constatărilor evaluărilor

107. În rapoartele sale anuale de evaluare, Comisia realizează o sinteză a constatărilor făcute și a măsurilor luate în urma evaluărilor pe care le-a efectuat (68). În contextul de urmărire a evaluărilor, Comisia a furnizat, de asemenea, o serie de răspunsuri oficiale la constatările și recomandările formulate de evaluările cincinale și de cele specifice prevăzute în legislație și a întreprins, în măsura posibilului, demersurile corespunzătoare pentru a remedia deficiențele identificate cu ocazia derulării acestora. Nu acesta a fost însă și cazul unei serii de alte numeroase rapoarte de evaluare care au fost examinate, neexistând probe care să indice că s-a ținut seama de constatările și recomandările acestora în vederea aducerii unor modificări programelor de lucru. De altfel, declarațiile referitoare la bugetul întocmit pe activități și rapoartele anuale de activitate ale direcțiilor generale nu indică, nici ele, în ce măsură s-a dat vreun curs constatărilor stabilite în urma evaluărilor.

Recomandări

108. Comisia ar trebui să stabilească ce așteptări pot exista în mod rezonabil în ceea ce privește tipul evaluării și sfera acesteia, având în vedere datele specificate în legislație (2008, 2010 și 2015), să explice modul în care se pot utiliza evaluările în vederea adaptării programelor („programe care învață din mers”) și să specifice ce contribuție pot aduce evaluările la procesul decizional de elaborare a politicilor. Comisia ar trebui, în special, să își clarifice abordarea pe care intenționează să o adopte cu privire la evaluarea rezultatelor pe termen mai lung ale programelor-cadru actuale și anterioare, dat fiind că poate fi necesar să se aștepte între 7 și 10 ani pentru a constata beneficiile pe care le aduc astfel de rezultate (a se vedea figura 8). 109. Comisia ar trebui să își reanalizeze practicile de comunicare și difuzare a constatărilor stabilite în urma evaluărilor, asigurându-se că factorii interesați primesc informațiile necesare. În special, direcțiile generale cu competențe în cercetare ar trebui să aibă o reacție oficială la toate evaluările și să facă publice în timp util aceste studii de evaluare, care să fie însoțite și de răspunsurile lor. Direcțiile generale cu competențe în cercetare ar trebui, de asemenea, să furnizeze, în declarațiile referitoare la bugetul întocmit pe activități și în rapoartele anuale de activitate, o dare de seamă privind modul în care s-a dat curs constatărilor evaluărilor și să țină seama de recomandările făcute la actualizarea programelor de lucru și conceperea programelor viitoare.

CONCLUZIE GENERALĂ

110. Curtea recunoaște că evaluarea programelor de cercetare și dezvoltare tehnologică, în special analiza rezultatelor lor pe termen lung, este o sarcină dificilă în sine și că nu este ușor să se definească cele mai bune practici.

111. În opinia Curții, evaluarea este esențială pentru gestionarea programelor, planificarea viitoare și elaborarea politicilor. Evaluarea furnizează, de asemenea, o bază pentru actul de dare de seamă în ceea privește punerea în aplicare. Ea reprezintă o sursă de informații prețioase cu privire la următoarele aspecte: care sunt acele rezultate scontate (sau nescontate) care au putut fi obținute, în ce măsură au fost atinse obiectivele programelor, ce relevanță și utilitate prezintă programele și care este gradul de eficiență și eficacitate a punerii în aplicare a acestora. Având în vedere că orientarea generală, aspectele bugetare și concepția programelor-cadru sunt hotărâte de către Parlamentul European și Consiliu, este necesar un sistem de evaluare transparent, credibil și bine pus la punct, care să le furnizeze acestor instituții informații adecvate.

112. În 2000 și 2002, Comisia a instituit un cadru general de evaluare, pe care l-a revizuit ulterior în 2007. Cu toate că în cursul perioadei care a făcut obiectul auditului Curții nu s-au observat îmbunătățiri semnificative în ceea ce privește modul în care erau planificate, concepute și puse în aplicare evaluările programelor-cadru și ale programelor constitutive ale acestora, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale formulate la nivelul central al Comisiei.

113. Pentru perioada la care se referă prezentul raport, direcțiile generale cu competențe în cercetare dispuneau de un sistem de evaluare, astfel cum se prevedea în legislația privind programele-cadru, iar Comisia poate prezenta un corpus voluminos de studii de evaluare. Cu toate acestea, informațiile privind atingerea obiectivelor programelor și rezultatele acestora sunt, în realitate, foarte puține sau chiar inexistente. Acest lucru se datorează faptului că evaluările s-au axat în general pe aspecte relevante pe termen scurt legate de punerea în aplicare a programelor. Drept urmare, evaluările Comisiei au avut o utilitate limitată pentru factorii de decizie politică, pentru factorii interesați și pentru Comisia însăși.

114. Dată fiind importanța evaluării pentru gestionarea programelor și elaborarea politicilor, abordarea Comisiei față de evaluarea programelor-cadru și a programelor constitutive ale acestora trebuie reexaminată, ținând seama de noile provocări politice, de creșterea volumului finanțărilor, de extinderea orientării politicii comunitare de cercetare și de reforma recentă din cadrul Comisiei. Același lucru a fost recomandat și de EURAB în raportul său din 2007.

115. În opinia Curții, recurgerea în viitor la o logică de intervenție explicită în conceperea programelor-cadru ar conduce la o mai bună orientare și structurare a programelor acestora. Acest lucru ar contribui, de asemenea, la reușita inițiativei Comisiei de îmbunătățire a legiferării, care vizează crearea unui cadru de reglementare mai bine conceput, mai simplu, mai eficace și mai ușor de înțeles (69).

116. Evaluarea programelor-cadru și a programelor constitutive ale acestora ar fi mai eficace dacă obiectivele programelor și indicatorii ar fi stabiliți cu mai multă claritate de la bun început, dacă direcțiile generale cu competențe în cercetare care pun în aplicare programele-cadru s-ar pune de acord cu privire la o strategie de evaluare bine pusă la punct, dar nu exagerat de prescriptivă, și dacă s-ar utiliza metodologii de evaluare mai avansate, printre care și abordări cantitative.

117. Curtea a observat, de asemenea, că există o serie de privințe în care Comisia ar avea motive să își reanalizeze mecanismele organizatorice actuale de evaluare a programelor-cadru. S-ar putea obține o serie de avantaje prin întreprinderea următoarelor acțiuni: — implicarea comisiilor de evaluare mai devreme în decursul procesului de evaluare, furnizând, astfel, asistență Comisiei de-a lungul întregii perioade de programare și chiar și după încheierea acesteia, precum și sporirea gradului de specializare prin instituirea de comisii pentru programele specifice și, după caz, chiar și pentru subprograme; — completarea unităților de evaluare existente în cadrul fiecărei direcții generale cu un birou de evaluare comun, care să fie responsabil de coordonarea evaluărilor programelor-cadru.

118. Recomandările cuprinse în prezentul raport se bazează fie pe practicile existente în cadrul Comisiei, fie pe bunele practici de la nivel internațional. În ceea ce privește resursele, este evident că introducerea abordării sugerate pentru evaluarea programelor va atrage costuri mai mari. Cu toate acestea, Curtea este de părere că există o probabilitate ridicată ca această abordare să aducă beneficii financiare de cel puțin același ordin.

Prezentul raport a fost adoptat de Curtea de Conturi la Luxemburg, în ședința sa din 22 noiembrie 2007. Pentru Curtea de Conturi Hubert WEBER Președinte

(1) Conform OCDE, cercetarea și dezvoltarea se pot defini ca fiind orice activitate sistematică și creatoare inițiată pentru a spori volumul de cunoștințe, inclusiv cunoștințe despre om, cultură și societate, și utilizarea acestor cunoștințe pentru noi aplicații [a se vedea Manualul Frascati al OCDE – Proposed standard practice for surveys on research and experimental development (Propunere de practică standard pentru evaluarea cercetării și dezvoltării experimentale), Paris, 2002, p. 30]. În contextul comunitar se utilizează acronimul CDT, care se referă atât la tehnologie, cât și la cercetare și dezvoltare.

(2) DG Cercetare este principala direcție generală care gestionează și coordonează programele-cadru. Există alte cinci direcții generale care gestionează, de asemenea, (parțial) programe specifice, cea mai importantă dintre acestea fiind DG Societate Informațională și Mass-media (celelalte fiind DG Energie și Transport, DG Întreprinderi și Industrie, DG Pescuit și Centrul Comun de Cercetare al Comisiei).

(3) În 2000, Consiliul European de la Lisabona a stabilit ca obiectiv transformarea Uniunii Europene, până în anul 2010, în cea mai competitivă, dinamică și durabilă economie bazată pe cunoaștere din lume, cu o rată de ocupare a forței de muncă mai ridicată și o mai puternică coeziune socială și economică.

(4) În 2002, Consiliul European a convenit că ansamblul cheltuielilor pentru CDT și inovare în Uniunea Europeană ar trebui să crească, obiectivul fiind de a atinge 3 % din PIB până în 2010. Consiliul a precizat, de asemenea, că două treimi din aceste noi investiții ar trebui să provină din sectorul privat [a se vedea documentul Comisiei Europene, „Investing in research: an action plan for Europe” – Investițiile în cercetare: un plan de acțiune pentru Europa; Comunicare a Comisiei către Consiliu, Parlamentul European, Comitetul Economic și Social European și Comitetul Regiunilor, COM(2003) 226 final, p. 7].

(5) În cazul gestiunii directe, Comisia efectuează operațiunile necesare pentru a-și desfășura activitățile de execuție a bugetului fără nicio implicare din partea statelor membre sau a țărilor terțe în care își au reședința destinatarii cheltuielilor.

(6) La nivelul anului 2006 și în ceea ce privește strict cel de Al șaselea program-cadru, existau peste 22 000 de persoane juridice publice și private participante, în general în cadrul unor consorții cu asociați multipli.

(7) Este vorba despre o metodă de cooperare fundamentată pe principiul cooperării interguvernamentale voluntare. Aceasta se bazează, în special, pe învățarea reciprocă, analiza comparativă și schimbul de bune practici.

(8) Regulamentul (CE, Euratom) nr. 1605/2002 al Consiliului din 25 iunie 2002 (JO L 248, 16.9.2002, p. 1), articolele 27, 48, 59 și 60.

(9) Comisia Europeană, DG Buget, Comunicarea doamnei Grybauskaitė, în acord cu președintele, către Comisie, „Responding to strategic needs: reinforcing the use of evaluation” (Satisfacerea nevoilor strategice: utilizarea sporită a evaluării), SEC(2007) 213, 21 februarie 2007; Comisia Europeană, DG Buget, Comunicarea doamnei Schreyer către Comisie, „Focus on Results: Strengthening Evaluation of Commission Activities” (Accentul pe rezultate: consolidarea evaluării activităților Comisiei), SEC(2000) 1051, 26 iulie 2000.

(10) Decizia nr. 1982/2006/CE a Parlamentului European și a Consiliului din 18 decembrie 2006 privind Al șaptelea program-cadru al Comunității Europene pentru activități de cercetare, de dezvoltare tehnologică și demonstrative (2007-2013) (JO L 412, 30.12.2006, p. 1): articolul 7 alineatul (1); informațiile care prezintă relevanță pentru monitorizare pe care Comisia trebuie să le furnizeze comitetelor de program sunt definite în deciziile referitoare la programele specifice [a se vedea, de exemplu, Decizia 2006/971/CE a Consiliului din 19 decembrie 2006 privind programul specific „Cooperare” de punere în aplicare a celui de Al șaptelea program-cadru al Comunității Europene pentru activități de cercetare, de dezvoltare tehnologică și demonstrative (2007-2013) (JO L 400, 30.12.2006, p. 86): articolul 8 alineatul (4) și anexa V].

(11) Comisia Europeană, Comunicare către Consiliu privind un plan de acțiune comunitar referitor la evaluarea activităților comunitare de cercetare și dezvoltare pentru perioada 1987-1991, COM(86) 660 final, 20 noiembrie 1986, ca răspuns la rezoluția Consiliului din 28 iunie 1983.

(12) Comisia Europeană, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996” (Evaluarea cincinală a programelor de cercetare și dezvoltare tehnologică ale Uniunii Europene, 1992-1996). Raportul Comisiei de experți independenți prezidate de vicontele Davignon (1997); Comisia Europeană, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1995-1999” (Evaluarea cincinală a programelor de cercetare și dezvoltare tehnologică ale Uniunii Europene, 1995-1999); raportul Comisiei de experți independenți prezidate de Joan Majó (iulie 2000); Comisia Europeană, „Five-year Assessment of the European Union Research Framework Programmes, 1999-2003” (Evaluarea cincinală a programelor-cadru de cercetare ale Uniunii Europene, 1999-2003); raportul Comisiei de experți independenți prezidate de Erkki Ormala (15 decembrie 2004).

(13) Comisia Europeană, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI” (Evaluarea eficacității noilor instrumente ale celui de Al șaselea program-cadru), 21 iunie 2004, raportul unei comisii de experți la nivel înalt prezidate de prof. Ramon Marimón.

(14) Comisia Europeană, DG Buget, Comunicarea doamnei Schreyer către Comisie, „Focus on Results: Strengthening Evaluation of Commission Activities” (Accentul pe rezultate: consolidarea evaluării activităților Comisiei), iulie 2000, SEC(2000) 1051; Comisia Europeană, DG Buget, Comunicarea președintelui și a doamnei Schreyer către Comisie, „Evaluation Standards and Good Practice” (Standarde și buna practică de evaluare), C(2002) 5267, 23.12.2002.

(15) Comisia Europeană, DG Buget, Comunicarea doamnei Grybauskaitė, în acord cu președintele, către Comisie, „Responding to strategic needs: reinforcing the use of evaluation” (Satisfacerea nevoilor strategice: utilizarea sporită a evaluării), SEC(2007) 213, 21 februarie 2007.

(16) Comisia Europeană, document de lucru al serviciilor Comisiei, „Impact assessment and ex-ante evaluation” (Studiu de impact și evaluare ex ante), SEC(2005) 430.

(17) Comitetul pentru industrie, cercetare și energie (Industry, Research and Energy – ITRE) al Parlamentului European este (în special) responsabil de politica industrială, politica de cercetare (inclusiv d