# Jurnalul Oficial C 26/2008

| | ISSN 1830-3668 |
| --- | --- |
| Jurnalul Oficial
  al Uniunii Europene | C 26 |
| | |
| Ediţia în limba română | Comunicări şi informări | Anul 5130 ianuarie 2008 |

ISSN 1830-3668

Jurnalul Oficial

al Uniunii Europene

C 26

Ediţia în limba română

Comunicări şi informări

Anul 5130 ianuarie 2008

---

| Informarea nr. | Cuprins | Pagina |
| --- | --- | --- |
| | IV   Informări |
| | INFORMĂRI PROVENIND DE LA INSTITUȚIILE ȘI ORGANELE UNIUNII EUROPENE |
| | Curtea de Conturi |
| 2008/C 026/01 | Raportul special nr. 9/2007 cu tema Evaluarea programelor-cadru de cercetare și dezvoltare tehnologică (CDT) ale Uniunii Europene – se pot aduce îmbunătățiri abordării Comisiei?, însoțit de răspunsurile Comisiei | 1 |

Informarea nr.

Cuprins

Pagina

IV   Informări

INFORMĂRI PROVENIND DE LA INSTITUȚIILE ȘI ORGANELE UNIUNII EUROPENE

Curtea de Conturi

2008/C 026/01

Raportul special nr. 9/2007 cu tema Evaluarea programelor-cadru de cercetare și dezvoltare tehnologică (CDT) ale Uniunii Europene – se pot aduce îmbunătățiri abordării Comisiei?, însoțit de răspunsurile Comisiei

1

| RO | |
| --- | --- |

RO

---

IV Informări

INFORMĂRI PROVENIND DE LA INSTITUȚIILE ȘI ORGANELE UNIUNII EUROPENE

Curtea de Conturi

| 30.1.2008 | RO | Jurnalul Oficial al Uniunii Europene | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

RO

Jurnalul Oficial al Uniunii Europene

C 26/1

---

RAPORTUL SPECIAL NR. 9/2007

cu tema „Evaluarea programelor-cadru de cercetare și dezvoltare tehnologică (CDT) ale Uniunii Europene – se pot aduce îmbunătățiri abordării Comisiei?”, însoțit de răspunsurile Comisiei

[prezentat în temeiul articolului 248 alineatul (4) al doilea paragraf din Tratatul de instituire a Comunității Europene]

(2008/C 26/01)

CUPRINS

| I-V | SINTEZĂ |
| --- | --- |

I-V

| 1-14 | INTRODUCERE |
| --- | --- |

1-14

| 1-7 | Rolul Uniunii Europene în sprijinirea activităților de cercetare și dezvoltare tehnologică |
| --- | --- |

1-7

| 8-14 | Evaluarea și monitorizarea programelor-cadru |
| --- | --- |

8-14

| 15-18 | SFERA ȘI ABORDAREA AUDITULUI |
| --- | --- |

15-18

| 19-109 | OBSERVAȚIILE ÎN URMA AUDITULUI |
| --- | --- |

19-109

| 19-37 | Logica de intervenție, stabilirea obiectivelor și indicatorii de performanță |
| --- | --- |

19-37

| 38-49 | Strategia de evaluare |
| --- | --- |

38-49

| 50-68 | Organizarea evaluării programelor-cadru |
| --- | --- |

50-68

| 69-97 | Metodologiile și tehnicile de evaluare |
| --- | --- |

69-97

| 98-109 | Difuzarea și exploatarea constatărilor evaluărilor |
| --- | --- |

98-109

| 110-118 | CONCLUZIE GENERALĂ |
| --- | --- |

110-118

Anexa I: Măsurarea impactului și a rezultatelor intervenției publice în domeniul cercetării și dezvoltării tehnologice

Anexa II: Dispoziții privind monitorizarea și evaluarea în deciziile legislative pentru PC4-PC7

Anexa III: Principalele diferențe de evaluare ex post a programelor de cercetare între UE (PC4-PC6), SUA și Canada

Anexa IV: Structură potențială a comisiei de evaluare pentru PC7

Răspunsurile Comisiei

SINTEZĂ

| I. | Programele-cadru (PC) comunitare de cercetare și dezvoltare tehnologică (CDT) reprezintă cea mai importantă sursă publică de fonduri de cercetare din Uniunea Europeană. Responsabilitatea de a gestiona programele-cadru și de a evalua rezultatele acestora îi revine Comisiei. |
| --- | --- |

I.

Programele-cadru (PC) comunitare de cercetare și dezvoltare tehnologică (CDT) reprezintă cea mai importantă sursă publică de fonduri de cercetare din Uniunea Europeană. Responsabilitatea de a gestiona programele-cadru și de a evalua rezultatele acestora îi revine Comisiei.

| II. | Auditul s-a efectuat cu privire la mecanismele de monitorizare și evaluare existente cu începere din 1995 pentru ultimele trei perioade de programare (PC4, PC5, PC6), dar oferă și considerații referitoare la perspectivele pentru Al șaptelea program-cadru (PC7) (2007-2013). Auditul s-a efectuat alături de Colegiul auditorilor din cadrul AELS și a beneficiat de asistența unor experți externi. |
| --- | --- |

II.

Auditul s-a efectuat cu privire la mecanismele de monitorizare și evaluare existente cu începere din 1995 pentru ultimele trei perioade de programare (PC4, PC5, PC6), dar oferă și considerații referitoare la perspectivele pentru Al șaptelea program-cadru (PC7) (2007-2013). Auditul s-a efectuat alături de Colegiul auditorilor din cadrul AELS și a beneficiat de asistența unor experți externi.

| III. | Auditul a avut ca obiectiv să stabilească dacă abordarea Comisiei privind evaluarea rezultatelor programelor-cadru a fost adecvată. În acest context, Curtea a verificat dacă obligațiile juridice privind evaluarea au fost îndeplinite de către Comisie și a urmărit să stabilească dacă sistemul de evaluare și monitorizare al acesteia a răspuns așteptărilor factorilor interesați. Curtea a examinat, în special, următoarele aspecte:






  (i) | dacă a existat o logică de intervenție subiacentă programelor-cadru și programelor constitutive ale acestora care să fi putut furniza o bază solidă pentru evaluare și monitorizare; |
| --- | --- | --- |

III.

Auditul a avut ca obiectiv să stabilească dacă abordarea Comisiei privind evaluarea rezultatelor programelor-cadru a fost adecvată. În acest context, Curtea a verificat dacă obligațiile juridice privind evaluarea au fost îndeplinite de către Comisie și a urmărit să stabilească dacă sistemul de evaluare și monitorizare al acesteia a răspuns așteptărilor factorilor interesați. Curtea a examinat, în special, următoarele aspecte:

(i)

dacă a existat o logică de intervenție subiacentă programelor-cadru și programelor constitutive ale acestora care să fi putut furniza o bază solidă pentru evaluare și monitorizare;

| (ii) | dacă exista definită de către Comisie o strategie de evaluare pentru programele-cadru; |
| --- | --- |

(ii)

dacă exista definită de către Comisie o strategie de evaluare pentru programele-cadru;

| (iii) | dacă structura organizatorică a sistemului de evaluare aplicat de Comisie pentru programele-cadru a fost astfel concepută, încât evaluarea să fie coordonată corespunzător, să aibă la dispoziție resurse suficiente și adecvate și să fie percepută de către factorii interesați ca beneficiind de un grad suficient de independență; |
| --- | --- |

(iii)

dacă structura organizatorică a sistemului de evaluare aplicat de Comisie pentru programele-cadru a fost astfel concepută, încât evaluarea să fie coordonată corespunzător, să aibă la dispoziție resurse suficiente și adecvate și să fie percepută de către factorii interesați ca beneficiind de un grad suficient de independență;

| (iv) | dacă metodologiile aplicate pentru evaluare au fost satisfăcătoare; și |
| --- | --- |

(iv)

dacă metodologiile aplicate pentru evaluare au fost satisfăcătoare; și

| (v) | dacă activitățile de evaluare și monitorizare au furnizat informații și analize care să poată fi utilizate în vederea îmbunătățirii programelor în curs de derulare și a elaborării programelor-cadru viitoare. |
| --- | --- |

(v)

dacă activitățile de evaluare și monitorizare au furnizat informații și analize care să poată fi utilizate în vederea îmbunătățirii programelor în curs de derulare și a elaborării programelor-cadru viitoare.

| IV. | Curtea a făcut următoarele constatări și a ajuns la următoarele concluzii:






  (i) | lipsa unei logici de intervenție explicite, proasta definire a obiectivelor programelor și măsurarea deficitară a performanțelor au subminat eficacitatea monitorizării și a evaluării; |
| --- | --- | --- |

IV.

Curtea a făcut următoarele constatări și a ajuns la următoarele concluzii:

(i)

lipsa unei logici de intervenție explicite, proasta definire a obiectivelor programelor și măsurarea deficitară a performanțelor au subminat eficacitatea monitorizării și a evaluării;

| (ii) | absența unei strategii de evaluare atotcuprinzătoare, convenite între direcțiile generale cu competențe în cercetare care pun în aplicare programele-cadru, a avut drept consecință adoptarea unor abordări inconsecvente de la un serviciu al Comisiei la altul, situație care este ilustrată, în special, de o evaluare insuficientă a unor părți semnificative din programele-cadru; |
| --- | --- |

(ii)

absența unei strategii de evaluare atotcuprinzătoare, convenite între direcțiile generale cu competențe în cercetare care pun în aplicare programele-cadru, a avut drept consecință adoptarea unor abordări inconsecvente de la un serviciu al Comisiei la altul, situație care este ilustrată, în special, de o evaluare insuficientă a unor părți semnificative din programele-cadru;

| (iii) | evaluarea programelor-cadru a fost descentralizată, mecanismele existente de coordonare între direcțiile generale care pun în aplicare programele-cadru nu au fost eficace, iar serviciile centrale ale Comisiei nu au avut niciun fel de atribuții de impunere a respectării cerințelor în vigoare. Cu toate acestea, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale ale Comisiei cu privire la evaluare. Utilizarea unor comisii alcătuite din experți externi la nivel înalt desemnați de Comisie pentru exercițiile de evaluare de amploare s-a dovedit a fi bine adecvată contextului comunitar. Însă aceste comisii temporare nu au fost implicate în desfășurarea procesului suficient de devreme, astfel încât nu au putut influența strângerea probelor și au avut numai posibilități limitate de a urmări evoluția în timp a aspectelor relevante. Recurgându-se numai la o singură comisie pentru programul-cadru general (în afară de care a mai existat o comisie pentru unul dintre programele specifice), nu s-a acordat suficientă atenție problemelor specifice aferente diferitelor domenii științifice din interiorul programelor-cadru; |
| --- | --- |

(iii)

evaluarea programelor-cadru a fost descentralizată, mecanismele existente de coordonare între direcțiile generale care pun în aplicare programele-cadru nu au fost eficace, iar serviciile centrale ale Comisiei nu au avut niciun fel de atribuții de impunere a respectării cerințelor în vigoare. Cu toate acestea, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale ale Comisiei cu privire la evaluare. Utilizarea unor comisii alcătuite din experți externi la nivel înalt desemnați de Comisie pentru exercițiile de evaluare de amploare s-a dovedit a fi bine adecvată contextului comunitar. Însă aceste comisii temporare nu au fost implicate în desfășurarea procesului suficient de devreme, astfel încât nu au putut influența strângerea probelor și au avut numai posibilități limitate de a urmări evoluția în timp a aspectelor relevante. Recurgându-se numai la o singură comisie pentru programul-cadru general (în afară de care a mai existat o comisie pentru unul dintre programele specifice), nu s-a acordat suficientă atenție problemelor specifice aferente diferitelor domenii științifice din interiorul programelor-cadru;

| (iv) | nu s-au furnizat orientări metodologice adecvate, evaluatorii au întâmpinat dificultăți în activitatea de colectare a datelor relevante și nu au existat studii de evaluare care să analizeze mai curând efectele și impactul programelor-cadru pe termen mai lung, în locul problemelor pe termen scurt legate de punerea în aplicare a programelor; și |
| --- | --- |

(iv)

nu s-au furnizat orientări metodologice adecvate, evaluatorii au întâmpinat dificultăți în activitatea de colectare a datelor relevante și nu au existat studii de evaluare care să analizeze mai curând efectele și impactul programelor-cadru pe termen mai lung, în locul problemelor pe termen scurt legate de punerea în aplicare a programelor; și

| (v) | drept consecință a celor exprimate anterior și ca urmare a faptului că evaluările erau adesea programate prea devreme pentru a putea aborda problemele cele mai relevante, sistemul de evaluare al Comisiei pentru programele-cadru s-a dovedit a avea o utilitate limitată pentru factorii de decizie, pentru factorii interesați și chiar pentru Comisia însăși. În esență, nu s-au obținut foarte multe informații cu privire la îndeplinirea obiectivelor programelor și la rezultatele programelor-cadru. |
| --- | --- |

(v)

drept consecință a celor exprimate anterior și ca urmare a faptului că evaluările erau adesea programate prea devreme pentru a putea aborda problemele cele mai relevante, sistemul de evaluare al Comisiei pentru programele-cadru s-a dovedit a avea o utilitate limitată pentru factorii de decizie, pentru factorii interesați și chiar pentru Comisia însăși. În esență, nu s-au obținut foarte multe informații cu privire la îndeplinirea obiectivelor programelor și la rezultatele programelor-cadru.

| V. | Curtea face următoarele recomandări:






  (i) | logica de intervenție ar trebui să fie expusă mai explicit în legislația viitoare. Ar trebui explicate premisele care stau la baza acestei logici, ar trebui clarificată relația dintre obiectivele științifice și cele socioeconomice și ar trebui să se elaboreze indicatori de performanță corespunzători; |
| --- | --- | --- |

V.

Curtea face următoarele recomandări:

(i)

logica de intervenție ar trebui să fie expusă mai explicit în legislația viitoare. Ar trebui explicate premisele care stau la baza acestei logici, ar trebui clarificată relația dintre obiectivele științifice și cele socioeconomice și ar trebui să se elaboreze indicatori de performanță corespunzători;

| (ii) | este necesar ca direcțiile generale care pun în aplicare programele-cadru să elaboreze (și să convină cu privire la) o strategie de evaluare atotcuprinzătoare. În special, acest demers ar trebui să implice o abordare consecventă din punctul de vedere al nivelului minim la care trebuie să se desfășoare o evaluare detaliată, pentru a se putea ține seama de specificitățile fiecărui domeniu științific; |
| --- | --- |

(ii)

este necesar ca direcțiile generale care pun în aplicare programele-cadru să elaboreze (și să convină cu privire la) o strategie de evaluare atotcuprinzătoare. În special, acest demers ar trebui să implice o abordare consecventă din punctul de vedere al nivelului minim la care trebuie să se desfășoare o evaluare detaliată, pentru a se putea ține seama de specificitățile fiecărui domeniu științific;

| (iii) | ar trebui să se aibă în vedere înființarea unui birou de evaluare comun, care să coordoneze, la nivelul de ansamblu al programului-cadru, activitățile de evaluare ale direcțiilor generale cu competențe în cercetare, precum și crearea unui sistem de comisii (și de subcomisii) formate din experți externi. Aceste comisii ar trebui să fie înființate cu suficient timp înainte, pentru a putea furniza asistență Comisiei în mod eficace și pentru a putea continua în acest sens pe parcursul întregii perioade de programare și ulterior acesteia; |
| --- | --- |

(iii)

ar trebui să se aibă în vedere înființarea unui birou de evaluare comun, care să coordoneze, la nivelul de ansamblu al programului-cadru, activitățile de evaluare ale direcțiilor generale cu competențe în cercetare, precum și crearea unui sistem de comisii (și de subcomisii) formate din experți externi. Aceste comisii ar trebui să fie înființate cu suficient timp înainte, pentru a putea furniza asistență Comisiei în mod eficace și pentru a putea continua în acest sens pe parcursul întregii perioade de programare și ulterior acesteia;

| (iv) | ar trebui să se analizeze cu atenție care sunt nevoile în materie de date pentru evaluare și monitorizare și să se apeleze într-o măsură mai mare la alte surse existente de date. De asemenea, Comisia ar trebui să raționalizeze cerințele impuse participanților în ceea ce privește raportarea. Nu în ultimul rând, ar trebui să redacteze un manual detaliat de evaluare a programelor-cadru și să elaboreze o gamă mai largă de metodologii și tehnici de evaluare, în vederea utilizării în cadrul evaluărilor în acest domeniu; și |
| --- | --- |

(iv)

ar trebui să se analizeze cu atenție care sunt nevoile în materie de date pentru evaluare și monitorizare și să se apeleze într-o măsură mai mare la alte surse existente de date. De asemenea, Comisia ar trebui să raționalizeze cerințele impuse participanților în ceea ce privește raportarea. Nu în ultimul rând, ar trebui să redacteze un manual detaliat de evaluare a programelor-cadru și să elaboreze o gamă mai largă de metodologii și tehnici de evaluare, în vederea utilizării în cadrul evaluărilor în acest domeniu; și

| (v) | Comisia ar trebui să stabilească ce așteptări pot să existe în mod rezonabil în ceea ce privește tipul evaluării și sfera acesteia, având în vedere termenele specificate în legislația privind cel de Al șaptelea program-cadru, și ar trebui să clarifice modul în care se pot utiliza evaluările în scopul adaptării programelor („programe care învață din mers”), precum și contribuția pe care o pot aduce procesului decizional de stabilire a politicilor. |
| --- | --- |

(v)

Comisia ar trebui să stabilească ce așteptări pot să existe în mod rezonabil în ceea ce privește tipul evaluării și sfera acesteia, având în vedere termenele specificate în legislația privind cel de Al șaptelea program-cadru, și ar trebui să clarifice modul în care se pot utiliza evaluările în scopul adaptării programelor („programe care învață din mers”), precum și contribuția pe care o pot aduce procesului decizional de stabilire a politicilor.

INTRODUCERE

Rolul Uniunii Europene în sprijinirea activităților de cercetare și dezvoltare tehnologică

| 1. | Cercetarea și dezvoltarea tehnologică (CDT) (1) reprezintă motorul principal al progresului științific și tehnologic și al inovării și aduce, astfel, o contribuție majoră la îmbunătățirea nivelului de trai. Intervenția publică în CDT se justifică în general ca un factor de corecție împotriva așa-numitelor „eșecuri ale pieței”, și anume sprijinul public acționează în sensul reducerii nesiguranței și furnizează investiții în acele cazuri în care cercetarea reprezintă un bun public sau în care sunt prezente externalități semnificative. |
| --- | --- |

1.

Cercetarea și dezvoltarea tehnologică (CDT) (1) reprezintă motorul principal al progresului științific și tehnologic și al inovării și aduce, astfel, o contribuție majoră la îmbunătățirea nivelului de trai. Intervenția publică în CDT se justifică în general ca un factor de corecție împotriva așa-numitelor „eșecuri ale pieței”, și anume sprijinul public acționează în sensul reducerii nesiguranței și furnizează investiții în acele cazuri în care cercetarea reprezintă un bun public sau în care sunt prezente externalități semnificative.

| 2. | Articolul 163 din Tratatul de instituire a Comunității Europene stabilește misiunea Comunităților în sprijinirea CDT, stipulând următoarele: „Comunitatea are ca obiectiv consolidarea bazelor științifice și tehnologice ale industriei Comunității și favorizarea dezvoltării competitivității sale internaționale, precum și promovarea acțiunilor de cercetare considerate necesare ...”. Articolele 164-173 stabilesc activitățile care trebuie desfășurate în acest scop, precum și sfera și modalitățile de punere în aplicare ale programelor-cadru (PC) multianuale de cercetare și dezvoltare tehnologică. Comisia are responsabilitatea de a prezenta propuneri pentru programele-cadru, în timp ce deciziile privind programele-cadru și normele de participare și de difuzare a rezultatelor activităților de cercetare se adoptă prin codecizie de către Parlamentul European și Consiliu. Programele specifice sunt adoptate numai de către Consiliu. Programele-cadru sunt puse în aplicare în comun de către șase direcții generale (DG-uri), așa-numitele „direcții generale cu competențe în cercetare” (2). |
| --- | --- |

2.

Articolul 163 din Tratatul de instituire a Comunității Europene stabilește misiunea Comunităților în sprijinirea CDT, stipulând următoarele: „Comunitatea are ca obiectiv consolidarea bazelor științifice și tehnologice ale industriei Comunității și favorizarea dezvoltării competitivității sale internaționale, precum și promovarea acțiunilor de cercetare considerate necesare ...”. Articolele 164-173 stabilesc activitățile care trebuie desfășurate în acest scop, precum și sfera și modalitățile de punere în aplicare ale programelor-cadru (PC) multianuale de cercetare și dezvoltare tehnologică. Comisia are responsabilitatea de a prezenta propuneri pentru programele-cadru, în timp ce deciziile privind programele-cadru și normele de participare și de difuzare a rezultatelor activităților de cercetare se adoptă prin codecizie de către Parlamentul European și Consiliu. Programele specifice sunt adoptate numai de către Consiliu. Programele-cadru sunt puse în aplicare în comun de către șase direcții generale (DG-uri), așa-numitele „direcții generale cu competențe în cercetare” (2).

| 3. | În cadrul paletei largi de politici puse în aplicare în Uniunea Europeană pentru consolidarea inovării și a competitivității, programele-cadru reprezintă instrumentul financiar cel mai important care contribuie la realizarea strategiei de la Lisabona (3) și a obiectivului de la Barcelona (4) la nivel comunitar. |
| --- | --- |

3.

În cadrul paletei largi de politici puse în aplicare în Uniunea Europeană pentru consolidarea inovării și a competitivității, programele-cadru reprezintă instrumentul financiar cel mai important care contribuie la realizarea strategiei de la Lisabona (3) și a obiectivului de la Barcelona (4) la nivel comunitar.

Image

| 4. | Prin intermediul programelor-cadru, Comunitatea furnizează finanțare cercetătorilor din cadrul Uniunii Europene, din țări asociate și din organizații internaționale. Bugetele prevăzute pentru programe au crescut simțitor de-a lungul anilor, ajungând la 7 217 milioane de euro pe an pentru cel de Al șaptelea program-cadru, față de cele 2 761 de milioane de euro pentru cel de Al patrulea program-cadru (a se vedea figura 1). Din punctul de vedere al creditelor bugetare, acestea reprezintă sfera cea mai importantă de gestiune centralizată directă din cadrul Comisiei (5). |
| --- | --- |

4.

Prin intermediul programelor-cadru, Comunitatea furnizează finanțare cercetătorilor din cadrul Uniunii Europene, din țări asociate și din organizații internaționale. Bugetele prevăzute pentru programe au crescut simțitor de-a lungul anilor, ajungând la 7 217 milioane de euro pe an pentru cel de Al șaptelea program-cadru, față de cele 2 761 de milioane de euro pentru cel de Al patrulea program-cadru (a se vedea figura 1). Din punctul de vedere al creditelor bugetare, acestea reprezintă sfera cea mai importantă de gestiune centralizată directă din cadrul Comisiei (5).

| 5. | Programele-cadru se deosebesc de multe programe naționale prin aceea că includ atât cercetarea fundamentală, cât și pe cea aplicată, și admit participarea atât a întreprinderilor, cât și a organizațiilor publice de cercetare (6). Sunt alcătuite din programe (și subprograme) specifice care vizează domenii științifice largi. Aceste programe sunt constituite, de regulă, dintr-un număr de segmente care se axează pe ramuri științifice mai precis delimitate. Aceste segmente sunt, la rândul lor, puse în aplicare prin intermediul unor proiecte (denumite „acțiuni indirecte”), în urma unor cereri de propuneri. În acest mod se desfășoară finanțarea a sute de proiecte individuale din cadrul unui segment. |
| --- | --- |

5.

Programele-cadru se deosebesc de multe programe naționale prin aceea că includ atât cercetarea fundamentală, cât și pe cea aplicată, și admit participarea atât a întreprinderilor, cât și a organizațiilor publice de cercetare (6). Sunt alcătuite din programe (și subprograme) specifice care vizează domenii științifice largi. Aceste programe sunt constituite, de regulă, dintr-un număr de segmente care se axează pe ramuri științifice mai precis delimitate. Aceste segmente sunt, la rândul lor, puse în aplicare prin intermediul unor proiecte (denumite „acțiuni indirecte”), în urma unor cereri de propuneri. În acest mod se desfășoară finanțarea a sute de proiecte individuale din cadrul unui segment.

| 6. | Procentul global pe care îl dețin programele-cadru în ansamblul finanțării publice a CDT din Uniunea Europeană și din statele membre variază între 4 % și 5 %. Cu toate acestea, impactul pe care îl au asupra tipurilor de activități de cercetare desfășurate în Europa este considerabil mai puternic. Aceasta se datorează faptului că subvențiile comunitare furnizează de obicei numai o parte din totalul fondurilor pentru un proiect dat. În plus, la solicitarea finanțării, cercetătorii trebuie să demonstreze că proiectele lor vizează obiectivele precizate în cererile de propuneri. Astfel, programele-cadru creează stimulente de natură să orienteze activitățile de CDT către obiective comunitare specifice. |
| --- | --- |

6.

Procentul global pe care îl dețin programele-cadru în ansamblul finanțării publice a CDT din Uniunea Europeană și din statele membre variază între 4 % și 5 %. Cu toate acestea, impactul pe care îl au asupra tipurilor de activități de cercetare desfășurate în Europa este considerabil mai puternic. Aceasta se datorează faptului că subvențiile comunitare furnizează de obicei numai o parte din totalul fondurilor pentru un proiect dat. În plus, la solicitarea finanțării, cercetătorii trebuie să demonstreze că proiectele lor vizează obiectivele precizate în cererile de propuneri. Astfel, programele-cadru creează stimulente de natură să orienteze activitățile de CDT către obiective comunitare specifice.

| 7. | În ultimii ani au fost aduse modificări importante programelor-cadru, motivele fiind:






  — | lansarea unor noi provocări politice [strategia de la Lisabona și obiectivele de la Barcelona, crearea „Spațiului European de Cercetare” (SEC) și utilizarea din ce în ce mai frecventă a metodei deschise de coordonare (7) în cadrul politicii de cercetare și inovare]; |
| --- | --- | --- |

7.

În ultimii ani au fost aduse modificări importante programelor-cadru, motivele fiind:

—

lansarea unor noi provocări politice [strategia de la Lisabona și obiectivele de la Barcelona, crearea „Spațiului European de Cercetare” (SEC) și utilizarea din ce în ce mai frecventă a metodei deschise de coordonare (7) în cadrul politicii de cercetare și inovare];

| — | schimbarea orientării programelor-cadru, de la simpla rezolvare a unor probleme tehnice în cadrul PC4 și abordarea unor probleme sociale bine definite în cadrul PC5 la încurajarea cooperării între organizațiile de cercetare din Spațiul European de Cercetare și contribuirea la dezvoltarea unei economii și a unei societăți bazate pe cunoaștere în cadrul PC6 și PC7; |
| --- | --- |

—

schimbarea orientării programelor-cadru, de la simpla rezolvare a unor probleme tehnice în cadrul PC4 și abordarea unor probleme sociale bine definite în cadrul PC5 la încurajarea cooperării între organizațiile de cercetare din Spațiul European de Cercetare și contribuirea la dezvoltarea unei economii și a unei societăți bazate pe cunoaștere în cadrul PC6 și PC7;

| — | fixarea unor perioade de programare mai lungi (anterior 4 ani, actualmente 7 ani pentru PC7, în concordanță cu Perspectivele financiare 2007-2013); |
| --- | --- |

—

fixarea unor perioade de programare mai lungi (anterior 4 ani, actualmente 7 ani pentru PC7, în concordanță cu Perspectivele financiare 2007-2013);

| — | un număr mai mare de state membre și de țări participante; |
| --- | --- |

—

un număr mai mare de state membre și de țări participante;

| — | creșterea finanțării, în special în cadrul actualelor Perspective financiare; |
| --- | --- |

—

creșterea finanțării, în special în cadrul actualelor Perspective financiare;

| — | instituirea Consiliului European al Cercetării și delegarea activităților de gestionare a programelor către agenții executive, cu începere de la PC7; și |
| --- | --- |

—

instituirea Consiliului European al Cercetării și delegarea activităților de gestionare a programelor către agenții executive, cu începere de la PC7; și

| — | utilizarea din ce în ce mai frecventă a unor instrumente de finanțare de mare amploare (de exemplu, rețelele de excelență, proiectele integrate, proiectele puse în aplicare în temeiul articolului 169, inițiativele tehnologice comune). |
| --- | --- |

—

utilizarea din ce în ce mai frecventă a unor instrumente de finanțare de mare amploare (de exemplu, rețelele de excelență, proiectele integrate, proiectele puse în aplicare în temeiul articolului 169, inițiativele tehnologice comune).

Evaluarea și monitorizarea programelor-cadru

| 8. | Comisia răspunde de punerea în aplicare a programelor și de evaluarea rezultatelor acestora (8). În cadrul Comisiei, evaluarea este descentralizată, fiind delegată diverselor direcții generale, în timp ce serviciile centrale (în special DG Buget și Secretariatul general) furnizează sprijin și coordonare. |
| --- | --- |

8.

Comisia răspunde de punerea în aplicare a programelor și de evaluarea rezultatelor acestora (8). În cadrul Comisiei, evaluarea este descentralizată, fiind delegată diverselor direcții generale, în timp ce serviciile centrale (în special DG Buget și Secretariatul general) furnizează sprijin și coordonare.

| 9. | Prezentul raport utilizează termenii „evaluare” și „monitorizare” în înțelesul pe care îl dă Comisia acestor termeni, și anume „evaluare” ca o apreciere a intervențiilor în funcție de rezultatele și impactul acestora și de necesitățile pe care urmăresc să le satisfacă (9) și „monitorizare” ca acea activitate prin care se furnizează informații cu privire la punerea în aplicare a programelor și a proiectelor în curs de derulare, cu scopul de a răspunde nevoilor de gestionare (10). De altfel, aceste două activități sunt diferențiate în același mod și în legislația actuală privind PC7. |
| --- | --- |

9.

Prezentul raport utilizează termenii „evaluare” și „monitorizare” în înțelesul pe care îl dă Comisia acestor termeni, și anume „evaluare” ca o apreciere a intervențiilor în funcție de rezultatele și impactul acestora și de necesitățile pe care urmăresc să le satisfacă (9) și „monitorizare” ca acea activitate prin care se furnizează informații cu privire la punerea în aplicare a programelor și a proiectelor în curs de derulare, cu scopul de a răspunde nevoilor de gestionare (10). De altfel, aceste două activități sunt diferențiate în același mod și în legislația actuală privind PC7.

| 10. | În continuarea prezentului document este utilizată terminologia următoare pentru a descrie rezultatele activităților de CDT:






  — | „realizări”: cunoștințe, bunuri și servicii produse direct ca urmare a intervenției publice (publicații, lucrări științifice prezentate la conferințe, brevete de invenție, licențe, prototipuri, standarde, oameni de știință care au beneficiat de formare etc.); |
| --- | --- | --- |

10.

În continuarea prezentului document este utilizată terminologia următoare pentru a descrie rezultatele activităților de CDT:

—

„realizări”: cunoștințe, bunuri și servicii produse direct ca urmare a intervenției publice (publicații, lucrări științifice prezentate la conferințe, brevete de invenție, licențe, prototipuri, standarde, oameni de știință care au beneficiat de formare etc.);

| — | „efecte”: rezultatul în timp al exploatării acestor realizări de către utilizatori; și |
| --- | --- |

—

„efecte”: rezultatul în timp al exploatării acestor realizări de către utilizatori; și

| — | „impacturi”: schimbările socioeconomice și politice pe termen lung pe care le generează intervenția publică. |
| --- | --- |

—

„impacturi”: schimbările socioeconomice și politice pe termen lung pe care le generează intervenția publică.

Caseta 1Exemplul „Sistemului global de comunicații mobile” (Global System for Mobile communications – GSM)În exemplul de față, „realizările” obținute grație finanțării comunitare sunt reprezentate de rezultatele imediate ale proiectului, cum ar fi elaborarea standardului GSM. „Efectul” constă în acceptarea acestui sistem ca standard de telefonie celulară digitală de referință, atât pe teritoriul european, cât și în afara limitelor acestuia, fapt care a contribuit din plin la dezvoltarea sectorului telecomunicațiilor. În fine, „impactul” este reprezentat de consecințele economice, sociale și politice ale utilizării acestei tehnologii pe plan internațional. Printre acestea se numără crearea de locuri de muncă în cadrul sectorului telecomunicațiilor și al sectoarelor conexe, precum și sporirea importanței acestui sector pentru economia europeană. Nu în ultimul rând, GSM a pus la dispoziția populației o nouă modalitate de comunicare.

| 11. | Evaluarea rezultatelor respective ridică însă un număr de dificultăți metodologice (a se vedea anexa I). Schimbările socioeconomice constituie un fenomen complex și, în termeni mai preciși, relația dintre o activitate de cercetare și efectele și impacturile observate este adesea dificil de stabilit. Deși aceste dificultăți metodologice reprezintă o provocare considerabilă, aceasta nu înseamnă neapărat că ele fac imposibilă evaluarea eficace. |
| --- | --- |

11.

Evaluarea rezultatelor respective ridică însă un număr de dificultăți metodologice (a se vedea anexa I). Schimbările socioeconomice constituie un fenomen complex și, în termeni mai preciși, relația dintre o activitate de cercetare și efectele și impacturile observate este adesea dificil de stabilit. Deși aceste dificultăți metodologice reprezintă o provocare considerabilă, aceasta nu înseamnă neapărat că ele fac imposibilă evaluarea eficace.

| 12. | Comisia a introdus un sistem de monitorizare și evaluare a programelor-cadru încă din anii 1980 (11). Începând cu PC4, de la mijlocul anilor 1990, sistemul de monitorizare și evaluare a fost constituit dintr-un număr de activități parțial interconectate, printre care:






  — | monitorizarea anuală (în principal a punerii în aplicare a programelor) și |
| --- | --- | --- |

12.

Comisia a introdus un sistem de monitorizare și evaluare a programelor-cadru încă din anii 1980 (11). Începând cu PC4, de la mijlocul anilor 1990, sistemul de monitorizare și evaluare a fost constituit dintr-un număr de activități parțial interconectate, printre care:

—

monitorizarea anuală (în principal a punerii în aplicare a programelor) și

| — | evaluări cincinale ale activităților programelor-cadru (și, începând cu PC6, evaluări suplimentare care vizează probleme anumite). |
| --- | --- |

—

evaluări cincinale ale activităților programelor-cadru (și, începând cu PC6, evaluări suplimentare care vizează probleme anumite).

Ambele activități au trebuit să fie efectuate cu ajutorul unor experți externi (a se vedea figura 2 și anexa II).

Figura 2

PC4-PC7 – Cerințe fundamentale pentru monitorizare și evaluare

| PC4 (1994-1998) | PC5 (1999-2002) | PC6 (2003-2006) | PC7 (2007-2013) |
| --- | --- | --- | --- |
| două exerciții de evaluare (intermediar și final), în fiecare caz pentru cele 20 de subprograme ale acestui PC, plus pentru PC; evaluarea finală se suprapune cu evaluarea intermediară a PC5 | două exerciții de evaluare concomitente (intermediare), în fiecare caz pentru cele 7 programe specifice ale acestui PC, plus pentru PC | un exercițiu de evaluare pentru PC și cele 3 programe specifice ale acestuia (intermediar), dar nu s-au efectuat evaluări special pentru toate cele 20 de subprograme; exercițiul a fost completat cu o evaluare specifică și cu rapoarte privind stadiul de activitate (de monitorizare) periodice | cel puțin cinci exerciții de evaluare (la nivel ex ante, intermediar și final), inclusiv un raport specific privind stadiul de activitate înainte de evaluarea intermediară |
| 1. | Ex ante
  : nu |

PC4 (1994-1998)

PC5 (1999-2002)

PC6 (2003-2006)

PC7 (2007-2013)

două exerciții de evaluare (intermediar și final), în fiecare caz pentru cele 20 de subprograme ale acestui PC, plus pentru PC; evaluarea finală se suprapune cu evaluarea intermediară a PC5

două exerciții de evaluare concomitente (intermediare), în fiecare caz pentru cele 7 programe specifice ale acestui PC, plus pentru PC

un exercițiu de evaluare pentru PC și cele 3 programe specifice ale acestuia (intermediar), dar nu s-au efectuat evaluări special pentru toate cele 20 de subprograme; exercițiul a fost completat cu o evaluare specifică și cu rapoarte privind stadiul de activitate (de monitorizare) periodice

cel puțin cinci exerciții de evaluare (la nivel ex ante, intermediar și final), inclusiv un raport specific privind stadiul de activitate înainte de evaluarea intermediară

1.

Ex ante
  : nu

| 1. | Ex ante
  : nu |
| --- | --- |

1.

Ex ante
  : nu

| 1. | Ex ante
  : nu |
| --- | --- |

1.

Ex ante
  : nu

| 1. | Ex ante:

  inclus în studiul de impact privind propunerea Comisiei pentru PC7 (2005) |
| --- | --- |

1.

inclus în studiul de impact privind propunerea Comisiei pentru PC7 (2005)

| 2. | Intermediar:






  — | evaluare cincinală: la jumătatea perioadei PC, înainte de următorul PC (1997) |
| --- | --- | --- |

2.

—

evaluare cincinală: la jumătatea perioadei PC, înainte de următorul PC (1997)

| 2. | Intermediar:






  — | evaluare cincinală: înainte de prezentarea propunerii pentru următorul PC (2000) |
| --- | --- | --- |

2.

—

evaluare cincinală: înainte de prezentarea propunerii pentru următorul PC (2000)

| — | analiza stadiului activității la jumătatea programului-cadru (2001) |
| --- | --- |

—

analiza stadiului activității la jumătatea programului-cadru (2001)

| 2. | Intermediar:






  — | evaluarea eficacității instrumentelor (2004) |
| --- | --- | --- |

2.

—

evaluarea eficacității instrumentelor (2004)

| — | evaluare cincinală, înainte de prezentarea propunerii pentru următorul PC (2004) |
| --- | --- |

—

evaluare cincinală, înainte de prezentarea propunerii pentru următorul PC (2004)

| — | rapoarte privind stadiul de activitate (de monitorizare) periodice |
| --- | --- |

—

rapoarte privind stadiul de activitate (de monitorizare) periodice

| 2. | Intermediar:






  — | ex post, la 2 ani după terminarea PC-ului anterior (2008) |
| --- | --- | --- |

2.

—

ex post, la 2 ani după terminarea PC-ului anterior (2008)

| — | raport privind stadiul de activitate înainte de evaluarea intermediară (înainte de 2010) |
| --- | --- |

—

raport privind stadiul de activitate înainte de evaluarea intermediară (înainte de 2010)

| — | evaluare intermediară (2010) |
| --- | --- |

—

evaluare intermediară (2010)

| 3. | Final:






  — | la încheierea PC (1999) |
| --- | --- | --- |

3.

—

la încheierea PC (1999)

| 3. | Final:
  nu |
| --- | --- |

3.

nu

| 3. | Final:
  nu

  [modificat prin Decizia privind PC7] |
| --- | --- |

3.

nu

[modificat prin Decizia privind PC7]

| 3. | Final:
  la doi ani de la încheierea PC-ului (2015), documentat cu studii specifice și atestat de evaluarea intermediară și alte activități de evaluare desfășurate pe parcursul perioadei PC-ului |
| --- | --- |

3.

la doi ani de la încheierea PC-ului (2015), documentat cu studii specifice și atestat de evaluarea intermediară și alte activități de evaluare desfășurate pe parcursul perioadei PC-ului

Sursa: A se vedea anexa II.

| 13. | Până în prezent, s-au efectuat trei evaluări cincinale (12), în urma cărora s-au întocmit rapoartele „Davignon”, „Majó” și „Ormala” (1997, 2000 și, respectiv, 2004). De asemenea, DG Societate Informațională a efectuat evaluări cu obiective foarte precis definite pentru programul său specific. Ar trebui menționat faptul că, în conformitate cu legislația privind PC7, s-a renunțat la evaluările cincinale, eliminându-se astfel constrângerea conform căreia exercițiile de evaluare importante trebuiau să se concentreze pe cei cinci ani anteriori și, în consecință, să acopere segmente din două perioade de programare succesive. De asemenea, în 2004 s-a publicat raportul „Marimón” (13), o evaluare specifică privind eficacitatea noilor instrumente introduse în cadrul PC6. |
| --- | --- |

13.

Până în prezent, s-au efectuat trei evaluări cincinale (12), în urma cărora s-au întocmit rapoartele „Davignon”, „Majó” și „Ormala” (1997, 2000 și, respectiv, 2004). De asemenea, DG Societate Informațională a efectuat evaluări cu obiective foarte precis definite pentru programul său specific. Ar trebui menționat faptul că, în conformitate cu legislația privind PC7, s-a renunțat la evaluările cincinale, eliminându-se astfel constrângerea conform căreia exercițiile de evaluare importante trebuiau să se concentreze pe cei cinci ani anteriori și, în consecință, să acopere segmente din două perioade de programare succesive. De asemenea, în 2004 s-a publicat raportul „Marimón” (13), o evaluare specifică privind eficacitatea noilor instrumente introduse în cadrul PC6.

| 14. | În 2000 și în 2002 (14) s-a reexaminat cadrul prevăzut la nivelul Comisiei pentru activitățile de evaluare. Aceste comunicări au fost actualizate în 2007, ținând seama de consecințele reformei administrative a Comisiei și de noul Regulament financiar (15). În aceste documente sunt descrise rolul și funcția evaluării în contextul ciclului global de planificare, programare și raportare al Comisiei și sunt precizate 21 de standarde de evaluare și 18 modele de „bună practică”. De asemenea, aceste documente abordează problema utilizării evaluării la elaborarea și simplificarea legislației comunitare. |
| --- | --- |

14.

În 2000 și în 2002 (14) s-a reexaminat cadrul prevăzut la nivelul Comisiei pentru activitățile de evaluare. Aceste comunicări au fost actualizate în 2007, ținând seama de consecințele reformei administrative a Comisiei și de noul Regulament financiar (15). În aceste documente sunt descrise rolul și funcția evaluării în contextul ciclului global de planificare, programare și raportare al Comisiei și sunt precizate 21 de standarde de evaluare și 18 modele de „bună practică”. De asemenea, aceste documente abordează problema utilizării evaluării la elaborarea și simplificarea legislației comunitare.

SFERA ȘI ABORDAREA AUDITULUI

15.

| 15. | Principalul obiectiv al auditului a fost să stabilească caracterul adecvat sau inadecvat al abordării adoptate de Comisie pentru aprecierea rezultatelor programelor-cadru de cercetare și dezvoltare tehnologică. |
| --- | --- |

Principalul obiectiv al auditului a fost să stabilească caracterul adecvat sau inadecvat al abordării adoptate de Comisie pentru aprecierea rezultatelor programelor-cadru de cercetare și dezvoltare tehnologică.

| 16. | În acest scop, Curtea a evaluat măsura în care:






  — | programele-cadru și programele constitutive ale acestora se fundamentează pe o logică de intervenție explicită, în funcție de care se pot măsura și evalua realizările, efectele și impactul, și care poate constitui, astfel, o bază solidă de evaluare și monitorizare; |
| --- | --- | --- |

16.

În acest scop, Curtea a evaluat măsura în care:

—

programele-cadru și programele constitutive ale acestora se fundamentează pe o logică de intervenție explicită, în funcție de care se pot măsura și evalua realizările, efectele și impactul, și care poate constitui, astfel, o bază solidă de evaluare și monitorizare;

| — | s-a definit o strategie de evaluare a programelor-cadru care să promoveze o evaluare eficace și coerentă; |
| --- | --- |

—

s-a definit o strategie de evaluare a programelor-cadru care să promoveze o evaluare eficace și coerentă;

| — | structura organizatorică adoptată pentru sistemul de evaluare garantează că acesta este coordonat în mod adecvat în cadrul programului-cadru, că dispune de resurse suficiente și că este perceput de către factorii interesați ca beneficiind de un grad suficient de independență; |
| --- | --- |

—

structura organizatorică adoptată pentru sistemul de evaluare garantează că acesta este coordonat în mod adecvat în cadrul programului-cadru, că dispune de resurse suficiente și că este perceput de către factorii interesați ca beneficiind de un grad suficient de independență;

| — | metodologiile la care s-a recurs pentru evaluare asigură abordarea corespunzătoare a problemelor relevante, astfel încât evaluarea să fie percepută ca fiind credibilă; și în care |
| --- | --- |

—

metodologiile la care s-a recurs pentru evaluare asigură abordarea corespunzătoare a problemelor relevante, astfel încât evaluarea să fie percepută ca fiind credibilă; și în care

| — | activitățile de evaluare și monitorizare furnizează informații și date analitice care pot fi utilizate în vederea îmbunătățirii programelor în derulare („programe care învață din mers”) și a conceperii programelor-cadru viitoare. |
| --- | --- |

—

activitățile de evaluare și monitorizare furnizează informații și date analitice care pot fi utilizate în vederea îmbunătățirii programelor în derulare („programe care învață din mers”) și a conceperii programelor-cadru viitoare.

| 17. | Prezentul raport se referă la dispozițiile relevante pentru PC4 (1995-1998), PC5 (1999-2002) și PC6 (2003-2006). El abordează, de asemenea, obligațiile juridice aflate în prezent în vigoare în conformitate cu PC7 (2007-2013), însă nu realizează o apreciere a studiului de impact și a evaluării ex ante efectuate de Comisie pentru PC7 (16). Raportul se axează pe monitorizarea și pe evaluarea ex post a programelor, și nu pe evaluarea ex ante a propunerilor de proiect sau pe evaluarea ex post a proiectelor propriu-zise. |
| --- | --- |

17.

Prezentul raport se referă la dispozițiile relevante pentru PC4 (1995-1998), PC5 (1999-2002) și PC6 (2003-2006). El abordează, de asemenea, obligațiile juridice aflate în prezent în vigoare în conformitate cu PC7 (2007-2013), însă nu realizează o apreciere a studiului de impact și a evaluării ex ante efectuate de Comisie pentru PC7 (16). Raportul se axează pe monitorizarea și pe evaluarea ex post a programelor, și nu pe evaluarea ex ante a propunerilor de proiect sau pe evaluarea ex post a proiectelor propriu-zise.

| 18. | Auditul s-a efectuat cu participarea Colegiului auditorilor din cadrul AELS și cu ajutorul unor experți externi. Strângerea probelor de audit s-a efectuat prin intermediul:






  — | activităților de audit desfășurate la Comisie (analiza documentației și interviuri cu personalul), care au implicat identificarea obligațiilor juridice și reglementare, o analiză a obiectivelor și a criteriilor de performanță, studierea a peste 80 de rapoarte de monitorizare și evaluare, precum și o analiză a organizării activităților de evaluare în cadrul Comisiei; |
| --- | --- | --- |

18.

Auditul s-a efectuat cu participarea Colegiului auditorilor din cadrul AELS și cu ajutorul unor experți externi. Strângerea probelor de audit s-a efectuat prin intermediul:

—

activităților de audit desfășurate la Comisie (analiza documentației și interviuri cu personalul), care au implicat identificarea obligațiilor juridice și reglementare, o analiză a obiectivelor și a criteriilor de performanță, studierea a peste 80 de rapoarte de monitorizare și evaluare, precum și o analiză a organizării activităților de evaluare în cadrul Comisiei;

| — | interviurilor cu peste 90 de experți identificați ca factori interesați din statele membre și țările asociate (Republica Cehă, Germania, Estonia, Spania, Franța, Italia, Luxemburg, Țările de Jos, Austria, Finlanda, Suedia, Regatul Unit și Norvegia); |
| --- | --- |

—

interviurilor cu peste 90 de experți identificați ca factori interesați din statele membre și țările asociate (Republica Cehă, Germania, Estonia, Spania, Franța, Italia, Luxemburg, Țările de Jos, Austria, Finlanda, Suedia, Regatul Unit și Norvegia);

| — | sondajelor întreprinse în rândul factorilor instituționali interesați din cadrul comitetului ITRE (17) al Parlamentului European și al comitetului CREST (18) al Consiliului; |
| --- | --- |

—

sondajelor întreprinse în rândul factorilor instituționali interesați din cadrul comitetului ITRE (17) al Parlamentului European și al comitetului CREST (18) al Consiliului;

| — | unei consultări cu peste 65 de experți din domeniul evaluării activităților de cercetare, din Statele Unite ale Americii și Canada, cu scopul de a constitui un grup de comparație internațional; |
| --- | --- |

—

unei consultări cu peste 65 de experți din domeniul evaluării activităților de cercetare, din Statele Unite ale Americii și Canada, cu scopul de a constitui un grup de comparație internațional;

| — | unei treceri în revistă a literaturii de specialitate care abordează tema tendințelor actuale în evaluarea activităților de cercetare; și |
| --- | --- |

—

unei treceri în revistă a literaturii de specialitate care abordează tema tendințelor actuale în evaluarea activităților de cercetare; și

| — | discutării constatărilor, a concluziilor și a recomandărilor rezultate în urma auditului cu experți din Europa și din America de Nord, specializați în evaluarea activităților de cercetare, în cadrul unei serii de reuniuni ale grupului tematic (focus group) organizate în februarie 2007, în prezența unui moderator. |
| --- | --- |

—

discutării constatărilor, a concluziilor și a recomandărilor rezultate în urma auditului cu experți din Europa și din America de Nord, specializați în evaluarea activităților de cercetare, în cadrul unei serii de reuniuni ale grupului tematic (focus group) organizate în februarie 2007, în prezența unui moderator.

OBSERVAȚIILE ÎN URMA AUDITULUI

Logica de intervenție, stabilirea obiectivelor și indicatorii de performanță

| 19. | Pentru ca evaluarea și monitorizarea să fie eficace, este necesar să se definească obiective clare și indicatori de performanță pertinenți la nivel de politică, program și proiect, în funcție de care să se poată evalua rezultatele unei intervenții publice. Bunele practici din alte domenii bugetare ale Uniunii Europene, precum și din afara Uniunii, sugerează că definirea acestor indicatori și a acestor obiective ar trebui să se facă în cadrul unei logici de intervenție. |
| --- | --- |

19.

Pentru ca evaluarea și monitorizarea să fie eficace, este necesar să se definească obiective clare și indicatori de performanță pertinenți la nivel de politică, program și proiect, în funcție de care să se poată evalua rezultatele unei intervenții publice. Bunele practici din alte domenii bugetare ale Uniunii Europene, precum și din afara Uniunii, sugerează că definirea acestor indicatori și a acestor obiective ar trebui să se facă în cadrul unei logici de intervenție.

| 20. | Logica de intervenție se poate defini ca o serie de relații ipotetice cauză-efect care descriu modul în care se preconizează că o intervenție își va atinge obiectivele globale (19). Orientările privind evaluarea elaborate de Comisie precizează că logica de intervenție stabilește o relație conceptuală între mijloacele prin care se realizează intervenția, realizările pe care le generează aceasta și, mai departe, impactul asupra societății din perspectiva rezultatelor și a efectelor (20). Prezentul raport utilizează, în tot cuprinsul său, înțelesul din definiția menționată anterior. |
| --- | --- |

20.

Logica de intervenție se poate defini ca o serie de relații ipotetice cauză-efect care descriu modul în care se preconizează că o intervenție își va atinge obiectivele globale (19). Orientările privind evaluarea elaborate de Comisie precizează că logica de intervenție stabilește o relație conceptuală între mijloacele prin care se realizează intervenția, realizările pe care le generează aceasta și, mai departe, impactul asupra societății din perspectiva rezultatelor și a efectelor (20). Prezentul raport utilizează, în tot cuprinsul său, înțelesul din definiția menționată anterior.

| 21. | Curtea a evaluat măsura în care s-a instituit o logică de intervenție pentru programele-cadru și pentru programele constitutive ale acestora, furnizându-se, în acest mod, o bază solidă pentru evaluare și monitorizare. |
| --- | --- |

21.

Curtea a evaluat măsura în care s-a instituit o logică de intervenție pentru programele-cadru și pentru programele constitutive ale acestora, furnizându-se, în acest mod, o bază solidă pentru evaluare și monitorizare.

Logica de intervenție pentru programele-cadru nu a fost formulată explicit

| 22. | Definirea unei logici de intervenție ar trebui să fie, de la bun început, un element-cheie în conceperea programelor. Articolul 163 din tratat, care susține necesitatea consolidării bazelor științifice și tehnologice și dezvoltarea competitivității, ar trebui să furnizeze punctul de plecare pentru o astfel de logică de intervenție pentru programele-cadru (a se vedea punctul 2). Această logică ar trebui definită mai în profunzime și adaptată diferitelor domenii științifice acoperite de programele-cadru și diferitelor instrumente utilizate. |
| --- | --- |

22.

Definirea unei logici de intervenție ar trebui să fie, de la bun început, un element-cheie în conceperea programelor. Articolul 163 din tratat, care susține necesitatea consolidării bazelor științifice și tehnologice și dezvoltarea competitivității, ar trebui să furnizeze punctul de plecare pentru o astfel de logică de intervenție pentru programele-cadru (a se vedea punctul 2). Această logică ar trebui definită mai în profunzime și adaptată diferitelor domenii științifice acoperite de programele-cadru și diferitelor instrumente utilizate.

| 23. | Cu toate acestea, nu există, la niciun nivel, un model logic explicit care să explice modul în care programele-cadru și programele constitutive ale acestora contribuie la progresul științific și tehnologic și la inovare. |
| --- | --- |

23.

Cu toate acestea, nu există, la niciun nivel, un model logic explicit care să explice modul în care programele-cadru și programele constitutive ale acestora contribuie la progresul științific și tehnologic și la inovare.

| 24. | Absența unei logici de intervenție pentru programele-cadru a fost subliniată și de comisia de evaluare cincinală întrunită în 2004, care a declarat că misiunea unei comisii de genul acesta este de a umple golul dintre, pe de o parte, probele strânse în principal la nivel de proiect și, pe de altă parte, obiectivele socioeconomice, de la un nivel mai înalt, ale politicii de cercetare. Cu toate acestea, au afirmat membrii comisiei, în momentul de față, această racordare este dificil de realizat, din cauza modului în care este planificat programul-cadru. Programul nu dispune de o logică explicită care să realizeze conexiunea dintre obiectivele de nivel înalt și obiectivele de nivel concret privind cercetarea și cunoașterea (21). |
| --- | --- |

24.

Absența unei logici de intervenție pentru programele-cadru a fost subliniată și de comisia de evaluare cincinală întrunită în 2004, care a declarat că misiunea unei comisii de genul acesta este de a umple golul dintre, pe de o parte, probele strânse în principal la nivel de proiect și, pe de altă parte, obiectivele socioeconomice, de la un nivel mai înalt, ale politicii de cercetare. Cu toate acestea, au afirmat membrii comisiei, în momentul de față, această racordare este dificil de realizat, din cauza modului în care este planificat programul-cadru. Programul nu dispune de o logică explicită care să realizeze conexiunea dintre obiectivele de nivel înalt și obiectivele de nivel concret privind cercetarea și cunoașterea (21).

| 25. | O cu totul altă abordare au adoptat unele state membre (de exemplu, Țările de Jos și Finlanda) și Statele Unite ale Americii (a se vedea figura 3), unde definirea unei logici de intervenție este mult mai generalizată, precum și Canada, unde aceasta este obligatorie pentru toate programele (a se vedea anexa III). Într-adevăr, utilizarea, în aceste țări, a unei logici de intervenție în stadiul de concepere a programelor a avut drept rezultat o mai bună orientare și structurare a acestora. Comisia a început, și ea, să introducă progresiv logica de intervenție în alte domenii de politică comunitară (de exemplu, ajutorul extern) (22).
  Figura 3
  Stabilirea unei ierarhii a obiectivelor, pe baza modelelor logice – exemplu de cercetare în sectorul agricol din Statele Unite ale Americii








  Politică | Program | Proiect |
| --- | --- | --- | --- |
| Obiectiv al politicii
  : să contribuie la îmbunătățirea mijloacelor de trai ale familiilor de agricultori | | |
| Scop
  : creșterea producției și a productivității agricole, precum și a veniturilor, în rândul gospodăriilor agricole | Obiectivul programului
  : să contribuie la creșterea producției și a productivității agricole, precum și a veniturilor, în rândul gospodăriilor agricole | |
| Rezultat scontat
  : creșterea, în rândul agricultorilor vizați, a utilizării de tehnologii agricole modernizate | Scop
  : creșterea utilizării de tehnologii agricole modernizate de către agricultori (de exemplu, pentru cultura orezului) | Obiectivul proiectului
  : să contribuie la creșterea utilizării de tehnologii modernizate recomandate |
| | Rezultat scontat
  : furnizarea/difuzarea de recomandări agricultorilor vizați | Scop
  : furnizarea de recomandări privind tehnologiile modernizate care sunt adecvate agricultorilor vizați |
| | | Rezultat scontat (de exemplu):








  1. | identificarea tehnologiilor în funcție de prioritățile agricultorilor |

25.

O cu totul altă abordare au adoptat unele state membre (de exemplu, Țările de Jos și Finlanda) și Statele Unite ale Americii (a se vedea figura 3), unde definirea unei logici de intervenție este mult mai generalizată, precum și Canada, unde aceasta este obligatorie pentru toate programele (a se vedea anexa III). Într-adevăr, utilizarea, în aceste țări, a unei logici de intervenție în stadiul de concepere a programelor a avut drept rezultat o mai bună orientare și structurare a acestora. Comisia a început, și ea, să introducă progresiv logica de intervenție în alte domenii de politică comunitară (de exemplu, ajutorul extern) (22).

Figura 3

Stabilirea unei ierarhii a obiectivelor, pe baza modelelor logice – exemplu de cercetare în sectorul agricol din Statele Unite ale Americii

Politică

Program

Proiect

Obiectiv al politicii
  : să contribuie la îmbunătățirea mijloacelor de trai ale familiilor de agricultori

Scop
  : creșterea producției și a productivității agricole, precum și a veniturilor, în rândul gospodăriilor agricole

Obiectivul programului
  : să contribuie la creșterea producției și a productivității agricole, precum și a veniturilor, în rândul gospodăriilor agricole

Rezultat scontat
  : creșterea, în rândul agricultorilor vizați, a utilizării de tehnologii agricole modernizate

Scop
  : creșterea utilizării de tehnologii agricole modernizate de către agricultori (de exemplu, pentru cultura orezului)

Obiectivul proiectului
  : să contribuie la creșterea utilizării de tehnologii modernizate recomandate

Rezultat scontat
  : furnizarea/difuzarea de recomandări agricultorilor vizați

Scop
  : furnizarea de recomandări privind tehnologiile modernizate care sunt adecvate agricultorilor vizați

Rezultat scontat (de exemplu):

1.

identificarea tehnologiilor în funcție de prioritățile agricultorilor

| 2. | generarea și adaptarea tehnologiilor |
| --- | --- |

2.

generarea și adaptarea tehnologiilor

| 3. | verificarea tehnologiilor pe terenurile agricultorilor |
| --- | --- |

3.

verificarea tehnologiilor pe terenurile agricultorilor

Sursa: Consiliul Național pentru Cercetare Agricolă al Statelor Unite.

| 26. | Lipsa unei formulări oficiale a logicii pe care se fundamentează intervenția publică și a relațiilor de cauzalitate implicite (în conformitate cu care programul este apoi planificat în detaliu, executat și evaluat) subminează eficacitatea evaluării și a monitorizării programelor-cadru. Aceasta se întâmplă în special datorită modului în care se definesc obiectivele programelor și indicatorii de performanță. |
| --- | --- |

26.

Lipsa unei formulări oficiale a logicii pe care se fundamentează intervenția publică și a relațiilor de cauzalitate implicite (în conformitate cu care programul este apoi planificat în detaliu, executat și evaluat) subminează eficacitatea evaluării și a monitorizării programelor-cadru. Aceasta se întâmplă în special datorită modului în care se definesc obiectivele programelor și indicatorii de performanță.

În lipsa unui model logic explicit, este mai dificil să se stabilească obiective coerente ale programelor

| 27. | Nespecificarea în mod explicit a logicii pe care se fundamentează intervenția publică face mai dificilă stabilirea și structurarea într-un mod coerent a obiectivelor programelor. Acest lucru este demonstrat prin faptul că:






  — | raportul dintre obiectivele programelor-cadru și obiectivele politicilor, cum ar fi obiectivele generale menționate la articolul 163 din tratat, precum și obiectivele afirmate prin strategia de la Lisabona și declarația de la Barcelona (a se vedea punctele 2 și 7), nu este clar; |
| --- | --- | --- |

27.

Nespecificarea în mod explicit a logicii pe care se fundamentează intervenția publică face mai dificilă stabilirea și structurarea într-un mod coerent a obiectivelor programelor. Acest lucru este demonstrat prin faptul că:

—

raportul dintre obiectivele programelor-cadru și obiectivele politicilor, cum ar fi obiectivele generale menționate la articolul 163 din tratat, precum și obiectivele afirmate prin strategia de la Lisabona și declarația de la Barcelona (a se vedea punctele 2 și 7), nu este clar;

| — | nu este întotdeauna evidentă relația dintre diferitele obiective ale programelor individuale, nici de la un nivel ierarhic al legislației la altul (de exemplu, relația dintre deciziile privind programele-cadru, deciziile privind programele specifice și normele de participare și de difuzare) și nici de la nivelul actelor de bază la cel al programelor de lucru ale Comisiei. |
| --- | --- |

—

nu este întotdeauna evidentă relația dintre diferitele obiective ale programelor individuale, nici de la un nivel ierarhic al legislației la altul (de exemplu, relația dintre deciziile privind programele-cadru, deciziile privind programele specifice și normele de participare și de difuzare) și nici de la nivelul actelor de bază la cel al programelor de lucru ale Comisiei.

| 28. | Comisia a încercat să stabilească obiective operaționale în programele de lucru, pe baza obiectivelor programelor definite în legislația privind programele-cadru. Cu toate acestea, în aproape toate cazurile, aceste inițiative nu au reușit să clarifice logica pe care se fundamentează programele, iar obiectivele formulate în programele de lucru nu erau specifice (clar definite), măsurabile, realizabile, relevante și datate (încadrate în anumite coordonate de timp) (specific, measurable, achievable, relevant and timed – SMART). În 2003, Regulamentul financiar (23) a transformat această cerință referitoare la obiectivele „SMART” într-o obligație juridică. |
| --- | --- |

28.

Comisia a încercat să stabilească obiective operaționale în programele de lucru, pe baza obiectivelor programelor definite în legislația privind programele-cadru. Cu toate acestea, în aproape toate cazurile, aceste inițiative nu au reușit să clarifice logica pe care se fundamentează programele, iar obiectivele formulate în programele de lucru nu erau specifice (clar definite), măsurabile, realizabile, relevante și datate (încadrate în anumite coordonate de timp) (specific, measurable, achievable, relevant and timed – SMART). În 2003, Regulamentul financiar (23) a transformat această cerință referitoare la obiectivele „SMART” într-o obligație juridică.

| 29. | Nu este clar în ce măsură se poate identifica legătura dintre obiectivele politicilor – prin observarea programelor specifice, a programelor de lucru și a cererilor de propuneri – și proiectele individuale cofinanțate de Comunitate. Dacă aceste legături nu sunt clarificate, este imposibil să se evalueze contribuția programelor-cadru și a programelor constitutive ale acestora la atingerea obiectivelor politicilor menționate. În urma auditului, s-a constatat că, în evaluările sale, Comisia nu a furnizat deloc probe convingătoare – sau a făcut-o într-o măsură foarte mică – pentru a demonstra că obiectivele pe termen mai lung au fost atinse, nici în ceea ce privește nivelul de proiect și nici în ceea ce privește nivelul de program (a se vedea punctul 82). |
| --- | --- |

29.

Nu este clar în ce măsură se poate identifica legătura dintre obiectivele politicilor – prin observarea programelor specifice, a programelor de lucru și a cererilor de propuneri – și proiectele individuale cofinanțate de Comunitate. Dacă aceste legături nu sunt clarificate, este imposibil să se evalueze contribuția programelor-cadru și a programelor constitutive ale acestora la atingerea obiectivelor politicilor menționate. În urma auditului, s-a constatat că, în evaluările sale, Comisia nu a furnizat deloc probe convingătoare – sau a făcut-o într-o măsură foarte mică – pentru a demonstra că obiectivele pe termen mai lung au fost atinse, nici în ceea ce privește nivelul de proiect și nici în ceea ce privește nivelul de program (a se vedea punctul 82).

Lipsa unei logici de intervenție explicite și a unor obiective clare face mai dificilă elaborarea unor indicatori de performanță

| 30. | Lipsa unui model logic explicit și a unor obiective clar definite ale programelor a frânat, de asemenea, elaborarea unor indicatori de performanță care să permită monitorizarea atingerii obiectivelor programelor din punctul de vederea al realizărilor, al efectelor și al impacturilor, rezultatul fiind că, până în momentul de față, acești indicatori de „eficacitate” nu au fost deloc definiți pentru programele-cadru (a se vedea punctul 73). |
| --- | --- |

30.

Lipsa unui model logic explicit și a unor obiective clar definite ale programelor a frânat, de asemenea, elaborarea unor indicatori de performanță care să permită monitorizarea atingerii obiectivelor programelor din punctul de vederea al realizărilor, al efectelor și al impacturilor, rezultatul fiind că, până în momentul de față, acești indicatori de „eficacitate” nu au fost deloc definiți pentru programele-cadru (a se vedea punctul 73).

| 31. | În aceste condiții, examinarea proiectelor în derulare finanțate de aceste programe și evaluarea ex post a celor finalizate sunt, de asemenea, mai dificil de realizat și contribuie la dificultatea de a corela evaluările între nivelul proiectelor și cel al programelor (a se vedea anexa I și punctul 84). |
| --- | --- |

31.

În aceste condiții, examinarea proiectelor în derulare finanțate de aceste programe și evaluarea ex post a celor finalizate sunt, de asemenea, mai dificil de realizat și contribuie la dificultatea de a corela evaluările între nivelul proiectelor și cel al programelor (a se vedea anexa I și punctul 84).

Sistemul de întocmire a bugetului pe activități/gestionare pe activități, astfel cum este pus în aplicare în prezent, nu constituie un instrument corespunzător de măsurare a performanțelor programelor-cadru

| 32. | În rapoartele anuale de monitorizare ale Comisiei, precum și în contextul sistemului de gestionare pe activități al Comisiei se regăsesc o serie de indicatori care permit urmărirea eficienței punerii în aplicare a programelor (de exemplu, durata procesului de încheiere/atribuire a contractului, termenul de plată). |
| --- | --- |

32.

În rapoartele anuale de monitorizare ale Comisiei, precum și în contextul sistemului de gestionare pe activități al Comisiei se regăsesc o serie de indicatori care permit urmărirea eficienței punerii în aplicare a programelor (de exemplu, durata procesului de încheiere/atribuire a contractului, termenul de plată).

| 33. | Cu toate acestea, până în prezent, direcțiile generale cu competențe în cercetare, chiar și atunci când au pus în aplicare același program (sau subprogram) specific, nu au aplicat o nomenclatură uniformizată sau comparabilă pentru întocmirea bugetului pe activități și nici indicatori aferenți care să fie standardizați sau comparabili. Prin urmare, nu se poate recurge la acești indicatori pentru a compara performanțele între programe sau în cadrul aceluiași program.

  Caseta 2Sistemul de întocmire a bugetului pe activități/gestionare pe activități, astfel cum este pus în aplicare în prezent de către direcțiile generale cu competențe în cercetareÎn sistemul de întocmire a bugetului pe activități/gestionare pe activități, programele-cadru se subordonează unui număr de două domenii diferite de politici, în cadrul cărora activitățile programelor-cadru sunt prezentate în conformitate cu o nomenclatură diferită, ce este specifică unei sau alteia dintre direcțiile generale (24). Această prezentare se aplică chiar și acelor programe și subprograme specifice puse în aplicare de mai multe direcții generale. Obiectivele în materie de gestionare pe activități au fost definite în conformitate cu diferite principii subiacente (25) și, după cum a indicat Serviciul de audit intern al Comisiei (26), au fost formulate, în mare parte, în termeni generali, descriind aspirații sau activități. Indicatorii erau, în general, orientați către mijloacele de punere în aplicare (de exemplu, numărul de ședințe etc.). O parte dintre acești indicatori se refereau la eficiența proceselor (de exemplu, durata procesului de încheiere/atribuire a contractului, termenul de plată), însă nu erau comparabili între programe și nici de la o direcție generală la alta, din cauza diferențelor existente în nomenclatura sistemului de întocmire a bugetului pe activități, dintre premisele asumate de diferitele direcții generale (cum ar fi începutul sau încheierea proceselor administrative specifice) și dintre populațiile subiacente (de exemplu, tipul de acord de subvenționare, tipul plății) luate în considerare în vederea calculării indicatorilor. |
| --- | --- |

33.

Cu toate acestea, până în prezent, direcțiile generale cu competențe în cercetare, chiar și atunci când au pus în aplicare același program (sau subprogram) specific, nu au aplicat o nomenclatură uniformizată sau comparabilă pentru întocmirea bugetului pe activități și nici indicatori aferenți care să fie standardizați sau comparabili. Prin urmare, nu se poate recurge la acești indicatori pentru a compara performanțele între programe sau în cadrul aceluiași program.

Caseta 2Sistemul de întocmire a bugetului pe activități/gestionare pe activități, astfel cum este pus în aplicare în prezent de către direcțiile generale cu competențe în cercetareÎn sistemul de întocmire a bugetului pe activități/gestionare pe activități, programele-cadru se subordonează unui număr de două domenii diferite de politici, în cadrul cărora activitățile programelor-cadru sunt prezentate în conformitate cu o nomenclatură diferită, ce este specifică unei sau alteia dintre direcțiile generale (24). Această prezentare se aplică chiar și acelor programe și subprograme specifice puse în aplicare de mai multe direcții generale. Obiectivele în materie de gestionare pe activități au fost definite în conformitate cu diferite principii subiacente (25) și, după cum a indicat Serviciul de audit intern al Comisiei (26), au fost formulate, în mare parte, în termeni generali, descriind aspirații sau activități. Indicatorii erau, în general, orientați către mijloacele de punere în aplicare (de exemplu, numărul de ședințe etc.). O parte dintre acești indicatori se refereau la eficiența proceselor (de exemplu, durata procesului de încheiere/atribuire a contractului, termenul de plată), însă nu erau comparabili între programe și nici de la o direcție generală la alta, din cauza diferențelor existente în nomenclatura sistemului de întocmire a bugetului pe activități, dintre premisele asumate de diferitele direcții generale (cum ar fi începutul sau încheierea proceselor administrative specifice) și dintre populațiile subiacente (de exemplu, tipul de acord de subvenționare, tipul plății) luate în considerare în vederea calculării indicatorilor.

Recomandări

34.

| 34. | În viitoarele propuneri legislative pe care le înaintează Consiliului și Paramentului European, Comisia ar trebui să prezinte o logică de intervenție explicită atât pentru programul-cadru în ansamblu, cât și pentru componentele acestuia. |
| --- | --- |

În viitoarele propuneri legislative pe care le înaintează Consiliului și Paramentului European, Comisia ar trebui să prezinte o logică de intervenție explicită atât pentru programul-cadru în ansamblu, cât și pentru componentele acestuia.

| 35. | În ceea ce privește PC7, Comisia ar trebui:






  — | să furnizeze o descriere clară a obiectivelor programului-cadru și ale programelor (și ale subprogramelor) specifice constitutive ale acestuia, precum și a modalității de a atinge obiectivele respective; |
| --- | --- | --- |

35.

În ceea ce privește PC7, Comisia ar trebui:

—

să furnizeze o descriere clară a obiectivelor programului-cadru și ale programelor (și ale subprogramelor) specifice constitutive ale acestuia, precum și a modalității de a atinge obiectivele respective;

| — | să clarifice corelația dintre obiectivele științifice și cele socioeconomice pentru fiecare program (și subprogram) specific; și |
| --- | --- |

—

să clarifice corelația dintre obiectivele științifice și cele socioeconomice pentru fiecare program (și subprogram) specific; și

| — | să definească obiective operaționale pertinente. |
| --- | --- |

—

să definească obiective operaționale pertinente.

| 36. | Pentru sistemul său de monitorizare a celui de Al șaptelea program-cadru, Comisia ar trebui să instituie o gamă limitată, dar echilibrată, de indicatori ai performanței, care să măsoare, pentru fiecare program (și subprogram) specific, „eficiența” și „eficacitatea” punerii în aplicare a programului în cauză. |
| --- | --- |

36.

Pentru sistemul său de monitorizare a celui de Al șaptelea program-cadru, Comisia ar trebui să instituie o gamă limitată, dar echilibrată, de indicatori ai performanței, care să măsoare, pentru fiecare program (și subprogram) specific, „eficiența” și „eficacitatea” punerii în aplicare a programului în cauză.

| 37. | Direcțiile generale cu competențe în cercetare ar trebui să își armonizeze nomenclatura în materie de gestionare pe activități/întocmire a bugetului pe activități, astfel încât indicatorii performanței să devină comparabili atât în timp, cât și, în cazurile în care acest lucru este posibil, de la un program (și subprogram) specific la altul. |
| --- | --- |

37.

Direcțiile generale cu competențe în cercetare ar trebui să își armonizeze nomenclatura în materie de gestionare pe activități/întocmire a bugetului pe activități, astfel încât indicatorii performanței să devină comparabili atât în timp, cât și, în cazurile în care acest lucru este posibil, de la un program (și subprogram) specific la altul.

Strategia de evaluare

| 38. | Strategia de evaluare oferă cadrul noțional în care sunt concepute, planificate, executate și exploatate activitățile de evaluare. Bunele practici din alte domenii bugetare comunitare, dar și din afara Uniunii, sugerează că o astfel de strategie ar trebui să țină seama de principalele aspecte juridice, organizatorice și metodologice asociate evaluării programelor. Această strategie ar trebui să prevadă tipul de evaluări care trebuie efectuate, persoanele responsabile de efectuarea lor și perioada în care se vor efectua, modalitatea de colectare a datelor, abordările metodologice care trebuie utilizate și modalitatea de comunicare și de urmărire a constatărilor. |
| --- | --- |

38.

Strategia de evaluare oferă cadrul noțional în care sunt concepute, planificate, executate și exploatate activitățile de evaluare. Bunele practici din alte domenii bugetare comunitare, dar și din afara Uniunii, sugerează că o astfel de strategie ar trebui să țină seama de principalele aspecte juridice, organizatorice și metodologice asociate evaluării programelor. Această strategie ar trebui să prevadă tipul de evaluări care trebuie efectuate, persoanele responsabile de efectuarea lor și perioada în care se vor efectua, modalitatea de colectare a datelor, abordările metodologice care trebuie utilizate și modalitatea de comunicare și de urmărire a constatărilor.

| 39. | Introducerea unei astfel de strategii și luarea măsurilor necesare pentru garantarea aplicării acesteia reprezintă o premisă obligatorie pentru integrarea evaluării în cultura organizațională și procesul decizional al Comisiei. Cu toate acestea, Curtea recunoaște că, dată fiind diversitatea domeniilor științifice acoperite de programele-cadru, o astfel de strategie ar trebui să acorde un grad adecvat de flexibilitate fiecăreia dintre direcțiile generale responsabile și nu ar trebui să fie exagerat de prescriptivă. |
| --- | --- |

39.

Introducerea unei astfel de strategii și luarea măsurilor necesare pentru garantarea aplicării acesteia reprezintă o premisă obligatorie pentru integrarea evaluării în cultura organizațională și procesul decizional al Comisiei. Cu toate acestea, Curtea recunoaște că, dată fiind diversitatea domeniilor științifice acoperite de programele-cadru, o astfel de strategie ar trebui să acorde un grad adecvat de flexibilitate fiecăreia dintre direcțiile generale responsabile și nu ar trebui să fie exagerat de prescriptivă.

| 40. | Curtea a verificat în ce măsură Comisia avea în funcțiune o astfel de strategie de evaluare pentru programele-cadru. |
| --- | --- |

40.

Curtea a verificat în ce măsură Comisia avea în funcțiune o astfel de strategie de evaluare pentru programele-cadru.

Absența unei strategii de evaluare atotcuprinzătoare pentru programele-cadru

| 41. | Comisia și-a făcut pentru prima dată publică abordarea față de evaluarea programelor-cadru în anii 1980 (27). Abordarea a fost actualizată în 1996, an în care Comisia a informat Parlamentul European și Consiliul cu privire la ceea ce considera la momentul respectiv a fi principiile subiacente relevante pentru monitorizare și evaluare și și-a stabilit abordarea dorită în urma adoptării celui de Al patrulea program-cadru (28). Aceasta nu s-a dovedit însă a fi o strategie de evaluare atotcuprinzătoare, conformă cu ceea ce s-a prezentat mai sus (a se vedea punctele 38 și 39). Mai mult, din 1996 până în 2006, Comisia nu și-a mai reexaminat fundamental abordarea față de evaluare pentru PC5 și PC6, în pofida faptului că programele-cadru au evoluat în ceea ce privește atât sfera de acoperire, cât și orientarea (a se vedea punctul 7). În special, în ceea ce privește convenirea unei abordări consecvente față de evaluarea programelor-cadru și a programelor lor constitutive, direcțiile generale cu competențe în cercetare nu au mers mai departe de respectarea dispozițiilor legislative adoptate în 1999 (pentru PC5), în 2002 (pentru PC6) și în 2006 (pentru PC7) (29). |
| --- | --- |

41.

Comisia și-a făcut pentru prima dată publică abordarea față de evaluarea programelor-cadru în anii 1980 (27). Abordarea a fost actualizată în 1996, an în care Comisia a informat Parlamentul European și Consiliul cu privire la ceea ce considera la momentul respectiv a fi principiile subiacente relevante pentru monitorizare și evaluare și și-a stabilit abordarea dorită în urma adoptării celui de Al patrulea program-cadru (28). Aceasta nu s-a dovedit însă a fi o strategie de evaluare atotcuprinzătoare, conformă cu ceea ce s-a prezentat mai sus (a se vedea punctele 38 și 39). Mai mult, din 1996 până în 2006, Comisia nu și-a mai reexaminat fundamental abordarea față de evaluare pentru PC5 și PC6, în pofida faptului că programele-cadru au evoluat în ceea ce privește atât sfera de acoperire, cât și orientarea (a se vedea punctul 7). În special, în ceea ce privește convenirea unei abordări consecvente față de evaluarea programelor-cadru și a programelor lor constitutive, direcțiile generale cu competențe în cercetare nu au mers mai departe de respectarea dispozițiilor legislative adoptate în 1999 (pentru PC5), în 2002 (pentru PC6) și în 2006 (pentru PC7) (29).

| 42. | Lipsa unei astfel de abordări strategice față de evaluare în acest domeniu reprezintă, pentru perioada de programare curentă, o problemă deosebită, în special având în vedere punerea în aplicare a PC7 în comun de către mai multe direcții generale, de către Consiliul European al Cercetării și de către agenții executive, precum și obligația rotației personalului care ocupă posturi sensibile, impusă de Regulamentul financiar. De asemenea, această lipsă nu este în concordanță cu practicile curente din domeniul ajutorului extern (care reprezintă al doilea domeniu ca importanță ce face obiectul gestionării directe de către Comisie). În acest domeniu, direcțiile generale competente au convenit, din 2002, cu privire la strategii de evaluare multianuale comune corespunzătoare perioadelor de programare (a se vedea punctul 52). |
| --- | --- |

42.

Lipsa unei astfel de abordări strategice față de evaluare în acest domeniu reprezintă, pentru perioada de programare curentă, o problemă deosebită, în special având în vedere punerea în aplicare a PC7 în comun de către mai multe direcții generale, de către Consiliul European al Cercetării și de către agenții executive, precum și obligația rotației personalului care ocupă posturi sensibile, impusă de Regulamentul financiar. De asemenea, această lipsă nu este în concordanță cu practicile curente din domeniul ajutorului extern (care reprezintă al doilea domeniu ca importanță ce face obiectul gestionării directe de către Comisie). În acest domeniu, direcțiile generale competente au convenit, din 2002, cu privire la strategii de evaluare multianuale comune corespunzătoare perioadelor de programare (a se vedea punctul 52).

| 43. | Această lipsă a unei strategii de evaluare clar formulate contrastează, de asemenea, puternic și cu situația din Statele Unite ale Americii și din Canada, unde existența unei strategii este prevăzută în cadrul de reglementare (a se vedea anexa III). |
| --- | --- |

43.

Această lipsă a unei strategii de evaluare clar formulate contrastează, de asemenea, puternic și cu situația din Statele Unite ale Americii și din Canada, unde existența unei strategii este prevăzută în cadrul de reglementare (a se vedea anexa III).

| 44. | După cum se exemplifică mai jos, există diferențe semnificative în materie de sferă de acoperire și intensitate a evaluării de la un program-cadru la altul, precum și în interiorul aceluiași program-cadru. Au existat și alte deficiențe, discutate în secțiunile ulterioare ale prezentului raport, cum ar fi problemele de coordonare, diferențele dintre abordările metodologice, problemele de planificare în timp și deficiențele constatate în comunicarea și urmărirea constatărilor evaluărilor. Aceasta reflectă absența unei strategii de evaluare atotcuprinzătoare pentru programele-cadru. |
| --- | --- |

44.

După cum se exemplifică mai jos, există diferențe semnificative în materie de sferă de acoperire și intensitate a evaluării de la un program-cadru la altul, precum și în interiorul aceluiași program-cadru. Au existat și alte deficiențe, discutate în secțiunile ulterioare ale prezentului raport, cum ar fi problemele de coordonare, diferențele dintre abordările metodologice, problemele de planificare în timp și deficiențele constatate în comunicarea și urmărirea constatărilor evaluărilor. Aceasta reflectă absența unei strategii de evaluare atotcuprinzătoare pentru programele-cadru.

Diferențele existente în materie de sferă de acoperire și intensitate a evaluării de la o situație la alta în interiorul aceluiași program-cadru

| 45. | Programele-cadru sunt alcătuite dintr-un număr de programe (și subprograme) specifice, care se pot deosebi în mod fundamental unele de celelalte din punctul de vedere al scopului, al dinamicii subiacente și al creditelor bugetare (pentru PC7, a se vedea anexa IV). Luate în ansamblu, dispozițiile specifice ale diferitelor decizii privind programele-cadru, precum și cele ale Regulamentului financiar (30) (care prevede evaluarea programelor și a activităților ce generează cheltuieli importante) sugerează că, începând cu PC4, a existat în vigoare o obligație juridică de a evalua atât programul-cadru în ansamblu, cât și majoritatea programelor specifice constitutive ale acestuia. |
| --- | --- |

45.

Programele-cadru sunt alcătuite dintr-un număr de programe (și subprograme) specifice, care se pot deosebi în mod fundamental unele de celelalte din punctul de vedere al scopului, al dinamicii subiacente și al creditelor bugetare (pentru PC7, a se vedea anexa IV). Luate în ansamblu, dispozițiile specifice ale diferitelor decizii privind programele-cadru, precum și cele ale Regulamentului financiar (30) (care prevede evaluarea programelor și a activităților ce generează cheltuieli importante) sugerează că, începând cu PC4, a existat în vigoare o obligație juridică de a evalua atât programul-cadru în ansamblu, cât și majoritatea programelor specifice constitutive ale acestuia.

| 46. | Comisia nu a stabilit o regulă privind momentul în care trebuie evaluate programele sau subprogramele specifice din cadrul programului-cadru și nici un nivel comun minim care să dicteze efectuarea evaluării. Această situație a condus la interpretări neuniforme cu privire la ce anume trebuie să facă obiectul evaluării și până la ce grad de aprofundare:






  — | DG Societate Informațională a considerat că programul privind tehnologiile societății informaționale constituie un program important de cheltuieli de sine stătător și a organizat, în 2004, o evaluare cincinală completă, în paralel cu cea efectuată pentru programul-cadru în ansamblu; |
| --- | --- | --- |

46.

Comisia nu a stabilit o regulă privind momentul în care trebuie evaluate programele sau subprogramele specifice din cadrul programului-cadru și nici un nivel comun minim care să dicteze efectuarea evaluării. Această situație a condus la interpretări neuniforme cu privire la ce anume trebuie să facă obiectul evaluării și până la ce grad de aprofundare:

—

DG Societate Informațională a considerat că programul privind tehnologiile societății informaționale constituie un program important de cheltuieli de sine stătător și a organizat, în 2004, o evaluare cincinală completă, în paralel cu cea efectuată pentru programul-cadru în ansamblu;

| — | DG Cercetare nu a organizat în mod sistematic o astfel de evaluare la nivel de program specific, în ciuda faptului că bugetele unora dintre programele de care răspunde au valori comparabile. |
| --- | --- |

—

DG Cercetare nu a organizat în mod sistematic o astfel de evaluare la nivel de program specific, în ciuda faptului că bugetele unora dintre programele de care răspunde au valori comparabile.

| 47. | Drept urmare, în cazul evaluării cincinale din 2004, s-a omis complet evaluarea unor segmente semnificative din programele PC4 și PC5 (echivalente cu un procent de 30 % din totalul creditelor bugetare pentru PC4 și de 50 % pentru PC5), ceea ce înseamnă că obligațiile de evaluare prevăzute la articolul 27 din Regulamentul financiar nu au fost respectate de către Comisie. |
| --- | --- |

47.

Drept urmare, în cazul evaluării cincinale din 2004, s-a omis complet evaluarea unor segmente semnificative din programele PC4 și PC5 (echivalente cu un procent de 30 % din totalul creditelor bugetare pentru PC4 și de 50 % pentru PC5), ceea ce înseamnă că obligațiile de evaluare prevăzute la articolul 27 din Regulamentul financiar nu au fost respectate de către Comisie.

| 48. | Aceste interpretări divergente cu privire la obligațiile juridice minime referitoare la evaluare, precum și gradul insuficient de evaluare a programelor-cadru în trecut, care a decurs din acestea, ilustrează lipsa de coordonare și efectul absenței unei abordări strategice a Comisiei față de evaluarea programelor-cadru. |
| --- | --- |

48.

Aceste interpretări divergente cu privire la obligațiile juridice minime referitoare la evaluare, precum și gradul insuficient de evaluare a programelor-cadru în trecut, care a decurs din acestea, ilustrează lipsa de coordonare și efectul absenței unei abordări strategice a Comisiei față de evaluarea programelor-cadru.

Recomandări

49.

| 49. | Direcțiile generale cu competențe în cercetare ar trebui să elaboreze și să convină în cel mai scurt timp posibil cu privire la o strategie de evaluare comună pentru programele-cadru. Fără a fi exagerat de prescriptivă, această strategie ar trebui să conducă la o abordare consecventă față de evaluarea programelor-cadru și a programelor constitutive ale acestora. Această strategie ar trebui, de asemenea, să furnizeze orientări cu privire la nivelul minim începând de la care este obligatorie evaluarea detaliată, astfel încât să se țină seama de specificitățile fiecărui domeniu științific. |
| --- | --- |

Direcțiile generale cu competențe în cercetare ar trebui să elaboreze și să convină în cel mai scurt timp posibil cu privire la o strategie de evaluare comună pentru programele-cadru. Fără a fi exagerat de prescriptivă, această strategie ar trebui să conducă la o abordare consecventă față de evaluarea programelor-cadru și a programelor constitutive ale acestora. Această strategie ar trebui, de asemenea, să furnizeze orientări cu privire la nivelul minim începând de la care este obligatorie evaluarea detaliată, astfel încât să se țină seama de specificitățile fiecărui domeniu științific.

Organizarea evaluării programelor-cadru

| 50. | Evaluarea programelor-cadru trebuie să se sprijine pe mecanisme organizatorice corespunzătoare, care ar trebui să decurgă din orientările strategice ale Comisiei pentru evaluarea programelor-cadru. Curtea a verificat măsura în care structura organizatorică a garantat că sistemul de evaluare era coordonat în mod adecvat, că dispunea de resurse suficiente și că era perceput de către factorii interesați ca beneficiind de un grad suficient de independență. |
| --- | --- |

50.

Evaluarea programelor-cadru trebuie să se sprijine pe mecanisme organizatorice corespunzătoare, care ar trebui să decurgă din orientările strategice ale Comisiei pentru evaluarea programelor-cadru. Curtea a verificat măsura în care structura organizatorică a garantat că sistemul de evaluare era coordonat în mod adecvat, că dispunea de resurse suficiente și că era perceput de către factorii interesați ca beneficiind de un grad suficient de independență.

Comisia

Programele-cadru sunt puse în aplicare în comun de mai multe direcții generale, în timp ce responsabilitatea evaluării este descentralizată

| 51. | În cadrul Comisiei, responsabilitatea evaluării programelor de cheltuieli revine fiecărei direcții generale în parte (a se vedea punctul 8), astfel încât s-au înființat unități de evaluare în cadrul fiecărei direcții generale. Aceste unități de evaluare răspund de planificarea, coordonarea și efectuarea evaluărilor. |
| --- | --- |

51.

În cadrul Comisiei, responsabilitatea evaluării programelor de cheltuieli revine fiecărei direcții generale în parte (a se vedea punctul 8), astfel încât s-au înființat unități de evaluare în cadrul fiecărei direcții generale. Aceste unități de evaluare răspund de planificarea, coordonarea și efectuarea evaluărilor.

| 52. | Inexistența unui organism de coordonare specific sau a unei entități unice care să răspundă de evaluarea programului-cadru în ansamblu, cum ar fi un birou de evaluare comun pentru direcțiile generale cu competențe în cercetare, nu este caracteristică și pentru alte domenii de politici. În domeniul ajutorului extern s-a înființat o unitate de evaluare comună pentru trei direcții generale (Dezvoltare, Relații Externe și EuropeAid), cu scopul de a prelua evaluarea programelor de dezvoltare desfășurate de Comisie în țările terțe (a se vedea punctul 42). |
| --- | --- |

52.

Inexistența unui organism de coordonare specific sau a unei entități unice care să răspundă de evaluarea programului-cadru în ansamblu, cum ar fi un birou de evaluare comun pentru direcțiile generale cu competențe în cercetare, nu este caracteristică și pentru alte domenii de politici. În domeniul ajutorului extern s-a înființat o unitate de evaluare comună pentru trei direcții generale (Dezvoltare, Relații Externe și EuropeAid), cu scopul de a prelua evaluarea programelor de dezvoltare desfășurate de Comisie în țările terțe (a se vedea punctul 42).

| 53. | DG Cercetare, prin intermediul rețelei interne a Comisiei de evaluare a activităților de cercetare și de dezvoltare tehnologică, asigură un schimb de cunoștințe între unitățile de evaluare din cadrul diferitelor direcții generale, însă nu are autoritatea de a stabili cerințe minime de evaluare. Acest mecanism nu a fost suficient pentru a asigura o coordonare corespunzătoare a evaluării programelor-cadru de către Comisie. |
| --- | --- |

53.

DG Cercetare, prin intermediul rețelei interne a Comisiei de evaluare a activităților de cercetare și de dezvoltare tehnologică, asigură un schimb de cunoștințe între unitățile de evaluare din cadrul diferitelor direcții generale, însă nu are autoritatea de a stabili cerințe minime de evaluare. Acest mecanism nu a fost suficient pentru a asigura o coordonare corespunzătoare a evaluării programelor-cadru de către Comisie.

| 54. | Comisia și-a revizuit abordarea generală față de evaluare în 2000 și 2002 și, din nou, în 2007 (a se vedea punctul 14). Cu toate că nu s-au observat îmbunătățiri semnificative în ceea ce privește modul în care erau planificate, concepute și puse în aplicare evaluările programelor-cadru și ale programelor constitutive ale acestora, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale formulate la nivelul central al Comisiei. |
| --- | --- |

54.

Comisia și-a revizuit abordarea generală față de evaluare în 2000 și 2002 și, din nou, în 2007 (a se vedea punctul 14). Cu toate că nu s-au observat îmbunătățiri semnificative în ceea ce privește modul în care erau planificate, concepute și puse în aplicare evaluările programelor-cadru și ale programelor constitutive ale acestora, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale formulate la nivelul central al Comisiei.

Serviciile centrale ale Comisiei: rol de stabilire a standardelor, nu însă și de impunere a respectării acestora

| 55. | Serviciile centrale ale Comisiei (în special DG Buget și Secretariatul general) furnizează consultanță în materie de metodologie, definesc standarde comune aplicabile în cadrul Comisiei în ansamblu și monitorizează modul în care direcțiile generale și serviciile aplică aceste standarde (a se vedea punctele 14 și 70). Ele nu pot dicta însă modul în care trebuie să se desfășoare în practică evaluările. |
| --- | --- |

55.

Serviciile centrale ale Comisiei (în special DG Buget și Secretariatul general) furnizează consultanță în materie de metodologie, definesc standarde comune aplicabile în cadrul Comisiei în ansamblu și monitorizează modul în care direcțiile generale și serviciile aplică aceste standarde (a se vedea punctele 14 și 70). Ele nu pot dicta însă modul în care trebuie să se desfășoare în practică evaluările.

| 56. | Experiența din Statele Unite ale Americii și din Canada demonstrează că, în aceste țări, competența organismelor de standardizare de a impune respectarea standardelor este un factor esențial pentru asigurarea funcționării eficace a sistemului de evaluare. În ambele țări, există anumite servicii federale care elaborează cadrul în care se realizează evaluarea finală a reușitei unui program și asigură, de asemenea, respectarea acestui cadru (a se vedea anexa III). Cu toate că este vorba de contexte diferite, sistemele acestor țări se întemeiază totuși pe același principiu fundamental, și anume că este necesar ca un organism diferit de cel care pune în aplicare programul să evalueze într-o anumită măsură modul de concepere a sistemului de evaluare și să îi examineze eficacitatea. Aceeași situație se poate remarca și în anumite state membre (de exemplu, Franța (31), Spania (32), Germania (33), unde există organisme externe care supraveghează evaluările efectuate de agenții de finanțare sau care chiar efectuează ele însele aceste evaluări. |
| --- | --- |

56.

Experiența din Statele Unite ale Americii și din Canada demonstrează că, în aceste țări, competența organismelor de standardizare de a impune respectarea standardelor este un factor esențial pentru asigurarea funcționării eficace a sistemului de evaluare. În ambele țări, există anumite servicii federale care elaborează cadrul în care se realizează evaluarea finală a reușitei unui program și asigură, de asemenea, respectarea acestui cadru (a se vedea anexa III). Cu toate că este vorba de contexte diferite, sistemele acestor țări se întemeiază totuși pe același principiu fundamental, și anume că este necesar ca un organism diferit de cel care pune în aplicare programul să evalueze într-o anumită măsură modul de concepere a sistemului de evaluare și să îi examineze eficacitatea. Aceeași situație se poate remarca și în anumite state membre (de exemplu, Franța (31), Spania (32), Germania (33), unde există organisme externe care supraveghează evaluările efectuate de agenții de finanțare sau care chiar efectuează ele însele aceste evaluări.

Comisiile de evaluare

Comisiile de experți externi: prevăzute de legislația privind programele-cadru începând cu PC4

| 57. | Începând cu PC4, toate exercițiile importante de evaluare (și de monitorizare anuală) a programelor-cadru au trebuit să fie executate de către comisii de experți externi (sau cu ajutorul acestora) (a se vedea anexa II). În pofida dificultăților legate de găsirea unor experți corespunzători, astfel de comisii oferă posibilitatea asigurării transparenței și a unui anumit grad de independență, a facilitării implicării factorilor interesați și a valorificării cunoștințelor dobândite cu privire la programele-cadru în sine, la evaluare și la aspectele științifice subiacente. |
| --- | --- |

57.

Începând cu PC4, toate exercițiile importante de evaluare (și de monitorizare anuală) a programelor-cadru au trebuit să fie executate de către comisii de experți externi (sau cu ajutorul acestora) (a se vedea anexa II). În pofida dificultăților legate de găsirea unor experți corespunzători, astfel de comisii oferă posibilitatea asigurării transparenței și a unui anumit grad de independență, a facilitării implicării factorilor interesați și a valorificării cunoștințelor dobândite cu privire la programele-cadru în sine, la evaluare și la aspectele științifice subiacente.

| 58. | Acest lucru a fost confirmat de sondajele realizate de Curte, în urma cărora a reieșit că respondenții percep acest tip de sistem de evaluare pus în aplicare de Comisie ca furnizând o garanție de independență (a se vedea figura IV). |
| --- | --- |

58.

Acest lucru a fost confirmat de sondajele realizate de Curte, în urma cărora a reieșit că respondenții percep acest tip de sistem de evaluare pus în aplicare de Comisie ca furnizând o garanție de independență (a se vedea figura IV).

Image

Deficiențele metodei „comisiilor de experți”, în forma în care este aceasta aplicată de către Comisie

| 59. | În ciuda acestei percepții pozitive, membrii comisiilor și factorii interesați au semnalat Curții, în timpul auditului, că modul de utilizare de către Comisie a comisiilor de evaluare a programelor-cadru s-a caracterizat prin următoarele deficiențe:






  — | comisiile de evaluare se înființează, de obicei, cu mai puțin de un an înainte de data la care trebuie să își prezinte raportul și se reunesc într-un număr redus de ședințe. Din acest motiv, membrilor comisiilor le este dificil să influențeze definirea datelor și a analizei necesare pentru a-și putea desfășura activitatea. De asemenea, dat fiind caracterul ad hoc și temporar al acestor comisii, nu este ușor să se acumuleze cunoștințe privind programele și nu se poate proceda la urmărirea în timp a problemelor relevante. Această deficiență devine semnificativă în special atunci când (așa cum este cazul PC7) sunt planificate mai multe exerciții importante de evaluare în decursul perioadei de programare (a se vedea anexa II). Această organizare a sistemului de evaluare se deosebește, de asemenea, de practica Comisiei în ceea ce privește grupurile sale consultative de experți pentru programele-cadru, care sunt organisme permanente (34). Aceeași situație este valabilă și în Canada (35), unde comisiile de evaluare sunt permanente, pentru a garanta o abordare consecventă și coerentă (a se vedea anexa III); |
| --- | --- | --- |

59.

În ciuda acestei percepții pozitive, membrii comisiilor și factorii interesați au semnalat Curții, în timpul auditului, că modul de utilizare de către Comisie a comisiilor de evaluare a programelor-cadru s-a caracterizat prin următoarele deficiențe:

—

comisiile de evaluare se înființează, de obicei, cu mai puțin de un an înainte de data la care trebuie să își prezinte raportul și se reunesc într-un număr redus de ședințe. Din acest motiv, membrilor comisiilor le este dificil să influențeze definirea datelor și a analizei necesare pentru a-și putea desfășura activitatea. De asemenea, dat fiind caracterul ad hoc și temporar al acestor comisii, nu este ușor să se acumuleze cunoștințe privind programele și nu se poate proceda la urmărirea în timp a problemelor relevante. Această deficiență devine semnificativă în special atunci când (așa cum este cazul PC7) sunt planificate mai multe exerciții importante de evaluare în decursul perioadei de programare (a se vedea anexa II). Această organizare a sistemului de evaluare se deosebește, de asemenea, de practica Comisiei în ceea ce privește grupurile sale consultative de experți pentru programele-cadru, care sunt organisme permanente (34). Aceeași situație este valabilă și în Canada (35), unde comisiile de evaluare sunt permanente, pentru a garanta o abordare consecventă și coerentă (a se vedea anexa III);

| — | atunci când definește mandatul comisiilor și formulează întrebările în vederea evaluării, Comisia nu se consultă cu factorii interesați externi, cum ar fi întreprinderile și organismele de cercetare importante care iau parte la programele-cadru. Această problemă a fost constatată și de comisia de monitorizare din 2004, care a remarcat că utilizatorii potențiali ar trebui să fie implicați în acest proces încă din fazele incipiente (36); și |
| --- | --- |

—

atunci când definește mandatul comisiilor și formulează întrebările în vederea evaluării, Comisia nu se consultă cu factorii interesați externi, cum ar fi întreprinderile și organismele de cercetare importante care iau parte la programele-cadru. Această problemă a fost constatată și de comisia de monitorizare din 2004, care a remarcat că utilizatorii potențiali ar trebui să fie implicați în acest proces încă din fazele incipiente (36); și

| — | comisiile de acest fel funcționează într-un mod care se deosebește de „evaluarea colegială” (inter pares). Membrii acestora nu au suficient timp pentru a efectua ei înșiși evaluări, astfel încât consilierea pe care o oferă se bazează, de regulă, pe date și probe care le sunt puse la dispoziție din alte surse. Ca urmare a constrângerilor de ordin temporal, astfel de comisii nu au avut decât rareori ocazia de a comanda efectuarea unor studii suplimentare care le erau necesare pentru a putea aborda temele ce le erau specificate în mandat. În practică, comisiile de evaluare cincinală au avut la dispoziție, cu câteva excepții, numai informații puse la dispoziție de către Comisie. |
| --- | --- |

—

comisiile de acest fel funcționează într-un mod care se deosebește de „evaluarea colegială” (inter pares). Membrii acestora nu au suficient timp pentru a efectua ei înșiși evaluări, astfel încât consilierea pe care o oferă se bazează, de regulă, pe date și probe care le sunt puse la dispoziție din alte surse. Ca urmare a constrângerilor de ordin temporal, astfel de comisii nu au avut decât rareori ocazia de a comanda efectuarea unor studii suplimentare care le erau necesare pentru a putea aborda temele ce le erau specificate în mandat. În practică, comisiile de evaluare cincinală au avut la dispoziție, cu câteva excepții, numai informații puse la dispoziție de către Comisie.

Resursele

Nu există resurse alocate special pentru evaluarea programelor-cadru

| 60. | Fondurile pentru evaluare se prevăd anual, în funcție de nevoile exprimate de direcțiile generale care pun în aplicare programele-cadru. În prezent, aceste fonduri sunt furnizate dintr-o combinație de resurse la nivel de Comisie, care provin de la DG Buget, și de resurse la nivelul direcțiilor generale în cauză, care provin din segmentul bugetar pentru cheltuieli administrative alocat acestora. În plus, anumite măsuri sunt finanțate ca acțiuni indirecte de la bugetul operațional al programelor-cadru. Aceasta implică faptul că nu există o sumă prevăzută special pentru evaluare. |
| --- | --- |

60.

Fondurile pentru evaluare se prevăd anual, în funcție de nevoile exprimate de direcțiile generale care pun în aplicare programele-cadru. În prezent, aceste fonduri sunt furnizate dintr-o combinație de resurse la nivel de Comisie, care provin de la DG Buget, și de resurse la nivelul direcțiilor generale în cauză, care provin din segmentul bugetar pentru cheltuieli administrative alocat acestora. În plus, anumite măsuri sunt finanțate ca acțiuni indirecte de la bugetul operațional al programelor-cadru. Aceasta implică faptul că nu există o sumă prevăzută special pentru evaluare.

| 61. | În 2006, la nivelul întregii Comisii, media personalului care lucra în domeniul evaluării și al gestionării pe activități era estimată la aproximativ 1 % din totalul personalului (37). La nivelul Direcției Generale Cercetare și al Direcției Generale Societate Informațională, aceste cifre erau, pentru activitățile de monitorizare și evaluare din cadrul programelor-cadru de cercetare și dezvoltare tehnologică, 1,2 % și, respectiv, 1,3 %. În cazul Direcției Generale Cercetare, peste două treimi din aceste resurse umane erau însă repartizate mai curând departamentelor responsabile de funcționarea programelor decât unității de evaluare, iar evaluarea reprezenta doar una dintre multiplele sarcini de serviciu care le erau atribuite. |
| --- | --- |

61.

În 2006, la nivelul întregii Comisii, media personalului care lucra în domeniul evaluării și al gestionării pe activități era estimată la aproximativ 1 % din totalul personalului (37). La nivelul Direcției Generale Cercetare și al Direcției Generale Societate Informațională, aceste cifre erau, pentru activitățile de monitorizare și evaluare din cadrul programelor-cadru de cercetare și dezvoltare tehnologică, 1,2 % și, respectiv, 1,3 %. În cazul Direcției Generale Cercetare, peste două treimi din aceste resurse umane erau însă repartizate mai curând departamentelor responsabile de funcționarea programelor decât unității de evaluare, iar evaluarea reprezenta doar una dintre multiplele sarcini de serviciu care le erau atribuite.

Finanțarea evaluării programelor-cadru este mai redusă decât nivelul recomandat de Comisie

| 62. | Resursele destinate evaluării se pot exprima și ca un procent din totalul creditelor bugetare alocate programului în cauză. Conform cifrelor obținute în cadrul auditului, pentru finanțarea evaluării programelor de cercetare în statele membre ale UE se alocă, în general, între 0,1 % și 2 %. Orientările elaborate de Comisie recomandă ca evaluării să îi fie destinat un procent de 0,5 % din bugetul programului (38). Cu toate acestea, în cazul programelor de mai mare amploare, ar putea fi suficientă o proporție mai mică din bugetul acestora, grație economiilor de scară. |
| --- | --- |

62.

Resursele destinate evaluării se pot exprima și ca un procent din totalul creditelor bugetare alocate programului în cauză. Conform cifrelor obținute în cadrul auditului, pentru finanțarea evaluării programelor de cercetare în statele membre ale UE se alocă, în general, între 0,1 % și 2 %. Orientările elaborate de Comisie recomandă ca evaluării să îi fie destinat un procent de 0,5 % din bugetul programului (38). Cu toate acestea, în cazul programelor de mai mare amploare, ar putea fi suficientă o proporție mai mică din bugetul acestora, grație economiilor de scară.

| 63. | În urma unei comparații realizate între cifrele aferente cheltuielilor realizate de Comisie pentru evaluare în perioada 2003-2006 și creditele bugetare ale fiecărei direcții generale, se poate observa că media globală se situează undeva în jur de 0,15 %, un procent considerabil mai scăzut decât nivelul sugerat de Comisie. O analiză mai aprofundată pentru anul 2006 evidențiază că DG Societate Informațională a cheltuit pe evaluare de aproximativ patru ori mai mult decât DG Cercetare, în raport cu creditele care le-au revenit. De asemenea, la DG Cercetare, pentru evaluare se repartizează, pentru fiecare milion de euro din bugetul anual, numai un procent de 0,7 % dintr-un echivalent normă întreagă. Spre deosebire de această direcție generală, DG Societate Informațională repartizează, în același scop, un procent dublu de resurse umane. |
| --- | --- |

63.

În urma unei comparații realizate între cifrele aferente cheltuielilor realizate de Comisie pentru evaluare în perioada 2003-2006 și creditele bugetare ale fiecărei direcții generale, se poate observa că media globală se situează undeva în jur de 0,15 %, un procent considerabil mai scăzut decât nivelul sugerat de Comisie. O analiză mai aprofundată pentru anul 2006 evidențiază că DG Societate Informațională a cheltuit pe evaluare de aproximativ patru ori mai mult decât DG Cercetare, în raport cu creditele care le-au revenit. De asemenea, la DG Cercetare, pentru evaluare se repartizează, pentru fiecare milion de euro din bugetul anual, numai un procent de 0,7 % dintr-un echivalent normă întreagă. Spre deosebire de această direcție generală, DG Societate Informațională repartizează, în același scop, un procent dublu de resurse umane.

| 64. | După cum ilustrează prezentul raport, rezultatul acestor eforturi suplimentare depuse de DG Societate Informațională a avut drept efecte faptul că evaluarea s-a bucurat de o sferă de acoperire mai cuprinzătoare (a se vedea punctele 13 și 46) și că, după cum indică eșantionul de studii de evaluare examinat de Curte, s-au utilizat metodologii mai bine adaptate nevoilor de evaluare (a se vedea punctul 84). |
| --- | --- |

64.

După cum ilustrează prezentul raport, rezultatul acestor eforturi suplimentare depuse de DG Societate Informațională a avut drept efecte faptul că evaluarea s-a bucurat de o sferă de acoperire mai cuprinzătoare (a se vedea punctele 13 și 46) și că, după cum indică eșantionul de studii de evaluare examinat de Curte, s-au utilizat metodologii mai bine adaptate nevoilor de evaluare (a se vedea punctul 84).

| 65. | O estimare a costurilor efectuată de Curte, pe baza datelor furnizate de Comisie, arată că un sistem de evaluare întemeiat pe propunerile formulate în prezentul raport ar reprezenta, în medie, mai puțin de 0,4 % din creditele bugetare pentru PC7. Acest procent ar acoperi costurile comisiilor de evaluare și ale studiilor subcontractate, cheltuielile atât cu personalul biroului de evaluare comun, cât și cu cel al unităților de evaluare actuale de la nivelul direcțiilor generale, precum și alte cheltuieli diverse (39). |
| --- | --- |

65.

O estimare a costurilor efectuată de Curte, pe baza datelor furnizate de Comisie, arată că un sistem de evaluare întemeiat pe propunerile formulate în prezentul raport ar reprezenta, în medie, mai puțin de 0,4 % din creditele bugetare pentru PC7. Acest procent ar acoperi costurile comisiilor de evaluare și ale studiilor subcontractate, cheltuielile atât cu personalul biroului de evaluare comun, cât și cu cel al unităților de evaluare actuale de la nivelul direcțiilor generale, precum și alte cheltuieli diverse (39).

Recomandări

66.

| 66. | Direcțiile generale cu competențe în cercetare ar trebui să aibă în vedere înființarea unui birou de evaluare comun, pe lângă unitățile de evaluare existente deja în cadrul fiecărei direcții generale. În concordanță cu practica actuală din alte domenii de politici, acest birou ar putea să coordoneze activitățile de evaluare ale Comisiei pentru programul-cadru în ansamblu. Astfel de funcții comune de sprijin au fost recomandate în trecut pentru direcțiile generale care pun în aplicare programele-cadru (40) și pot deveni cu atât mai importante în viitor, datorită creării Consiliului European al Cercetării și delegării punerii în aplicare a programelor către agenții executive. |
| --- | --- |

Direcțiile generale cu competențe în cercetare ar trebui să aibă în vedere înființarea unui birou de evaluare comun, pe lângă unitățile de evaluare existente deja în cadrul fiecărei direcții generale. În concordanță cu practica actuală din alte domenii de politici, acest birou ar putea să coordoneze activitățile de evaluare ale Comisiei pentru programul-cadru în ansamblu. Astfel de funcții comune de sprijin au fost recomandate în trecut pentru direcțiile generale care pun în aplicare programele-cadru (40) și pot deveni cu atât mai importante în viitor, datorită creării Consiliului European al Cercetării și delegării punerii în aplicare a programelor către agenții executive.

| 67. | Comisia ar trebui să recurgă în continuare la asistența comisiilor de evaluare. Cu toate acestea, Comisia ar trebui să găsească o modalitate prin care să adapteze structura acestor comisii la structura generală a programului-cadru. Aceasta se poate realiza prin instituirea unei comisii pentru fiecare program și, după caz, fiecare subprogram specific (a se vedea anexa IV). De asemenea, aceste comisii de evaluare ar trebui înființate cu suficient timp înainte, pentru a putea furniza un sprijin eficace Comisiei și ar trebui să mențină acest efort pe toată durata perioadei de programare, precum și ulterior. |
| --- | --- |

67.

Comisia ar trebui să recurgă în continuare la asistența comisiilor de evaluare. Cu toate acestea, Comisia ar trebui să găsească o modalitate prin care să adapteze structura acestor comisii la structura generală a programului-cadru. Aceasta se poate realiza prin instituirea unei comisii pentru fiecare program și, după caz, fiecare subprogram specific (a se vedea anexa IV). De asemenea, aceste comisii de evaluare ar trebui înființate cu suficient timp înainte, pentru a putea furniza un sprijin eficace Comisiei și ar trebui să mențină acest efort pe toată durata perioadei de programare, precum și ulterior.

| 68. | Comisia ar trebui să reanalizeze resursele destinate evaluării programelor-cadru și a programelor constitutive ale acestora. |
| --- | --- |

68.

Comisia ar trebui să reanalizeze resursele destinate evaluării programelor-cadru și a programelor constitutive ale acestora.

Metodologiile și tehnicile de evaluare

| 69. | Pentru a obține o evaluare eficace, este necesară utilizarea unor metodologii și tehnici corespunzătoare. Curtea a verificat dacă existau orientări precise pentru evaluarea programelor-cadru, dacă necesarul de informații a fost analizat în mod adecvat și în timp util și dacă evaluatorilor li s-au pus la dispoziție date relevante. Ținând seama de studiile privind evaluarea efectuate de către Comisie (sau în numele acesteia), Curtea a examinat dacă tehnicile utilizate pentru diferitele studii furnizau o bază suficientă pentru a răspunde întrebărilor formulate pentru evaluările cincinale. Curtea a luat în considerare, de asemenea, contribuția pe care evaluările la nivel național o pot aduce evaluării programelor-cadru. |
| --- | --- |

69.

Pentru a obține o evaluare eficace, este necesară utilizarea unor metodologii și tehnici corespunzătoare. Curtea a verificat dacă existau orientări precise pentru evaluarea programelor-cadru, dacă necesarul de informații a fost analizat în mod adecvat și în timp util și dacă evaluatorilor li s-au pus la dispoziție date relevante. Ținând seama de studiile privind evaluarea efectuate de către Comisie (sau în numele acesteia), Curtea a examinat dacă tehnicile utilizate pentru diferitele studii furnizau o bază suficientă pentru a răspunde întrebărilor formulate pentru evaluările cincinale. Curtea a luat în considerare, de asemenea, contribuția pe care evaluările la nivel național o pot aduce evaluării programelor-cadru.

Introducerea unor standarde și a unor orientări specifice programelor-cadru

| 70. | DG Buget a publicat un număr de comunicări în care își prezintă politica de evaluare și în care furnizează norme pentru aplicarea acesteia. DG Buget a elaborat, de asemenea, o serie de standarde aplicabile la nivel de Comisie (a se vedea punctele 14 și 55) (41). Pentru alte domenii de politici, direcțiile generale de resort au elaborat, și ele, ghiduri de evaluare specifice (42). |
| --- | --- |

70.

DG Buget a publicat un număr de comunicări în care își prezintă politica de evaluare și în care furnizează norme pentru aplicarea acesteia. DG Buget a elaborat, de asemenea, o serie de standarde aplicabile la nivel de Comisie (a se vedea punctele 14 și 55) (41). Pentru alte domenii de politici, direcțiile generale de resort au elaborat, și ele, ghiduri de evaluare specifice (42).

| 71. | Nu acesta este însă și cazul programelor-cadru. Există un număr de ghiduri și de seturi de instrumente metodologice care se referă la activitățile de evaluare în domeniul cercetării și care au fost publicate (sau finanțate) de către Comisie (43). Cu toate acestea, aceste documente nu furnizează orientări specifice privind modalitatea de efectuare a evaluărilor programelor-cadru, nici nu explică cum trebuie utilizate conceptele-cheie sau terminologia de către personalul Comisiei sau de către experții externi. Aceste deficiențe au contribuit la problemele discutate mai jos. |
| --- | --- |

71.

Nu acesta este însă și cazul programelor-cadru. Există un număr de ghiduri și de seturi de instrumente metodologice care se referă la activitățile de evaluare în domeniul cercetării și care au fost publicate (sau finanțate) de către Comisie (43). Cu toate acestea, aceste documente nu furnizează orientări specifice privind modalitatea de efectuare a evaluărilor programelor-cadru, nici nu explică cum trebuie utilizate conceptele-cheie sau terminologia de către personalul Comisiei sau de către experții externi. Aceste deficiențe au contribuit la problemele discutate mai jos.

Necesarul de date și colectarea datelor

O analiză insuficientă a necesarului de informații

| 72. | Direcțiile generale cu competențe în cercetare nu au acordat suficientă atenție definirii acelor date care sunt necesare în scopul evaluării și al monitorizării. În loc să se efectueze o analiză sistematică și aprofundată a necesarului de informații, Comisia a formulat cerințele privind datele tardiv în cursul perioadei de programare și fără a ține seama de nevoile generale în materie de evaluare. Chestionarul socioeconomic aplicat pentru PC6 a reprezentat singura tentativă a direcțiilor generale de a conveni cu privire la aceste date (a se vedea punctul 76). Însă acest chestionar a fost finalizat în 2004 (după trei ani de la începerea perioadei de programare) și face referire în principal la aspecte precum participarea cercetătorilor de ambele sexe și impactul asupra mediului, mai curând decât la realizări științifice (cum ar fi subiecte legate de proprietatea intelectuală, publicații etc.), efecte și impacturi. |
| --- | --- |

72.

Direcțiile generale cu competențe în cercetare nu au acordat suficientă atenție definirii acelor date care sunt necesare în scopul evaluării și al monitorizării. În loc să se efectueze o analiză sistematică și aprofundată a necesarului de informații, Comisia a formulat cerințele privind datele tardiv în cursul perioadei de programare și fără a ține seama de nevoile generale în materie de evaluare. Chestionarul socioeconomic aplicat pentru PC6 a reprezentat singura tentativă a direcțiilor generale de a conveni cu privire la aceste date (a se vedea punctul 76). Însă acest chestionar a fost finalizat în 2004 (după trei ani de la începerea perioadei de programare) și face referire în principal la aspecte precum participarea cercetătorilor de ambele sexe și impactul asupra mediului, mai curând decât la realizări științifice (cum ar fi subiecte legate de proprietatea intelectuală, publicații etc.), efecte și impacturi.

| 73. | Evaluarea programelor se bazează în mare parte pe disponibilitatea a trei tipuri de date:






  — | date colectate în funcție de indicatori de eficacitate, a căror analiză furnizează informații cu privire la stadiul în care se află atingerea obiectivelor programului. Datorită lipsei menționate anterior a unei logici de intervenție, definirea unor asemenea indicatori a fost dificilă (a se vedea punctul 30). În practică, datele colectate nu prezentau un nivel ridicat de relevanță pentru măsurarea atingerii obiectivelor programului; |
| --- | --- | --- |

73.

Evaluarea programelor se bazează în mare parte pe disponibilitatea a trei tipuri de date:

—

date colectate în funcție de indicatori de eficacitate, a căror analiză furnizează informații cu privire la stadiul în care se află atingerea obiectivelor programului. Datorită lipsei menționate anterior a unei logici de intervenție, definirea unor asemenea indicatori a fost dificilă (a se vedea punctul 30). În practică, datele colectate nu prezentau un nivel ridicat de relevanță pentru măsurarea atingerii obiectivelor programului;

| — | date privind gestionarea programului (în funcție de indicatori de eficiență); și |
| --- | --- |

—

date privind gestionarea programului (în funcție de indicatori de eficiență); și

| — | date privind participanții (cum ar fi ratele de participare a organismelor de cercetare importante). |
| --- | --- |

—

date privind participanții (cum ar fi ratele de participare a organismelor de cercetare importante).

| 74. | Ultimele două tipuri de date, în special, ar trebui să fie disponibile în cadrul Comisiei. Cu toate acestea, datorită problemelor survenite la nivelul sistemelor informatice interne ale Comisiei, care reprezintă sursa principală de informații privind gestionarea programelor și participanții (44), au existat, în practică, dificultăți majore în această privință (45). |
| --- | --- |

74.

Ultimele două tipuri de date, în special, ar trebui să fie disponibile în cadrul Comisiei. Cu toate acestea, datorită problemelor survenite la nivelul sistemelor informatice interne ale Comisiei, care reprezintă sursa principală de informații privind gestionarea programelor și participanții (44), au existat, în practică, dificultăți majore în această privință (45).

| 75. | Aceste dificultăți sunt ilustrate prin întârzierile considerabile intervenite în transmiterea rapoartelor prevăzute la articolul 173 și a rapoartelor anuale de monitorizare (întârzieri de până la 16 luni pentru rapoartele prevăzute la articolul 173 (46) și de până la 7 luni pentru rapoartele anuale de monitorizare, în cursul perioadei 2002-2005). Dat fiind că aceste informații erau întotdeauna furnizate cu întârziere, utilitatea lor era limitată. |
| --- | --- |

75.

Aceste dificultăți sunt ilustrate prin întârzierile considerabile intervenite în transmiterea rapoartelor prevăzute la articolul 173 și a rapoartelor anuale de monitorizare (întârzieri de până la 16 luni pentru rapoartele prevăzute la articolul 173 (46) și de până la 7 luni pentru rapoartele anuale de monitorizare, în cursul perioadei 2002-2005). Dat fiind că aceste informații erau întotdeauna furnizate cu întârziere, utilitatea lor era limitată.

Ineficacitatea modalității de obținere a datelor de evaluare de la participanți

| 76. | Începând cu PC5, Comisia a impus sistematic participanților, prin contract, obligația de a furniza datele necesare pentru măsurarea atingerii obiectivelor programului din perspectiva realizărilor, a efectelor și a impacturilor. Prin urmare, participanții aveau obligația:






  — | în cadrul PC5, de a prezenta un „plan de punere în aplicare tehnologică”, precum și, după finalizarea proiectului, un raport final. Aceste documente aveau adesea un nivel de calitate slab sau nu erau prezentate deloc; |
| --- | --- | --- |

76.

Începând cu PC5, Comisia a impus sistematic participanților, prin contract, obligația de a furniza datele necesare pentru măsurarea atingerii obiectivelor programului din perspectiva realizărilor, a efectelor și a impacturilor. Prin urmare, participanții aveau obligația:

—

în cadrul PC5, de a prezenta un „plan de punere în aplicare tehnologică”, precum și, după finalizarea proiectului, un raport final. Aceste documente aveau adesea un nivel de calitate slab sau nu erau prezentate deloc;

| — | în cadrul PC6, de a elabora un „plan de difuzare și valorificare a cunoștințelor” și, odată cu prezentarea rapoartelor tehnice anuale, de a răspunde la un chestionar-tip referitor la aspecte socioeconomice. |
| --- | --- |

—

în cadrul PC6, de a elabora un „plan de difuzare și valorificare a cunoștințelor” și, odată cu prezentarea rapoartelor tehnice anuale, de a răspunde la un chestionar-tip referitor la aspecte socioeconomice.

| 77. | Aceste obligații contractuale privind comunicarea datelor au determinat, pentru participanți, un volum de muncă administrativă inutilă. De exemplu, în ceea ce privește chestionarul anual pentru PC6, datele au fost colectate mult mai frecvent decât era necesar și, în plus, de la toți participanții, deși ar fi fost suficient numai un eșantion reprezentativ. Această situație riscă să conducă la o senzație de „saturație” față de evaluare. Mai mult, aceste informații nu au fost colectate la momentul potrivit; întrucât multe din problematicele subiacente pentru care s-au colectat datele sunt relevante pe termen mediu sau lung, colectarea datelor pe parcursul duratei contractuale a proiectului este, prin definiție, prematură (47). Acesta este motivul pentru care, în practică, informațiile furnizate prin intermediul acestor instrumente au prezentat o utilitate redusă pentru evaluările efectuate în cadrul PC5 și PC6. |
| --- | --- |

77.

Aceste obligații contractuale privind comunicarea datelor au determinat, pentru participanți, un volum de muncă administrativă inutilă. De exemplu, în ceea ce privește chestionarul anual pentru PC6, datele au fost colectate mult mai frecvent decât era necesar și, în plus, de la toți participanții, deși ar fi fost suficient numai un eșantion reprezentativ. Această situație riscă să conducă la o senzație de „saturație” față de evaluare. Mai mult, aceste informații nu au fost colectate la momentul potrivit; întrucât multe din problematicele subiacente pentru care s-au colectat datele sunt relevante pe termen mediu sau lung, colectarea datelor pe parcursul duratei contractuale a proiectului este, prin definiție, prematură (47). Acesta este motivul pentru care, în practică, informațiile furnizate prin intermediul acestor instrumente au prezentat o utilitate redusă pentru evaluările efectuate în cadrul PC5 și PC6.

| 78. | Cu toate acestea, niciunul dintre sistemele puse în aplicare nu prevede colectarea standardizată a informațiilor la sfârșitul duratei unui proiect (sau la scurt timp după aceea). Factorii interesați interogați au sugerat că aceste informații ar putea să facă referire, de exemplu, la atingerea obiectivelor proiectelor, la rezultatele scontate (și nescontate) și la identificarea de către participanți a plusului de valoare pe care îl aduce dimensiunea comunitară a programului. Astfel de informații ar putea, de asemenea, servi drept bază pentru examinarea externă a proiectelor finalizate (48). |
| --- | --- |

78.

Cu toate acestea, niciunul dintre sistemele puse în aplicare nu prevede colectarea standardizată a informațiilor la sfârșitul duratei unui proiect (sau la scurt timp după aceea). Factorii interesați interogați au sugerat că aceste informații ar putea să facă referire, de exemplu, la atingerea obiectivelor proiectelor, la rezultatele scontate (și nescontate) și la identificarea de către participanți a plusului de valoare pe care îl aduce dimensiunea comunitară a programului. Astfel de informații ar putea, de asemenea, servi drept bază pentru examinarea externă a proiectelor finalizate (48).

| 79. | Colectarea unor astfel de informații, împreună cu o utilizare la scară mai largă a metodologiilor scientometrice (cum ar fi analiza citatelor) pentru evaluarea rezultatelor proiectelor (a se vedea punctul 83), ar putea servi drept bază Comisiei în vederea trecerii la un sistem de finanțare a activităților de CDT cofinanțate de către Comunitate (49) care să se bazeze într-o mai mare măsură pe rezultate. |
| --- | --- |

79.

Colectarea unor astfel de informații, împreună cu o utilizare la scară mai largă a metodologiilor scientometrice (cum ar fi analiza citatelor) pentru evaluarea rezultatelor proiectelor (a se vedea punctul 83), ar putea servi drept bază Comisiei în vederea trecerii la un sistem de finanțare a activităților de CDT cofinanțate de către Comunitate (49) care să se bazeze într-o mai mare măsură pe rezultate.

Insuficienta utilizare a altor surse de date

| 80. | Nu se recurge în mod suficient la alte surse de date existente la nivelul Comisiei sau al statelor membre [de exemplu, baze de date ale programelor de CDT naționale și ale agențiilor de finanțare în domeniul cercetării, precum și Serviciul comunitar de informare privind cercetarea și informarea – „Community Research & Development Information Service” (CORDIS) – gestionat de Oficiul pentru Publicații al Comisiei (50)]. |
| --- | --- |

80.

Nu se recurge în mod suficient la alte surse de date existente la nivelul Comisiei sau al statelor membre [de exemplu, baze de date ale programelor de CDT naționale și ale agențiilor de finanțare în domeniul cercetării, precum și Serviciul comunitar de informare privind cercetarea și informarea – „Community Research & Development Information Service” (CORDIS) – gestionat de Oficiul pentru Publicații al Comisiei (50)].

Studiile de evaluare realizate de Comisie

Rapoartele examinate de Curte

| 81. | Curtea a examinat 86 de studii de evaluare realizate de către Comisie (sau comandate de aceasta) din 2000. În acest număr sunt cuprinse toate cele 36 de studii care au stat la baza evaluării cincinale publicate în 2004, precum și cele 50 de studii finalizate de la acea dată. Dintre acestea, numai 23 de studii pot fi considerate ca fiind evaluări veritabile ale programelor-cadru și ale programelor constitutive ale acestora (a se vedea figura 5).
  Figura 5
  Privire de ansamblu asupra studiilor de evaluare realizate de către Comisie (sau la comanda acesteia) în perioada 2000-2006








  Tip de studiu | Număr | Descriere |
| --- | --- | --- | --- |
| Evaluări ale activităților programelor-cadru | 23 | Studii de evaluare






  — | care se bazează pe metodologii recunoscute (51); |

81.

Curtea a examinat 86 de studii de evaluare realizate de către Comisie (sau comandate de aceasta) din 2000. În acest număr sunt cuprinse toate cele 36 de studii care au stat la baza evaluării cincinale publicate în 2004, precum și cele 50 de studii finalizate de la acea dată. Dintre acestea, numai 23 de studii pot fi considerate ca fiind evaluări veritabile ale programelor-cadru și ale programelor constitutive ale acestora (a se vedea figura 5).

Figura 5

Privire de ansamblu asupra studiilor de evaluare realizate de către Comisie (sau la comanda acesteia) în perioada 2000-2006

Tip de studiu

Număr

Descriere

Evaluări ale activităților programelor-cadru

23

Studii de evaluare

—

care se bazează pe metodologii recunoscute (51);

| — | care fac referire în mod explicit la obiectivele programelor și la gradul de atingere a acestor obiective. |
| --- | --- |

—

care fac referire în mod explicit la obiectivele programelor și la gradul de atingere a acestor obiective.

Studii naționale de impact întreprinse la nivelul statelor membre

12

Studii realizate de statele membre, ce abordează în principal problema ratelor naționale de participare, fără să formuleze concluzii cu privire la obiectivele programului.

Studii metodologice

5

Studii organizate de Comisie în vederea sprijinirii elaborării de metodologii de evaluare.

Studii privind mediul european de cercetare și dezvoltare tehnologică

2

Studii ce vizează analize contextuale privind sectorul european al cercetării, fără a face referire la programele-cadru. În special, nu se dezbat în niciun fel efectele programelor-cadru asupra sistemelor naționale de cercetare și inovare.

Documente statistice și descriptive neanalitice

33

Documente care tratează în general într-un mod foarte indirect despre activitățile programelor-cadru, mai curând prin descrierea acestora, decât prin analizarea lor.

Alte documente

11

Serie de documente care abordează teme ce prezintă un interes general din perspectiva politicilor, fără a examina însă programele-cadru în acest context.

Evaluările se axează mai curând pe probleme legate de monitorizare decât pe efecte și impacturi

| 82. | În urma metaanalizei efectuate de Curte cu privire la aceste studii de evaluare specifice, s-au desprins două observații principale:






  — | deși multe dintre aceste studii încearcă să prezintă concluzii cu privire la obiectivele programului, formularea vagă a acestor concluzii nu reușește să îl convingă pe cititor că evaluarea a abordat într-adevăr acest aspect. Această lipsă de putere de convingere decurge din faptul că absența unor obiective clar definite ale programului compromite în mod fundamental acest proces (a se vedea punctul 28); |
| --- | --- | --- |

82.

În urma metaanalizei efectuate de Curte cu privire la aceste studii de evaluare specifice, s-au desprins două observații principale:

—

deși multe dintre aceste studii încearcă să prezintă concluzii cu privire la obiectivele programului, formularea vagă a acestor concluzii nu reușește să îl convingă pe cititor că evaluarea a abordat într-adevăr acest aspect. Această lipsă de putere de convingere decurge din faptul că absența unor obiective clar definite ale programului compromite în mod fundamental acest proces (a se vedea punctul 28);

| — | în loc să evalueze efectele și impacturile programelor-cadru sau ale programelor (și ale subprogramelor) specifice din cadrul acestora, multe dintre documente se mărginesc să le descrie și, în cel mai bun caz, se concentrează pe realizările imediate ale proiectelor și pe problemele de gestionare a acestora. Aceste rapoarte nu sunt capabile să furnizeze probe convingătoare cu privire la efecte sau impacturi. |
| --- | --- |

—

în loc să evalueze efectele și impacturile programelor-cadru sau ale programelor (și ale subprogramelor) specifice din cadrul acestora, multe dintre documente se mărginesc să le descrie și, în cel mai bun caz, se concentrează pe realizările imediate ale proiectelor și pe problemele de gestionare a acestora. Aceste rapoarte nu sunt capabile să furnizeze probe convingătoare cu privire la efecte sau impacturi.

Nu s-a acordat suficientă atenție elaborării unor metodologii inovatoare

| 83. | Pentru evaluările efectuate în perioada 2000-2006, predomină metodologiile și tehnicile tradiționale (în special sondajele, analiza documentară și interviurile) (a se vedea figura 6). Nu s-a recurs deloc (sau s-a recurs foarte rar) la alte metodologii și tehnici de evaluare mai sofisticate, dar totuși bine intrate în uz, printre care:






  — | abordările scientometrice (cum ar fi analiza citatelor) (52); |
| --- | --- | --- |

83.

Pentru evaluările efectuate în perioada 2000-2006, predomină metodologiile și tehnicile tradiționale (în special sondajele, analiza documentară și interviurile) (a se vedea figura 6). Nu s-a recurs deloc (sau s-a recurs foarte rar) la alte metodologii și tehnici de evaluare mai sofisticate, dar totuși bine intrate în uz, printre care:

—

abordările scientometrice (cum ar fi analiza citatelor) (52);

| — | modelele cantitative (cum ar fi analiza rapoartelor costuri-eficiență, costuri-eficacitate și costuri-beneficii) (53); sau |
| --- | --- |

—

modelele cantitative (cum ar fi analiza rapoartelor costuri-eficiență, costuri-eficacitate și costuri-beneficii) (53); sau

| — | modele de actanți (sau de comportament) (care se axează pe punctele de vedere ale persoanelor implicate într-o intervenție, cum ar fi caracteristicile rețelelor de cercetare și schimbările care le afectează pe acestea în decursul timpului). |
| --- | --- |

—

modele de actanți (sau de comportament) (care se axează pe punctele de vedere ale persoanelor implicate într-o intervenție, cum ar fi caracteristicile rețelelor de cercetare și schimbările care le afectează pe acestea în decursul timpului).

Image

| 84. | Doar într-un număr limitat de cazuri s-a făcut apel la studii de evaluare care încearcă să soluționeze unele dintre dificultățile metodologice de evaluare a intervenției publice în cercetare (a se vedea anexa I):






  — | recent, au fost finalizate două studii pe tema logicii de intervenție (54); |
| --- | --- | --- |

84.

Doar într-un număr limitat de cazuri s-a făcut apel la studii de evaluare care încearcă să soluționeze unele dintre dificultățile metodologice de evaluare a intervenției publice în cercetare (a se vedea anexa I):

—

recent, au fost finalizate două studii pe tema logicii de intervenție (54);

| — | s-au putut identifica numai trei studii în care se încearcă să se evalueze efectul pe care l-a avut finanțarea comunitară asupra comportamentului de colaborare în rețea al organizațiilor de cercetare la nivel paneuropean (55), și asta în pofida faptului că în centrul conceptului de Spațiu European de Cercetare (SEC) se află însăși ipoteza efectelor pozitive ale activității în rețea; |
| --- | --- |

—

s-au putut identifica numai trei studii în care se încearcă să se evalueze efectul pe care l-a avut finanțarea comunitară asupra comportamentului de colaborare în rețea al organizațiilor de cercetare la nivel paneuropean (55), și asta în pofida faptului că în centrul conceptului de Spațiu European de Cercetare (SEC) se află însăși ipoteza efectelor pozitive ale activității în rețea;

| — | s-a făcut o singură tentativă de a trage concluzii cu privire la impactul obținut la nivel de program (sau de subprogram) prin combinarea ansamblului agregat de analize de evaluare de la nivel de proiect cu alte tehnici de evaluare (56); și |
| --- | --- |

—

s-a făcut o singură tentativă de a trage concluzii cu privire la impactul obținut la nivel de program (sau de subprogram) prin combinarea ansamblului agregat de analize de evaluare de la nivel de proiect cu alte tehnici de evaluare (56); și

| — | nu există nicio dovadă care să ateste că s-a recurs la alte metodologii, cum ar fi abordările bazate pe gândirea ipotetică (sau pe „grupurile martor”). Această abordare și-ar dovedi utilitatea în special pentru a ilustra plusul de valoare adus de programele de nivel comunitar în comparație cu situația existentă în cazul neintervenției (sau al intervenției numai la nivel național sau regional). |
| --- | --- |

—

nu există nicio dovadă care să ateste că s-a recurs la alte metodologii, cum ar fi abordările bazate pe gândirea ipotetică (sau pe „grupurile martor”). Această abordare și-ar dovedi utilitatea în special pentru a ilustra plusul de valoare adus de programele de nivel comunitar în comparație cu situația existentă în cazul neintervenției (sau al intervenției numai la nivel național sau regional).

| 85. | În opinia factorilor interesați intervievați de Curte, utilitatea și relevanța evaluărilor Comisiei ar putea face obiectul unor îmbunătățiri. Aceasta demonstrează necesitatea de a continua dezvoltarea metodologiei, astfel încât sistemul de evaluare să poată ține pasul cu modificările aduse programelor-cadru, programele-cadru având un caracter dinamic (a se vedea punctul 7) (57). |
| --- | --- |

85.

În opinia factorilor interesați intervievați de Curte, utilitatea și relevanța evaluărilor Comisiei ar putea face obiectul unor îmbunătățiri. Aceasta demonstrează necesitatea de a continua dezvoltarea metodologiei, astfel încât sistemul de evaluare să poată ține pasul cu modificările aduse programelor-cadru, programele-cadru având un caracter dinamic (a se vedea punctul 7) (57).

Problemele ridicate de evaluările cincinale nu au putut fi abordate pe baza studiilor de evaluare specifică ale Comisiei

| 86. | Această constatare este ilustrată, de asemenea, de dificultățile considerabile cu care s-a confruntat comisia de evaluare cincinală din 2004 (58) în cadrul demersului de a răspunde la întrebările de evaluare sugerate în mandatul său. De fapt, multe dintre aceste întrebări problematice nici nu au putut fi abordate, deoarece lipseau studiile adecvate realizate în prealabil de Comisie (sau comandate de aceasta), iar membrii comisiei de evaluare se aflau în imposibilitatea de a comanda astfel de studii în timp util (a se vedea figura 7).
  Figura 7
  Întrebări abordate în cadrul evaluării cincinale din 2004 | Întrebare adresată în scopul evaluării | A fost abordată în raport? |
| --- | --- | --- | --- |
| PUNEREA ÎN APLICARE | Activitățile au fost desfășurate în mod eficient? | parțial |
| Activitățile s-au încadrat într-un raport costuri/eficacitate avantajos? | parțial |
| Activitățile în cauză au constituit cea mai bună cale de a atinge obiectivele stabilite? | nu |
| Cadrul juridic general (inclusiv normele de participare și de contractare), instrumentele de politici și normele de aplicare au fost clare, adecvate și eficace? | nu |
| Finanțarea și alte resurse disponibile au fost la un nivel adecvat? | nu |
| Mediile industriale și de cercetare vizate, inclusiv IMM-urile, au putut reacționa adecvat? | da |
| REZULTATE | Activitățile și-au atins obiectivele aferente? În ce măsură s-au înregistrat rezultate neprevăzute? | nu |
| Care sunt principalele rezultate, în special din perspectiva realizărilor științifice, tehnologice, socioeconomice și ecologice, din perspectiva cooperării internaționale, a transferului de cunoștințe și a inovării, a activităților prenormative, a accesibilității, a difuzării și a exploatării rezultatelor de cercetare, a dezvoltării resurselor umane, a mobilității și a formării, precum și din perspectiva susținerii și a consolidării coordonării activităților de cercetare? | nu |
| Rezultatele, precum și efectele și impacturile acestora s-au dovedit a fi satisfăcătoare la nivel global din punctul de vedere al beneficiarilor direcți sau indirecți și al factorilor interesați? | nu |
| S-a ținut seama într-o măsură suficientă de mediile industriale și de cercetare relevante, inclusiv de IMM-uri? | da |
| În ce fel și în ce măsură au contribuit aceste activități la îmbunătățirea competitivității la nivel internațional a cercetării desfășurate în cadrul UE? Cercetarea desfășurată în cadrul UE a obținut o poziție dominantă în anumite domenii? | parțial |
| În ce fel și în ce măsură au contribuit aceste activități la politicile comunitare, în general, și la strategia Uniunii de dezvoltare durabilă? | nu |
| Există dovezi care să indice o modificare structurală, inclusiv, în special, o interconectare în rețea, o integrare și coordonare a cercetării, la nivel național sau internațional, ca urmare a activităților comunitare de cercetare? | nu |
| Programele au avut rezultate optime, având în vedere resursele utilizate? Activitățile au avut un impact durabil? | nu |
| EVOLUȚIA ȘI PERSPECTIVELE VIITOARE | În ce mod au evoluat programele-cadru din punctul de vedere al logicii, al obiectivelor, al priorităților tematice, al echilibrului dintre prioritățile generate de la nivelul de bază și cele generate de la nivelul cel mai înalt și dintre cercetarea fundamentală și cea aplicată, al instrumentelor, al plusului de valoare comunitar și al altor impacturi, în special având în vedere apariția conceptului de Spațiu European de Cercetare (SEC), obiectivele de la Lisabona și principalele criterii de referință internaționale în domeniul economic și cel al cercetării? | da |
| Care este modul în care programul-cadru a adus un plus de valoare european? | da |
| Plusul de valoare european poate fi adus și prin intermediul altor mecanisme internaționale sau naționale? | nu |
| Obiectivele în materie de politici, prioritățile, instrumentele și ciclul de viață al programelor sunt adecvate în perspectiva viitorului? | da |

86.

Această constatare este ilustrată, de asemenea, de dificultățile considerabile cu care s-a confruntat comisia de evaluare cincinală din 2004 (58) în cadrul demersului de a răspunde la întrebările de evaluare sugerate în mandatul său. De fapt, multe dintre aceste întrebări problematice nici nu au putut fi abordate, deoarece lipseau studiile adecvate realizate în prealabil de Comisie (sau comandate de aceasta), iar membrii comisiei de evaluare se aflau în imposibilitatea de a comanda astfel de studii în timp util (a se vedea figura 7).

Figura 7

Întrebări abordate în cadrul evaluării cincinale din 2004

Întrebare adresată în scopul evaluării

A fost abordată în raport?

PUNEREA ÎN APLICARE

Activitățile au fost desfășurate în mod eficient?

parțial

Activitățile s-au încadrat într-un raport costuri/eficacitate avantajos?

parțial

Activitățile în cauză au constituit cea mai bună cale de a atinge obiectivele stabilite?

nu

Cadrul juridic general (inclusiv normele de participare și de contractare), instrumentele de politici și normele de aplicare au fost clare, adecvate și eficace?

nu

Finanțarea și alte resurse disponibile au fost la un nivel adecvat?

nu

Mediile industriale și de cercetare vizate, inclusiv IMM-urile, au putut reacționa adecvat?

da

REZULTATE

Activitățile și-au atins obiectivele aferente? În ce măsură s-au înregistrat rezultate neprevăzute?

nu

Care sunt principalele rezultate, în special din perspectiva realizărilor științifice, tehnologice, socioeconomice și ecologice, din perspectiva cooperării internaționale, a transferului de cunoștințe și a inovării, a activităților prenormative, a accesibilității, a difuzării și a exploatării rezultatelor de cercetare, a dezvoltării resurselor umane, a mobilității și a formării, precum și din perspectiva susținerii și a consolidării coordonării activităților de cercetare?

nu

Rezultatele, precum și efectele și impacturile acestora s-au dovedit a fi satisfăcătoare la nivel global din punctul de vedere al beneficiarilor direcți sau indirecți și al factorilor interesați?

nu

S-a ținut seama într-o măsură suficientă de mediile industriale și de cercetare relevante, inclusiv de IMM-uri?

da

În ce fel și în ce măsură au contribuit aceste activități la îmbunătățirea competitivității la nivel internațional a cercetării desfășurate în cadrul UE? Cercetarea desfășurată în cadrul UE a obținut o poziție dominantă în anumite domenii?

parțial

În ce fel și în ce măsură au contribuit aceste activități la politicile comunitare, în general, și la strategia Uniunii de dezvoltare durabilă?

nu

Există dovezi care să indice o modificare structurală, inclusiv, în special, o interconectare în rețea, o integrare și coordonare a cercetării, la nivel național sau internațional, ca urmare a activităților comunitare de cercetare?

nu

Programele au avut rezultate optime, având în vedere resursele utilizate? Activitățile au avut un impact durabil?

nu

EVOLUȚIA ȘI PERSPECTIVELE VIITOARE

În ce mod au evoluat programele-cadru din punctul de vedere al logicii, al obiectivelor, al priorităților tematice, al echilibrului dintre prioritățile generate de la nivelul de bază și cele generate de la nivelul cel mai înalt și dintre cercetarea fundamentală și cea aplicată, al instrumentelor, al plusului de valoare comunitar și al altor impacturi, în special având în vedere apariția conceptului de Spațiu European de Cercetare (SEC), obiectivele de la Lisabona și principalele criterii de referință internaționale în domeniul economic și cel al cercetării?

da

Care este modul în care programul-cadru a adus un plus de valoare european?

da

Plusul de valoare european poate fi adus și prin intermediul altor mecanisme internaționale sau naționale?

nu

Obiectivele în materie de politici, prioritățile, instrumentele și ciclul de viață al programelor sunt adecvate în perspectiva viitorului?

da

| 87. | Mai mult, s-a remarcat că, dintre toate întrebările specificate în mandatul lor de evaluare, membrii comisiei nu au fost măsură să răspundă decât la acelea care se refereau la aspecte pentru care se stabiliseră, în programe, obiective clare și cuantificabile (cum ar fi ponderea întreprinderilor mici și mijlocii participante). |
| --- | --- |

87.

Mai mult, s-a remarcat că, dintre toate întrebările specificate în mandatul lor de evaluare, membrii comisiei nu au fost măsură să răspundă decât la acelea care se refereau la aspecte pentru care se stabiliseră, în programe, obiective clare și cuantificabile (cum ar fi ponderea întreprinderilor mici și mijlocii participante).

Evaluările programelor-cadru efectuate la nivel național

| 88. | Un număr de state membre și de țări asociate procedează la propriile evaluări naționale ale programelor-cadru, care abordează subiecte ce prezintă interes și relevanță din punctul lor de vedere (59). În decursul ultimilor opt ani, s-au realizat 14 astfel de studii, pentru nouă state membre și o țară asociată. |
| --- | --- |

88.

Un număr de state membre și de țări asociate procedează la propriile evaluări naționale ale programelor-cadru, care abordează subiecte ce prezintă interes și relevanță din punctul lor de vedere (59). În decursul ultimilor opt ani, s-au realizat 14 astfel de studii, pentru nouă state membre și o țară asociată.

| 89. | Deși Comisia a încurajat utilizarea, acolo unde era posibil, a unor abordări standardizate, aceste studii de impact naționale s-au dovedit a avea un caracter foarte eterogen (60). Drept consecință, întrucât nu urmează o metodologie armonizată, posibilitățile de a agrega, combina sau compara rezultatele sunt limitate. Mai mult, dat fiind caracterul lor național, aceste studii nu pot surprinde decât parțial dimensiunea cooperării europene. |
| --- | --- |

89.

Deși Comisia a încurajat utilizarea, acolo unde era posibil, a unor abordări standardizate, aceste studii de impact naționale s-au dovedit a avea un caracter foarte eterogen (60). Drept consecință, întrucât nu urmează o metodologie armonizată, posibilitățile de a agrega, combina sau compara rezultatele sunt limitate. Mai mult, dat fiind caracterul lor național, aceste studii nu pot surprinde decât parțial dimensiunea cooperării europene.

| 90. | În Cartea verde privind Spațiul European de Cercetare (SEC) din 2007, Comisia a afirmat importanța punerii la dispoziție, la nivelul SEC, a unor analize precise privind impactul și eficacitatea activităților și a politicilor de cercetare, atât analize realizate de statele membre, cât și de Uniunea Europeană. În același timp, Comisia a recunoscut că mecanismele existente nu erau adecvate pentru a duce la îndeplinire o astfel de sarcină, deoarece fiecare nivel de intervenție își realiza propriile evaluări, separat de celelalte (61). |
| --- | --- |

90.

În Cartea verde privind Spațiul European de Cercetare (SEC) din 2007, Comisia a afirmat importanța punerii la dispoziție, la nivelul SEC, a unor analize precise privind impactul și eficacitatea activităților și a politicilor de cercetare, atât analize realizate de statele membre, cât și de Uniunea Europeană. În același timp, Comisia a recunoscut că mecanismele existente nu erau adecvate pentru a duce la îndeplinire o astfel de sarcină, deoarece fiecare nivel de intervenție își realiza propriile evaluări, separat de celelalte (61).

Recomandări

91.

| 91. | Comisia ar trebui să elaboreze un manual de evaluare a activităților finanțate de programele-cadru, care să furnizeze definiții pentru conceptele-cheie și pentru terminologia specifică și să identifice o serie de metodologii corespunzătoare pentru anumite activități de evaluare. Acest manual ar trebui să se bazeze pe ghiduri și seturi de instrumente deja existente și să fie actualizat periodic. |
| --- | --- |

Comisia ar trebui să elaboreze un manual de evaluare a activităților finanțate de programele-cadru, care să furnizeze definiții pentru conceptele-cheie și pentru terminologia specifică și să identifice o serie de metodologii corespunzătoare pentru anumite activități de evaluare. Acest manual ar trebui să se bazeze pe ghiduri și seturi de instrumente deja existente și să fie actualizat periodic.

| 92. | Comisia ar trebui să își precizeze necesarul de informații, ținând seama de necesitatea de a diminua volumul de muncă administrativă care le revine participanților. |
| --- | --- |

92.

Comisia ar trebui să își precizeze necesarul de informații, ținând seama de necesitatea de a diminua volumul de muncă administrativă care le revine participanților.

| 93. | Comisia ar trebui să furnizeze informații privind monitorizarea punerii în aplicare a programelor-cadru, în timp util. În conformitate cu prevederile „normelor de participare” ale celui de Al șaptelea program-cadru, este necesar să se procedeze la soluționarea urgentă a problemelor legate de sistemele informatice ale Comisiei care permit exploatarea datelor privind gestionarea programelor și participanții. |
| --- | --- |

93.

Comisia ar trebui să furnizeze informații privind monitorizarea punerii în aplicare a programelor-cadru, în timp util. În conformitate cu prevederile „normelor de participare” ale celui de Al șaptelea program-cadru, este necesar să se procedeze la soluționarea urgentă a problemelor legate de sistemele informatice ale Comisiei care permit exploatarea datelor privind gestionarea programelor și participanții.

| 94. | Ar trebui să se reducă semnificativ obligațiile participanților în ceea ce privește raportarea către Comisie, iar sondajele ar trebui să se efectueze numai pe bază de eșantioane reprezentative. Obligația contractuală de a prezenta, pentru fiecare proiect, date privind impactul bazate pe indicatori ar trebui să se înlocuiască cu obligația de a efectua o scurtă autoevaluare la finalizarea proiectului. |
| --- | --- |

94.

Ar trebui să se reducă semnificativ obligațiile participanților în ceea ce privește raportarea către Comisie, iar sondajele ar trebui să se efectueze numai pe bază de eșantioane reprezentative. Obligația contractuală de a prezenta, pentru fiecare proiect, date privind impactul bazate pe indicatori ar trebui să se înlocuiască cu obligația de a efectua o scurtă autoevaluare la finalizarea proiectului.

| 95. | În cadrul evaluărilor pe care le realizează, Comisia ar trebui să facă apel în mai mare măsură la alte surse complementare existente care conțin date relevante (surse atât din cadrul Comisiei, cât și din cadrul statelor membre). |
| --- | --- |

95.

În cadrul evaluărilor pe care le realizează, Comisia ar trebui să facă apel în mai mare măsură la alte surse complementare existente care conțin date relevante (surse atât din cadrul Comisiei, cât și din cadrul statelor membre).

| 96. | Comisia ar trebui să utilizeze întreaga gamă a tehnicilor de evaluare disponibile. În plus, aceasta ar trebui să sprijine elaborarea unor abordări inovatoare de soluționare a dificultăților metodologice inerente evaluării intervenției publice în cercetare (a se vedea anexa I) și să recurgă la aceste abordări în cadrul propriilor evaluări. |
| --- | --- |

96.

Comisia ar trebui să utilizeze întreaga gamă a tehnicilor de evaluare disponibile. În plus, aceasta ar trebui să sprijine elaborarea unor abordări inovatoare de soluționare a dificultăților metodologice inerente evaluării intervenției publice în cercetare (a se vedea anexa I) și să recurgă la aceste abordări în cadrul propriilor evaluări.

| 97. | Comisia ar trebui să se consulte cu statele membre pentru a identifica modul în care s-ar putea maximiza beneficiile evaluărilor efectuate la nivel național în ceea ce privește programele-cadru. |
| --- | --- |

97.

Comisia ar trebui să se consulte cu statele membre pentru a identifica modul în care s-ar putea maximiza beneficiile evaluărilor efectuate la nivel național în ceea ce privește programele-cadru.

Difuzarea și exploatarea constatărilor evaluărilor

| 98. | Evaluarea ar trebui să furnizeze analize și informații relevante care să poată fi utilizate cu eficacitate în scopul gestionării programelor și al elaborării politicilor. Evaluarea ar trebui, în special, să constituie fundamentul pentru demersul de reflecție fundamentată la atuurile și deficiențele unei intervenții publice, demers care este necesar pentru desfășurarea cu succes a procesului de învățare. Curtea a verificat în ce măsură evaluările s-au efectuat în timp util, în ce măsură constatările au fost comunicate și difuzate factorilor interesați din afara Comisiei, precum și în ce măsură recomandările au fost luate în considerare de Comisie în vederea revizuirii programelor în derulare („programe care învață din mers”). |
| --- | --- |

98.

Evaluarea ar trebui să furnizeze analize și informații relevante care să poată fi utilizate cu eficacitate în scopul gestionării programelor și al elaborării politicilor. Evaluarea ar trebui, în special, să constituie fundamentul pentru demersul de reflecție fundamentată la atuurile și deficiențele unei intervenții publice, demers care este necesar pentru desfășurarea cu succes a procesului de învățare. Curtea a verificat în ce măsură evaluările s-au efectuat în timp util, în ce măsură constatările au fost comunicate și difuzate factorilor interesați din afara Comisiei, precum și în ce măsură recomandările au fost luate în considerare de Comisie în vederea revizuirii programelor în derulare („programe care învață din mers”).

Programarea evaluărilor nu a ținut seama de tipul de informații pe a căror obținere se putea conta în mod realist

| 99. | Curtea recunoaște că anumite tipuri de analiză necesită o perspectivă pe termen lung (de exemplu, evaluarea efectelor și a impactului socioeconomic) și că anumite aspecte țin de o perioadă de programare specifică (de exemplu, obiectivele programelor, chiar în cadrul aceluiași domeniu științific dat), în timp ce altele nu (a se vedea figura 8). Cu toate acestea, Comisia nu a adoptat, pentru activitățile sale de evaluare, o abordare care să ia în considerare aceste repere temporale. |
| --- | --- |

99.

Curtea recunoaște că anumite tipuri de analiză necesită o perspectivă pe termen lung (de exemplu, evaluarea efectelor și a impactului socioeconomic) și că anumite aspecte țin de o perioadă de programare specifică (de exemplu, obiectivele programelor, chiar în cadrul aceluiași domeniu științific dat), în timp ce altele nu (a se vedea figura 8). Cu toate acestea, Comisia nu a adoptat, pentru activitățile sale de evaluare, o abordare care să ia în considerare aceste repere temporale.

| 100. | Conform legislației, activitățile principale de evaluare ale Comisiei trebuie să se axeze exclusiv pe cei cinci ani care precedă evaluarea cincinală, acoperind, prin urmare, segmente din două perioade de programare succesive. Consecința a fost că nu s-au luat aproape deloc în considerare efectele și impacturile pe termen mediu și lung. Drept urmare, de cele mai multe ori, evaluările cincinale s-au axat în principal pe aspecte de monitorizare, pe probleme care sunt legate de conceperea programelor și care sunt relevante pe termen scurt, precum și pe observații generale referitoare la orientarea programelor-cadru. Curtea salută faptul că legislația privitoare la cel de Al șaptelea program-cadru nu mai prevede evaluări cincinale, după cum, de altfel, nu mai prevede o perioadă prestabilită ca sferă de acoperire a evaluării.
  Figura 8
  Aspecte privind monitorizarea și evaluarea în funcție de diferite repere temporale







  Monitorizarea punerii în aplicare a programului

  (în cursul programului) | — | Aspecte privind gestionarea programului (de exemplu, termenul de atribuire a contractelor, termenul de plată, rata înscrierii și rata reușitei, execuția bugetară, ratele de finanțare etc.) |
| --- | --- | --- | --- |

100.

Conform legislației, activitățile principale de evaluare ale Comisiei trebuie să se axeze exclusiv pe cei cinci ani care precedă evaluarea cincinală, acoperind, prin urmare, segmente din două perioade de programare succesive. Consecința a fost că nu s-au luat aproape deloc în considerare efectele și impacturile pe termen mediu și lung. Drept urmare, de cele mai multe ori, evaluările cincinale s-au axat în principal pe aspecte de monitorizare, pe probleme care sunt legate de conceperea programelor și care sunt relevante pe termen scurt, precum și pe observații generale referitoare la orientarea programelor-cadru. Curtea salută faptul că legislația privitoare la cel de Al șaptelea program-cadru nu mai prevede evaluări cincinale, după cum, de altfel, nu mai prevede o perioadă prestabilită ca sferă de acoperire a evaluării.

Figura 8

Aspecte privind monitorizarea și evaluarea în funcție de diferite repere temporale

Monitorizarea punerii în aplicare a programului

(în cursul programului)

—

Aspecte privind gestionarea programului (de exemplu, termenul de atribuire a contractelor, termenul de plată, rata înscrierii și rata reușitei, execuția bugetară, ratele de finanțare etc.)

Evaluare

pe termen scurt

(de exemplu, cel mai devreme după 1-2 ani)

| — | Aspecte privind gestionarea programului (de exemplu, eficiența procedurilor administrative) |
| --- | --- |

—

Aspecte privind gestionarea programului (de exemplu, eficiența procedurilor administrative)

| — | Aspecte privind conceperea programului (de exemplu, accesibilitatea și flexibilitatea instrumentelor, obstacolele din calea participării, consecințele insuccesului înregistrat de cererile de propuneri etc.) |
| --- | --- |

—

Aspecte privind conceperea programului (de exemplu, accesibilitatea și flexibilitatea instrumentelor, obstacolele din calea participării, consecințele insuccesului înregistrat de cererile de propuneri etc.)

| — | Analiza profilului de participare (în principal cantitativă în această fază) |
| --- | --- |

—

Analiza profilului de participare (în principal cantitativă în această fază)

Evaluare

pe termen mediu

(de exemplu, după 7 ani)

| — | Aspecte privind conceperea programului (de exemplu, eficacitatea instrumentelor) |
| --- | --- |

—

Aspecte privind conceperea programului (de exemplu, eficacitatea instrumentelor)

| — | Aspecte privind conceperea programului (de exemplu, eficacitatea instrumentelor) |
| --- | --- |

—

Aspecte privind conceperea programului (de exemplu, eficacitatea instrumentelor)

| — | Analiza realizărilor concrete ale proiectelor
   (62) (de exemplu, publicații, lucrări științifice prezentate la conferințe, brevete de invenție, licențe, prototipuri, standarde, oameni de știință care au beneficiat de formare etc.) |
| --- | --- |

—

Analiza realizărilor concrete ale proiectelor
   (62) (de exemplu, publicații, lucrări științifice prezentate la conferințe, brevete de invenție, licențe, prototipuri, standarde, oameni de știință care au beneficiat de formare etc.)

Evaluare

pe termen lung

(de exemplu, după mai mult de 10 ani)

| — | Evaluarea efectelor și a impactului |
| --- | --- |

—

Evaluarea efectelor și a impactului

Sursa: Curtea de Conturi Europeană

| 101. | Carențele evaluărilor cincinale în ceea ce privește evaluarea efectelor și a impacturilor programelor-cadru au fost subliniate și de către experții Comisiei:






  — | comisia de evaluare cincinală din 2004 a făcut următoarele observații: evaluarea ar trebui să vizeze atât aspectele pe termen lung, cât și pe cele pe termen scurt, și să le acorde amândurora suficientă atenție; s-ar putea debloca suficiente resurse, astfel încât să se permită realizarea unor studii de evaluare pe termen lung mai ambițioase, care ar putea explora în mod mai sistematic aspectele structurale și pe cele socioeconomice de amploare mai mare (63); |
| --- | --- | --- |

101.

Carențele evaluărilor cincinale în ceea ce privește evaluarea efectelor și a impacturilor programelor-cadru au fost subliniate și de către experții Comisiei:

—

comisia de evaluare cincinală din 2004 a făcut următoarele observații: evaluarea ar trebui să vizeze atât aspectele pe termen lung, cât și pe cele pe termen scurt, și să le acorde amândurora suficientă atenție; s-ar putea debloca suficiente resurse, astfel încât să se permită realizarea unor studii de evaluare pe termen lung mai ambițioase, care ar putea explora în mod mai sistematic aspectele structurale și pe cele socioeconomice de amploare mai mare (63);

| — | un studiu comandat de DG Cercetare a condus la următoarea constatare: practicile actuale de evaluare aplicate de UE în domeniul cercetării și dezvoltării tehnologice (printre care se pot enumera monitorizarea continuă, evaluările cincinale și evaluarea intermediară) se caracterizează prin plasarea accentului mai curând pe monitorizare decât pe evaluarea impactului; și, pentru a deplasa cererea și așteptările în sensul impactului socioeconomic, ar fi necesar un cadru nou de evaluare și monitorizare care să prevadă un demers mai activ la nivelul impactului decât la cel al monitorizării realizărilor concrete (64). |
| --- | --- |

—

un studiu comandat de DG Cercetare a condus la următoarea constatare: practicile actuale de evaluare aplicate de UE în domeniul cercetării și dezvoltării tehnologice (printre care se pot enumera monitorizarea continuă, evaluările cincinale și evaluarea intermediară) se caracterizează prin plasarea accentului mai curând pe monitorizare decât pe evaluarea impactului; și, pentru a deplasa cererea și așteptările în sensul impactului socioeconomic, ar fi necesar un cadru nou de evaluare și monitorizare care să prevadă un demers mai activ la nivelul impactului decât la cel al monitorizării realizărilor concrete (64).

| 102. | Această problemă care ține de calendarul exercițiilor de evaluare afectează, de asemenea, evaluările specifice prevăzute în legislație. Astfel s-a întâmplat în cazul raportului Marimón din 2004, care a analizat noile instrumente introduse în cadrul PC6 (2003-2006) și care a fost solicitat prea devreme, rezultatul fiind că experimentele practice și dovezile empirice care ar fi trebuit să stea la baza concluziilor erau insuficiente sau inexistente (65). |
| --- | --- |

102.

Această problemă care ține de calendarul exercițiilor de evaluare afectează, de asemenea, evaluările specifice prevăzute în legislație. Astfel s-a întâmplat în cazul raportului Marimón din 2004, care a analizat noile instrumente introduse în cadrul PC6 (2003-2006) și care a fost solicitat prea devreme, rezultatul fiind că experimentele practice și dovezile empirice care ar fi trebuit să stea la baza concluziilor erau insuficiente sau inexistente (65).

Comunicarea și difuzarea

| 103. | Comisia are libertatea de a elabora și adapta programe de lucru operaționale pe cicluri de scurtă durată, sub rezerva obținerii aprobării comitetului responsabil de programul în cauză. O astfel de opțiune ar putea reprezenta o bună ocazie de a aduce modificări în gestionarea programelor, precum și de a realoca bugetele în cadrul subprogramelor. Nu există însă dovezi potrivit cărora Comisia ar fi recurs la această posibilitate (a se vedea punctul 107). |
| --- | --- |

103.

Comisia are libertatea de a elabora și adapta programe de lucru operaționale pe cicluri de scurtă durată, sub rezerva obținerii aprobării comitetului responsabil de programul în cauză. O astfel de opțiune ar putea reprezenta o bună ocazie de a aduce modificări în gestionarea programelor, precum și de a realoca bugetele în cadrul subprogramelor. Nu există însă dovezi potrivit cărora Comisia ar fi recurs la această posibilitate (a se vedea punctul 107).

| 104. | Dincolo de opțiunea menționată, dat fiind modul în care sunt concepute și adoptate programele-cadru, Comisiei îi este practic imposibil să realizeze schimbări semnificative, cum ar fi modificarea obiectivelor programelor sau realocarea bugetelor de la un subprogram la altul. Numai legislatorul este cel care poate promulga modificări de o asemenea amploare, cu ocazia unei revizuiri a legislației privind programul-cadru (de exemplu, în 2010, pentru PC7) sau a adoptării programului-cadru următor. Acesta este motivul pentru care în legislație s-a prevăzut, de regulă, ca principalele exerciții de evaluare să fie astfel programate, încât să existe o utilitate cât mai mare pentru luarea în considerare a rezultatele lor în vederea elaborării politicilor. |
| --- | --- |

104.

Dincolo de opțiunea menționată, dat fiind modul în care sunt concepute și adoptate programele-cadru, Comisiei îi este practic imposibil să realizeze schimbări semnificative, cum ar fi modificarea obiectivelor programelor sau realocarea bugetelor de la un subprogram la altul. Numai legislatorul este cel care poate promulga modificări de o asemenea amploare, cu ocazia unei revizuiri a legislației privind programul-cadru (de exemplu, în 2010, pentru PC7) sau a adoptării programului-cadru următor. Acesta este motivul pentru care în legislație s-a prevăzut, de regulă, ca principalele exerciții de evaluare să fie astfel programate, încât să existe o utilitate cât mai mare pentru luarea în considerare a rezultatele lor în vederea elaborării politicilor.

| 105. | Se poate trage concluzia că printre principalii utilizatori ai evaluărilor realizate de Comisie se numără chiar direcțiile generale cu competențe în cercetare (66). Cu toate acestea, legislația cu privire la programele-cadru prevede, de asemenea, în mod explicit, comunicarea evaluărilor și către Parlamentul European, și Consiliu. |
| --- | --- |

105.

Se poate trage concluzia că printre principalii utilizatori ai evaluărilor realizate de Comisie se numără chiar direcțiile generale cu competențe în cercetare (66). Cu toate acestea, legislația cu privire la programele-cadru prevede, de asemenea, în mod explicit, comunicarea evaluărilor și către Parlamentul European, și Consiliu.

| 106. | Cu ocazia sondajului desfășurat de Curte în rândul membrilor comitetului ITRE din cadrul Parlamentului European și al membrilor comitetului CREST din cadrul Consiliului, majoritatea respondenților au declarat însă că nu se consideră suficient de informați cu privire la punerea în aplicare și la rezultatele programelor-cadru (a se vedea figura 9) (67). |
| --- | --- |

106.

Cu ocazia sondajului desfășurat de Curte în rândul membrilor comitetului ITRE din cadrul Parlamentului European și al membrilor comitetului CREST din cadrul Consiliului, majoritatea respondenților au declarat însă că nu se consideră suficient de informați cu privire la punerea în aplicare și la rezultatele programelor-cadru (a se vedea figura 9) (67).

Image

Urmărirea constatărilor evaluărilor

| 107. | În rapoartele sale anuale de evaluare, Comisia realizează o sinteză a constatărilor făcute și a măsurilor luate în urma evaluărilor pe care le-a efectuat (68). În contextul de urmărire a evaluărilor, Comisia a furnizat, de asemenea, o serie de răspunsuri oficiale la constatările și recomandările formulate de evaluările cincinale și de cele specifice prevăzute în legislație și a întreprins, în măsura posibilului, demersurile corespunzătoare pentru a remedia deficiențele identificate cu ocazia derulării acestora. Nu acesta a fost însă și cazul unei serii de alte numeroase rapoarte de evaluare care au fost examinate, neexistând probe care să indice că s-a ținut seama de constatările și recomandările acestora în vederea aducerii unor modificări programelor de lucru. De altfel, declarațiile referitoare la bugetul întocmit pe activități și rapoartele anuale de activitate ale direcțiilor generale nu indică, nici ele, în ce măsură s-a dat vreun curs constatărilor stabilite în urma evaluărilor. |
| --- | --- |

107.

În rapoartele sale anuale de evaluare, Comisia realizează o sinteză a constatărilor făcute și a măsurilor luate în urma evaluărilor pe care le-a efectuat (68). În contextul de urmărire a evaluărilor, Comisia a furnizat, de asemenea, o serie de răspunsuri oficiale la constatările și recomandările formulate de evaluările cincinale și de cele specifice prevăzute în legislație și a întreprins, în măsura posibilului, demersurile corespunzătoare pentru a remedia deficiențele identificate cu ocazia derulării acestora. Nu acesta a fost însă și cazul unei serii de alte numeroase rapoarte de evaluare care au fost examinate, neexistând probe care să indice că s-a ținut seama de constatările și recomandările acestora în vederea aducerii unor modificări programelor de lucru. De altfel, declarațiile referitoare la bugetul întocmit pe activități și rapoartele anuale de activitate ale direcțiilor generale nu indică, nici ele, în ce măsură s-a dat vreun curs constatărilor stabilite în urma evaluărilor.

Recomandări

108.

| 108. | Comisia ar trebui să stabilească ce așteptări pot exista în mod rezonabil în ceea ce privește tipul evaluării și sfera acesteia, având în vedere datele specificate în legislație (2008, 2010 și 2015), să explice modul în care se pot utiliza evaluările în vederea adaptării programelor („programe care învață din mers”) și să specifice ce contribuție pot aduce evaluările la procesul decizional de elaborare a politicilor. Comisia ar trebui, în special, să își clarifice abordarea pe care intenționează să o adopte cu privire la evaluarea rezultatelor pe termen mai lung ale programelor-cadru actuale și anterioare, dat fiind că poate fi necesar să se aștepte între 7 și 10 ani pentru a constata beneficiile pe care le aduc astfel de rezultate (a se vedea figura 8). |
| --- | --- |

Comisia ar trebui să stabilească ce așteptări pot exista în mod rezonabil în ceea ce privește tipul evaluării și sfera acesteia, având în vedere datele specificate în legislație (2008, 2010 și 2015), să explice modul în care se pot utiliza evaluările în vederea adaptării programelor („programe care învață din mers”) și să specifice ce contribuție pot aduce evaluările la procesul decizional de elaborare a politicilor. Comisia ar trebui, în special, să își clarifice abordarea pe care intenționează să o adopte cu privire la evaluarea rezultatelor pe termen mai lung ale programelor-cadru actuale și anterioare, dat fiind că poate fi necesar să se aștepte între 7 și 10 ani pentru a constata beneficiile pe care le aduc astfel de rezultate (a se vedea figura 8).

| 109. | Comisia ar trebui să își reanalizeze practicile de comunicare și difuzare a constatărilor stabilite în urma evaluărilor, asigurându-se că factorii interesați primesc informațiile necesare. În special, direcțiile generale cu competențe în cercetare ar trebui să aibă o reacție oficială la toate evaluările și să facă publice în timp util aceste studii de evaluare, care să fie însoțite și de răspunsurile lor. Direcțiile generale cu competențe în cercetare ar trebui, de asemenea, să furnizeze, în declarațiile referitoare la bugetul întocmit pe activități și în rapoartele anuale de activitate, o dare de seamă privind modul în care s-a dat curs constatărilor evaluărilor și să țină seama de recomandările făcute la actualizarea programelor de lucru și conceperea programelor viitoare. |
| --- | --- |

109.

Comisia ar trebui să își reanalizeze practicile de comunicare și difuzare a constatărilor stabilite în urma evaluărilor, asigurându-se că factorii interesați primesc informațiile necesare. În special, direcțiile generale cu competențe în cercetare ar trebui să aibă o reacție oficială la toate evaluările și să facă publice în timp util aceste studii de evaluare, care să fie însoțite și de răspunsurile lor. Direcțiile generale cu competențe în cercetare ar trebui, de asemenea, să furnizeze, în declarațiile referitoare la bugetul întocmit pe activități și în rapoartele anuale de activitate, o dare de seamă privind modul în care s-a dat curs constatărilor evaluărilor și să țină seama de recomandările făcute la actualizarea programelor de lucru și conceperea programelor viitoare.

CONCLUZIE GENERALĂ

| 110. | Curtea recunoaște că evaluarea programelor de cercetare și dezvoltare tehnologică, în special analiza rezultatelor lor pe termen lung, este o sarcină dificilă în sine și că nu este ușor să se definească cele mai bune practici. |
| --- | --- |

110.

Curtea recunoaște că evaluarea programelor de cercetare și dezvoltare tehnologică, în special analiza rezultatelor lor pe termen lung, este o sarcină dificilă în sine și că nu este ușor să se definească cele mai bune practici.

| 111. | În opinia Curții, evaluarea este esențială pentru gestionarea programelor, planificarea viitoare și elaborarea politicilor. Evaluarea furnizează, de asemenea, o bază pentru actul de dare de seamă în ceea privește punerea în aplicare. Ea reprezintă o sursă de informații prețioase cu privire la următoarele aspecte: care sunt acele rezultate scontate (sau nescontate) care au putut fi obținute, în ce măsură au fost atinse obiectivele programelor, ce relevanță și utilitate prezintă programele și care este gradul de eficiență și eficacitate a punerii în aplicare a acestora. Având în vedere că orientarea generală, aspectele bugetare și concepția programelor-cadru sunt hotărâte de către Parlamentul European și Consiliu, este necesar un sistem de evaluare transparent, credibil și bine pus la punct, care să le furnizeze acestor instituții informații adecvate. |
| --- | --- |

111.

În opinia Curții, evaluarea este esențială pentru gestionarea programelor, planificarea viitoare și elaborarea politicilor. Evaluarea furnizează, de asemenea, o bază pentru actul de dare de seamă în ceea privește punerea în aplicare. Ea reprezintă o sursă de informații prețioase cu privire la următoarele aspecte: care sunt acele rezultate scontate (sau nescontate) care au putut fi obținute, în ce măsură au fost atinse obiectivele programelor, ce relevanță și utilitate prezintă programele și care este gradul de eficiență și eficacitate a punerii în aplicare a acestora. Având în vedere că orientarea generală, aspectele bugetare și concepția programelor-cadru sunt hotărâte de către Parlamentul European și Consiliu, este necesar un sistem de evaluare transparent, credibil și bine pus la punct, care să le furnizeze acestor instituții informații adecvate.

| 112. | În 2000 și 2002, Comisia a instituit un cadru general de evaluare, pe care l-a revizuit ulterior în 2007. Cu toate că în cursul perioadei care a făcut obiectul auditului Curții nu s-au observat îmbunătățiri semnificative în ceea ce privește modul în care erau planificate, concepute și puse în aplicare evaluările programelor-cadru și ale programelor constitutive ale acestora, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale formulate la nivelul central al Comisiei. |
| --- | --- |

112.

În 2000 și 2002, Comisia a instituit un cadru general de evaluare, pe care l-a revizuit ulterior în 2007. Cu toate că în cursul perioadei care a făcut obiectul auditului Curții nu s-au observat îmbunătățiri semnificative în ceea ce privește modul în care erau planificate, concepute și puse în aplicare evaluările programelor-cadru și ale programelor constitutive ale acestora, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale formulate la nivelul central al Comisiei.

| 113. | Pentru perioada la care se referă prezentul raport, direcțiile generale cu competențe în cercetare dispuneau de un sistem de evaluare, astfel cum se prevedea în legislația privind programele-cadru, iar Comisia poate prezenta un corpus voluminos de studii de evaluare. Cu toate acestea, informațiile privind atingerea obiectivelor programelor și rezultatele acestora sunt, în realitate, foarte puține sau chiar inexistente. Acest lucru se datorează faptului că evaluările s-au axat în general pe aspecte relevante pe termen scurt legate de punerea în aplicare a programelor. Drept urmare, evaluările Comisiei au avut o utilitate limitată pentru factorii de decizie politică, pentru factorii interesați și pentru Comisia însăși. |
| --- | --- |

113.

Pentru perioada la care se referă prezentul raport, direcțiile generale cu competențe în cercetare dispuneau de un sistem de evaluare, astfel cum se prevedea în legislația privind programele-cadru, iar Comisia poate prezenta un corpus voluminos de studii de evaluare. Cu toate acestea, informațiile privind atingerea obiectivelor programelor și rezultatele acestora sunt, în realitate, foarte puține sau chiar inexistente. Acest lucru se datorează faptului că evaluările s-au axat în general pe aspecte relevante pe termen scurt legate de punerea în aplicare a programelor. Drept urmare, evaluările Comisiei au avut o utilitate limitată pentru factorii de decizie politică, pentru factorii interesați și pentru Comisia însăși.

| 114. | Dată fiind importanța evaluării pentru gestionarea programelor și elaborarea politicilor, abordarea Comisiei față de evaluarea programelor-cadru și a programelor constitutive ale acestora trebuie reexaminată, ținând seama de noile provocări politice, de creșterea volumului finanțărilor, de extinderea orientării politicii comunitare de cercetare și de reforma recentă din cadrul Comisiei. Același lucru a fost recomandat și de EURAB în raportul său din 2007. |
| --- | --- |

114.

Dată fiind importanța evaluării pentru gestionarea programelor și elaborarea politicilor, abordarea Comisiei față de evaluarea programelor-cadru și a programelor constitutive ale acestora trebuie reexaminată, ținând seama de noile provocări politice, de creșterea volumului finanțărilor, de extinderea orientării politicii comunitare de cercetare și de reforma recentă din cadrul Comisiei. Același lucru a fost recomandat și de EURAB în raportul său din 2007.

| 115. | În opinia Curții, recurgerea în viitor la o logică de intervenție explicită în conceperea programelor-cadru ar conduce la o mai bună orientare și structurare a programelor acestora. Acest lucru ar contribui, de asemenea, la reușita inițiativei Comisiei de îmbunătățire a legiferării, care vizează crearea unui cadru de reglementare mai bine conceput, mai simplu, mai eficace și mai ușor de înțeles (69). |
| --- | --- |

115.

În opinia Curții, recurgerea în viitor la o logică de intervenție explicită în conceperea programelor-cadru ar conduce la o mai bună orientare și structurare a programelor acestora. Acest lucru ar contribui, de asemenea, la reușita inițiativei Comisiei de îmbunătățire a legiferării, care vizează crearea unui cadru de reglementare mai bine conceput, mai simplu, mai eficace și mai ușor de înțeles (69).

| 116. | Evaluarea programelor-cadru și a programelor constitutive ale acestora ar fi mai eficace dacă obiectivele programelor și indicatorii ar fi stabiliți cu mai multă claritate de la bun început, dacă direcțiile generale cu competențe în cercetare care pun în aplicare programele-cadru s-ar pune de acord cu privire la o strategie de evaluare bine pusă la punct, dar nu exagerat de prescriptivă, și dacă s-ar utiliza metodologii de evaluare mai avansate, printre care și abordări cantitative. |
| --- | --- |

116.

Evaluarea programelor-cadru și a programelor constitutive ale acestora ar fi mai eficace dacă obiectivele programelor și indicatorii ar fi stabiliți cu mai multă claritate de la bun început, dacă direcțiile generale cu competențe în cercetare care pun în aplicare programele-cadru s-ar pune de acord cu privire la o strategie de evaluare bine pusă la punct, dar nu exagerat de prescriptivă, și dacă s-ar utiliza metodologii de evaluare mai avansate, printre care și abordări cantitative.

| 117. | Curtea a observat, de asemenea, că există o serie de privințe în care Comisia ar avea motive să își reanalizeze mecanismele organizatorice actuale de evaluare a programelor-cadru. S-ar putea obține o serie de avantaje prin întreprinderea următoarelor acțiuni:






  — | implicarea comisiilor de evaluare mai devreme în decursul procesului de evaluare, furnizând, astfel, asistență Comisiei de-a lungul întregii perioade de programare și chiar și după încheierea acesteia, precum și sporirea gradului de specializare prin instituirea de comisii pentru programele specifice și, după caz, chiar și pentru subprograme; |
| --- | --- | --- |

117.

Curtea a observat, de asemenea, că există o serie de privințe în care Comisia ar avea motive să își reanalizeze mecanismele organizatorice actuale de evaluare a programelor-cadru. S-ar putea obține o serie de avantaje prin întreprinderea următoarelor acțiuni:

—

implicarea comisiilor de evaluare mai devreme în decursul procesului de evaluare, furnizând, astfel, asistență Comisiei de-a lungul întregii perioade de programare și chiar și după încheierea acesteia, precum și sporirea gradului de specializare prin instituirea de comisii pentru programele specifice și, după caz, chiar și pentru subprograme;

| — | completarea unităților de evaluare existente în cadrul fiecărei direcții generale cu un birou de evaluare comun, care să fie responsabil de coordonarea evaluărilor programelor-cadru. |
| --- | --- |

—

completarea unităților de evaluare existente în cadrul fiecărei direcții generale cu un birou de evaluare comun, care să fie responsabil de coordonarea evaluărilor programelor-cadru.

| 118. | Recomandările cuprinse în prezentul raport se bazează fie pe practicile existente în cadrul Comisiei, fie pe bunele practici de la nivel internațional. În ceea ce privește resursele, este evident că introducerea abordării sugerate pentru evaluarea programelor va atrage costuri mai mari. Cu toate acestea, Curtea este de părere că există o probabilitate ridicată ca această abordare să aducă beneficii financiare de cel puțin același ordin. |
| --- | --- |

118.

Recomandările cuprinse în prezentul raport se bazează fie pe practicile existente în cadrul Comisiei, fie pe bunele practici de la nivel internațional. În ceea ce privește resursele, este evident că introducerea abordării sugerate pentru evaluarea programelor va atrage costuri mai mari. Cu toate acestea, Curtea este de părere că există o probabilitate ridicată ca această abordare să aducă beneficii financiare de cel puțin același ordin.

Prezentul raport a fost adoptat de Curtea de Conturi la Luxemburg, în ședința sa din 22 noiembrie 2007.

Pentru Curtea de Conturi

Hubert WEBER

Președinte

---

(1)  Conform OCDE, cercetarea și dezvoltarea se pot defini ca fiind orice activitate sistematică și creatoare inițiată pentru a spori volumul de cunoștințe, inclusiv cunoștințe despre om, cultură și societate, și utilizarea acestor cunoștințe pentru noi aplicații [a se vedea Manualul Frascati al OCDE – Proposed standard practice for surveys on research and experimental development (Propunere de practică standard pentru evaluarea cercetării și dezvoltării experimentale), Paris, 2002, p. 30]. În contextul comunitar se utilizează acronimul CDT, care se referă atât la tehnologie, cât și la cercetare și dezvoltare.

1

Proposed standard practice for surveys on research and experimental development

(2)  DG Cercetare este principala direcție generală care gestionează și coordonează programele-cadru. Există alte cinci direcții generale care gestionează, de asemenea, (parțial) programe specifice, cea mai importantă dintre acestea fiind DG Societate Informațională și Mass-media (celelalte fiind DG Energie și Transport, DG Întreprinderi și Industrie, DG Pescuit și Centrul Comun de Cercetare al Comisiei).

2

(3)  În 2000, Consiliul European de la Lisabona a stabilit ca obiectiv transformarea Uniunii Europene, până în anul 2010, în cea mai competitivă, dinamică și durabilă economie bazată pe cunoaștere din lume, cu o rată de ocupare a forței de muncă mai ridicată și o mai puternică coeziune socială și economică.

3

(4)  În 2002, Consiliul European a convenit că ansamblul cheltuielilor pentru CDT și inovare în Uniunea Europeană ar trebui să crească, obiectivul fiind de a atinge 3 % din PIB până în 2010. Consiliul a precizat, de asemenea, că două treimi din aceste noi investiții ar trebui să provină din sectorul privat [a se vedea documentul Comisiei Europene, „Investing in research: an action plan for Europe” – Investițiile în cercetare: un plan de acțiune pentru Europa; Comunicare a Comisiei către Consiliu, Parlamentul European, Comitetul Economic și Social European și Comitetul Regiunilor, COM(2003) 226 final, p. 7].

4

Investing in research: an action plan for Europe

(5)  În cazul gestiunii directe, Comisia efectuează operațiunile necesare pentru a-și desfășura activitățile de execuție a bugetului fără nicio implicare din partea statelor membre sau a țărilor terțe în care își au reședința destinatarii cheltuielilor.

5

(6)  La nivelul anului 2006 și în ceea ce privește strict cel de Al șaselea program-cadru, existau peste 22 000 de persoane juridice publice și private participante, în general în cadrul unor consorții cu asociați multipli.

6

(7)  Este vorba despre o metodă de cooperare fundamentată pe principiul cooperării interguvernamentale voluntare. Aceasta se bazează, în special, pe învățarea reciprocă, analiza comparativă și schimbul de bune practici.

7

(8)  Regulamentul (CE, Euratom) nr. 1605/2002 al Consiliului din 25 iunie 2002 (JO L 248, 16.9.2002, p. 1), articolele 27, 48, 59 și 60.

8

(9)  Comisia Europeană, DG Buget, Comunicarea doamnei Grybauskaitė, în acord cu președintele, către Comisie, „Responding to strategic needs: reinforcing the use of evaluation” (Satisfacerea nevoilor strategice: utilizarea sporită a evaluării), SEC(2007) 213, 21 februarie 2007; Comisia Europeană, DG Buget, Comunicarea doamnei Schreyer către Comisie, „Focus on Results: Strengthening Evaluation of Commission Activities” (Accentul pe rezultate: consolidarea evaluării activităților Comisiei), SEC(2000) 1051, 26 iulie 2000.

9

Responding to strategic needs: reinforcing the use of evaluation

Focus on Results: Strengthening Evaluation of Commission Activities

(10)  Decizia nr. 1982/2006/CE a Parlamentului European și a Consiliului din 18 decembrie 2006 privind Al șaptelea program-cadru al Comunității Europene pentru activități de cercetare, de dezvoltare tehnologică și demonstrative (2007-2013) (JO L 412, 30.12.2006, p. 1): articolul 7 alineatul (1); informațiile care prezintă relevanță pentru monitorizare pe care Comisia trebuie să le furnizeze comitetelor de program sunt definite în deciziile referitoare la programele specifice [a se vedea, de exemplu, Decizia 2006/971/CE a Consiliului din 19 decembrie 2006 privind programul specific „Cooperare” de punere în aplicare a celui de Al șaptelea program-cadru al Comunității Europene pentru activități de cercetare, de dezvoltare tehnologică și demonstrative (2007-2013) (JO L 400, 30.12.2006, p. 86): articolul 8 alineatul (4) și anexa V].

10

(11)  Comisia Europeană, Comunicare către Consiliu privind un plan de acțiune comunitar referitor la evaluarea activităților comunitare de cercetare și dezvoltare pentru perioada 1987-1991, COM(86) 660 final, 20 noiembrie 1986, ca răspuns la rezoluția Consiliului din 28 iunie 1983.

11

(12)  Comisia Europeană, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996” (Evaluarea cincinală a programelor de cercetare și dezvoltare tehnologică ale Uniunii Europene, 1992-1996). Raportul Comisiei de experți independenți prezidate de vicontele Davignon (1997); Comisia Europeană, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1995-1999” (Evaluarea cincinală a programelor de cercetare și dezvoltare tehnologică ale Uniunii Europene, 1995-1999); raportul Comisiei de experți independenți prezidate de Joan Majó (iulie 2000); Comisia Europeană, „Five-year Assessment of the European Union Research Framework Programmes, 1999-2003” (Evaluarea cincinală a programelor-cadru de cercetare ale Uniunii Europene, 1999-2003); raportul Comisiei de experți independenți prezidate de Erkki Ormala (15 decembrie 2004).

12

Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996

Five-year Assessment of the European Union Research and Technological Development Programmes

1995-1999

Five-year Assessment of the European Union Research Framework Programmes, 1999-2003

(13)  Comisia Europeană, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI” (Evaluarea eficacității noilor instrumente ale celui de Al șaselea program-cadru), 21 iunie 2004, raportul unei comisii de experți la nivel înalt prezidate de prof. Ramon Marimón.

13

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(14)  Comisia Europeană, DG Buget, Comunicarea doamnei Schreyer către Comisie, „Focus on Results: Strengthening Evaluation of Commission Activities” (Accentul pe rezultate: consolidarea evaluării activităților Comisiei), iulie 2000, SEC(2000) 1051; Comisia Europeană, DG Buget, Comunicarea președintelui și a doamnei Schreyer către Comisie, „Evaluation Standards and Good Practice” (Standarde și buna practică de evaluare), C(2002) 5267, 23.12.2002.

14

Focus on Results: Strengthening Evaluation of Commission Activities

Evaluation Standards and Good Practice

(15)  Comisia Europeană, DG Buget, Comunicarea doamnei Grybauskaitė, în acord cu președintele, către Comisie, „Responding to strategic needs: reinforcing the use of evaluation” (Satisfacerea nevoilor strategice: utilizarea sporită a evaluării), SEC(2007) 213, 21 februarie 2007.

15

Responding to strategic needs: reinforcing the use of evaluation

(16)  Comisia Europeană, document de lucru al serviciilor Comisiei, „Impact assessment and ex-ante evaluation” (Studiu de impact și evaluare ex ante), SEC(2005) 430.

16

Impact assessment and

evaluation

ex ante

(17)  Comitetul pentru industrie, cercetare și energie (Industry, Research and Energy – ITRE) al Parlamentului European este (în special) responsabil de politica industrială, politica de cercetare (inclusiv difuzarea și exploatarea rezultatelor activităților de cercetare), politica spațială, activitățile Centrului Comun de Cercetare, Tratatul de instituire a Euratom, societatea informațională și tehnologia informației.

17

Industry, Research and Energy

(18)  CREST („Comité de la Recherche Scientifique et Technique” – Comitetul pentru cercetare științifică și tehnică) a fost instituit printr-o rezoluție a Consiliului din data de 14 ianuarie 1974 și este compus din reprezentanți ai autorităților naționale responsabile de politica științifică și cea tehnologică a statelor membre. CREST are un rol consultativ, misiunea sa fiind de a informa Comisia și Consiliul cu privire, în special, la subiecte legate de coordonarea politicilor naționale de cercetare și dezvoltare, precum și de monitorizarea și evaluarea programelor-cadru.

18

Comité de la Recherche Scientifique et Technique

(19)  Modalitatea cea mai indicată de ilustrare a logicii de intervenție o reprezintă modelele logice care prezintă modul în care mijloacele prin care se pun în aplicare diferitele activități conduc la rezultatele dorite. Aceste modele au capacitatea de a explica în mod clar ipotezele pe care se fundamentează concepția unui program și modul în care obiectivele generale sunt subdivizate în obiective operaționale.

19

(20)  Comisia Europeană, DG Buget, „Evaluating EU activities: a practical guide for the Commission services” (Evaluarea activităților Uniunii Europene: ghid practic pentru serviciile Comisiei), iulie 2004, p. 87 și 106.

20

Evaluating EU activities: a practical guide for the Commission services

(21)  „Five year Assessment of the European Union Research Framework Programmes, 1999-2003” (Evaluarea cincinală a programelor-cadru de cercetare ale Uniunii Europene, 1999-2003), raportul Comisiei de experți independenți prezidate de Erkki Ormala (15 decembrie 2004): secțiunea 6 „Evaluating the Framework Programme” (Evaluarea programului-cadru), p. 19.

21

Five year Assessment of the European Union Research Framework Programmes, 1999-2003

Evaluating the Framework Programme

(22)  Țările care primesc ajutor extern au obligația de a prezenta modele logice pentru finanțarea comunitară de care beneficiază (Comisia Europeană, Metode de acordare a ajutoarelor, volumul 1, Orientări de gestionare a ciclului de proiect, martie 2004, secțiunea 5: Abordarea privind cadrul logic).

22

(23)  Regulamentul (CE, Euratom) nr. 1605/2002, articolul 27 alineatul (3).

23

(24)  În 2006, domeniul de politici „08 cercetare” a fost structurat pe baza programelor (și a subprogramelor) specifice din perioada de programare curentă a celui de Al șaselea program-cadru (în consecință, această structură a fost înlocuită cu o alta în 2007), în timp ce, în cadrul domeniului de politici „09 societatea informațională”, programul specific curent și cel anterior au fost grupate împreună ca o singură activitate din punctul de vedere al întocmirii bugetului pe activități [Comisia Europeană, DG Cercetare, Direcția A: Coordonarea activităților comunitare, Planificare, programare, evaluare, Annual Management Plan
  2006 [(Planul de gestionare anual pentru 2006), 20.12.2005; Comisia Europeană, DG Societate Informațională și Mass-media, 2006 Annual management plan (Planul de gestionare anual pentru 2006), 23.12.2005].

24

Annual Management Plan

2006

Annual management plan

(25)  În cazul Direcției Generale Cercetare, obiectivele în materie de gestionare pe activități (precum și indicatorii utilizați pentru măsurarea atingerii obiectivelor) s-au modificat de la un an la altul. De cealaltă parte, DG Societate Informațională a utilizat obiective multianuale, care însă nu erau aceleași cu obiectivele programelor (sau cu cele specificate la nivel de program de lucru).

25

(26)  Comisia Europeană, Serviciul de audit intern, Review of effectiveness and efficiency of the SPP/ABM cycle (Analiza eficacității și a eficienței ciclului de planificare și programare strategică/de gestionare pe activități) – SG & DG Buget, 2005: punctul 4.1, p. 31.

26

Review of effectiveness and efficiency of the SPP/ABM cycle

(27)  Comisia Europeană, „Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes” (Comunicarea Comisiei către Consiliu privind un plan de acțiune comunitar referitor la evaluarea programelor de cercetare și dezvoltare comunitare), COM(83) 1 final, 19 ianuarie 1983.

27

Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes

(28)  Comunicarea Comisiei către Consiliu și Parlamentul European, „Independent external monitoring and evaluation of Community activities in the area of research and technological development” (Monitorizarea și evaluarea externă și independentă a activităților comunitare în domeniul cercetării și al dezvoltării tehnologice), 22.5.1996 [COM(1996) 220 final].

28

Independent external monitoring and evaluation of Community activities in the area of research and technological development

(29)  Fiecare direcție generală care pune în aplicare programe-cadru își consemnează în scris evaluările planificate, în planuri de evaluare anuale (și multianuale). Cu toate acestea, nu se poate argumenta că aceste documente de planificare reprezintă o strategie de evaluare în sine.

29

(30)  Regulamentul (CE, Euratom) nr. 1605/2002, articolul 27 alineatul (4).

30

(31)  „Loi de programme pour la recherche no 2006-450” din 18.4.2006 și „Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)” din 3.11.2006.

31

Loi de programme pour la recherche no

Décret no

(32)  Agencia Nacional de Evaluación y Prospectiva din cadrul Ministerio de Educación y Ciencia: Orden
  ECI/1252/2005 din 4 mai 2005, de înființare a „Comisión Asesora de Evaluación y Prospectiva” (Comisia consultativă pentru evaluare și previziune).

32

Agencia Nacional de Evaluación y Prospectiva

Ministerio de Educación y Ciencia

Orden

ECI/1252/2005

Comisión Asesora de Evaluación y Prospectiva

(33)  În 2004, „Deutsche Forschungsgemeinschaft” (DFG) a înființat un institut specializat, „Institut für Forschungsinformation und Qualitätssicherung” (IFQ), căruia i-a conferit responsabilitatea de elaborare și standardizare a metodologiilor de evaluare, cea privind asigurarea calității, precum și cea de efectuare a evaluărilor activităților de cercetare și dezvoltare tehnologică finanțate de DFG.

33

Deutsche Forschungsgemeinschaft

Institut für Forschungsinformation und Qualitätssicherung

(34)  Comisia a înființat, pentru PC7, 15 grupuri consultative de experți, față de 12 grupuri consultative de experți pentru PC6 și 17 grupuri consultative de experți pentru PC5. Aceste grupuri consultative de experți furnizează consultanță Comisiei cu privire la aspecte aferente programelor-cadru, legate de politici și programe. Cu toate acestea, trebuie să se aibă în vedere că nu există o coincidență perfectă între aceste grupuri consultative de experți și structura programelor-cadru. Cu alte cuvinte, nu există un grup consultativ de experți pentru fiecare program (sau subprogram) specific.

34

(35)  În Canada, aproape toate ministerele federale au înființat comisii de evaluare permanente, la care iau parte înalți funcționari ministeriali și, de regulă, și factori interesați externi, cu scopul de a supraveghea sistemul de evaluare [„Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee – Mandate and Membership (Consiliul canadian de cercetare în domeniul științelor sociale și umaniste: Comitetul permanent de evaluare – Mandatul și componența)].

35

Social Sciences and Humanities Research Council of Canada

Evaluation Standing Committee – Mandate and Membership

(36)  Comisia Europeană, „Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes” (Raportul de monitorizare pe 2004: punerea în aplicare a activităților conform cadrului CE și Euratom și a programelor specifice aferente), august 2005, p. 5.

36

Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes

(37)  Comisia Europeană, Planning and optimising Commission human resources to serve EU priorities (Planificarea și optimizarea resurselor umane ale Comisiei în scopul unei mai bune deserviri a intereselor Uniunii Europene), SEC(2007) 530, 24 aprilie 2007.

37

Planning and optimising Commission human resources to serve EU priorities

(38)  Comisia Europeană, Comunicarea președintelui și a doamnei Schreyer către Comisie, „Evaluation standards and good practice” (Standarde și bune practici de evaluare), C(2002) 5267, 23.12.2002; Comisia Europeană, document de lucru al serviciilor Comisiei, „Impact assessment and ex-ante evaluation” (Studiu de impact și evaluare ex ante), SEC(2005) 430, 6 aprilie 2005, anexa 1, nota de subsol 209.

38

Evaluation standards and good practice

Impact assessment and ex-ante evaluation

ex ante

(39)  În 2007, Comitetul consultativ european pentru cercetare (European Research Advisory Board – EURAB) a recomandat și el creșterea resurselor repartizate evaluării programelor-cadru [EURAB, „Recommendations on Ex-Post Impact Assessment” (Recomandări privind studiile de impact ex post), iulie 2007].

39

European Research Advisory Board

Recommendations on

Impact Assessment

ex post

(40)  Raportul special nr. 1/2004 privind gestionarea acțiunilor indirecte de CDT din cadrul celui de Al cincilea program-cadru (PC5) pentru cercetare și dezvoltare tehnologică (1998-2002) (JO C 99, 23.4.2004), punctele 116 și 122.

40

(41)  Comisia Europeană, DG Buget, Comunicarea doamnei Grybauskaitė, în acord cu președintele, către Comisie, „Responding to strategic needs: reinforcing the use of evaluation” (Satisfacerea nevoilor strategice: utilizarea sporită a evaluării), SEC(2007) 213, 21 februarie 2007; Comisia Europeană, Comunicarea președintelui și a doamnei Schreyer către Comisie, „Evaluation
  standards and good practice” (Standarde și bune practici de evaluare), C(2002) 5267, 23.12.2002.

41

Responding to strategic needs: reinforcing the use of evaluation

Evaluation

standards and good practice

(42)  14 direcții generale dispun de astfel de manuale de evaluare pentru domeniile de politici și programele aflate sub responsabilitatea lor [Comisia Europeană, DG Buget – Unitatea de evaluare, „Overview of Evaluation Guides in the Commission” (Trecere în revistă a ghidurilor de evaluare din cadrul Comisiei), octombrie 2004].

42

Overview of Evaluation Guides in the Commission

(43)  Fahrenkrog, G. et al, RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; „Assessing the Socio-economic Impacts of the Framework Programme”; University of Manchester; 2002.

43

et al

RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies

et al

Assessing the Socio-economic Impacts of the Framework Programme

(44)  Deși Comisia dispune, în general, de astfel de informații privind participanții, de multe ori se întâmplă ca acestea să nu poată fi utilizate în scopul unei analize aprofundate, deoarece datele privind un participant dat nu sunt înscrise într-un singur loc și nici nu sunt neapărat înregistrate în formate compatibile. Aceasta face dificilă urmărirea implicării participantului în decursul timpului, cum ar fi evaluarea motivelor neparticipării sau a relațiilor dintre participanți, de exemplu, în vederea studierii efectelor colaborării în rețea (a se vedea punctul 84).

44

(45)  Raportul anual privind exercițiul financiar 2006, tabelul 2.3; Raportul anual privind exercițiul financiar 2005, punctul 7.13; Raportul anual privind exercițiul financiar 2004, punctele 6.8 și 6.10; Raportul anual privind exercițiul financiar 2003, punctele 6.9 și 6.70; Raportul special nr. 1/2004, punctele 105-108; Avizul nr. 1/2006 privind propunerea de regulament al Parlamentului European și al Consiliului de stabilire a normelor de participare a întreprinderilor, a centrelor de cercetare și a universităților la punerea în aplicare a celui de Al șaptelea program-cadru al Comunității Europene și a normelor de difuzare a rezultatelor activităților de cercetare (2007-2013) (JO C 203, 25.8.2006), punctul 57.

45

(46)  Tratatul de instituire a Comunității Europene, articolul 173: „La începutul fiecărui an, Comisia prezintă un raport Parlamentului European și Consiliului. Acest raport privește, în special, activitățile desfășurate în materie de cercetare și de dezvoltare tehnologică și de propagare a rezultatelor în cursul anului precedent, precum și programul de lucru pe anul în curs.”

46

(47)  Nu s-a întreprins nicio tentativă sistematică de a colecta date de la participanți după finalizarea unui proiect, cu excepția sondajelor specifice desfășurate în cadrul evaluărilor. Recurgerea la astfel de sondaje a fost îngreunată de faptul că nu există nicio prevedere juridică care să îi oblige pe participanți să furnizeze astfel de date analitice, spre deosebire de cazul anumitor programe naționale de CDT (din Germania, de exemplu).

47

(48)  Raportul special nr. 1/2004, punctul 94; Avizul nr. 1/2006, punctul 56.

48

(49)  Raportul anual privind exercițiul financiar 2006, punctul 7.33; Raportul anual privind exercițiul financiar 2005, punctele 7.8 și 7.29; Avizul nr. 1/2006, punctele 58-61.

49

(50)  CORDIS este singura bază de date cuprinzând informații cu privire la propuneri, proiecte și rezultate care este comună programului-cadru în ansamblu. Această bază de date acoperă mai multe perioade de programare și este accesibilă din exteriorul Comisiei. Cu toate acestea, se întâmplă adesea ca datele din CORDIS privind diversele proiecte individuale să nu mai fie actualizate după ce propunerea a fost selectată. Până la PC6 inclusiv, participanții la programele-cadru din sectoarele public sau privat nu aveau obligația de a-și face publice rezultatele [Comitetul consultativ european pentru cercetare (European Research Advisory Board – EURAB), „Scientific publication: policy on open access” (Publicarea informațiilor științifice: politica privind accesul liber), decembrie 2006].

50

European Research Advisory Board

Scientific publication: policy on open access

(51)  Hanne Foss Hansen, „Choosing evaluation models: A discussion on evaluation design” (Selectarea modelelor de evaluare: discuție privind conceperea evaluării), Evaluation (Evaluarea), vol. 11 nr. 4, 2005, paginile 447-462.

51

Choosing evaluation models: A discussion on evaluation design

Evaluation

(52)  Până la PC 6 inclusiv, nici participanții care veneau din sectorul public, nici cei din sectorul privat nu aveau obligația de a-și face publice rezultatele științifice. Comitetul consultativ european pentru cercetare a recomandat, în decembrie 2006, introducerea obligației de publicare, garantând astfel publicului accesul gratuit la cercetarea finanțată de Comunitate. Comitetul a sugerat, de asemenea, Comisiei să creeze o arhivă pe internet în care să fie publicate rezultatele proiectelor [a se vedea EURAB, „Scientific publication: policy on open access” (Publicarea informațiilor științifice: politica privind accesul liber), decembrie 2006].

52

Scientific publication: policy on open access

(53)  S-a luat notă de faptul că s-au utilizat astfel de modele cu scopul de a previziona efectele microeconomice și macroeconomice ale celui de Al șaptelea program-cadru, care este planificat [a se vedea Comisia Europeană, „Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes” (Raportul de monitorizare 2004: punerea în aplicare a activităților din cadrul CE și Euratom și a programelor specifice corespunzătoare), august 2005, paginile 23-25]. Cu toate acestea, nu există nicio dovadă care să ateste o corelație între această evaluare a impactului economic potențial al programelor-cadru și planuri privind evaluarea ex post.

53

Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes

ex post

(54)  DG Societate Informațională și Mass-media, „IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)” (Monitorizarea și evaluarea activităților de cercetare și dezvoltare tehnologică legate de tehnologiile societății informaționale: rezultate și indicatorii impactului), 2005; „Networks of innovation in information society development and deployment in Europe” (Rețelele de inovare în dezvoltarea și punerea în practică a societății informaționale în Europa), 2006.

54

IST-RTD Monitoring and Evaluation: Results and impact indicators

Networks of innovation in information society development and deployment in Europe

(55)  DG Societate Informațională și Mass-media: „ERAnets – Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area” (Rețelele din cadrul SEC: Evaluarea rețelelor de colaborare între participanții la activitățile de cercetare în domeniul tehnologiilor societății informaționale și evoluția acestor rețele până la stadiul de colaborare în cadrul Spațiului European de Cercetare), (Raport final), 2005; „Evaluation of progress towards a European Research Area for information society technologies” (Evaluarea evoluției către un Spațiu European de Cercetare în domeniul tehnologiilor societății informaționale), 2005; „Networks of innovation in information society development and deployment in Europe” (Rețelele de inovare în dezvoltarea și punerea în practică a societății informaționale în Europa), 2006.

55

ERAnets – Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area

Evaluation of progress towards a European Research Area for information society technologies

Networks of innovation in information society development and deployment in Europe

(56)  DG Societate Informațională și Mass-media, „Framework contract for Impact Assessments for research in the field of Information Society Technologies” (Contractul-cadru pentru studiile de impact privind cercetarea în domeniul tehnologiilor societății informaționale).

56

Framework contract for Impact Assessments for research in the field of Information Society Technologies

(57)  EURAB, „Recommendations on Ex-Post Impact Assessment” (Recomandări privind studiile de impact ex post), iulie 2007.

57

Recommendations on

Impact Assessment

ex post

(58)  Comisia Europeană, „Five-year Assessment of the European Union Research Framework Programmes, 1999-2003” (Evaluarea cincinală a programelor-cadru de cercetare ale Uniunii Europene, 1999-2003). Raport al Grupului de experți independenți prezidat de Erkki Ormala (15 decembrie 2004), anexa 1.

58

Five-year Assessment of the European Union Research Framework Programmes, 1999-2003

(59)  Comisia Europeană, „The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report” (Impactul politicii comunitare de cercetare și dezvoltare asupra mediului științific și tehnologic european; raport final de sinteză privind studiile naționale de impact) (1995).

59

The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report

(60)  Comisia Europeană, „Design of an harmonized impact study methodology for the R&D EU Framework Programmes” (Conceperea unei metodologii armonizate de realizare a studiilor de impact pentru programele-cadru de cercetare și dezvoltare ale Uniunii Europene), 1992.

60

Design of an harmonized impact study methodology for the R&D EU Framework Programmes

(61)  Comisia Europeană, document de lucru al serviciilor Comisiei, „The European Research Area: new perspectives” (Spațiul European de Cercetare: perspective noi), SEC(2007) 412/2, 4 aprilie 2007, punctul 3.3.3, „ERA and the implications for evidence-based monitoring and evaluation” (SEC și implicațiile pentru monitorizarea și evaluarea pe baza datelor concrete), p. 93.

61

The European Research Area: new perspectives

ERA and the implications for evidence-based monitoring and evaluation

(62)  Trebuie să se țină seama de faptul că acordurile de subvenționare pentru proiecte se semnează de-a lungul întregii perioade de programare. Primele acorduri intră în vigoare în general la sfârșitul primului an al unui program. Durata acestor acorduri este de cele mai multe ori între trei și cinci ani, prin urmare nu se pot preconiza realizări finale mai devreme de patru-șase ani.

62

Sursa: Curtea de Conturi Europeană

Sursa:

(63)  Comisia Europeană, „Five year assessment of the European Union Research Framework Programmes, 1999-2003” (Evaluarea cincinală a programelor-cadru de cercetare ale Uniunii Europene, 1999-2003); raportul Grupului de experți independenți prezidat de Erkki Ormala (15 decembrie 2004): secțiunea 6, „Evaluating the Framework Programme” (Evaluarea programului-cadru), p. 19.

63

Five year assessment of the European Union Research Framework Programmes

Evaluating the Framework Programme

(64)  Comisia Europeană, „Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies” sau „EPUB Toolbox” (Setul de instrumente de evaluare: evaluarea impactului socioeconomic al politicilor de cercetare și dezvoltare tehnologică), publicat de Centrul Comun de Cercetare (CCC) – Institutul de studii tehnologice prospective (ISTP) și Joanneum Research (august 2002), Executive Summary (Sinteză), p. 9 și 12.

64

Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies

EPUB Toolbox

Joanneum Research

Executive Summary

(65)  Comisia Europeană, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI” (Evaluarea eficacității noilor instrumente ale celui de Al șaselea program-cadru), 21 iunie 2004, raportul Grupului de experți la nivel înalt prezidat de prof. Ramon Marimón, p. 20.

65

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(66)  European Policy Evaluation Consortium (EPEC) (Consorțiul pentru evaluarea politicilor europene), Technopolis France, „Study on the use of evaluation results in the Commission: Final report” (Studiu privind utilizarea rezultatelor evaluărilor în cadrul Comisiei), Dossier
  No 1
  Synthesis report and annexes (Dosarul nr. 1 Raport de sinteză și anexe), mai 2005.

66

European Policy Evaluation Consortium

Study on the use of evaluation results in the Commission: Final report

Dossier

No

Synthesis report and annexes

(67)  Gradul mai ridicat de satisfacție exprimat de către respondenții din partea CREST, care sunt adesea membri și în cadrul comitetelor responsabile de programe, se poate explica prin prisma rolului oficial pe care îl joacă aceștia în monitorizarea punerii în aplicare a programelor.

67

(68)  Comisia Europeană, document de lucru al serviciilor Comisiei, Annual Evaluation Review 2004 – Overview of the Commission's evaluation findings and activities (Raport anual de evaluare 2004 – Prezentare generală a activităților de evaluare ale Comisiei și a constatărilor rezultate în urma acestora), SEC(2005) 587, 28 aprilie 2005.

68

Annual Evaluation Review 2004 – Overview of the Commission's evaluation findings and activities

(69)  Comisia Europeană, DG Buget, Comunicarea doamnei Grybauskaitė, în acord cu președintele, către Comisie, „Responding to strategic needs: reinforcing the use of evaluation” (Satisfacerea nevoilor strategice: utilizarea sporită a evaluării), SEC(2007) 213, 21 februarie 2007, p. 4.

69

Responding to strategic needs: reinforcing the use of evaluation

---

ANEXA I

MĂSURAREA IMPACTULUI ȘI A REZULTATELOR INTERVENȚIEI PUBLICE ÎN DOMENIUL CERCETĂRII ȘI DEZVOLTĂRII TEHNOLOGICE

În continuare sunt prezentate câteva dintre principalele dificultăți metodologice de măsurare a impactului și a rezultatelor intervenției publice în domeniul cercetării și dezvoltării tehnologice:

| — | „Problemele legate de atribuire”: Problemele de atribuire se fac simțite în cazul evaluărilor și al măsurării performanțelor. Ele sunt în strânsă legătură cu noțiunea de „adiționalitate”, care urmărește să stabilească dacă schimbările nu s-ar fi produs și în absența intervenției. Un număr mare de factori externi își lasă și ei amprenta asupra dificultății de a atribui rezultatele unei intervenții publice date, printre aceștia numărându-se efectele altor politici sau ale altor programe, modificările survenite în cadrul juridic, schimbările produse în societate etc. În plus, în domeniul cercetării, neatingerea rezultatelor scontate poate constitui la fel de bine un succes. Situația este complicată și mai mult de dificultatea vădită de a atribui realizările activităților de cercetare, ca să nu mai vorbim de efecte și impacturi, unor aspecte anumite ale procesului de cercetare și dezvoltare tehnologică sau chiar unor anumite entități individuale implicate în activitatea de cercetare. |
| --- | --- |

—

„Problemele legate de atribuire”: Problemele de atribuire se fac simțite în cazul evaluărilor și al măsurării performanțelor. Ele sunt în strânsă legătură cu noțiunea de „adiționalitate”, care urmărește să stabilească dacă schimbările nu s-ar fi produs și în absența intervenției. Un număr mare de factori externi își lasă și ei amprenta asupra dificultății de a atribui rezultatele unei intervenții publice date, printre aceștia numărându-se efectele altor politici sau ale altor programe, modificările survenite în cadrul juridic, schimbările produse în societate etc. În plus, în domeniul cercetării, neatingerea rezultatelor scontate poate constitui la fel de bine un succes. Situația este complicată și mai mult de dificultatea vădită de a atribui realizările activităților de cercetare, ca să nu mai vorbim de efecte și impacturi, unor aspecte anumite ale procesului de cercetare și dezvoltare tehnologică sau chiar unor anumite entități individuale implicate în activitatea de cercetare.

| — | „Problemele legate de măsurare”:







  — | „Disponibilitatea datelor”: În general, majoritatea datelor disponibile, în special datele colectate prin intermediul sistemelor de monitorizare, se referă mai curând la mijloacele puse în aplicare și la realizările activităților de cercetare și dezvoltare tehnologică decât la efectele sau impacturile acestora. |
| --- | --- | --- |

—

„Problemele legate de măsurare”:

—

„Disponibilitatea datelor”: În general, majoritatea datelor disponibile, în special datele colectate prin intermediul sistemelor de monitorizare, se referă mai curând la mijloacele puse în aplicare și la realizările activităților de cercetare și dezvoltare tehnologică decât la efectele sau impacturile acestora.

| — | „Înțelegerea dinamicii”: Dată fiind dificultatea vădită de a identifica modelul relațiilor cauzale dintre mijloacele puse în aplicare și realizări, nu se pot cunoaște cu claritate mecanismele interne ale procesului de cercetare și, în lipsa unei logici de intervenție explicite, procesul însuși este perceput cel mai adesea ca o „cutie neagră”. |
| --- | --- |

—

„Înțelegerea dinamicii”: Dată fiind dificultatea vădită de a identifica modelul relațiilor cauzale dintre mijloacele puse în aplicare și realizări, nu se pot cunoaște cu claritate mecanismele interne ale procesului de cercetare și, în lipsa unei logici de intervenție explicite, procesul însuși este perceput cel mai adesea ca o „cutie neagră”.

| — | „Comparabilitatea rezultatelor”: Măsura în care se poate realiza o comparație a rezultatelor între diferite domenii științifice este limitată, astfel încât rezultatele ar trebui, în general, interpretate în contextul programelor și al subprogramelor specifice. În plus, evaluarea rezultatelor este mai greu de realizat pentru cercetarea fundamentală decât pentru cercetarea aplicată sau pentru dezvoltarea tehnologică, motivul principal fiind că cercetarea fundamentală constă în general în proceduri unice și nereproductibile. Rezultatele variază semnificativ chiar și în domeniul cercetării aplicate și, prin urmare, nu se pretează ușor la comparații. |
| --- | --- |

—

„Comparabilitatea rezultatelor”: Măsura în care se poate realiza o comparație a rezultatelor între diferite domenii științifice este limitată, astfel încât rezultatele ar trebui, în general, interpretate în contextul programelor și al subprogramelor specifice. În plus, evaluarea rezultatelor este mai greu de realizat pentru cercetarea fundamentală decât pentru cercetarea aplicată sau pentru dezvoltarea tehnologică, motivul principal fiind că cercetarea fundamentală constă în general în proceduri unice și nereproductibile. Rezultatele variază semnificativ chiar și în domeniul cercetării aplicate și, prin urmare, nu se pretează ușor la comparații.

| — | „Agregarea”: Este dificil ca pe baza rezultatelor evaluărilor să se tragă concluzii, relevante pentru nivelul imediat superior, cu privire la realizările, efectele și impacturile obținute la un nivel inferior (de exemplu, atunci când se realizează agregarea rezultatelor proiectelor, într-o primă fază pentru grupurile de proiecte, într-o a doua fază pentru domeniile cuprinse într-un program și, în final, la nivelul programului propriu-zis). |
| --- | --- |

—

„Agregarea”: Este dificil ca pe baza rezultatelor evaluărilor să se tragă concluzii, relevante pentru nivelul imediat superior, cu privire la realizările, efectele și impacturile obținute la un nivel inferior (de exemplu, atunci când se realizează agregarea rezultatelor proiectelor, într-o primă fază pentru grupurile de proiecte, într-o a doua fază pentru domeniile cuprinse într-un program și, în final, la nivelul programului propriu-zis).

| — | „Caracterul adecvat al indicatorilor”: Un alt aspect care merită studiat este dacă elementele pe care le măsoară evaluatorii sunt corect alese. Indicatorii trebuie să fie ușor de măsurat și dificil de denaturat și să aibă capacitatea de a induce comportamentul corect. Cu toate acestea, un indicator „măsurabil” conceput pentru realizări nu permite neapărat formularea unor concluzii privind efectele sau impacturile. |
| --- | --- |

—

„Caracterul adecvat al indicatorilor”: Un alt aspect care merită studiat este dacă elementele pe care le măsoară evaluatorii sunt corect alese. Indicatorii trebuie să fie ușor de măsurat și dificil de denaturat și să aibă capacitatea de a induce comportamentul corect. Cu toate acestea, un indicator „măsurabil” conceput pentru realizări nu permite neapărat formularea unor concluzii privind efectele sau impacturile.

| — | „Problemele legate de stabilirea momentului potrivit pentru măsurare”: Un alt obstacol este intervalul lung de timp care trebuie să se scurgă între activitatea de cercetare și generarea realizărilor și producerea efectelor pentru a permite evaluarea impactului. Este necesar ca datele să fie colectate pe parcursul unei perioade lungi de timp, astfel încât să se poată formula concluzii viabile și solide. O astfel de organizare temporală nu coincide decât rareori cu așteptările și nevoile factorilor de decizie responsabili de politici și trebuie să se facă un compromis între a formula rapid o serie de concluzii care să contribuie la elaborarea politicilor și a lăsa să treacă un interval de timp suficient în urma căruia efectele să poată deveni vizibile. |
| --- | --- |

—

„Problemele legate de stabilirea momentului potrivit pentru măsurare”: Un alt obstacol este intervalul lung de timp care trebuie să se scurgă între activitatea de cercetare și generarea realizărilor și producerea efectelor pentru a permite evaluarea impactului. Este necesar ca datele să fie colectate pe parcursul unei perioade lungi de timp, astfel încât să se poată formula concluzii viabile și solide. O astfel de organizare temporală nu coincide decât rareori cu așteptările și nevoile factorilor de decizie responsabili de politici și trebuie să se facă un compromis între a formula rapid o serie de concluzii care să contribuie la elaborarea politicilor și a lăsa să treacă un interval de timp suficient în urma căruia efectele să poată deveni vizibile.

| — | „Ideile greșite despre ce rezultate poate crea proiectul”: Evaluarea efectelor și a impacturilor proiectelor individuale din cadrul unui program trebuie să țină seama de următoarea dilemă: rezultatele tehnologice și științifice sunt în general obținute pe baza unor rezultate deja obținute anterior. În mod similar, înainte să aibă loc publicarea și exploatarea rezultatelor științifice, rezultatele proiectului pot fi utilizate de către participant pentru alte lucrări. Prin urmare, un proiect nu este neapărat, în sine, cadrul optim de evaluare, în special pentru efectele și impacturile pe termen mai lung. |
| --- | --- |

—

„Ideile greșite despre ce rezultate poate crea proiectul”: Evaluarea efectelor și a impacturilor proiectelor individuale din cadrul unui program trebuie să țină seama de următoarea dilemă: rezultatele tehnologice și științifice sunt în general obținute pe baza unor rezultate deja obținute anterior. În mod similar, înainte să aibă loc publicarea și exploatarea rezultatelor științifice, rezultatele proiectului pot fi utilizate de către participant pentru alte lucrări. Prin urmare, un proiect nu este neapărat, în sine, cadrul optim de evaluare, în special pentru efectele și impacturile pe termen mai lung.

| — | „Credibilitatea, integritatea, independența”: Calitatea unei evaluări depinde în mare măsură de gradul de implicare al evaluatorilor față de subiect, ceea ce poate antrena un compromis între înțelegere și competență, pe de o parte, și independență și obiectivitate, pe de altă parte. Calitatea depinde în egală măsură de premisele și interesele factorilor de decizie responsabili de politici, precum și de logica și obiectivele evaluării. |
| --- | --- |

—

„Credibilitatea, integritatea, independența”: Calitatea unei evaluări depinde în mare măsură de gradul de implicare al evaluatorilor față de subiect, ceea ce poate antrena un compromis între înțelegere și competență, pe de o parte, și independență și obiectivitate, pe de altă parte. Calitatea depinde în egală măsură de premisele și interesele factorilor de decizie responsabili de politici, precum și de logica și obiectivele evaluării.

---

ANEXA II

DISPOZIȚII PRIVIND MONITORIZAREA ȘI EVALUAREA ÎN DECIZIILE LEGISLATIVE PENTRU PC4-PC7

| PC4 (1995-1998)
   (1) | PC5 (1999-2002)
   (2) | PC6 (2003-2006)
   (3) | PC7 (2007-2013)
   (4) |
| --- | --- | --- | --- |
| Decizie privind programul-cadru – Consiliul și Parlamentul European |
| Decizia nr. 1110/94/CE a Parlamentului European și a Consiliului din 26 aprilie 1994 privind cel de-Al patrulea program-cadru în domeniul cercetării, al dezvoltării tehnologice și al demonstrațiilor (1994-1998): articolul 4 | Decizia nr. 182/1999/CE a Parlamentului European și a Consiliului din 22 decembrie 1998 privind cel de-Al cincilea program-cadru al Comunității Europene pentru activități de cercetare, dezvoltare tehnologică și demonstrative (1998-2002): articolele 5 și 6 | Decizia nr. 1513/2002/CE a Parlamentului European și a Consiliului din 27 iunie 2002 privind cel de-Al șaselea program-cadru al Comunității Europene pentru activități de cercetare, dezvoltare tehnologică și demonstrații, care contribuie la crearea Spațiului European de Cercetare și la inovare (2002-2006): considerentul 20, articolele 4 și 6, anexa III | Decizia nr. 1982/2006/CE a Parlamentului European și a Consiliului din 18 decembrie 2006 privind Al șaptelea program-cadru al Comunității Europene pentru activități de cercetare, de dezvoltare tehnologică și demonstrative (2007-2013): articolul 7 |
| Monitorizarea |
| — | să monitorizeze continuu și sistematic, cu ajutorul corespunzător al unor experți externi independenți, situația progreselor înregistrate în ceea ce privește atingerea obiectivelor inițiale [articolul 4 alineatul (1)] |

PC4 (1995-1998)
   (1)

PC5 (1999-2002)
   (2)

PC6 (2003-2006)
   (3)

PC7 (2007-2013)
   (4)

Decizie privind programul-cadru – Consiliul și Parlamentul European

Decizia nr. 1110/94/CE a Parlamentului European și a Consiliului din 26 aprilie 1994 privind cel de-Al patrulea program-cadru în domeniul cercetării, al dezvoltării tehnologice și al demonstrațiilor (1994-1998): articolul 4

Decizia nr. 182/1999/CE a Parlamentului European și a Consiliului din 22 decembrie 1998 privind cel de-Al cincilea program-cadru al Comunității Europene pentru activități de cercetare, dezvoltare tehnologică și demonstrative (1998-2002): articolele 5 și 6

Decizia nr. 1513/2002/CE a Parlamentului European și a Consiliului din 27 iunie 2002 privind cel de-Al șaselea program-cadru al Comunității Europene pentru activități de cercetare, dezvoltare tehnologică și demonstrații, care contribuie la crearea Spațiului European de Cercetare și la inovare (2002-2006): considerentul 20, articolele 4 și 6, anexa III

Decizia nr. 1982/2006/CE a Parlamentului European și a Consiliului din 18 decembrie 2006 privind Al șaptelea program-cadru al Comunității Europene pentru activități de cercetare, de dezvoltare tehnologică și demonstrative (2007-2013): articolul 7

Monitorizarea

—

să monitorizeze continuu și sistematic, cu ajutorul corespunzător al unor experți externi independenți, situația progreselor înregistrate în ceea ce privește atingerea obiectivelor inițiale [articolul 4 alineatul (1)]

| — | să monitorizeze continuu și sistematic, în fiecare an, cu ajutorul experților independenți calificați, punerea în aplicare a programului-cadru și a programelor specifice ale acestuia, din perspectiva criteriilor precizate în anexa I și a obiectivelor științifice și tehnologice precizate în anexa II [articolul 5 alineatul (1)] |
| --- | --- |

—

să monitorizeze continuu și sistematic, în fiecare an, cu ajutorul experților independenți calificați, punerea în aplicare a programului-cadru și a programelor specifice ale acestuia, din perspectiva criteriilor precizate în anexa I și a obiectivelor științifice și tehnologice precizate în anexa II [articolul 5 alineatul (1)]

| — | să monitorizeze continuu și sistematic [în fiecare an], cu ajutorul experților independenți calificați, punerea în aplicare a programului-cadru și a programelor specifice ale acestuia [articolul 4 și articolul 6 alineatul (1)] |
| --- | --- |

—

să monitorizeze continuu și sistematic [în fiecare an], cu ajutorul experților independenți calificați, punerea în aplicare a programului-cadru și a programelor specifice ale acestuia [articolul 4 și articolul 6 alineatul (1)]

| — | să monitorizeze continuu și sistematic punerea în aplicare a programului-cadru și a programelor specifice ale acestuia [articolul 7 alineatul (1)] |
| --- | --- |

—

să monitorizeze continuu și sistematic punerea în aplicare a programului-cadru și a programelor specifice ale acestuia [articolul 7 alineatul (1)]

| — | să evalueze dacă obiectivele, prioritățile și resursele financiare sunt în continuare adecvate situației curente și, dacă nu sunt, să prezinte propuneri privind modalitatea de adaptare sau de completare a programului-cadru și/sau a programelor specifice [articolul 5 alineatul (1)] |
| --- | --- |

—

să evalueze dacă obiectivele, prioritățile și resursele financiare sunt în continuare adecvate situației curente și, dacă nu sunt, să prezinte propuneri privind modalitatea de adaptare sau de completare a programului-cadru și/sau a programelor specifice [articolul 5 alineatul (1)]

| — | să evalueze regulat toate activitățile de cercetare, ceea ce va implica, în special, monitorizarea nivelului de excelență al cercetării (anexa III punctul 1, Instrumente) |
| --- | --- |

—

să evalueze regulat toate activitățile de cercetare, ceea ce va implica, în special, monitorizarea nivelului de excelență al cercetării (anexa III punctul 1, Instrumente)

| — | să raporteze în mod regulat și să disemineze rezultatele acestei monitorizări [articolul 7 alineatul (1)] |
| --- | --- |

—

să raporteze în mod regulat și să disemineze rezultatele acestei monitorizări [articolul 7 alineatul (1)]

Articolul 173 – Raportul anual

| — | să prezinte în detaliu progresele înregistrate în ceea ce privește punerea în aplicare a programului-cadru și în special progresele înregistrate în ceea ce privește atingerea obiectivelor și respectarea priorităților sale așa cum sunt ele prezentate la fiecare rubrică din anexa I; inclusiv informații privind aspectele financiare și utilizarea instrumentelor în contextul raportului anual pe care îl prezintă Comisia în temeiul articolului 173 din tratat (articolul 4) |
| --- | --- |

—

să prezinte în detaliu progresele înregistrate în ceea ce privește punerea în aplicare a programului-cadru și în special progresele înregistrate în ceea ce privește atingerea obiectivelor și respectarea priorităților sale așa cum sunt ele prezentate la fiecare rubrică din anexa I; inclusiv informații privind aspectele financiare și utilizarea instrumentelor în contextul raportului anual pe care îl prezintă Comisia în temeiul articolului 173 din tratat (articolul 4)

Evaluarea intermediară

| — | să examineze stadiul de desfășurare a programului-cadru la jumătatea duratei acestuia (articolul 6) |
| --- | --- |

—

să examineze stadiul de desfășurare a programului-cadru la jumătatea duratei acestuia (articolul 6)

| — | să transmită Parlamentului European și Consiliului, pe baza evaluărilor diferitelor programe specifice, o comunicare însoțită, după caz, de o propunere de adaptare a acestei decizii (articolul 6) |
| --- | --- |

—

să transmită Parlamentului European și Consiliului, pe baza evaluărilor diferitelor programe specifice, o comunicare însoțită, după caz, de o propunere de adaptare a acestei decizii (articolul 6)

| — | până în 2010, să desfășoare, cu sprijinul experților externi, o evaluare intermediară, bazată pe dovezi, a acestui program-cadru și a programelor specifice ale acestuia, pornind de la evaluarea ex post a programului-cadru precedent. Această evaluare analizează în special calitatea activităților de cercetare în desfășurare, precum și calitatea punerii în aplicare și a gestionării și progresul în vederea îndeplinirii obiectivelor stabilite [articolul 7 alineatul (2)] |
| --- | --- |

—

până în 2010, să desfășoare, cu sprijinul experților externi, o evaluare intermediară, bazată pe dovezi, a acestui program-cadru și a programelor specifice ale acestuia, pornind de la evaluarea ex post a programului-cadru precedent. Această evaluare analizează în special calitatea activităților de cercetare în desfășurare, precum și calitatea punerii în aplicare și a gestionării și progresul în vederea îndeplinirii obiectivelor stabilite [articolul 7 alineatul (2)]

| — | să transmită concluziile evaluării, însoțite de observații și, după caz, propuneri pentru adaptarea programului-cadru, Parlamentului European, Consiliului, Comitetului Economic și Social European și Comitetului Regiunilor [articolul 7 alineatul (2)] |
| --- | --- |

—

să transmită concluziile evaluării, însoțite de observații și, după caz, propuneri pentru adaptarea programului-cadru, Parlamentului European, Consiliului, Comitetului Economic și Social European și Comitetului Regiunilor [articolul 7 alineatul (2)]

| — | să informeze periodic Parlamentul European și Consiliul cu privire la stadiul general al punerii în aplicare a programului-cadru și a programelor specifice [articolul 5 alineatul (4)] |
| --- | --- |

—

să informeze periodic Parlamentul European și Consiliul cu privire la stadiul general al punerii în aplicare a programului-cadru și a programelor specifice [articolul 5 alineatul (4)]

| — | să prezinte regulat Parlamentului European și Consiliului rapoarte intermediare (de progres) referitoare la realizarea programului-cadru (considerentul 20) |
| --- | --- |

—

să prezinte regulat Parlamentului European și Consiliului rapoarte intermediare (de progres) referitoare la realizarea programului-cadru (considerentul 20)

| — | să prezinte un raport privind progresul (anterior evaluării intermediare), de îndată ce există date suficiente, care să indice concluziile inițiale cu privire la eficiența noilor acțiuni inițiate în cadrul celui de-Al șaptelea program-cadru și a eforturilor depuse pentru simplificare [articolul 7 alineatul (2)] |
| --- | --- |

—

să prezinte un raport privind progresul (anterior evaluării intermediare), de îndată ce există date suficiente, care să indice concluziile inițiale cu privire la eficiența noilor acțiuni inițiate în cadrul celui de-Al șaptelea program-cadru și a eforturilor depuse pentru simplificare [articolul 7 alineatul (2)]

| — | să dispună efectuarea, în anul 2004, de către experți independenți, a unei evaluări a eficienței fiecăruia dintre instrumente pentru realizarea acestui program (anexa III punctul 1, Instrumente) |
| --- | --- |

—

să dispună efectuarea, în anul 2004, de către experți independenți, a unei evaluări a eficienței fiecăruia dintre instrumente pentru realizarea acestui program (anexa III punctul 1, Instrumente)

Evaluarea cincinală

| — | să dispună efectuarea unei evaluări externe, cu ajutorul unor experți independenți și calificați, a gestionării și a evoluției activităților comunitare desfășurate în cursul celor cinci ani care precedă evaluarea respectivă [articolul 4 alineatul (2)] |
| --- | --- |

—

să dispună efectuarea unei evaluări externe, cu ajutorul unor experți independenți și calificați, a gestionării și a evoluției activităților comunitare desfășurate în cursul celor cinci ani care precedă evaluarea respectivă [articolul 4 alineatul (2)]

| — | să dispună efectuarea unei evaluări externe, cu ajutorul unor experți independenți cu un nivel înalt de calificare, a punerii în aplicare și a rezultatelor activităților Comunității în cursul celor cinci ani care precedă evaluarea respectivă, din perspectiva criteriilor precizate în anexa I și a obiectivelor științifice și tehnologice prezentate în anexa II [articolul 5 alineatul (2)] |
| --- | --- |

—

să dispună efectuarea unei evaluări externe, cu ajutorul unor experți independenți cu un nivel înalt de calificare, a punerii în aplicare și a rezultatelor activităților Comunității în cursul celor cinci ani care precedă evaluarea respectivă, din perspectiva criteriilor precizate în anexa I și a obiectivelor științifice și tehnologice prezentate în anexa II [articolul 5 alineatul (2)]

| — | să dispună efectuarea unei evaluări externe, cu ajutorul unor experți independenți cu un nivel înalt de calificare, a punerii în aplicare și a rezultatelor activităților Comunității în cursul celor cinci ani care precedă evaluarea [articolul 6 alineatul (2)] [respectiv a punerii în aplicare a activităților întreprinse, ținând seama de contribuția celui de-Al șaselea program-cadru la crearea Spațiului European de Cercetare (considerentul 20)] |
| --- | --- |

—

să dispună efectuarea unei evaluări externe, cu ajutorul unor experți independenți cu un nivel înalt de calificare, a punerii în aplicare și a rezultatelor activităților Comunității în cursul celor cinci ani care precedă evaluarea [articolul 6 alineatul (2)] [respectiv a punerii în aplicare a activităților întreprinse, ținând seama de contribuția celui de-Al șaselea program-cadru la crearea Spațiului European de Cercetare (considerentul 20)]

| — | să transmită Parlamentului European, Consiliului și Comitetului Economic și Social această evaluare, însoțită de observațiile Comisiei, înainte de a prezenta propunerea pentru următorul program-cadru [articolul 4 alineatul (2)] |
| --- | --- |

—

să transmită Parlamentului European, Consiliului și Comitetului Economic și Social această evaluare, însoțită de observațiile Comisiei, înainte de a prezenta propunerea pentru următorul program-cadru [articolul 4 alineatul (2)]

| — | să transmită Parlamentului European, Consiliului, Comitetului Economic și Social și Comitetului Regiunilor această evaluare, însoțită de observațiile Comisiei, înainte de a prezenta propunerea pentru următorul program-cadru [articolul 5 alineatul (2)] |
| --- | --- |

—

să transmită Parlamentului European, Consiliului, Comitetului Economic și Social și Comitetului Regiunilor această evaluare, însoțită de observațiile Comisiei, înainte de a prezenta propunerea pentru următorul program-cadru [articolul 5 alineatul (2)]

| — | să comunice Parlamentului European, Consiliului, Comitetului Economic și Social și Comitetului Regiunilor concluziile evaluării, însoțite de observațiile Comisiei [articolul 6 alineatul (2)], în timp util și înainte de a prezenta propunerea pentru următorul program-cadru (considerentul 20) |
| --- | --- |

—

să comunice Parlamentului European, Consiliului, Comitetului Economic și Social și Comitetului Regiunilor concluziile evaluării, însoțite de observațiile Comisiei [articolul 6 alineatul (2)], în timp util și înainte de a prezenta propunerea pentru următorul program-cadru (considerentul 20)

Evaluarea finală

[a se vedea Decizia privind programul specific]

| — | să realizeze o evaluare externă, efectuată de experți independenți, după doi ani de la încheierea celui de-Al șaptelea program-cadru (adică 2015), a rațiunii, a punerii în aplicare și a rezultatelor acestui program [articolul 7 alineatul (3)] |
| --- | --- |

—

să realizeze o evaluare externă, efectuată de experți independenți, după doi ani de la încheierea celui de-Al șaptelea program-cadru (adică 2015), a rațiunii, a punerii în aplicare și a rezultatelor acestui program [articolul 7 alineatul (3)]

| — | să transmită concluziile însoțite de observații Parlamentului European, Consiliului, Comitetului Economic și Social European și Comitetului Regiunilor [articolul 7 alineatul (3)] |
| --- | --- |

—

să transmită concluziile însoțite de observații Parlamentului European, Consiliului, Comitetului Economic și Social European și Comitetului Regiunilor [articolul 7 alineatul (3)]

Experții independenți

| — | să se asigure că la selectarea experților independenți se ține seama, într-un mod echilibrat, de diferite medii științifice, de întreprinderi și de utilizatori și, după numirea experților, să le publice numele și calificările individuale [articolul 5 alineatul (3)]
  [pentru alte dispoziții privind experții independenți, a se vedea Decizia 1999/65/CE a Consiliului, articolul 9] |
| --- | --- |

—

să se asigure că la selectarea experților independenți se ține seama, într-un mod echilibrat, de diferite medii științifice, de întreprinderi și de utilizatori și, după numirea experților, să le publice numele și calificările individuale [articolul 5 alineatul (3)]

[pentru alte dispoziții privind experții independenți, a se vedea Decizia 1999/65/CE a Consiliului, articolul 9]

| — | Comisia desemnează experți independenți pentru a acorda asistență la evaluarea necesară în conformitate cu cel de-Al șaselea program-cadru și programele specifice, precum și pentru asistența prevăzută la articolul 10 alineatul (6) și articolul 18 alineatul (1) al doilea paragraf. |
| --- | --- |

—

Comisia desemnează experți independenți pentru a acorda asistență la evaluarea necesară în conformitate cu cel de-Al șaselea program-cadru și programele specifice, precum și pentru asistența prevăzută la articolul 10 alineatul (6) și articolul 18 alineatul (1) al doilea paragraf.

| — | În plus, Comisia poate constitui grupuri de experți independenți care să ofere consiliere privind punerea în aplicare a politicii de cercetare comunitare. |
| --- | --- |

—

În plus, Comisia poate constitui grupuri de experți independenți care să ofere consiliere privind punerea în aplicare a politicii de cercetare comunitare.

| — | [pentru dispozițiile privind experții independenți, a se vedea Regulamentul (CE) nr. 2321/2002, articolul 11] |
| --- | --- |

—

[pentru dispozițiile privind experții independenți, a se vedea Regulamentul (CE) nr. 2321/2002, articolul 11]

Exemplu de o decizie privind un program specific – Consiliu

Decizia 94/801/CE a Consiliului din 23 noiembrie 1994: articolul 4

Decizia 1999/168/CE a Consiliului din 25 ianuarie 1999: articolele 4 și 6

Deciziile 2002/834/CE și 2002/835/CE ale Consiliului din 30 septembrie 2002 – articolul 8

Decizia 2006/971/CE a Consiliului din 19 decembrie 2006 privind programul specific „Cooperare”: articolul 8

Monitorizarea

| — | să monitorizeze continuu și sistematic, cu ajutorul corespunzător al unor experți externi independenți, evoluția programului [articolul 4 alineatul (1)] |
| --- | --- |

—

să monitorizeze continuu și sistematic, cu ajutorul corespunzător al unor experți externi independenți, evoluția programului [articolul 4 alineatul (1)]

| — | să monitorizeze, cu ajutorul corespunzător al unor experți externi independenți, punerea în aplicare a programului specific și, după caz, să prezinte Consiliului propuneri de adaptare a acestuia, în conformitate cu articolul 5 alineatul (1) din Decizia privind PC5 [articolul 4 litera (a)] |
| --- | --- |

—

să monitorizeze, cu ajutorul corespunzător al unor experți externi independenți, punerea în aplicare a programului specific și, după caz, să prezinte Consiliului propuneri de adaptare a acestuia, în conformitate cu articolul 5 alineatul (1) din Decizia privind PC5 [articolul 4 litera (a)]

| — | să dispună efectuarea monitorizării și a evaluării independente, prevăzute la articolul 6 din Decizia privind PC6, a activităților acoperite de programul specific [articolul 8 alineatul (2)] |
| --- | --- |

—

să dispună efectuarea monitorizării și a evaluării independente, prevăzute la articolul 6 din Decizia privind PC6, a activităților acoperite de programul specific [articolul 8 alineatul (2)]

| — | să asigure monitorizarea, evaluarea și reexaminarea în mod independent, prevăzute la articolul 7 din programul-cadru, a activităților desfășurate în domeniile reglementate de programul specific (articolul 9) |
| --- | --- |

—

să asigure monitorizarea, evaluarea și reexaminarea în mod independent, prevăzute la articolul 7 din programul-cadru, a activităților desfășurate în domeniile reglementate de programul specific (articolul 9)

| — | informațiile de monitorizare care trebuie să fie furnizate de către Comisie comitetului de program, în conformitate cu articolul 8 alineatul (4), sunt specificate în anexa V |
| --- | --- |

—

informațiile de monitorizare care trebuie să fie furnizate de către Comisie comitetului de program, în conformitate cu articolul 8 alineatul (4), sunt specificate în anexa V

Articolul 173 – Raportul anual

| — | să prezinte regulat rapoarte referitoare la punerea în aplicare a programului specific, inclusiv informații privind aspectele financiare și utilizarea instrumentelor, în conformitate cu articolul 4 din Decizia privind PC6 [articolul 8 alineatul (1)] |
| --- | --- |

—

să prezinte regulat rapoarte referitoare la punerea în aplicare a programului specific, inclusiv informații privind aspectele financiare și utilizarea instrumentelor, în conformitate cu articolul 4 din Decizia privind PC6 [articolul 8 alineatul (1)]

| — | să includă rezultatele principale în ceea ce privește [mecanismul de finanțare cu împărțirea riscului] în raportul anual privind activitățile de cercetare și dezvoltare tehnologică pe care îl va trimite Parlamentului European și Consiliului în conformitate cu articolul 173 din tratat (anexa III) |
| --- | --- |

—

să includă rezultatele principale în ceea ce privește [mecanismul de finanțare cu împărțirea riscului] în raportul anual privind activitățile de cercetare și dezvoltare tehnologică pe care îl va trimite Parlamentului European și Consiliului în conformitate cu articolul 173 din tratat (anexa III)

Evaluarea cincinală

| — | să dispună efectuarea unei evaluări externe, cu ajutorul unor experți independenți și calificați, a activităților desfășurate în domeniile acoperite de program, precum și a gestionării acestora, din cursul celor cinci ani care precedă evaluarea respectivă [articolul 4 alineatul (2)] |
| --- | --- |

—

să dispună efectuarea unei evaluări externe, cu ajutorul unor experți independenți și calificați, a activităților desfășurate în domeniile acoperite de program, precum și a gestionării acestora, din cursul celor cinci ani care precedă evaluarea respectivă [articolul 4 alineatul (2)]

| — | să dispună efectuarea evaluării externe, prevăzută la articolul 5 alineatul (2) din Decizia privind PC5, a activităților desfășurate în domeniile acoperite de programul specific [articolul 4 litera (b)] |
| --- | --- |

—

să dispună efectuarea evaluării externe, prevăzută la articolul 5 alineatul (2) din Decizia privind PC5, a activităților desfășurate în domeniile acoperite de programul specific [articolul 4 litera (b)]

Evaluarea finală

| — | să furnizeze, la încheierea fiecărui program specific, o evaluare finală independentă a rezultatelor obținute, în raport cu obiectivele [articolul 4 alineatul (3)] |
| --- | --- |

—

să furnizeze, la încheierea fiecărui program specific, o evaluare finală independentă a rezultatelor obținute, în raport cu obiectivele [articolul 4 alineatul (3)]

| — | să transmită această evaluare Parlamentului European, Consiliului și Comitetului Economic și Social [articolul 4 alineatul (3)] |
| --- | --- |

—

să transmită această evaluare Parlamentului European, Consiliului și Comitetului Economic și Social [articolul 4 alineatul (3)]

Experții independenți

| — | să stabilească mandatul pentru evaluarea externă prevăzută la articolul 5 alineatul (2) din Decizia privind PC5 [articolul 6 alineatul (2)] |
| --- | --- |

—

să stabilească mandatul pentru evaluarea externă prevăzută la articolul 5 alineatul (2) din Decizia privind PC5 [articolul 6 alineatul (2)]

Informații fundamentale privind structura programului-cadru

| — | PC4 (CE): 7 programe specifice, care cuprind 17 subprograme, plus două grupuri de activități |
| --- | --- |

—

PC4 (CE): 7 programe specifice, care cuprind 17 subprograme, plus două grupuri de activități

| — | PC5 (CE): 7 programe specifice, dintre care 4 sunt programe tematice și 3 sunt programe orizontale |
| --- | --- |

—

PC5 (CE): 7 programe specifice, dintre care 4 sunt programe tematice și 3 sunt programe orizontale

| — | PC6 (CE): 20 de programe, dintre care 10 regrupate în 7 priorități tematice și 4 programe care se referă la activitățile de cercetare transversale, în cadrul programului specific „Concentrarea și integrarea cercetărilor comunitare”. Programul specific „Structurarea Spațiului European de Cercetare” reprezintă 4 programe, iar programul specific „Consolidarea bazelor Spațiului European de Cercetare” reprezintă două programe specifice |
| --- | --- |

—

PC6 (CE): 20 de programe, dintre care 10 regrupate în 7 priorități tematice și 4 programe care se referă la activitățile de cercetare transversale, în cadrul programului specific „Concentrarea și integrarea cercetărilor comunitare”. Programul specific „Structurarea Spațiului European de Cercetare” reprezintă 4 programe, iar programul specific „Consolidarea bazelor Spațiului European de Cercetare” reprezintă două programe specifice

| — | PC7 (CE): 24 de subprograme specifice, dintre care 10 sunt regrupate în programul specific „Cooperare”, unul se referă la programul specific „Idei”, 5 subprograme se referă la programul specific „Oameni” și 8 subprograme se referă la programul specific „Capacități” (unul dintre acestea este destinat activităților nenucleare ale CCC) |
| --- | --- |

—

PC7 (CE): 24 de subprograme specifice, dintre care 10 sunt regrupate în programul specific „Cooperare”, unul se referă la programul specific „Idei”, 5 subprograme se referă la programul specific „Oameni” și 8 subprograme se referă la programul specific „Capacități” (unul dintre acestea este destinat activităților nenucleare ale CCC)

| — | Buget total (CE): 11 046 de milioane de euro (sau 2 761 de milioane de euro pe an) |
| --- | --- |

—

Buget total (CE): 11 046 de milioane de euro (sau 2 761 de milioane de euro pe an)

| — | Buget total (CE): 13 700 de milioane de euro (sau 3 425 de milioane de euro pe an; +24 %) |
| --- | --- |

—

Buget total (CE): 13 700 de milioane de euro (sau 3 425 de milioane de euro pe an; +24 %)

| — | Buget total (CE): 16 270 de milioane de euro (sau 4 061 de milioane de euro pe an; +19 %) după extinderea la UE-25, a crescut la |
| --- | --- |

—

Buget total (CE): 16 270 de milioane de euro (sau 4 061 de milioane de euro pe an; +19 %) după extinderea la UE-25, a crescut la

| — | Buget total (CE): 17 883 de milioane de euro (sau 4 447 de milioane de euro pe an; +10 %) |
| --- | --- |

—

Buget total (CE): 17 883 de milioane de euro (sau 4 447 de milioane de euro pe an; +10 %)

| — | Buget total (CE): 50 521 de milioane de euro (sau 7 217 milioane de euro pe an;+62 %) |
| --- | --- |

—

Buget total (CE): 50 521 de milioane de euro (sau 7 217 milioane de euro pe an;+62 %)

| — | 7 direcții generale: Cercetare, Societate Informațională, Energie, Transport, Pescuit, Agricultură, Întreprinderi |
| --- | --- |

—

7 direcții generale: Cercetare, Societate Informațională, Energie, Transport, Pescuit, Agricultură, Întreprinderi

| — | 5 direcții generale: Cercetare, Societate Informațională, Energie și Transport, Pescuit, Întreprinderi |
| --- | --- |

—

5 direcții generale: Cercetare, Societate Informațională, Energie și Transport, Pescuit, Întreprinderi

| — | 4 direcții generale: Cercetare, Societate Informațională, Energie și Transport, Întreprinderi |
| --- | --- |

—

4 direcții generale: Cercetare, Societate Informațională, Energie și Transport, Întreprinderi

| — | 5 direcții generale: Cercetare, Societate Informațională și Mass-media, Energie și Transport, Întreprinderi și Industrie, Centrul Comun de Cercetare (CCC); de asemenea, „Consiliul European al Cercetării” și agenții executive |
| --- | --- |

—

5 direcții generale: Cercetare, Societate Informațională și Mass-media, Energie și Transport, Întreprinderi și Industrie, Centrul Comun de Cercetare (CCC); de asemenea, „Consiliul European al Cercetării” și agenții executive

---

(1)  PC4: Tehnologia informației și a comunicațiilor [Tehnologii și servicii avansate de comunicații (Advanced Communications Technologies and Services – ACTS); Tehnologiile informației (ESPRIT); Aplicații telematice]; Tehnologii industriale [Tehnologii industriale și tehnologia materialelor (BRITE/EURAM); Standarde, măsurări și încercări (Standards, Measurements and Testing – SMT)]; Mediu [Mediul și clima, Științe și tehnologii marine (MAST III)]; Științele și tehnologiile vieții [Biotehnologie (BIOTECH 2), Biomedicină și sănătate (BIOMED 2)], Agricultură și pescuit (FAIR), Aspecte etice, juridice și sociale [Ethical, Legal and Social Aspects (ELSA)]; Energie [Cercetare și dezvoltare (JOULE), Demonstrații (THERMIE)]; Transporturi (Programul de cercetare în domeniul transporturilor), Cercetare tematică în domeniul socioeconomic [Targeted Socio-Economic Research (TSER), Rețeaua europeană de evaluare a tehnologiei (European Technology Assessment Network – ETAN)]; Cooperarea cu țări terțe și organizații internaționale [International Cooperation (INCO)]; Difuzarea și exploatarea rezultatelor (Programul de inovare); Stimularea formării și a mobilității cercetătorilor [Training and Mobility of Researchers – TMR), Asociația bursierilor Marie Curie].

(2)  PC5: 4 programe tematice [Calitatea vieții și gestionarea resurselor vii (Calitatea vieții), Societate informațională ușor accesibilă utilizatorilor (IST), Creștere competitivă și durabilă (GROWTH), Energie, mediu și dezvoltare durabilă (Energy, environment and sustainable development – EESD)]; 3 programe orizontale [Confirmarea rolului internațional al cercetării comunitare (INCO 2), Promovarea inovării și încurajarea participării IMM-urilor (Innovation/SMEs), Îmbunătățirea potențialului uman de cercetare și a bazei de cunoștințe socioeconomice (Improving)].

(3)  PC6:„Concentrarea și integrarea cercetărilor comunitare”

| — | 7 priorități tematice care reprezintă 10 programe: Științele vieții, genomica și biotehnologii pentru sănătate (care cuprinde Genomica avansată și aplicațiile ei pentru sănătate, Combaterea bolilor majore), Tehnologiile societății informaționale, Nanotehnologiile și nanoștiințele, materialele multifuncționale bazate pe cunoaștere și noile procedee și dispozitive de producție, Aeronautica și spațiul, Calitatea și siguranța alimentelor, Dezvoltarea durabilă, schimbările la nivel global și ecosistemele (care cuprinde Sisteme energetice durabile, Transport de suprafață durabil, Schimbările la nivel global și ecosistemele), Cetățenii și guvernarea într-o societate bazată pe cunoaștere; |
| --- | --- |

—

7 priorități tematice care reprezintă 10 programe: Științele vieții, genomica și biotehnologii pentru sănătate (care cuprinde Genomica avansată și aplicațiile ei pentru sănătate, Combaterea bolilor majore), Tehnologiile societății informaționale, Nanotehnologiile și nanoștiințele, materialele multifuncționale bazate pe cunoaștere și noile procedee și dispozitive de producție, Aeronautica și spațiul, Calitatea și siguranța alimentelor, Dezvoltarea durabilă, schimbările la nivel global și ecosistemele (care cuprinde Sisteme energetice durabile, Transport de suprafață durabil, Schimbările la nivel global și ecosistemele), Cetățenii și guvernarea într-o societate bazată pe cunoaștere;

| — | activități de cercetare transversală care vizează un domeniu de cercetare mai vast, reprezentând 4 programe: Susținerea politicilor și anticiparea nevoilor de ordin științific și tehnologic, Activități de cercetare pe orizontală care implică IMM-uri, Măsuri specifice de susținere a cooperării internaționale; Activități nenucleare ale Centrului Comun de Cercetare; „Structurarea Spațiului European de Cercetare”, care reprezintă 4 programe: Cercetare și inovare, Resurse umane, Infrastructuri de cercetare, Știința și societatea; „Consolidarea bazelor Spațiului European de Cercetare”, care reprezintă 2 programe: Susținerea coordonării activităților, Susținerea dezvoltării coerente a diferitelor politici. |
| --- | --- |

—

activități de cercetare transversală care vizează un domeniu de cercetare mai vast, reprezentând 4 programe: Susținerea politicilor și anticiparea nevoilor de ordin științific și tehnologic, Activități de cercetare pe orizontală care implică IMM-uri, Măsuri specifice de susținere a cooperării internaționale; Activități nenucleare ale Centrului Comun de Cercetare; „Structurarea Spațiului European de Cercetare”, care reprezintă 4 programe: Cercetare și inovare, Resurse umane, Infrastructuri de cercetare, Știința și societatea; „Consolidarea bazelor Spațiului European de Cercetare”, care reprezintă 2 programe: Susținerea coordonării activităților, Susținerea dezvoltării coerente a diferitelor politici.

(4)  PC7: Programul specific „Cooperare”, care reprezintă 10 subprograme [Sănătate; Alimentație, agricultură și biotehnologie; Tehnologia informației și a comunicațiilor; Nanoștiințe, nanotehnologii, materiale și tehnologii noi de producție; Energie; Protecția mediului (inclusiv schimbările climatice); Transporturi (inclusiv aeronautică); Științe socioeconomice și umaniste; Securitate; Spațiu], programul specific „Idei”, care reprezintă un subprogram (Consiliul European al Cercetării), programul specific „Oameni”, care reprezintă 5 subprograme (Formarea inițială; Formarea continuă; Întreprinderi – mediul universitar; Dimensiunea internațională; Acțiuni specifice), programul specific „Capacități”, care reprezintă 8 subprograme [Infrastructurile de cercetare; Cercetare în beneficiul IMM-urilor; Regiuni de cunoaștere, Potențialul de cercetare; Știința în societate; Dezvoltarea coerentă a politicilor de cercetare; Cooperarea internațională; „Activitățile nenucleare ale Centrului Comun de Cercetare (CCC)”].

---

ANEXA III

PRINCIPALELE DIFERENȚE DE EVALUARE EX POST A PROGRAMELOR DE CERCETARE ÎNTRE UE (PC4-PC6), SUA ȘI CANADA

| | UE (PC4-PC6) | SUA | Canada |
| --- | --- | --- | --- |
| Aspecte sistemice |
| Logica de intervenție | nu este explicită | în general pusă în aplicare, cerută implicit în cadrul PART (1) | cerută în cadrul RMAF (2) pentru formularea propunerii de program |
| Strategia de evaluare | nu este atotcuprinzătoare | cerută în cadrul PART (1) | cerută în cadrul RMAF (2) pentru formularea propunerii de program |
| Precizarea rezultatelor scontate | nu | cerută în cadrul PART (1) (inclusiv utilizarea de indicatori cuantificabili) | cerută în cadrul RMAF (2) pentru formularea propunerii de program |
| Adresarea întrebărilor în vederea evaluării se face de către | Comisie, în calitate de gestionar al programului | agenție, în calitate de gestionar al programului (se evaluează în cadrul OMB) | agenție, în calitate de gestionar al programului
  (se evaluează în cadrul TBS) |
| Aspecte organizatorice |
| Etapa de concepție | în cursul perioadei de programare | în cursul perioadei de programare | finalizată înainte de demararea programului |
| Recurgerea la comisii de evaluare | comisii ad hoc pentru exerciții de evaluare specifice | în funcție de agenție/program | grupuri permanente cu funcția de comitete permanente |
| Periodicitate | date fixe (în corelație cu perioada de programare, acoperind cei cinci ani anteriori) | ciclu de 2-3 ani
  (în corelație cu adoptarea bugetului) | la reînnoirea programului |

UE (PC4-PC6)

SUA

Canada

Aspecte sistemice

Logica de intervenție

nu este explicită

în general pusă în aplicare, cerută implicit în cadrul PART (1)

cerută în cadrul RMAF (2) pentru formularea propunerii de program

Strategia de evaluare

nu este atotcuprinzătoare

cerută în cadrul PART (1)

cerută în cadrul RMAF (2) pentru formularea propunerii de program

Precizarea rezultatelor scontate

nu

cerută în cadrul PART (1) (inclusiv utilizarea de indicatori cuantificabili)

cerută în cadrul RMAF (2) pentru formularea propunerii de program

Adresarea întrebărilor în vederea evaluării se face de către

Comisie, în calitate de gestionar al programului

agenție, în calitate de gestionar al programului (se evaluează în cadrul OMB)

agenție, în calitate de gestionar al programului

(se evaluează în cadrul TBS)

Aspecte organizatorice

Etapa de concepție

în cursul perioadei de programare

în cursul perioadei de programare

finalizată înainte de demararea programului

Recurgerea la comisii de evaluare

comisii ad hoc pentru exerciții de evaluare specifice

în funcție de agenție/program

grupuri permanente cu funcția de comitete permanente

Periodicitate

date fixe (în corelație cu perioada de programare, acoperind cei cinci ani anteriori)

ciclu de 2-3 ani

(în corelație cu adoptarea bugetului)

la reînnoirea programului

---

(1)  Programme Assessment Rating Tool (PART) (instrument de evaluare a programelor), începând din 2002: a se vedea Office of Management and Budget (OMB) (Biroul de administrare și al bugetului), Executive Office of the President (Cabinetul executiv al președintelui), SUA.

(2)  Results-based Management and Accountability Framework (RMAF) (Cadrul de gestiune și răspundere axat pe rezultate): a se vedea Treasury Board of Canada Secretariat (TBS) (Secretariatul Consiliului de Trezorerie al Canadei).

---

ANEXA IV

STRUCTURĂ POTENȚIALĂ A COMISIEI DE EVALUARE PENTRU PC7

Image

---

RĂSPUNSURILE COMISIEI

| I. | Programele-cadru (PC) comunitare de cercetare și dezvoltare tehnologică (CDT) au evoluat în ultimele două decenii, pentru a se transforma într-un sistem amplu, dar coerent, de mecanisme de sprijin pentru cercetătorii din cele 27 de state membre, din țările asociate și altele.
  Programele-cadru reprezintă la ora actuală cel mai vast sistem multinațional public de finanțare a cercetării din lume.
  În prezent, programul-cadru reprezintă aproximativ 5 % din totalul fondurilor publice ale UE destinate cercetării. În termeni de participare comunitară anuală, pentru PC7 aceasta va fi cu aproximativ 60 % mai mare decât pentru PC6.
  Evaluarea unui sistem atât de unic reprezintă o provocare deosebită pentru toți factorii interesați. În ultimii ani, mecanismele de evaluare și monitorizare au suferit modificări importante, cea mai recentă fiind lansarea în 2007 a PC7.
  Sistemul de evaluare și monitorizare folosit la Comisie se bazează pe responsabilitatea directă a serviciilor de punere în aplicare ale Comisiei. Anume aici este disponibil serviciul cu cel mai înalt grad de expertiză tehnică.
  Evaluările la nivelul programului-cadru sunt efectuate datorită eforturilor coordonate în cadrul tuturor direcțiilor generale (DG). |
| --- | --- |

I.

Programele-cadru (PC) comunitare de cercetare și dezvoltare tehnologică (CDT) au evoluat în ultimele două decenii, pentru a se transforma într-un sistem amplu, dar coerent, de mecanisme de sprijin pentru cercetătorii din cele 27 de state membre, din țările asociate și altele.

Programele-cadru reprezintă la ora actuală cel mai vast sistem multinațional public de finanțare a cercetării din lume.

În prezent, programul-cadru reprezintă aproximativ 5 % din totalul fondurilor publice ale UE destinate cercetării. În termeni de participare comunitară anuală, pentru PC7 aceasta va fi cu aproximativ 60 % mai mare decât pentru PC6.

Evaluarea unui sistem atât de unic reprezintă o provocare deosebită pentru toți factorii interesați. În ultimii ani, mecanismele de evaluare și monitorizare au suferit modificări importante, cea mai recentă fiind lansarea în 2007 a PC7.

Sistemul de evaluare și monitorizare folosit la Comisie se bazează pe responsabilitatea directă a serviciilor de punere în aplicare ale Comisiei. Anume aici este disponibil serviciul cu cel mai înalt grad de expertiză tehnică.

Evaluările la nivelul programului-cadru sunt efectuate datorită eforturilor coordonate în cadrul tuturor direcțiilor generale (DG).

| IV. | Comisia salută observațiile Curții, potrivit cărora direcțiile generale care pun în aplicare programele-cadru („DG-urile din domeniul cercetării”) au îndeplinit cerințele Comisiei, inclusiv pe cele specificate în comunicările privind evaluarea din anii 2000 și 2002.
  Modificări majore au fost aduse evaluării PC, inclusiv o restructurare majoră pentru PC7.
  De asemenea, Comisia consideră că:






  (i) | programele-cadru au avut întotdeauna la bază o logică de intervenție solidă. În PC7 acest lucru este menționat mai explicit, ceea ce va consolida suplimentar sistemul de evaluare și monitorizare al Comisiei; |
| --- | --- | --- |

IV.

Comisia salută observațiile Curții, potrivit cărora direcțiile generale care pun în aplicare programele-cadru („DG-urile din domeniul cercetării”) au îndeplinit cerințele Comisiei, inclusiv pe cele specificate în comunicările privind evaluarea din anii 2000 și 2002.

Modificări majore au fost aduse evaluării PC, inclusiv o restructurare majoră pentru PC7.

De asemenea, Comisia consideră că:

(i)

programele-cadru au avut întotdeauna la bază o logică de intervenție solidă. În PC7 acest lucru este menționat mai explicit, ceea ce va consolida suplimentar sistemul de evaluare și monitorizare al Comisiei;

| (ii) | principalele elemente strategice ale abordării Comisiei față de evaluare și monitorizare au fost definite în actele legislative succesive privind programele-cadru, începând de la mijlocul anilor 1990.
  De la adoptarea de către Comisie, în anul 1996, a ultimei sale comunicări privind evaluarea cercetării, s-a înregistrat o îmbunătățire constantă a abordării Comisiei față de evaluarea PC, iar exercițiului de evaluare i-au fost aduse modificări considerabile.
  În timpul perioadei acoperite de auditul Curții, la fiecare patru ani, au fost efectuate exerciții majore de evaluare a programelor-cadru, denumite „evaluări cincinale”; |
| --- | --- |

(ii)

principalele elemente strategice ale abordării Comisiei față de evaluare și monitorizare au fost definite în actele legislative succesive privind programele-cadru, începând de la mijlocul anilor 1990.

De la adoptarea de către Comisie, în anul 1996, a ultimei sale comunicări privind evaluarea cercetării, s-a înregistrat o îmbunătățire constantă a abordării Comisiei față de evaluarea PC, iar exercițiului de evaluare i-au fost aduse modificări considerabile.

În timpul perioadei acoperite de auditul Curții, la fiecare patru ani, au fost efectuate exerciții majore de evaluare a programelor-cadru, denumite „evaluări cincinale”;

| (iii) | programele-cadru sunt puse în aplicare în comun de către „DG-urile din domeniul cercetării”, care acționează independent și cooperează, după caz. Serviciile centrale ale Comisiei și DG Buget, în special, participă activ la diferitele etape ale procesului de evaluare.
  Având în vedere organizarea descentralizată a Comisiei și specificitatea fiecărui domeniu științific, evaluările trebuie gestionate de către serviciile operaționale responsabile.
  „Rețeaua de evaluare a activităților CDT” internă a Comisei s-a dovedit a fi foarte utilă în materie de coordonare.
  Comisia este de acord cu rolul important pe care trebuie să-l joace comisiile de evaluare în procesul de evaluare și salută concluziile auditului, potrivit cărora comisiile de evaluare pentru „evaluările cincinale” și pentru alte evaluări majore au fost percepute de către factorii instituționali interesați ca o garanție a independenței abordării folosite de către Comisie în cadrul perioadei acoperite de audit; |
| --- | --- |

(iii)

programele-cadru sunt puse în aplicare în comun de către „DG-urile din domeniul cercetării”, care acționează independent și cooperează, după caz. Serviciile centrale ale Comisiei și DG Buget, în special, participă activ la diferitele etape ale procesului de evaluare.

Având în vedere organizarea descentralizată a Comisiei și specificitatea fiecărui domeniu științific, evaluările trebuie gestionate de către serviciile operaționale responsabile.

„Rețeaua de evaluare a activităților CDT” internă a Comisei s-a dovedit a fi foarte utilă în materie de coordonare.

Comisia este de acord cu rolul important pe care trebuie să-l joace comisiile de evaluare în procesul de evaluare și salută concluziile auditului, potrivit cărora comisiile de evaluare pentru „evaluările cincinale” și pentru alte evaluări majore au fost percepute de către factorii instituționali interesați ca o garanție a independenței abordării folosite de către Comisie în cadrul perioadei acoperite de audit;

| (iv) | furnizarea de orientări metodologice directe pentru evaluări este limitată de necesitatea menținerii independenței evaluatorilor. Comisia recunoaște dificultățile din trecut în ceea ce privește colectarea datelor și acceptă faptul că puține se știu despre rezultatele și impactul pe termen lung al programelor-cadru, ceea ce este valabil pentru majoritatea evaluărilor intervențiilor publice în domeniul cercetării și în altele; |
| --- | --- |

(iv)

furnizarea de orientări metodologice directe pentru evaluări este limitată de necesitatea menținerii independenței evaluatorilor. Comisia recunoaște dificultățile din trecut în ceea ce privește colectarea datelor și acceptă faptul că puține se știu despre rezultatele și impactul pe termen lung al programelor-cadru, ceea ce este valabil pentru majoritatea evaluărilor intervențiilor publice în domeniul cercetării și în altele;

| (v) | calendarul majorității evaluărilor se specifică în legislația PC, care se adoptă de către Parlamentul European și Consiliu. În general, Comisia consideră că sistemul său de evaluare și monitorizare a programelor-cadru este eficient. Acest punct de vedere a fost împărtășit de către Parlamentul European și Consiliu la adoptarea recentă, în 2006, a propunerilor legislative ale Comisiei privind PC7. |
| --- | --- |

(v)

calendarul majorității evaluărilor se specifică în legislația PC, care se adoptă de către Parlamentul European și Consiliu. În general, Comisia consideră că sistemul său de evaluare și monitorizare a programelor-cadru este eficient. Acest punct de vedere a fost împărtășit de către Parlamentul European și Consiliu la adoptarea recentă, în 2006, a propunerilor legislative ale Comisiei privind PC7.

| V. | Având în vedere recomandările Curții, Comisia






  (i) | atrage atenția asupra unei logici de intervenție mai explicite în legislația PC7 (adoptată de către Parlamentul European și Consiliu în 2006) și va consolida utilizarea unei logici de intervenție explicite în viitoarele sale propuneri legislative. În plus, Comisia intenționează să clarifice suplimentar obiectivele sale operaționale pentru PC7 la nivel de programe de lucru și să favorizeze dezvoltarea abordării sale față de măsurarea performanțelor; |
| --- | --- | --- |

V.

Având în vedere recomandările Curții, Comisia

(i)

atrage atenția asupra unei logici de intervenție mai explicite în legislația PC7 (adoptată de către Parlamentul European și Consiliu în 2006) și va consolida utilizarea unei logici de intervenție explicite în viitoarele sale propuneri legislative. În plus, Comisia intenționează să clarifice suplimentar obiectivele sale operaționale pentru PC7 la nivel de programe de lucru și să favorizeze dezvoltarea abordării sale față de măsurarea performanțelor;

| (ii) | va continua să dezvolte strategia sa de evaluare a PC7, pa baza propunerilor din studiul de impact din PC7. Se vor lua măsuri pentru asigurarea unui nivel adecvat de flexibilitate, astfel încât fiecare serviciu operațional să poată determina necesitățile sale specifice de evaluare; |
| --- | --- |

(ii)

va continua să dezvolte strategia sa de evaluare a PC7, pa baza propunerilor din studiul de impact din PC7. Se vor lua măsuri pentru asigurarea unui nivel adecvat de flexibilitate, astfel încât fiecare serviciu operațional să poată determina necesitățile sale specifice de evaluare;

| (iii) | deși nu consideră că este necesară instituirea unui birou de evaluare comun, Comisia este de acord să analizeze alte posibilități de îmbunătățire a coordonării.
  Comisiile de evaluare trebuie convocate cât de devreme posibil pentru efectuarea evaluării specifice. Comisiile de evaluare speciale, convocate pentru scopuri specifice, au totuși mai multe șanse de a furniza rezultate în ceea ce privește claritatea și scopul; |
| --- | --- |

(iii)

deși nu consideră că este necesară instituirea unui birou de evaluare comun, Comisia este de acord să analizeze alte posibilități de îmbunătățire a coordonării.

Comisiile de evaluare trebuie convocate cât de devreme posibil pentru efectuarea evaluării specifice. Comisiile de evaluare speciale, convocate pentru scopuri specifice, au totuși mai multe șanse de a furniza rezultate în ceea ce privește claritatea și scopul;

| (iv) | a luat deja măsurile necesare pentru îmbunătățirea surselor de informații existente și a celor noi, destinate evaluatorilor săi.
  Obligațiile de raportare ale PC7 au fost parțial revizuite în funcție de necesitățile de evaluare și monitorizare.
  În plus, Comisia este pe cale de a pune la punct un nou sistem IT pentru PC7, care ar trebui să ofere o bază mai solidă în ceea ce privește datele privind proiectele.
  Comisia va examina posibilitatea elaborării unui nou manual privind evaluarea programului-cadru, ținând cont de exemplele produse recent; |
| --- | --- |

(iv)

a luat deja măsurile necesare pentru îmbunătățirea surselor de informații existente și a celor noi, destinate evaluatorilor săi.

Obligațiile de raportare ale PC7 au fost parțial revizuite în funcție de necesitățile de evaluare și monitorizare.

În plus, Comisia este pe cale de a pune la punct un nou sistem IT pentru PC7, care ar trebui să ofere o bază mai solidă în ceea ce privește datele privind proiectele.

Comisia va examina posibilitatea elaborării unui nou manual privind evaluarea programului-cadru, ținând cont de exemplele produse recent;

| (v) | Comisia intenționează să elaboreze și să consolideze planificarea în avans a evaluărilor în cadrul PC7, ținând cont de avantajele potențiale în termeni de coerență și de asimilare a rezultatelor. |
| --- | --- |

(v)

Comisia intenționează să elaboreze și să consolideze planificarea în avans a evaluărilor în cadrul PC7, ținând cont de avantajele potențiale în termeni de coerență și de asimilare a rezultatelor.

| 1-13. | Programele-cadru (PC) comunitare de cercetare și dezvoltare tehnologică (CDT) s-au dezvoltat în ultimele două decenii, pentru a se transforma într-un sistem amplu, dar coerent, de mecanisme de sprijin pentru cercetătorii din 27 de state membre, din țările asociate și nu numai.
  Programele-cadru constituie la ora actuală cel mai vast sistem multinațional public de finanțare a cercetării din lume (a se vedea punctul 6 din documentul Curții). În ceea ce privește participarea financiară anuală a Comunității, pentru PC7 aceasta va fi cu aproximativ 60 % mai mare decât pentru PC6 (a se vedea figura 1 din documentul Curții).
  Evaluarea unui sistem atât de unic reprezintă o provocare deosebită pentru toți factorii interesați. Modalitățile de evaluare au suferit modificări considerabile în ultimii ani (a se vedea figura 2 din documentul Curții), cea mai recentă fiind cu ocazia lansării PC7 în 2007 (a se vedea, de exemplu, răspunsurile la punctele 23, 30, 41, 46, 72, 76-78, 93). |
| --- | --- |

1-13.

Programele-cadru (PC) comunitare de cercetare și dezvoltare tehnologică (CDT) s-au dezvoltat în ultimele două decenii, pentru a se transforma într-un sistem amplu, dar coerent, de mecanisme de sprijin pentru cercetătorii din 27 de state membre, din țările asociate și nu numai.

Programele-cadru constituie la ora actuală cel mai vast sistem multinațional public de finanțare a cercetării din lume (a se vedea punctul 6 din documentul Curții). În ceea ce privește participarea financiară anuală a Comunității, pentru PC7 aceasta va fi cu aproximativ 60 % mai mare decât pentru PC6 (a se vedea figura 1 din documentul Curții).

Evaluarea unui sistem atât de unic reprezintă o provocare deosebită pentru toți factorii interesați. Modalitățile de evaluare au suferit modificări considerabile în ultimii ani (a se vedea figura 2 din documentul Curții), cea mai recentă fiind cu ocazia lansării PC7 în 2007 (a se vedea, de exemplu, răspunsurile la punctele 23, 30, 41, 46, 72, 76-78, 93).

| 14. | Direcțiile generale care pun în aplicare programele-cadru din domeniul CDT („DG-urile din domeniul cercetării”) au îndeplinit, oficial, obligațiile privind evaluarea ale Comisiei, inclusiv pe cele specificate în comunicările din anii 2000 și 2002 privind evaluarea (a se vedea punctul 54 din documentul Curții). |
| --- | --- |

14.

Direcțiile generale care pun în aplicare programele-cadru din domeniul CDT („DG-urile din domeniul cercetării”) au îndeplinit, oficial, obligațiile privind evaluarea ale Comisiei, inclusiv pe cele specificate în comunicările din anii 2000 și 2002 privind evaluarea (a se vedea punctul 54 din documentul Curții).

| 22. | Comisia recunoaște importanța, pentru elaborarea programului, a unei logici solide de intervenție și este de acord cu ideea că mandatul menționat la articolul 163 din tratat constituie un element esențial în acest sens. În plus, contribuția activităților CDT finanțate de către Comisie la alte politici și obiective comunitare este de o importanță majoră. Recent, punctul de vedere al Comisei în ceea ce privește rolul investiției în CDT a UE a fost prezentat în detaliu pentru ambele strategii, cea revizuită de la Lisabona și cea de dezvoltare durabilă (1). |
| --- | --- |

22.

Comisia recunoaște importanța, pentru elaborarea programului, a unei logici solide de intervenție și este de acord cu ideea că mandatul menționat la articolul 163 din tratat constituie un element esențial în acest sens. În plus, contribuția activităților CDT finanțate de către Comisie la alte politici și obiective comunitare este de o importanță majoră. Recent, punctul de vedere al Comisei în ceea ce privește rolul investiției în CDT a UE a fost prezentat în detaliu pentru ambele strategii, cea revizuită de la Lisabona și cea de dezvoltare durabilă (1).

| 23. | Programele-cadru au avut întotdeauna la bază o logică de intervenție solidă. În PC7 acest lucru este expus mai explicit (2), consolidând astfel suplimentar sistemul de evaluare și monitorizare al Comisiei. |
| --- | --- |

23.

Programele-cadru au avut întotdeauna la bază o logică de intervenție solidă. În PC7 acest lucru este expus mai explicit (2), consolidând astfel suplimentar sistemul de evaluare și monitorizare al Comisiei.

| 25. | Un număr de țări, inclusiv unele state membre, dezvoltă abordarea respectivă, dar aceasta nu este, în niciun caz, o abordare uniformă. Unele învățăminte din experiența Statelor Unite sau a Canadei pot fi transpuse cu mai multă dificultate decât cele din experiența statelor membre ale UE. |
| --- | --- |

25.

Un număr de țări, inclusiv unele state membre, dezvoltă abordarea respectivă, dar aceasta nu este, în niciun caz, o abordare uniformă. Unele învățăminte din experiența Statelor Unite sau a Canadei pot fi transpuse cu mai multă dificultate decât cele din experiența statelor membre ale UE.

| 26. | Comisia consideră că, pentru perioada acoperită de auditul Curții, sistemul de evaluare și monitorizare existent era eficient (a se vedea răspunsul la punctul 23). |
| --- | --- |

26.

Comisia consideră că, pentru perioada acoperită de auditul Curții, sistemul de evaluare și monitorizare existent era eficient (a se vedea răspunsul la punctul 23).

| 28. | Nu este simplu, în special având în vedere caracterul incert al cercetării, să se asigure că toate obiectivele se încadrează strict în definițiile criteriilor SMART. Toate programele de lucru din PC7 conțin declarațiile de impact așteptate, care corespund obiectivelor, logicii și activităților stabilite în programele specifice. |
| --- | --- |

28.

Nu este simplu, în special având în vedere caracterul incert al cercetării, să se asigure că toate obiectivele se încadrează strict în definițiile criteriilor SMART. Toate programele de lucru din PC7 conțin declarațiile de impact așteptate, care corespund obiectivelor, logicii și activităților stabilite în programele specifice.

| 29. | O atenție deosebită a fost acordată obiectivelor pe termen scurt în timpul perioadei acoperite de auditul Curții; se mai pot face analize pe termen lung. |
| --- | --- |

29.

O atenție deosebită a fost acordată obiectivelor pe termen scurt în timpul perioadei acoperite de auditul Curții; se mai pot face analize pe termen lung.

| 30. | La nivelul PC, Comisia elaborează, la ora actuală, un sistem de monitorizare destinat PC7, având drept scop asigurarea unei utilizări mai coerente și sistematice a indicatorilor de performanță. Mai multe inițiative separate de dezvoltare a indicatorilor de performanță se elaborează, de asemenea, în cadrul diferitelor servicii responsabile cu punerea în aplicare a PC7. |
| --- | --- |

30.

La nivelul PC, Comisia elaborează, la ora actuală, un sistem de monitorizare destinat PC7, având drept scop asigurarea unei utilizări mai coerente și sistematice a indicatorilor de performanță. Mai multe inițiative separate de dezvoltare a indicatorilor de performanță se elaborează, de asemenea, în cadrul diferitelor servicii responsabile cu punerea în aplicare a PC7.

| 34. | Comisia s-a angajat deja să asigure o mai mare claritate în logica de intervenție a programului (pe baza progreselor integrate în legislația PC7 și în studiul de impact) și va lua în considerare recomandările Curții pentru viitoarele propuneri legislative. |
| --- | --- |

34.

Comisia s-a angajat deja să asigure o mai mare claritate în logica de intervenție a programului (pe baza progreselor integrate în legislația PC7 și în studiul de impact) și va lua în considerare recomandările Curții pentru viitoarele propuneri legislative.

| 35. | Comisia salută recomandările făcute de Curte în vederea clarificării în continuare a obiectivelor programului PC7 și va depune eforturi pentru a realiza acest lucru, în limita constrângerilor fixate de actele de bază adoptate de către Parlamentul European și Consiliu. |
| --- | --- |

35.

Comisia salută recomandările făcute de Curte în vederea clarificării în continuare a obiectivelor programului PC7 și va depune eforturi pentru a realiza acest lucru, în limita constrângerilor fixate de actele de bază adoptate de către Parlamentul European și Consiliu.

| 36-37. | Comisia salută recomandările Curții și ia inițiative în vederea perfecționării măsurării performanțelor și a modificării nomenclaturii ABM/ABB. |
| --- | --- |

36-37.

Comisia salută recomandările Curții și ia inițiative în vederea perfecționării măsurării performanțelor și a modificării nomenclaturii ABM/ABB.

| 38-39. | Comisia consideră că strategia sa de evaluare a programelor-cadru trebuie să stabilească principiile comune pentru organizarea și dezvoltarea evaluării și a monitorizării PC. Strategia ar trebui să prevadă o declarație privind obiectivele, să stabilească principalele elemente ale sistemului, inclusiv exercițiile majore, și să elaboreze o viziune pentru viitor. Trebuie să se mențină focalizarea asupra aspectului strategic, având în vedere sistemul descentralizat de evaluare al Comisiei destinat programelor-cadru. |
| --- | --- |

38-39.

Comisia consideră că strategia sa de evaluare a programelor-cadru trebuie să stabilească principiile comune pentru organizarea și dezvoltarea evaluării și a monitorizării PC. Strategia ar trebui să prevadă o declarație privind obiectivele, să stabilească principalele elemente ale sistemului, inclusiv exercițiile majore, și să elaboreze o viziune pentru viitor. Trebuie să se mențină focalizarea asupra aspectului strategic, având în vedere sistemul descentralizat de evaluare al Comisiei destinat programelor-cadru.

| 41. | Principalele elemente strategice ale abordării Comisiei față de evaluare și monitorizare au fost stabilite în actele legislative de bază succesive privind programele-cadru de la mijlocul anilor 1990 (a se vedea anexa II).
  De la adoptarea de către Comisie, în anul 1996, a comunicării sale privind evaluarea cercetării, s-au înregistrat îmbunătățiri constante ale abordării Comisiei față de evaluarea PC, iar exercițiului de evaluare i s-au adus modificări considerabile (a se vedea figura 2 din documentul Curții).
  Pentru perioada actuală de programare, strategia de evaluare a Comisiei planificată este stabilită mai explicit în studiul de impact ex ante din PC7 [SEC(2005) 430]. Aceasta acoperă elaborarea sistemului de evaluare, felul în care acesta va fi pus în aplicare și calendarul detaliat al evaluărilor planificate la nivelul PC.
  Mai multe eforturi vor fi necesare pentru transpunerea acestei strategii în planuri specifice, și Comisia va folosi structuri specifice de coordonare în acest scop. |
| --- | --- |

41.

Principalele elemente strategice ale abordării Comisiei față de evaluare și monitorizare au fost stabilite în actele legislative de bază succesive privind programele-cadru de la mijlocul anilor 1990 (a se vedea anexa II).

De la adoptarea de către Comisie, în anul 1996, a comunicării sale privind evaluarea cercetării, s-au înregistrat îmbunătățiri constante ale abordării Comisiei față de evaluarea PC, iar exercițiului de evaluare i s-au adus modificări considerabile (a se vedea figura 2 din documentul Curții).

Pentru perioada actuală de programare, strategia de evaluare a Comisiei planificată este stabilită mai explicit în studiul de impact ex ante din PC7 [SEC(2005) 430]. Aceasta acoperă elaborarea sistemului de evaluare, felul în care acesta va fi pus în aplicare și calendarul detaliat al evaluărilor planificate la nivelul PC.

Mai multe eforturi vor fi necesare pentru transpunerea acestei strategii în planuri specifice, și Comisia va folosi structuri specifice de coordonare în acest scop.

| 43. | Acceptând observațiile Curții, Comisia notează că situația este mult mai nuanțată în Statele Unite și Canada, decât ar putea fi prezentată în strategii de evaluare unice. |
| --- | --- |

43.

Acceptând observațiile Curții, Comisia notează că situația este mult mai nuanțată în Statele Unite și Canada, decât ar putea fi prezentată în strategii de evaluare unice.

| 44. | Diferențele în utilizarea evaluărilor și în abordarea acestora în cadrul PC reflectă sistemul descentralizat al Comisiei, care leagă evaluarea și luarea deciziilor. |
| --- | --- |

44.

Diferențele în utilizarea evaluărilor și în abordarea acestora în cadrul PC reflectă sistemul descentralizat al Comisiei, care leagă evaluarea și luarea deciziilor.

| 46. | Având în vedere organizarea descentralizată a Comisiei, problema nivelului adecvat al activităților de evaluare trebuie soluționată de către serviciile operaționale responsabile (a se vedea răspunsul la punctele 41 și 49).






  — | (a doua teză) Evaluarea cincinală din 2004 (1999-2003), coordonată de DG Cercetare, a furnizat o evaluare la nivelul general al PC. Decizia efectuării unor exerciții separate la nivelul programelor reflecta necesitățile serviciilor implicate, precum și diversele contexte și amploarea activităților în cauză. |
| --- | --- | --- |

46.

Având în vedere organizarea descentralizată a Comisiei, problema nivelului adecvat al activităților de evaluare trebuie soluționată de către serviciile operaționale responsabile (a se vedea răspunsul la punctele 41 și 49).

—

(a doua teză) Evaluarea cincinală din 2004 (1999-2003), coordonată de DG Cercetare, a furnizat o evaluare la nivelul general al PC. Decizia efectuării unor exerciții separate la nivelul programelor reflecta necesitățile serviciilor implicate, precum și diversele contexte și amploarea activităților în cauză.

| 47. | Evaluarea cincinală din 2004 (1999-2003) a furnizat o evaluare coordonată, completă și oportună la nivelul general al PC, în conformitate cu regulamentul financiar. Aceasta a fost efectuată de experți externi renumiți, iar rezultatele au fost larg difuzate. |
| --- | --- |

47.

Evaluarea cincinală din 2004 (1999-2003) a furnizat o evaluare coordonată, completă și oportună la nivelul general al PC, în conformitate cu regulamentul financiar. Aceasta a fost efectuată de experți externi renumiți, iar rezultatele au fost larg difuzate.

| 48. | A se vedea răspunsurile la punctele 41 și 46. |
| --- | --- |

48.

A se vedea răspunsurile la punctele 41 și 46.

| 49. | Pentru perioada actuală de programare, strategia de evaluare planificată a Comisiei este stabilită mai explicit în studiul de impact ex ante din PC7 [SEC(2005) 430]. Aceasta acoperă elaborarea sistemului de evaluare, felul în care acesta va fi pus în aplicare și calendarul detaliat al evaluărilor planificate la nivelul PC.
  Comisia acceptă că mai multe eforturi sunt necesare pentru transpunerea acestei strategii în planuri specifice și va folosi structurile specifice de coordonare în acest scop.
  Comisia consideră, totuși, că un nivel minim de evaluare detaliată nu poate fi fixat întotdeauna, având în vedere necesitatea păstrării unei flexibilități suficiente pentru conducere în scopul determinării nevoilor de evaluare. |
| --- | --- |

49.

Pentru perioada actuală de programare, strategia de evaluare planificată a Comisiei este stabilită mai explicit în studiul de impact ex ante din PC7 [SEC(2005) 430]. Aceasta acoperă elaborarea sistemului de evaluare, felul în care acesta va fi pus în aplicare și calendarul detaliat al evaluărilor planificate la nivelul PC.

Comisia acceptă că mai multe eforturi sunt necesare pentru transpunerea acestei strategii în planuri specifice și va folosi structurile specifice de coordonare în acest scop.

Comisia consideră, totuși, că un nivel minim de evaluare detaliată nu poate fi fixat întotdeauna, având în vedere necesitatea păstrării unei flexibilități suficiente pentru conducere în scopul determinării nevoilor de evaluare.

| 51. | Programele-cadru sunt puse în aplicare în comun de către „DG-urile din domeniul cercetării”, care acționează independent și cooperează, după caz. |
| --- | --- |

51.

Programele-cadru sunt puse în aplicare în comun de către „DG-urile din domeniul cercetării”, care acționează independent și cooperează, după caz.

| 52. | EuropeAid are responsabilități operaționale și de gestionare pe care le exercită în colaborare cu delegațiile Comisiei și cu organismele de punere în aplicare din țările terțe. Acest fapt face dificilă considerarea acestei părți a Comisiei drept exemplu, întrucât nu se poate compara cu sistemul descentralizat al responsabilităților și rolurilor din domeniul cercetării. |
| --- | --- |

52.

EuropeAid are responsabilități operaționale și de gestionare pe care le exercită în colaborare cu delegațiile Comisiei și cu organismele de punere în aplicare din țările terțe. Acest fapt face dificilă considerarea acestei părți a Comisiei drept exemplu, întrucât nu se poate compara cu sistemul descentralizat al responsabilităților și rolurilor din domeniul cercetării.

| 53. | „Rețeaua de evaluare a activităților CDT” internă a Comisei furnizează mijloace neoficiale pentru dezvoltarea unei strategii de evaluare și pentru coordonarea exercițiilor de evaluare la nivelul PC. Acest mecanism flexibil s-a dovedit a fi foarte util. |
| --- | --- |

53.

„Rețeaua de evaluare a activităților CDT” internă a Comisei furnizează mijloace neoficiale pentru dezvoltarea unei strategii de evaluare și pentru coordonarea exercițiilor de evaluare la nivelul PC. Acest mecanism flexibil s-a dovedit a fi foarte util.

| 55. | Recenta revizuire a standardele de control intern ale Comisiei, adoptată la 16 octombrie 2007 [SEC(2007) 1341], cuprinde cele 21 de standarde de evaluare, de aceea, gradul de respectare a acestor standarde va fi inclus în rapoartele de activitate anuale ale direcțiilor generale.
  Serviciile centrale ale Comisiei și DG Buget, în special, participă activ la diferitele etape aferente procesului de evaluare.
  Activitățile de evaluare ale serviciilor pot fi auditate de structura de audit intern și de serviciul de audit intern.
  În viitor, evaluarea cerințelor minime de calitate va folosi „Cadrul de evaluare a calității” elaborat recent de către Comisie (3). Din 2007, controlul calității pentru viitorul studiu de impact a beneficiat de susținerea „Comitetului de evaluare a impactului” al Comisiei. |
| --- | --- |

55.

Recenta revizuire a standardele de control intern ale Comisiei, adoptată la 16 octombrie 2007 [SEC(2007) 1341], cuprinde cele 21 de standarde de evaluare, de aceea, gradul de respectare a acestor standarde va fi inclus în rapoartele de activitate anuale ale direcțiilor generale.

Serviciile centrale ale Comisiei și DG Buget, în special, participă activ la diferitele etape aferente procesului de evaluare.

Activitățile de evaluare ale serviciilor pot fi auditate de structura de audit intern și de serviciul de audit intern.

În viitor, evaluarea cerințelor minime de calitate va folosi „Cadrul de evaluare a calității” elaborat recent de către Comisie (3). Din 2007, controlul calității pentru viitorul studiu de impact a beneficiat de susținerea „Comitetului de evaluare a impactului” al Comisiei.

| 56. | Comparația din anexa III acoperă perioada auditată de Curte. Prin urmare, aceasta nu ține cont de îmbunătățirile semnificative aduse în cadrul PC7, în special de strategia de evaluare, de logica de intervenție mai explicită și de declarația clară a rezultatelor scontate în cadrul programelor de lucru.
  Curtea citează exemplul anumitor state membre în care responsabilitățile pentru evaluare și finanțare sunt separate. De asemenea, există alte exemple (precum Regatul Unit) unde evaluarea face parte din managementul programului (la fel ca la Comisie). În ceea ce privește problema-cheie a independenței, auditul efectuat de către Curte a arătat că factorii interesați externi sunt satisfăcuți de rezultatele Comisiei la acest capitol (a se vedea punctul 58 și figura 4 din documentul Curții). |
| --- | --- |

56.

Comparația din anexa III acoperă perioada auditată de Curte. Prin urmare, aceasta nu ține cont de îmbunătățirile semnificative aduse în cadrul PC7, în special de strategia de evaluare, de logica de intervenție mai explicită și de declarația clară a rezultatelor scontate în cadrul programelor de lucru.

Curtea citează exemplul anumitor state membre în care responsabilitățile pentru evaluare și finanțare sunt separate. De asemenea, există alte exemple (precum Regatul Unit) unde evaluarea face parte din managementul programului (la fel ca la Comisie). În ceea ce privește problema-cheie a independenței, auditul efectuat de către Curte a arătat că factorii interesați externi sunt satisfăcuți de rezultatele Comisiei la acest capitol (a se vedea punctul 58 și figura 4 din documentul Curții).

| 59. | — | (prima teză) Asigurarea unei participări corespunzătoare a membrilor importanți ai comisiilor de evaluare convocate pe termen lung este dificilă. |
| --- | --- | --- |

59.

—

(prima teză) Asigurarea unei participări corespunzătoare a membrilor importanți ai comisiilor de evaluare convocate pe termen lung este dificilă.

| — | (a doua teză) Termenii de referință pentru comisiile de evaluare la nivelul PC sunt stabiliți prin decizie a Comisiei, după o consultare generală informală a factorilor interesați, inclusiv după obținerea avizului oficial al Comitetelor programului PC7, compus din reprezentanți ai statelor membre și ai țărilor asociate. Acest lucru va fi valabil și pentru viitoarea evaluare ex post a PC6 în 2008. |
| --- | --- |

—

(a doua teză) Termenii de referință pentru comisiile de evaluare la nivelul PC sunt stabiliți prin decizie a Comisiei, după o consultare generală informală a factorilor interesați, inclusiv după obținerea avizului oficial al Comitetelor programului PC7, compus din reprezentanți ai statelor membre și ai țărilor asociate. Acest lucru va fi valabil și pentru viitoarea evaluare ex post a PC6 în 2008.

| 62. | Comisia recomandă, în medie, un obiectiv de 0,5 % din bugetul programului destinat evaluării. Resursele alocate în realitate depind mult de natura programului. |
| --- | --- |

62.

Comisia recomandă, în medie, un obiectiv de 0,5 % din bugetul programului destinat evaluării. Resursele alocate în realitate depind mult de natura programului.

| 66. | Deși nu consideră necesară instituirea unui birou de evaluare comun, Comisia este de acord să analizeze alte posibilități de îmbunătățire a coordonării.
  Legătura dintre luarea deciziilor de evaluare și de management poate fi realizată cel mai bine prin intermediul funcțiilor de evaluare din cadrul fiecărei DG și prin impulsionarea din nou a „Rețelei de evaluare a activităților CDT” interne existente a Comisei, cu ajutorul serviciilor centrale. Aceasta corespunde proceselor legislative și bugetare, după cum se cere în regulamentul financiar, în comunicarea Comisiei din 2007 privind evaluarea și procedurile în contextul managementului bazat pe activități (ABM). |
| --- | --- |

66.

Deși nu consideră necesară instituirea unui birou de evaluare comun, Comisia este de acord să analizeze alte posibilități de îmbunătățire a coordonării.

Legătura dintre luarea deciziilor de evaluare și de management poate fi realizată cel mai bine prin intermediul funcțiilor de evaluare din cadrul fiecărei DG și prin impulsionarea din nou a „Rețelei de evaluare a activităților CDT” interne existente a Comisei, cu ajutorul serviciilor centrale. Aceasta corespunde proceselor legislative și bugetare, după cum se cere în regulamentul financiar, în comunicarea Comisiei din 2007 privind evaluarea și procedurile în contextul managementului bazat pe activități (ABM).

| 67. | Comisia este de acord cu rolul important pe car îl joacă comisiile de evaluare în materie de evaluare. De asemenea, deși este de acord cu necesitatea convocării, cât de devreme posibil, a comisiilor de evaluare pentru efectuarea unei evaluări specifice, Comisia nu consideră de cuviință instituirea unei comisii de evaluare permanente pentru toată perioada de programare.
  Comisiile de evaluare speciale, convocate pentru un motiv specific, au totuși mai multe șanse de a furniza rezultate în ceea ce privește claritatea și prioritatea. |
| --- | --- |

67.

Comisia este de acord cu rolul important pe car îl joacă comisiile de evaluare în materie de evaluare. De asemenea, deși este de acord cu necesitatea convocării, cât de devreme posibil, a comisiilor de evaluare pentru efectuarea unei evaluări specifice, Comisia nu consideră de cuviință instituirea unei comisii de evaluare permanente pentru toată perioada de programare.

Comisiile de evaluare speciale, convocate pentru un motiv specific, au totuși mai multe șanse de a furniza rezultate în ceea ce privește claritatea și prioritatea.

| 68. | Comisia va evalua cu multă atenție nevoile în resurse destinate evaluării programelor-cadru în următorii ani. |
| --- | --- |

68.

Comisia va evalua cu multă atenție nevoile în resurse destinate evaluării programelor-cadru în următorii ani.

| 70-71. | Orientările metodologice în materie de evaluare, inclusiv instrumentele și glosarele terminologice disponibile, sunt furnizate de ghidul (4) DG Buget, care este în prezent actualizat de serviciile Comisiei, inclusiv „DG-urile din domeniul cercetării”.
  În plus, orientările specifice de evaluare au fost elaborate în 2002 de DG Întreprinderi și acoperă toate activitățile de care este responsabilă această DG, inclusiv programele-cadru.
  Inițiative de sprijinire suplimentare vor fi examinate pentru „Rețeaua de evaluare a activităților CDT” relansarea (compusă din experți din statele membre și din țările asociate) și „Rețeaua de evaluare a activităților CDT” interne a Comisiei. Comisia va continua, de asemenea, să sprijine studiile și atelierele independente de evaluare metodologică. |
| --- | --- |

70-71.

Orientările metodologice în materie de evaluare, inclusiv instrumentele și glosarele terminologice disponibile, sunt furnizate de ghidul (4) DG Buget, care este în prezent actualizat de serviciile Comisiei, inclusiv „DG-urile din domeniul cercetării”.

În plus, orientările specifice de evaluare au fost elaborate în 2002 de DG Întreprinderi și acoperă toate activitățile de care este responsabilă această DG, inclusiv programele-cadru.

Inițiative de sprijinire suplimentare vor fi examinate pentru „Rețeaua de evaluare a activităților CDT” relansarea (compusă din experți din statele membre și din țările asociate) și „Rețeaua de evaluare a activităților CDT” interne a Comisiei. Comisia va continua, de asemenea, să sprijine studiile și atelierele independente de evaluare metodologică.

| 72. | Comisia este de acord cu faptul că procesul de colectare permanentă a datelor de la proiecte a fost doar parțial eficient. Procedurile de raportare a proiectelor au fost revizuite pentru PC6 și vor fi îmbunătățite în continuare pentru PC7 (de exemplu, raportarea periodică va fi simplificată; chestionarele interim au fost suprimate; raportarea finală va deveni mai utilă, în special în ceea ce privește colectarea datelor privind punerea în aplicare și rezultatele proiectelor). |
| --- | --- |

72.

Comisia este de acord cu faptul că procesul de colectare permanentă a datelor de la proiecte a fost doar parțial eficient. Procedurile de raportare a proiectelor au fost revizuite pentru PC6 și vor fi îmbunătățite în continuare pentru PC7 (de exemplu, raportarea periodică va fi simplificată; chestionarele interim au fost suprimate; raportarea finală va deveni mai utilă, în special în ceea ce privește colectarea datelor privind punerea în aplicare și rezultatele proiectelor).

| 74. | „DG-urile din domeniul cercetării” sunt pe cale de a pune la punct un nou sistem IT pentru PC7 cu ajutorul DG Informatică. Un asemenea sprijin IT are drept scop furnizarea unei baze mai solide pentru evaluare și monitorizare. |
| --- | --- |

74.

„DG-urile din domeniul cercetării” sunt pe cale de a pune la punct un nou sistem IT pentru PC7 cu ajutorul DG Informatică. Un asemenea sprijin IT are drept scop furnizarea unei baze mai solide pentru evaluare și monitorizare.

| 76-78. | Selectarea datelor de evaluare a fost numai parțial eficientă în timpul perioadei acoperite de audit. Comisia aduce îmbunătățiri în cadrul PC7 (a se vedea răspunsul la punctul 72). |
| --- | --- |

76-78.

Selectarea datelor de evaluare a fost numai parțial eficientă în timpul perioadei acoperite de audit. Comisia aduce îmbunătățiri în cadrul PC7 (a se vedea răspunsul la punctul 72).

| 79. | Comisia urmărește încurajarea tipurilor de studii cantitative propuse de Curte. |
| --- | --- |

79.

Comisia urmărește încurajarea tipurilor de studii cantitative propuse de Curte.

| 81. | În opinia Comisiei, recent au fost efectuate multe evaluări mai interesante din punct de vedere metodologic (a se vedea punctul 84) și trebuie să se facă o distincție între evaluările de amploare și exercițiile de rutină. |
| --- | --- |

81.

În opinia Comisiei, recent au fost efectuate multe evaluări mai interesante din punct de vedere metodologic (a se vedea punctul 84) și trebuie să se facă o distincție între evaluările de amploare și exercițiile de rutină.

| 82. | Comisia acceptă faptul că, în general, munca de evaluare a acordat mai multă atenție rezultatelor pe termen scurt și este de acord că se mai poate face o analiză mai completă în ceea ce privește rezultatele și impacturile. Cu toate acestea, o asemenea abordare necesită o perspectivă pe termen lung și, de aceea, evaluările Comisiei sunt similare celor efectuate de către alte organisme. |
| --- | --- |

82.

Comisia acceptă faptul că, în general, munca de evaluare a acordat mai multă atenție rezultatelor pe termen scurt și este de acord că se mai poate face o analiză mai completă în ceea ce privește rezultatele și impacturile. Cu toate acestea, o asemenea abordare necesită o perspectivă pe termen lung și, de aceea, evaluările Comisiei sunt similare celor efectuate de către alte organisme.

| 83. | Comisia dorește respectarea independenței experților specializați în domeniul evaluării, în special în ceea ce privește alegerea metodologilor adecvate.
  Pentru viitoarea evaluare ex post a PC6 în 2008 s-a propus să se efectueze studii ale adiționalității comportamentale, ale analizei de rețea și ale utilizării abordărilor scientometrice. |
| --- | --- |

83.

Comisia dorește respectarea independenței experților specializați în domeniul evaluării, în special în ceea ce privește alegerea metodologilor adecvate.

Pentru viitoarea evaluare ex post a PC6 în 2008 s-a propus să se efectueze studii ale adiționalității comportamentale, ale analizei de rețea și ale utilizării abordărilor scientometrice.

| 84. | O metaanaliză a studiilor de evaluare precedente a fost efectuată de către un expert independent pentru evaluarea cincinală din 2004 (1999-2003) (5).






  — | (a doua teză) Pe lângă studiile la care face trimitere Curtea, alte studii majore au fost lansate în 2007 (6). |
| --- | --- | --- |

84.

O metaanaliză a studiilor de evaluare precedente a fost efectuată de către un expert independent pentru evaluarea cincinală din 2004 (1999-2003) (5).

—

(a doua teză) Pe lângă studiile la care face trimitere Curtea, alte studii majore au fost lansate în 2007 (6).

| 85. | Comisia este de acord cu faptul că este necesară dezvoltarea în continuare a abordărilor metodologice pentru a face față naturii schimbătoare a programelor-cadru. O asemenea abordare metodologică este și va continua să fie susținută de către Comisie. |
| --- | --- |

85.

Comisia este de acord cu faptul că este necesară dezvoltarea în continuare a abordărilor metodologice pentru a face față naturii schimbătoare a programelor-cadru. O asemenea abordare metodologică este și va continua să fie susținută de către Comisie.

| 86. | Având în vedere că întrebările enumerate în caietul de sarcini al evaluării cincinale (1999-2003) din 2004 erau doar indicative, comisia de evaluare a avut dreptul să aleagă domeniile prioritare și să-și determine modalitățile de lucru. Membrii comisiei de evaluare și-au prezentat observațiile privind calitatea excepțională a exercițiului (7). |
| --- | --- |

86.

Având în vedere că întrebările enumerate în caietul de sarcini al evaluării cincinale (1999-2003) din 2004 erau doar indicative, comisia de evaluare a avut dreptul să aleagă domeniile prioritare și să-și determine modalitățile de lucru. Membrii comisiei de evaluare și-au prezentat observațiile privind calitatea excepțională a exercițiului (7).

| 87. | Natura intrinsecă a unui program de cercetare, care implică incertitudine, arată că obiectivele cuantificabile pot fi specificate numai până la un anumit punct. |
| --- | --- |

87.

Natura intrinsecă a unui program de cercetare, care implică incertitudine, arată că obiectivele cuantificabile pot fi specificate numai până la un anumit punct.

| 90. | În 2007, Comisia a relansat „Rețeaua de evaluare a activităților CDT”, compusă din funcționari ai statelor membre și din experți în evaluare, care intenționa să încurajeze unele acțiuni mai coerente de evaluare a cercetării în UE, în special în ceea ce privește studiile de impact la nivelul statelor membre. |
| --- | --- |

90.

În 2007, Comisia a relansat „Rețeaua de evaluare a activităților CDT”, compusă din funcționari ai statelor membre și din experți în evaluare, care intenționa să încurajeze unele acțiuni mai coerente de evaluare a cercetării în UE, în special în ceea ce privește studiile de impact la nivelul statelor membre.

| 91. | Comisia va examina posibilitatea elaborării unui nou manual privind evaluarea programului-cadru, ținând cont de exemplele produse recent (8). |
| --- | --- |

91.

Comisia va examina posibilitatea elaborării unui nou manual privind evaluarea programului-cadru, ținând cont de exemplele produse recent (8).

| 92. | Procedurile de raportare a proiectelor au fost revizuite în cadrul PC6 și vor fi îmbunătățite în continuare pentru PC7 (a se vedea răspunsul la punctul 72). |
| --- | --- |

92.

Procedurile de raportare a proiectelor au fost revizuite în cadrul PC6 și vor fi îmbunătățite în continuare pentru PC7 (a se vedea răspunsul la punctul 72).

| 93. | La nivelul PC, Comisia elaborează, la ora actuală, un sistem de monitorizare destinat PC7, având drept scop asigurarea unei utilizări mai coerente și sistematice a indicatorilor de performanță (a se vedea răspunsul la punctul 30).
  „DG-urile din domeniul cercetării” sunt pe cale de a pune la punct, cu ajutorul DG Informatică, un nou sistem IT pentru PC7. Un asemenea sprijin informatic are drept scop furnizarea unei baze mai solide pentru evaluare și monitorizare. |
| --- | --- |

93.

La nivelul PC, Comisia elaborează, la ora actuală, un sistem de monitorizare destinat PC7, având drept scop asigurarea unei utilizări mai coerente și sistematice a indicatorilor de performanță (a se vedea răspunsul la punctul 30).

„DG-urile din domeniul cercetării” sunt pe cale de a pune la punct, cu ajutorul DG Informatică, un nou sistem IT pentru PC7. Un asemenea sprijin informatic are drept scop furnizarea unei baze mai solide pentru evaluare și monitorizare.

| 94. | Comisia împărtășește îngrijorările Curții privind povara provocată de obligațiile de raportare, acordându-i acesteia o atenție deosebită în momentul specificării acestora pentru PC7 (a se vedea răspunsul la punctul 72). |
| --- | --- |

94.

Comisia împărtășește îngrijorările Curții privind povara provocată de obligațiile de raportare, acordându-i acesteia o atenție deosebită în momentul specificării acestora pentru PC7 (a se vedea răspunsul la punctul 72).

| 95. | În prezent, Comisia lucrează asupra exploatării surselor de date noi și a celor existente privind evaluarea și monitorizarea (a se vedea răspunsul la punctul 72). |
| --- | --- |

95.

În prezent, Comisia lucrează asupra exploatării surselor de date noi și a celor existente privind evaluarea și monitorizarea (a se vedea răspunsul la punctul 72).

| 96. | În cadrul PC7, există o linie de acțiune specifică la tema 8 (Științe sociale și umane) pentru aplicarea abordărilor novatoare față de evaluare și monitorizare. |
| --- | --- |

96.

În cadrul PC7, există o linie de acțiune specifică la tema 8 (Științe sociale și umane) pentru aplicarea abordărilor novatoare față de evaluare și monitorizare.

| 97. | Comisia a relansat în 2007 rețeaua de evaluare a activităților CDT (a se vedea răspunsurile la punctele 70-71 și 90), pe care aceasta intenționează să le folosească pentru promovarea unei coerențe sporite a activităților de evaluare în domeniul cercetării în UE, în special studiile de impact ale statelor membre.
  Comisia intenționează, de asemenea, să-și mențină poziția în avangarda eforturilor de susținere a colaborării în rețea și a schimbului de practici de evaluare a cercetării la nivel internațional prin intermediul organizării de ateliere sau a altor evenimente. |
| --- | --- |

97.

Comisia a relansat în 2007 rețeaua de evaluare a activităților CDT (a se vedea răspunsurile la punctele 70-71 și 90), pe care aceasta intenționează să le folosească pentru promovarea unei coerențe sporite a activităților de evaluare în domeniul cercetării în UE, în special studiile de impact ale statelor membre.

Comisia intenționează, de asemenea, să-și mențină poziția în avangarda eforturilor de susținere a colaborării în rețea și a schimbului de practici de evaluare a cercetării la nivel internațional prin intermediul organizării de ateliere sau a altor evenimente.

| 99. | Calendarul evaluărilor este determinat de cerințele specifice prevăzute în actele de bază adoptate de către Parlamentul European și Consiliu. Comisia acceptă faptul că nu se știe care sunt impacturile pe termen lung și este de acord că se mai pot face multe în acest domeniu. |
| --- | --- |

99.

Calendarul evaluărilor este determinat de cerințele specifice prevăzute în actele de bază adoptate de către Parlamentul European și Consiliu. Comisia acceptă faptul că nu se știe care sunt impacturile pe termen lung și este de acord că se mai pot face multe în acest domeniu.

| 100. | Comisia este de acord că evaluarea cincinală avea tendința de a se concentra mai îndeaproape asupra evaluării pe termen scurt decât asupra celei pe termen lung. Acest lucru se explică inclusiv prin interesul factorilor externi, precum Parlamentul European și Consiliul, de a avea un răspuns rapid privind performanțele PC, prin dificultatea atribuirii impacturilor, pe termen lung, domeniului cercetării și prin abordarea pe care o folosesc comisiile de evaluare independente care efectuează exercițiile. Cu toate acestea, Comisia acceptă faptul că trebuie acordată mai multă atenție evaluării efectelor pe termen lung. |
| --- | --- |

100.

Comisia este de acord că evaluarea cincinală avea tendința de a se concentra mai îndeaproape asupra evaluării pe termen scurt decât asupra celei pe termen lung. Acest lucru se explică inclusiv prin interesul factorilor externi, precum Parlamentul European și Consiliul, de a avea un răspuns rapid privind performanțele PC, prin dificultatea atribuirii impacturilor, pe termen lung, domeniului cercetării și prin abordarea pe care o folosesc comisiile de evaluare independente care efectuează exercițiile. Cu toate acestea, Comisia acceptă faptul că trebuie acordată mai multă atenție evaluării efectelor pe termen lung.

| 108. | Comisia lucrează asupra planificării principalelor activități de evaluare din cadrul PC7 și va acorda o atenție deosebită recomandărilor Curții. Comisia acceptă faptul că nu se știe care sunt impacturile pe termen lung și este de acord că se mai pot face multe în acest domeniu. |
| --- | --- |

108.

Comisia lucrează asupra planificării principalelor activități de evaluare din cadrul PC7 și va acorda o atenție deosebită recomandărilor Curții. Comisia acceptă faptul că nu se știe care sunt impacturile pe termen lung și este de acord că se mai pot face multe în acest domeniu.

| 109. | Conform observațiilor Curții la punctul 107, Comisia furnizează, în raportul său de evaluare, un rezumat al rezultatelor și al demersurilor întreprinse pentru evaluările din domeniul cercetării. Comisia se angajează să asigure transparența completă a activităților sale de evaluare și va lua în considerare recomandările Curții privind revizuirea modalităților de comunicare și de difuzare a rezultatelor. |
| --- | --- |

109.

Conform observațiilor Curții la punctul 107, Comisia furnizează, în raportul său de evaluare, un rezumat al rezultatelor și al demersurilor întreprinse pentru evaluările din domeniul cercetării. Comisia se angajează să asigure transparența completă a activităților sale de evaluare și va lua în considerare recomandările Curții privind revizuirea modalităților de comunicare și de difuzare a rezultatelor.

| 110-111. | Comisia este de acord cu opinia Curții, potrivit căreia evaluarea cercetării, în special în cazul unor programe atât de complexe ca PC, este extrem de dificilă.
  Aceasta notează, de asemenea, faptul că în ultimii 25 de ani au fost aduse extrem de multe îmbunătățiri sistemului și că acesta, în general, a fost eficient pentru factorii de decizie, directorii programelor de cercetare și pentru alți factori interesați. |
| --- | --- |

110-111.

Comisia este de acord cu opinia Curții, potrivit căreia evaluarea cercetării, în special în cazul unor programe atât de complexe ca PC, este extrem de dificilă.

Aceasta notează, de asemenea, faptul că în ultimii 25 de ani au fost aduse extrem de multe îmbunătățiri sistemului și că acesta, în general, a fost eficient pentru factorii de decizie, directorii programelor de cercetare și pentru alți factori interesați.

| 112. | Comisia salută observația Curții, potrivit căreia direcțiile generale care pun în aplicare programele-cadru au îndeplinit cerințele Comisiei, inclusiv pe cele specificate în comunicările privind evaluarea din 2000 și 2002.
  Modificări semnificative au fost aduse evaluării PC, inclusiv o restructurarea majoră în cazul PC7, în conformitate cu strategia prezentată în studiul de impact [SEC(2005) 430]. |
| --- | --- |

112.

Comisia salută observația Curții, potrivit căreia direcțiile generale care pun în aplicare programele-cadru au îndeplinit cerințele Comisiei, inclusiv pe cele specificate în comunicările privind evaluarea din 2000 și 2002.

Modificări semnificative au fost aduse evaluării PC, inclusiv o restructurarea majoră în cazul PC7, în conformitate cu strategia prezentată în studiul de impact [SEC(2005) 430].

| 113. | În ceea ce privește relevanța și utilitatea evaluărilor, Comisia poate indica reacțiile, în general, pozitive pe care le-a primit, în special în cazul recentelor exerciții-cheie, precum evaluarea cincinală (1999-2003) din 2004. Rezultatele evaluării cincinale au fost larg difuzate, inclusiv prezentate principalelor organisme, precum Parlamentul European, Consiliul, Comitetul de Cercetare Științifică și Tehnică (CREST) și Comitetului pentru programul-cadru. Efectuarea exercițiului fiind o cerință obligatorie înainte de propunerea Comisiei pentru un nou program-cadru (în cazul PC7), acceptabilitatea sa generală s-a manifestat prin adoptarea, în cele din urmă, a PC7.
  Aceasta nu înseamnă că nu pot fi aduse îmbunătățiri, și Comisia acceptă în totalitate necesitatea introducerii unor schimbări bine analizate pe baza elementelor actualei abordării care funcționează bine deja. |
| --- | --- |

113.

În ceea ce privește relevanța și utilitatea evaluărilor, Comisia poate indica reacțiile, în general, pozitive pe care le-a primit, în special în cazul recentelor exerciții-cheie, precum evaluarea cincinală (1999-2003) din 2004. Rezultatele evaluării cincinale au fost larg difuzate, inclusiv prezentate principalelor organisme, precum Parlamentul European, Consiliul, Comitetul de Cercetare Științifică și Tehnică (CREST) și Comitetului pentru programul-cadru. Efectuarea exercițiului fiind o cerință obligatorie înainte de propunerea Comisiei pentru un nou program-cadru (în cazul PC7), acceptabilitatea sa generală s-a manifestat prin adoptarea, în cele din urmă, a PC7.

Aceasta nu înseamnă că nu pot fi aduse îmbunătățiri, și Comisia acceptă în totalitate necesitatea introducerii unor schimbări bine analizate pe baza elementelor actualei abordării care funcționează bine deja.

| 114. | Comisia salută recunoașterea de către Curte a importanței evaluării și monitorizării și, pe baza îmbunătățirilor semnificative deja înregistrate, va continua să-și actualizeze practicile curente în lumina noilor realități politice și practice. |
| --- | --- |

114.

Comisia salută recunoașterea de către Curte a importanței evaluării și monitorizării și, pe baza îmbunătățirilor semnificative deja înregistrate, va continua să-și actualizeze practicile curente în lumina noilor realități politice și practice.

| 115. | Comisia s-a angajat deja să asigure o mai mare claritate în logica de intervenție a programului, pe baza progreselor integrate în legislația PC7 și în studiul de impact, și va lua în considerare recomandările Curții pentru viitoarele propuneri legislative. |
| --- | --- |

115.

Comisia s-a angajat deja să asigure o mai mare claritate în logica de intervenție a programului, pe baza progreselor integrate în legislația PC7 și în studiul de impact, și va lua în considerare recomandările Curții pentru viitoarele propuneri legislative.

| 116. | Bazându-se pe îmbunătățirile semnificative aduse deja PC, Comisia este de acord cu faptul că se mai pot aduce îmbunătățiri, inclusiv consolidarea coordonării la nivel operațional dintre serviciile responsabile. Comisia va continua să depună eforturi pentru sprijinirea dezvoltării metodologiei de evaluare. |
| --- | --- |

116.

Bazându-se pe îmbunătățirile semnificative aduse deja PC, Comisia este de acord cu faptul că se mai pot aduce îmbunătățiri, inclusiv consolidarea coordonării la nivel operațional dintre serviciile responsabile. Comisia va continua să depună eforturi pentru sprijinirea dezvoltării metodologiei de evaluare.

| 117. | În ceea ce privește modalitățile de organizare, Comisia consideră că:






  — | (prima teză) comisiile de evaluare trebuie convocate cât de devreme posibil, în vederea efectuării unei evaluări specifice. Comisiile de evaluare speciale, convocate pentru un motiv specific, au totuși mai multe șanse de a furniza rezultate în ceea ce privește claritatea și prioritatea; |
| --- | --- | --- |

117.

În ceea ce privește modalitățile de organizare, Comisia consideră că:

—

(prima teză) comisiile de evaluare trebuie convocate cât de devreme posibil, în vederea efectuării unei evaluări specifice. Comisiile de evaluare speciale, convocate pentru un motiv specific, au totuși mai multe șanse de a furniza rezultate în ceea ce privește claritatea și prioritatea;

| — | (a doua teză) coordonarea dintre direcțiile generale care pun în aplicare programele-cadru trebuie consolidată. Pe lângă noua strategie de evaluare a PC7, aceasta se va realiza mai degrabă prin utilizarea structurilor specifice de coordonare pentru a completa „Rețeaua de evaluare a activităților CDT” internă a Comisei, decât prin înființarea unui birou de evaluare comun. |
| --- | --- |

—

(a doua teză) coordonarea dintre direcțiile generale care pun în aplicare programele-cadru trebuie consolidată. Pe lângă noua strategie de evaluare a PC7, aceasta se va realiza mai degrabă prin utilizarea structurilor specifice de coordonare pentru a completa „Rețeaua de evaluare a activităților CDT” internă a Comisei, decât prin înființarea unui birou de evaluare comun.

---

(1)  Comunicarea Comisiei către Consiliul European de primăvară – Punerea în aplicare a Strategiei revizuite de la Lisabona privind creșterea și ocuparea forței de muncă [COM(2006) 816].

(2)  De exemplu, propunerea Comisiei pentru PC7 a fost elaborată pe baza unui studiu de impact ex ante detaliat, care conținea modelări econometrice ale impacturilor potențiale ale activităților de cercetare în probleme, precum creșterea economică și crearea locurilor de muncă [a se vedea Comisia Europeană, Document de lucru al personalului Comisiei, „Studiu de impact și evaluare ex ante a proiectelor de decizie a Consiliului și a Parlamentului European privind cel de Al șaptelea program-cadru (CE și Euratom)”, SEC(2005) 430]. Deciziile PC7 oferă o structură clară care asamblează obiectivele, logica și activitățile. În plus, deciziile privind programele specifice ale PC7 stabilesc obiectivele, abordarea și activitățile.

(3)  „Cadrul de evaluare a calității” este disponibil la adresa de internet: http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Comisia Europeană, DG Buget, „Evaluarea activităților UE – Ghid practic pentru serviciile Comisiei”, iulie 2004, disponibil la adresa de internet: http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, „What the Evaluation Record tells us about the Framework Programme Performance” – (Ce spune evaluarea despre performanța programului-cadru), 2004.

(6)  DG Cercetare, „Structuring Effects of Community Research – The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation” [Efectele structurale ale cercetării comunitare – impactul programului-cadru asupra constituirii rețelei de cercetare și dezvoltare tehnologică (CDT)], 2007; DG Societate Informațională și Mass-media „Effectiveness of IST-RTD Impacts on the EU Innovation System” (Eficacitatea impacturilor TSI-CDT asupra sistemului de inovare al UE), 2007.

(7)  A se vedea C. Mandl, „Evaluating Evaluations or The Case for Action Research” (Evaluarea evaluărilor sau pledoarie pentru cercetarea prin acțiune), Austrian Platform Newsletter, nr. 30, iunie 2007.

(8)  A se vedea, de exemplu, Comisia Europeană, Centrul comun de cercetare, „Assessing the Socio-Economic Impact of RTD-Policies” (Evaluarea impactului socioeconomic al politicilor în domeniul CDT), (EPUB), 2002, și University of Manchester, „Assessing the Socio-economic
  Impacts of the Framework Programme” (Evaluarea impactului socioeconomic al programului-cadru), (ASIF), 2002, ambele disponibile la adresa de internet: http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Aceste rapoarte au fost larg difuzate și puse la dispoziția contractanților și experților care efectuează studiile de evaluare în numele Comisiei.

---