# Gazzetta ufficiale C 26/2008

| | ISSN 1725-2466 |
| --- | --- |
| Gazzetta ufficiale
  dell’Unione europea | C 26 |
| | |
| Edizione in lingua italiana | Comunicazioni e informazioni | 51o anno30 gennaio 2008 |

ISSN 1725-2466

Gazzetta ufficiale

dell’Unione europea

C 26

Edizione in lingua italiana

Comunicazioni e informazioni

51o anno30 gennaio 2008

---

| Numero d'informazione | Sommario | pagina |
| --- | --- | --- |
| | IV   Informazioni |
| | INFORMAZIONI PROVENIENTI DALLE ISTITUZIONI E DAGLI ORGANI DELL'UNIONE EUROPEA |
| | Corte dei conti |
| 2008/C 026/01 | Relazione speciale n. 9/2007 sulla valutazione dei programmi quadro comunitari in materia di ricerca e sviluppo tecnologico (RST) — L’approccio della Commissione potrebbe essere migliorato? corredata delle risposte della Commissione | 1 |

Numero d'informazione

Sommario

pagina

IV   Informazioni

INFORMAZIONI PROVENIENTI DALLE ISTITUZIONI E DAGLI ORGANI DELL'UNIONE EUROPEA

Corte dei conti

2008/C 026/01

Relazione speciale n. 9/2007 sulla valutazione dei programmi quadro comunitari in materia di ricerca e sviluppo tecnologico (RST) — L’approccio della Commissione potrebbe essere migliorato? corredata delle risposte della Commissione

1

| IT | |
| --- | --- |

IT

---

IV Informazioni

INFORMAZIONI PROVENIENTI DALLE ISTITUZIONI E DAGLI ORGANI DELL'UNIONE EUROPEA

Corte dei conti

| 30.1.2008 | IT | Gazzetta ufficiale dell’Unione europea | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

IT

Gazzetta ufficiale dell’Unione europea

C 26/1

---

RELAZIONE SPECIALE N. 9/2007

sulla «valutazione dei programmi quadro comunitari in materia di ricerca e sviluppo tecnologico (RST) — L’approccio della Commissione potrebbe essere migliorato? »corredata delle risposte della Commissione

(a norma dell'articolo 248, paragrafo 4, secondo comma, trattato CE)

(2008/C 26/01)

INDICE

| I-V | SINTESI |
| --- | --- |

I-V

| 1-14 | INTRODUZIONE |
| --- | --- |

1-14

| 1-7 | Il ruolo dell’Unione europea nel sostenere le attività di RST |
| --- | --- |

1-7

| 8-14 | Valutazione e monitoraggio dei programmi quadro |
| --- | --- |

8-14

| 15-18 | ESTENSIONE E APPROCCIO DELL'AUDIT |
| --- | --- |

15-18

| 19-109 | OSSERVAZIONI DI AUDIT |
| --- | --- |

19-109

| 19-37 | La logica d’intervento, la fissazione degli obiettivi e gli indicatori di performance |
| --- | --- |

19-37

| 38-49 | La strategia di valutazione |
| --- | --- |

38-49

| 50-68 | L’organizzazione della valutazione dei programmi quadro |
| --- | --- |

50-68

| 69-97 | Metodologie e tecniche di valutazione |
| --- | --- |

69-97

| 98-109 | Diffusione e utilizzazione delle risultanze della valutazione |
| --- | --- |

98-109

| 110-118 | CONCLUSIONE GENERALE |
| --- | --- |

110-118

Allegato I: Misurazione dell’impatto e dei risultati dell’intervento pubblico nell’RST

Allegato II: Disposizioni relative al monitoraggio e alla valutazione nelle decisioni legislative concernenti i PQ dal 4o al 7o

Allegato III: Principali differenze di valutazione ex post dei programmi di ricerca tra UE (4o PQ-6o PQ), Stati Uniti e Canada

Allegato IV: Struttura possibile del gruppo di esperti responsabile del 7o PQ

Risposte della Commissione

SINTESI

| I. | I programmi quadro (PQ) comunitari di RST costituiscono la principale fonte di finanziamento pubblico della ricerca nell’Unione europea. La Commissione è responsabile della gestione dei PQ e della valutazione dei loro risultati. |
| --- | --- |

I.

I programmi quadro (PQ) comunitari di RST costituiscono la principale fonte di finanziamento pubblico della ricerca nell’Unione europea. La Commissione è responsabile della gestione dei PQ e della valutazione dei loro risultati.

| II. | L’audit ha riguardato le disposizioni relative alle attività di monitoraggio e valutazione in vigore dal 1995 per gli ultimi tre periodi di programmazione (4o, 5o e 6o PQ) e anche, brevemente, le disposizioni adottate per il 7o PQ (2007-2013). L’audit è stato espletato con l’organo contabile dell’EFTA e con l’assistenza di esperti esterni. |
| --- | --- |

II.

L’audit ha riguardato le disposizioni relative alle attività di monitoraggio e valutazione in vigore dal 1995 per gli ultimi tre periodi di programmazione (4o, 5o e 6o PQ) e anche, brevemente, le disposizioni adottate per il 7o PQ (2007-2013). L’audit è stato espletato con l’organo contabile dell’EFTA e con l’assistenza di esperti esterni.

| III. | L'audit si proponeva di determinare se l’approccio della Commissione alla valutazione dei risultati dei PQ fosse adeguato. In tale contesto, la Corte ha verificato se la Commissione rispettasse le disposizioni normative relative alla valutazione e se il sistema di valutazione e di monitoraggio rispondesse alle aspettative delle parti interessate. La Corte ha esaminato in particolare se:






  i) | esistesse una logica di intervento alla base dei PQ e dei loro programmi costitutivi, che potesse formare una solida base per la valutazione e il monitoraggio; |
| --- | --- | --- |

III.

L'audit si proponeva di determinare se l’approccio della Commissione alla valutazione dei risultati dei PQ fosse adeguato. In tale contesto, la Corte ha verificato se la Commissione rispettasse le disposizioni normative relative alla valutazione e se il sistema di valutazione e di monitoraggio rispondesse alle aspettative delle parti interessate. La Corte ha esaminato in particolare se:

i)

esistesse una logica di intervento alla base dei PQ e dei loro programmi costitutivi, che potesse formare una solida base per la valutazione e il monitoraggio;

| ii) | la Commissione avesse definito una strategia di valutazione per i PQ; |
| --- | --- |

ii)

la Commissione avesse definito una strategia di valutazione per i PQ;

| iii) | la struttura organizzativa del sistema di valutazione dei PQ posto in essere dalla Commissione assicurasse che la valutazione fosse coordinata in modo appropriato, fosse dotata di un adeguato livello di risorse e fosse giudicata sufficientemente indipendente dalle parti interessate; |
| --- | --- |

iii)

la struttura organizzativa del sistema di valutazione dei PQ posto in essere dalla Commissione assicurasse che la valutazione fosse coordinata in modo appropriato, fosse dotata di un adeguato livello di risorse e fosse giudicata sufficientemente indipendente dalle parti interessate;

| iv) | le metodologie applicate per la valutazione fossero soddisfacenti e |
| --- | --- |

iv)

le metodologie applicate per la valutazione fossero soddisfacenti e

| v) | le attività di valutazione e di monitoraggio fornissero informazioni e analisi utilizzabili per migliorare i programmi in corso ed elaborare i PQ futuri. |
| --- | --- |

v)

le attività di valutazione e di monitoraggio fornissero informazioni e analisi utilizzabili per migliorare i programmi in corso ed elaborare i PQ futuri.

| IV. | La Corte formula le seguenti constatazioni e conclusioni:






  i) | l’assenza di una logica d’intervento esplicita, combinata con obiettivi dei programmi definiti in maniera insoddisfacente e una misurazione delle performance carente, hanno compromesso l’efficacia della valutazione e del monitoraggio; |
| --- | --- | --- |

IV.

La Corte formula le seguenti constatazioni e conclusioni:

i)

l’assenza di una logica d’intervento esplicita, combinata con obiettivi dei programmi definiti in maniera insoddisfacente e una misurazione delle performance carente, hanno compromesso l’efficacia della valutazione e del monitoraggio;

| ii) | la mancanza di una strategia di valutazione globale, concordata dalle «direzioni generali della ricerca» responsabili dell’attuazione dei PQ, ha fatto sì che i diversi servizi della Commissione adottassero approcci incoerenti. Ciò è illustrato in particolare da una insufficiente attività di valutazione per parti significative dei PQ; |
| --- | --- |

ii)

la mancanza di una strategia di valutazione globale, concordata dalle «direzioni generali della ricerca» responsabili dell’attuazione dei PQ, ha fatto sì che i diversi servizi della Commissione adottassero approcci incoerenti. Ciò è illustrato in particolare da una insufficiente attività di valutazione per parti significative dei PQ;

| iii) | la valutazione dei PQ è decentrata, gli attuali meccanismi di coordinamento tra le direzioni generali responsabili dell’attuazione dei PQ non sono efficaci e i servizi centrali della Commissione non svolgono alcun ruolo esecutivo al riguardo. In termini generali, tuttavia, le «direzioni generali della ricerca» hanno rispettato le disposizioni formali della Commissione per quanto riguarda la valutazione. Il ricorso a gruppi di esperti esterni di alto livello, nominati dalla Commissione per le valutazioni importanti, si adattava bene al contesto comunitario. Tuttavia, tali gruppi temporanei non sono stati implicati nel processo in una fase sufficientemente precoce da influenzare la raccolta degli elementi probatori e non hanno avuto molte possibilità di seguire nel tempo le questioni pertinenti. Utilizzando un solo gruppo di esperti per l'intero PQ (oltre a un gruppo per un programma specifico), non è stata prestata sufficiente attenzione a questioni specifiche connesse con i diversi settori scientifici interessati dai PQ; |
| --- | --- |

iii)

la valutazione dei PQ è decentrata, gli attuali meccanismi di coordinamento tra le direzioni generali responsabili dell’attuazione dei PQ non sono efficaci e i servizi centrali della Commissione non svolgono alcun ruolo esecutivo al riguardo. In termini generali, tuttavia, le «direzioni generali della ricerca» hanno rispettato le disposizioni formali della Commissione per quanto riguarda la valutazione. Il ricorso a gruppi di esperti esterni di alto livello, nominati dalla Commissione per le valutazioni importanti, si adattava bene al contesto comunitario. Tuttavia, tali gruppi temporanei non sono stati implicati nel processo in una fase sufficientemente precoce da influenzare la raccolta degli elementi probatori e non hanno avuto molte possibilità di seguire nel tempo le questioni pertinenti. Utilizzando un solo gruppo di esperti per l'intero PQ (oltre a un gruppo per un programma specifico), non è stata prestata sufficiente attenzione a questioni specifiche connesse con i diversi settori scientifici interessati dai PQ;

| iv) | gli orientamenti metodologici forniti non erano adeguati, i valutatori hanno incontrato difficoltà nel raccogliere i dati pertinenti e non sono stati svolti studi di valutazione che trattassero gli effetti e gli impatti dei PQ a più lungo termine, piuttosto che questioni a breve termine relative all’attuazione dei programmi e |
| --- | --- |

iv)

gli orientamenti metodologici forniti non erano adeguati, i valutatori hanno incontrato difficoltà nel raccogliere i dati pertinenti e non sono stati svolti studi di valutazione che trattassero gli effetti e gli impatti dei PQ a più lungo termine, piuttosto che questioni a breve termine relative all’attuazione dei programmi e

| v) | a causa delle carenze sopra elencate, e dato che spesso le valutazioni sono state effettuate troppo presto per affrontare le problematiche più importanti, il sistema di valutazione dei PQ posto in essere dalla Commissione si è rivelato scarsamente utile per i responsabili della politica, per le parti interessate e persino per la stessa Commissione. Infine, si hanno ben poche informazioni sul conseguimento degli obiettivi dei programmi e sui risultati dei PQ. |
| --- | --- |

v)

a causa delle carenze sopra elencate, e dato che spesso le valutazioni sono state effettuate troppo presto per affrontare le problematiche più importanti, il sistema di valutazione dei PQ posto in essere dalla Commissione si è rivelato scarsamente utile per i responsabili della politica, per le parti interessate e persino per la stessa Commissione. Infine, si hanno ben poche informazioni sul conseguimento degli obiettivi dei programmi e sui risultati dei PQ.

| V. | La Corte raccomanda quanto segue:






  i) | la logica d’intervento dovrebbe essere resa più esplicita nella normativa futura. I presupposti su cui si basa dovrebbero essere spiegati, il legame tra gli obiettivi scientifici e quelli socioeconomici dovrebbe essere chiarito e degli indicatori di performance adeguati dovrebbero essere sviluppati; |
| --- | --- | --- |

V.

La Corte raccomanda quanto segue:

i)

la logica d’intervento dovrebbe essere resa più esplicita nella normativa futura. I presupposti su cui si basa dovrebbero essere spiegati, il legame tra gli obiettivi scientifici e quelli socioeconomici dovrebbe essere chiarito e degli indicatori di performance adeguati dovrebbero essere sviluppati;

| ii) | le direzioni generali responsabili dell'attuazione dei PQ dovrebbero sviluppare (e concordare) una strategia di valutazione globale. Tale strategia dovrebbe comportare, in particolare, un approccio coerente per quanto riguarda il livello minimo in cui effettuare una valutazione dettagliata, così da tenere conto delle specificità di ogni campo scientifico; |
| --- | --- |

ii)

le direzioni generali responsabili dell'attuazione dei PQ dovrebbero sviluppare (e concordare) una strategia di valutazione globale. Tale strategia dovrebbe comportare, in particolare, un approccio coerente per quanto riguarda il livello minimo in cui effettuare una valutazione dettagliata, così da tenere conto delle specificità di ogni campo scientifico;

| iii) | si dovrebbe considerare la creazione di un ufficio comune di valutazione, al fine di coordinare le attività di valutazione delle «direzioni generali della ricerca» per il PQ nel suo complesso e di creare un sistema di gruppi (e sottogruppi) composti da esperti esterni. Tali gruppi dovrebbero essere costituiti con un anticipo sufficiente perché assistano efficacemente la Commissione, e continuino a farlo durante tutta la durata del periodo di programmazione e successivamente; |
| --- | --- |

iii)

si dovrebbe considerare la creazione di un ufficio comune di valutazione, al fine di coordinare le attività di valutazione delle «direzioni generali della ricerca» per il PQ nel suo complesso e di creare un sistema di gruppi (e sottogruppi) composti da esperti esterni. Tali gruppi dovrebbero essere costituiti con un anticipo sufficiente perché assistano efficacemente la Commissione, e continuino a farlo durante tutta la durata del periodo di programmazione e successivamente;

| iv) | i requisiti relativi ai dati necessari per la valutazione e il monitoraggio dovrebbero essere analizzati in modo approfondito e dovrebbe essere esteso maggiormente l’utilizzo di altre fonti esistenti di dati. Inoltre, la Commissione dovrebbe razionalizzare le disposizioni in materia di comunicazione di informazioni da parte dei partecipanti. Infine, dovrebbe elaborare un manuale di valutazione completo per i PQ e sviluppare una più vasta gamma di metodologie e tecniche da utilizzare nel quadro delle valutazioni in tale settore e |
| --- | --- |

iv)

i requisiti relativi ai dati necessari per la valutazione e il monitoraggio dovrebbero essere analizzati in modo approfondito e dovrebbe essere esteso maggiormente l’utilizzo di altre fonti esistenti di dati. Inoltre, la Commissione dovrebbe razionalizzare le disposizioni in materia di comunicazione di informazioni da parte dei partecipanti. Infine, dovrebbe elaborare un manuale di valutazione completo per i PQ e sviluppare una più vasta gamma di metodologie e tecniche da utilizzare nel quadro delle valutazioni in tale settore e

| v) | la Commissione dovrebbe stabilire il tipo e la portata della valutazione che si può ragionevolmente richiedere per le date indicate nella normativa che disciplina il 7o PQ; inoltre, dovrebbe chiarire come le valutazioni possano essere utilizzate per adeguare i programmi («learning programmes») e quale contributo possano apportare alle decisioni politiche. |
| --- | --- |

v)

la Commissione dovrebbe stabilire il tipo e la portata della valutazione che si può ragionevolmente richiedere per le date indicate nella normativa che disciplina il 7o PQ; inoltre, dovrebbe chiarire come le valutazioni possano essere utilizzate per adeguare i programmi («learning programmes») e quale contributo possano apportare alle decisioni politiche.

INTRODUZIONE

Il ruolo dell’Unione europea nel sostenere le attività di RST

| 1. | La ricerca e lo sviluppo tecnologico (RST) (1) sono il principale elemento motore dell’innovazione e del progresso scientifico e tecnologico e, in quanto tali, contribuiscono in modo importante a migliorare il tenore di vita. L’intervento pubblico nella RST è generalmente giustificato come una misura correttiva dei cosiddetti «fallimenti del mercato»: il sostegno pubblico riduce le incertezze e fornisce investimenti laddove la ricerca sia un bene pubblico o siano presenti esternalità significative. |
| --- | --- |

1.

La ricerca e lo sviluppo tecnologico (RST) (1) sono il principale elemento motore dell’innovazione e del progresso scientifico e tecnologico e, in quanto tali, contribuiscono in modo importante a migliorare il tenore di vita. L’intervento pubblico nella RST è generalmente giustificato come una misura correttiva dei cosiddetti «fallimenti del mercato»: il sostegno pubblico riduce le incertezze e fornisce investimenti laddove la ricerca sia un bene pubblico o siano presenti esternalità significative.

| 2. | L’articolo 163 del trattato CE sancisce il ruolo di sostegno della Comunità alla RST, disponendo che «la Comunità si propone l’obiettivo di rafforzare le basi scientifiche e tecnologiche dell’industria della Comunità, di favorire lo sviluppo della sua competitività internazionale e di promuovere le azioni di ricerca necessarie ...» Gli articoli 164-173 definiscono le attività da svolgere in tale contesto, nonché la portata e l’attuazione dei programmi quadro (PQ) pluriennali di RST. Spetta alla Commissione presentare proposte per i PQ, mentre le decisioni a tale riguardo e le norme relative alla partecipazione e alla divulgazione dei risultati della ricerca sono adottate in codecisione dal Parlamento europeo e dal Consiglio. Quest’ultimo adotta, da solo, i programmi specifici. I PQ sono attuati congiuntamente da sei direzioni generali (DG), le cosiddette «direzioni generali della ricerca» (2). |
| --- | --- |

2.

L’articolo 163 del trattato CE sancisce il ruolo di sostegno della Comunità alla RST, disponendo che «la Comunità si propone l’obiettivo di rafforzare le basi scientifiche e tecnologiche dell’industria della Comunità, di favorire lo sviluppo della sua competitività internazionale e di promuovere le azioni di ricerca necessarie ...» Gli articoli 164-173 definiscono le attività da svolgere in tale contesto, nonché la portata e l’attuazione dei programmi quadro (PQ) pluriennali di RST. Spetta alla Commissione presentare proposte per i PQ, mentre le decisioni a tale riguardo e le norme relative alla partecipazione e alla divulgazione dei risultati della ricerca sono adottate in codecisione dal Parlamento europeo e dal Consiglio. Quest’ultimo adotta, da solo, i programmi specifici. I PQ sono attuati congiuntamente da sei direzioni generali (DG), le cosiddette «direzioni generali della ricerca» (2).

| 3. | Nell’ampia gamma di politiche attuate nell’Unione europea per rafforzare l’innovazione e la competitività, i PQ sono lo strumento finanziario più importante che contribuisce alla strategia di Lisbona (3) ed all’obiettivo di Barcellona (4) a livello comunitario. |
| --- | --- |

3.

Nell’ampia gamma di politiche attuate nell’Unione europea per rafforzare l’innovazione e la competitività, i PQ sono lo strumento finanziario più importante che contribuisce alla strategia di Lisbona (3) ed all’obiettivo di Barcellona (4) a livello comunitario.

Image

| 4. | Attraverso i PQ, la Comunità concede fondi a ricercatori dell’Unione europea, dei paesi associati e di organizzazioni internazionali. Il bilancio di tali programmi è aumentato in modo significativo nel corso degli anni fino a raggiungere 7 217 milioni di euro all’anno con il 7o PQ, rispetto a 2 761 milioni di euro nel quadro del 4o PQ (cfr. grafico 1). In termini di stanziamenti di bilancio, i PQ rappresentano il maggiore settore a gestione centralizzata e diretta all’interno della Commissione (5). |
| --- | --- |

4.

Attraverso i PQ, la Comunità concede fondi a ricercatori dell’Unione europea, dei paesi associati e di organizzazioni internazionali. Il bilancio di tali programmi è aumentato in modo significativo nel corso degli anni fino a raggiungere 7 217 milioni di euro all’anno con il 7o PQ, rispetto a 2 761 milioni di euro nel quadro del 4o PQ (cfr. grafico 1). In termini di stanziamenti di bilancio, i PQ rappresentano il maggiore settore a gestione centralizzata e diretta all’interno della Commissione (5).

| 5. | I PQ differiscono da molti programmi nazionali in quanto interessano sia la ricerca di base che la ricerca applicata e prevedono la partecipazione dell’industria e di enti pubblici di ricerca (6). Comprendono programmi (e sottoprogrammi) specifici relativi a campi scientifici generali. Tali programmi comprendono generalmente una serie di azioni che si concentrano su aree scientifiche più specifiche. Tali azioni formano oggetto di inviti a presentare proposte finalizzate all’attuazione di progetti (chiamati «azioni indirette»). In tal modo sono finanziati, per ciascun settore, centinaia di singoli progetti. |
| --- | --- |

5.

I PQ differiscono da molti programmi nazionali in quanto interessano sia la ricerca di base che la ricerca applicata e prevedono la partecipazione dell’industria e di enti pubblici di ricerca (6). Comprendono programmi (e sottoprogrammi) specifici relativi a campi scientifici generali. Tali programmi comprendono generalmente una serie di azioni che si concentrano su aree scientifiche più specifiche. Tali azioni formano oggetto di inviti a presentare proposte finalizzate all’attuazione di progetti (chiamati «azioni indirette»). In tal modo sono finanziati, per ciascun settore, centinaia di singoli progetti.

| 6. | La quota globale dei PQ nel totale dei finanziamenti pubblici di RST nell’Unione europea e negli Stati membri si colloca tra il 4 % e il 5 %. Nondimeno, il loro impatto sul tipo di attività di ricerca svolto in Europa è notevolmente superiore, poiché le sovvenzioni comunitarie rappresentano in genere solo una parte dei finanziamenti totali destinati a un progetto. Inoltre, quando richiedono un finanziamento, i ricercatori devono dimostrare che i loro progetti rispondono agli obiettivi indicati negli inviti a presentare proposte. In tal modo, i PQ incentivano ad orientare le attività di RST verso obiettivi comunitari specifici. |
| --- | --- |

6.

La quota globale dei PQ nel totale dei finanziamenti pubblici di RST nell’Unione europea e negli Stati membri si colloca tra il 4 % e il 5 %. Nondimeno, il loro impatto sul tipo di attività di ricerca svolto in Europa è notevolmente superiore, poiché le sovvenzioni comunitarie rappresentano in genere solo una parte dei finanziamenti totali destinati a un progetto. Inoltre, quando richiedono un finanziamento, i ricercatori devono dimostrare che i loro progetti rispondono agli obiettivi indicati negli inviti a presentare proposte. In tal modo, i PQ incentivano ad orientare le attività di RST verso obiettivi comunitari specifici.

| 7. | Negli ultimi anni sono state introdotte modifiche sostanziali nei PQ a causa di:






  — | nuove sfide politiche (la strategia di Lisbona e gli obiettivi di Barcellona, la creazione di un'area di ricerca europea (ARE) e il ricorso crescente al metodo del coordinamento aperto (7) nelle politiche di ricerca e di innovazione); |
| --- | --- | --- |

7.

Negli ultimi anni sono state introdotte modifiche sostanziali nei PQ a causa di:

—

nuove sfide politiche (la strategia di Lisbona e gli obiettivi di Barcellona, la creazione di un'area di ricerca europea (ARE) e il ricorso crescente al metodo del coordinamento aperto (7) nelle politiche di ricerca e di innovazione);

| — | l’evoluzione dell’orientamento dei PQ, da semplice soluzione di problemi tecnici nell’ambito del 4o PQ a strumento per affrontare problemi sociali specifici nel quadro del 5o PQ, ad incentivo alla cooperazione tra organizzazioni di ricerca nell’ambito dell’ARE e contributo allo sviluppo di un'economia e una società basata sulla conoscenza nell’ambito del 6o e del 7o PQ; |
| --- | --- |

—

l’evoluzione dell’orientamento dei PQ, da semplice soluzione di problemi tecnici nell’ambito del 4o PQ a strumento per affrontare problemi sociali specifici nel quadro del 5o PQ, ad incentivo alla cooperazione tra organizzazioni di ricerca nell’ambito dell’ARE e contributo allo sviluppo di un'economia e una società basata sulla conoscenza nell’ambito del 6o e del 7o PQ;

| — | l’allungamento dei periodi di programmazione (in precedenza 4 anni, attualmente 7 anni per il 7o PQ, in linea con le prospettive finanziarie 2007-2013); |
| --- | --- |

—

l’allungamento dei periodi di programmazione (in precedenza 4 anni, attualmente 7 anni per il 7o PQ, in linea con le prospettive finanziarie 2007-2013);

| — | un numero maggiore di Stati membri e paesi partecipanti; |
| --- | --- |

—

un numero maggiore di Stati membri e paesi partecipanti;

| — | un aumento dei finanziamenti, in particolare nell’ambito delle attuali prospettive finanziarie; |
| --- | --- |

—

un aumento dei finanziamenti, in particolare nell’ambito delle attuali prospettive finanziarie;

| — | l’istituzione del Consiglio europeo della ricerca (CER) e la delega delle attività di gestione del programma alle agenzie esecutive a partire dal 7o PQ e |
| --- | --- |

—

l’istituzione del Consiglio europeo della ricerca (CER) e la delega delle attività di gestione del programma alle agenzie esecutive a partire dal 7o PQ e

| — | l’utilizzo crescente di strumenti di finanziamento su larga scala (ad esempio, reti di eccellenza, progetti integrati, progetti da eseguirsi nell'ambito dell'articolo 169, iniziative tecnologiche congiunte). |
| --- | --- |

—

l’utilizzo crescente di strumenti di finanziamento su larga scala (ad esempio, reti di eccellenza, progetti integrati, progetti da eseguirsi nell'ambito dell'articolo 169, iniziative tecnologiche congiunte).

Valutazione e monitoraggio dei programmi quadro

| 8. | La Commissione è responsabile dell'attuazione dei programmi e della valutazione dei loro risultati (8). Presso la Commissione, la valutazione è decentrata e affidata alle direzioni generali, mentre i servizi centrali (in particolare la DG Bilancio e il Segretariato generale) assicurano il sostegno ed il coordinamento. |
| --- | --- |

8.

La Commissione è responsabile dell'attuazione dei programmi e della valutazione dei loro risultati (8). Presso la Commissione, la valutazione è decentrata e affidata alle direzioni generali, mentre i servizi centrali (in particolare la DG Bilancio e il Segretariato generale) assicurano il sostegno ed il coordinamento.

| 9. | La presente relazione utilizza le definizioni formulate dalla Commissione, secondo cui la «valutazione» è il giudizio sulle azioni intraprese in base ai loro risultati, agli impatti e ai bisogni che mirano a soddisfare (9), mentre il «monitoraggio» è la comunicazione di informazioni sull'attuazione dei programmi e dei progetti in corso per rispondere alle esigenze di gestione (10). Questa stessa distinzione tra le due attività è ripresa nella normativa che attualmente disciplina il 7o PQ. |
| --- | --- |

9.

La presente relazione utilizza le definizioni formulate dalla Commissione, secondo cui la «valutazione» è il giudizio sulle azioni intraprese in base ai loro risultati, agli impatti e ai bisogni che mirano a soddisfare (9), mentre il «monitoraggio» è la comunicazione di informazioni sull'attuazione dei programmi e dei progetti in corso per rispondere alle esigenze di gestione (10). Questa stessa distinzione tra le due attività è ripresa nella normativa che attualmente disciplina il 7o PQ.

| 10. | Nella presente relazione è stata utilizzata la seguente terminologia per descrivere i risultati delle attività di RST:






  — | le «realizzazioni» sono conoscenze, beni e servizi direttamente prodotti a seguito dell'intervento pubblico (pubblicazioni, documenti di conferenze, brevetti, licenze, prototipi, norme, scienziati qualificati, ecc.); |
| --- | --- | --- |

10.

Nella presente relazione è stata utilizzata la seguente terminologia per descrivere i risultati delle attività di RST:

—

le «realizzazioni» sono conoscenze, beni e servizi direttamente prodotti a seguito dell'intervento pubblico (pubblicazioni, documenti di conferenze, brevetti, licenze, prototipi, norme, scienziati qualificati, ecc.);

| — | gli «effetti» sono i risultati ritardati prodotti dall'utilizzo delle realizzazioni da parte degli utenti e |
| --- | --- |

—

gli «effetti» sono i risultati ritardati prodotti dall'utilizzo delle realizzazioni da parte degli utenti e

| — | gli «impatti» sono i cambiamenti politici e socioeconomici a lungo termine indotti dall’intervento pubblico. |
| --- | --- |

—

gli «impatti» sono i cambiamenti politici e socioeconomici a lungo termine indotti dall’intervento pubblico.

Riquadro 1Esempio del «Sistema globale per la comunicazione mobile» (GSM, Global System for Mobile communications)In questo caso, le «realizzazioni» ottenute grazie al finanziamento comunitario sono i risultati immediati del progetto, come lo sviluppo della norma GSM. L'«effetto» è la sua accettazione come norma della telefonia cellulare digitale in Europa e nel resto del mondo, che ha fornito un notevole contributo allo sviluppo dell’industria delle telecomunicazioni. Infine, gli «impatti» sono le conseguenze economiche, sociali e politiche dell’utilizzo a livello internazionale di tale tecnologia. Tra questi, sono compresi il contributo alla creazione di posti di lavoro nelle telecomunicazioni e settori collegati e l’accresciuta importanza di questo settore industriale per l’economia europea. Infine, il sistema GSM ha offerto anche un nuovo modo di comunicare alle persone.

| 11. | La valutazione di tali risultati, tuttavia, presenta una serie di difficoltà metodologiche (cfr. allegato I). I cambiamenti socioeconomici sono complessi e, più in particolare, spesso è difficile stabilire il nesso tra un’attività di ricerca e gli effetti e gli impatti osservati. Tuttavia, tali difficoltà metodologiche, pur rappresentando una sfida notevole, non impediscono necessariamente una valutazione efficace. |
| --- | --- |

11.

La valutazione di tali risultati, tuttavia, presenta una serie di difficoltà metodologiche (cfr. allegato I). I cambiamenti socioeconomici sono complessi e, più in particolare, spesso è difficile stabilire il nesso tra un’attività di ricerca e gli effetti e gli impatti osservati. Tuttavia, tali difficoltà metodologiche, pur rappresentando una sfida notevole, non impediscono necessariamente una valutazione efficace.

| 12. | La Commissione dispone dagli anni 1980 di un sistema di monitoraggio e valutazione dei PQ (11). A partire dal 4o PQ, a metà degli anni 1990, il sistema di monitoraggio e valutazione ha compreso una serie di attività parzialmente correlate, tra cui:






  — | un monitoraggio annuale (incentrato soprattutto sull’attuazione dei programmi) e |
| --- | --- | --- |

12.

La Commissione dispone dagli anni 1980 di un sistema di monitoraggio e valutazione dei PQ (11). A partire dal 4o PQ, a metà degli anni 1990, il sistema di monitoraggio e valutazione ha compreso una serie di attività parzialmente correlate, tra cui:

—

un monitoraggio annuale (incentrato soprattutto sull’attuazione dei programmi) e

| — | valutazioni quinquennali delle attività relative ai PQ (e, a partire dal 6o PQ, valutazioni supplementari focalizzate su temi specifici). |
| --- | --- |

—

valutazioni quinquennali delle attività relative ai PQ (e, a partire dal 6o PQ, valutazioni supplementari focalizzate su temi specifici).

Entrambe le attività dovevano essere realizzate con l’assistenza di esperti esterni (cfr. grafico 2 e allegato II).

Grafico 2

Requisiti fondamentali del monitoraggio e della valutazione — PQ dal 4o al 7o

| 4o PQ (1995-1998) | 5o PQ (1999-2002) | 6o PQ (2003-2006) | 7o PQ (2007-2013) |
| --- | --- | --- | --- |
| due valutazioni (intermedia e finale), in ciascun caso per i 20 sottoprogrammi più il PQ; la valutazione finale si sovrappone alla valutazione intermedia del 5o PQ | due valutazioni simultanee (intermedie), per ognuno dei 7 programmi specifici più il PQ | una valutazione per il PQ ed i suoi 3 programmi specifici (intermedia), ma non specificamente per i 20 sottoprogrammi, integrata da una valutazione specifica e da relazioni regolari sullo stato di avanzamento (di monitoraggio) presentate regolarmente | almeno cinque valutazioni (ex ante, intermedie e finali), comprese relazioni specifiche sullo stato di avanzamento prima della valutazione intermedia |
| 1. | Ex ante: no |

4o PQ (1995-1998)

5o PQ (1999-2002)

6o PQ (2003-2006)

7o PQ (2007-2013)

due valutazioni (intermedia e finale), in ciascun caso per i 20 sottoprogrammi più il PQ; la valutazione finale si sovrappone alla valutazione intermedia del 5o PQ

due valutazioni simultanee (intermedie), per ognuno dei 7 programmi specifici più il PQ

una valutazione per il PQ ed i suoi 3 programmi specifici (intermedia), ma non specificamente per i 20 sottoprogrammi, integrata da una valutazione specifica e da relazioni regolari sullo stato di avanzamento (di monitoraggio) presentate regolarmente

almeno cinque valutazioni (ex ante, intermedie e finali), comprese relazioni specifiche sullo stato di avanzamento prima della valutazione intermedia

1.

Ex ante: no

| 1. | Ex ante: no |
| --- | --- |

1.

Ex ante: no

| 1. | Ex ante: no |
| --- | --- |

1.

Ex ante: no

| 1. | Ex ante:
  incorporata nella valutazione dell’impatto della proposta della Commissione concernente il 7o PQ (2005) |
| --- | --- |

1.

incorporata nella valutazione dell’impatto della proposta della Commissione concernente il 7o PQ (2005)

| 2. | Intermedia:






  — | valutazione quinquennale: a metà percorso del PQ, prima del PQ successivo (1997) |
| --- | --- | --- |

2.

—

valutazione quinquennale: a metà percorso del PQ, prima del PQ successivo (1997)

| 2. | Intermedia:






  — | valutazione quinquennale: prima della presentazione di proposte concernenti il PQ successivo (2000) |
| --- | --- | --- |

2.

—

valutazione quinquennale: prima della presentazione di proposte concernenti il PQ successivo (2000)

| — | valutazione dei progressi a metà percorso del PQ (2001) |
| --- | --- |

—

valutazione dei progressi a metà percorso del PQ (2001)

| 2. | Intermedia:






  — | valutazione dell’efficacia degli strumenti (2004) |
| --- | --- | --- |

2.

—

valutazione dell’efficacia degli strumenti (2004)

| — | valutazione quinquennale, prima della presentazione di proposte concernenti il PQ successivo (2004) |
| --- | --- |

—

valutazione quinquennale, prima della presentazione di proposte concernenti il PQ successivo (2004)

| — | relazioni regolari sullo stato di avanzamento (di monitoraggio) |
| --- | --- |

—

relazioni regolari sullo stato di avanzamento (di monitoraggio)

| 2. | Intermedia:






  — | ex post, 2 anni dopo la fine del PQ precedente (2008) |
| --- | --- | --- |

2.

—

ex post, 2 anni dopo la fine del PQ precedente (2008)

| — | relazione sullo stato di avanzamento prima della valutazione intermedia (prima del 2010) |
| --- | --- |

—

relazione sullo stato di avanzamento prima della valutazione intermedia (prima del 2010)

| — | valutazione intermedia (2010) |
| --- | --- |

—

valutazione intermedia (2010)

| 3. | Finale:






  — | dopo il completamento del PQ (1999) |
| --- | --- | --- |

3.

—

dopo il completamento del PQ (1999)

| 3. | Finale:
  no |
| --- | --- |

3.

no

| 3. | Finale:
  no

  [modificato dalla decisione concernente il 7o PQ] |
| --- | --- |

3.

no

[modificato dalla decisione concernente il 7o PQ]

| 3. | Finale:
  due anni dopo il completamento del PQ (2015), corroborata da studi specifici, dalla valutazione intermedia e da altre attività di valutazione condotte durante il periodo del PQ |
| --- | --- |

3.

due anni dopo il completamento del PQ (2015), corroborata da studi specifici, dalla valutazione intermedia e da altre attività di valutazione condotte durante il periodo del PQ

Fonte: cfr. Allegato II.

| 13. | A tutt'oggi, sono state condotte tre valutazioni quinquennali (12), che hanno dato luogo alle relazioni «Davignon», «Majó» e «Ormala» (rispettivamente nel 1997, 2000 e 2004). Inoltre, la direzione generale Società dell’informazione ha effettuato valutazioni mirate del suo programma specifico. Va sottolineato che le valutazioni quinquennali sono state abbandonate nell'ambito del 7o PQ, abolendo così l'obbligo che le valutazioni principali dovessero concentrarsi sui cinque anni precedenti e, di conseguenza, coprire parti di due periodi di programmazione successivi. Nel 2004, è stata pubblicata anche la relazione «Marimón» (13), una valutazione specifica dell’efficacia dei nuovi strumenti introdotti nel quadro del 6o PQ. |
| --- | --- |

13.

A tutt'oggi, sono state condotte tre valutazioni quinquennali (12), che hanno dato luogo alle relazioni «Davignon», «Majó» e «Ormala» (rispettivamente nel 1997, 2000 e 2004). Inoltre, la direzione generale Società dell’informazione ha effettuato valutazioni mirate del suo programma specifico. Va sottolineato che le valutazioni quinquennali sono state abbandonate nell'ambito del 7o PQ, abolendo così l'obbligo che le valutazioni principali dovessero concentrarsi sui cinque anni precedenti e, di conseguenza, coprire parti di due periodi di programmazione successivi. Nel 2004, è stata pubblicata anche la relazione «Marimón» (13), una valutazione specifica dell’efficacia dei nuovi strumenti introdotti nel quadro del 6o PQ.

| 14. | Il quadro per le attività di valutazione posto in essere dalla Commissione è stato rivisto nel 2000 e nel 2002 (14). Tali comunicazioni sono state aggiornate nel 2007 tenendo conto delle conseguenze della riforma amministrativa della Commissione e del nuovo regolamento finanziario (15). Tali documenti descrivono il ruolo e la funzione di valutazione nel quadro del ciclo completo di pianificazione, programmazione e comunicazione della Commissione; inoltre, stabiliscono un insieme di 21 norme di valutazione e 18 modelli di buone pratiche. Tali documenti esaminano anche l’utilizzo della valutazione nella preparazione e nella semplificazione della normativa comunitaria. |
| --- | --- |

14.

Il quadro per le attività di valutazione posto in essere dalla Commissione è stato rivisto nel 2000 e nel 2002 (14). Tali comunicazioni sono state aggiornate nel 2007 tenendo conto delle conseguenze della riforma amministrativa della Commissione e del nuovo regolamento finanziario (15). Tali documenti descrivono il ruolo e la funzione di valutazione nel quadro del ciclo completo di pianificazione, programmazione e comunicazione della Commissione; inoltre, stabiliscono un insieme di 21 norme di valutazione e 18 modelli di buone pratiche. Tali documenti esaminano anche l’utilizzo della valutazione nella preparazione e nella semplificazione della normativa comunitaria.

ESTENSIONE E APPROCCIO DELL'AUDIT

15.

| 15. | L'obiettivo principale dell’audit era di stabilire se la Commissione disponesse di un approccio adeguato per la valutazione dei risultati dei programmi quadro in materia di RST. |
| --- | --- |

L'obiettivo principale dell’audit era di stabilire se la Commissione disponesse di un approccio adeguato per la valutazione dei risultati dei programmi quadro in materia di RST.

| 16. | A tal fine la Corte ha verificato in quale misura:






  — | i PQ e i programmi che li compongono si basino su una logica di intervento esplicita, che permetta di misurare e valutare realizzazioni, effetti e impatti e che fornisca una solida base per la valutazione e il monitoraggio; |
| --- | --- | --- |

16.

A tal fine la Corte ha verificato in quale misura:

—

i PQ e i programmi che li compongono si basino su una logica di intervento esplicita, che permetta di misurare e valutare realizzazioni, effetti e impatti e che fornisca una solida base per la valutazione e il monitoraggio;

| — | sia stata definita una strategia di valutazione per i PQ al fine di promuovere una valutazione efficace e coerente; |
| --- | --- |

—

sia stata definita una strategia di valutazione per i PQ al fine di promuovere una valutazione efficace e coerente;

| — | la struttura organizzativa del sistema di valutazione assicuri che questo sia coordinato in modo appropriato in tutto il PQ, sia dotato di un adeguato livello di risorse e sia giudicato sufficientemente indipendente dalle parti interessate; |
| --- | --- |

—

la struttura organizzativa del sistema di valutazione assicuri che questo sia coordinato in modo appropriato in tutto il PQ, sia dotato di un adeguato livello di risorse e sia giudicato sufficientemente indipendente dalle parti interessate;

| — | le metodologie utilizzate per la valutazione garantiscano che le questioni pertinenti vengono affrontate in modo appropriato, cosicché la valutazione sia considerata credibile e |
| --- | --- |

—

le metodologie utilizzate per la valutazione garantiscano che le questioni pertinenti vengono affrontate in modo appropriato, cosicché la valutazione sia considerata credibile e

| — | le attività di valutazione e monitoraggio forniscano informazioni ed analisi suscettibili di essere utilizzate per migliorare i programmi in corso («learning programmes», programmi che «imparano» dalle valutazioni) e preparare i futuri PQ. |
| --- | --- |

—

le attività di valutazione e monitoraggio forniscano informazioni ed analisi suscettibili di essere utilizzate per migliorare i programmi in corso («learning programmes», programmi che «imparano» dalle valutazioni) e preparare i futuri PQ.

| 17. | La presente relazione concerne le modalità applicabili al 4o PQ (1995-1998), 5o PQ (1999-2002) e 6o PQ (2003-2006). Esamina anche le disposizioni normative in vigore nel quadro del 7o PQ (2007-2013), ma non fornisce una valutazione del documento «Impact assessment and ex-ante evaluation» della Commissione relativo relativo al 7o PQ (16). Si concentra sul monitoraggio e sulla valutazione ex post dei programmi, e non sulla valutazione ex ante di proposte di progetto o sulla valutazione ex post dei progetti stessi. |
| --- | --- |

17.

La presente relazione concerne le modalità applicabili al 4o PQ (1995-1998), 5o PQ (1999-2002) e 6o PQ (2003-2006). Esamina anche le disposizioni normative in vigore nel quadro del 7o PQ (2007-2013), ma non fornisce una valutazione del documento «Impact assessment and ex-ante evaluation» della Commissione relativo relativo al 7o PQ (16). Si concentra sul monitoraggio e sulla valutazione ex post dei programmi, e non sulla valutazione ex ante di proposte di progetto o sulla valutazione ex post dei progetti stessi.

| 18. | L’audit è stato espletato con la partecipazione dell’organo contabile dell’EFTA e con l’assistenza di esperti esterni. Gli elementi probatori di audit sono stati raccolti attraverso:






  — | lavori di audit presso la Commissione (esame documentale e colloqui con il personale), compresi l’identificazione di norme giuridiche e statutarie, un esame degli obiettivi e dei criteri di performance, l’analisi di oltre 80 relazioni di monitoraggio e valutazione, nonché un’analisi dell’organizzazione delle attività di valutazione all’interno della Commissione; |
| --- | --- | --- |

18.

L’audit è stato espletato con la partecipazione dell’organo contabile dell’EFTA e con l’assistenza di esperti esterni. Gli elementi probatori di audit sono stati raccolti attraverso:

—

lavori di audit presso la Commissione (esame documentale e colloqui con il personale), compresi l’identificazione di norme giuridiche e statutarie, un esame degli obiettivi e dei criteri di performance, l’analisi di oltre 80 relazioni di monitoraggio e valutazione, nonché un’analisi dell’organizzazione delle attività di valutazione all’interno della Commissione;

| — | colloqui con più di 90 esperti identificati come parti interessate negli Stati membri e nei paesi associati (Repubblica ceca, Germania, Estonia, Spagna, Francia, Italia, Lussemburgo, Paesi Bassi, Austria, Finlandia, Svezia, Regno Unito e Norvegia); |
| --- | --- |

—

colloqui con più di 90 esperti identificati come parti interessate negli Stati membri e nei paesi associati (Repubblica ceca, Germania, Estonia, Spagna, Francia, Italia, Lussemburgo, Paesi Bassi, Austria, Finlandia, Svezia, Regno Unito e Norvegia);

| — | indagini realizzate tra le parti interessate a livello istituzionale presso la commissione ITRE del Parlamento europeo (17) e il comitato CREST del Consiglio (18); |
| --- | --- |

—

indagini realizzate tra le parti interessate a livello istituzionale presso la commissione ITRE del Parlamento europeo (17) e il comitato CREST del Consiglio (18);

| — | la consultazione negli Stati Uniti e in Canada di più di 65 esperti nel campo della valutazione della ricerca, in qualità di gruppo di confronto internazionale; |
| --- | --- |

—

la consultazione negli Stati Uniti e in Canada di più di 65 esperti nel campo della valutazione della ricerca, in qualità di gruppo di confronto internazionale;

| — | un esame della letteratura accademica sulle tendenze attuali in materia di valutazione della ricerca e |
| --- | --- |

—

un esame della letteratura accademica sulle tendenze attuali in materia di valutazione della ricerca e

| — | la discussione delle constatazioni, delle conclusioni e delle raccomandazioni di audit con esperti europei e nordamericani in valutazione della ricerca nel corso di una serie di riunioni di un gruppo di riflessione con moderatore nel febbraio 2007. |
| --- | --- |

—

la discussione delle constatazioni, delle conclusioni e delle raccomandazioni di audit con esperti europei e nordamericani in valutazione della ricerca nel corso di una serie di riunioni di un gruppo di riflessione con moderatore nel febbraio 2007.

OSSERVAZIONI DI AUDIT

La logica d’intervento, la fissazione degli obiettivi e gli indicatori di performance

| 19. | Una valutazione e un monitoraggio efficaci esigono obiettivi chiari e indicatori di performance pertinenti a livello di politica, programma e progetto sulla cui base sia possibile valutare i risultati di un intervento pubblico. Le buone pratiche in altri settori del bilancio comunitario e all’esterno dell’Unione suggeriscono che tali obiettivi e indicatori dovrebbero essere definiti nel quadro di una logica d’intervento. |
| --- | --- |

19.

Una valutazione e un monitoraggio efficaci esigono obiettivi chiari e indicatori di performance pertinenti a livello di politica, programma e progetto sulla cui base sia possibile valutare i risultati di un intervento pubblico. Le buone pratiche in altri settori del bilancio comunitario e all’esterno dell’Unione suggeriscono che tali obiettivi e indicatori dovrebbero essere definiti nel quadro di una logica d’intervento.

| 20. | La logica d’intervento può essere definita come un insieme di rapporti ipotetici di causa ed effetto che descrivono come un intervento dovrebbe conseguire i suoi obiettivi generali (19). Conformemente agli orientamenti definiti dalla Commissione riguardo alla valutazione, la logica d’intervento fornisce il legame concettuale tra le risorse impiegate per un intervento e le realizzazioni prodotte e, successivamente, l'impatto sulla società in termini di risultati e di effetti (20). La presente relazione utilizza tale definizione. |
| --- | --- |

20.

La logica d’intervento può essere definita come un insieme di rapporti ipotetici di causa ed effetto che descrivono come un intervento dovrebbe conseguire i suoi obiettivi generali (19). Conformemente agli orientamenti definiti dalla Commissione riguardo alla valutazione, la logica d’intervento fornisce il legame concettuale tra le risorse impiegate per un intervento e le realizzazioni prodotte e, successivamente, l'impatto sulla società in termini di risultati e di effetti (20). La presente relazione utilizza tale definizione.

| 21. | La Corte ha verificato in quale misura sia stata stabilita una logica d’intervento per i PQ e per i loro programmi costitutivi, fornendo così una solida base per la valutazione e il monitoraggio. |
| --- | --- |

21.

La Corte ha verificato in quale misura sia stata stabilita una logica d’intervento per i PQ e per i loro programmi costitutivi, fornendo così una solida base per la valutazione e il monitoraggio.

La logica d’intervento per i PQ non è esplicita

| 22. | La definizione di una logica d’intervento dovrebbe costituire un elemento chiave fin dall'inizio della concezione di un programma. L’articolo 163 del trattato, sancendo l'esigenza di rafforzare le basi scientifiche e tecnologiche e di favorire lo sviluppo della competitività, dovrebbe costituire il punto di partenza di tale logica d’intervento per i PQ (cfr. paragrafo 2). Quest’ultima dovrebbe essere resa più specifica ed essere adattata ai diversi settori scientifici interessati dai PQ ed ai vari strumenti utilizzati. |
| --- | --- |

22.

La definizione di una logica d’intervento dovrebbe costituire un elemento chiave fin dall'inizio della concezione di un programma. L’articolo 163 del trattato, sancendo l'esigenza di rafforzare le basi scientifiche e tecnologiche e di favorire lo sviluppo della competitività, dovrebbe costituire il punto di partenza di tale logica d’intervento per i PQ (cfr. paragrafo 2). Quest’ultima dovrebbe essere resa più specifica ed essere adattata ai diversi settori scientifici interessati dai PQ ed ai vari strumenti utilizzati.

| 23. | Manca invece, a tutti i livelli, un modello logico esplicito che spieghi in che modo i PQ e i loro programmi costitutivi contribuiscono al progresso scientifico e tecnologico, nonché alle innovazioni. |
| --- | --- |

23.

Manca invece, a tutti i livelli, un modello logico esplicito che spieghi in che modo i PQ e i loro programmi costitutivi contribuiscono al progresso scientifico e tecnologico, nonché alle innovazioni.

| 24. | L’assenza di una logica d’intervento per i PQ è stata sottolineata anche dal gruppo responsabile della valutazione quinquennale condotta nel 2004, secondo il quale si chiede, a gruppi simili al loro, di colmare il divario tra, da un lato, gli elementi probatori raccolti soprattutto a livello del progetto e, dall'altro, gli obiettivi socioeconomici più generali stabiliti dalla politica in materia di ricerca. Attualmente, tuttavia, è difficile stabilire tale legame a causa delle modalità di programmazione dei PQ. Manca una logica esplicita che colleghi gli obiettivi più generali alle finalità specifiche in termini di ricerca e conoscenze (21). |
| --- | --- |

24.

L’assenza di una logica d’intervento per i PQ è stata sottolineata anche dal gruppo responsabile della valutazione quinquennale condotta nel 2004, secondo il quale si chiede, a gruppi simili al loro, di colmare il divario tra, da un lato, gli elementi probatori raccolti soprattutto a livello del progetto e, dall'altro, gli obiettivi socioeconomici più generali stabiliti dalla politica in materia di ricerca. Attualmente, tuttavia, è difficile stabilire tale legame a causa delle modalità di programmazione dei PQ. Manca una logica esplicita che colleghi gli obiettivi più generali alle finalità specifiche in termini di ricerca e conoscenze (21).

| 25. | Un approccio diverso è stato adottato in alcuni Stati membri (come Paesi Bassi e Finlandia) e negli Stati Uniti (cfr. grafico 3), dove la definizione di una logica d’intervento è più comune, e in Canada, dove è obbligatoria per tutti i programmi (cfr. allegato III). L’utilizzo di una logica d'intervento nella concezione conduce a programmi più mirati e meglio strutturati. La Commissione sta introducendo tale logica in altre politiche comunitarie (ad esempio, gli aiuti esterni) (22).
  Grafico 3
  Definizione di una gerarchia di obiettivi sulla base di modelli logici — L’esempio della ricerca agricola negli Stati Uniti








  Politica | Programma | Progetto |
| --- | --- | --- | --- |
| Obiettivo della politica
  : contribuire al miglioramento delle condizioni di vita delle famiglie di agricoltori | | |
| Finalità
  : incrementare la produzione agricola, la produttività e i redditi delle famiglie di agricoltori | Obiettivo del programma
  : contribuire a incrementare la produzione agricola, la produttività e i redditi delle famiglie di agricoltori | |
| Risultato atteso
  : un maggiore utilizzo di migliori tecnologie agricole da parte degli agricoltori beneficiari | Finalità
  : un maggiore utilizzo di migliori tecnologie agricole da parte degli agricoltori beneficiari (ad esempio, riso) | Obiettivo del progetto
  : contribuire a un maggiore utilizzo delle tecnologie migliori raccomandate |
| | Risultato atteso
  : formulazione/diffusione di raccomandazioni destinate agli agricoltori beneficiari | Finalità
  : formulare raccomandazioni su tecnologie migliori e adatte agli agricoltori beneficiari |
| | | Risultati attesi (esempi):








  1. | tecnologie identificate sulla base delle priorità degli agricoltori |

25.

Un approccio diverso è stato adottato in alcuni Stati membri (come Paesi Bassi e Finlandia) e negli Stati Uniti (cfr. grafico 3), dove la definizione di una logica d’intervento è più comune, e in Canada, dove è obbligatoria per tutti i programmi (cfr. allegato III). L’utilizzo di una logica d'intervento nella concezione conduce a programmi più mirati e meglio strutturati. La Commissione sta introducendo tale logica in altre politiche comunitarie (ad esempio, gli aiuti esterni) (22).

Grafico 3

Definizione di una gerarchia di obiettivi sulla base di modelli logici — L’esempio della ricerca agricola negli Stati Uniti

Politica

Programma

Progetto

Obiettivo della politica
  : contribuire al miglioramento delle condizioni di vita delle famiglie di agricoltori

Finalità
  : incrementare la produzione agricola, la produttività e i redditi delle famiglie di agricoltori

Obiettivo del programma
  : contribuire a incrementare la produzione agricola, la produttività e i redditi delle famiglie di agricoltori

Risultato atteso
  : un maggiore utilizzo di migliori tecnologie agricole da parte degli agricoltori beneficiari

Finalità
  : un maggiore utilizzo di migliori tecnologie agricole da parte degli agricoltori beneficiari (ad esempio, riso)

Obiettivo del progetto
  : contribuire a un maggiore utilizzo delle tecnologie migliori raccomandate

Risultato atteso
  : formulazione/diffusione di raccomandazioni destinate agli agricoltori beneficiari

Finalità
  : formulare raccomandazioni su tecnologie migliori e adatte agli agricoltori beneficiari

Risultati attesi (esempi):

1.

tecnologie identificate sulla base delle priorità degli agricoltori

| 2. | tecnologie sviluppate ed adatatte |
| --- | --- |

2.

tecnologie sviluppate ed adatatte

| 3. | tecnologie verificate presso gli agricoltori |
| --- | --- |

3.

tecnologie verificate presso gli agricoltori

Fonte: US National Agricultural Research Council.

| 26. | La mancata codifica del fondamento logico dell'intervento pubblico e dei nessi di causalità ipotizzati (che servono da base per pianificare in modo dettagliato, eseguire e valutare il programma) compromette l’efficacia della valutazione e del monitoraggio dei PQ. Tale carenza è dovuta in particolare al modo in cui gli obiettivi dei programmi e gli indicatori di performance vengono definiti. |
| --- | --- |

26.

La mancata codifica del fondamento logico dell'intervento pubblico e dei nessi di causalità ipotizzati (che servono da base per pianificare in modo dettagliato, eseguire e valutare il programma) compromette l’efficacia della valutazione e del monitoraggio dei PQ. Tale carenza è dovuta in particolare al modo in cui gli obiettivi dei programmi e gli indicatori di performance vengono definiti.

Senza un modello logico esplicito è più difficile fissare obiettivi del programma coerenti

| 27. | Se la logica alla base dell'intervento pubblico non è resa esplicita, è più difficile fissare e strutturare in modo coerente gli obiettivi dei programmi. Tale carenza è dimostrata dal fatto che:






  — | non vi è un nesso chiaro tra gli obiettivi dei programmi nell'ambito dei PQ e gli obiettivi della politica, come l’obiettivo generale di cui all’articolo 163 del trattato e gli obiettivi fissati nella strategia di Lisbona e nella dichiarazione di Barcellona (cfr. paragrafi 2 e 7); |
| --- | --- | --- |

27.

Se la logica alla base dell'intervento pubblico non è resa esplicita, è più difficile fissare e strutturare in modo coerente gli obiettivi dei programmi. Tale carenza è dimostrata dal fatto che:

—

non vi è un nesso chiaro tra gli obiettivi dei programmi nell'ambito dei PQ e gli obiettivi della politica, come l’obiettivo generale di cui all’articolo 163 del trattato e gli obiettivi fissati nella strategia di Lisbona e nella dichiarazione di Barcellona (cfr. paragrafi 2 e 7);

| — | la correlazione tra gli obiettivi dei programmi individuali, sia ai diversi livelli normativi (come le decisioni concernenti i PQ, le decisioni relative a un programma specifico e le norme in materia di partecipazione e divulgazione), sia tra gli atti di base ed i programmi di lavoro della Commissione, non è sempre evidente. |
| --- | --- |

—

la correlazione tra gli obiettivi dei programmi individuali, sia ai diversi livelli normativi (come le decisioni concernenti i PQ, le decisioni relative a un programma specifico e le norme in materia di partecipazione e divulgazione), sia tra gli atti di base ed i programmi di lavoro della Commissione, non è sempre evidente.

| 28. | La Commissione ha tentato di fissare obiettivi operativi nei programmi di lavoro, sulla base degli obiettivi dei programmi definiti nella normativa relativa ai PQ. Quasi sempre, tuttavia, tali iniziative non sono riuscite a chiarire la logica su cui si basano i programmi e gli obiettivi definiti nei programmi di lavoro non erano specifici, misurabili, attuabili, pertinenti e soggetti a un limite temporale (SMART, specific, measurable, achievable, relevant and timed). Nel 2003, tali obiettivi sono divenuti obbligatori ai sensi del regolamento finanziario (23). |
| --- | --- |

28.

La Commissione ha tentato di fissare obiettivi operativi nei programmi di lavoro, sulla base degli obiettivi dei programmi definiti nella normativa relativa ai PQ. Quasi sempre, tuttavia, tali iniziative non sono riuscite a chiarire la logica su cui si basano i programmi e gli obiettivi definiti nei programmi di lavoro non erano specifici, misurabili, attuabili, pertinenti e soggetti a un limite temporale (SMART, specific, measurable, achievable, relevant and timed). Nel 2003, tali obiettivi sono divenuti obbligatori ai sensi del regolamento finanziario (23).

| 29. | Non è chiaro in quale misura gli obiettivi della politica possano essere rintracciati nei programmi specifici, nei programmi di lavoro e negli inviti a presentare proposte, fino ai progetti individuali cofinanziati dalla Comunità. Se tali legami non saranno chiariti, non si potrà valutare il contributo dei PQ e dei loro programmi costitutivi al conseguimento di tali obiettivi della politica. Dall'audit è emerso che le valutazioni della Commissione forniscono elementi probatori scarsi o non convincenti per quanto riguarda il conseguimento degli obiettivi a più lungo termine, sia a livello di progetto che di programma (cfr. paragrafo 82). |
| --- | --- |

29.

Non è chiaro in quale misura gli obiettivi della politica possano essere rintracciati nei programmi specifici, nei programmi di lavoro e negli inviti a presentare proposte, fino ai progetti individuali cofinanziati dalla Comunità. Se tali legami non saranno chiariti, non si potrà valutare il contributo dei PQ e dei loro programmi costitutivi al conseguimento di tali obiettivi della politica. Dall'audit è emerso che le valutazioni della Commissione forniscono elementi probatori scarsi o non convincenti per quanto riguarda il conseguimento degli obiettivi a più lungo termine, sia a livello di progetto che di programma (cfr. paragrafo 82).

L’assenza di una logica d’intervento esplicita e di obiettivi chiari rende più difficile lo sviluppo di indicatori di performance

| 30. | L’assenza di un modello logico esplicito e di obiettivi di programma chiaramente definiti ha impedito, inoltre, lo sviluppo di indicatori di performance che consentano di monitorare il raggiungimento degli obiettivi dei programmi in termini di realizzazioni, esiti e impatti, tanto che, a tutt'oggi, tali indicatori di «efficacia» non sono stati affatto definiti per i PQ (cfr. paragrafo 73). |
| --- | --- |

30.

L’assenza di un modello logico esplicito e di obiettivi di programma chiaramente definiti ha impedito, inoltre, lo sviluppo di indicatori di performance che consentano di monitorare il raggiungimento degli obiettivi dei programmi in termini di realizzazioni, esiti e impatti, tanto che, a tutt'oggi, tali indicatori di «efficacia» non sono stati affatto definiti per i PQ (cfr. paragrafo 73).

| 31. | In tale contesto, anche l’esame di progetti in corso finanziati da tali programmi e la valutazione ex post di quelli completati sono più difficili e ciò rende più complicata l'aggregazione delle valutazioni dal livello dei progetti a quello dei programmi (cfr. allegato I e paragrafo 84). |
| --- | --- |

31.

In tale contesto, anche l’esame di progetti in corso finanziati da tali programmi e la valutazione ex post di quelli completati sono più difficili e ciò rende più complicata l'aggregazione delle valutazioni dal livello dei progetti a quello dei programmi (cfr. allegato I e paragrafo 84).

Il sistema BPA/GPA, quale usato attualmente, non è uno strumento appropriato per misurare la performance dei PQ

| 32. | Alcuni indicatori relativi all’efficienza dell’attuazione dei programmi (ad esempio, tempi per la firma dei contratti e tempi per il pagamento) sono presenti nelle relazioni annuali di monitoraggio della Commissione e nel sistema di gestione per attività (GPA) della Commissione. |
| --- | --- |

32.

Alcuni indicatori relativi all’efficienza dell’attuazione dei programmi (ad esempio, tempi per la firma dei contratti e tempi per il pagamento) sono presenti nelle relazioni annuali di monitoraggio della Commissione e nel sistema di gestione per attività (GPA) della Commissione.

| 33. | Finora, però, le «direzioni generali della ricerca», anche quando attuano lo stesso programma (o sottoprogramma) specifico, non applicano una nomenclatura standardizzata o confrontabile per il bilancio per attività (BPA), né i relativi indicatori. Pertanto, tali indicatori non possono essere utilizzati per raffrontare la performance tra programmi e al loro interno.

  Riquadro 2Il sistema BPA/GPA, quale usato attualmente dalle «direzioni generali della ricerca».Nel sistema BPA/GPA, i PQ rientrano in due politiche diverse, nel cui ambito le attività dei PQ sono presentate secondo una diversa nomenclatura, specifica per ciascuna direzione generale (24). Ciò avviene anche per programmi e sottoprogrammi specifici attuati da più di una direzione generale. Gli obiettivi della GPA sono stati definiti secondo diversi principi di base (25) e, come indicato dal servizio di audit interno della Commissione (26), sono stati formulati per lo più in termini generali, descrivendo aspirazioni o attività. Di norma, gli indicatori erano incentrati sulle risorse impiegate (ad esempio, il numero di riunioni, ecc.). Alcuni indicatori riguardavano l’efficienza del processo (ad esempio, i tempi per la firma dei contratti e i tempi per il pagamento), ma non potevano essere raffrontati tra programmi e tra una direzione generale responsabile e l’altra a causa delle differenze nella nomenclatura del BPA, nelle procedure specifiche a ciascuna direzione generale (quali l’inizio e la fine di procedure amministrative specifiche) e nella popolazione considerata (ad esempio, il tipo di convenzione di sovvenzione e il tipo di pagamento). |
| --- | --- |

33.

Finora, però, le «direzioni generali della ricerca», anche quando attuano lo stesso programma (o sottoprogramma) specifico, non applicano una nomenclatura standardizzata o confrontabile per il bilancio per attività (BPA), né i relativi indicatori. Pertanto, tali indicatori non possono essere utilizzati per raffrontare la performance tra programmi e al loro interno.

Riquadro 2Il sistema BPA/GPA, quale usato attualmente dalle «direzioni generali della ricerca».Nel sistema BPA/GPA, i PQ rientrano in due politiche diverse, nel cui ambito le attività dei PQ sono presentate secondo una diversa nomenclatura, specifica per ciascuna direzione generale (24). Ciò avviene anche per programmi e sottoprogrammi specifici attuati da più di una direzione generale. Gli obiettivi della GPA sono stati definiti secondo diversi principi di base (25) e, come indicato dal servizio di audit interno della Commissione (26), sono stati formulati per lo più in termini generali, descrivendo aspirazioni o attività. Di norma, gli indicatori erano incentrati sulle risorse impiegate (ad esempio, il numero di riunioni, ecc.). Alcuni indicatori riguardavano l’efficienza del processo (ad esempio, i tempi per la firma dei contratti e i tempi per il pagamento), ma non potevano essere raffrontati tra programmi e tra una direzione generale responsabile e l’altra a causa delle differenze nella nomenclatura del BPA, nelle procedure specifiche a ciascuna direzione generale (quali l’inizio e la fine di procedure amministrative specifiche) e nella popolazione considerata (ad esempio, il tipo di convenzione di sovvenzione e il tipo di pagamento).

Raccomandazioni

34.

| 34. | Nelle future proposte legislative presentate al Consiglio e al Parlamento europeo, la Commissione dovrebbe indicare una logica d'intervento esplicita per il PQ nel suo complesso e per le parti costitutive. |
| --- | --- |

Nelle future proposte legislative presentate al Consiglio e al Parlamento europeo, la Commissione dovrebbe indicare una logica d'intervento esplicita per il PQ nel suo complesso e per le parti costitutive.

| 35. | Per quanto riguarda il 7o PQ, la Commissione dovrebbe:






  — | descrivere in modo chiaro gli obiettivi del PQ e dei programmi (e sottoprogrammi) specifici costitutivi e come dovrebbero essere raggiunti; |
| --- | --- | --- |

35.

Per quanto riguarda il 7o PQ, la Commissione dovrebbe:

—

descrivere in modo chiaro gli obiettivi del PQ e dei programmi (e sottoprogrammi) specifici costitutivi e come dovrebbero essere raggiunti;

| — | chiarire il legame tra gli obiettivi scientifici e socioeconomici di ciascun programma (e sottoprogramma) specifico e |
| --- | --- |

—

chiarire il legame tra gli obiettivi scientifici e socioeconomici di ciascun programma (e sottoprogramma) specifico e

| — | definire obiettivi operativi pertinenti. |
| --- | --- |

—

definire obiettivi operativi pertinenti.

| 36. | Per il sistema di monitoraggio del 7o PQ, la Commissione dovrebbe porre in essere una serie limitata, ma equilibrata, di indicatori di performance per misurare l’efficienza e l’efficacia dell’attuazione dei programmi, per ogni programma (e sottoprogramma) specifico. |
| --- | --- |

36.

Per il sistema di monitoraggio del 7o PQ, la Commissione dovrebbe porre in essere una serie limitata, ma equilibrata, di indicatori di performance per misurare l’efficienza e l’efficacia dell’attuazione dei programmi, per ogni programma (e sottoprogramma) specifico.

| 37. | Le «direzioni generali della ricerca» dovrebbero armonizzare la rispettiva nomenclatura BPA/GPA, affinché gli indicatori di performance possano essere raffrontati nel tempo e, ove possibile, tra programmi (e sottoprogrammi) specifici. |
| --- | --- |

37.

Le «direzioni generali della ricerca» dovrebbero armonizzare la rispettiva nomenclatura BPA/GPA, affinché gli indicatori di performance possano essere raffrontati nel tempo e, ove possibile, tra programmi (e sottoprogrammi) specifici.

La strategia di valutazione

| 38. | Una strategia di valutazione fornisce il quadro concettuale nel quale elaborare, programmare, eseguire ed usare le attività di valutazione. Le buone pratiche in altri settori del bilancio comunitario e all’esterno dell’UE suggeriscono che tale strategia dovrebbe tenere conto delle principali questioni giuridiche, organizzative e metodologiche relative alla valutazione dei programmi, tra cui il tipo di valutazione da effettuare, i responsabili e il calendario, le modalità di raccolta dei dati, gli approcci metodologici da impiegare e il modo per comunicare e monitorare il seguito dato alle constatazioni. |
| --- | --- |

38.

Una strategia di valutazione fornisce il quadro concettuale nel quale elaborare, programmare, eseguire ed usare le attività di valutazione. Le buone pratiche in altri settori del bilancio comunitario e all’esterno dell’UE suggeriscono che tale strategia dovrebbe tenere conto delle principali questioni giuridiche, organizzative e metodologiche relative alla valutazione dei programmi, tra cui il tipo di valutazione da effettuare, i responsabili e il calendario, le modalità di raccolta dei dati, gli approcci metodologici da impiegare e il modo per comunicare e monitorare il seguito dato alle constatazioni.

| 39. | Introdurre tale strategia e garantirne l'applicazione è fondamentale per integrare la valutazione nella cultura organizzativa e nel processo decisionale della Commissione. Tuttavia, la Corte riconosce che, data la diversità delle aree scientifiche interessate dai PQ, tale strategia dovrebbe consentire un grado di flessibilità appropriato a ciascuna direzione generale responsabile e non dovrebbe essere eccessivamente prescrittiva. |
| --- | --- |

39.

Introdurre tale strategia e garantirne l'applicazione è fondamentale per integrare la valutazione nella cultura organizzativa e nel processo decisionale della Commissione. Tuttavia, la Corte riconosce che, data la diversità delle aree scientifiche interessate dai PQ, tale strategia dovrebbe consentire un grado di flessibilità appropriato a ciascuna direzione generale responsabile e non dovrebbe essere eccessivamente prescrittiva.

| 40. | La Corte ha verificato se la Commissione disponesse di tale strategia di valutazione per i PQ. |
| --- | --- |

40.

La Corte ha verificato se la Commissione disponesse di tale strategia di valutazione per i PQ.

Mancanza di una strategia di valutazione globale dei PQ

| 41. | Per quanto riguarda i PQ, l’approccio della Commissione alla valutazione è stato reso pubblico per la prima volta negli anni 1980 (27). È stato aggiornato nel 1996, quando la Commissione ha comunicato al Parlamento e al Consiglio i principi che riteneva fossero allora alla base del monitoraggio e della valutazione ed ha definito il proprio approccio dopo l’adozione del 4o PQ (28). Ciò, tuttavia, non costituiva una strategia di valutazione globale come quella sopra descritta (cfr. paragrafi 38 e 39). Inoltre, dal 1996 al 2006, la Commissione non ha praticamente rivisto il proprio approccio alla valutazione del 5oe del 6o PQ, nonostante che gli ambiti e gli orientamenti di questi ultimi fossero cambiati (cfr. paragrafo 7). In particolare, le «direzioni generali della ricerca» non hanno convenuto un approccio coerente alla valutazione dei PQ e dei programmi costitutivi, al di là delle normative adottate nel 1999 (per il 5o PQ), nel 2002 (per il 6o PQ) e nel 2006 (per il 7o PQ) (29). |
| --- | --- |

41.

Per quanto riguarda i PQ, l’approccio della Commissione alla valutazione è stato reso pubblico per la prima volta negli anni 1980 (27). È stato aggiornato nel 1996, quando la Commissione ha comunicato al Parlamento e al Consiglio i principi che riteneva fossero allora alla base del monitoraggio e della valutazione ed ha definito il proprio approccio dopo l’adozione del 4o PQ (28). Ciò, tuttavia, non costituiva una strategia di valutazione globale come quella sopra descritta (cfr. paragrafi 38 e 39). Inoltre, dal 1996 al 2006, la Commissione non ha praticamente rivisto il proprio approccio alla valutazione del 5oe del 6o PQ, nonostante che gli ambiti e gli orientamenti di questi ultimi fossero cambiati (cfr. paragrafo 7). In particolare, le «direzioni generali della ricerca» non hanno convenuto un approccio coerente alla valutazione dei PQ e dei programmi costitutivi, al di là delle normative adottate nel 1999 (per il 5o PQ), nel 2002 (per il 6o PQ) e nel 2006 (per il 7o PQ) (29).

| 42. | Per quanto riguarda l’attuale periodo di programmazione, la mancanza di un approccio strategico alla valutazione in tale settore costituisce un problema specifico, tenuto conto del fatto che il 7o PQ viene attuato congiuntamente da diverse direzioni generali, dal CER e dalle agenzie esecutive, e che il regolamento finanziario prevede la rotazione obbligatoria del personale con incarichi sensibili. Inoltre, contrasta con le pratiche vigenti nel settore degli aiuti esterni (il secondo settore, per grandezza, in cui la Commissione attua la gestione diretta). In tale settore le DG responsabili hanno stabilito, dal 2002, strategie di valutazione pluriennali comuni legate ai periodi di programmazione (cfr. paragrafo 52). |
| --- | --- |

42.

Per quanto riguarda l’attuale periodo di programmazione, la mancanza di un approccio strategico alla valutazione in tale settore costituisce un problema specifico, tenuto conto del fatto che il 7o PQ viene attuato congiuntamente da diverse direzioni generali, dal CER e dalle agenzie esecutive, e che il regolamento finanziario prevede la rotazione obbligatoria del personale con incarichi sensibili. Inoltre, contrasta con le pratiche vigenti nel settore degli aiuti esterni (il secondo settore, per grandezza, in cui la Commissione attua la gestione diretta). In tale settore le DG responsabili hanno stabilito, dal 2002, strategie di valutazione pluriennali comuni legate ai periodi di programmazione (cfr. paragrafo 52).

| 43. | Questa mancanza di una strategia di valutazione formulata in modo chiaro contrasta fortemente con la situazione negli Stati Uniti e in Canada, dove il quadro normativo prescrive la definizione di una strategia (cfr. allegato III). |
| --- | --- |

43.

Questa mancanza di una strategia di valutazione formulata in modo chiaro contrasta fortemente con la situazione negli Stati Uniti e in Canada, dove il quadro normativo prescrive la definizione di una strategia (cfr. allegato III).

| 44. | Come illustrato qui di seguito, si riscontrano differenze significative nella portata e nell’intensità della valutazione tra diversi PQ e all'interno degli stessi. Esistono anche altre carenze che saranno esaminate più avanti nella presente relazione, come i problemi di coordinamento, i diversi approcci metodologici, i problemi di tempi nonché le carenze nella comunicazione e nel seguito dato alle risultanze della valutazione. Ciò riflette la mancanza di una strategia globale di valutazione dei PQ. |
| --- | --- |

44.

Come illustrato qui di seguito, si riscontrano differenze significative nella portata e nell’intensità della valutazione tra diversi PQ e all'interno degli stessi. Esistono anche altre carenze che saranno esaminate più avanti nella presente relazione, come i problemi di coordinamento, i diversi approcci metodologici, i problemi di tempi nonché le carenze nella comunicazione e nel seguito dato alle risultanze della valutazione. Ciò riflette la mancanza di una strategia globale di valutazione dei PQ.

Le differenze a livello di portata e intensità delle valutazioni nell'ambito del PQ

| 45. | I PQ si compongono di una serie di programmi (e sottoprogrammi) specifici che possono differire in maniera significativa per quanto riguarda la finalità, le dinamiche sottostanti e gli stanziamenti di bilancio (per il 7o PQ, cfr allegato IV). Considerate complessivamente, le disposizioni specifiche delle diverse decisioni concernenti i PQ e le norme del regolamento finanziario (30) (in base al quale tutti i programmi e le attività che comportano spese importanti devono essere oggetto di valutazione) implicano che, dal 4o PQ, esiste un obbligo giuridico di valutazione, sia del PQ nel suo insieme che della maggioranza dei programmi specifici costitutivi. |
| --- | --- |

45.

I PQ si compongono di una serie di programmi (e sottoprogrammi) specifici che possono differire in maniera significativa per quanto riguarda la finalità, le dinamiche sottostanti e gli stanziamenti di bilancio (per il 7o PQ, cfr allegato IV). Considerate complessivamente, le disposizioni specifiche delle diverse decisioni concernenti i PQ e le norme del regolamento finanziario (30) (in base al quale tutti i programmi e le attività che comportano spese importanti devono essere oggetto di valutazione) implicano che, dal 4o PQ, esiste un obbligo giuridico di valutazione, sia del PQ nel suo insieme che della maggioranza dei programmi specifici costitutivi.

| 46. | La Commissione non ha stabilito una norma relativa al momento in cui programmi (o sottoprogrammi) specifici di un PQ debbano essere valutati, né ha definito una soglia comune sopra la quale la valutazione è obbligatoria. Ciò ha prodotto interpretazioni incoerenti riguardo all’oggetto e al livello di dettaglio della valutazione:






  — | la direzione generale Società dell’informazione considerava il programma IST come uno dei principali programmi di spesa a sé stanti e nel 2004 ha organizzato una valutazione quinquennale completa, in parallelo a quella condotta per il PQ nel suo complesso; |
| --- | --- | --- |

46.

La Commissione non ha stabilito una norma relativa al momento in cui programmi (o sottoprogrammi) specifici di un PQ debbano essere valutati, né ha definito una soglia comune sopra la quale la valutazione è obbligatoria. Ciò ha prodotto interpretazioni incoerenti riguardo all’oggetto e al livello di dettaglio della valutazione:

—

la direzione generale Società dell’informazione considerava il programma IST come uno dei principali programmi di spesa a sé stanti e nel 2004 ha organizzato una valutazione quinquennale completa, in parallelo a quella condotta per il PQ nel suo complesso;

| — | la direzione generale Ricerca non ha sistematicamente organizzato una valutazione di questo tipo a livello dei programmi specifici, nonostante i bilanci di diversi programmi sotto la sua responsabilità fossero di entità comparabile. |
| --- | --- |

—

la direzione generale Ricerca non ha sistematicamente organizzato una valutazione di questo tipo a livello dei programmi specifici, nonostante i bilanci di diversi programmi sotto la sua responsabilità fossero di entità comparabile.

| 47. | Di conseguenza, per la valutazione quinquennale condotta nel 2004, parti significative del 4o e 5o PQ (corrispondenti al 30 % del totale degli stanziamenti di bilancio assegnati al 4o PQ e al 50 % di quelli per il 5o PQ) non sono state oggetto di alcuna valutazione. Ciò significa che la Commissione non ha ottemperato agli obblighi in materia di valutazione specificati dall’articolo 27, paragrafo 4, del regolamento finanziario. |
| --- | --- |

47.

Di conseguenza, per la valutazione quinquennale condotta nel 2004, parti significative del 4o e 5o PQ (corrispondenti al 30 % del totale degli stanziamenti di bilancio assegnati al 4o PQ e al 50 % di quelli per il 5o PQ) non sono state oggetto di alcuna valutazione. Ciò significa che la Commissione non ha ottemperato agli obblighi in materia di valutazione specificati dall’articolo 27, paragrafo 4, del regolamento finanziario.

| 48. | Tali interpretazioni divergenti per quanto riguarda gli obblighi giuridici minimi in materia di valutazione, e la conseguente valutazione insufficiente sui PQ in passato, illustrano la mancanza di coordinamento e l’effetto dell’assenza di un approccio strategico della Commissione alla valutazione dei PQ. |
| --- | --- |

48.

Tali interpretazioni divergenti per quanto riguarda gli obblighi giuridici minimi in materia di valutazione, e la conseguente valutazione insufficiente sui PQ in passato, illustrano la mancanza di coordinamento e l’effetto dell’assenza di un approccio strategico della Commissione alla valutazione dei PQ.

Raccomandazioni

49.

| 49. | Le «direzioni generali della ricerca» dovrebbero sviluppare urgentemente e concordare una strategia di valutazione comune dei PQ. Senza essere eccessivamente prescrittiva, tale strategia dovrebbe comportare un approccio coerente per quanto riguarda la valutazione dei PQ e dei loro programmi costituenti. Inoltre, tale strategia dovrebbe fornire indicazioni sul livello minimo al quale debba essere effettuata una valutazione dettagliata, così da tenere conto delle specificità di ogni campo scientifico. |
| --- | --- |

Le «direzioni generali della ricerca» dovrebbero sviluppare urgentemente e concordare una strategia di valutazione comune dei PQ. Senza essere eccessivamente prescrittiva, tale strategia dovrebbe comportare un approccio coerente per quanto riguarda la valutazione dei PQ e dei loro programmi costituenti. Inoltre, tale strategia dovrebbe fornire indicazioni sul livello minimo al quale debba essere effettuata una valutazione dettagliata, così da tenere conto delle specificità di ogni campo scientifico.

L’organizzazione della valutazione dei programmi quadro

| 50. | La valutazione dei PQ deve poter contare su una struttura organizzativa adeguata, che dovrebbe derivare dall’orientamento strategico della Commissione circa la valutazione dei PQ. La Corte ha verificato in quale misura la struttura organizzativa garantisce che il sistema di valutazione sia coordinato in modo appropriato, sia dotato di risorse adeguate e sia giudicato sufficientemente indipendente dalle parti interessate. |
| --- | --- |

50.

La valutazione dei PQ deve poter contare su una struttura organizzativa adeguata, che dovrebbe derivare dall’orientamento strategico della Commissione circa la valutazione dei PQ. La Corte ha verificato in quale misura la struttura organizzativa garantisce che il sistema di valutazione sia coordinato in modo appropriato, sia dotato di risorse adeguate e sia giudicato sufficientemente indipendente dalle parti interessate.

Commissione

I PQ sono attuati congiuntamente da più direzioni generali, mentre la responsabilità della valutazione è decentrata

| 51. | All’interno della Commissione, la responsabilità della valutazione dei programmi di spesa spetta alle singole direzioni generali (cfr. paragrafo 8) e, presso ciascuna direzione generale, sono state istituite unità di valutazione incaricate di programmare, coordinare ed eseguire le valutazioni. |
| --- | --- |

51.

All’interno della Commissione, la responsabilità della valutazione dei programmi di spesa spetta alle singole direzioni generali (cfr. paragrafo 8) e, presso ciascuna direzione generale, sono state istituite unità di valutazione incaricate di programmare, coordinare ed eseguire le valutazioni.

| 52. | L’assenza di un organismo specifico di coordinamento o di un’unica entità per la valutazione dei PQ nel loro complesso, come un ufficio di valutazione comune per le «direzioni generali della ricerca», contrasta con quanto avviene per altre politiche. Nel settore degli aiuti esterni, è stata istituita un’unità di valutazione comune presso tre direzioni generali (Sviluppo, Relazioni esterne e EuropeAid), che si occupa della valutazione dei programmi di sviluppo della Commissione nei paesi terzi (cfr. paragrafo 42). |
| --- | --- |

52.

L’assenza di un organismo specifico di coordinamento o di un’unica entità per la valutazione dei PQ nel loro complesso, come un ufficio di valutazione comune per le «direzioni generali della ricerca», contrasta con quanto avviene per altre politiche. Nel settore degli aiuti esterni, è stata istituita un’unità di valutazione comune presso tre direzioni generali (Sviluppo, Relazioni esterne e EuropeAid), che si occupa della valutazione dei programmi di sviluppo della Commissione nei paesi terzi (cfr. paragrafo 42).

| 53. | Attraverso la «rete di valutazione RST» interna della Commissione, la direzione generale Ricerca garantisce uno scambio di conoscenze tra le unità di valutazione delle varie direzioni generali, ma non ha l’autorità di stabilire i requisiti minimi di valutazione. Tale meccanismo, però, non è riuscito a garantire un coordinamento appropriato della valutazione dei PQ da parte della Commissione. |
| --- | --- |

53.

Attraverso la «rete di valutazione RST» interna della Commissione, la direzione generale Ricerca garantisce uno scambio di conoscenze tra le unità di valutazione delle varie direzioni generali, ma non ha l’autorità di stabilire i requisiti minimi di valutazione. Tale meccanismo, però, non è riuscito a garantire un coordinamento appropriato della valutazione dei PQ da parte della Commissione.

| 54. | Nel 2000 e nel 2002, e successivamente nel 2007, la Commissione ha rivisto il proprio approccio generale alla valutazione (cfr. paragrafo 14). Sebbene non sia stato osservato alcun miglioramento sensibile del modo di programmare, concepire ed attuare le valutazioni dei PQ e dei loro programmi costitutivi, in termini generali, le «direzioni generali della ricerca» si sono conformate a tutti gli obblighi formali esistenti per la Commissione nel suo complesso. |
| --- | --- |

54.

Nel 2000 e nel 2002, e successivamente nel 2007, la Commissione ha rivisto il proprio approccio generale alla valutazione (cfr. paragrafo 14). Sebbene non sia stato osservato alcun miglioramento sensibile del modo di programmare, concepire ed attuare le valutazioni dei PQ e dei loro programmi costitutivi, in termini generali, le «direzioni generali della ricerca» si sono conformate a tutti gli obblighi formali esistenti per la Commissione nel suo complesso.

I servizi centrali della Commissione: definizione di norme, ma nessun controllo della loro applicazione

| 55. | I servizi centrali della Commissione (in particolare la DG Bilancio e il Segretariato generale) forniscono una consulenza metodologica, definiscono norme comuni per l’insieme della Commissione e controllano il modo in cui le DG e i servizi applicano le norme (cfr. paragrafi 14 e 70). Non possono imporre le modalità di svolgimento pratico delle valutazioni. |
| --- | --- |

55.

I servizi centrali della Commissione (in particolare la DG Bilancio e il Segretariato generale) forniscono una consulenza metodologica, definiscono norme comuni per l’insieme della Commissione e controllano il modo in cui le DG e i servizi applicano le norme (cfr. paragrafi 14 e 70). Non possono imporre le modalità di svolgimento pratico delle valutazioni.

| 56. | Esperienze negli Stati Uniti e in Canada indicano che il controllo del rispetto delle norme da parte degli organismi responsabili della loro definizione mira a garantire il funzionamento efficace del sistema di valutazione. In entrambi i paesi, dipartimenti federali stabiliscono e fanno rispettare il quadro in base al quale è giudicato, alla fine, il successo di un programma (cfr. allegato III). Anche se il contesto è diverso, i loro sistemi sono nondimeno basati sullo stesso principio di base, in virtù del quale un organismo diverso da quello responsabile dell’attuazione del programma dovrebbe valutare un po' in dettaglio la concezione del sistema di valutazione ed esaminarne l’efficacia. Una situazione analoga può essere osservata in alcuni Stati membri (ad esempio, Germania (31), Spagna (32) e Francia (33)), dove organismi esterni controllano le valutazioni condotte dagli organi di finanziamento o addirittura effettuano direttamente tali valutazioni. |
| --- | --- |

56.

Esperienze negli Stati Uniti e in Canada indicano che il controllo del rispetto delle norme da parte degli organismi responsabili della loro definizione mira a garantire il funzionamento efficace del sistema di valutazione. In entrambi i paesi, dipartimenti federali stabiliscono e fanno rispettare il quadro in base al quale è giudicato, alla fine, il successo di un programma (cfr. allegato III). Anche se il contesto è diverso, i loro sistemi sono nondimeno basati sullo stesso principio di base, in virtù del quale un organismo diverso da quello responsabile dell’attuazione del programma dovrebbe valutare un po' in dettaglio la concezione del sistema di valutazione ed esaminarne l’efficacia. Una situazione analoga può essere osservata in alcuni Stati membri (ad esempio, Germania (31), Spagna (32) e Francia (33)), dove organismi esterni controllano le valutazioni condotte dagli organi di finanziamento o addirittura effettuano direttamente tali valutazioni.

Gruppi di esperti

Gruppi di esperti esterni: resi obbligatori dalla normativa sin dal 4o PQ

| 57. | Dal 4oPQ, tutte le principali attività di valutazione (e il monitoraggio annuale) dei PQ hanno dovuto essere effettuate da (o con l’assistenza di) gruppi di esperti esterni (cfr. allegato II). Nonostante alcune difficoltà legate al reperimento di esperti adeguati, tali gruppi possono fornire trasparenza, offrire un certo grado di indipendenza, agevolare la partecipazione delle parti interessate e sfruttare le conoscenze ottenute dai PQ, dalla valutazione e dai lavori scientifici sottostanti. |
| --- | --- |

57.

Dal 4oPQ, tutte le principali attività di valutazione (e il monitoraggio annuale) dei PQ hanno dovuto essere effettuate da (o con l’assistenza di) gruppi di esperti esterni (cfr. allegato II). Nonostante alcune difficoltà legate al reperimento di esperti adeguati, tali gruppi possono fornire trasparenza, offrire un certo grado di indipendenza, agevolare la partecipazione delle parti interessate e sfruttare le conoscenze ottenute dai PQ, dalla valutazione e dai lavori scientifici sottostanti.

| 58. | Ciò è stato confermato dall'indagine della Corte, da cui risulta che, secondo gli intervistati, il sistema di valutazione della Commissione basato sui gruppi di esperti offre una garanzia di indipendenza (cfr. grafico 4). |
| --- | --- |

58.

Ciò è stato confermato dall'indagine della Corte, da cui risulta che, secondo gli intervistati, il sistema di valutazione della Commissione basato sui gruppi di esperti offre una garanzia di indipendenza (cfr. grafico 4).

Image

Carenze dell’approccio basato sui gruppi di esperti, così come attuato dalla Commissione

| 59. | Nonostante tale percezione positiva, come indicato alla Corte dai membri dei gruppi e dalle parti interessate nel corso dell’audit, il ricorso della Commissione a gruppi di esperti per la valutazione dei PQ è stato caratterizzato dalle seguenti carenze:






  — | i gruppi di valutazione sono generalmente istituiti meno di un anno prima della data prevista per la presentazione della loro relazione e si riuniscono solo poche volte. Pertanto, è difficile che i membri dei gruppi possano influire sulla definizione dei dati e sull'analisi necessaria per il loro lavoro. Inoltre, dato che i gruppi sono temporanei e costituiti ad hoc, non è facile per gli esperti acquisire le conoscenze in materia di programmi e monitorare nel tempo le questioni pertinenti. Questa carenza emerge in particolare quando (come nel caso del 7o PQ) è prevista una serie di valutazioni importanti durante il periodo di programmazione (cfr. allegato II). Peraltro, anche la pratica adottata dalla Commissione per i propri gruppi consultivi di esperti in materia di PQ va in senso opposto, in quanto questi ultimi sono organi permanenti (34). Anche in Canada (35), i gruppi di valutazione sono permanenti, al fine di garantire un approccio uniforme e coerente (cfr. allegato 3); |
| --- | --- | --- |

59.

Nonostante tale percezione positiva, come indicato alla Corte dai membri dei gruppi e dalle parti interessate nel corso dell’audit, il ricorso della Commissione a gruppi di esperti per la valutazione dei PQ è stato caratterizzato dalle seguenti carenze:

—

i gruppi di valutazione sono generalmente istituiti meno di un anno prima della data prevista per la presentazione della loro relazione e si riuniscono solo poche volte. Pertanto, è difficile che i membri dei gruppi possano influire sulla definizione dei dati e sull'analisi necessaria per il loro lavoro. Inoltre, dato che i gruppi sono temporanei e costituiti ad hoc, non è facile per gli esperti acquisire le conoscenze in materia di programmi e monitorare nel tempo le questioni pertinenti. Questa carenza emerge in particolare quando (come nel caso del 7o PQ) è prevista una serie di valutazioni importanti durante il periodo di programmazione (cfr. allegato II). Peraltro, anche la pratica adottata dalla Commissione per i propri gruppi consultivi di esperti in materia di PQ va in senso opposto, in quanto questi ultimi sono organi permanenti (34). Anche in Canada (35), i gruppi di valutazione sono permanenti, al fine di garantire un approccio uniforme e coerente (cfr. allegato 3);

| — | al momento di definire i mandati dei gruppi di esperti e specificare i quesiti valutativi, la Commissione non consulta le parti interessate esterne, come le imprese ed i grandi enti di ricerca partecipanti ai PQ. Anche il gruppo incaricato del monitoraggio 2004 ha osservato tale problema, rilevando che i potenziali utenti dovrebbero essere coinvolti nel processo sin dalla fase iniziale (36) e |
| --- | --- |

—

al momento di definire i mandati dei gruppi di esperti e specificare i quesiti valutativi, la Commissione non consulta le parti interessate esterne, come le imprese ed i grandi enti di ricerca partecipanti ai PQ. Anche il gruppo incaricato del monitoraggio 2004 ha osservato tale problema, rilevando che i potenziali utenti dovrebbero essere coinvolti nel processo sin dalla fase iniziale (36) e

| — | i gruppi di esperti funzionano in un modo diverso dalla valutazione inter pares (peer review). I membri non hanno il tempo di svolgere proprie valutazioni; generalmente, forniscono consulenza sulla base dei dati e degli elementi probatori messi a loro disposizione da altre fonti. A causa delle scadenze, i gruppi hanno avuto soltanto opportunità limitate di commissionare studi supplementari necessari ad affrontare le questioni specificate nel loro mandato. In pratica, fatte salve alcune eccezioni, i gruppi incaricati delle valutazioni quinquennali disponevano solamente delle informazioni fornite dalla Commissione. |
| --- | --- |

—

i gruppi di esperti funzionano in un modo diverso dalla valutazione inter pares (peer review). I membri non hanno il tempo di svolgere proprie valutazioni; generalmente, forniscono consulenza sulla base dei dati e degli elementi probatori messi a loro disposizione da altre fonti. A causa delle scadenze, i gruppi hanno avuto soltanto opportunità limitate di commissionare studi supplementari necessari ad affrontare le questioni specificate nel loro mandato. In pratica, fatte salve alcune eccezioni, i gruppi incaricati delle valutazioni quinquennali disponevano solamente delle informazioni fornite dalla Commissione.

Risorse

Non esistono risorse specificamente destinate alla valutazione dei PQ

| 60. | La valutazione è finanziata su base annuale, in funzione delle necessità specificate dalle direzioni generali responsabili dell’attuazione dei PQ. Attualmente, il finanziamento è assicurato da una combinazione di risorse a livello della Commissione concesse dalla direzione generale Bilancio e di risorse provenienti dalla parte amministrativa del bilancio delle direzioni generali interessate. Inoltre, azioni specifiche sono finanziate come azioni indirette dal bilancio operativo dei PQ. Ciò significa che non esiste un importo specificamente riservato alla valutazione. |
| --- | --- |

60.

La valutazione è finanziata su base annuale, in funzione delle necessità specificate dalle direzioni generali responsabili dell’attuazione dei PQ. Attualmente, il finanziamento è assicurato da una combinazione di risorse a livello della Commissione concesse dalla direzione generale Bilancio e di risorse provenienti dalla parte amministrativa del bilancio delle direzioni generali interessate. Inoltre, azioni specifiche sono finanziate come azioni indirette dal bilancio operativo dei PQ. Ciò significa che non esiste un importo specificamente riservato alla valutazione.

| 61. | Nel 2006, la percentuale media del personale impiegato nel settore della valutazione e della gestione per attività a livello di tutta la Commissione era stimata a circa l’1 % dell’organico totale (37). Le percentuali corrispondenti per le attività di monitoraggio e valutazione dei programmi quadro di RST presso la direzione generale Ricerca e la direzione generale Società dell’informazione ammontavano, rispettivamente, all’1,2 % e all’1,3 %. Nel caso della direzione generale Ricerca, tuttavia, più dei due terzi di tale personale era stato assegnato ai servizi responsabili dei programmi operativi e non alle unità di valutazione, e la valutazione era soltanto uno dei tanti compiti loro assegnati. |
| --- | --- |

61.

Nel 2006, la percentuale media del personale impiegato nel settore della valutazione e della gestione per attività a livello di tutta la Commissione era stimata a circa l’1 % dell’organico totale (37). Le percentuali corrispondenti per le attività di monitoraggio e valutazione dei programmi quadro di RST presso la direzione generale Ricerca e la direzione generale Società dell’informazione ammontavano, rispettivamente, all’1,2 % e all’1,3 %. Nel caso della direzione generale Ricerca, tuttavia, più dei due terzi di tale personale era stato assegnato ai servizi responsabili dei programmi operativi e non alle unità di valutazione, e la valutazione era soltanto uno dei tanti compiti loro assegnati.

Il finanziamento della valutazione dei PQ è inferiore a quello raccomandato dalla Commissione

| 62. | Le risorse destinate alla valutazione possono anche essere espresse in percentuale del totale degli stanziamenti di bilancio assegnati al programma. Le cifre ottenute nel corso dell’audit indicano che, per quanto riguarda i programmi di ricerca negli Stati membri, tale dato è compreso tra lo 0,1 % e il 2 %. Gli orientamenti della Commissione indicano che lo 0,5 % del bilancio di un programma dovrebbe essere assegnato alla valutazione (38). Tuttavia, per programmi di più ampia portata, grazie a economie di scala potrebbe essere sufficiente una parte più modesta della dotazione corrispondente. |
| --- | --- |

62.

Le risorse destinate alla valutazione possono anche essere espresse in percentuale del totale degli stanziamenti di bilancio assegnati al programma. Le cifre ottenute nel corso dell’audit indicano che, per quanto riguarda i programmi di ricerca negli Stati membri, tale dato è compreso tra lo 0,1 % e il 2 %. Gli orientamenti della Commissione indicano che lo 0,5 % del bilancio di un programma dovrebbe essere assegnato alla valutazione (38). Tuttavia, per programmi di più ampia portata, grazie a economie di scala potrebbe essere sufficiente una parte più modesta della dotazione corrispondente.

| 63. | Da un raffronto tra gli importi destinati dalla Commissione alla spesa per la valutazione nel periodo 2003-2006 e gli stanziamenti di bilancio per ciascuna direzione generale risulta che, complessivamente, la media si attesta attorno allo 0,15 %, percentuale notevolmente inferiore al livello indicato dalla Commissione. Da un’analisi più approfondita dell’esercizio 2006 risulta che la direzione generale Società dell’informazione ha speso per la valutazione circa il quadruplo della direzione generale Ricerca, in proporzione agli stanziamenti a disposizione. Inoltre, presso la direzione generale Ricerca, soltanto lo 0,7 % del lavoro di un funzionario a tempo pieno è assegnato alla valutazione per milione di euro del bilancio annuale. A titolo di confronto, la direzione generale Società dell’informazione assegna una percentuale doppia. |
| --- | --- |

63.

Da un raffronto tra gli importi destinati dalla Commissione alla spesa per la valutazione nel periodo 2003-2006 e gli stanziamenti di bilancio per ciascuna direzione generale risulta che, complessivamente, la media si attesta attorno allo 0,15 %, percentuale notevolmente inferiore al livello indicato dalla Commissione. Da un’analisi più approfondita dell’esercizio 2006 risulta che la direzione generale Società dell’informazione ha speso per la valutazione circa il quadruplo della direzione generale Ricerca, in proporzione agli stanziamenti a disposizione. Inoltre, presso la direzione generale Ricerca, soltanto lo 0,7 % del lavoro di un funzionario a tempo pieno è assegnato alla valutazione per milione di euro del bilancio annuale. A titolo di confronto, la direzione generale Società dell’informazione assegna una percentuale doppia.

| 64. | Come indicato nella presente relazione, gli sforzi supplementari della direzione generale Società dell’informazione hanno portato a una valutazione più completa (cfr. paragrafi 13 e 46) e, come illustrato nel campione di valutazioni esaminato dalla Corte, all’impiego di metodologie più idonee a rispondere alle esigenze di valutazione (cfr. paragrafo 84). |
| --- | --- |

64.

Come indicato nella presente relazione, gli sforzi supplementari della direzione generale Società dell’informazione hanno portato a una valutazione più completa (cfr. paragrafi 13 e 46) e, come illustrato nel campione di valutazioni esaminato dalla Corte, all’impiego di metodologie più idonee a rispondere alle esigenze di valutazione (cfr. paragrafo 84).

| 65. | Una stima dei costi effettuata dalla Corte sulla base dei dati forniti dalla Commissione mostra che un sistema di valutazione fondato sulle proposte formulate nella presente relazione costerebbe, mediamente, meno dello 0,4 % degli stanziamenti di bilancio del 7o PQ. L'importo considerato coprirebbe i costi dei gruppi di esperti, del subappalto di studi, del personale dell’ufficio comune di valutazione e di quello che svolge attualmente le unità di valutazione presso le singole direzioni generali, nonché altre spese varie (39). |
| --- | --- |

65.

Una stima dei costi effettuata dalla Corte sulla base dei dati forniti dalla Commissione mostra che un sistema di valutazione fondato sulle proposte formulate nella presente relazione costerebbe, mediamente, meno dello 0,4 % degli stanziamenti di bilancio del 7o PQ. L'importo considerato coprirebbe i costi dei gruppi di esperti, del subappalto di studi, del personale dell’ufficio comune di valutazione e di quello che svolge attualmente le unità di valutazione presso le singole direzioni generali, nonché altre spese varie (39).

Raccomandazioni

66.

| 66. | Le «direzioni generali della ricerca» dovrebbero considerare la creazione di un ufficio comune di valutazione, oltre alle unità di valutazione esistenti attualmente presso ciascuna direzione generale. In linea con le pratiche adottate per altre politiche, tale ufficio potrebbe coordinare le attività di valutazione della Commissione per l’intero PQ. Tali funzioni di supporto comuni sono già state raccomandate in precedenza alle direzioni generali responsabili dell’attuazione dei PQ (40) e potrebbero diventare ancora più importanti in futuro con la creazione del CER e la delega dell’attuazione dei programmi ad agenzie esecutive. |
| --- | --- |

Le «direzioni generali della ricerca» dovrebbero considerare la creazione di un ufficio comune di valutazione, oltre alle unità di valutazione esistenti attualmente presso ciascuna direzione generale. In linea con le pratiche adottate per altre politiche, tale ufficio potrebbe coordinare le attività di valutazione della Commissione per l’intero PQ. Tali funzioni di supporto comuni sono già state raccomandate in precedenza alle direzioni generali responsabili dell’attuazione dei PQ (40) e potrebbero diventare ancora più importanti in futuro con la creazione del CER e la delega dell’attuazione dei programmi ad agenzie esecutive.

| 67. | La Commissione dovrebbe continuare a ricorrere a gruppi di esperti che la assistano nelle attività di valutazione. Tuttavia, dovrebbe considerare come adattare la struttura di tali gruppi alla struttura generale dei programmi nell'ambito dei PQ. A tal fine, potrebbero essere costituiti gruppi di esperti per ciascun programma e, se del caso, sottoprogramma specifico (cfr. allegato 4). Inoltre, tali gruppi dovrebbero essere costituiti con sufficiente anticipo, perché forniscano un sostegno efficace alla Commissione, e continuino a fornirlo durante tutta la durata del periodo di programmazione ed oltre. |
| --- | --- |

67.

La Commissione dovrebbe continuare a ricorrere a gruppi di esperti che la assistano nelle attività di valutazione. Tuttavia, dovrebbe considerare come adattare la struttura di tali gruppi alla struttura generale dei programmi nell'ambito dei PQ. A tal fine, potrebbero essere costituiti gruppi di esperti per ciascun programma e, se del caso, sottoprogramma specifico (cfr. allegato 4). Inoltre, tali gruppi dovrebbero essere costituiti con sufficiente anticipo, perché forniscano un sostegno efficace alla Commissione, e continuino a fornirlo durante tutta la durata del periodo di programmazione ed oltre.

| 68. | La Commissione dovrebbe rivedere le risorse assegnate alla valutazione dei PQ e dei loro programmi costitutivi. |
| --- | --- |

68.

La Commissione dovrebbe rivedere le risorse assegnate alla valutazione dei PQ e dei loro programmi costitutivi.

Metodologie e tecniche di valutazione

| 69. | Una valutazione efficace esige l’utilizzo di metodologie e tecniche appropriate. La Corte ha verificato se esistessero degli orientamenti specifici per la valutazione dei PQ, se le informazioni necessarie fossero oggetto di un’analisi appropriata e tempestiva e se i dati pertinenti fossero messi a disposizione dei valutatori. Alla luce delle valutazioni realizzate dalla (o per conto della) Commissione, la Corte ha esaminato se le tecniche utilizzate per singoli studi costituissero una base adeguata per rispondere ai quesiti valutativi elaborati per le valutazioni quinquennali. Inoltre, la Corte ha preso in considerazione il contributo potenziale delle valutazioni a livello nazionale alla valutazione dei PQ. |
| --- | --- |

69.

Una valutazione efficace esige l’utilizzo di metodologie e tecniche appropriate. La Corte ha verificato se esistessero degli orientamenti specifici per la valutazione dei PQ, se le informazioni necessarie fossero oggetto di un’analisi appropriata e tempestiva e se i dati pertinenti fossero messi a disposizione dei valutatori. Alla luce delle valutazioni realizzate dalla (o per conto della) Commissione, la Corte ha esaminato se le tecniche utilizzate per singoli studi costituissero una base adeguata per rispondere ai quesiti valutativi elaborati per le valutazioni quinquennali. Inoltre, la Corte ha preso in considerazione il contributo potenziale delle valutazioni a livello nazionale alla valutazione dei PQ.

L'elaborazione di norme e orientamenti specifici relativi ai programmi quadro

| 70. | La direzione generale Bilancio ha emanato una serie di comunicazioni che definiscono la politica di valutazione e forniscono norme per la sua attuazione; inoltre, ha definito un insieme di norme a livello della Commissione (cfr. paragrafi 14 e 55) (41). Per altre politiche, le direzioni generali responsabili hanno anch'esse sviluppato guide specifiche per la valutazione (42). |
| --- | --- |

70.

La direzione generale Bilancio ha emanato una serie di comunicazioni che definiscono la politica di valutazione e forniscono norme per la sua attuazione; inoltre, ha definito un insieme di norme a livello della Commissione (cfr. paragrafi 14 e 55) (41). Per altre politiche, le direzioni generali responsabili hanno anch'esse sviluppato guide specifiche per la valutazione (42).

| 71. | Questo però non è avvenuto per i PQ. La Commissione ha pubblicato (o finanziato) una serie di guide e strumenti metodologici per le attività di valutazione nel settore della ricerca (43). Tuttavia, tali documenti non forniscono indicazioni specifiche sulle modalità di svolgimento delle valutazioni dei PQ né indicano come il personale della Commissione o gli esperti esterni debbano utilizzare i concetti chiave o la terminologia. Ciò ha contribuito ai problemi trattati qui di seguito. |
| --- | --- |

71.

Questo però non è avvenuto per i PQ. La Commissione ha pubblicato (o finanziato) una serie di guide e strumenti metodologici per le attività di valutazione nel settore della ricerca (43). Tuttavia, tali documenti non forniscono indicazioni specifiche sulle modalità di svolgimento delle valutazioni dei PQ né indicano come il personale della Commissione o gli esperti esterni debbano utilizzare i concetti chiave o la terminologia. Ciò ha contribuito ai problemi trattati qui di seguito.

Dati necessari e raccolta dei dati

L’analisi delle informazioni necessarie è insufficiente

| 72. | Le «direzioni generali della ricerca» non hanno dedicato sufficiente attenzione a capire quali dati fossero necessari ai fini della valutazione e del monitoraggio. Invece di svolgere un’analisi sistematica e completa del fabbisogno in materia di informazioni, la Commissione ha indicato tardivamente nel periodo di programmazione quali erano i dati necessari e senza tenere debitamente conto delle esigenze globali di valutazione. Il questionario socioeconomico concernente il 6o PQ è stato il solo tentativo comune delle direzioni generali per concordare tali dati (cfr. paragrafo 76). Esso, tuttavia, è stato finalizzato nel 2004 (tre anni dopo l’avvio del periodo di programmazione) e concerne principalmente aspetti quali la partecipazione per genere e gli impatti ambientali, piuttosto che le realizzazioni scientifiche (come questioni legate alla proprietà intellettuale, pubblicazioni, ecc.) gli effetti o gli impatti. |
| --- | --- |

72.

Le «direzioni generali della ricerca» non hanno dedicato sufficiente attenzione a capire quali dati fossero necessari ai fini della valutazione e del monitoraggio. Invece di svolgere un’analisi sistematica e completa del fabbisogno in materia di informazioni, la Commissione ha indicato tardivamente nel periodo di programmazione quali erano i dati necessari e senza tenere debitamente conto delle esigenze globali di valutazione. Il questionario socioeconomico concernente il 6o PQ è stato il solo tentativo comune delle direzioni generali per concordare tali dati (cfr. paragrafo 76). Esso, tuttavia, è stato finalizzato nel 2004 (tre anni dopo l’avvio del periodo di programmazione) e concerne principalmente aspetti quali la partecipazione per genere e gli impatti ambientali, piuttosto che le realizzazioni scientifiche (come questioni legate alla proprietà intellettuale, pubblicazioni, ecc.) gli effetti o gli impatti.

| 73. | La valutazione dei programmi dipende in larga misura dalla disponibilità di tre tipi di dati:






  — | dati raccolti in base a indicatori di efficacia, dalla cui analisi si ottengono informazioni sui progressi nel conseguimento degli obiettivi dei programmi. L’assenza di una logica d’intervento, sopra menzionata, ha reso difficile definire tali indicatori (cfr. paragrafo 30). Concretamente, i dati raccolti sono risultati poco pertinenti ai fini della misurazione del raggiungimento degli obiettivi dei programmi; |
| --- | --- | --- |

73.

La valutazione dei programmi dipende in larga misura dalla disponibilità di tre tipi di dati:

—

dati raccolti in base a indicatori di efficacia, dalla cui analisi si ottengono informazioni sui progressi nel conseguimento degli obiettivi dei programmi. L’assenza di una logica d’intervento, sopra menzionata, ha reso difficile definire tali indicatori (cfr. paragrafo 30). Concretamente, i dati raccolti sono risultati poco pertinenti ai fini della misurazione del raggiungimento degli obiettivi dei programmi;

| — | dati relativi alla gestione dei programmi (in base a indicatori di efficienza) e |
| --- | --- |

—

dati relativi alla gestione dei programmi (in base a indicatori di efficienza) e

| — | dati relativi ai partecipanti (come i tassi di partecipazione delle principali organizzazioni di ricerca). |
| --- | --- |

—

dati relativi ai partecipanti (come i tassi di partecipazione delle principali organizzazioni di ricerca).

| 74. | In particolare, gli ultimi due tipi di dati dovrebbero essere disponibili presso la Commissione. Tuttavia, a causa di problemi relativi ai sistemi informatici interni della Commissione, che costituiscono la fonte della maggioranza dei dati in materia di gestione e sui partecipanti ai programmi (44), sono stati riscontrati problemi significativi a tale riguardo nella pratica (45). |
| --- | --- |

74.

In particolare, gli ultimi due tipi di dati dovrebbero essere disponibili presso la Commissione. Tuttavia, a causa di problemi relativi ai sistemi informatici interni della Commissione, che costituiscono la fonte della maggioranza dei dati in materia di gestione e sui partecipanti ai programmi (44), sono stati riscontrati problemi significativi a tale riguardo nella pratica (45).

| 75. | Tali difficoltà sono illustrate dai notevoli ritardi nel rendere disponibili le relazioni presentate ai sensi dell’articolo 173 e le relazioni annuali di controllo (fino a 16 mesi di ritardo per le relazioni ai sensi dell’articolo 173 (46) e fino a 7 mesi per le relazioni annuali di controllo nel periodo 2002-2005). Poiché tali informazioni erano costantemente fornite in ritardo, la loro utilità risultava limitata. |
| --- | --- |

75.

Tali difficoltà sono illustrate dai notevoli ritardi nel rendere disponibili le relazioni presentate ai sensi dell’articolo 173 e le relazioni annuali di controllo (fino a 16 mesi di ritardo per le relazioni ai sensi dell’articolo 173 (46) e fino a 7 mesi per le relazioni annuali di controllo nel periodo 2002-2005). Poiché tali informazioni erano costantemente fornite in ritardo, la loro utilità risultava limitata.

Approccio inefficace per ottenere dati relativi alla valutazione dai partecipanti

| 76. | A partire dal 5o PQ, la Commissione ha sistematicamente richiesto ai partecipanti, per contratto, di fornire i dati necessari per misurare il raggiungimento degli obiettivi dei programmi in termini di realizzazioni, effetti e impatti, come segue:






  — | nel quadro del 5o PQ, i partecipanti dovevano presentare un «piano di applicazione della tecnologia» nonché una relazione finale dopo il completamento del progetto. Tali documenti spesso erano di qualità scadente o non venivano presentati affatto; |
| --- | --- | --- |

76.

A partire dal 5o PQ, la Commissione ha sistematicamente richiesto ai partecipanti, per contratto, di fornire i dati necessari per misurare il raggiungimento degli obiettivi dei programmi in termini di realizzazioni, effetti e impatti, come segue:

—

nel quadro del 5o PQ, i partecipanti dovevano presentare un «piano di applicazione della tecnologia» nonché una relazione finale dopo il completamento del progetto. Tali documenti spesso erano di qualità scadente o non venivano presentati affatto;

| — | nel quadro del 6o PQ, i partecipanti dovevano redigere un «piano per la diffusione e l’utilizzo delle conoscenze» e, al momento di presentare i rapporti tecnici annuali, rispondere a un questionario standardizzato su questioni socioeconomiche. |
| --- | --- |

—

nel quadro del 6o PQ, i partecipanti dovevano redigere un «piano per la diffusione e l’utilizzo delle conoscenze» e, al momento di presentare i rapporti tecnici annuali, rispondere a un questionario standardizzato su questioni socioeconomiche.

| 77. | Tali disposizioni contrattuali relative alla comunicazione di dati determinano un carico amministrativo superfluo per i partecipanti. Ad esempio, per quanto riguarda il questionario annuale relativo al 6o PQ, i dati sono stati raccolti molto più spesso del necessario e presso l'intera popolazione di progetti, mentre un campione rappresentativo sarebbe stato sufficiente. Ciò potrebbe condurre a una «stanchezza da valutazione». Inoltre, tali informazioni sono state raccolte al momento sbagliato: molti quesiti per i quali sono stati raccolti dati sono, per loro natura, a medio o lungo termine, pertanto la raccolta dei dati entro la durata contrattuale del progetto è, per definizione, prematura (47). È per questo che, nella pratica, le informazioni fornite da tali strumenti sono risultate di scarsa utilità per le valutazioni nel quadro del 5o e 6o PQ. |
| --- | --- |

77.

Tali disposizioni contrattuali relative alla comunicazione di dati determinano un carico amministrativo superfluo per i partecipanti. Ad esempio, per quanto riguarda il questionario annuale relativo al 6o PQ, i dati sono stati raccolti molto più spesso del necessario e presso l'intera popolazione di progetti, mentre un campione rappresentativo sarebbe stato sufficiente. Ciò potrebbe condurre a una «stanchezza da valutazione». Inoltre, tali informazioni sono state raccolte al momento sbagliato: molti quesiti per i quali sono stati raccolti dati sono, per loro natura, a medio o lungo termine, pertanto la raccolta dei dati entro la durata contrattuale del progetto è, per definizione, prematura (47). È per questo che, nella pratica, le informazioni fornite da tali strumenti sono risultate di scarsa utilità per le valutazioni nel quadro del 5o e 6o PQ.

| 78. | Tuttavia, nessuno dei sistemi vigenti prevede che le informazioni siano raccolte in modo standardizzato alla fine del ciclo di un progetto (o poco dopo). Le parti interessate interrogate hanno suggerito che tali informazioni comprendano il conseguimento degli obiettivi dei progetti, i risultati attesi (e quelli imprevisti) e la percezione del valore aggiunto comunitario da parte dei partecipanti. Tali informazioni potrebbero costituire la base per verifiche esterne su progetti ultimati (48). |
| --- | --- |

78.

Tuttavia, nessuno dei sistemi vigenti prevede che le informazioni siano raccolte in modo standardizzato alla fine del ciclo di un progetto (o poco dopo). Le parti interessate interrogate hanno suggerito che tali informazioni comprendano il conseguimento degli obiettivi dei progetti, i risultati attesi (e quelli imprevisti) e la percezione del valore aggiunto comunitario da parte dei partecipanti. Tali informazioni potrebbero costituire la base per verifiche esterne su progetti ultimati (48).

| 79. | Insieme a un uso più esteso di approcci scientometrici (come l’analisi citazionale) per valutare i risultati dei progetti (cfr. paragrafo 83), tali informazioni potrebbero rivelarsi utili alla Commissione in vista del passaggio a un sistema di finanziamento basato maggiormente sui risultati per le attività di RST cofinanziate dalla Comunità (49). |
| --- | --- |

79.

Insieme a un uso più esteso di approcci scientometrici (come l’analisi citazionale) per valutare i risultati dei progetti (cfr. paragrafo 83), tali informazioni potrebbero rivelarsi utili alla Commissione in vista del passaggio a un sistema di finanziamento basato maggiormente sui risultati per le attività di RST cofinanziate dalla Comunità (49).

Altre fonti dei dati usate in modo inadeguato

| 80. | Altre fonti di dati esistenti presso la Commissione e negli Stati membri ad esempio, le basi dati dei programmi nazionali di RST e delle agenzie di finanziamento, nonché il «Servizio comunitario di informazione in materia di ricerca e sviluppo» (CORDIS) gestito dall’Ufficio delle pubblicazioni della Commissione (50)), non sono utilizzate a sufficienza. |
| --- | --- |

80.

Altre fonti di dati esistenti presso la Commissione e negli Stati membri ad esempio, le basi dati dei programmi nazionali di RST e delle agenzie di finanziamento, nonché il «Servizio comunitario di informazione in materia di ricerca e sviluppo» (CORDIS) gestito dall’Ufficio delle pubblicazioni della Commissione (50)), non sono utilizzate a sufficienza.

Studi di valutazione svolti dalla Commissione

Relazioni esaminate dalla Corte

| 81. | La Corte ha esaminato 86 studi di valutazione eseguiti dalla Commissione (o per suo conto) dal 2000. Essi comprendevano i 36 studi che formano la base della valutazione quinquennale pubblicata nel 2004 e altri 50 studi completati dopo tale data. Di questi solo 23 possono essere considerati valutazioni effettive dei PQ e dei loro programmi costitutivi (cfr. grafico 5).
  Grafico 5
  Sintesi degli studi di valutazione eseguiti dalla Commissione (o per suo conto) nel periodo 2000-2006








  Tipo di studi | Numero | Descrizione |
| --- | --- | --- | --- |
| Valutazioni delle attività dei PQ | 23 | Studi di valutazione






  — | basati su metodologie riconosciute (51); |

81.

La Corte ha esaminato 86 studi di valutazione eseguiti dalla Commissione (o per suo conto) dal 2000. Essi comprendevano i 36 studi che formano la base della valutazione quinquennale pubblicata nel 2004 e altri 50 studi completati dopo tale data. Di questi solo 23 possono essere considerati valutazioni effettive dei PQ e dei loro programmi costitutivi (cfr. grafico 5).

Grafico 5

Sintesi degli studi di valutazione eseguiti dalla Commissione (o per suo conto) nel periodo 2000-2006

Tipo di studi

Numero

Descrizione

Valutazioni delle attività dei PQ

23

Studi di valutazione

—

basati su metodologie riconosciute (51);

| — | si riferiscono esplicitamente agli obiettivi dei programmi e al grado di realizzazione di tali obiettivi. |
| --- | --- |

—

si riferiscono esplicitamente agli obiettivi dei programmi e al grado di realizzazione di tali obiettivi.

Valutazioni d’impatto nazionali effettuate a livello degli Stati membri

12

Studi effettuati dagli Stati membri, incentrati principalmente sui tassi di partecipazione nazionali, più che sulle conclusioni sugli obiettivi dei programmi.

Studi metodologici

5

Studi organizzati dalla Commissione per sostenere lo sviluppo di metodologie valutative.

Studi dell'ambiente dell'RST in Europa

2

Studi che trattano analisi contestuali relative al settore della ricerca in Europa, ma non i PQ. Mancano in particolare riferimenti espliciti all’effetto dei PQ sui sistemi nazionali di ricerca e innovazione.

Documenti statistici descrittivi e non analitici

33

Documenti che generalmente trattano le attività dei PQ in modo molto indiretto, spesso descrivendo le attività piuttosto che analizzandole.

Altri documenti

11

Una serie di documenti trattanti questioni di interesse generale relativi alla politica, senza esaminare i PQ in tale contesto.

Le valutazioni si concentrano su questioni di monitoraggio, invece che su effetti e impatti

| 82. | La Corte ha svolto una meta-analisi di tali studi di valutazione specifici, che ha dato adito a due osservazioni principali:






  — | anche se molti studi tentano di presentare conclusioni rispetto agli obiettivi dei programmi, la formulazione vaga di tali conclusioni lascia al lettore il dubbio che la valutazione abbia effettivamente affrontato tale aspetto. Ciò è spesso dovuto al fatto che la mancanza di obiettivi chiari del programma compromette gravemente il processo (cfr. paragrafo 28); |
| --- | --- | --- |

82.

La Corte ha svolto una meta-analisi di tali studi di valutazione specifici, che ha dato adito a due osservazioni principali:

—

anche se molti studi tentano di presentare conclusioni rispetto agli obiettivi dei programmi, la formulazione vaga di tali conclusioni lascia al lettore il dubbio che la valutazione abbia effettivamente affrontato tale aspetto. Ciò è spesso dovuto al fatto che la mancanza di obiettivi chiari del programma compromette gravemente il processo (cfr. paragrafo 28);

| — | invece di valutare gli effetti e gli impatti dei PQ o dei loro programmi (e sottoprogrammi) specifici, molti documenti sono descrittivi e, al massimo, si concentrano sulle realizzazioni immediate e su aspetti della gestione dei progetti. Tali relazioni non sono in grado di fornire elementi probatori convincenti per quanto riguarda gli effetti o gli impatti. |
| --- | --- |

—

invece di valutare gli effetti e gli impatti dei PQ o dei loro programmi (e sottoprogrammi) specifici, molti documenti sono descrittivi e, al massimo, si concentrano sulle realizzazioni immediate e su aspetti della gestione dei progetti. Tali relazioni non sono in grado di fornire elementi probatori convincenti per quanto riguarda gli effetti o gli impatti.

Insufficiente attenzione allo sviluppo di metodologie innovative

| 83. | L’uso di metodologie e tecniche tradizionali (in particolare, indagini, esame documentale e colloqui) è predominante per le valutazioni effettuate nel periodo 2000-2006 (cfr. grafico 6). Inoltre, una serie di altre metodologie e tecniche di valutazione sofisticate, ma comunque già consolidate, non sono state impiegate (o lo sono state molto di rado), in particolare:






  — | approcci scientometrici (come l’analisi citazionale) (52); |
| --- | --- | --- |

83.

L’uso di metodologie e tecniche tradizionali (in particolare, indagini, esame documentale e colloqui) è predominante per le valutazioni effettuate nel periodo 2000-2006 (cfr. grafico 6). Inoltre, una serie di altre metodologie e tecniche di valutazione sofisticate, ma comunque già consolidate, non sono state impiegate (o lo sono state molto di rado), in particolare:

—

approcci scientometrici (come l’analisi citazionale) (52);

| — | modelli quantitativi (come l’efficienza e l’efficacia rispetto ai costi e l’analisi costi/benefici) (53); oppure |
| --- | --- |

—

modelli quantitativi (come l’efficienza e l’efficacia rispetto ai costi e l’analisi costi/benefici) (53); oppure

| — | modelli di attore (o comportamentali) (che si concentrano sulle prospettive dei soggetti implicati in un intervento, come le caratteristiche delle reti di ricerca e i relativi cambiamenti nel tempo). |
| --- | --- |

—

modelli di attore (o comportamentali) (che si concentrano sulle prospettive dei soggetti implicati in un intervento, come le caratteristiche delle reti di ricerca e i relativi cambiamenti nel tempo).

Image

| 84. | Gli studi di valutazione che tentano di risolvere alcune difficoltà metodologiche della valutazione dell’intervento pubblico nella ricerca (cfr. allegato I) sono stati utilizzati soltanto in casi limitati:






  — | recentemente, sono stati completati due studi sulla logica d’intervento (54); |
| --- | --- | --- |

84.

Gli studi di valutazione che tentano di risolvere alcune difficoltà metodologiche della valutazione dell’intervento pubblico nella ricerca (cfr. allegato I) sono stati utilizzati soltanto in casi limitati:

—

recentemente, sono stati completati due studi sulla logica d’intervento (54);

| — | sono stati individuati solo tre studi che tentano di valutare l’effetto del finanziamento comunitario sul comportamento delle organizzazioni di ricercatori operanti in rete a livello paneuropeo (55), benché l’ipotesi di effetti positivi dei collegamenti in rete costituisca il nucleo del concetto ERA; |
| --- | --- |

—

sono stati individuati solo tre studi che tentano di valutare l’effetto del finanziamento comunitario sul comportamento delle organizzazioni di ricercatori operanti in rete a livello paneuropeo (55), benché l’ipotesi di effetti positivi dei collegamenti in rete costituisca il nucleo del concetto ERA;

| — | soltanto in un caso si è cercato di trarre conclusioni sull'impatto ottenuto a livello di programma (o sottoprogramma) combinando l'aggregazione di analisi di valutazione a livello di progetto con altre tecniche di valutazione (56); |
| --- | --- |

—

soltanto in un caso si è cercato di trarre conclusioni sull'impatto ottenuto a livello di programma (o sottoprogramma) combinando l'aggregazione di analisi di valutazione a livello di progetto con altre tecniche di valutazione (56);

| — | non è stato rinvenuto alcun elemento attestante l’impiego di altre tecnologie, come l’approccio «controfattuale» (o «gruppo di controllo»). Si tratta di un approccio che risulterebbe particolarmente utile per illustrare il valore aggiunto di programmi a livello comunitario, rispetto all’assenza totale di interventi (a interventi a livello nazionale o regionale). |
| --- | --- |

—

non è stato rinvenuto alcun elemento attestante l’impiego di altre tecnologie, come l’approccio «controfattuale» (o «gruppo di controllo»). Si tratta di un approccio che risulterebbe particolarmente utile per illustrare il valore aggiunto di programmi a livello comunitario, rispetto all’assenza totale di interventi (a interventi a livello nazionale o regionale).

| 85. | Le parti interessate interrogate dalla Corte ritenevano che l’utilità e la pertinenza delle valutazioni della Commissione potessero essere migliorate. Ciò mostra la necessità di sviluppare ulteriormente la metodologia, affinché il sistema di valutazione possa evolvere tenendo conto dei cambiamenti dei PQ (cfr. paragrafo 7) (57). |
| --- | --- |

85.

Le parti interessate interrogate dalla Corte ritenevano che l’utilità e la pertinenza delle valutazioni della Commissione potessero essere migliorate. Ciò mostra la necessità di sviluppare ulteriormente la metodologia, affinché il sistema di valutazione possa evolvere tenendo conto dei cambiamenti dei PQ (cfr. paragrafo 7) (57).

Quesiti impegnativi sollevati nelle valutazioni quinquennali non hanno potuto essere esaminati sulla base degli studi di valutazione specifica della Commissione

| 86. | Ciò è illustrato anche dalle difficoltà notevoli incontrate dal gruppo di esperti responsabile della valutazione quinquennale 2004 (58) nel rispondere ai quesiti valutativi suggeriti nel suo mandato. Molti quesiti impegnativi non hanno potuto essere esaminati affatto, a causa dell’assenza di studi adeguati precedentemente eseguiti dalla Commissione (o per suo conto) e dell’impossibilità per i membri del gruppo di commissionare detti studi in tempo utile (cfr. grafico 7).
  Grafico 7
  Quesiti valutativi trattati nel quadro della valutazione quinquennale 2004 | Quesito valutativo | Trattato nella relazione? |
| --- | --- | --- | --- |
| ATTUAZIONE | Le attività sono state svolte in modo efficiente? | parzialmente |
| Le attività erano valide sotto il profilo dei costi? | parzialmente |
| Le attività costituivano il modo migliore per conseguire gli obiettivi stabiliti? | no |
| Il quadro giuridico generale (comprese le norme relative alla partecipazione ed ai contratti), gli strumenti delle politiche e le modalità d’attuazione erano chiari, adeguati ed efficaci? | no |
| Il livello di finanziamento e le altre risorse disponibili erano adeguati? | no |
| Le comunità beneficiarie (industria, ricerca, comprese le PMI) sono state in grado di rispondere in maniera adeguata? | sì |
| RISULTATI | Le attività hanno conseguito i rispettivi obiettivi e in quale misura si sono prodotti risultati inattesi? | no |
| Quali sono i principali risultati, in particolare in termini di realizzazioni scientifiche, tecnologiche, socioeconomiche ed ambientali e in termini di cooperazione internazionale, trasferimento delle conoscenze e innovazione, attività prenormative, accessibilità, divulgazione e applicazione della ricerca, sviluppo delle risorse umane, mobilità e formazione, nonché in termini di sostegno e potenziamento del coordinamento delle attività di ricerca? | no |
| I risultati ed i relativi effetti e impatti sono stati, nel complesso, soddisfacenti dal punto di vista delle parti interessate e dei beneficiari diretti o indiretti? | no |
| Le comunità interessate (industria, ricerca, comprese le PMI) sono state trattate in modo soddisfacente? | sì |
| In che modo e sino a che punto le attività hanno contribuito a migliorare la competitività della ricerca comunitaria a livello internazionale? La ricerca comunitaria ha conseguito la leadership in aree specifiche? | parzialmente |
| In che modo e sino a che punto le attività hanno contribuito alle politiche comunitarie in generale e alla strategia dell’Unione per uno sviluppo sostenibile? | no |
| Vi sono prove di un cambiamento strutturale, compresi in particolare il collegamento in rete, l’integrazione ed il coordinamento della ricerca, a livello nazionale o internazionale, a seguito delle attività di ricerca della Comunità? | no |
| I programmi erano vantaggiosi sotto il profilo del rapporto costi-benefici? Le attività hanno generato impatti durevoli? | no |
| EVOLUZIONE E FUTURE PROSPETTIVE | In che modo i programmi quadro sono evoluti in termini di motivazioni, obiettivi, priorità tematiche, equilibrio tra priorità dal basso verso l'alto e dall’alto verso il basso e tra ricerca fondamentale e applicata, strumenti, valore aggiunto europeo ed altri impatti, in particolare alla luce dell’emergere del concetto di Spazio europeo della ricerca (SER), degli obiettivi di Lisbona e dei principali indicatori relativi all’economia e alla ricerca a livello internazionale? | sì |
| In che modo il programma quadro ha ottenuto un valore aggiunto europeo? | sì |
| È possibile ottenere un valore aggiunto europeo attraverso altri meccanismi internazionali o nazionali? | no |
| Gli obiettivi della politica, le priorità, gli strumenti e il ciclo di vita dei programmi sono adeguati per il futuro? | sì |

86.

Ciò è illustrato anche dalle difficoltà notevoli incontrate dal gruppo di esperti responsabile della valutazione quinquennale 2004 (58) nel rispondere ai quesiti valutativi suggeriti nel suo mandato. Molti quesiti impegnativi non hanno potuto essere esaminati affatto, a causa dell’assenza di studi adeguati precedentemente eseguiti dalla Commissione (o per suo conto) e dell’impossibilità per i membri del gruppo di commissionare detti studi in tempo utile (cfr. grafico 7).

Grafico 7

Quesiti valutativi trattati nel quadro della valutazione quinquennale 2004

Quesito valutativo

Trattato nella relazione?

ATTUAZIONE

Le attività sono state svolte in modo efficiente?

parzialmente

Le attività erano valide sotto il profilo dei costi?

parzialmente

Le attività costituivano il modo migliore per conseguire gli obiettivi stabiliti?

no

Il quadro giuridico generale (comprese le norme relative alla partecipazione ed ai contratti), gli strumenti delle politiche e le modalità d’attuazione erano chiari, adeguati ed efficaci?

no

Il livello di finanziamento e le altre risorse disponibili erano adeguati?

no

Le comunità beneficiarie (industria, ricerca, comprese le PMI) sono state in grado di rispondere in maniera adeguata?

sì

RISULTATI

Le attività hanno conseguito i rispettivi obiettivi e in quale misura si sono prodotti risultati inattesi?

no

Quali sono i principali risultati, in particolare in termini di realizzazioni scientifiche, tecnologiche, socioeconomiche ed ambientali e in termini di cooperazione internazionale, trasferimento delle conoscenze e innovazione, attività prenormative, accessibilità, divulgazione e applicazione della ricerca, sviluppo delle risorse umane, mobilità e formazione, nonché in termini di sostegno e potenziamento del coordinamento delle attività di ricerca?

no

I risultati ed i relativi effetti e impatti sono stati, nel complesso, soddisfacenti dal punto di vista delle parti interessate e dei beneficiari diretti o indiretti?

no

Le comunità interessate (industria, ricerca, comprese le PMI) sono state trattate in modo soddisfacente?

sì

In che modo e sino a che punto le attività hanno contribuito a migliorare la competitività della ricerca comunitaria a livello internazionale? La ricerca comunitaria ha conseguito la leadership in aree specifiche?

parzialmente

In che modo e sino a che punto le attività hanno contribuito alle politiche comunitarie in generale e alla strategia dell’Unione per uno sviluppo sostenibile?

no

Vi sono prove di un cambiamento strutturale, compresi in particolare il collegamento in rete, l’integrazione ed il coordinamento della ricerca, a livello nazionale o internazionale, a seguito delle attività di ricerca della Comunità?

no

I programmi erano vantaggiosi sotto il profilo del rapporto costi-benefici? Le attività hanno generato impatti durevoli?

no

EVOLUZIONE E FUTURE PROSPETTIVE

In che modo i programmi quadro sono evoluti in termini di motivazioni, obiettivi, priorità tematiche, equilibrio tra priorità dal basso verso l'alto e dall’alto verso il basso e tra ricerca fondamentale e applicata, strumenti, valore aggiunto europeo ed altri impatti, in particolare alla luce dell’emergere del concetto di Spazio europeo della ricerca (SER), degli obiettivi di Lisbona e dei principali indicatori relativi all’economia e alla ricerca a livello internazionale?

sì

In che modo il programma quadro ha ottenuto un valore aggiunto europeo?

sì

È possibile ottenere un valore aggiunto europeo attraverso altri meccanismi internazionali o nazionali?

no

Gli obiettivi della politica, le priorità, gli strumenti e il ciclo di vita dei programmi sono adeguati per il futuro?

sì

| 87. | Inoltre, va notato che i membri del gruppo di esperti sono stati in grado di rispondere ai quesiti specificati nel loro mandato solo per gli aspetti per cui erano stati definiti nei programmi obiettivi chiari e quantificabili (come la quota di piccole e medie imprese partecipanti). |
| --- | --- |

87.

Inoltre, va notato che i membri del gruppo di esperti sono stati in grado di rispondere ai quesiti specificati nel loro mandato solo per gli aspetti per cui erano stati definiti nei programmi obiettivi chiari e quantificabili (come la quota di piccole e medie imprese partecipanti).

Valutazioni dei programmi quadro effettuate a livello nazionale

| 88. | Diversi Stati membri e paesi associati effettuano valutazioni nazionali dei PQ, trattando questioni pertinenti ed interessanti dal loro punto di vista (59). Negli ultimi otto anni, nove Stati membri e un paese associato hanno prodotto 14 studi di questo tipo. |
| --- | --- |

88.

Diversi Stati membri e paesi associati effettuano valutazioni nazionali dei PQ, trattando questioni pertinenti ed interessanti dal loro punto di vista (59). Negli ultimi otto anni, nove Stati membri e un paese associato hanno prodotto 14 studi di questo tipo.

| 89. | Anche se la Commissione incoraggiava, ove possibile, approcci standardizzati, gli studi di impatto nazionali sono molto eterogenei (60). Di conseguenza, dato che non seguono una metodologia armonizzata, le possibilità di aggregare, combinare o raffrontare i risultati sono limitate. Inoltre, considerato il loro carattere nazionale, tali studi possono cogliere solo in parte la dimensione cooperativa europea. |
| --- | --- |

89.

Anche se la Commissione incoraggiava, ove possibile, approcci standardizzati, gli studi di impatto nazionali sono molto eterogenei (60). Di conseguenza, dato che non seguono una metodologia armonizzata, le possibilità di aggregare, combinare o raffrontare i risultati sono limitate. Inoltre, considerato il loro carattere nazionale, tali studi possono cogliere solo in parte la dimensione cooperativa europea.

| 90. | Nel «libro verde» 2007 sullo Spazio europeo della ricerca, la Commissione sosteneva l’importanza di rendere disponibili, a livello dello Spazio europeo della ricerca, analisi accurate concernenti l’impatto e l’efficacia delle attività e delle politiche di ricerca, comprese quelle degli Stati membri e dell’UE. Riconosceva inoltre che le disposizioni attuali non erano adeguate per affrontare tale sfida, dato che ciascun livello di intervento conduceva valutazioni separatamente dagli altri (61). |
| --- | --- |

90.

Nel «libro verde» 2007 sullo Spazio europeo della ricerca, la Commissione sosteneva l’importanza di rendere disponibili, a livello dello Spazio europeo della ricerca, analisi accurate concernenti l’impatto e l’efficacia delle attività e delle politiche di ricerca, comprese quelle degli Stati membri e dell’UE. Riconosceva inoltre che le disposizioni attuali non erano adeguate per affrontare tale sfida, dato che ciascun livello di intervento conduceva valutazioni separatamente dagli altri (61).

Raccomandazioni

91.

| 91. | La Commissione dovrebbe elaborare un manuale per la valutazione delle attività finanziate dai PQ, che fornisca definizioni dei concetti chiave e della terminologia e identifichi una serie di metodologie adeguate per determinate attività di valutazione. Tale manuale dovrebbe basarsi su guide e procedure esistenti e dovrebbe essere aggiornato regolarmente. |
| --- | --- |

La Commissione dovrebbe elaborare un manuale per la valutazione delle attività finanziate dai PQ, che fornisca definizioni dei concetti chiave e della terminologia e identifichi una serie di metodologie adeguate per determinate attività di valutazione. Tale manuale dovrebbe basarsi su guide e procedure esistenti e dovrebbe essere aggiornato regolarmente.

| 92. | La Commissione dovrebbe indicare le proprie esigenze in materia di informazione, tenendo conto della necessità di limitare l’onere amministrativo per i partecipanti. |
| --- | --- |

92.

La Commissione dovrebbe indicare le proprie esigenze in materia di informazione, tenendo conto della necessità di limitare l’onere amministrativo per i partecipanti.

| 93. | La Commissione dovrebbe fornire informazioni tempestive sul monitoraggio per quanto riguarda l'attuazione dei PQ. Come richiesto dalle «norme in materia di partecipazione» del 7o PQ, occorre risolvere urgentemente i problemi relativi ai sistemi informatici della Commissione per la gestione dei dati sulla gestione dei programmi e sui partecipanti. |
| --- | --- |

93.

La Commissione dovrebbe fornire informazioni tempestive sul monitoraggio per quanto riguarda l'attuazione dei PQ. Come richiesto dalle «norme in materia di partecipazione» del 7o PQ, occorre risolvere urgentemente i problemi relativi ai sistemi informatici della Commissione per la gestione dei dati sulla gestione dei programmi e sui partecipanti.

| 94. | Gli obblighi dei partecipanti per quanto riguarda la presentazione di relazioni alla Commissione dovrebbero essere ridotti in modo significativo e le indagini dovrebbero essere condotte soltanto sulla base di un campione. Gli obblighi contrattuali relativi alla presentazione di dati di impatto basati su indicatori, per ogni progetto dovrebbero essere sostituiti da una breve autovalutazione, una volta concluso il progetto. |
| --- | --- |

94.

Gli obblighi dei partecipanti per quanto riguarda la presentazione di relazioni alla Commissione dovrebbero essere ridotti in modo significativo e le indagini dovrebbero essere condotte soltanto sulla base di un campione. Gli obblighi contrattuali relativi alla presentazione di dati di impatto basati su indicatori, per ogni progetto dovrebbero essere sostituiti da una breve autovalutazione, una volta concluso il progetto.

| 95. | La Commissione dovrebbe sfruttare maggiormente le fonti complementari esistenti di dati utili per le proprie valutazioni (all’interno della Commissione e negli Stati membri). |
| --- | --- |

95.

La Commissione dovrebbe sfruttare maggiormente le fonti complementari esistenti di dati utili per le proprie valutazioni (all’interno della Commissione e negli Stati membri).

| 96. | La Commissione dovrebbe impiegare tutta la gamma di tecniche di valutazione disponibili. Inoltre, dovrebbe sostenere lo sviluppo di approcci innovativi per risolvere le difficoltà metodologiche inerenti alla valutazione dell’intervento pubblico nella ricerca (cfr. allegato I) e utilizzare di tali approcci nelle proprie valutazioni. |
| --- | --- |

96.

La Commissione dovrebbe impiegare tutta la gamma di tecniche di valutazione disponibili. Inoltre, dovrebbe sostenere lo sviluppo di approcci innovativi per risolvere le difficoltà metodologiche inerenti alla valutazione dell’intervento pubblico nella ricerca (cfr. allegato I) e utilizzare di tali approcci nelle proprie valutazioni.

| 97. | La Commissione dovrebbe consultare gli Stati membri circa il modo in cui massimizzare i benefici delle valutazioni dei PQ condotte a livello nazionale. |
| --- | --- |

97.

La Commissione dovrebbe consultare gli Stati membri circa il modo in cui massimizzare i benefici delle valutazioni dei PQ condotte a livello nazionale.

Diffusione e utilizzazione delle risultanze della valutazione

| 98. | La valutazione dovrebbe fornire informazioni ed analisi pertinenti suscettibili di essere utilizzate efficacemente per la gestione dei programmi e l’elaborazione delle politiche. In particolare, la valutazione dovrebbe costituire il punto di partenza per una riflessione approfondita sui punti di forza e di debolezza di un intervento pubblico. Tale riflessione è necessaria per trarre insegnamenti dalle esperienze passate. La Corte ha verificato se le valutazioni siano state svolte nei tempi opportuni, se le risultanze siano state divulgate e diffuse tra le parti interessate all’esterno della Commissione e se quest’ultima abbia tenuto conto delle raccomandazioni per rivedere i programmi in corso («learning programmes»). |
| --- | --- |

98.

La valutazione dovrebbe fornire informazioni ed analisi pertinenti suscettibili di essere utilizzate efficacemente per la gestione dei programmi e l’elaborazione delle politiche. In particolare, la valutazione dovrebbe costituire il punto di partenza per una riflessione approfondita sui punti di forza e di debolezza di un intervento pubblico. Tale riflessione è necessaria per trarre insegnamenti dalle esperienze passate. La Corte ha verificato se le valutazioni siano state svolte nei tempi opportuni, se le risultanze siano state divulgate e diffuse tra le parti interessate all’esterno della Commissione e se quest’ultima abbia tenuto conto delle raccomandazioni per rivedere i programmi in corso («learning programmes»).

Il calendario delle valutazioni non tiene conto del tipo di informazioni che possono essere realisticamente attese

| 99. | La Corte riconosce che certi tipi di analisi richiedono una prospettiva a lungo termine (ad esempio, la valutazione degli effetti e degli impatti socioeconomici) e che alcuni aspetti sono legati a un periodo di programmazione specifico (ad esempio gli obiettivi dei programmi, anche in un campo scientifico determinato), mentre altri non lo sono (cfr. grafico 8). Tuttavia, la Commissione non ha adottato, nelle proprie attività di valutazione, un approccio che tenga conto di tali orizzonti temporali. |
| --- | --- |

99.

La Corte riconosce che certi tipi di analisi richiedono una prospettiva a lungo termine (ad esempio, la valutazione degli effetti e degli impatti socioeconomici) e che alcuni aspetti sono legati a un periodo di programmazione specifico (ad esempio gli obiettivi dei programmi, anche in un campo scientifico determinato), mentre altri non lo sono (cfr. grafico 8). Tuttavia, la Commissione non ha adottato, nelle proprie attività di valutazione, un approccio che tenga conto di tali orizzonti temporali.

| 100. | Ai sensi della normativa, le principali attività di valutazione della Commissione si concentrano esclusivamente sui cinque anni precedenti la valutazione quinquennale, abbracciando così parti di due periodi di programmazione successivi. Pertanto, gli effetti e gli impatti a medio e lungo termine sono stati raramente esaminati. Di conseguenza, le valutazioni quinquennali si sono concentrate in genere su aspetti riguardanti essenzialmente il monitoraggio e la concezione dei programmi a breve termine, nonché su osservazioni generali relative all’orientamento dei PQ. La Corte si compiace che la normativa relativa al 7o PQ non preveda più le valutazioni quinquennali né altre valutazioni relative a periodi predefiniti.
  Grafico 8
  Questioni relative al monitoraggio e alla valutazione in funzione di diversi orizzonti temporali







  Monitoraggio dell’attuazione del programma

  (in corso) | — | Questioni relative alla gestione del programma (ad esempio, tempi per la stipula dei contratti, termini di pagamento, numero di proposte presentate e tasso di successo, esecuzione del bilancio, tassi di finanziamento, ecc.) |
| --- | --- | --- | --- |

100.

Ai sensi della normativa, le principali attività di valutazione della Commissione si concentrano esclusivamente sui cinque anni precedenti la valutazione quinquennale, abbracciando così parti di due periodi di programmazione successivi. Pertanto, gli effetti e gli impatti a medio e lungo termine sono stati raramente esaminati. Di conseguenza, le valutazioni quinquennali si sono concentrate in genere su aspetti riguardanti essenzialmente il monitoraggio e la concezione dei programmi a breve termine, nonché su osservazioni generali relative all’orientamento dei PQ. La Corte si compiace che la normativa relativa al 7o PQ non preveda più le valutazioni quinquennali né altre valutazioni relative a periodi predefiniti.

Grafico 8

Questioni relative al monitoraggio e alla valutazione in funzione di diversi orizzonti temporali

Monitoraggio dell’attuazione del programma

(in corso)

—

Questioni relative alla gestione del programma (ad esempio, tempi per la stipula dei contratti, termini di pagamento, numero di proposte presentate e tasso di successo, esecuzione del bilancio, tassi di finanziamento, ecc.)

Valutazione

Breve termine

(cioè il prima possibile, dopo 1-2 anni)

| — | Questioni relative alla gestione del programma (ad esempio, efficienza delle procedure amministrative) |
| --- | --- |

—

Questioni relative alla gestione del programma (ad esempio, efficienza delle procedure amministrative)

| — | Questioni relative alla concezione del programma (ad esempio, accessibilità e flessibilità degli strumenti, ostacoli alla partecipazione, implicazioni del mancato successo a seguito degli inviti a presentare proposte, ecc.) |
| --- | --- |

—

Questioni relative alla concezione del programma (ad esempio, accessibilità e flessibilità degli strumenti, ostacoli alla partecipazione, implicazioni del mancato successo a seguito degli inviti a presentare proposte, ecc.)

| — | Analisi del profilo della partecipazione (principalmente quantitativa, in questa fase) |
| --- | --- |

—

Analisi del profilo della partecipazione (principalmente quantitativa, in questa fase)

Valutazione

Medio termine

(cioè, dopo 7 anni)

| — | Questioni relative alla concezione del programma (ad esempio, efficacia degli strumenti) |
| --- | --- |

—

Questioni relative alla concezione del programma (ad esempio, efficacia degli strumenti)

| — | Analisi della partecipazione (combinando aspetti qualitativi e quantitativi, ad esempio analisi delle reti di ricerca, impatti sul comportamento dei ricercatori, ecc.) |
| --- | --- |

—

Analisi della partecipazione (combinando aspetti qualitativi e quantitativi, ad esempio analisi delle reti di ricerca, impatti sul comportamento dei ricercatori, ecc.)

| — | Analisi delle realizzazioni dei progetti
   (62) (pubblicazioni, relazioni a convegni, brevetti, licenze, prototipi, scienziati qualificati, ecc.) |
| --- | --- |

—

Analisi delle realizzazioni dei progetti
   (62) (pubblicazioni, relazioni a convegni, brevetti, licenze, prototipi, scienziati qualificati, ecc.)

Valutazione

Lungo termine

(cioè, dopo > 10 anni)

| — | Valutazione degli effetti e degli impatti |
| --- | --- |

—

Valutazione degli effetti e degli impatti

Fonte: Corte dei conti europea.

| 101. | Le carenze della valutazione quinquennale nel valutare gli effetti e gli impatti dei PQ sono state constatate anche dagli esperti della Commissione:






  — | il gruppo di esperti responsabile della valutazione quinquennale 2004 osservava che la valutazione dovrebbe coprire e prestare sufficiente attenzione a questioni relative al lungo e breve termine, e che le risorse potrebbero essere svincolate per consentire studi di valutazione a lungo termine più ambiziosi, che esplorassero aspetti strutturali e questioni socioeconomiche più ampie in modo più sistematico (63), |
| --- | --- | --- |

101.

Le carenze della valutazione quinquennale nel valutare gli effetti e gli impatti dei PQ sono state constatate anche dagli esperti della Commissione:

—

il gruppo di esperti responsabile della valutazione quinquennale 2004 osservava che la valutazione dovrebbe coprire e prestare sufficiente attenzione a questioni relative al lungo e breve termine, e che le risorse potrebbero essere svincolate per consentire studi di valutazione a lungo termine più ambiziosi, che esplorassero aspetti strutturali e questioni socioeconomiche più ampie in modo più sistematico (63),

| — | uno studio commissionato dalla direzione generale Ricerca constatava che le pratiche attuali di valutazione della RST (compresi il monitoraggio continuo, le valutazioni quinquennali e la valutazione intermedia) erano caratterizzate dal forte accento posto sul monitoraggio rispetto alla valutazione dell'impatto. Osservava inoltre che, al fine di spostare la domanda e la previsione verso l'impatto socioeconomico, occorrerebbe un nuovo quadro per la valutazione e il monitoraggio, che imponga un maggiore sforzo per la valutazione dell'impatto, piuttosto che per il monitoraggio delle realizzazioni (64). |
| --- | --- |

—

uno studio commissionato dalla direzione generale Ricerca constatava che le pratiche attuali di valutazione della RST (compresi il monitoraggio continuo, le valutazioni quinquennali e la valutazione intermedia) erano caratterizzate dal forte accento posto sul monitoraggio rispetto alla valutazione dell'impatto. Osservava inoltre che, al fine di spostare la domanda e la previsione verso l'impatto socioeconomico, occorrerebbe un nuovo quadro per la valutazione e il monitoraggio, che imponga un maggiore sforzo per la valutazione dell'impatto, piuttosto che per il monitoraggio delle realizzazioni (64).

| 102. | La questione della tempestività incide anche sulle valutazioni specifiche previste dalla normativa. Ad esempio, la relazione Marimón pubblicata nel 2004, che ha analizzato i nuovi strumenti introdotti nel 6o PQ (2003-2006), è stata richiesta troppo presto e, di conseguenza, le esperienze pratiche e le prove empiriche su cui poteva basare le conclusioni erano scarse, se non nulle (65). |
| --- | --- |

102.

La questione della tempestività incide anche sulle valutazioni specifiche previste dalla normativa. Ad esempio, la relazione Marimón pubblicata nel 2004, che ha analizzato i nuovi strumenti introdotti nel 6o PQ (2003-2006), è stata richiesta troppo presto e, di conseguenza, le esperienze pratiche e le prove empiriche su cui poteva basare le conclusioni erano scarse, se non nulle (65).

Comunicazione e diffusione

| 103. | La Commissione, di propria iniziativa, può sviluppare ed adattare i programmi di lavoro operativi secondo cicli a breve termine, previa approvazione del comitato di programma competente. Ciò potrebbe offrire l'opportunità d'apportare le necessarie modifiche alla gestione dei programmi, nonché di riassegnare delle dotazioni all’interno dei sottoprogrammi. Non è emerso che la Commissione si sia avvalsa di tale possibilità (cfr. paragrafo 107). |
| --- | --- |

103.

La Commissione, di propria iniziativa, può sviluppare ed adattare i programmi di lavoro operativi secondo cicli a breve termine, previa approvazione del comitato di programma competente. Ciò potrebbe offrire l'opportunità d'apportare le necessarie modifiche alla gestione dei programmi, nonché di riassegnare delle dotazioni all’interno dei sottoprogrammi. Non è emerso che la Commissione si sia avvalsa di tale possibilità (cfr. paragrafo 107).

| 104. | A parte ciò, considerato il modo in cui i PQ sono concepiti ed adottati, è quasi impossibile che la Commissione introduca cambiamenti significativi, come modifiche degli obiettivi dei programmi o la ridistribuzione degli stanziamenti tra sottoprogrammi. Soltanto il legislatore può emanare modifiche così ampie durante una revisione della normativa relativa ai PQ (come nel 2010 per il 7o PQ) o l’adozione del PQ successivo. Per questo motivo, la normativa prevede in genere che i principali esercizi di valutazione vengano programmati, in modo tale che i risultati possano essere presi in considerazione il più utilemente possibile ai fini dell'elaborazione delle politiche. |
| --- | --- |

104.

A parte ciò, considerato il modo in cui i PQ sono concepiti ed adottati, è quasi impossibile che la Commissione introduca cambiamenti significativi, come modifiche degli obiettivi dei programmi o la ridistribuzione degli stanziamenti tra sottoprogrammi. Soltanto il legislatore può emanare modifiche così ampie durante una revisione della normativa relativa ai PQ (come nel 2010 per il 7o PQ) o l’adozione del PQ successivo. Per questo motivo, la normativa prevede in genere che i principali esercizi di valutazione vengano programmati, in modo tale che i risultati possano essere presi in considerazione il più utilemente possibile ai fini dell'elaborazione delle politiche.

| 105. | Pertanto, alcuni dei principali utenti delle valutazioni della Commissione sono le «direzioni generali della ricerca» (66). La normativa relativa ai PQ richiede però espressamente che tali valutazioni siano comunicate anche al Parlamento europeo e al Consiglio. |
| --- | --- |

105.

Pertanto, alcuni dei principali utenti delle valutazioni della Commissione sono le «direzioni generali della ricerca» (66). La normativa relativa ai PQ richiede però espressamente che tali valutazioni siano comunicate anche al Parlamento europeo e al Consiglio.

| 106. | Nel quadro dell’indagine della Corte presso la commissione ITRE del Parlamento europeo e il comitato CREST del Consiglio, la maggioranza degli intervistati ha dichiarato però di non ritenersi sufficientemente informata circa l’attuazione e i risultati dei PQ (cfr. grafico 9) (67). |
| --- | --- |

106.

Nel quadro dell’indagine della Corte presso la commissione ITRE del Parlamento europeo e il comitato CREST del Consiglio, la maggioranza degli intervistati ha dichiarato però di non ritenersi sufficientemente informata circa l’attuazione e i risultati dei PQ (cfr. grafico 9) (67).

Image

Seguito dato alle risultanze della valutazione

| 107. | Nelle relazioni annuali di valutazione, la Commissione fornisce una sintesi delle constatazioni e delle misure prese sulla base delle sue valutazioni (68). Per quanto riguarda il seguito dato, la Commissione ha fornito anche risposte formali alle risultanze e alle raccomandazioni delle valutazioni quinquennali, nonché alle valutazioni specifiche previste dalla normativa; inoltre, per quanto possibile, ha adottato misure adeguate per colmare le carenze segnalate. Ciò non è però avvenuto per molte altre relazioni di valutazione esaminate e dall'audit non è emerso che le risultanze e le raccomandazioni fossero state prese in considerazione per modificare i programmi di lavoro. Allo stesso modo, le informazioni complementari sul BPA e le relazioni annuali di attività elaborate dalle direzioni generali non indicano in quale misura sia stato dato seguito alle risultanze di audit. |
| --- | --- |

107.

Nelle relazioni annuali di valutazione, la Commissione fornisce una sintesi delle constatazioni e delle misure prese sulla base delle sue valutazioni (68). Per quanto riguarda il seguito dato, la Commissione ha fornito anche risposte formali alle risultanze e alle raccomandazioni delle valutazioni quinquennali, nonché alle valutazioni specifiche previste dalla normativa; inoltre, per quanto possibile, ha adottato misure adeguate per colmare le carenze segnalate. Ciò non è però avvenuto per molte altre relazioni di valutazione esaminate e dall'audit non è emerso che le risultanze e le raccomandazioni fossero state prese in considerazione per modificare i programmi di lavoro. Allo stesso modo, le informazioni complementari sul BPA e le relazioni annuali di attività elaborate dalle direzioni generali non indicano in quale misura sia stato dato seguito alle risultanze di audit.

Raccomandazioni

108.

| 108. | La Commissione dovrebbe definire il tipo e la portata della valutazione che potrebbero essere ragionevolmente attesi per le date previste dalla normativa (2008, 2010 e 2015), spiegare come le valutazioni possano essere utilizzate per adattare i programmi («learning programmes») e specificare il contributo che le valutazioni possono fornire alle decisioni sulle politiche. In particolare, la Commissione dovrebbe chiarire quale approccio intenda adottare nei confronti della valutazione dei risultati a più lungo termine dei PQ passati e presenti, considerato che possono passare da 7 a 10 anni prima che tali risultati si manifestino (cfr grafico 8). |
| --- | --- |

La Commissione dovrebbe definire il tipo e la portata della valutazione che potrebbero essere ragionevolmente attesi per le date previste dalla normativa (2008, 2010 e 2015), spiegare come le valutazioni possano essere utilizzate per adattare i programmi («learning programmes») e specificare il contributo che le valutazioni possono fornire alle decisioni sulle politiche. In particolare, la Commissione dovrebbe chiarire quale approccio intenda adottare nei confronti della valutazione dei risultati a più lungo termine dei PQ passati e presenti, considerato che possono passare da 7 a 10 anni prima che tali risultati si manifestino (cfr grafico 8).

| 109. | La Commissione dovrebbe esaminare le pratiche adottate in materia di comunicazione e diffusione delle risultanze delle proprie valutazioni, per far sì che le parti interessate ricevano le informazioni necessarie. In particolare, le «direzioni generali della ricerca» dovrebbero fornire una risposta formale a tutte le valutazioni e rendere pubblici tali studi in tempo utile, corredati delle loro risposte. Inoltre, le «direzioni generali della ricerca» dovrebbero riferire sul seguito dato a tali risultanze, nelle informazioni complementari sul BPA e nelle relazioni annuali di attività, e dovrebbero utilizzare le raccomandazioni per aggiornare i programmi di lavoro e concepire programmi futuri. |
| --- | --- |

109.

La Commissione dovrebbe esaminare le pratiche adottate in materia di comunicazione e diffusione delle risultanze delle proprie valutazioni, per far sì che le parti interessate ricevano le informazioni necessarie. In particolare, le «direzioni generali della ricerca» dovrebbero fornire una risposta formale a tutte le valutazioni e rendere pubblici tali studi in tempo utile, corredati delle loro risposte. Inoltre, le «direzioni generali della ricerca» dovrebbero riferire sul seguito dato a tali risultanze, nelle informazioni complementari sul BPA e nelle relazioni annuali di attività, e dovrebbero utilizzare le raccomandazioni per aggiornare i programmi di lavoro e concepire programmi futuri.

CONCLUSIONE GENERALE

| 110. | La Corte riconosce che la valutazione dei programmi di RST, e in particolare dei loro risultati a lungo termine, è di per sé difficile e le buone pratiche sono difficili da definire. |
| --- | --- |

110.

La Corte riconosce che la valutazione dei programmi di RST, e in particolare dei loro risultati a lungo termine, è di per sé difficile e le buone pratiche sono difficili da definire.

| 111. | A parere della Corte, la valutazione è essenziale per la gestione dei programmi, per la programmazione futura e per la formulazione delle politiche. Inoltre, la valutazione costituisce il punto di partenza per assolvere all’obbligo di rendere conto. Fornisce informazioni preziose su quali risultati attesi (o inaspettati) siano stati raggiunti e sul grado di conseguimento degli obiettivi dei programmi, nonché sulla pertinenza e l’utilità dei programmi e sull’efficienza e l’efficacia dell’attuazione dei programmi. Dato che sono il Parlamento europeo e il Consiglio a decidere l’orientamento generale, le questioni di bilancio e la concezione dei programmi nel quadro dei PQ, occorre un sistema di valutazione trasparente, credibile e robusto per fornire loro informazioni adeguate. |
| --- | --- |

111.

A parere della Corte, la valutazione è essenziale per la gestione dei programmi, per la programmazione futura e per la formulazione delle politiche. Inoltre, la valutazione costituisce il punto di partenza per assolvere all’obbligo di rendere conto. Fornisce informazioni preziose su quali risultati attesi (o inaspettati) siano stati raggiunti e sul grado di conseguimento degli obiettivi dei programmi, nonché sulla pertinenza e l’utilità dei programmi e sull’efficienza e l’efficacia dell’attuazione dei programmi. Dato che sono il Parlamento europeo e il Consiglio a decidere l’orientamento generale, le questioni di bilancio e la concezione dei programmi nel quadro dei PQ, occorre un sistema di valutazione trasparente, credibile e robusto per fornire loro informazioni adeguate.

| 112. | Nel 2000 e nel 2002, la Commissione ha stabilito un quadro di valutazione globale, successivamente aggiornato nel 2007. Benché durante il periodo coperto dall’audit della Corte non sia stato constatato alcun miglioramento significativo per quanto riguarda la pianificazione, la concezione e l’esecuzione delle valutazioni dei PQ e dei loro programmi costitutivi, le «direzioni generali della ricerca» hanno, in generale, rispettato gli obblighi formali validi per la Commissione nel suo insieme. |
| --- | --- |

112.

Nel 2000 e nel 2002, la Commissione ha stabilito un quadro di valutazione globale, successivamente aggiornato nel 2007. Benché durante il periodo coperto dall’audit della Corte non sia stato constatato alcun miglioramento significativo per quanto riguarda la pianificazione, la concezione e l’esecuzione delle valutazioni dei PQ e dei loro programmi costitutivi, le «direzioni generali della ricerca» hanno, in generale, rispettato gli obblighi formali validi per la Commissione nel suo insieme.

| 113. | Per il periodo preso in esame dalla presente relazione, come previsto nella normativa relativa ai PQ, le «direzioni generali della ricerca» disponevano di un sistema di valutazione, per cui la Commissione può fare riferimento a un corpus considerevole di studi di valutazione. Resta tuttavia il fatto che le informazioni sul raggiungimento degli obiettivi dei programmi o sui risultati dei PQ sono esigue o inesistenti. Ciò è dovuto al fatto che le valutazioni si sono generalmente concentrate su questioni a breve termine sull'attuazione dei programmi. Pertanto, le valutazioni della Commissione sono risultate scarsamente utili per i responsabili dell'elaborazione delle politiche, per le parti interessate e persino per la Commissione. |
| --- | --- |

113.

Per il periodo preso in esame dalla presente relazione, come previsto nella normativa relativa ai PQ, le «direzioni generali della ricerca» disponevano di un sistema di valutazione, per cui la Commissione può fare riferimento a un corpus considerevole di studi di valutazione. Resta tuttavia il fatto che le informazioni sul raggiungimento degli obiettivi dei programmi o sui risultati dei PQ sono esigue o inesistenti. Ciò è dovuto al fatto che le valutazioni si sono generalmente concentrate su questioni a breve termine sull'attuazione dei programmi. Pertanto, le valutazioni della Commissione sono risultate scarsamente utili per i responsabili dell'elaborazione delle politiche, per le parti interessate e persino per la Commissione.

| 114. | Data l'importanza della valutazione per la gestione dei programmi e l’elaborazione delle politiche, l’approccio della Commissione alla valutazione dei PQ e dei loro programmi costitutivi deve essere rivisto, tenendo conto delle nuove sfide politiche, dell’aumento dei finanziamenti, di una maggiore apertura della politica comunitaria in materia di ricerca e della recente riforma della Commissione, come raccomandato anche dalla relazione pubblicata da EURAB nel 2007. |
| --- | --- |

114.

Data l'importanza della valutazione per la gestione dei programmi e l’elaborazione delle politiche, l’approccio della Commissione alla valutazione dei PQ e dei loro programmi costitutivi deve essere rivisto, tenendo conto delle nuove sfide politiche, dell’aumento dei finanziamenti, di una maggiore apertura della politica comunitaria in materia di ricerca e della recente riforma della Commissione, come raccomandato anche dalla relazione pubblicata da EURAB nel 2007.

| 115. | A parere della Corte, il ricorso a una logica di intervento esplicita nella futura concezione di programmi nel quadro dei PQ condurrebbe a programmi più mirati e meglio strutturati. Contribuirebbe, inoltre, all’iniziativa della Commissione «legiferare meglio», intesa a creare un quadro normativo meglio concepito, più semplice, più efficace e più comprensibile (69). |
| --- | --- |

115.

A parere della Corte, il ricorso a una logica di intervento esplicita nella futura concezione di programmi nel quadro dei PQ condurrebbe a programmi più mirati e meglio strutturati. Contribuirebbe, inoltre, all’iniziativa della Commissione «legiferare meglio», intesa a creare un quadro normativo meglio concepito, più semplice, più efficace e più comprensibile (69).

| 116. | La valutazione dei PQ e dei loro programmi costitutivi risulterebbe più efficace se gli obiettivi e gli indicatori dei programmi fossero più chiari fin dall'inizio, se le «direzioni generali della ricerca» concordassero una strategia di valutazione robusta, ma non eccessivamente prescrittiva e se fossero utilizzate metodologie di valutazione più avanzate, tra cui gli approcci quantitativi. |
| --- | --- |

116.

La valutazione dei PQ e dei loro programmi costitutivi risulterebbe più efficace se gli obiettivi e gli indicatori dei programmi fossero più chiari fin dall'inizio, se le «direzioni generali della ricerca» concordassero una strategia di valutazione robusta, ma non eccessivamente prescrittiva e se fossero utilizzate metodologie di valutazione più avanzate, tra cui gli approcci quantitativi.

| 117. | La Corte ha rilevato inoltre un certo numero di ambiti in cui la Commissione potrebbe rivedere le disposizioni relative all'organizzazione attuale della valutazione dei PQ. Potrebbe essere utile:






  — | coinvolgere più precocemente i gruppi di esperti nel processo di valutazione, fornendo così assistenza alla Commissione durante e dopo il periodo di programmazione, ed aumentando la specializzazione attraverso l’istituzione di gruppi di esperti per i programmi specifici e, se opportuno, per i sottoprogrammi; |
| --- | --- | --- |

117.

La Corte ha rilevato inoltre un certo numero di ambiti in cui la Commissione potrebbe rivedere le disposizioni relative all'organizzazione attuale della valutazione dei PQ. Potrebbe essere utile:

—

coinvolgere più precocemente i gruppi di esperti nel processo di valutazione, fornendo così assistenza alla Commissione durante e dopo il periodo di programmazione, ed aumentando la specializzazione attraverso l’istituzione di gruppi di esperti per i programmi specifici e, se opportuno, per i sottoprogrammi;

| — | integrare le unità di valutazione esistenti di ciascuna direzione generale con un ufficio di valutazione comune responsabile del coordinamento delle valutazioni dei PQ. |
| --- | --- |

—

integrare le unità di valutazione esistenti di ciascuna direzione generale con un ufficio di valutazione comune responsabile del coordinamento delle valutazioni dei PQ.

| 118. | Le raccomandazioni formulate nella presente relazione si basano sulle pratiche esistenti all’interno della Commissione o sulle buone prassi a livello internazionale. Per quanto riguarda le risorse, è chiaro che l’introduzione dell’approccio suggerito per la valutazione dei programmi comporterebbe un aumento dei costi. Tuttavia, a parere della Corte, è estremamente probabile che tale aumento dei costi sia compensato da benefici finanziari almeno della medesima entità. |
| --- | --- |

118.

Le raccomandazioni formulate nella presente relazione si basano sulle pratiche esistenti all’interno della Commissione o sulle buone prassi a livello internazionale. Per quanto riguarda le risorse, è chiaro che l’introduzione dell’approccio suggerito per la valutazione dei programmi comporterebbe un aumento dei costi. Tuttavia, a parere della Corte, è estremamente probabile che tale aumento dei costi sia compensato da benefici finanziari almeno della medesima entità.

La presente relazione è stata adottata dalla Corte dei conti a Lussemburgo, nella riunione del 22 novembre 2007.

Per la Corte dei conti

Hubert WEBER

Presidente

---

(1)  Secondo l'OCSE, la ricerca e lo sviluppo possono essere definiti come quel complesso di lavori creativi intrapresi in modo sistematico sia per accrescere l’insieme delle conoscenze (inclusa la conoscenza dell'uomo, della cultura e della società), sia per utilizzare tali conoscenze in nuove applicazioni (cfr. OCSE, Manuale di Frascati — proposta di norme pratiche per lo svolgimento di studi di ricerca e sviluppo pratico, Parigi, 2002, pag. 30). Nel contesto comunitario, è utilizzato l’acronimo RST per indicare la tecnologia, la ricerca e lo sviluppo.

1

(2)  La DG Ricerca è la principale direzione generale che gestisce e coordina i PQ. Altre cinque DG gestiscono anche (parti di) programmi specifici: DG Società dell’informazione e mezzi di comunicazione (la più importante), DG Energia e trasporti, DG Imprese e industria, DG Pesca e affari marittimi ed il Centro comune di ricerca della Commissione.

2

(3)  Nel 2000, il Consiglio europeo di Lisbona ha fissato l’obiettivo di rendere l’UE entro il 2010 l'economia basata sulla conoscenza più competitiva, più dinamica e più sostenibile al mondo, in grado di conseguire la piena occupazione e una maggiore coesione economica e sociale.

3

(4)  Nel 2002, il Consiglio europeo ha concluso che la spesa complessiva per la RST e l’innovazione nell’Unione europea dovrebbe essere aumentata con l'obiettivo di raggiungere il 3 % del PIL entro il 2010. Inoltre, il settore privato dovrebbe coprire i due terzi dei nuovi investimenti (cfr. Commissione europea, «Investire nella ricerca: un piano d’azione per l'Europa»; Comunicazione della Commissione al Consiglio, al Parlamento europeo, al Comitato economico e sociale europeo e al Comitato delle Regioni, COM(2003) 226 def., pag. 7).

4

(5)  Nel caso della gestione diretta, la Commissione esegue le operazioni necessarie per effettuare atti d'esecuzione di bilancio senza alcun coinvolgimento degli Stati membri o dei paesi terzi in cui risiedono i beneficiari dei finanziamenti.

5

(6)  Nel 2006, più di 22 000 entità giuridiche pubbliche e private hanno partecipato al solo 6o PQ, generalmente nell’ambito di consorzi con più partecipanti.

6

o

(7)  Si tratta di un metodo di cooperazione fondato sul principio della cooperazione intergovernativa volontaria. Si basa in particolare sull’apprendimento reciproco, sulla valutazione comparata e sulla condivisione delle pratiche migliori.

7

(8)  Regolamento (CE, Euratom) n. 1605/2002 del Consiglio del 25 giugno 2002 (GU L 248 del 16.9.2002, pag. 1), articoli 27, 48, 59 e 60.

8

(9)  Commissione europea, DG Bilancio, Comunicazione di Dalia Grybauskaitė, con il consenso del Presidente, alla Commissione Responding to strategic needs: reinforcing the use of evaluation, SEC(2007) 213, 21 febbraio 2007; Commissione europea, DG Bilancio, Comunicazione di Michaele Schreyer alla Commissione Focus on Results: Strengthening Evaluation of Commission Activities, SEC(2000) 1051, 26 luglio 2000.

9

Responding to strategic needs: reinforcing the use of evaluation

Focus on Results: Strengthening Evaluation of Commission Activities

(10)  Decisione n. 1982/2006/CE del Parlamento europeo e del Consiglio del 18 dicembre 2006 concernente il settimo programma quadro della Comunità europea per le attività di ricerca, sviluppo tecnologico e dimostrazione (2007-2013) (GU L 412 del 30.12.2006, pag. 1): articolo 7, paragrafo 1; le informazioni sul monitoraggio che la Commissione deve comunicare ai comitati di programma sono indicate nelle decisioni concernenti i programmi specifici (cfr., ad esempio, decisione 2006/971/CE del Consiglio del 19 dicembre 2006 concernente il programma specifico Cooperazione che attua il settimo programma quadro della Comunità europea per le attività di ricerca, sviluppo tecnologico e dimostrazione (2007-2013) (GU L 400 del 30.12.2006, pag. 86): articolo 8, paragrafo 4 ed allegato V).

10

(11)  Commissione europea, Comunicazione al Consiglio concernente un piano d’azione comunitario relativo alla valutazione delle attività di ricerca e sviluppo della Comunità europea nel periodo 1987-1991, COM(86) 660 def., del 20 novembre 1986, in risposta alla risoluzione del Consiglio del 28 giugno 1983.

11

(12)  Commissione europea, Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996. Relazione del gruppo di esperti indipendenti presieduto da Etienne Davignon (1997); Commissione europea, Five-year Assessment of the European Union Research and Technological Development Programmes, 1995-1999; Relazione del gruppo di esperti indipendenti presieduto da Joan Majó (luglio 2000); Commissione europea, Five-year Assessment of the European Union Research Framework Programmes, 1999-2003; Relazione del gruppo di esperti indipendenti presieduto da Erkki Ormala (15 dicembre 2004).

12

Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996

Five-year Assessment of the European Union Research and Technological Development Programmes, 1995-1999

Five-year Assessment of the European Union Research Framework Programmes, 1999-2003

(13)  Commissione europea, Evaluation of the effectiveness of the New Instruments of Framework Programme VI, 21 giugno 2004, relazione del gruppo di esperti ad alto livello presieduto dal prof. Ramon Marimón.

13

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(14)  Commissione europea, DG Bilancio, Comunicazione di Michaele Schreyer alla Commissione, Focus on Results: Strengthening Evaluation of Commission Activities, luglio 2000, SEC(2000) 1051; Commissione europea, DG Bilancio, Comunicazione del Presidente e di Michaele Schreyer alla Commissione, Evaluation Standards and Good Practice, C(2002) 5267, 23.12.2002.

14

Focus on Results: Strengthening Evaluation of Commission Activities

Evaluation Standards and Good Practice

(15)  Commissione europea, DG Bilancio, Comunicazione di Dalia Grybauskaitė, con il consenso del Presidente, alla Commissione Responding to strategic needs: reinforcing the use of evaluation, SEC(2007) 213, 21 febbraio 2007.

15

Responding to strategic needs: reinforcing the use of evaluation

(16)  Commissione europea, documento di lavoro interno, Impact assessment and ex-ante evaluation, SEC(2005) 430.

16

Impact assessment and ex-ante evaluation

(17)  La commissione per l'industria, la ricerca e l’energia (ITRE) del Parlamento europeo è responsabile (in particolare) della politica industriale, della politica in materia di ricerca (comprese la valorizzazione e la diffusione dei risultati della ricerca), della politica spaziale, delle attività del Centro comune di ricerca, del trattato Euratom e della società dell'informazione e delle tecnologie dell'informazione.

17

(18)  Il CREST (Comitato della ricerca scientifica e tecnica) è stato istituito con una risoluzione del Consiglio del 14 gennaio 1974; è composto di rappresentanti delle autorità nazionali responsabili delle politiche di RST negli Stati membri. Il CREST ha un ruolo consultivo e informa la Commissione e il Consiglio, in particolare su questioni concernenti il coordinamento delle politiche degli Stati membri in materia di RST e il monitoraggio e la valutazione dei PQ.

18

(19)  I modelli logici, che illustrano come i contributi nelle diverse attività conducono ai risultati attesi, sono il metodo più adeguato per illustrare la logica d’intervento. Tali modelli sono in grado di spiegare in modo chiaro le ipotesi sottese alle modalità di concezione di un programma e al modo in cui gli obiettivi generali sono scomposti in obiettivi operativi.

19

(20)  Commissione europea, DG Bilancio, Evaluating EU activities: a practical guide for the Commission services, luglio 2004, pagg. 87 e 106.

20

Evaluating EU activities: a practical guide for the Commission services

(21)  «Five year Assessment of the European Union Research Framework Programmes, 1999-2003», Relazione del gruppo di esperti indipendenti presieduto da Erkki Ormala (15 dicembre 2004): sezione 6 «Evaluating the Framework Programme», pag. 19.

21

Five year Assessment of the European Union Research Framework Programmes, 1999-2003

Evaluating the Framework Programme

(22)  I paesi beneficiari di aiuti esterni sono tenuti a presentare modelli logici per il finanziamento comunitario (Commissione europea, Aid delivery methods, volume 1, Project cycle management guidelines, marzo 2004, sezione 5: The logical framework approach).

22

Aid delivery methods, volume 1, Project cycle management guidelines

The logical framework approach

(23)  Regolamento (CE, Euratom) n. 1605/2002, articolo 27, paragrafo 3.

23

(24)  Nel 2006, la politica «08 ricerca» è stata strutturata sulla base dei programmi (e sottoprogrammi) specifici dell’attuale periodo di programmazione nel quadro del 6o PQ (pertanto, è stata sostituita da una struttura diversa nel 2007). Nel caso della politica «09 società dell’informazione», invece, il programma in corso e quello precedente sono stati raggruppati in un’unica attività di BPA (Commissione europea, DG Ricerca, Direzione A: Coordination of Community activities, Planning, programming, evaluation, Annaul Management Plan 2006, 20.12.2005; Commissione europea, DG Società dell’informazione e mezzi di comunicazione, Piano di gestione annuale 2006, 23.12.2005).

24

o

Coordination of Community activities, Planning, programming, evaluation, Annaul Management Plan 2006

(25)  Nel caso della DG Ricerca, gli obiettivi della GPA (e gli indicatori utilizzati per misurarne il raggiungimento) cambiavano ogni anno. Per contro, la DG Società dell’informazione e mezzi di comunicazione utilizzava obiettivi pluriennali che, però, non corrispondevano agli obiettivi del programma (o a quelli specificati a livello del programma di lavoro).

25

(26)  Commissione europea, Servizio di audit interno, Review of effectiveness and efficiency of the SPP/ABM cycle — SG e DG Bilancio, 2005: paragrafo 4.1, pag. 31.

26

Review of effectiveness and efficiency of the SPP/ABM cycle

(27)  Commissione europea, Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes, COM(83) 1 def., 19 gennaio 1983.

27

Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes

(28)  Comunicazione della Commissione al Consiglio e al Parlamento europeo — Sorveglianza e valutazione esterna indipendente delle attività comunitarie nel settore della ricerca e dello sviluppo tecnologico, COM(1996) 220 def., 22.5.1996.

28

(29)  Ciascuna DG responsabile dell’attuazione dei PQ documenta le valutazioni programmate in piani di valutazione annuali (e pluriennali). Tuttavia, tali documenti di pianificazione non possono essere considerati come una vera e propria strategia di valutazione.

29

(30)  Regolamento (CE, Euratom) n. 1605/2002, articolo 27, paragrafo 4.

30

(31)  Nel 2004 la Deutsche Forschungsgemeinschaft(DFG) ha creato un istituto specializzato, l’Institut für Forschungsinformation und Qualitätssicherung (IFQ), a cui è stata attribuita la responsabilità dello sviluppo e della standardizzazione delle metodologie di valutazione, la garanzia della qualità e la realizzazione di valutazioni delle attività di RST finanziate dalla DFG.

31

Deutsche Forschungsgemeinschaft

Institut für Forschungsinformation und Qualitätssicherung

(32)  Agencia Nacional de Evaluación y Prospectiva dipendente dal Ministerio de Educación y Ciencia: Orden ECI/1252/2005 del 4 maggio 2005 che istituisce la Comisión Asesora de Evaluación y Prospectiva (Comitato consultivo sulla valutazione e la prospettiva).

32

Agencia Nacional de Evaluación y Prospectiva

Ministerio de Educación y Ciencia: Orden ECI/1252/2005

Comisión Asesora de Evaluación y Prospectiva

(33)  «Loi de programme pour la recherche no 2006-450» del 18.4.2006 e «Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)» del 3.11.2006.

33

Loi de programme pour la recherche no

Décret no

(34)  Nel quadro del 7o PQ, la Commissione ha istituito 15 gruppi consultivi di esperti, a fronte di 12 gruppi nel quadro del 6o PQ e 17 gruppi nel quadro del 5o PQ. Tali gruppi forniscono consulenza alla Commissione su questioni relative alle politiche e ai programmi in relazione ai PQ. Va tuttavia notato che tali gruppi consultivi non coprono l’insieme della struttura dei programmi nel quadro dei PQ. In altre parole, non esiste un gruppo consultivo di esperti per ciascun programma (o sottoprogramma) specifico.

34

o

o

o

(35)  In Canada, quasi tutti i dipartimenti federali governativi hanno stabilito comitati di valutazione permanenti, composti di alti funzionari del dipartimento e, generalmente, di parti interessate esterne, al fine di soprintendere al sistema di valutazione (Social Sciences and Humanities Research Council of Canada: Evaluation Standing Committee — Mandate and Membership).

35

Social Sciences and Humanities Research Council of Canada

Evaluation Standing Committee — Mandate and Membership

(36)  Commissione europea, Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes, agosto 2005, pag. 5.

36

Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes

(37)  Commissione europea, «Planning and optimising Commission human resources to serve EU priorities», SEC(2007) 530, 24 aprile 2007.

37

Planning and optimising Commission human resources to serve EU priorities

(38)  Commissione europea, DG Bilancio, Comunicazione del Presidente e della signora Schreyer alla Commissione, «Evaluation standards and good practice», C(2002) 5267, 23.12.2002; Commissione europea, documento di lavoro interno, «Impact assessment and ex-ante evaluation», SEC(2005) 430, 6 aprile 2005, allegato 1, nota 209.

38

Evaluation standards and good practice

Impact assessment and ex-ante evaluation

(39)  Nel 2007, il Comitato consultivo europeo per la ricerca (EURAB) ha raccomandato anche un aumento delle risorse destinate alla valutazione dei PQ (EURAB, «Recommendations on Ex-Post Impact Assessment», luglio 2007).

39

Recommendations on Ex-Post Impact Assessment

(40)  Relazione speciale n. 1/2004 sulla gestione delle azioni indirette di RST nell'ambito del quinto programma quadro (5o PQ) in materia di ricerca, sviluppo tecnologico e dimostrazione (1998-2002) (GU C 99 del 23.4.2004), paragrafi 116 e 122.

40

o

(41)  Commissione europea, DG Bilancio, Comunicazione di Dalia Grybauskaitė, con il consenso del Presidente, alla Commissione Responding to strategic needs: reinforcing the use of evaluation, SEC(2007) 213, 21 febbraio 2007; Commissione europea, Comunicazione del Presidente e di Michaele Schreyer alla Commissione, Evaluation standards and good practice, C(2002) 5267, 23.12.2002.

41

Responding to strategic needs: reinforcing the use of evaluation

Evaluation standards and good practice

(42)  14 DG hanno elaborato manuali di valutazione per politica e per i programmi di loro competenza (Commissione europea, DG Bilancio — unità di valutazione, Overview of Evaluation Guides in the Commission, ottobre 2004).

42

Overview of Evaluation Guides in the Commission

(43)  Fahrenkrog, G. et al, «RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002»; Prest et al.; Assessing the Socio-economic Impacts of the Framework Programme; Università di Manchester; 2002.

43

RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC

Assessing the Socio-economic Impacts of the Framework Programme

(44)  Benché la Commissione disponga generalmente di tali informazioni sui partecipanti, spesso queste non possono essere utilizzate per svolgere analisi particolareggiate, considerato che i dati relativi a un determinato partecipante non sono conservati in un unico luogo né registrati necessariamente in formati compatibili. Ciò rende difficile seguire il coinvolgimento di tale partecipante nel tempo, ad esempio per esaminare i motivi di una mancata partecipazione, nonché stabilire le relazioni tra partecipanti, per studiare ad esempio agli effetti dei collegamenti in rete (cfr. paragrafo 84).

44

(45)  Relazione annuale sull'esercizio finanziario 2006, grafico 2.3; relazione annuale sull'esercizio finanziario 2005, paragrafo 7.13; relazione annuale sull'esercizio finanziario 2004, paragrafi 6.8 e 6.10; relazione annuale sull'esercizio finanziario 2003, paragrafi 6.9 e 6.70; relazione speciale n. 1/2004, paragrafi 105-108; parere n. 1/2006 sulla proposta di regolamento del Parlamento europeo e del Consiglio che stabilisce le regole per la partecipazione di imprese, centri di ricerca e università alle azioni nell’ambito del settimo programma quadro e per la diffusione dei risultati della ricerca (2007-2013) (GU C 203 del 25.8.2006), paragrafo 57.

45

(46)  Trattato che istituisce la Comunità europea, articolo 173. «All’inizio di ogni anno la Commissione presenta una relazione al Parlamento europeo e al Consiglio. Detta relazione verte in particolare sulle attività svolte in materia di ricerca e di sviluppo tecnologico e di divulgazione dei risultati durante l’anno precedente nonché sul programma di lavoro dell’anno in corso.»

46

(47)  Non è stato compiuto alcun tentativo sistematico di raccogliere dati presso i partecipanti dopo il completamento del progetto, eccetto che per indagini specifiche nel quadro delle valutazioni. L’utilizzo delle indagini è stato ostacolato dal fatto che i partecipanti, contrariamente a quanto avveniva per una serie di programmi nazionali di RST (ad esempio in Germania), non sono tenuti per legge a fornire tali dati analitici.

47

(48)  Relazione speciale n. 1/2004, paragrafo 94; Parere n. 1/2006, paragrafo 56.

48

(49)  Relazione annuale sull'esercizio finanziario 2006, paragrafo 7.33; relazione annuale sull'esercizio finanziario 2005, paragrafi 7.8 e 7.29; Parere n. 1/2006, paragrafi 58-61.

49

(50)  CORDIS è l’unica base dati, comune all’intero del PQ, che fornisce informazioni su proposte, progetti e risultati, interessa diversi periodi di programmazione ed è accessibile dall’esterno della Commissione. Tuttavia, i dati del sistema CORDIS relativi ai singoli progetti spesso non aggiornati dopo che una proposta è stata selezionata. Fino al 6o PQ compreso, i partecipanti ai PQ del settore pubblico e privato non erano tenuti a rendere pubblici i risultati conseguiti (Ente europeo consultivo della ricerca (EURAB, European Research Advisory Board), Scientific publication: policy on open access, dicembre 2006).

50

o

European Research Advisory Board

Scientific publication: policy on open access

(51)  Hanne Foss Hansen, «Choosing evaluation models: A discussion on evaluation design», Evaluation, Vol 11 n. 4, 2005, pagg. 447-462.

51

Choosing evaluation models: A discussion on evaluation design

(52)  Fino al 6o PQ compreso, i partecipanti ai PQ del settore pubblico e privato non erano tenuti a rendere pubblici i rispettivi risultati scientifici. Nel dicembre 2006, l’EURAB ha raccomandato di garantire il libero accesso del pubblico alla ricerca finanziata dalla Comunità rendendo obbligatoria la pubblicazione. Inoltre, ha proposto alla Commissione di istituire un archivio in rete per i risultati pubblicati dei progetti (cfr. EURAB, Scientific publication: policy on open access, dicembre 2006).

52

o

Scientific publication: policy on open access

(53)  Va rilevato che sono stati usati tali modelli per formulare previsioni sugli effetti micro e macroeconomici del 7o PQ programmato (cfr. Commissione europea, Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes, agosto 2005, pagg. 23-25). Tuttavia, non sussiste alcun elemento attestante il collegamento tra tale valutazione degli impatti economici potenziali dei PQ e un qualsiasi piano di valutazione ex post.

53

o

Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes

(54)  DG Società dell’informazione e mezzi di comunicazione, IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004), 2005; Networks of innovation in information society development and deployment in Europe, 2006.

54

IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)

Networks of innovation in information society development and deployment in Europe

(55)  DG Società dell’informazione e mezzi di comunicazione, ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area (Relazione finale), 2005; Evaluation of progress towards a European Research Area for information society technologies, 2005; Networks of innovation in information society development and deployment in Europe, 2006.

55

ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area

Evaluation of progress towards a European Research Area for information society technologies

Networks of innovation in information society development and deployment in Europe

(56)  DG Società dell’informazione e mezzi di comunicazione: «Framework contract for Impact Assessments for research in the field of Information Society Technologies».

56

Framework contract for Impact Assessments for research in the field of Information Society Technologies

(57)  EURAB, «Recommendations on Ex-Post Impact Assessment», luglio 2007.

57

Recommendations on Ex-Post Impact Assessment

(58)  Commissione europea, Five-year Assessment of the European Union Research and Technological Development Programmes, 1999-2003, allegato 1.

58

Five-year Assessment of the European Union Research and Technological Development Programmes, 1999-2003

(59)  Commissione europea, The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report, 1995.

59

The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report

(60)  Commissione europea, Design of an harmonized impact study methodology for the R&D EU Framework Programmes, 1992.

60

Design of an harmonized impact study methodology for the R&D EU Framework Programmes

(61)  Commissione europea, documento di lavoro interno, The European Research Area: new perspectives, SEC(2007) 412/2, 4 aprile 2007, sezione 3.3.3 ERA and the implications for evidence-based monitoring and evaluation, pag. 93.

61

The European Research Area: new perspectives

ERA and the implications for evidence-based monitoring and evaluation

(62)  Va notato che le convenzioni di finanziamento dei progetti sono firmate per tutto il periodo di programmazione, in quanto le prime convenzioni, in genere, entrano in vigore alla fine del primo anno di un programma. La durata di tali convenzioni è per lo più compresa tra tre e cinque anni, pertanto le realizzazioni finali possono essere attese non prima di quattro — sei anni.

62

Fonte: Corte dei conti europea.

Fonte:

(63)  Commissione europea, Five year Assessment of the European Union Research Framework Programmes, 1999-2003, Relazione del gruppo di esperti indipendenti presieduto da Erkki Ormala (15 dicembre 2004): sezione 6 Evaluating the Framework Programme, pag. 19.

63

Five year Assessment of the European Union Research Framework Programmes, 1999-2003

Evaluating the Framework Programme

(64)  Commissione europea, Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies, il cosiddetto EPUB Toolbox pubblicato dal Centro comune di ricerca (CCR) — Institute for Prospective Technological Studies (IPTS) e Joanneum Research (agosto 2002), Sintesi, pag. 9. e 12.

64

Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies

EPUB Toolbox

(65)  Commissione europea, Evaluation of the effectiveness of the New Instruments of Framework Programme VI, 21 giugno 2004, relazione del gruppo di esperti ad alto livello presieduto dal prof. Ramon Marimón, pag. 20.

65

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(66)  European Policy Evaluation Consortium (EPEC) (Consorzio per la valutazione delle politiche europee), Technopolis France, Study on the use of evaluation results in the Commission: Final report, dossier n. 1 Synthesis report and annexes, maggio 2005.

66

European Policy Evaluation Consortium

Study on the use of evaluation results in the Commission: Final report

Synthesis report and annexes

(67)  L’elevato livello di soddisfazione dichiarato dagli intervistati del CREST, che spesso sono anche membri dei comitati di programma, può essere imputabile al loro ruolo formale nel monitoraggio dell’attuazione dei programmi.

67

(68)  Commissione europea, documento di lavoro interno, Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities, SEC(2005) 587, 28 aprile 2005.

68

Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities

(69)  Commissione europea, DG Bilancio, Comunicazione di Dalia Grybauskaitė, con il consenso del Presidente, alla Commissione Responding to strategic needs: reinforcing the use of evaluation, SEC(2007) 213, 21 febbraio 2007, pag. 4.

69

Responding to strategic needs: reinforcing the use of evaluation

---

ALLEGATO I

MISURAZIONE DELL’IMPATTO E DEI RISULTATI DELL’INTERVENTO PUBBLICO NELL’RST

Alcune delle principali difficoltà metodologiche che si incontrano nel misurare l’impatto ed i risultati dell’intervento pubblico nell’RST sono:

| — | «Problemi di attribuzione»: i problemi di attribuzione sono evidenti nelle valutazioni e nella misurazione della performance. Sono strettamente connessi alla questione dell'«addizionalità», che intende accertare se i cambiamenti non si sarebbero verificati comunque. Peraltro, le difficoltà di attribuzione dei risultati a un intervento pubblico specifico sono influenzate da numerosissimi fattori esterni (come gli effetti di altre politiche o programmi, modifiche nel quadro giuridico, mutamenti della società, ecc.). Inoltre, nella ricerca, il mancato conseguimento dei risultati attesi può costituire ugualmente un successo. Un’ulteriore complicazione è rappresentata dall'evidente difficoltà di attribuire chiaramente le realizzazioni, nonché gli effetti e gli impatti, della ricerca ad aspetti specifici del processo di RST, o addirittura a entità individuali implicate in un’attività di ricerca. |
| --- | --- |

—

«Problemi di attribuzione»: i problemi di attribuzione sono evidenti nelle valutazioni e nella misurazione della performance. Sono strettamente connessi alla questione dell'«addizionalità», che intende accertare se i cambiamenti non si sarebbero verificati comunque. Peraltro, le difficoltà di attribuzione dei risultati a un intervento pubblico specifico sono influenzate da numerosissimi fattori esterni (come gli effetti di altre politiche o programmi, modifiche nel quadro giuridico, mutamenti della società, ecc.). Inoltre, nella ricerca, il mancato conseguimento dei risultati attesi può costituire ugualmente un successo. Un’ulteriore complicazione è rappresentata dall'evidente difficoltà di attribuire chiaramente le realizzazioni, nonché gli effetti e gli impatti, della ricerca ad aspetti specifici del processo di RST, o addirittura a entità individuali implicate in un’attività di ricerca.

| — | «Problemi di misurazione»:







  — | «Disponibilità dei dati»: in linea di massima, la maggioranza dei dati disponibili, in particolare quelli raccolti mediante sistemi di monitoraggio, riguardano le risorse e le realizzazioni delle attività di RST, e non gli effetti o gli impatti. |
| --- | --- | --- |

—

«Problemi di misurazione»:

—

«Disponibilità dei dati»: in linea di massima, la maggioranza dei dati disponibili, in particolare quelli raccolti mediante sistemi di monitoraggio, riguardano le risorse e le realizzazioni delle attività di RST, e non gli effetti o gli impatti.

| — | «Comprensione delle dinamiche»: vista l’evidente difficoltà di modellare le relazioni causali tra risorse e realizzazioni, il funzionamento interno del processo di ricerca non è chiaro; inoltre, in mancanza di una logica di intervento esplicita, tale processo è considerato essenzialmente una «scatola nera». |
| --- | --- |

—

«Comprensione delle dinamiche»: vista l’evidente difficoltà di modellare le relazioni causali tra risorse e realizzazioni, il funzionamento interno del processo di ricerca non è chiaro; inoltre, in mancanza di una logica di intervento esplicita, tale processo è considerato essenzialmente una «scatola nera».

| — | «Comparabilità dei risultati»: il raffronto tra i risultati tra diversi settori scientifici è possibile in misura limitata; pertanto, tali risultati dovrebbero essere interpretati, generalmente, nel contesto di programmi e sottoprogrammi specifici. Inoltre, i risultati della ricerca di base (o fondamentale) risultano più difficili da valutare di quelli della ricerca applicata o dello sviluppo tecnologico. La principale ragione è il fatto che la ricerca di base comprende generalmente procedure uniche e non riproducibili. Anche nel settore della ricerca applicata, i risultati variano in maniera considerevole e non sono, pertanto, facilmente comparabili. |
| --- | --- |

—

«Comparabilità dei risultati»: il raffronto tra i risultati tra diversi settori scientifici è possibile in misura limitata; pertanto, tali risultati dovrebbero essere interpretati, generalmente, nel contesto di programmi e sottoprogrammi specifici. Inoltre, i risultati della ricerca di base (o fondamentale) risultano più difficili da valutare di quelli della ricerca applicata o dello sviluppo tecnologico. La principale ragione è il fatto che la ricerca di base comprende generalmente procedure uniche e non riproducibili. Anche nel settore della ricerca applicata, i risultati variano in maniera considerevole e non sono, pertanto, facilmente comparabili.

| — | «Aggregazione»: risulta problematico trarre conclusioni dai risultati della valutazione ottenuti al livello inferiore in termini di realizzazioni, effetti ed impatti, e formulare conclusioni anche per il livello superiore immediatamente successivo (ad esempio, al momento di aggregare i risultati dei progetti, prima per gruppi di progetti, poi per settori all’interno di un programma e, infine, a livello del programma propriamente detto). |
| --- | --- |

—

«Aggregazione»: risulta problematico trarre conclusioni dai risultati della valutazione ottenuti al livello inferiore in termini di realizzazioni, effetti ed impatti, e formulare conclusioni anche per il livello superiore immediatamente successivo (ad esempio, al momento di aggregare i risultati dei progetti, prima per gruppi di progetti, poi per settori all’interno di un programma e, infine, a livello del programma propriamente detto).

| — | «Adeguatezza degli indicatori»: un’altra questione consiste nel sapere se i valutatori stiano misurando l’elemento giusto. Le metriche devono essere facili da misurare, difficili da manipolare e promuovere il comportamento corretto. Tuttavia, da un indicatore «misurabile» della realizzazione non è necessariamente possibile trarre conclusioni sugli effetti o sugli impatti. |
| --- | --- |

—

«Adeguatezza degli indicatori»: un’altra questione consiste nel sapere se i valutatori stiano misurando l’elemento giusto. Le metriche devono essere facili da misurare, difficili da manipolare e promuovere il comportamento corretto. Tuttavia, da un indicatore «misurabile» della realizzazione non è necessariamente possibile trarre conclusioni sugli effetti o sugli impatti.

| — | «Problemi di tempi»: un altro ostacolo è rappresentato dal lasso di tempo considerevole che deve intercorrere tra l’attività di ricerca e la generazione di realizzazioni ed effetti, affinché sia possibile valutare l’impatto. È necessario raccogliere i dati sul lungo periodo, al fine di poter trarre conclusioni rigorose e significative. Spesso i tempi della valutazione non sono coerenti con le attese e le esigenze dei responsabili decisionali, ed occorre cercare un compromesso tra l'esigenza di presentare rapidamente dati per contribuire all’elaborazione delle politiche e quella di far trascorrere il tempo necessario perché siano riscontrabili degli effetti. |
| --- | --- |

—

«Problemi di tempi»: un altro ostacolo è rappresentato dal lasso di tempo considerevole che deve intercorrere tra l’attività di ricerca e la generazione di realizzazioni ed effetti, affinché sia possibile valutare l’impatto. È necessario raccogliere i dati sul lungo periodo, al fine di poter trarre conclusioni rigorose e significative. Spesso i tempi della valutazione non sono coerenti con le attese e le esigenze dei responsabili decisionali, ed occorre cercare un compromesso tra l'esigenza di presentare rapidamente dati per contribuire all’elaborazione delle politiche e quella di far trascorrere il tempo necessario perché siano riscontrabili degli effetti.

| — | «False idee sul progetto»: la valutazione degli effetti e degli impatti di singoli progetti nell’ambito di un programma deve tenere conto del seguente dilemma: i risultati tecnologici e scientifici sono stati generalmente ottenuti utilizzando lavori precedenti. Allo stesso modo, prima della pubblicazione e della valorizzazione dei risultati scientifici, i partecipanti potrebbero usare i risultati del progetto per altri lavori. Pertanto, un progetto di per sé non costituisce necessariamente il quadro di valutazione appropriato, in particolare per quanto riguarda gli effetti e gli impatti a più lungo termine. |
| --- | --- |

—

«False idee sul progetto»: la valutazione degli effetti e degli impatti di singoli progetti nell’ambito di un programma deve tenere conto del seguente dilemma: i risultati tecnologici e scientifici sono stati generalmente ottenuti utilizzando lavori precedenti. Allo stesso modo, prima della pubblicazione e della valorizzazione dei risultati scientifici, i partecipanti potrebbero usare i risultati del progetto per altri lavori. Pertanto, un progetto di per sé non costituisce necessariamente il quadro di valutazione appropriato, in particolare per quanto riguarda gli effetti e gli impatti a più lungo termine.

| — | «Credibilità, integrità e indipendenza»: la qualità di una valutazione dipende in larga misura dal livello di impegno dei valutatori nei confronti dell'oggetto esaminato, che richiede un compromesso tra comprensione e competenza, da una parte, e tra indipendenza ed obiettività, dall’altra parte. La qualità dipende anche dalle ipotesi e dagli interessi dei responsabili decisionali, nonché dalle motivazioni e dalle finalità della valutazione. |
| --- | --- |

—

«Credibilità, integrità e indipendenza»: la qualità di una valutazione dipende in larga misura dal livello di impegno dei valutatori nei confronti dell'oggetto esaminato, che richiede un compromesso tra comprensione e competenza, da una parte, e tra indipendenza ed obiettività, dall’altra parte. La qualità dipende anche dalle ipotesi e dagli interessi dei responsabili decisionali, nonché dalle motivazioni e dalle finalità della valutazione.

---

ALLEGATO II

DISPOSIZIONI RELATIVE AL MONITORAGGIO E ALLA VALUTAZIONE NELLE DECISIONI LEGISLATIVE CONCERNENTI I PQ DAL 4o AL 7o

| 4o PQ (1995-1998)
   (1) | 5o PQ (1999-2002)
   (2) | 6o PQ (2003-2006)
   (3) | 7o PQ (2007-2013)
   (4) |
| --- | --- | --- | --- |
| Decisione relativa al programma quadro — Consiglio e Parlamento europeo |
| Decisione n. 1110/94/CE del Parlamento europeo e del Consiglio, del 26 aprile 1994, relativa al quarto programma quadro delle azioni comunitarie di ricerca e di sviluppo tecnologico e di dimostrazione (1994-1998): articolo 4 | Decisione n. 182/1999/CE del Parlamento europeo e del Consiglio, del 22 dicembre 1998, relativa al quinto programma quadro delle azioni comunitarie di ricerca, di sviluppo tecnologico e di dimostrazione (1998-2002): articoli 5 e 6 | Decisione n. 1513/2002/CE del Parlamento europeo e del Consiglio, del 27 giugno 2002, relativa al sesto programma quadro di azioni comunitarie di ricerca, sviluppo tecnologico e dimostrazione volto a contribuire alla realizzazione dello Spazio europeo della ricerca e all'innovazione (2002-2006): considerando (20), articoli 4 e 6, allegato III | Decisione n. 1982/2006/CE del Parlamento europeo e del Consiglio, del 18 dicembre 2006, concernente il settimo programma quadro della Comunità europea per le attività di ricerca, sviluppo tecnologico e dimostrazione (2007-2013): articolo 7 |
| Monitoraggio |
| — | verificare in modo regolare e sistematico, con l'opportuna assistenza di esperti esterni indipendenti, lo stato di avanzamento tenendo conto degli obiettivi iniziali (articolo 4, paragrafo 1) |

4o PQ (1995-1998)
   (1)

5o PQ (1999-2002)
   (2)

6o PQ (2003-2006)
   (3)

7o PQ (2007-2013)
   (4)

Decisione relativa al programma quadro — Consiglio e Parlamento europeo

Decisione n. 1110/94/CE del Parlamento europeo e del Consiglio, del 26 aprile 1994, relativa al quarto programma quadro delle azioni comunitarie di ricerca e di sviluppo tecnologico e di dimostrazione (1994-1998): articolo 4

Decisione n. 182/1999/CE del Parlamento europeo e del Consiglio, del 22 dicembre 1998, relativa al quinto programma quadro delle azioni comunitarie di ricerca, di sviluppo tecnologico e di dimostrazione (1998-2002): articoli 5 e 6

Decisione n. 1513/2002/CE del Parlamento europeo e del Consiglio, del 27 giugno 2002, relativa al sesto programma quadro di azioni comunitarie di ricerca, sviluppo tecnologico e dimostrazione volto a contribuire alla realizzazione dello Spazio europeo della ricerca e all'innovazione (2002-2006): considerando (20), articoli 4 e 6, allegato III

Decisione n. 1982/2006/CE del Parlamento europeo e del Consiglio, del 18 dicembre 2006, concernente il settimo programma quadro della Comunità europea per le attività di ricerca, sviluppo tecnologico e dimostrazione (2007-2013): articolo 7

Monitoraggio

—

verificare in modo regolare e sistematico, con l'opportuna assistenza di esperti esterni indipendenti, lo stato di avanzamento tenendo conto degli obiettivi iniziali (articolo 4, paragrafo 1)

| — | verificare in modo regolare e sistematico ogni anno, con l'assistenza di esperti indipendenti qualificati, lo stato di avanzamento del quinto programma quadro e dei relativi programmi specifici, tenendo conto dei criteri stabiliti nell'allegato I e degli obiettivi scientifici e tecnologici definiti nell'allegato II (articolo 5, paragrafo 1) |
| --- | --- |

—

verificare in modo regolare e sistematico ogni anno, con l'assistenza di esperti indipendenti qualificati, lo stato di avanzamento del quinto programma quadro e dei relativi programmi specifici, tenendo conto dei criteri stabiliti nell'allegato I e degli obiettivi scientifici e tecnologici definiti nell'allegato II (articolo 5, paragrafo 1)

| — | controllare costantemente e sistematicamente [ogni anno], con l'aiuto di esperti qualificati indipendenti, l'attuazione del sesto programma quadro e dei suoi programmi specifici (articoli 4 e 6, paragrafo 1) |
| --- | --- |

—

controllare costantemente e sistematicamente [ogni anno], con l'aiuto di esperti qualificati indipendenti, l'attuazione del sesto programma quadro e dei suoi programmi specifici (articoli 4 e 6, paragrafo 1)

| — | controllare costantemente e sistematicamente l'attuazione del settimo programma quadro e dei suoi programmi specifici (articolo 7, paragrafo 1) |
| --- | --- |

—

controllare costantemente e sistematicamente l'attuazione del settimo programma quadro e dei suoi programmi specifici (articolo 7, paragrafo 1)

| — | valutare se gli obiettivi, le priorità e gli strumenti finanziari siano ancora adeguati all'evoluzione della situazione. Se necessario, presentare proposte volte ad adeguare o completare il programma quadro e/o i programmi specifici (articolo 5, paragrafo 1) |
| --- | --- |

—

valutare se gli obiettivi, le priorità e gli strumenti finanziari siano ancora adeguati all'evoluzione della situazione. Se necessario, presentare proposte volte ad adeguare o completare il programma quadro e/o i programmi specifici (articolo 5, paragrafo 1)

| — | riesaminare regolarmente tutte le attività di ricerca, in particolare il controllo del livello di eccellenza della ricerca (allegato III, sezione 1.Strumenti) |
| --- | --- |

—

riesaminare regolarmente tutte le attività di ricerca, in particolare il controllo del livello di eccellenza della ricerca (allegato III, sezione 1.Strumenti)

| — | riferire e divulgare periodicamente i risultati di tale controllo (articolo 7, paragrafo 1) |
| --- | --- |

—

riferire e divulgare periodicamente i risultati di tale controllo (articolo 7, paragrafo 1)

Relazione annuale ai sensi dell’articolo 173 del trattato

| — | illustrare in maniera dettagliata, nella relazione che la Commissione presenta ogni anno ai sensi dell'articolo 173 del trattato, lo stato di avanzamento del sesto programma quadro, e in particolare dei suoi obiettivi e delle sue priorità, quali indicati per ciascuna sezione dell'allegato I. Tale relazione include altresì informazioni sugli aspetti finanziari e sull'utilizzazione degli strumenti (articolo 4) |
| --- | --- |

—

illustrare in maniera dettagliata, nella relazione che la Commissione presenta ogni anno ai sensi dell'articolo 173 del trattato, lo stato di avanzamento del sesto programma quadro, e in particolare dei suoi obiettivi e delle sue priorità, quali indicati per ciascuna sezione dell'allegato I. Tale relazione include altresì informazioni sugli aspetti finanziari e sull'utilizzazione degli strumenti (articolo 4)

Valutazione intermedia

| — | a metà del periodo di validità del programma quadro, esaminare i progressi relativamente al programma (articolo 6) |
| --- | --- |

—

a metà del periodo di validità del programma quadro, esaminare i progressi relativamente al programma (articolo 6)

| — | sulla base delle valutazioni dei vari programmi specifici, sottoporre al Consiglio e al Parlamento europeo una comunicazione corredata, se opportuno, di una proposta in merito all'adeguamento della presente decisione (articolo 6) |
| --- | --- |

—

sulla base delle valutazioni dei vari programmi specifici, sottoporre al Consiglio e al Parlamento europeo una comunicazione corredata, se opportuno, di una proposta in merito all'adeguamento della presente decisione (articolo 6)

| — | entro il 2010, assistita da esperti esterni, procedere ad una valutazione intermedia fondata su prove del presente programma quadro e dei relativi programmi specifici sulla base della valutazione ex-post del sesto programma quadro. Detta valutazione verte sulla qualità delle attività di ricerca in corso, oltre che sulla qualità dell'attuazione e della gestione, e sullo stato di avanzamento rispetto al conseguimento degli obiettivi stabiliti (articolo 7, paragrafo 2) |
| --- | --- |

—

entro il 2010, assistita da esperti esterni, procedere ad una valutazione intermedia fondata su prove del presente programma quadro e dei relativi programmi specifici sulla base della valutazione ex-post del sesto programma quadro. Detta valutazione verte sulla qualità delle attività di ricerca in corso, oltre che sulla qualità dell'attuazione e della gestione, e sullo stato di avanzamento rispetto al conseguimento degli obiettivi stabiliti (articolo 7, paragrafo 2)

| — | comunicare le conclusioni della valutazione, corredate delle proprie osservazioni e, se del caso, di proposte di adeguamento del presente programma quadro, al Parlamento europeo, al Consiglio, al Comitato economico e sociale europeo e al Comitato delle regioni (articolo 7, paragrafo 2). |
| --- | --- |

—

comunicare le conclusioni della valutazione, corredate delle proprie osservazioni e, se del caso, di proposte di adeguamento del presente programma quadro, al Parlamento europeo, al Consiglio, al Comitato economico e sociale europeo e al Comitato delle regioni (articolo 7, paragrafo 2).

| — | informare regolarmente il Parlamento europeo e il Consiglio in merito ai
  progressi complessivi nell'attuazione del programma quadro e dei programmi specifici (articolo 5, paragrafo 4) |
| --- | --- |

—

informare regolarmente il Parlamento europeo e il Consiglio in merito ai
  progressi complessivi nell'attuazione del programma quadro e dei programmi specifici (articolo 5, paragrafo 4)

| — | presentare regolarmente al Parlamento europeo e al Consiglio una relazione sull'attuazione del sesto programma quadro (considerando 20) |
| --- | --- |

—

presentare regolarmente al Parlamento europeo e al Consiglio una relazione sull'attuazione del sesto programma quadro (considerando 20)

| — | far precedere la valutazione intermedia, non appena saranno disponibili dati sufficienti, da una relazione sullo stato di avanzamento che esponga le prime conclusioni sull'efficacia delle nuove azioni avviate nell'ambito del settimo programma quadro e degli sforzi compiuti in materia di semplificazione (articolo 7, paragrafo 2) |
| --- | --- |

—

far precedere la valutazione intermedia, non appena saranno disponibili dati sufficienti, da una relazione sullo stato di avanzamento che esponga le prime conclusioni sull'efficacia delle nuove azioni avviate nell'ambito del settimo programma quadro e degli sforzi compiuti in materia di semplificazione (articolo 7, paragrafo 2)

| — | nel corso del 2004, effettuare una valutazione di esperti indipendenti sull'efficacia di ciascuno di questi tre tipi di strumenti nell'attuazione del presente programma (allegato III, sezione 1.Strumenti) |
| --- | --- |

—

nel corso del 2004, effettuare una valutazione di esperti indipendenti sull'efficacia di ciascuno di questi tre tipi di strumenti nell'attuazione del presente programma (allegato III, sezione 1.Strumenti)

Valutazione quinquennale (VQ)

| — | provvedere a che esperti indipendenti e qualificati forniscano una valutazione esterna della gestione e dei risultati delle azioni comunitarie condotte nei cinque anni precedenti alla valutazione (articolo 4, paragrafo 2) |
| --- | --- |

—

provvedere a che esperti indipendenti e qualificati forniscano una valutazione esterna della gestione e dei risultati delle azioni comunitarie condotte nei cinque anni precedenti alla valutazione (articolo 4, paragrafo 2)

| — | provvedere a che esperti indipendenti altamente qualificati forniscano una valutazione esterna della realizzazione e dei risultati delle azioni comunitarie condotte nei cinque anni precedenti la valutazione stessa, tenendo conto dei criteri stabiliti nell'allegato I e degli obiettivi scientifici e tecnologici fissati nell'allegato II (articolo 5, paragrafo 2) |
| --- | --- |

—

provvedere a che esperti indipendenti altamente qualificati forniscano una valutazione esterna della realizzazione e dei risultati delle azioni comunitarie condotte nei cinque anni precedenti la valutazione stessa, tenendo conto dei criteri stabiliti nell'allegato I e degli obiettivi scientifici e tecnologici fissati nell'allegato II (articolo 5, paragrafo 2)

| — | affidare a esperti indipendenti altamente qualificati la valutazione esterna dell'attuazione e dei risultati delle azioni comunitarie nel corso del quinquennio precedente la valutazione stessa (articolo 6, paragrafo 2) (rispettivamente, della realizzazione delle azioni intraprese, tenendo conto del contributo del sesto programma quadro all'instaurazione dello Spazio europeo della ricerca (considerando 20)) |
| --- | --- |

—

affidare a esperti indipendenti altamente qualificati la valutazione esterna dell'attuazione e dei risultati delle azioni comunitarie nel corso del quinquennio precedente la valutazione stessa (articolo 6, paragrafo 2) (rispettivamente, della realizzazione delle azioni intraprese, tenendo conto del contributo del sesto programma quadro all'instaurazione dello Spazio europeo della ricerca (considerando 20))

| — | comunicare la valutazione e le sue osservazioni, al Parlamento europeo, al Consiglio e al Comitato economico e sociale prima di presentare la sua proposta di quinto programma quadro (articolo 4, paragrafo 2) |
| --- | --- |

—

comunicare la valutazione e le sue osservazioni, al Parlamento europeo, al Consiglio e al Comitato economico e sociale prima di presentare la sua proposta di quinto programma quadro (articolo 4, paragrafo 2)

| — | comunicare le conclusioni della valutazione, corredandole delle sue osservazioni, al Parlamento europeo, al Consiglio, al Comitato economico e sociale e al Comitato delle regioni prima di presentare la proposta relativa al sesto programma quadro (articolo 5, paragrafo 2) |
| --- | --- |

—

comunicare le conclusioni della valutazione, corredandole delle sue osservazioni, al Parlamento europeo, al Consiglio, al Comitato economico e sociale e al Comitato delle regioni prima di presentare la proposta relativa al sesto programma quadro (articolo 5, paragrafo 2)

| — | comunicare le conclusioni della valutazione, corredate delle sue osservazioni, al Parlamento europeo, al Consiglio, al Comitato economico e sociale e al Comitato delle regioni (articolo 6, paragrafo 2), in tempo utile e comunque prima della presentazione della proposta del settimo programma quadro (considerando 20) |
| --- | --- |

—

comunicare le conclusioni della valutazione, corredate delle sue osservazioni, al Parlamento europeo, al Consiglio, al Comitato economico e sociale e al Comitato delle regioni (articolo 6, paragrafo 2), in tempo utile e comunque prima della presentazione della proposta del settimo programma quadro (considerando 20)

Valutazione finale

[cfr. Decisione relativa al programma specifico]

| — | due anni dopo il completamento del presente programma quadro (ossia, nel 2015), affidare a esperti indipendenti una valutazione esterna delle motivazioni, dell'attuazione e dei risultati del programma quadro (articolo 7, paragrafo 3) |
| --- | --- |

—

due anni dopo il completamento del presente programma quadro (ossia, nel 2015), affidare a esperti indipendenti una valutazione esterna delle motivazioni, dell'attuazione e dei risultati del programma quadro (articolo 7, paragrafo 3)

| — | comunicare le conclusioni della valutazione, corredate delle proprie osservazioni, al Parlamento europeo, al Consiglio, al Comitato economico e sociale europeo e al Comitato delle regioni (articolo 7, paragrafo 3) |
| --- | --- |

—

comunicare le conclusioni della valutazione, corredate delle proprie osservazioni, al Parlamento europeo, al Consiglio, al Comitato economico e sociale europeo e al Comitato delle regioni (articolo 7, paragrafo 3)

Esperti indipendenti

| — | assicurare che la scelta degli esperti indipendenti venga effettuata tenendo conto in modo equilibrato delle comunità scientifiche, industriali e di utenti, e comunicare l'elenco completo degli esperti e le loro qualifiche individuali dopo la loro nomina (articolo 5, paragrafo 3)
  [per altre disposizioni riguardanti gli esperti indipendenti, cfr. decisione 1999/65/CE del Consiglio, articolo 9] |
| --- | --- |

—

assicurare che la scelta degli esperti indipendenti venga effettuata tenendo conto in modo equilibrato delle comunità scientifiche, industriali e di utenti, e comunicare l'elenco completo degli esperti e le loro qualifiche individuali dopo la loro nomina (articolo 5, paragrafo 3)

[per altre disposizioni riguardanti gli esperti indipendenti, cfr. decisione 1999/65/CE del Consiglio, articolo 9]

| — | La Commissione designa esperti indipendenti per essere assistita nella valutazione prevista a norma del sesto programma quadro e dei relativi programmi specifici, e anche per l’assistenza di cui all'articolo 10, paragrafo 6 e all’articolo 18, paragrafo 1, secondo comma. |
| --- | --- |

—

La Commissione designa esperti indipendenti per essere assistita nella valutazione prevista a norma del sesto programma quadro e dei relativi programmi specifici, e anche per l’assistenza di cui all'articolo 10, paragrafo 6 e all’articolo 18, paragrafo 1, secondo comma.

| — | Inoltre, può costituire gruppi di esperti indipendenti per essere consigliata sull’attuazione della politica comunitaria in materia di ricerca. |
| --- | --- |

—

Inoltre, può costituire gruppi di esperti indipendenti per essere consigliata sull’attuazione della politica comunitaria in materia di ricerca.

| — | [per le disposizioni riguardanti gli esperti indipendenti, cfr. regolamento (CE) n. 2321/2002, articolo 11] |
| --- | --- |

—

[per le disposizioni riguardanti gli esperti indipendenti, cfr. regolamento (CE) n. 2321/2002, articolo 11]

Esempio di decisione relativa ad un programma specifico — Consiglio

Decisione del Consiglio
  94/801/CE del 23 novembre 1994: articolo 4

Decisione del Consiglio
  1999/168/CE del 25 gennaio 1999: articoli 4 e 6

Decisioni 2002/834/CE e 2002/835/CE
  del Consiglio del 30 settembre 2002 — articolo 8

Decisione 2006/971/CE del Consiglio del 19 dicembre 2006 concernente il programma specifico «Cooperazione»: articolo 8

Monitoraggio

| — | esaminare, in modo sistematico e permanente, avvalendosi dell'assistenza di esperti esterni e indipendenti, lo stato di realizzazione del programma (articolo 4, paragrafo 1) |
| --- | --- |

—

esaminare, in modo sistematico e permanente, avvalendosi dell'assistenza di esperti esterni e indipendenti, lo stato di realizzazione del programma (articolo 4, paragrafo 1)

| — | verificare, con un'adeguata assistenza di esperti esterni indipendenti, l'attuazione del programma specifico e sottoporre al Consiglio, ove opportuno, proposte di adeguamento ai sensi dell'articolo 5, paragrafo 1, della decisione relativa al quinto programma quadro [articolo 4, lettera a)] |
| --- | --- |

—

verificare, con un'adeguata assistenza di esperti esterni indipendenti, l'attuazione del programma specifico e sottoporre al Consiglio, ove opportuno, proposte di adeguamento ai sensi dell'articolo 5, paragrafo 1, della decisione relativa al quinto programma quadro [articolo 4, lettera a)]

| — | disporre il monitoraggio e la valutazione indipendenti, di cui all’articolo 6 del sesto programma quadro, delle attività svolte nei settori previsti dal programma specifico (articolo 8, paragrafo 2) |
| --- | --- |

—

disporre il monitoraggio e la valutazione indipendenti, di cui all’articolo 6 del sesto programma quadro, delle attività svolte nei settori previsti dal programma specifico (articolo 8, paragrafo 2)

| — | predisporre il monitoraggio, la valutazione e il riesame indipendenti, di cui all'articolo 7 del programma quadro, delle attività svolte nei settori coperti dal programma specifico (articolo 9) |
| --- | --- |

—

predisporre il monitoraggio, la valutazione e il riesame indipendenti, di cui all'articolo 7 del programma quadro, delle attività svolte nei settori coperti dal programma specifico (articolo 9)

| — | le informazioni che la Commissione è tenuta a trasmettere al comitato del programma ai sensi dell’articolo 8, paragrafo 4, sono precisate all’allegato V |
| --- | --- |

—

le informazioni che la Commissione è tenuta a trasmettere al comitato del programma ai sensi dell’articolo 8, paragrafo 4, sono precisate all’allegato V

Relazione annuale ai sensi dell’articolo 173 del trattato

| — | riferire periodicamente sull’attuazione del programma specifico, conformemente all’articolo 4 della decisione relativa al sesto programma quadro, fornendo anche informazioni concernenti gli aspetti finanziari e l’utilizzo degli strumenti (articolo 8, paragrafo 1) |
| --- | --- |

—

riferire periodicamente sull’attuazione del programma specifico, conformemente all’articolo 4 della decisione relativa al sesto programma quadro, fornendo anche informazioni concernenti gli aspetti finanziari e l’utilizzo degli strumenti (articolo 8, paragrafo 1)

| — | includere le principali conclusioni [sul meccanismo di finanziamento con ripartizione del rischio] nella relazione annuale sulle attività svolte in materia di ricerca e di sviluppo tecnologico, che presenterà al Parlamento europeo e al Consiglio a norma dell'articolo 173 del trattato (allegato III) |
| --- | --- |

—

includere le principali conclusioni [sul meccanismo di finanziamento con ripartizione del rischio] nella relazione annuale sulle attività svolte in materia di ricerca e di sviluppo tecnologico, che presenterà al Parlamento europeo e al Consiglio a norma dell'articolo 173 del trattato (allegato III)

Valutazione quinquennale

| — | incaricare esperti esterni indipendenti e qualificati di effettuare una valutazione delle azioni svolte nei settori direttamente contemplati dal presente programma e della relativa gestione nei cinque anni precedenti la valutazione stessa (articolo 4, paragrafo 2) |
| --- | --- |

—

incaricare esperti esterni indipendenti e qualificati di effettuare una valutazione delle azioni svolte nei settori direttamente contemplati dal presente programma e della relativa gestione nei cinque anni precedenti la valutazione stessa (articolo 4, paragrafo 2)

| — | disporre la valutazione esterna prevista dall'articolo 5, paragrafo 2, del quinto programma quadro per le azioni intraprese nella materia oggetto del programma specifico (articolo 4, lettera b)) |
| --- | --- |

—

disporre la valutazione esterna prevista dall'articolo 5, paragrafo 2, del quinto programma quadro per le azioni intraprese nella materia oggetto del programma specifico (articolo 4, lettera b))

Valutazione finale

| — | eseguire, alla scadenza di ogni programma specifico, una valutazione finale indipendente dei risultati ottenuti rispetto agli obiettivi (articolo 4, paragrafo 3) |
| --- | --- |

—

eseguire, alla scadenza di ogni programma specifico, una valutazione finale indipendente dei risultati ottenuti rispetto agli obiettivi (articolo 4, paragrafo 3)

| — | trasmettere la relazione di valutazione finale al Parlamento europeo, al Consiglio e al Comitato economico e sociale (articolo 4, paragrafo 3) |
| --- | --- |

—

trasmettere la relazione di valutazione finale al Parlamento europeo, al Consiglio e al Comitato economico e sociale (articolo 4, paragrafo 3)

Esperti indipendenti

| — | assegnazione dell'incarico della valutazione esterna prevista dall'articolo 5, paragrafo 2, del quinto programma quadro (articolo 6, paragrafo 2) |
| --- | --- |

—

assegnazione dell'incarico della valutazione esterna prevista dall'articolo 5, paragrafo 2, del quinto programma quadro (articolo 6, paragrafo 2)

Informazioni di base sulla struttura dei PQ

| — | 4o PQ (CE): 7 programmi specifici, compresi 17 sottoprogrammi più due gruppi di attività |
| --- | --- |

—

4o PQ (CE): 7 programmi specifici, compresi 17 sottoprogrammi più due gruppi di attività

| — | 5o PQ (CE): 7 programmi specifici, di cui 4 programmi tematici e 3 programmi orizzontali |
| --- | --- |

—

5o PQ (CE): 7 programmi specifici, di cui 4 programmi tematici e 3 programmi orizzontali

| — | 6o PQ (CE): 20 programmi, di cui 10 sono raggruppati sotto 7 priorità tematiche, e 4 programmi relativi ad attività di ricerca trasversali, nel programma specifico «Concentrare e integrare la ricerca comunitaria». Il programma specifico «Strutturare lo Spazio europeo della ricerca» rappresenta 4 programmi, e il programma specifico «Rafforzare le basi dello Spazio europeo della ricerca» rappresenta 2 programmi specifici |
| --- | --- |

—

6o PQ (CE): 20 programmi, di cui 10 sono raggruppati sotto 7 priorità tematiche, e 4 programmi relativi ad attività di ricerca trasversali, nel programma specifico «Concentrare e integrare la ricerca comunitaria». Il programma specifico «Strutturare lo Spazio europeo della ricerca» rappresenta 4 programmi, e il programma specifico «Rafforzare le basi dello Spazio europeo della ricerca» rappresenta 2 programmi specifici

| — | 7o PQ (CE): 24 sottoprogrammi specifici, di cui 10 sono raggruppati nel programma specifico «Cooperazione», uno concerne il programma specifico «Idee», 5 riguardano il programma specifico «Persone» e 8 si riferiscono al programma specifico «Capacità» (uno dei quali interessa le attività non nucleari del Centro comune di ricerca). |
| --- | --- |

—

7o PQ (CE): 24 sottoprogrammi specifici, di cui 10 sono raggruppati nel programma specifico «Cooperazione», uno concerne il programma specifico «Idee», 5 riguardano il programma specifico «Persone» e 8 si riferiscono al programma specifico «Capacità» (uno dei quali interessa le attività non nucleari del Centro comune di ricerca).

| — | Bilancio totale (CE): 11 046 milioni di euro (pari a 2 761 milioni di euro l’anno) |
| --- | --- |

—

Bilancio totale (CE): 11 046 milioni di euro (pari a 2 761 milioni di euro l’anno)

| — | Bilancio totale (CE): 13 700 milioni di euro (pari a 3 425 milioni di euro l’anno; +24 %) |
| --- | --- |

—

Bilancio totale (CE): 13 700 milioni di euro (pari a 3 425 milioni di euro l’anno; +24 %)

| — | Bilancio totale (CE): 16 270 milioni di euro (pari a 4 061 milioni di euro l’anno; +19 %) dopo l’allargamento UE-25, aumentato a |
| --- | --- |

—

Bilancio totale (CE): 16 270 milioni di euro (pari a 4 061 milioni di euro l’anno; +19 %) dopo l’allargamento UE-25, aumentato a

| — | Bilancio totale (CE): 17 883 milioni di euro (pari a 4 447 milioni di euro l’anno; +10 %) |
| --- | --- |

—

Bilancio totale (CE): 17 883 milioni di euro (pari a 4 447 milioni di euro l’anno; +10 %)

| — | Bilancio totale (CE): 50 521 milioni di euro (pari a 7 217 milioni di euro l’anno; +62 %) |
| --- | --- |

—

Bilancio totale (CE): 50 521 milioni di euro (pari a 7 217 milioni di euro l’anno; +62 %)

| — | 7 direzioni generali: Ricerca, Società dell’informazione, Energia, Trasporti, Pesca, Agricoltura, Imprese |
| --- | --- |

—

7 direzioni generali: Ricerca, Società dell’informazione, Energia, Trasporti, Pesca, Agricoltura, Imprese

| — | 5 direzioni generali: Ricerca, Società dell’informazione, Energia e Trasporti, Pesca, Imprese |
| --- | --- |

—

5 direzioni generali: Ricerca, Società dell’informazione, Energia e Trasporti, Pesca, Imprese

| — | 4 direzioni generali: Ricerca, Società dell’informazione, Energia e Trasporti, Imprese |
| --- | --- |

—

4 direzioni generali: Ricerca, Società dell’informazione, Energia e Trasporti, Imprese

| — | 5 direzioni generali: Ricerca, Società dell’informazione e mezzi di comunicazione, Energia e Trasporti, Imprese e industria, Centro comune di ricerca (CCR); inoltre, Consiglio europeo della ricerca (CER) e agenzie esecutive |
| --- | --- |

—

5 direzioni generali: Ricerca, Società dell’informazione e mezzi di comunicazione, Energia e Trasporti, Imprese e industria, Centro comune di ricerca (CCR); inoltre, Consiglio europeo della ricerca (CER) e agenzie esecutive

---

(1)  4o PQ: Tecnologie di informazione e comunicazione (Tecnologie e servizi di comunicazione avanzati (ACTS); Tecnologie dell'informazione (ESPRIT); Applicazioni telematiche); Tecnologie industriali (Tecnologie industriali e dei materiali (BRITE/EURAM); Norme, misure e prove (SMT)); Ambiente (Ambiente e clima, Scienze e tecnologie marine (MAST III)); Scienze naturali e tecnologie (Biotecnologia BIOTECH 2), Biomedicina e sanità (BIOMED 2), Agricoltura e pesca (FAIR), Aspetti etici, giuridici e sociali (ELSA)); Energia (Ricerca e sviluppo (JOULE), Dimostrazione (THERMIE)); Trasporti (Programma di ricerca «Trasporti»), Ricerca socioeconomica finalizzata (Ricerca socioeconomica finalizzata (TSER), Rete europea di valutazione della tecnologia (ETAN)); Cooperazione con paesi terzi e con organizzazioni internazionali [Cooperazione internazionale (INCO)]; Divulgazione e valorizzazione dei risultati (Programma «Innovazione»); Incentivi alla formazione e alla mobilità dei ricercatori (Formazione e mobilità dei ricercatori (TMR), Associazioni dei borsisti «Marie Curie»).

(2)  5o PQ: 4 programmi tematici (Qualità della vita e gestione delle risorse biologiche (Qualità della vita), Società dell’informazione conviviale (IST), Crescita competitiva e sostenibile (GROWTH), Energia, ambiente e sviluppo sostenibile (EESD)); 3 programmi orizzontali (Confermare il ruolo internazionale della ricerca comunitaria (INCO 2), Promuovere l’innovazione e incoraggiare la partecipazione delle PMI (Innovation/SMEs), Accrescere il potenziale umano di ricerca e la base delle conoscenze socioeconomiche (Improving)).

(3)  6o PQ: «Integrare e rafforzare lo Spazio europeo della ricerca»

| — | 7 priorità tematiche corrispondenti a 10 programmi: Scienze della vita, genomica e biotecnologie per la salute (comprese la Genomica avanzata e sue applicazioni per la salute, Lotta contro le principali malattie), Tecnologie per la società dell’informazione, Nanotecnologie e nanoscienze, materiali multifunzionali basati sulla conoscenza e nuovi processi e dispositivi di produzione, Aeronautica e spazio, Sicurezza alimentare e rischi per la salute, Sviluppo sostenibile, cambiamento globale ed ecosistemi (compresi i Sistemi energetici sostenibili, Trasporti di superficie sostenibili, Cambiamento globale ed ecosistemi), Cittadini e governance nella società della conoscenza, |
| --- | --- |

—

7 priorità tematiche corrispondenti a 10 programmi: Scienze della vita, genomica e biotecnologie per la salute (comprese la Genomica avanzata e sue applicazioni per la salute, Lotta contro le principali malattie), Tecnologie per la società dell’informazione, Nanotecnologie e nanoscienze, materiali multifunzionali basati sulla conoscenza e nuovi processi e dispositivi di produzione, Aeronautica e spazio, Sicurezza alimentare e rischi per la salute, Sviluppo sostenibile, cambiamento globale ed ecosistemi (compresi i Sistemi energetici sostenibili, Trasporti di superficie sostenibili, Cambiamento globale ed ecosistemi), Cittadini e governance nella società della conoscenza,

| — | attività di ricerca trasversali concernenti un settore di ricerca più ampio, articolate in 4 programmi: Sostegno alle politiche e anticipazione delle esigenze scientifiche e tecnologiche, Attività di ricerca orizzontali che riguardano le PMI, Misure specifiche a sostegno della cooperazione internazionale, Attività non nucleari del Centro comune di ricerca, «Strutturare lo Spazio europeo della ricerca» corrispondente a 4 programmi: Ricerca e innovazione, Risorse umane, Infrastrutture di ricerca, Scienza e società «Rafforzare le basi dello Spazio europeo della ricerca» composto di 2 programmi: Sostegno al coordinamento delle attività, Sostegno allo sviluppo coerente delle politiche. |
| --- | --- |

—

attività di ricerca trasversali concernenti un settore di ricerca più ampio, articolate in 4 programmi: Sostegno alle politiche e anticipazione delle esigenze scientifiche e tecnologiche, Attività di ricerca orizzontali che riguardano le PMI, Misure specifiche a sostegno della cooperazione internazionale, Attività non nucleari del Centro comune di ricerca, «Strutturare lo Spazio europeo della ricerca» corrispondente a 4 programmi: Ricerca e innovazione, Risorse umane, Infrastrutture di ricerca, Scienza e società «Rafforzare le basi dello Spazio europeo della ricerca» composto di 2 programmi: Sostegno al coordinamento delle attività, Sostegno allo sviluppo coerente delle politiche.

(4)  7o PQ: programma specifico «Cooperazione» composto da 10 sottoprogrammi (Salute; Prodotti alimentari, agricoltura e biotecnologie; Tecnologie dell’informazione e della comunicazione; Nanoscienze, nanotecnologie, materiali e nuove tecnologie di produzione; Energia; Ambiente (compresi i cambiamenti climatici); Trasporti (compresa l’aeronautica); Scienze socioeconomiche e discipline umanistiche; Sicurezza; Spazio); programma specifico «Idee» rappresentato da 1 sottoprogramma (Consiglio europeo della ricerca); programma specifico «Persone» composto da 5 sottoprogrammi (Formazione iniziale dei ricercatori; Formazione permanente; Industria-università; Dimensione internazionale; Azioni specifiche); programma specifico «Capacità» composto da 8 sottoprogrammi (Infrastrutture di ricerca, Ricerca a vantaggio delle PMI; Regioni della conoscenza; Potenziale di ricerca; Scienza nella società; Sviluppo coerente delle politiche della ricerca; Cooperazione internazionale; «Attività non nucleari del CCR»).

---

ALLEGATO III

PRINCIPALI DIFFERENZE DI VALUTAZIONE EX POST DEI PROGRAMMI DI RICERCA TRA UE (4° PQ — 6° PQ), STATI UNITI E CANADA

| | UE (4° PQ — 6° PQ) | STATI UNITI | Canada |
| --- | --- | --- | --- |
| Aspetti sistemici |
| Logica di intervento | non esplicita | esistente nella maggior parte dei casi, implicitamente prevista dal PART (1) | previsto dall’RMAF (2)nel quadro della proposta di programma |
| Strategia di valutazione | non globale | prevista dal PART (1) | prevista dall’RMAF (2)nel quadro della proposta di programma |
| Indicazione dei risultati attesi | no | prevista dal PART (1)(compresa l’utilizzazione di indicatori quantificabili) | prevista dall’RMAF (2)nel quadro della proposta di programma |
| Quesiti di valutazione posti da | Commissione quale responsabile della gestione del programma | agenzia quale responsabile della gestione del programma (valutata nel quadro dell’OMB) | agenzia quale responsabile della gestione del programma
  (valutata nel quadro del TBS) |
| Aspetti organizzativi |
| Fase di concezione | durante il periodo di programmazione | durante il periodo di programmazione | completata prima dell’avvio del programma |
| Ricorso a gruppi di esperti | gruppi di esperti costituiti ad hoc per valutazioni specifiche | in funzione dell’agenzia/del programma | gruppi di esperti permanenti in qualità di comitati permanenti |
| Periodicità | date fisse (legate al periodo di programmazione, che interessa i 5 anni precedenti) | ciclo di 2-3 anni
  (connesso all’approvazione del bilancio) | subordinata al rinnovo del programma |

UE (4° PQ — 6° PQ)

STATI UNITI

Canada

Aspetti sistemici

Logica di intervento

non esplicita

esistente nella maggior parte dei casi, implicitamente prevista dal PART (1)

previsto dall’RMAF (2)nel quadro della proposta di programma

Strategia di valutazione

non globale

prevista dal PART (1)

prevista dall’RMAF (2)nel quadro della proposta di programma

Indicazione dei risultati attesi

no

prevista dal PART (1)(compresa l’utilizzazione di indicatori quantificabili)

prevista dall’RMAF (2)nel quadro della proposta di programma

Quesiti di valutazione posti da

Commissione quale responsabile della gestione del programma

agenzia quale responsabile della gestione del programma (valutata nel quadro dell’OMB)

agenzia quale responsabile della gestione del programma

(valutata nel quadro del TBS)

Aspetti organizzativi

Fase di concezione

durante il periodo di programmazione

durante il periodo di programmazione

completata prima dell’avvio del programma

Ricorso a gruppi di esperti

gruppi di esperti costituiti ad hoc per valutazioni specifiche

in funzione dell’agenzia/del programma

gruppi di esperti permanenti in qualità di comitati permanenti

Periodicità

date fisse (legate al periodo di programmazione, che interessa i 5 anni precedenti)

ciclo di 2-3 anni

(connesso all’approvazione del bilancio)

subordinata al rinnovo del programma

---

(1)  Programme Assessment Rating Tool (PART) dal 2002: cfr. Office of Management and Budget (OMB), Executive Office of the President, Stati Uniti.

(2)  Results-based Management and Accountability Framework (RMAF): cfr. Treasury Board of Canada Secretariat (TBS).

---

ALLEGATO IV

STRUTTURA POSSIBILE DEL GRUPPO DI ESPERTI RESPONSABILE DEL 7o PQ

Image

---

RISPOSTE DELLA COMMISSIONE

| I. | Negli ultimi decenni i programmi quadro comunitari (PQ) in materia di ricerca e sviluppo tecnologico (RST) hanno dato luogo a un sistema vasto ma coerente di meccanismi di supporto per i ricercatori nei 27 Stati membri dell'Unione, nei paesi associati e altrove.
  I programmi quadro costituiscono attualmente il più importante sistema di finanziamento della ricerca multinazionale al mondo.
  I PQ rappresentano oggi circa il 5 % del totale del finanziamento pubblico della ricerca da parte dell'UE. In termini di partecipazione finanziaria annua della Comunità, il bilancio del 7o PQ sarà più cospicuo del 6o PQ in ragione del 60 %.
  La valutazione di un tale regime unico costituisce una sfida considerevole per tutti gli attori. Gli accordi in relazione alla valutazione e al monitoraggio hanno subito modifiche sostanziali negli ultimi anni, e da ultimo nel 2007 con l'avvio del 7o PQ.
  Il sistema di valutazione e di monitoraggio in vigore alla Commissione è basato sulla responsabilità diretta dei servizi esecutivi della Commissione, che detengono il più alto grado di competenza tecnica disponibile.
  Le valutazioni a livello di programma quadro sono effettuate mediante un'azione coordinata di tutte le direzioni generali (DG). |
| --- | --- |

I.

Negli ultimi decenni i programmi quadro comunitari (PQ) in materia di ricerca e sviluppo tecnologico (RST) hanno dato luogo a un sistema vasto ma coerente di meccanismi di supporto per i ricercatori nei 27 Stati membri dell'Unione, nei paesi associati e altrove.

I programmi quadro costituiscono attualmente il più importante sistema di finanziamento della ricerca multinazionale al mondo.

I PQ rappresentano oggi circa il 5 % del totale del finanziamento pubblico della ricerca da parte dell'UE. In termini di partecipazione finanziaria annua della Comunità, il bilancio del 7o PQ sarà più cospicuo del 6o PQ in ragione del 60 %.

La valutazione di un tale regime unico costituisce una sfida considerevole per tutti gli attori. Gli accordi in relazione alla valutazione e al monitoraggio hanno subito modifiche sostanziali negli ultimi anni, e da ultimo nel 2007 con l'avvio del 7o PQ.

Il sistema di valutazione e di monitoraggio in vigore alla Commissione è basato sulla responsabilità diretta dei servizi esecutivi della Commissione, che detengono il più alto grado di competenza tecnica disponibile.

Le valutazioni a livello di programma quadro sono effettuate mediante un'azione coordinata di tutte le direzioni generali (DG).

| IV. | La Commissione si compiace dell'osservazione della Corte secondo cui le DG che attuano i PQ («direzioni generali ricerca») hanno rispettato i requisiti prefissati, tra cui quelli specificati nel 2000 e nel 2002 nelle comunicazioni sulla valutazione.
  Sono state introdotte modifiche significative alla valutazione dei PQ, tra cui una ristrutturazione sostanziale del 7o PQ.
  La Commissione ritiene inoltre che:






  i) | I PQ siano sempre stati basati su una solida logica di intervento. Nell'ambito del 7o PQ ciò è reso più esplicito, consentendo un rafforzamento del sistema di valutazione e monitoraggio della Commissione. |
| --- | --- | --- |

IV.

La Commissione si compiace dell'osservazione della Corte secondo cui le DG che attuano i PQ («direzioni generali ricerca») hanno rispettato i requisiti prefissati, tra cui quelli specificati nel 2000 e nel 2002 nelle comunicazioni sulla valutazione.

Sono state introdotte modifiche significative alla valutazione dei PQ, tra cui una ristrutturazione sostanziale del 7o PQ.

La Commissione ritiene inoltre che:

i)

I PQ siano sempre stati basati su una solida logica di intervento. Nell'ambito del 7o PQ ciò è reso più esplicito, consentendo un rafforzamento del sistema di valutazione e monitoraggio della Commissione.

| ii) | I principali elementi strategici dell'approccio della Commissione alla valutazione e al monitoraggio siano stati definiti negli atti legislativi inerenti ai PQ susseguitisi sin dalla metà degli anni 1990.
  Dall'adozione dell' ultima comunicazione della Commissione sulla valutazione della ricerca nel 1996, ha avuto luogo un processo di costante perfezionamento dell'approccio alla valutazione dei programmi quadro da parte della Commissione e sono stati apportati cambiamenti sostanziali all'esercizio di valutazione.
  Nel periodo preso in considerazione dalla Corte ai fini dell'audit, sono stati effettuati importanti esercizi di valutazione dei PQ, le cosiddette «valutazioni quinquennali», su base quadriennale. |
| --- | --- |

ii)

I principali elementi strategici dell'approccio della Commissione alla valutazione e al monitoraggio siano stati definiti negli atti legislativi inerenti ai PQ susseguitisi sin dalla metà degli anni 1990.

Dall'adozione dell' ultima comunicazione della Commissione sulla valutazione della ricerca nel 1996, ha avuto luogo un processo di costante perfezionamento dell'approccio alla valutazione dei programmi quadro da parte della Commissione e sono stati apportati cambiamenti sostanziali all'esercizio di valutazione.

Nel periodo preso in considerazione dalla Corte ai fini dell'audit, sono stati effettuati importanti esercizi di valutazione dei PQ, le cosiddette «valutazioni quinquennali», su base quadriennale.

| iii) | I PQ siano attuati congiuntamente dalle «direzioni generali ricerca», che agiscono in modo indipendente e collaborano quando è necessario. I servizi centrali della Commissione, e la DG Bilancio in particolare, partecipano attivamente alle varie fasi del processo di valutazione.
  Data l'organizzazione decentrata della Commissione e le specificità di ciascun settore scientifico, le valutazioni devono essere gestite dai servizi operativi responsabili.
  La rete interna di valutazione RST si è rivelata estremamente utile ai fini del coordinamento.
  La Commissione riconosce che i gruppi temporanei di esperti dovrebbero svolgere un ruolo importante nella valutazione, e si compiace che dall'audit risulti che i suoi gruppi di esperti per le «valutazioni quinquennali» e altre valutazioni importanti siano stati percepiti dai competenti attori istituzionali come una garanzia dell'indipendenza dell'approccio della Commissione per il periodo in esame. |
| --- | --- |

iii)

I PQ siano attuati congiuntamente dalle «direzioni generali ricerca», che agiscono in modo indipendente e collaborano quando è necessario. I servizi centrali della Commissione, e la DG Bilancio in particolare, partecipano attivamente alle varie fasi del processo di valutazione.

Data l'organizzazione decentrata della Commissione e le specificità di ciascun settore scientifico, le valutazioni devono essere gestite dai servizi operativi responsabili.

La rete interna di valutazione RST si è rivelata estremamente utile ai fini del coordinamento.

La Commissione riconosce che i gruppi temporanei di esperti dovrebbero svolgere un ruolo importante nella valutazione, e si compiace che dall'audit risulti che i suoi gruppi di esperti per le «valutazioni quinquennali» e altre valutazioni importanti siano stati percepiti dai competenti attori istituzionali come una garanzia dell'indipendenza dell'approccio della Commissione per il periodo in esame.

| iv) | La possibilità di fornire orientamenti metodologici per le valutazioni sia limitata dall'esigenza di garantire l'indipendenza dei valutatori. La Commissione riconosce le difficoltà incontrate nel passato in relazione alla raccolta dei dati, e la relativa scarsità di studi di valutazione che trattassero gli effetti e gli impatti dei PQ a più lungo termine, come avviene per la maggior parte delle valutazioni di interventi pubblici nel settore della ricerca e altri. |
| --- | --- |

iv)

La possibilità di fornire orientamenti metodologici per le valutazioni sia limitata dall'esigenza di garantire l'indipendenza dei valutatori. La Commissione riconosce le difficoltà incontrate nel passato in relazione alla raccolta dei dati, e la relativa scarsità di studi di valutazione che trattassero gli effetti e gli impatti dei PQ a più lungo termine, come avviene per la maggior parte delle valutazioni di interventi pubblici nel settore della ricerca e altri.

| v) | La scelta dei tempi, per la maggioranza delle valutazioni, è prevista nella normativa PQ adottata dal Parlamento europeo e dal Consiglio. In generale, la Commissione ritiene che il proprio sistema di valutazione e monitoraggio dei PQ sia efficace. Questo parere è stato condiviso dal Parlamento europeo e dal Consiglio in occasione dell'adozione delle recenti proposte legislative della Commissione relative al 7o PQ, nel 2006. |
| --- | --- |

v)

La scelta dei tempi, per la maggioranza delle valutazioni, è prevista nella normativa PQ adottata dal Parlamento europeo e dal Consiglio. In generale, la Commissione ritiene che il proprio sistema di valutazione e monitoraggio dei PQ sia efficace. Questo parere è stato condiviso dal Parlamento europeo e dal Consiglio in occasione dell'adozione delle recenti proposte legislative della Commissione relative al 7o PQ, nel 2006.

| V. | Alla luce delle raccomandazioni della Corte, la Commissione






  i) | fa riferimento alla più esplicita logica di intervento cui è improntata la normativa del 7o PQ (adottata dal Parlamento europeo e dal Consiglio nel 2006) e si impegna a rafforzare l'uso di una logica d'intervento esplicita nelle sue future proposte legislative. Inoltre, la Commissione intende chiarire ulteriormente i propri obiettivi operativi per il 7o PQ a livello di programmi di lavoro e sviluppare maggiormente il suo approccio alla misurazione dei risultati. |
| --- | --- | --- |

V.

Alla luce delle raccomandazioni della Corte, la Commissione

i)

fa riferimento alla più esplicita logica di intervento cui è improntata la normativa del 7o PQ (adottata dal Parlamento europeo e dal Consiglio nel 2006) e si impegna a rafforzare l'uso di una logica d'intervento esplicita nelle sue future proposte legislative. Inoltre, la Commissione intende chiarire ulteriormente i propri obiettivi operativi per il 7o PQ a livello di programmi di lavoro e sviluppare maggiormente il suo approccio alla misurazione dei risultati.

| ii) | si impegna a sviluppare ulteriormente la propria strategia di valutazione per il 7o PQ, sulla base delle proposte di cui alla valutazione d'impatto del 7o PQ. Provvederà a garantire un adeguato livello di flessibilità affinché ciascun servizio operativo possa determinare le proprie esigenze specifiche di valutazione. |
| --- | --- |

ii)

si impegna a sviluppare ulteriormente la propria strategia di valutazione per il 7o PQ, sulla base delle proposte di cui alla valutazione d'impatto del 7o PQ. Provvederà a garantire un adeguato livello di flessibilità affinché ciascun servizio operativo possa determinare le proprie esigenze specifiche di valutazione.

| iii) | sebbene non ritenga necessario istituire un ufficio comune di valutazione, accetta di esaminare opzioni alternative che permettano di migliorare il coordinamento.
  I gruppi di esperti dovrebbero essere convocati con il maggior anticipo possibile perché forniscano assistenza nell'ambito di una valutazione specifica. Tuttavia, si ritiene che il ricorso a gruppi di esperti per settori specifici garantirebbe risultati migliori in termini di chiarezza e pertinenza. |
| --- | --- |

iii)

sebbene non ritenga necessario istituire un ufficio comune di valutazione, accetta di esaminare opzioni alternative che permettano di migliorare il coordinamento.

I gruppi di esperti dovrebbero essere convocati con il maggior anticipo possibile perché forniscano assistenza nell'ambito di una valutazione specifica. Tuttavia, si ritiene che il ricorso a gruppi di esperti per settori specifici garantirebbe risultati migliori in termini di chiarezza e pertinenza.

| iv) | ha già avviato un'azione per una migliore utilizzazione delle fonti di dati, esistenti e di nuova acquisizione, ai fini delle valutazioni.
  Le disposizioni in materia di comunicazione delle informazioni sono state parzialmente modificate in base alle esigenze di valutazione e di monitoraggio.
  Inoltre, la Commissione sta attualmente mettendo a punto un nuovo sistema informatico per il 7o PQ inteso a fornire una base più solida in termini di dati relativi ai progetti.
  La Commissione esaminerà la possibilità di elaborare un nuovo manuale di valutazione dei PQ, tenendo conto di esempi recenti. |
| --- | --- |

iv)

ha già avviato un'azione per una migliore utilizzazione delle fonti di dati, esistenti e di nuova acquisizione, ai fini delle valutazioni.

Le disposizioni in materia di comunicazione delle informazioni sono state parzialmente modificate in base alle esigenze di valutazione e di monitoraggio.

Inoltre, la Commissione sta attualmente mettendo a punto un nuovo sistema informatico per il 7o PQ inteso a fornire una base più solida in termini di dati relativi ai progetti.

La Commissione esaminerà la possibilità di elaborare un nuovo manuale di valutazione dei PQ, tenendo conto di esempi recenti.

| v) | essa intende sviluppare e rafforzare la propria attività di pianificazione delle valutazioni nell'ambito del 7o PQ, così da usufruire degli eventuali vantaggi in termini di coerenza e di utilizzazione dei risultati. |
| --- | --- |

v)

essa intende sviluppare e rafforzare la propria attività di pianificazione delle valutazioni nell'ambito del 7o PQ, così da usufruire degli eventuali vantaggi in termini di coerenza e di utilizzazione dei risultati.

| 1-13. | I. Negli ultimi decenni i programmi quadro comunitari in materia di ricerca e sviluppo tecnologico (RST) hanno dato luogo a un sistema vasto ma coerente di meccanismi di supporto per i ricercatori nei 27 Stati membri dell'Unione, nei paesi associati e altrove.
  I programmi quadro costituiscono attualmente il più importante sistema di finanziamento della ricerca multinazionale al mondo (vedasi punto 6 del testo della Corte). In termini di partecipazione finanziaria annua della Comunità, il bilancio del 7o PQ sarà più cospicuo del 6o PQ in ragione del 60 % (vedasi grafico 1 del testo della Corte).
  La valutazione di un tale regime unico costituisce una sfida considerevole per tutti gli attori. Le modalità di valutazione hanno subito modifiche importanti negli ultimi anni (vedasi grafico 2 del testo della Corte), da ultimo nel 2007 con l'avvio del 7o PQ (vedansi, ad esempio, le risposte ai punti 23, 30, 41, 46, 72, 76-78, 93). |
| --- | --- |

1-13.

I. Negli ultimi decenni i programmi quadro comunitari in materia di ricerca e sviluppo tecnologico (RST) hanno dato luogo a un sistema vasto ma coerente di meccanismi di supporto per i ricercatori nei 27 Stati membri dell'Unione, nei paesi associati e altrove.

I programmi quadro costituiscono attualmente il più importante sistema di finanziamento della ricerca multinazionale al mondo (vedasi punto 6 del testo della Corte). In termini di partecipazione finanziaria annua della Comunità, il bilancio del 7o PQ sarà più cospicuo del 6o PQ in ragione del 60 % (vedasi grafico 1 del testo della Corte).

La valutazione di un tale regime unico costituisce una sfida considerevole per tutti gli attori. Le modalità di valutazione hanno subito modifiche importanti negli ultimi anni (vedasi grafico 2 del testo della Corte), da ultimo nel 2007 con l'avvio del 7o PQ (vedansi, ad esempio, le risposte ai punti 23, 30, 41, 46, 72, 76-78, 93).

| 14. | Le DG che attuano i PQ (direzioni generali ricerca) hanno formalmente rispettato i requisiti di valutazione della Commissione, tra cui quelli specificati nelle comunicazioni sulla valutazione del 2000 e del 2002 (vedasi punto 54 del testo della Corte). |
| --- | --- |

14.

Le DG che attuano i PQ (direzioni generali ricerca) hanno formalmente rispettato i requisiti di valutazione della Commissione, tra cui quelli specificati nelle comunicazioni sulla valutazione del 2000 e del 2002 (vedasi punto 54 del testo della Corte).

| 22. | La Commissione concorda nel riconoscere l'importanza di una esplicita logica d'intervento per la pianificazione del programma, e condivide il parere secondo cui in questo contesto il mandato di cui all'articolo 163 del trattato costituisce un elemento fondamentale. Inoltre, il contributo delle attività RST finanziate dalla Commissione ad altre politiche comunitarie riveste un'importanza considerevole. Più di recente, il parere della Commissione sul ruolo degli investimenti RST dell'Unione è stato illustrato nell'ambito tanto della strategia di Lisbona rinnovata quanto della strategia di Sviluppo sostenibile (1). |
| --- | --- |

22.

La Commissione concorda nel riconoscere l'importanza di una esplicita logica d'intervento per la pianificazione del programma, e condivide il parere secondo cui in questo contesto il mandato di cui all'articolo 163 del trattato costituisce un elemento fondamentale. Inoltre, il contributo delle attività RST finanziate dalla Commissione ad altre politiche comunitarie riveste un'importanza considerevole. Più di recente, il parere della Commissione sul ruolo degli investimenti RST dell'Unione è stato illustrato nell'ambito tanto della strategia di Lisbona rinnovata quanto della strategia di Sviluppo sostenibile (1).

| 23. | I PQ sono sempre stati basati su una solida logica di intervento. Nell'ambito del 7o PQ ciò è reso più esplicito (2), consentendo un rafforzamento del sistema di valutazione e monitoraggio della Commissione. |
| --- | --- |

23.

I PQ sono sempre stati basati su una solida logica di intervento. Nell'ambito del 7o PQ ciò è reso più esplicito (2), consentendo un rafforzamento del sistema di valutazione e monitoraggio della Commissione.

| 25. | Vari paesi, tra cui alcuni Stati membri, stanno adottando questo approccio, ma non è affatto un approccio uniforme. Le esperienze di Stati Uniti e Canada sono più difficilmente importabili rispetto a quelle di uno Stato membro. |
| --- | --- |

25.

Vari paesi, tra cui alcuni Stati membri, stanno adottando questo approccio, ma non è affatto un approccio uniforme. Le esperienze di Stati Uniti e Canada sono più difficilmente importabili rispetto a quelle di uno Stato membro.

| 26. | La Commissione ritiene di aver gestito un sistema efficace di valutazione e monitoraggio durante il periodo interessato dall'audit della Corte (vedasi risposta al punto 23). |
| --- | --- |

26.

La Commissione ritiene di aver gestito un sistema efficace di valutazione e monitoraggio durante il periodo interessato dall'audit della Corte (vedasi risposta al punto 23).

| 28. | E' difficile, soprattutto alla luce dell'incertezza della ricerca, garantire che tutti gli obiettivi corrispondano esattamente alle rigide definizioni dei criteri SMART. Tutti i programmi di lavoro nell'ambito del 7o programma quadro contengono dichiarazioni dell'impatto previsto, che corrispondono agli obiettivi, ai principi e alle attività determinati nei programmi specifici. |
| --- | --- |

28.

E' difficile, soprattutto alla luce dell'incertezza della ricerca, garantire che tutti gli obiettivi corrispondano esattamente alle rigide definizioni dei criteri SMART. Tutti i programmi di lavoro nell'ambito del 7o programma quadro contengono dichiarazioni dell'impatto previsto, che corrispondono agli obiettivi, ai principi e alle attività determinati nei programmi specifici.

| 29. | In relazione al periodo considerato dalla Corte ai fini dell'audit, si è prestata maggiore attenzione ai risultati nel breve termine, e si ritiene opportuno procedere ad ulteriori analisi per il lungo termine. |
| --- | --- |

29.

In relazione al periodo considerato dalla Corte ai fini dell'audit, si è prestata maggiore attenzione ai risultati nel breve termine, e si ritiene opportuno procedere ad ulteriori analisi per il lungo termine.

| 30. | A livello di PQ la Commissione sta attualmente mettendo a punto un sistema di monitoraggio per il 7o PQ per garantire un uso più coerente e sistematico degli indicatori di performance. Nell'ambito dei vari servizi che attuano il 7o PQ sono in atto numerose iniziative in ordine allo sviluppo di indicatori di performance. |
| --- | --- |

30.

A livello di PQ la Commissione sta attualmente mettendo a punto un sistema di monitoraggio per il 7o PQ per garantire un uso più coerente e sistematico degli indicatori di performance. Nell'ambito dei vari servizi che attuano il 7o PQ sono in atto numerose iniziative in ordine allo sviluppo di indicatori di performance.

| 34. | La Commissione si è già impegnata a garantire una maggior chiarezza nella logica d'intervento dei programmi, costruendo sui progressi derivanti dalla normativa del 7o PQ e dalla valutazione di impatto, e intende tener conto delle raccomandazioni della Corte nell'ambito di future proposte legislative. |
| --- | --- |

34.

La Commissione si è già impegnata a garantire una maggior chiarezza nella logica d'intervento dei programmi, costruendo sui progressi derivanti dalla normativa del 7o PQ e dalla valutazione di impatto, e intende tener conto delle raccomandazioni della Corte nell'ambito di future proposte legislative.

| 35. | La Commissione accoglie favorevolmente la raccomandazione della Corte in ordine a un ulteriore chiarimento degli obiettivi dei programmi nel contesto del 7o PQ e, nell'ambito dei limiti dei rilevanti atti di base adottati dal Parlamento europeo e del Consiglio, si adopererà per conseguire tale esito. |
| --- | --- |

35.

La Commissione accoglie favorevolmente la raccomandazione della Corte in ordine a un ulteriore chiarimento degli obiettivi dei programmi nel contesto del 7o PQ e, nell'ambito dei limiti dei rilevanti atti di base adottati dal Parlamento europeo e del Consiglio, si adopererà per conseguire tale esito.

| 36-37. | La Commissione accoglie favorevolmente le raccomandazione della Corte e avvia iniziative volte a sviluppare ulteriormente gli indicatori di performance e a modificare la nomenclatura BPA/GPA. |
| --- | --- |

36-37.

La Commissione accoglie favorevolmente le raccomandazione della Corte e avvia iniziative volte a sviluppare ulteriormente gli indicatori di performance e a modificare la nomenclatura BPA/GPA.

| 38-39. | La Commissione ritiene che la propria strategia di valutazione dei PQ dovrebbe definire principi comuni per l'organizzazione e lo sviluppo della valutazione e del monitoraggio dei PQ. La strategia dovrebbe prevedere una dichiarazione di intenti, definire le componenti fondamentali del sistema e le principali attività nonché elaborare un'opportuna concezione per il futuro. In considerazione del sistema di valutazione decentralizzata della Commissione, dovrebbe restare focalizzata sul livello strategico. |
| --- | --- |

38-39.

La Commissione ritiene che la propria strategia di valutazione dei PQ dovrebbe definire principi comuni per l'organizzazione e lo sviluppo della valutazione e del monitoraggio dei PQ. La strategia dovrebbe prevedere una dichiarazione di intenti, definire le componenti fondamentali del sistema e le principali attività nonché elaborare un'opportuna concezione per il futuro. In considerazione del sistema di valutazione decentralizzata della Commissione, dovrebbe restare focalizzata sul livello strategico.

| 41. | I principali elementi strategici dell'approccio della Commissione alla valutazione e al monitoraggio sono stati definiti nei successivi atti di base inerenti ai PQ sin dalla metà degli anni 1990 (vedasi Allegato II).
  Poiché la Commissione ha adottato la sua ultima comunicazione sulla valutazione della ricerca nel 1996, ha avuto luogo un processo di costante adeguamento dell'impostazione della valutazione della Commissione dei programmi quadro, e sono stati apportati cambiamenti sostanziali all'esercizio di valutazione (vedasi grafico 2 del testo della Corte).
  Per l'attuale periodo di programmazione, la strategia di valutazione programmata dalla Commissione è definita esplicitamente nella valutazione di impatto ex ante del 7o PQ (SEC(2005) 430). Copre la pianificazione del sistema di valutazione, le modalità di attuazione e un calendario dettagliato delle previste valutazioni a livello di PQ.
  Per tradurre questa strategia in piani specifici sarà necessario un lavoro supplementare, e a tal fine la Commissione ricorrerà a strutture di coordinamento specifiche. |
| --- | --- |

41.

I principali elementi strategici dell'approccio della Commissione alla valutazione e al monitoraggio sono stati definiti nei successivi atti di base inerenti ai PQ sin dalla metà degli anni 1990 (vedasi Allegato II).

Poiché la Commissione ha adottato la sua ultima comunicazione sulla valutazione della ricerca nel 1996, ha avuto luogo un processo di costante adeguamento dell'impostazione della valutazione della Commissione dei programmi quadro, e sono stati apportati cambiamenti sostanziali all'esercizio di valutazione (vedasi grafico 2 del testo della Corte).

Per l'attuale periodo di programmazione, la strategia di valutazione programmata dalla Commissione è definita esplicitamente nella valutazione di impatto ex ante del 7o PQ (SEC(2005) 430). Copre la pianificazione del sistema di valutazione, le modalità di attuazione e un calendario dettagliato delle previste valutazioni a livello di PQ.

Per tradurre questa strategia in piani specifici sarà necessario un lavoro supplementare, e a tal fine la Commissione ricorrerà a strutture di coordinamento specifiche.

| 43. | Pur prendendo in considerazione l'osservazione della Corte, la Commissione fa osservare che la situazione negli USA e in Canada è considerevolmente più sfumata di quanto non risulti dalle singole strategie di valutazione. |
| --- | --- |

43.

Pur prendendo in considerazione l'osservazione della Corte, la Commissione fa osservare che la situazione negli USA e in Canada è considerevolmente più sfumata di quanto non risulti dalle singole strategie di valutazione.

| 44. | Le differenze di portata e intensità della valutazione tra diversi PQ sono il riflesso del sistema decentralizzato della Commissione, che collega la valutazione al processo decisionale. |
| --- | --- |

44.

Le differenze di portata e intensità della valutazione tra diversi PQ sono il riflesso del sistema decentralizzato della Commissione, che collega la valutazione al processo decisionale.

| 46. | Data l'organizzazione decentralizzata della Commissione, la questione dell'adeguato livello di attività di valutazione deve essere gestita dai competenti servizi operativi (vedansi le risposte ai punti 41 e 49).






  — | (secondo trattino) La valutazione quinquennale per il 2004 (1999-2003), coordinata dalla DG Ricerca, ha dato luogo a una valutazione a livello dell'insieme del PQ. La decisione sull'opportunità, o meno, di effettuare esercizi di valutazione separati a livello di programmi rifletteva le esigenze dei servizi interessati e le diversità in termini di contesto e scala delle attività in questione. |
| --- | --- | --- |

46.

Data l'organizzazione decentralizzata della Commissione, la questione dell'adeguato livello di attività di valutazione deve essere gestita dai competenti servizi operativi (vedansi le risposte ai punti 41 e 49).

—

(secondo trattino) La valutazione quinquennale per il 2004 (1999-2003), coordinata dalla DG Ricerca, ha dato luogo a una valutazione a livello dell'insieme del PQ. La decisione sull'opportunità, o meno, di effettuare esercizi di valutazione separati a livello di programmi rifletteva le esigenze dei servizi interessati e le diversità in termini di contesto e scala delle attività in questione.

| 47. | La valutazione quinquennale del 2004 ha fornito in tempo utile una valutazione coordinata e completa a livello di PQ, conformemente al regolamento finanziario. E' stata effettuata da esperti esterni di alto livello e i suoi risultati sono stati ampiamente divulgati. |
| --- | --- |

47.

La valutazione quinquennale del 2004 ha fornito in tempo utile una valutazione coordinata e completa a livello di PQ, conformemente al regolamento finanziario. E' stata effettuata da esperti esterni di alto livello e i suoi risultati sono stati ampiamente divulgati.

| 48. | Vedansi le risposte ai punti 41 e 46. |
| --- | --- |

48.

Vedansi le risposte ai punti 41 e 46.

| 49. | Per l'attuale periodo di programmazione, la strategia di valutazione programmata dalla Commissione è definita nella valutazione di impatto ex ante del 7o PQ (SEC(2005) 430). Copre la pianificazione del sistema di valutazione, le modalità di attuazione e un calendario dettagliato delle previste valutazioni a livello di PQ.
  La Commissione riconosce che per tradurre questa strategia in piani specifici sarà necessario un lavoro supplementare, e a tal fine ricorrerà a strutture di coordinamento specifiche.
  Essa ritiene tuttavia che non sia sempre possibile definire un livello minimo di valutazione dettagliata, in ragione della necessità di conservare una flessibilità sufficiente a permettere ai responsabili di determinare gli effettivi bisogni in materia di valutazione. |
| --- | --- |

49.

Per l'attuale periodo di programmazione, la strategia di valutazione programmata dalla Commissione è definita nella valutazione di impatto ex ante del 7o PQ (SEC(2005) 430). Copre la pianificazione del sistema di valutazione, le modalità di attuazione e un calendario dettagliato delle previste valutazioni a livello di PQ.

La Commissione riconosce che per tradurre questa strategia in piani specifici sarà necessario un lavoro supplementare, e a tal fine ricorrerà a strutture di coordinamento specifiche.

Essa ritiene tuttavia che non sia sempre possibile definire un livello minimo di valutazione dettagliata, in ragione della necessità di conservare una flessibilità sufficiente a permettere ai responsabili di determinare gli effettivi bisogni in materia di valutazione.

| 51. | I PQ sono attuati congiuntamente dalle «direzioni generali ricerca», che agiscono in modo indipendente e collaborano quando è necessario. |
| --- | --- |

51.

I PQ sono attuati congiuntamente dalle «direzioni generali ricerca», che agiscono in modo indipendente e collaborano quando è necessario.

| 52. | EuropAid ha responsabilità operative e di gestione che esercita in collaborazione con le delegazioni della Commissione e degli organismi istituiti nei paesi terzi. Tenuto conto di questa particolarità, è difficile prendere ad esempio questo ramo della Commissione in quanto non comparabile con il sistema decentralizzato delle responsabilità e dei ruoli nel settore della ricerca. |
| --- | --- |

52.

EuropAid ha responsabilità operative e di gestione che esercita in collaborazione con le delegazioni della Commissione e degli organismi istituiti nei paesi terzi. Tenuto conto di questa particolarità, è difficile prendere ad esempio questo ramo della Commissione in quanto non comparabile con il sistema decentralizzato delle responsabilità e dei ruoli nel settore della ricerca.

| 53. | La rete interna di valutazione RST fornisce strumenti informali per lo sviluppo di una strategia di valutazione e per il coordinamento di esercizi di valutazione a livello di PQ. Questo meccanismo flessibile si è rivelato molto utile. |
| --- | --- |

53.

La rete interna di valutazione RST fornisce strumenti informali per lo sviluppo di una strategia di valutazione e per il coordinamento di esercizi di valutazione a livello di PQ. Questo meccanismo flessibile si è rivelato molto utile.

| 55. | La recente revisione delle Norme di controllo interno della Commissione, adottata il 16 ottobre 2007 (SEC(2007) 1341), comprende le 21 norme di valutazione, e la conformità a tali norme rientrerà pertanto tra gli ambiti interessati dalle relazioni annuali di attività delle DG.
  I servizi centrali della Commissione, e la DG Bilancio in particolare, partecipano attivamente alle varie fasi del processo di valutazione.
  Le attività di valutazione dei servizi possono essere oggetto di audit della struttura di audit interno e del servizio di audit interno.
  In futuro, per la valutazione dei requisiti minimi di qualità si ricorrerà al «Quadro di valutazione della qualità» recentemente messo a punto dalla Commissione (3). Dal 2007 il controllo di qualità per l'analisi d'impatto prospettiva ha beneficiato dell'assistenza del «comitato d'analisi d'impatto». |
| --- | --- |

55.

La recente revisione delle Norme di controllo interno della Commissione, adottata il 16 ottobre 2007 (SEC(2007) 1341), comprende le 21 norme di valutazione, e la conformità a tali norme rientrerà pertanto tra gli ambiti interessati dalle relazioni annuali di attività delle DG.

I servizi centrali della Commissione, e la DG Bilancio in particolare, partecipano attivamente alle varie fasi del processo di valutazione.

Le attività di valutazione dei servizi possono essere oggetto di audit della struttura di audit interno e del servizio di audit interno.

In futuro, per la valutazione dei requisiti minimi di qualità si ricorrerà al «Quadro di valutazione della qualità» recentemente messo a punto dalla Commissione (3). Dal 2007 il controllo di qualità per l'analisi d'impatto prospettiva ha beneficiato dell'assistenza del «comitato d'analisi d'impatto».

| 56. | La comparazione di cui all'Allegato III copre il periodo controllato dalla Corte. Pertanto, non tiene conto di miglioramenti significativi realizzati nell'ambito del 7o PQ, in particolare per quanto riguarda una nuova strategia di valutazione, una più esplicita logica di intervento e indicazioni chiare in merito ai risultati previsti nei programmi di lavoro.
  La Corte fa rilevare che in alcuni Stati membri le responsabilità di valutazione e finanziamento sono separate. Esistono inoltre altri esempi (quali il Regno Unito) in cui la valutazione fa parte della gestione dei programmi (come avviene alla Commissione). Relativamente alla questione fondamentale dell'indipendenza, l'audit della Corte ha evidenziato che i partner esterni sono soddisfatti della performance della Commissione (vedansi punto 58 e grafico 4 del documento della Corte). |
| --- | --- |

56.

La comparazione di cui all'Allegato III copre il periodo controllato dalla Corte. Pertanto, non tiene conto di miglioramenti significativi realizzati nell'ambito del 7o PQ, in particolare per quanto riguarda una nuova strategia di valutazione, una più esplicita logica di intervento e indicazioni chiare in merito ai risultati previsti nei programmi di lavoro.

La Corte fa rilevare che in alcuni Stati membri le responsabilità di valutazione e finanziamento sono separate. Esistono inoltre altri esempi (quali il Regno Unito) in cui la valutazione fa parte della gestione dei programmi (come avviene alla Commissione). Relativamente alla questione fondamentale dell'indipendenza, l'audit della Corte ha evidenziato che i partner esterni sono soddisfatti della performance della Commissione (vedansi punto 58 e grafico 4 del documento della Corte).

| 59. | — | (primo trattino) Garantire un adeguato coinvolgimento dei gruppi di esperti di alto livello per lunghi periodi è difficile. |
| --- | --- | --- |

59.

—

(primo trattino) Garantire un adeguato coinvolgimento dei gruppi di esperti di alto livello per lunghi periodi è difficile.

| — | (secondo trattino) I termini di riferimento per i gruppi del PQ sono stabiliti mediante decisione della Commissione, a seguito di una consultazione estensiva e informale delle parti interessate, incluso il parere formale dei comitati di programma composti di rappresentanti degli Stati membri e paesi associati. Ciò sarà applicabile anche alla prossima valutazione ex post del 6o PQ nel 2008. |
| --- | --- |

—

(secondo trattino) I termini di riferimento per i gruppi del PQ sono stabiliti mediante decisione della Commissione, a seguito di una consultazione estensiva e informale delle parti interessate, incluso il parere formale dei comitati di programma composti di rappresentanti degli Stati membri e paesi associati. Ciò sarà applicabile anche alla prossima valutazione ex post del 6o PQ nel 2008.

| 62. | L'obiettivo di destinare lo 0,5 % del bilancio di un programma alla valutazione è raccomandato dalla Commissione a titolo di percentuale media. Le risorse effettivamente assegnate a tale attività dipendono in ampia misura dalla natura del programma. |
| --- | --- |

62.

L'obiettivo di destinare lo 0,5 % del bilancio di un programma alla valutazione è raccomandato dalla Commissione a titolo di percentuale media. Le risorse effettivamente assegnate a tale attività dipendono in ampia misura dalla natura del programma.

| 66. | Sebbene non ritenga necessario istituire un ufficio comune di valutazione, la Commissione accetta di esaminare opzioni alternative che permettano di migliorare il coordinamento.
  Il vincolo tra valutazione e processo decisionale di gestione può essere garantito al meglio dalle funzioni di valutazione presenti in ciascuna DG e dando nuovo slancio alla rete interna di valutazione RST, con l'appoggio dei servizi centrali. Questa organizzazione corrisponde ai processi legislativo e di bilancio, come previsto dal regolamento finanziario, dalla comunicazione della Commissione sulla valutazione del 2007 e dalle procedure nel contesto della BPA. |
| --- | --- |

66.

Sebbene non ritenga necessario istituire un ufficio comune di valutazione, la Commissione accetta di esaminare opzioni alternative che permettano di migliorare il coordinamento.

Il vincolo tra valutazione e processo decisionale di gestione può essere garantito al meglio dalle funzioni di valutazione presenti in ciascuna DG e dando nuovo slancio alla rete interna di valutazione RST, con l'appoggio dei servizi centrali. Questa organizzazione corrisponde ai processi legislativo e di bilancio, come previsto dal regolamento finanziario, dalla comunicazione della Commissione sulla valutazione del 2007 e dalle procedure nel contesto della BPA.

| 67. | La Commissione riconosce che i gruppi di esperti possono svolgere un ruolo importante nella valutazione. Ebbene riconosca altresì che i gruppi di esperti dovrebbero essere istituiti con sufficiente anticipo, non ritiene opportuno istituire gruppi permanenti per l'intero periodo di programmazione.
  Si ritiene che l'istituzione di gruppi di esperti per settori specifici garantirebbe risultati migliori in termini di chiarezza e pertinenza. |
| --- | --- |

67.

La Commissione riconosce che i gruppi di esperti possono svolgere un ruolo importante nella valutazione. Ebbene riconosca altresì che i gruppi di esperti dovrebbero essere istituiti con sufficiente anticipo, non ritiene opportuno istituire gruppi permanenti per l'intero periodo di programmazione.

Si ritiene che l'istituzione di gruppi di esperti per settori specifici garantirebbe risultati migliori in termini di chiarezza e pertinenza.

| 68. | Nei prossimi anni la Commissione esaminerà attentamente il fabbisogno in termini di risorse per la realizzazione della valutazione dei PQ. |
| --- | --- |

68.

Nei prossimi anni la Commissione esaminerà attentamente il fabbisogno in termini di risorse per la realizzazione della valutazione dei PQ.

| 70-71. | Orientamenti metodologici per le attività di valutazione, tra cui informazioni sugli strumenti disponibili e un glossario dei termini, sono forniti dalla guida della DG Bilancio (4), e sono attualmente in fase di aggiornamento da parte dei servizi della Commissione, in particolare la DG Ricerca.
  Inoltre, la DG Imprese ha elaborato nel 2002 orientamenti specifici in materia di valutazione che coprono tutte le attività di cui tale DG è responsabile, compresi i PQ.
  Saranno previste ulteriori iniziative di sostegno per la rete europea di valutazione RST (composta di esperti degli Stati membri e di paesi associati), che è stata rilanciata, e la rete interna di valutazione RST della Commissione. La Commissione continuerà a sostenere inoltre studi e seminari indipendenti sulle metodologie di valutazione. |
| --- | --- |

70-71.

Orientamenti metodologici per le attività di valutazione, tra cui informazioni sugli strumenti disponibili e un glossario dei termini, sono forniti dalla guida della DG Bilancio (4), e sono attualmente in fase di aggiornamento da parte dei servizi della Commissione, in particolare la DG Ricerca.

Inoltre, la DG Imprese ha elaborato nel 2002 orientamenti specifici in materia di valutazione che coprono tutte le attività di cui tale DG è responsabile, compresi i PQ.

Saranno previste ulteriori iniziative di sostegno per la rete europea di valutazione RST (composta di esperti degli Stati membri e di paesi associati), che è stata rilanciata, e la rete interna di valutazione RST della Commissione. La Commissione continuerà a sostenere inoltre studi e seminari indipendenti sulle metodologie di valutazione.

| 72. | La Commissione riconosce che il processo di raccolta sistematica dei dati dei progetti si è rivelato di un'efficacia relativa. Le procedure di presentazione delle relazioni sui progetti sono state riviste nel quadro del 6o PQ e saranno ulteriormente migliorate in relazione al 7o PQ (ad esempio, la presentazione delle relazioni periodiche sarà semplificata; i questionari intermediari sono stati soppressi; le relazioni finali saranno più determinanti, in particolare per quanto attiene alla raccolta dei dati sulla realizzazione e i risultati dei progetti). |
| --- | --- |

72.

La Commissione riconosce che il processo di raccolta sistematica dei dati dei progetti si è rivelato di un'efficacia relativa. Le procedure di presentazione delle relazioni sui progetti sono state riviste nel quadro del 6o PQ e saranno ulteriormente migliorate in relazione al 7o PQ (ad esempio, la presentazione delle relazioni periodiche sarà semplificata; i questionari intermediari sono stati soppressi; le relazioni finali saranno più determinanti, in particolare per quanto attiene alla raccolta dei dati sulla realizzazione e i risultati dei progetti).

| 74. | Le DG «ricerca» stanno attualmente sviluppando, con il supporto della DG Informatica, un nuovo sistema informatico per il 7o PQ. Questo supporto informatico rafforzato è volto a costituire una base più solida per la valutazione e il monitoraggio. |
| --- | --- |

74.

Le DG «ricerca» stanno attualmente sviluppando, con il supporto della DG Informatica, un nuovo sistema informatico per il 7o PQ. Questo supporto informatico rafforzato è volto a costituire una base più solida per la valutazione e il monitoraggio.

| 76-78. | La raccolta dei dati per la valutazione è stata solo parzialmente efficace durante il periodo interessato dall'audit. La Commissione sta attualmente apportando gli opportuni miglioramenti nel quadro del 7o PQ (vedasi risposta al punto 72). |
| --- | --- |

76-78.

La raccolta dei dati per la valutazione è stata solo parzialmente efficace durante il periodo interessato dall'audit. La Commissione sta attualmente apportando gli opportuni miglioramenti nel quadro del 7o PQ (vedasi risposta al punto 72).

| 79. | La Commissione intende promuovere i tipi di studi quantitativi proposti dalla Corte. |
| --- | --- |

79.

La Commissione intende promuovere i tipi di studi quantitativi proposti dalla Corte.

| 81. | A parere della Commissione, recentemente sono stati effettuati molti tipi di valutazione più interessanti da un punto di vista metodologico (vedasi punto 84) ed è necessario operare una distinzione tra valutazioni su grande scala e esercizi più di routine. |
| --- | --- |

81.

A parere della Commissione, recentemente sono stati effettuati molti tipi di valutazione più interessanti da un punto di vista metodologico (vedasi punto 84) ed è necessario operare una distinzione tra valutazioni su grande scala e esercizi più di routine.

| 82. | La Commissione riconosce che in generale il lavoro di valutazione ha accordato maggiore attenzione alle valutazioni a breve termine, e conviene che gli effetti e gli impatti potrebbero essere oggetto di analisi più approfondite. Tuttavia, un tale approccio richiede una prospettiva a più lungo termine, e pertanto le valutazioni della Commissione sono da considerarsi comparabili a lavori analoghi svolti in altri contesti. |
| --- | --- |

82.

La Commissione riconosce che in generale il lavoro di valutazione ha accordato maggiore attenzione alle valutazioni a breve termine, e conviene che gli effetti e gli impatti potrebbero essere oggetto di analisi più approfondite. Tuttavia, un tale approccio richiede una prospettiva a più lungo termine, e pertanto le valutazioni della Commissione sono da considerarsi comparabili a lavori analoghi svolti in altri contesti.

| 83. | La Commissione si adopera per rispettare l'indipendenza degli esperti, nella fattispecie per quanto concerne la scelta della metodologia.
  Per la valutazione ex post del 6o PQ nel 2008, si propone di effettuare studi sull'addizionalità comportamentale, l'analisi delle reti e l'uso di approcci scientometrici. |
| --- | --- |

83.

La Commissione si adopera per rispettare l'indipendenza degli esperti, nella fattispecie per quanto concerne la scelta della metodologia.

Per la valutazione ex post del 6o PQ nel 2008, si propone di effettuare studi sull'addizionalità comportamentale, l'analisi delle reti e l'uso di approcci scientometrici.

| 84. | Una meta-analisi di precedenti studi di valutazione è stata svolta da un esperto indipendente in relazione alla valutazione quinquennale del 2004 (1999-2003) (5).






  — | (secondo trattino) Oltre agli studi cui fa riferimento la Corte, sono stati avviati altri importanti studi nel 2007 (6). |
| --- | --- | --- |

84.

Una meta-analisi di precedenti studi di valutazione è stata svolta da un esperto indipendente in relazione alla valutazione quinquennale del 2004 (1999-2003) (5).

—

(secondo trattino) Oltre agli studi cui fa riferimento la Corte, sono stati avviati altri importanti studi nel 2007 (6).

| 85. | La Commissione riconosce che è ancora necessario elaborare nuovi approcci metodologici per tener conto dell'evoluzione della natura dei PQ. Tale sviluppo metodologico è, e continuerà ad essere, sostenuto dalla Commissione. |
| --- | --- |

85.

La Commissione riconosce che è ancora necessario elaborare nuovi approcci metodologici per tener conto dell'evoluzione della natura dei PQ. Tale sviluppo metodologico è, e continuerà ad essere, sostenuto dalla Commissione.

| 86. | Poiché i quesiti indicati nel mandato per la valutazione quinquennale del 2004 (1999-2003) avevano funzione puramente indicativa, il gruppo di esperti era libero di scegliere i settori su cui concentrare l'attenzione e di determinare le proprie modalità di lavoro. I membri del gruppo di esperti hanno espresso un parere elogiativo sull'esercizio (7). |
| --- | --- |

86.

Poiché i quesiti indicati nel mandato per la valutazione quinquennale del 2004 (1999-2003) avevano funzione puramente indicativa, il gruppo di esperti era libero di scegliere i settori su cui concentrare l'attenzione e di determinare le proprie modalità di lavoro. I membri del gruppo di esperti hanno espresso un parere elogiativo sull'esercizio (7).

| 87. | La natura stessa di un programma di ricerca, che implica incertezza, limita la possibilità di fissare obiettivi quantificabili. |
| --- | --- |

87.

La natura stessa di un programma di ricerca, che implica incertezza, limita la possibilità di fissare obiettivi quantificabili.

| 90. | Nel 2007 la Commissione ha rilanciato la rete europea di valutazione RST, composta di funzionari degli Stati membri e di esperti di valutazione, che intende usare per promuovere una maggiore coerenza nelle attività di valutazione della ricerca dell'UE, in particolare per quanto concerne gli studi di impatto a livello di Stati membri. |
| --- | --- |

90.

Nel 2007 la Commissione ha rilanciato la rete europea di valutazione RST, composta di funzionari degli Stati membri e di esperti di valutazione, che intende usare per promuovere una maggiore coerenza nelle attività di valutazione della ricerca dell'UE, in particolare per quanto concerne gli studi di impatto a livello di Stati membri.

| 91. | La Commissione esaminerà la possibilità di elaborare un nuovo manuale di valutazione dei PQ, tenendo conto di esempi recenti (8). |
| --- | --- |

91.

La Commissione esaminerà la possibilità di elaborare un nuovo manuale di valutazione dei PQ, tenendo conto di esempi recenti (8).

| 92. | Le procedure di presentazione delle relazioni sui progetti sono state riviste nel quadro del 6o PQ e saranno ulteriormente migliorate in relazione al 7o PQ (vedasi risposta al punto 72). |
| --- | --- |

92.

Le procedure di presentazione delle relazioni sui progetti sono state riviste nel quadro del 6o PQ e saranno ulteriormente migliorate in relazione al 7o PQ (vedasi risposta al punto 72).

| 93. | A livello di PQ la Commissione sta attualmente mettendo a punto un sistema di monitoraggio per il 7o PQ volto a garantire un uso più coerente e sistematico degli indicatori di performance (vedasi risposta al punto 30).
  Le DG «ricerca» stanno attualmente sviluppando, con il supporto della DG Informatica, un nuovo sistema informatico per il 7o PQ. Questo supporto informatico rafforzato è volto a costituire una base più solida per la valutazione e il monitoraggio. |
| --- | --- |

93.

A livello di PQ la Commissione sta attualmente mettendo a punto un sistema di monitoraggio per il 7o PQ volto a garantire un uso più coerente e sistematico degli indicatori di performance (vedasi risposta al punto 30).

Le DG «ricerca» stanno attualmente sviluppando, con il supporto della DG Informatica, un nuovo sistema informatico per il 7o PQ. Questo supporto informatico rafforzato è volto a costituire una base più solida per la valutazione e il monitoraggio.

| 94. | La Commissione condivide la preoccupazione della Corte in relazione all'onere costituito dall'elaborazione di relazioni, e ne ha tenuto particolarmente conto nel definire i requisiti per la presentazione delle relazioni nel contesto del 7o PQ (vedasi risposta al punto 72). |
| --- | --- |

94.

La Commissione condivide la preoccupazione della Corte in relazione all'onere costituito dall'elaborazione di relazioni, e ne ha tenuto particolarmente conto nel definire i requisiti per la presentazione delle relazioni nel contesto del 7o PQ (vedasi risposta al punto 72).

| 95. | La Commissione si sta attualmente adoperando per sfruttare le fonti, esistenti e potenziali, di dati per la valutazione e il monitoraggio (vedasi risposta al punto 72). |
| --- | --- |

95.

La Commissione si sta attualmente adoperando per sfruttare le fonti, esistenti e potenziali, di dati per la valutazione e il monitoraggio (vedasi risposta al punto 72).

| 96. | Nel contesto del 7o PQ esiste una linea d'azione specifica nel quadro del tema 8 (Scienze sociali e umanistiche) per trattare gli approcci innovativi alla valutazione e al monitoraggio. |
| --- | --- |

96.

Nel contesto del 7o PQ esiste una linea d'azione specifica nel quadro del tema 8 (Scienze sociali e umanistiche) per trattare gli approcci innovativi alla valutazione e al monitoraggio.

| 97. | Nel 2007 la Commissione ha rilanciato la rete europea di valutazione RST(vedansi risposte ai punti 70-71 e 90), che intende usare per promuovere una maggiore coerenza nelle attività di valutazione della ricerca dell'UE, in particolare per quanto concerne gli studi di impatto degli Stati membri.
  La Commissione intende inoltre mantenere la sua posizione d'avanguardia nell'ambito del sostegno all'immissione di dati in rete e alla condivisione delle pratiche di valutazione della ricerca su scala internazionale mediante seminari e altri eventi. |
| --- | --- |

97.

Nel 2007 la Commissione ha rilanciato la rete europea di valutazione RST(vedansi risposte ai punti 70-71 e 90), che intende usare per promuovere una maggiore coerenza nelle attività di valutazione della ricerca dell'UE, in particolare per quanto concerne gli studi di impatto degli Stati membri.

La Commissione intende inoltre mantenere la sua posizione d'avanguardia nell'ambito del sostegno all'immissione di dati in rete e alla condivisione delle pratiche di valutazione della ricerca su scala internazionale mediante seminari e altri eventi.

| 99. | La scelta dei tempi delle valutazioni è determinata dai requisiti specificati negli atti di base adottati dal Parlamento europeo e dal Consiglio. La Commissione riconosce che gli impatti a lungo termine sono poco noti e concorda nel ritenere che sarebbe opportuno dedicare maggiore attenzione a questo settore. |
| --- | --- |

99.

La scelta dei tempi delle valutazioni è determinata dai requisiti specificati negli atti di base adottati dal Parlamento europeo e dal Consiglio. La Commissione riconosce che gli impatti a lungo termine sono poco noti e concorda nel ritenere che sarebbe opportuno dedicare maggiore attenzione a questo settore.

| 100. | La Commissione conviene che nelle relazioni quinquennali si aveva tendenza a focalizzarsi su valutazioni a breve termine piuttosto che a lungo termine. Ciò si spiega con fattori quali l'interesse delle parti in causa esterne, come il Parlamento europeo e il Consiglio, per un rapido ritorno di informazioni sulla performance dei PQ, la sfida che implica l'attribuzione di taluni effetti alla ricerca nel lungo termine, e l'angolazione dell'analisi adottata dai gruppi di esperti indipendenti che effettuano l'esercizio di valutazione. La Commissione riconosce, tuttavia, che è necessario prestare maggiore attenzione alla valutazione degli effetti a più lungo termine. |
| --- | --- |

100.

La Commissione conviene che nelle relazioni quinquennali si aveva tendenza a focalizzarsi su valutazioni a breve termine piuttosto che a lungo termine. Ciò si spiega con fattori quali l'interesse delle parti in causa esterne, come il Parlamento europeo e il Consiglio, per un rapido ritorno di informazioni sulla performance dei PQ, la sfida che implica l'attribuzione di taluni effetti alla ricerca nel lungo termine, e l'angolazione dell'analisi adottata dai gruppi di esperti indipendenti che effettuano l'esercizio di valutazione. La Commissione riconosce, tuttavia, che è necessario prestare maggiore attenzione alla valutazione degli effetti a più lungo termine.

| 108. | La Commissione sta attualmente pianificando le principali attività di valutazione a titolo del 7o PQ, e terrà debitamente conto delle raccomandazioni della Corte. La Commissione riconosce che gli impatti a lungo termine sono poco noti e concorda nel ritenere che sarebbe opportuno dedicare maggiore attenzione a questo settore. |
| --- | --- |

108.

La Commissione sta attualmente pianificando le principali attività di valutazione a titolo del 7o PQ, e terrà debitamente conto delle raccomandazioni della Corte. La Commissione riconosce che gli impatti a lungo termine sono poco noti e concorda nel ritenere che sarebbe opportuno dedicare maggiore attenzione a questo settore.

| 109. | Come rilevato dalla Corte nell'ambito del punto 107, la Commissione fornisce una sintesi di tutte le conclusioni e delle misure adottate ai fini della valutazione della ricerca nella sua «relazione di valutazione annuale». La Commissione si è impegnata a garantire piena trasparenza nella sua attività di valutazione, intende conformarsi alle raccomandazioni della Corte in merito alla revisione delle modalità di comunicazione e divulgazione dei risultati. |
| --- | --- |

109.

Come rilevato dalla Corte nell'ambito del punto 107, la Commissione fornisce una sintesi di tutte le conclusioni e delle misure adottate ai fini della valutazione della ricerca nella sua «relazione di valutazione annuale». La Commissione si è impegnata a garantire piena trasparenza nella sua attività di valutazione, intende conformarsi alle raccomandazioni della Corte in merito alla revisione delle modalità di comunicazione e divulgazione dei risultati.

| 110-111. | La Commissione concorda con la Corte nel ritenere che la valutazione della ricerca, in particolare per un programma vasto come il PQ, è estremamente difficile.
  Fa osservare che negli ultimi 25 anni sono stati apportati miglioramenti significativi al sistema e che, globalmente, esso si è rivelato efficace per i responsabili dell'elaborazione delle politiche, i dirigenti della ricerca e le altre parti interessate. |
| --- | --- |

110-111.

La Commissione concorda con la Corte nel ritenere che la valutazione della ricerca, in particolare per un programma vasto come il PQ, è estremamente difficile.

Fa osservare che negli ultimi 25 anni sono stati apportati miglioramenti significativi al sistema e che, globalmente, esso si è rivelato efficace per i responsabili dell'elaborazione delle politiche, i dirigenti della ricerca e le altre parti interessate.

| 112. | La Commissione si compiace dell'osservazione della Corte secondo cui le DG che attuano i PQ («direzioni generali ricerca») hanno rispettato i requisiti prefissati, tra cui quelli specificati nel 2000 e nel 2002 nelle comunicazioni sulla valutazione.
  Sono state introdotte modifiche significative alla valutazione dei PQ, tra cui una ristrutturazione sostanziale del 7o P, come stabilito nell'ambito della strategia fornita dall'analisi d'impatto (SEC(2005) 430). |
| --- | --- |

112.

La Commissione si compiace dell'osservazione della Corte secondo cui le DG che attuano i PQ («direzioni generali ricerca») hanno rispettato i requisiti prefissati, tra cui quelli specificati nel 2000 e nel 2002 nelle comunicazioni sulla valutazione.

Sono state introdotte modifiche significative alla valutazione dei PQ, tra cui una ristrutturazione sostanziale del 7o P, come stabilito nell'ambito della strategia fornita dall'analisi d'impatto (SEC(2005) 430).

| 113. | Quanto alla rilevanza e all'utilità delle valutazioni, la Commissione può fare riferimento alle reazioni generalmente positive che le sono state trasmesse, nella fattispecie in occasione di recenti importanti esercizi quali la valutazione quinquennale del 2004 (1999-2003). I risultati della valutazione quinquennale sono stati ampiamente divulgati, in particolare in occasione delle presentazioni ai principali organi interessati, quali il Parlamento europeo, il Consiglio, il Comitato per la ricerca scientifica e tecnica (CREST) e i comitati di programma del PQ. Poiché tale esercizio doveva obbligatoriamente essere svolto prima che la Commissione presentasse la sua proposta in ordine a un nuovo programma quadro (in questo caso il 7o), la sua accettabilità globale è stata confermata dall'adozione del 7o PQ.
  Ciò non significa che non sia possibile procedere a miglioramenti, e la Commissione riconosce pienamente la necessità di apportare modifiche attentamente ponderate, fondate su elementi dell'attuale approccio che hanno già dato prova di efficacia. |
| --- | --- |

113.

Quanto alla rilevanza e all'utilità delle valutazioni, la Commissione può fare riferimento alle reazioni generalmente positive che le sono state trasmesse, nella fattispecie in occasione di recenti importanti esercizi quali la valutazione quinquennale del 2004 (1999-2003). I risultati della valutazione quinquennale sono stati ampiamente divulgati, in particolare in occasione delle presentazioni ai principali organi interessati, quali il Parlamento europeo, il Consiglio, il Comitato per la ricerca scientifica e tecnica (CREST) e i comitati di programma del PQ. Poiché tale esercizio doveva obbligatoriamente essere svolto prima che la Commissione presentasse la sua proposta in ordine a un nuovo programma quadro (in questo caso il 7o), la sua accettabilità globale è stata confermata dall'adozione del 7o PQ.

Ciò non significa che non sia possibile procedere a miglioramenti, e la Commissione riconosce pienamente la necessità di apportare modifiche attentamente ponderate, fondate su elementi dell'attuale approccio che hanno già dato prova di efficacia.

| 114. | La Commissione apprezza che la Corte riconosca l'importanza della valutazione e del monitoraggio e, sulla base dei progressi significativi già realizzati, intende continuare a modernizzare ulteriormente le sue attuali pratiche alla luce delle nuove realtà politiche e pratiche. |
| --- | --- |

114.

La Commissione apprezza che la Corte riconosca l'importanza della valutazione e del monitoraggio e, sulla base dei progressi significativi già realizzati, intende continuare a modernizzare ulteriormente le sue attuali pratiche alla luce delle nuove realtà politiche e pratiche.

| 115. | La Commissione si è già impegnata a garantire una maggior chiarezza nella logica d'intervento dei programmi, costruendo sui progressi derivanti dalla normativa del 7o PQ e dalla valutazione di impatto, e terrà conto delle raccomandazioni della Corte per future proposte legislative. |
| --- | --- |

115.

La Commissione si è già impegnata a garantire una maggior chiarezza nella logica d'intervento dei programmi, costruendo sui progressi derivanti dalla normativa del 7o PQ e dalla valutazione di impatto, e terrà conto delle raccomandazioni della Corte per future proposte legislative.

| 116. | Sulla base dei sensibili miglioramenti già apportati alla valutazione del PQ, la Commissione conviene che esiste ancora un margine di miglioramento, in particolare mediante un più intenso coordinamento a livello operativo tra i servizi interessati. La Commissione continuerà ad adoperarsi per sostenere gli sviluppi della metodologia di valutazione. |
| --- | --- |

116.

Sulla base dei sensibili miglioramenti già apportati alla valutazione del PQ, la Commissione conviene che esiste ancora un margine di miglioramento, in particolare mediante un più intenso coordinamento a livello operativo tra i servizi interessati. La Commissione continuerà ad adoperarsi per sostenere gli sviluppi della metodologia di valutazione.

| 117. | Per quanto concerne le disposizioni di carattere organizzativo, la Commissione ritiene che:






  — | (primo trattino) i gruppi di esperti dovrebbero essere convocati con il maggior anticipo possibile perché forniscano assistenza nell'ambito di una valutazione specifica. Tuttavia, ritiene che l'istituzione di gruppi di esperti per settori specifici garantirebbe risultati migliori in termini di chiarezza e pertinenza, |
| --- | --- | --- |

117.

Per quanto concerne le disposizioni di carattere organizzativo, la Commissione ritiene che:

—

(primo trattino) i gruppi di esperti dovrebbero essere convocati con il maggior anticipo possibile perché forniscano assistenza nell'ambito di una valutazione specifica. Tuttavia, ritiene che l'istituzione di gruppi di esperti per settori specifici garantirebbe risultati migliori in termini di chiarezza e pertinenza,

| — | (secondo trattino) il coordinamento tra le DG che attuano i PQ deve essere potenziato. Oltre che mediante la nuova strategia di valutazione del 7o PQ, questo obiettivo sarà conseguito usando strutture di coordinamento specifiche destinate a completare la «rete interna di valutazione RST», piuttosto che istituendo un ufficio comune di valutazione. |
| --- | --- |

—

(secondo trattino) il coordinamento tra le DG che attuano i PQ deve essere potenziato. Oltre che mediante la nuova strategia di valutazione del 7o PQ, questo obiettivo sarà conseguito usando strutture di coordinamento specifiche destinate a completare la «rete interna di valutazione RST», piuttosto che istituendo un ufficio comune di valutazione.

---

(1)  Comunicazione della Commissione al Consiglio europeo di primavera — Attuazione della strategia di Lisbona rinnovata per la crescita e l'occupazione (Com(2006)816).

(2)  Ad esempio, la proposta della Commissione relativa al 7o PQ è stata messa a punto sulla base di una dettagliata valutazione di impatto ex-ante, che prevedeva l'analisi mediante modelli econometrici dei potenziali impatti delle attività di ricerca in merito a temi quali crescita economica e creazione di posti di lavoro (vedasi Commissione europea, Documento di lavoro dei servizi della Commissione, «Valutazione d'impatto e valutazione ex-ante delle proposte in ordine alla decisione del Consiglio e del Parlamento europeo relativa al 7o programma quadro (CE e Euratom)», SEC(2005)430). Le decisioni relative al 7o PQ costituiscono una struttura chiara che ricollega obiettivi, principi e attività. Inoltre, le decisioni sui programmi specifici del 7o PQ definiscono obiettivi, impostazione e attività.

(3)  Vedasi su http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Commissione europea, DG Bilancio, «Valutare le attività dell'UE: guida pratica per i servizi della Commissione», luglio 2004, sito Web: http://ec.europa.eu/budget/publications/other_it.htm.

(5)  E. Arnold, «What the Evaluation Record tells us about the Framework Programme Performance», 2004.

(6)  DG Ricerca, «Structuring Effects of Community Research — The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation», 2007. DG Società dell'informazione e mezzi di comunicazione Media «Effectiveness of IST-RTD Impacts on the EU Innovation System», 2007.

(7)  Vedasi C. Manda, «Evaluating Evaluations or The Case for Action Research», Austrian Platform Newsletter, n. 30, giugno 2007.

(8)  Vedasi, ad esempio, Commissione europea, Centro comune di ricerca, «Valutazione dell'impatto socioeconomico delle politiche RST» (EPUB), 2002, e University of Manchester, «Assessing the Socio-economic Impacts of the Framework Programme» (ASIF), 2002, entrambi sul seguente sito Web: http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Tali relazioni sono state ampiamente divulgate e messe a disposizione dei contraenti e degli esperti incaricati di effettuare gli studi di valutazione a nome della Commissione.

---