IT Gazzetta ufficiale dell’Unione europea C 26/1

RELAZIONE SPECIALE N. 9/2007

sulla «valutazione dei programmi quadro comunitari in materia di ricerca e sviluppo tecnologico (RST) — L’approccio della Commissione potrebbe essere migliorato? »corredata delle risposte della Commissione

(a norma dell'articolo 248, paragrafo 4, secondo comma, trattato CE)

(2008/C 26/01)

INDICE

I-V SINTESI

1-14 INTRODUZIONE

1-7 Il ruolo dell’Unione europea nel sostenere le attività di RST

8-14 Valutazione e monitoraggio dei programmi quadro

15-18 ESTENSIONE E APPROCCIO DELL'AUDIT

19-109 OSSERVAZIONI DI AUDIT

19-37 La logica d’intervento, la fissazione degli obiettivi e gli indicatori di performance

38-49 La strategia di valutazione

50-68 L’organizzazione della valutazione dei programmi quadro

69-97 Metodologie e tecniche di valutazione

98-109 Diffusione e utilizzazione delle risultanze della valutazione

110-118 CONCLUSIONE GENERALE

Allegato I: Misurazione dell’impatto e dei risultati dell’intervento pubblico nell’RST

Allegato II: Disposizioni relative al monitoraggio e alla valutazione nelle decisioni legislative concernenti i PQ dal 4o al 7o

Allegato III: Principali differenze di valutazione ex post dei programmi di ricerca tra UE (4o PQ-6o PQ), Stati Uniti e Canada

Allegato IV: Struttura possibile del gruppo di esperti responsabile del 7o PQ

Risposte della Commissione

SINTESI

I. I programmi quadro (PQ) comunitari di RST costituiscono la principale fonte di finanziamento pubblico della ricerca nell’Unione europea. La Commissione è responsabile della gestione dei PQ e della valutazione dei loro risultati.

II. L’audit ha riguardato le disposizioni relative alle attività di monitoraggio e valutazione in vigore dal 1995 per gli ultimi tre periodi di programmazione (4o, 5o e 6o PQ) e anche, brevemente, le disposizioni adottate per il 7o PQ (2007-2013). L’audit è stato espletato con l’organo contabile dell’EFTA e con l’assistenza di esperti esterni.

III. L'audit si proponeva di determinare se l’approccio della Commissione alla valutazione dei risultati dei PQ fosse adeguato. In tale contesto, la Corte ha verificato se la Commissione rispettasse le disposizioni normative relative alla valutazione e se il sistema di valutazione e di monitoraggio rispondesse alle aspettative delle parti interessate. La Corte ha esaminato in particolare se: i) esistesse una logica di intervento alla base dei PQ e dei loro programmi costitutivi, che potesse formare una solida base per la valutazione e il monitoraggio; ii) la Commissione avesse definito una strategia di valutazione per i PQ; iii) la struttura organizzativa del sistema di valutazione dei PQ posto in essere dalla Commissione assicurasse che la valutazione fosse coordinata in modo appropriato, fosse dotata di un adeguato livello di risorse e fosse giudicata sufficientemente indipendente dalle parti interessate; iv) le metodologie applicate per la valutazione fossero soddisfacenti e v) le attività di valutazione e di monitoraggio fornissero informazioni e analisi utilizzabili per migliorare i programmi in corso ed elaborare i PQ futuri.

IV. La Corte formula le seguenti constatazioni e conclusioni: i) l’assenza di una logica d’intervento esplicita, combinata con obiettivi dei programmi definiti in maniera insoddisfacente e una misurazione delle performance carente, hanno compromesso l’efficacia della valutazione e del monitoraggio; ii) la mancanza di una strategia di valutazione globale, concordata dalle «direzioni generali della ricerca» responsabili dell’attuazione dei PQ, ha fatto sì che i diversi servizi della Commissione adottassero approcci incoerenti. Ciò è illustrato in particolare da una insufficiente attività di valutazione per parti significative dei PQ; iii) la valutazione dei PQ è decentrata, gli attuali meccanismi di coordinamento tra le direzioni generali responsabili dell’attuazione dei PQ non sono efficaci e i servizi centrali della Commissione non svolgono alcun ruolo esecutivo al riguardo. In termini generali, tuttavia, le «direzioni generali della ricerca» hanno rispettato le disposizioni formali della Commissione per quanto riguarda la valutazione. Il ricorso a gruppi di esperti esterni di alto livello, nominati dalla Commissione per le valutazioni importanti, si adattava bene al contesto comunitario. Tuttavia, tali gruppi temporanei non sono stati implicati nel processo in una fase sufficientemente precoce da influenzare la raccolta degli elementi probatori e non hanno avuto molte possibilità di seguire nel tempo le questioni pertinenti. Utilizzando un solo gruppo di esperti per l'intero PQ (oltre a un gruppo per un programma specifico), non è stata prestata sufficiente attenzione a questioni specifiche connesse con i diversi settori scientifici interessati dai PQ; iv) gli orientamenti metodologici forniti non erano adeguati, i valutatori hanno incontrato difficoltà nel raccogliere i dati pertinenti e non sono stati svolti studi di valutazione che trattassero gli effetti e gli impatti dei PQ a più lungo termine, piuttosto che questioni a breve termine relative all’attuazione dei programmi e v) a causa delle carenze sopra elencate, e dato che spesso le valutazioni sono state effettuate troppo presto per affrontare le problematiche più importanti, il sistema di valutazione dei PQ posto in essere dalla Commissione si è rivelato scarsamente utile per i responsabili della politica, per le parti interessate e persino per la stessa Commissione. Infine, si hanno ben poche informazioni sul conseguimento degli obiettivi dei programmi e sui risultati dei PQ.

V. La Corte raccomanda quanto segue: i) la logica d’intervento dovrebbe essere resa più esplicita nella normativa futura. I presupposti su cui si basa dovrebbero essere spiegati, il legame tra gli obiettivi scientifici e quelli socioeconomici dovrebbe essere chiarito e degli indicatori di performance adeguati dovrebbero essere sviluppati; ii) le direzioni generali responsabili dell'attuazione dei PQ dovrebbero sviluppare (e concordare) una strategia di valutazione globale. Tale strategia dovrebbe comportare, in particolare, un approccio coerente per quanto riguarda il livello minimo in cui effettuare una valutazione dettagliata, così da tenere conto delle specificità di ogni campo scientifico; iii) si dovrebbe considerare la creazione di un ufficio comune di valutazione, al fine di coordinare le attività di valutazione delle «direzioni generali della ricerca» per il PQ nel suo complesso e di creare un sistema di gruppi (e sottogruppi) composti da esperti esterni. Tali gruppi dovrebbero essere costituiti con un anticipo sufficiente perché assistano efficacemente la Commissione, e continuino a farlo durante tutta la durata del periodo di programmazione e successivamente; iv) i requisiti relativi ai dati necessari per la valutazione e il monitoraggio dovrebbero essere analizzati in modo approfondito e dovrebbe essere esteso maggiormente l’utilizzo di altre fonti esistenti di dati. Inoltre, la Commissione dovrebbe razionalizzare le disposizioni in materia di comunicazione di informazioni da parte dei partecipanti. Infine, dovrebbe elaborare un manuale di valutazione completo per i PQ e sviluppare una più vasta gamma di metodologie e tecniche da utilizzare nel quadro delle valutazioni in tale settore e v) la Commissione dovrebbe stabilire il tipo e la portata della valutazione che si può ragionevolmente richiedere per le date indicate nella normativa che disciplina il 7o PQ; inoltre, dovrebbe chiarire come le valutazioni possano essere utilizzate per adeguare i programmi («learning programmes») e quale contributo possano apportare alle decisioni politiche.

INTRODUZIONE

Il ruolo dell’Unione europea nel sostenere le attività di RST

1. La ricerca e lo sviluppo tecnologico (RST) (1) sono il principale elemento motore dell’innovazione e del progresso scientifico e tecnologico e, in quanto tali, contribuiscono in modo importante a migliorare il tenore di vita. L’intervento pubblico nella RST è generalmente giustificato come una misura correttiva dei cosiddetti «fallimenti del mercato»: il sostegno pubblico riduce le incertezze e fornisce investimenti laddove la ricerca sia un bene pubblico o siano presenti esternalità significative.

2. L’articolo 163 del trattato CE sancisce il ruolo di sostegno della Comunità alla RST, disponendo che «la Comunità si propone l’obiettivo di rafforzare le basi scientifiche e tecnologiche dell’industria della Comunità, di favorire lo sviluppo della sua competitività internazionale e di promuovere le azioni di ricerca necessarie …» Gli articoli 164-173 definiscono le attività da svolgere in tale contesto, nonché la portata e l’attuazione dei programmi quadro (PQ) pluriennali di RST. Spetta alla Commissione presentare proposte per i PQ, mentre le decisioni a tale riguardo e le norme relative alla partecipazione e alla divulgazione dei risultati della ricerca sono adottate in codecisione dal Parlamento europeo e dal Consiglio. Quest’ultimo adotta, da solo, i programmi specifici. I PQ sono attuati congiuntamente da sei direzioni generali (DG), le cosiddette «direzioni generali della ricerca» (2).

3. Nell’ampia gamma di politiche attuate nell’Unione europea per rafforzare l’innovazione e la competitività, i PQ sono lo strumento finanziario più importante che contribuisce alla strategia di Lisbona (3) ed all’obiettivo di Barcellona (4) a livello comunitario.

4. Attraverso i PQ, la Comunità concede fondi a ricercatori dell’Unione europea, dei paesi associati e di organizzazioni internazionali. Il bilancio di tali programmi è aumentato in modo significativo nel corso degli anni fino a raggiungere 7 217 milioni di euro all’anno con il 7o PQ, rispetto a 2 761 milioni di euro nel quadro del 4o PQ (cfr. grafico 1). In termini di stanziamenti di bilancio, i PQ rappresentano il maggiore settore a gestione centralizzata e diretta all’interno della Commissione (5).

5. I PQ differiscono da molti programmi nazionali in quanto interessano sia la ricerca di base che la ricerca applicata e prevedono la partecipazione dell’industria e di enti pubblici di ricerca (6). Comprendono programmi (e sottoprogrammi) specifici relativi a campi scientifici generali. Tali programmi comprendono generalmente una serie di azioni che si concentrano su aree scientifiche più specifiche. Tali azioni formano oggetto di inviti a presentare proposte finalizzate all’attuazione di progetti (chiamati «azioni indirette»). In tal modo sono finanziati, per ciascun settore, centinaia di singoli progetti.

6. La quota globale dei PQ nel totale dei finanziamenti pubblici di RST nell’Unione europea e negli Stati membri si colloca tra il 4 % e il 5 %. Nondimeno, il loro impatto sul tipo di attività di ricerca svolto in Europa è notevolmente superiore, poiché le sovvenzioni comunitarie rappresentano in genere solo una parte dei finanziamenti totali destinati a un progetto. Inoltre, quando richiedono un finanziamento, i ricercatori devono dimostrare che i loro progetti rispondono agli obiettivi indicati negli inviti a presentare proposte. In tal modo, i PQ incentivano ad orientare le attività di RST verso obiettivi comunitari specifici.

7. Negli ultimi anni sono state introdotte modifiche sostanziali nei PQ a causa di: — nuove sfide politiche (la strategia di Lisbona e gli obiettivi di Barcellona, la creazione di un'area di ricerca europea (ARE) e il ricorso crescente al metodo del coordinamento aperto (7) nelle politiche di ricerca e di innovazione); — l’evoluzione dell’orientamento dei PQ, da semplice soluzione di problemi tecnici nell’ambito del 4o PQ a strumento per affrontare problemi sociali specifici nel quadro del 5o PQ, ad incentivo alla cooperazione tra organizzazioni di ricerca nell’ambito dell’ARE e contributo allo sviluppo di un'economia e una società basata sulla conoscenza nell’ambito del 6o e del 7o PQ; — l’allungamento dei periodi di programmazione (in precedenza 4 anni, attualmente 7 anni per il 7o PQ, in linea con le prospettive finanziarie 2007-2013); — un numero maggiore di Stati membri e paesi partecipanti; — un aumento dei finanziamenti, in particolare nell’ambito delle attuali prospettive finanziarie; — l’istituzione del Consiglio europeo della ricerca (CER) e la delega delle attività di gestione del programma alle agenzie esecutive a partire dal 7o PQ e — l’utilizzo crescente di strumenti di finanziamento su larga scala (ad esempio, reti di eccellenza, progetti integrati, progetti da eseguirsi nell'ambito dell'articolo 169, iniziative tecnologiche congiunte).

Valutazione e monitoraggio dei programmi quadro

8. La Commissione è responsabile dell'attuazione dei programmi e della valutazione dei loro risultati (8). Presso la Commissione, la valutazione è decentrata e affidata alle direzioni generali, mentre i servizi centrali (in particolare la DG Bilancio e il Segretariato generale) assicurano il sostegno ed il coordinamento.

9. La presente relazione utilizza le definizioni formulate dalla Commissione, secondo cui la «valutazione» è il giudizio sulle azioni intraprese in base ai loro risultati, agli impatti e ai bisogni che mirano a soddisfare (9), mentre il «monitoraggio» è la comunicazione di informazioni sull'attuazione dei programmi e dei progetti in corso per rispondere alle esigenze di gestione (10). Questa stessa distinzione tra le due attività è ripresa nella normativa che attualmente disciplina il 7o PQ.

10. Nella presente relazione è stata utilizzata la seguente terminologia per descrivere i risultati delle attività di RST: — le «realizzazioni» sono conoscenze, beni e servizi direttamente prodotti a seguito dell'intervento pubblico (pubblicazioni, documenti di conferenze, brevetti, licenze, prototipi, norme, scienziati qualificati, ecc.); — gli «effetti» sono i risultati ritardati prodotti dall'utilizzo delle realizzazioni da parte degli utenti e — gli «impatti» sono i cambiamenti politici e socioeconomici a lungo termine indotti dall’intervento pubblico. Riquadro 1Esempio del «Sistema globale per la comunicazione mobile» (GSM, Global System for Mobile communications)In questo caso, le «realizzazioni» ottenute grazie al finanziamento comunitario sono i risultati immediati del progetto, come lo sviluppo della norma GSM. L'«effetto» è la sua accettazione come norma della telefonia cellulare digitale in Europa e nel resto del mondo, che ha fornito un notevole contributo allo sviluppo dell’industria delle telecomunicazioni. Infine, gli «impatti» sono le conseguenze economiche, sociali e politiche dell’utilizzo a livello internazionale di tale tecnologia. Tra questi, sono compresi il contributo alla creazione di posti di lavoro nelle telecomunicazioni e settori collegati e l’accresciuta importanza di questo settore industriale per l’economia europea. Infine, il sistema GSM ha offerto anche un nuovo modo di comunicare alle persone.

11. La valutazione di tali risultati, tuttavia, presenta una serie di difficoltà metodologiche (cfr. allegato I). I cambiamenti socioeconomici sono complessi e, più in particolare, spesso è difficile stabilire il nesso tra un’attività di ricerca e gli effetti e gli impatti osservati. Tuttavia, tali difficoltà metodologiche, pur rappresentando una sfida notevole, non impediscono necessariamente una valutazione efficace.

12. La Commissione dispone dagli anni 1980 di un sistema di monitoraggio e valutazione dei PQ (11). A partire dal 4o PQ, a metà degli anni 1990, il sistema di monitoraggio e valutazione ha compreso una serie di attività parzialmente correlate, tra cui: — un monitoraggio annuale (incentrato soprattutto sull’attuazione dei programmi) e — valutazioni quinquennali delle attività relative ai PQ (e, a partire dal 6o PQ, valutazioni supplementari focalizzate su temi specifici). Entrambe le attività dovevano essere realizzate con l’assistenza di esperti esterni (cfr. grafico 2 e allegato II). Grafico 2 Requisiti fondamentali del monitoraggio e della valutazione — PQ dal 4o al 7o 4o PQ (1995-1998) 5o PQ (1999-2002) 6o PQ (2003-2006) 7o PQ (2007-2013) due valutazioni (intermedia e finale), in ciascun caso per i 20 sottoprogrammi più il PQ; la valutazione finale si sovrappone alla valutazione intermedia del 5o PQ due valutazioni simultanee (intermedie), per ognuno dei 7 programmi specifici più il PQ una valutazione per il PQ ed i suoi 3 programmi specifici (intermedia), ma non specificamente per i 20 sottoprogrammi, integrata da una valutazione specifica e da relazioni regolari sullo stato di avanzamento (di monitoraggio) presentate regolarmente almeno cinque valutazioni (ex ante, intermedie e finali), comprese relazioni specifiche sullo stato di avanzamento prima della valutazione intermedia 1. Ex ante: no 1. Ex ante: no 1. Ex ante: no 1. Ex ante: incorporata nella valutazione dell’impatto della proposta della Commissione concernente il 7o PQ (2005) 2. Intermedia: — valutazione quinquennale: a metà percorso del PQ, prima del PQ successivo (1997) 2. Intermedia: — valutazione quinquennale: prima della presentazione di proposte concernenti il PQ successivo (2000) — valutazione dei progressi a metà percorso del PQ (2001) 2. Intermedia: — valutazione dell’efficacia degli strumenti (2004) — valutazione quinquennale, prima della presentazione di proposte concernenti il PQ successivo (2004) — relazioni regolari sullo stato di avanzamento (di monitoraggio) 2. Intermedia: — ex post, 2 anni dopo la fine del PQ precedente (2008) — relazione sullo stato di avanzamento prima della valutazione intermedia (prima del 2010) — valutazione intermedia (2010) 3. Finale: — dopo il completamento del PQ (1999) 3. Finale: no 3. Finale: no [modificato dalla decisione concernente il 7o PQ] 3. Finale: due anni dopo il completamento del PQ (2015), corroborata da studi specifici, dalla valutazione intermedia e da altre attività di valutazione condotte durante il periodo del PQ Fonte: cfr. Allegato II.

13. A tutt'oggi, sono state condotte tre valutazioni quinquennali (12), che hanno dato luogo alle relazioni «Davignon», «Majó» e «Ormala» (rispettivamente nel 1997, 2000 e 2004). Inoltre, la direzione generale Società dell’informazione ha effettuato valutazioni mirate del suo programma specifico. Va sottolineato che le valutazioni quinquennali sono state abbandonate nell'ambito del 7o PQ, abolendo così l'obbligo che le valutazioni principali dovessero concentrarsi sui cinque anni precedenti e, di conseguenza, coprire parti di due periodi di programmazione successivi. Nel 2004, è stata pubblicata anche la relazione «Marimón» (13), una valutazione specifica dell’efficacia dei nuovi strumenti introdotti nel quadro del 6o PQ.

14. Il quadro per le attività di valutazione posto in essere dalla Commissione è stato rivisto nel 2000 e nel 2002 (14). Tali comunicazioni sono state aggiornate nel 2007 tenendo conto delle conseguenze della riforma amministrativa della Commissione e del nuovo regolamento finanziario (15). Tali documenti descrivono il ruolo e la funzione di valutazione nel quadro del ciclo completo di pianificazione, programmazione e comunicazione della Commissione; inoltre, stabiliscono un insieme di 21 norme di valutazione e 18 modelli di buone pratiche. Tali documenti esaminano anche l’utilizzo della valutazione nella preparazione e nella semplificazione della normativa comunitaria.

ESTENSIONE E APPROCCIO DELL'AUDIT

15. L'obiettivo principale dell’audit era di stabilire se la Commissione disponesse di un approccio adeguato per la valutazione dei risultati dei programmi quadro in materia di RST.

16. A tal fine la Corte ha verificato in quale misura: — i PQ e i programmi che li compongono si basino su una logica di intervento esplicita, che permetta di misurare e valutare realizzazioni, effetti e impatti e che fornisca una solida base per la valutazione e il monitoraggio; — sia stata definita una strategia di valutazione per i PQ al fine di promuovere una valutazione efficace e coerente; — la struttura organizzativa del sistema di valutazione assicuri che questo sia coordinato in modo appropriato in tutto il PQ, sia dotato di un adeguato livello di risorse e sia giudicato sufficientemente indipendente dalle parti interessate; — le metodologie utilizzate per la valutazione garantiscano che le questioni pertinenti vengono affrontate in modo appropriato, cosicché la valutazione sia considerata credibile e — le attività di valutazione e monitoraggio forniscano informazioni ed analisi suscettibili di essere utilizzate per migliorare i programmi in corso («learning programmes», programmi che «imparano» dalle valutazioni) e preparare i futuri PQ.

17. La presente relazione concerne le modalità applicabili al 4o PQ (1995-1998), 5o PQ (1999-2002) e 6o PQ (2003-2006). Esamina anche le disposizioni normative in vigore nel quadro del 7o PQ (2007-2013), ma non fornisce una valutazione del documento «Impact assessment and ex-ante evaluation» della Commissione relativo relativo al 7o PQ (16). Si concentra sul monitoraggio e sulla valutazione ex post dei programmi, e non sulla valutazione ex ante di proposte di progetto o sulla valutazione ex post dei progetti stessi.

18. L’audit è stato espletato con la partecipazione dell’organo contabile dell’EFTA e con l’assistenza di esperti esterni. Gli elementi probatori di audit sono stati raccolti attraverso: — lavori di audit presso la Commissione (esame documentale e colloqui con il personale), compresi l’identificazione di norme giuridiche e statutarie, un esame degli obiettivi e dei criteri di performance, l’analisi di oltre 80 relazioni di monitoraggio e valutazione, nonché un’analisi dell’organizzazione delle attività di valutazione all’interno della Commissione; — colloqui con più di 90 esperti identificati come parti interessate negli Stati membri e nei paesi associati (Repubblica ceca, Germania, Estonia, Spagna, Francia, Italia, Lussemburgo, Paesi Bassi, Austria, Finlandia, Svezia, Regno Unito e Norvegia); — indagini realizzate tra le parti interessate a livello istituzionale presso la commissione ITRE del Parlamento europeo (17) e il comitato CREST del Consiglio (18); — la consultazione negli Stati Uniti e in Canada di più di 65 esperti nel campo della valutazione della ricerca, in qualità di gruppo di confronto internazionale; — un esame della letteratura accademica sulle tendenze attuali in materia di valutazione della ricerca e — la discussione delle constatazioni, delle conclusioni e delle raccomandazioni di audit con esperti europei e nordamericani in valutazione della ricerca nel corso di una serie di riunioni di un gruppo di riflessione con moderatore nel febbraio 2007.

OSSERVAZIONI DI AUDIT

La logica d’intervento, la fissazione degli obiettivi e gli indicatori di performance

19. Una valutazione e un monitoraggio efficaci esigono obiettivi chiari e indicatori di performance pertinenti a livello di politica, programma e progetto sulla cui base sia possibile valutare i risultati di un intervento pubblico. Le buone pratiche in altri settori del bilancio comunitario e all’esterno dell’Unione suggeriscono che tali obiettivi e indicatori dovrebbero essere definiti nel quadro di una logica d’intervento.

20. La logica d’intervento può essere definita come un insieme di rapporti ipotetici di causa ed effetto che descrivono come un intervento dovrebbe conseguire i suoi obiettivi generali (19). Conformemente agli orientamenti definiti dalla Commissione riguardo alla valutazione, la logica d’intervento fornisce il legame concettuale tra le risorse impiegate per un intervento e le realizzazioni prodotte e, successivamente, l'impatto sulla società in termini di risultati e di effetti (20). La presente relazione utilizza tale definizione.

21. La Corte ha verificato in quale misura sia stata stabilita una logica d’intervento per i PQ e per i loro programmi costitutivi, fornendo così una solida base per la valutazione e il monitoraggio.

La logica d’intervento per i PQ non è esplicita

22. La definizione di una logica d’intervento dovrebbe costituire un elemento chiave fin dall'inizio della concezione di un programma. L’articolo 163 del trattato, sancendo l'esigenza di rafforzare le basi scientifiche e tecnologiche e di favorire lo sviluppo della competitività, dovrebbe costituire il punto di partenza di tale logica d’intervento per i PQ (cfr. paragrafo 2). Quest’ultima dovrebbe essere resa più specifica ed essere adattata ai diversi settori scientifici interessati dai PQ ed ai vari strumenti utilizzati.

23. Manca invece, a tutti i livelli, un modello logico esplicito che spieghi in che modo i PQ e i loro programmi costitutivi contribuiscono al progresso scientifico e tecnologico, nonché alle innovazioni.

24. L’assenza di una logica d’intervento per i PQ è stata sottolineata anche dal gruppo responsabile della valutazione quinquennale condotta nel 2004, secondo il quale si chiede, a gruppi simili al loro, di colmare il divario tra, da un lato, gli elementi probatori raccolti soprattutto a livello del progetto e, dall'altro, gli obiettivi socioeconomici più generali stabiliti dalla politica in materia di ricerca. Attualmente, tuttavia, è difficile stabilire tale legame a causa delle modalità di programmazione dei PQ. Manca una logica esplicita che colleghi gli obiettivi più generali alle finalità specifiche in termini di ricerca e conoscenze (21).

25. Un approccio diverso è stato adottato in alcuni Stati membri (come Paesi Bassi e Finlandia) e negli Stati Uniti (cfr. grafico 3), dove la definizione di una logica d’intervento è più comune, e in Canada, dove è obbligatoria per tutti i programmi (cfr. allegato III). L’utilizzo di una logica d'intervento nella concezione conduce a programmi più mirati e meglio strutturati. La Commissione sta introducendo tale logica in altre politiche comunitarie (ad esempio, gli aiuti esterni) (22). Grafico 3 Definizione di una gerarchia di obiettivi sulla base di modelli logici — L’esempio della ricerca agricola negli Stati Uniti Politica Programma Progetto Obiettivo della politica : contribuire al miglioramento delle condizioni di vita delle famiglie di agricoltori Finalità : incrementare la produzione agricola, la produttività e i redditi delle famiglie di agricoltori Obiettivo del programma : contribuire a incrementare la produzione agricola, la produttività e i redditi delle famiglie di agricoltori Risultato atteso : un maggiore utilizzo di migliori tecnologie agricole da parte degli agricoltori beneficiari Finalità : un maggiore utilizzo di migliori tecnologie agricole da parte degli agricoltori beneficiari (ad esempio, riso) Obiettivo del progetto : contribuire a un maggiore utilizzo delle tecnologie migliori raccomandate Risultato atteso : formulazione/diffusione di raccomandazioni destinate agli agricoltori beneficiari Finalità : formulare raccomandazioni su tecnologie migliori e adatte agli agricoltori beneficiari Risultati attesi (esempi): 1. tecnologie identificate sulla base delle priorità degli agricoltori 2. tecnologie sviluppate ed adatatte 3. tecnologie verificate presso gli agricoltori Fonte: US National Agricultural Research Council.

26. La mancata codifica del fondamento logico dell'intervento pubblico e dei nessi di causalità ipotizzati (che servono da base per pianificare in modo dettagliato, eseguire e valutare il programma) compromette l’efficacia della valutazione e del monitoraggio dei PQ. Tale carenza è dovuta in particolare al modo in cui gli obiettivi dei programmi e gli indicatori di performance vengono definiti.

Senza un modello logico esplicito è più difficile fissare obiettivi del programma coerenti

27. Se la logica alla base dell'intervento pubblico non è resa esplicita, è più difficile fissare e strutturare in modo coerente gli obiettivi dei programmi. Tale carenza è dimostrata dal fatto che: — non vi è un nesso chiaro tra gli obiettivi dei programmi nell'ambito dei PQ e gli obiettivi della politica, come l’obiettivo generale di cui all’articolo 163 del trattato e gli obiettivi fissati nella strategia di Lisbona e nella dichiarazione di Barcellona (cfr. paragrafi 2 e 7); — la correlazione tra gli obiettivi dei programmi individuali, sia ai diversi livelli normativi (come le decisioni concernenti i PQ, le decisioni relative a un programma specifico e le norme in materia di partecipazione e divulgazione), sia tra gli atti di base ed i programmi di lavoro della Commissione, non è sempre evidente.

28. La Commissione ha tentato di fissare obiettivi operativi nei programmi di lavoro, sulla base degli obiettivi dei programmi definiti nella normativa relativa ai PQ. Quasi sempre, tuttavia, tali iniziative non sono riuscite a chiarire la logica su cui si basano i programmi e gli obiettivi definiti nei programmi di lavoro non erano specifici, misurabili, attuabili, pertinenti e soggetti a un limite temporale (SMART, specific, measurable, achievable, relevant and timed). Nel 2003, tali obiettivi sono divenuti obbligatori ai sensi del regolamento finanziario (23).

29. Non è chiaro in quale misura gli obiettivi della politica possano essere rintracciati nei programmi specifici, nei programmi di lavoro e negli inviti a presentare proposte, fino ai progetti individuali cofinanziati dalla Comunità. Se tali legami non saranno chiariti, non si potrà valutare il contributo dei PQ e dei loro programmi costitutivi al conseguimento di tali obiettivi della politica. Dall'audit è emerso che le valutazioni della Commissione forniscono elementi probatori scarsi o non convincenti per quanto riguarda il conseguimento degli obiettivi a più lungo termine, sia a livello di progetto che di programma (cfr. paragrafo 82).

L’assenza di una logica d’intervento esplicita e di obiettivi chiari rende più difficile lo sviluppo di indicatori di performance

30. L’assenza di un modello logico esplicito e di obiettivi di programma chiaramente definiti ha impedito, inoltre, lo sviluppo di indicatori di performance che consentano di monitorare il raggiungimento degli obiettivi dei programmi in termini di realizzazioni, esiti e impatti, tanto che, a tutt'oggi, tali indicatori di «efficacia» non sono stati affatto definiti per i PQ (cfr. paragrafo 73).

31. In tale contesto, anche l’esame di progetti in corso finanziati da tali programmi e la valutazione ex post di quelli completati sono più difficili e ciò rende più complicata l'aggregazione delle valutazioni dal livello dei progetti a quello dei programmi (cfr. allegato I e paragrafo 84).

Il sistema BPA/GPA, quale usato attualmente, non è uno strumento appropriato per misurare la performance dei PQ

32. Alcuni indicatori relativi all’efficienza dell’attuazione dei programmi (ad esempio, tempi per la firma dei contratti e tempi per il pagamento) sono presenti nelle relazioni annuali di monitoraggio della Commissione e nel sistema di gestione per attività (GPA) della Commissione.

33. Finora, però, le «direzioni generali della ricerca», anche quando attuano lo stesso programma (o sottoprogramma) specifico, non applicano una nomenclatura standardizzata o confrontabile per il bilancio per attività (BPA), né i relativi indicatori. Pertanto, tali indicatori non possono essere utilizzati per raffrontare la performance tra programmi e al loro interno. Riquadro 2Il sistema BPA/GPA, quale usato attualmente dalle «direzioni generali della ricerca».Nel sistema BPA/GPA, i PQ rientrano in due politiche diverse, nel cui ambito le attività dei PQ sono presentate secondo una diversa nomenclatura, specifica per ciascuna direzione generale (24). Ciò avviene anche per programmi e sottoprogrammi specifici attuati da più di una direzione generale. Gli obiettivi della GPA sono stati definiti secondo diversi principi di base (25) e, come indicato dal servizio di audit interno della Commissione (26), sono stati formulati per lo più in termini generali, descrivendo aspirazioni o attività. Di norma, gli indicatori erano incentrati sulle risorse impiegate (ad esempio, il numero di riunioni, ecc.). Alcuni indicatori riguardavano l’efficienza del processo (ad esempio, i tempi per la firma dei contratti e i tempi per il pagamento), ma non potevano essere raffrontati tra programmi e tra una direzione generale responsabile e l’altra a causa delle differenze nella nomenclatura del BPA, nelle procedure specifiche a ciascuna direzione generale (quali l’inizio e la fine di procedure amministrative specifiche) e nella popolazione considerata (ad esempio, il tipo di convenzione di sovvenzione e il tipo di pagamento).

Raccomandazioni

34. Nelle future proposte legislative presentate al Consiglio e al Parlamento europeo, la Commissione dovrebbe indicare una logica d'intervento esplicita per il PQ nel suo complesso e per le parti costitutive. 35. Per quanto riguarda il 7o PQ, la Commissione dovrebbe: — descrivere in modo chiaro gli obiettivi del PQ e dei programmi (e sottoprogrammi) specifici costitutivi e come dovrebbero essere raggiunti; — chiarire il legame tra gli obiettivi scientifici e socioeconomici di ciascun programma (e sottoprogramma) specifico e — definire obiettivi operativi pertinenti. 36. Per il sistema di monitoraggio del 7o PQ, la Commissione dovrebbe porre in essere una serie limitata, ma equilibrata, di indicatori di performance per misurare l’efficienza e l’efficacia dell’attuazione dei programmi, per ogni programma (e sottoprogramma) specifico. 37. Le «direzioni generali della ricerca» dovrebbero armonizzare la rispettiva nomenclatura BPA/GPA, affinché gli indicatori di performance possano essere raffrontati nel tempo e, ove possibile, tra programmi (e sottoprogrammi) specifici.

La strategia di valutazione

38. Una strategia di valutazione fornisce il quadro concettuale nel quale elaborare, programmare, eseguire ed usare le attività di valutazione. Le buone pratiche in altri settori del bilancio comunitario e all’esterno dell’UE suggeriscono che tale strategia dovrebbe tenere conto delle principali questioni giuridiche, organizzative e metodologiche relative alla valutazione dei programmi, tra cui il tipo di valutazione da effettuare, i responsabili e il calendario, le modalità di raccolta dei dati, gli approcci metodologici da impiegare e il modo per comunicare e monitorare il seguito dato alle constatazioni.

39. Introdurre tale strategia e garantirne l'applicazione è fondamentale per integrare la valutazione nella cultura organizzativa e nel processo decisionale della Commissione. Tuttavia, la Corte riconosce che, data la diversità delle aree scientifiche interessate dai PQ, tale strategia dovrebbe consentire un grado di flessibilità appropriato a ciascuna direzione generale responsabile e non dovrebbe essere eccessivamente prescrittiva.

40. La Corte ha verificato se la Commissione disponesse di tale strategia di valutazione per i PQ.

Mancanza di una strategia di valutazione globale dei PQ

41. Per quanto riguarda i PQ, l’approccio della Commissione alla valutazione è stato reso pubblico per la prima volta negli anni 1980 (27). È stato aggiornato nel 1996, quando la Commissione ha comunicato al Parlamento e al Consiglio i principi che riteneva fossero allora alla base del monitoraggio e della valutazione ed ha definito il proprio approccio dopo l’adozione del 4o PQ (28). Ciò, tuttavia, non costituiva una strategia di valutazione globale come quella sopra descritta (cfr. paragrafi 38 e 39). Inoltre, dal 1996 al 2006, la Commissione non ha praticamente rivisto il proprio approccio alla valutazione del 5oe del 6o PQ, nonostante che gli ambiti e gli orientamenti di questi ultimi fossero cambiati (cfr. paragrafo 7). In particolare, le «direzioni generali della ricerca» non hanno convenuto un approccio coerente alla valutazione dei PQ e dei programmi costitutivi, al di là delle normative adottate nel 1999 (per il 5o PQ), nel 2002 (per il 6o PQ) e nel 2006 (per il 7o PQ) (29).

42. Per quanto riguarda l’attuale periodo di programmazione, la mancanza di un approccio strategico alla valutazione in tale settore costituisce un problema specifico, tenuto conto del fatto che il 7o PQ viene attuato congiuntamente da diverse direzioni generali, dal CER e dalle agenzie esecutive, e che il regolamento finanziario prevede la rotazione obbligatoria del personale con incarichi sensibili. Inoltre, contrasta con le pratiche vigenti nel settore degli aiuti esterni (il secondo settore, per grandezza, in cui la Commissione attua la gestione diretta). In tale settore le DG responsabili hanno stabilito, dal 2002, strategie di valutazione pluriennali comuni legate ai periodi di programmazione (cfr. paragrafo 52).

43. Questa mancanza di una strategia di valutazione formulata in modo chiaro contrasta fortemente con la situazione negli Stati Uniti e in Canada, dove il quadro normativo prescrive la definizione di una strategia (cfr. allegato III).

44. Come illustrato qui di seguito, si riscontrano differenze significative nella portata e nell’intensità della valutazione tra diversi PQ e all'interno degli stessi. Esistono anche altre carenze che saranno esaminate più avanti nella presente relazione, come i problemi di coordinamento, i diversi approcci metodologici, i problemi di tempi nonché le carenze nella comunicazione e nel seguito dato alle risultanze della valutazione. Ciò riflette la mancanza di una strategia globale di valutazione dei PQ.

Le differenze a livello di portata e intensità delle valutazioni nell'ambito del PQ

45. I PQ si compongono di una serie di programmi (e sottoprogrammi) specifici che possono differire in maniera significativa per quanto riguarda la finalità, le dinamiche sottostanti e gli stanziamenti di bilancio (per il 7o PQ, cfr allegato IV). Considerate complessivamente, le disposizioni specifiche delle diverse decisioni concernenti i PQ e le norme del regolamento finanziario (30) (in base al quale tutti i programmi e le attività che comportano spese importanti devono essere oggetto di valutazione) implicano che, dal 4o PQ, esiste un obbligo giuridico di valutazione, sia del PQ nel suo insieme che della maggioranza dei programmi specifici costitutivi.

46. La Commissione non ha stabilito una norma relativa al momento in cui programmi (o sottoprogrammi) specifici di un PQ debbano essere valutati, né ha definito una soglia comune sopra la quale la valutazione è obbligatoria. Ciò ha prodotto interpretazioni incoerenti riguardo all’oggetto e al livello di dettaglio della valutazione: — la direzione generale Società dell’informazione considerava il programma IST come uno dei principali programmi di spesa a sé stanti e nel 2004 ha organizzato una valutazione quinquennale completa, in parallelo a quella condotta per il PQ nel suo complesso; — la direzione generale Ricerca non ha sistematicamente organizzato una valutazione di questo tipo a livello dei programmi specifici, nonostante i bilanci di diversi programmi sotto la sua responsabilità fossero di entità comparabile.

47. Di conseguenza, per la valutazione quinquennale condotta nel 2004, parti significative del 4o e 5o PQ (corrispondenti al 30 % del totale degli stanziamenti di bilancio assegnati al 4o PQ e al 50 % di quelli per il 5o PQ) non sono state oggetto di alcuna valutazione. Ciò significa che la Commissione non ha ottemperato agli obblighi in materia di valutazione specificati dall’articolo 27, paragrafo 4, del regolamento finanziario.

48. Tali interpretazioni divergenti per quanto riguarda gli obblighi giuridici minimi in materia di valutazione, e la conseguente valutazione insufficiente sui PQ in passato, illustrano la mancanza di coordinamento e l’effetto dell’assenza di un approccio strategico della Commissione alla valutazione dei PQ.

Raccomandazioni

49. Le «direzioni generali della ricerca» dovrebbero sviluppare urgentemente e concordare una strategia di valutazione comune dei PQ. Senza essere eccessivamente prescrittiva, tale strategia dovrebbe comportare un approccio coerente per quanto riguarda la valutazione dei PQ e dei loro programmi costituenti. Inoltre, tale strategia dovrebbe fornire indicazioni sul livello minimo al quale debba essere effettuata una valutazione dettagliata, così da tenere conto delle specificità di ogni campo scientifico.

L’organizzazione della valutazione dei programmi quadro

50. La valutazione dei PQ deve poter contare su una struttura organizzativa adeguata, che dovrebbe derivare dall’orientamento strategico della Commissione circa la valutazione dei PQ. La Corte ha verificato in quale misura la struttura organizzativa garantisce che il sistema di valutazione sia coordinato in modo appropriato, sia dotato di risorse adeguate e sia giudicato sufficientemente indipendente dalle parti interessate.

Commissione

I PQ sono attuati congiuntamente da più direzioni generali, mentre la responsabilità della valutazione è decentrata

51. All’interno della Commissione, la responsabilità della valutazione dei programmi di spesa spetta alle singole direzioni generali (cfr. paragrafo 8) e, presso ciascuna direzione generale, sono state istituite unità di valutazione incaricate di programmare, coordinare ed eseguire le valutazioni.

52. L’assenza di un organismo specifico di coordinamento o di un’unica entità per la valutazione dei PQ nel loro complesso, come un ufficio di valutazione comune per le «direzioni generali della ricerca», contrasta con quanto avviene per altre politiche. Nel settore degli aiuti esterni, è stata istituita un’unità di valutazione comune presso tre direzioni generali (Sviluppo, Relazioni esterne e EuropeAid), che si occupa della valutazione dei programmi di sviluppo della Commissione nei paesi terzi (cfr. paragrafo 42).

53. Attraverso la «rete di valutazione RST» interna della Commissione, la direzione generale Ricerca garantisce uno scambio di conoscenze tra le unità di valutazione delle varie direzioni generali, ma non ha l’autorità di stabilire i requisiti minimi di valutazione. Tale meccanismo, però, non è riuscito a garantire un coordinamento appropriato della valutazione dei PQ da parte della Commissione.

54. Nel 2000 e nel 2002, e successivamente nel 2007, la Commissione ha rivisto il proprio approccio generale alla valutazione (cfr. paragrafo 14). Sebbene non sia stato osservato alcun miglioramento sensibile del modo di programmare, concepire ed attuare le valutazioni dei PQ e dei loro programmi costitutivi, in termini generali, le «direzioni generali della ricerca» si sono conformate a tutti gli obblighi formali esistenti per la Commissione nel suo complesso.

I servizi centrali della Commissione: definizione di norme, ma nessun controllo della loro applicazione

55. I servizi centrali della Commissione (in particolare la DG Bilancio e il Segretariato generale) forniscono una consulenza metodologica, definiscono norme comuni per l’insieme della Commissione e controllano il modo in cui le DG e i servizi applicano le norme (cfr. paragrafi 14 e 70). Non possono imporre le modalità di svolgimento pratico delle valutazioni.

56. Esperienze negli Stati Uniti e in Canada indicano che il controllo del rispetto delle norme da parte degli organismi responsabili della loro definizione mira a garantire il funzionamento efficace del sistema di valutazione. In entrambi i paesi, dipartimenti federali stabiliscono e fanno rispettare il quadro in base al quale è giudicato, alla fine, il successo di un programma (cfr. allegato III). Anche se il contesto è diverso, i loro sistemi sono nondimeno basati sullo stesso principio di base, in virtù del quale un organismo diverso da quello responsabile dell’attuazione del programma dovrebbe valutare un po' in dettaglio la concezione del sistema di valutazione ed esaminarne l’efficacia. Una situazione analoga può essere osservata in alcuni Stati membri (ad esempio, Germania (31), Spagna (32) e Francia (33)), dove organismi esterni controllano le valutazioni condotte dagli organi di finanziamento o addirittura effettuano direttamente tali valutazioni.

Gruppi di esperti

Gruppi di esperti esterni: resi obbligatori dalla normativa sin dal 4o PQ

57. Dal 4oPQ, tutte le principali attività di valutazione (e il monitoraggio annuale) dei PQ hanno dovuto essere effettuate da (o con l’assistenza di) gruppi di esperti esterni (cfr. allegato II). Nonostante alcune difficoltà legate al reperimento di esperti adeguati, tali gruppi possono fornire trasparenza, offrire un certo grado di indipendenza, agevolare la partecipazione delle parti interessate e sfruttare le conoscenze ottenute dai PQ, dalla valutazione e dai lavori scientifici sottostanti.

58. Ciò è stato confermato dall'indagine della Corte, da cui risulta che, secondo gli intervistati, il sistema di valutazione della Commissione basato sui gruppi di esperti offre una garanzia di indipendenza (cfr. grafico 4).

Carenze dell’approccio basato sui gruppi di esperti, così come attuato dalla Commissione

59. Nonostante tale percezione positiva, come indicato alla Corte dai membri dei gruppi e dalle parti interessate nel corso dell’audit, il ricorso della Commissione a gruppi di esperti per la valutazione dei PQ è stato caratterizzato dalle seguenti carenze: — i gruppi di valutazione sono generalmente istituiti meno di un anno prima della data prevista per la presentazione della loro relazione e si riuniscono solo poche volte. Pertanto, è difficile che i membri dei gruppi possano influire sulla definizione dei dati e sull'analisi necessaria per il loro lavoro. Inoltre, dato che i gruppi sono temporanei e costituiti ad hoc, non è facile per gli esperti acquisire le conoscenze in materia di programmi e monitorare nel tempo le questioni pertinenti. Questa carenza emerge in particolare quando (come nel caso del 7o PQ) è prevista una serie di valutazioni importanti durante il periodo di programmazione (cfr. allegato II). Peraltro, anche la pratica adottata dalla Commissione per i propri gruppi consultivi di esperti in materia di PQ va in senso opposto, in quanto questi ultimi sono organi permanenti (34). Anche in Canada (35), i gruppi di valutazione sono permanenti, al fine di garantire un approccio uniforme e coerente (cfr. allegato 3); — al momento di definire i mandati dei gruppi di esperti e specificare i quesiti valutativi, la Commissione non consulta le parti interessate esterne, come le imprese ed i grandi enti di ricerca partecipanti ai PQ. Anche il gruppo incaricato del monitoraggio 2004 ha osservato tale problema, rilevando che i potenziali utenti dovrebbero essere coinvolti nel processo sin dalla fase iniziale (36) e — i gruppi di esperti funzionano in un modo diverso dalla valutazione inter pares (peer review). I membri non hanno il tempo di svolgere proprie valutazioni; generalmente, forniscono consulenza sulla base dei dati e degli elementi probatori messi a loro disposizione da altre fonti. A causa delle scadenze, i gruppi hanno avuto soltanto opportunità limitate di commissionare studi supplementari necessari ad affrontare le questioni specificate nel loro mandato. In pratica, fatte salve alcune eccezioni, i gruppi incaricati delle valutazioni quinquennali disponevano solamente delle informazioni fornite dalla Commissione.

Risorse

Non esistono risorse specificamente destinate alla valutazione dei PQ

60. La valutazione è finanziata su base annuale, in funzione delle necessità specificate dalle direzioni generali responsabili dell’attuazione dei PQ. Attualmente, il finanziamento è assicurato da una combinazione di risorse a livello della Commissione concesse dalla direzione generale Bilancio e di risorse provenienti dalla parte amministrativa del bilancio delle direzioni generali interessate. Inoltre, azioni specifiche sono finanziate come azioni indirette dal bilancio operativo dei PQ. Ciò significa che non esiste un importo specificamente riservato alla valutazione.

61. Nel 2006, la percentuale media del personale impiegato nel settore della valutazione e della gestione per attività a livello di tutta la Commissione era stimata a circa l’1 % dell’organico totale (37). Le percentuali corrispondenti per le attività di monitoraggio e valutazione dei programmi quadro di RST presso la direzione generale Ricerca e la direzione generale Società dell’informazione ammontavano, rispettivamente, all’1,2 % e all’1,3 %. Nel caso della direzione generale Ricerca, tuttavia, più dei due terzi di tale personale era stato assegnato ai servizi responsabili dei programmi operativi e non alle unità di valutazione, e la valutazione era soltanto uno dei tanti compiti loro assegnati.

Il finanziamento della valutazione dei PQ è inferiore a quello raccomandato dalla Commissione

62. Le risorse destinate alla valutazione possono anche essere espresse in percentuale del totale degli stanziamenti di bilancio assegnati al programma. Le cifre ottenute nel corso dell’audit indicano che, per quanto riguarda i programmi di ricerca negli Stati membri, tale dato è compreso tra lo 0,1 % e il 2 %. Gli orientamenti della Commissione indicano che lo 0,5 % del bilancio di un programma dovrebbe essere assegnato alla valutazione (38). Tuttavia, per programmi di più ampia portata, grazie a economie di scala potrebbe essere sufficiente una parte più modesta della dotazione corrispondente.

63. Da un raffronto tra gli importi destinati dalla Commissione alla spesa per la valutazione nel periodo 2003-2006 e gli stanziamenti di bilancio per ciascuna direzione generale risulta che, complessivamente, la media si attesta attorno allo 0,15 %, percentuale notevolmente inferiore al livello indicato dalla Commissione. Da un’analisi più approfondita dell’esercizio 2006 risulta che la direzione generale Società dell’informazione ha speso per la valutazione circa il quadruplo della direzione generale Ricerca, in proporzione agli stanziamenti a disposizione. Inoltre, presso la direzione generale Ricerca, soltanto lo 0,7 % del lavoro di un funzionario a tempo pieno è assegnato alla valutazione per milione di euro del bilancio annuale. A titolo di confronto, la direzione generale Società dell’informazione assegna una percentuale doppia.

64. Come indicato nella presente relazione, gli sforzi supplementari della direzione generale Società dell’informazione hanno portato a una valutazione più completa (cfr. paragrafi 13 e 46) e, come illustrato nel campione di valutazioni esaminato dalla Corte, all’impiego di metodologie più idonee a rispondere alle esigenze di valutazione (cfr. paragrafo 84).

65. Una stima dei costi effettuata dalla Corte sulla base dei dati forniti dalla Commissione mostra che un sistema di valutazione fondato sulle proposte formulate nella presente relazione costerebbe, mediamente, meno dello 0,4 % degli stanziamenti di bilancio del 7o PQ. L'importo considerato coprirebbe i costi dei gruppi di esperti, del subappalto di studi, del personale dell’ufficio comune di valutazione e di quello che svolge attualmente le unità di valutazione presso le singole direzioni generali, nonché altre spese varie (39).

Raccomandazioni

66. Le «direzioni generali della ricerca» dovrebbero considerare la creazione di un ufficio comune di valutazione, oltre alle unità di valutazione esistenti attualmente presso ciascuna direzione generale. In linea con le pratiche adottate per altre politiche, tale ufficio potrebbe coordinare le attività di valutazione della Commissione per l’intero PQ. Tali funzioni di supporto comuni sono già state raccomandate in precedenza alle direzioni generali responsabili dell’attuazione dei PQ (40) e potrebbero diventare ancora più importanti in futuro con la creazione del CER e la delega dell’attuazione dei programmi ad agenzie esecutive. 67. La Commissione dovrebbe continuare a ricorrere a gruppi di esperti che la assistano nelle attività di valutazione. Tuttavia, dovrebbe considerare come adattare la struttura di tali gruppi alla struttura generale dei programmi nell'ambito dei PQ. A tal fine, potrebbero essere costituiti gruppi di esperti per ciascun programma e, se del caso, sottoprogramma specifico (cfr. allegato 4). Inoltre, tali gruppi dovrebbero essere costituiti con sufficiente anticipo, perché forniscano un sostegno efficace alla Commissione, e continuino a fornirlo durante tutta la durata del periodo di programmazione ed oltre. 68. La Commissione dovrebbe rivedere le risorse assegnate alla valutazione dei PQ e dei loro programmi costitutivi.

Metodologie e tecniche di valutazione

69. Una valutazione efficace esige l’utilizzo di metodologie e tecniche appropriate. La Corte ha verificato se esistessero degli orientamenti specifici per la valutazione dei PQ, se le informazioni necessarie fossero oggetto di un’analisi appropriata e tempestiva e se i dati pertinenti fossero messi a disposizione dei valutatori. Alla luce delle valutazioni realizzate dalla (o per conto della) Commissione, la Corte ha esaminato se le tecniche utilizzate per singoli studi costituissero una base adeguata per rispondere ai quesiti valutativi elaborati per le valutazioni quinquennali. Inoltre, la Corte ha preso in considerazione il contributo potenziale delle valutazioni a livello nazionale alla valutazione dei PQ.

L'elaborazione di norme e orientamenti specifici relativi ai programmi quadro

70. La direzione generale Bilancio ha emanato una serie di comunicazioni che definiscono la politica di valutazione e forniscono norme per la sua attuazione; inoltre, ha definito un insieme di norme a livello della Commissione (cfr. paragrafi 14 e 55) (41). Per altre politiche, le direzioni generali responsabili hanno anch'esse sviluppato guide specifiche per la valutazione (42).

71. Questo però non è avvenuto per i PQ. La Commissione ha pubblicato (o finanziato) una serie di guide e strumenti metodologici per le attività di valutazione nel settore della ricerca (43). Tuttavia, tali documenti non forniscono indicazioni specifiche sulle modalità di svolgimento delle valutazioni dei PQ né indicano come il personale della Commissione o gli esperti esterni debbano utilizzare i concetti chiave o la terminologia. Ciò ha contribuito ai problemi trattati qui di seguito.

Dati necessari e raccolta dei dati

L’analisi delle informazioni necessarie è insufficiente

72. Le «direzioni generali della ricerca» non hanno dedicato sufficiente attenzione a capire quali dati fossero necessari ai fini della valutazione e del monitoraggio. Invece di svolgere un’analisi sistematica e completa del fabbisogno in materia di informazioni, la Commissione ha indicato tardivamente nel periodo di programmazione quali erano i dati necessari e senza tenere debitamente conto delle esigenze globali di valutazione. Il questionario socioeconomico concernente il 6o PQ è stato il solo tentativo comune delle direzioni generali per concordare tali dati (cfr. paragrafo 76). Esso, tuttavia, è stato finalizzato nel 2004 (tre anni dopo l’avvio del periodo di programmazione) e concerne principalmente aspetti quali la partecipazione per genere e gli impatti ambientali, piuttosto che le realizzazioni scientifiche (come questioni legate alla proprietà intellettuale, pubblicazioni, ecc.) gli effetti o gli impatti.

73. La valutazione dei programmi dipende in larga misura dalla disponibilità di tre tipi di dati: — dati raccolti in base a indicatori di efficacia, dalla cui analisi si ottengono informazioni sui progressi nel conseguimento degli obiettivi dei programmi. L’assenza di una logica d’intervento, sopra menzionata, ha reso difficile definire tali indicatori (cfr. paragrafo 30). Concretamente, i dati raccolti sono risultati poco pertinenti ai fini della misurazione del raggiungimento degli obiettivi dei programmi; — dati relativi alla gestione dei programmi (in base a indicatori di efficienza) e — dati relativi ai partecipanti (come i tassi di partecipazione delle principali organizzazioni di ricerca).

74. In particolare, gli ultimi due tipi di dati dovrebbero essere disponibili presso la Commissione. Tuttavia, a causa di problemi relativi ai sistemi informatici interni della Commissione, che costituiscono la fonte della maggioranza dei dati in materia di gestione e sui partecipanti ai programmi (44), sono stati riscontrati problemi significativi a tale riguardo nella pratica (45).

75. Tali difficoltà sono illustrate dai notevoli ritardi nel rendere disponibili le relazioni presentate ai sensi dell’articolo 173 e le relazioni annuali di controllo (fino a 16 mesi di ritardo per le relazioni ai sensi dell’articolo 173 (46) e fino a 7 mesi per le relazioni annuali di controllo nel periodo 2002-2005). Poiché tali informazioni erano costantemente fornite in ritardo, la loro utilità risultava limitata.

Approccio inefficace per ottenere dati relativi alla valutazione dai partecipanti

76. A partire dal 5o PQ, la Commissione ha sistematicamente richiesto ai partecipanti, per contratto, di fornire i dati necessari per misurare il raggiungimento degli obiettivi dei programmi in termini di realizzazioni, effetti e impatti, come segue: — nel quadro del 5o PQ, i partecipanti dovevano presentare un «piano di applicazione della tecnologia» nonché una relazione finale dopo il completamento del progetto. Tali documenti spesso erano di qualità scadente o non venivano presentati affatto; — nel quadro del 6o PQ, i partecipanti dovevano redigere un «piano per la diffusione e l’utilizzo delle conoscenze» e, al momento di presentare i rapporti tecnici annuali, rispondere a un questionario standardizzato su questioni socioeconomiche.

77. Tali disposizioni contrattuali relative alla comunicazione di dati determinano un carico amministrativo superfluo per i partecipanti. Ad esempio, per quanto riguarda il questionario annuale relativo al 6o PQ, i dati sono stati raccolti molto più spesso del necessario e presso l'intera popolazione di progetti, mentre un campione rappresentativo sarebbe stato sufficiente. Ciò potrebbe condurre a una «stanchezza da valutazione». Inoltre, tali informazioni sono state raccolte al momento sbagliato: molti quesiti per i quali sono stati raccolti dati sono, per loro natura, a medio o lungo termine, pertanto la raccolta dei dati entro la durata contrattuale del progetto è, per definizione, prematura (47). È per questo che, nella pratica, le informazioni fornite da tali strumenti sono risultate di scarsa utilità per le valutazioni nel quadro del 5o e 6o PQ.

78. Tuttavia, nessuno dei sistemi vigenti prevede che le informazioni siano raccolte in modo standardizzato alla fine del ciclo di un progetto (o poco dopo). Le parti interessate interrogate hanno suggerito che tali informazioni comprendano il conseguimento degli obiettivi dei progetti, i risultati attesi (e quelli imprevisti) e la percezione del valore aggiunto comunitario da parte dei partecipanti. Tali informazioni potrebbero costituire la base per verifiche esterne su progetti ultimati (48).

79. Insieme a un uso più esteso di approcci scientometrici (come l’analisi citazionale) per valutare i risultati dei progetti (cfr. paragrafo 83), tali informazioni potrebbero rivelarsi utili alla Commissione in vista del passaggio a un sistema di finanziamento basato maggiormente sui risultati per le attività di RST cofinanziate dalla Comunità (49).

Altre fonti dei dati usate in modo inadeguato

80. Altre fonti di dati esistenti presso la Commissione e negli Stati membri ad esempio, le basi dati dei programmi nazionali di RST e delle agenzie di finanziamento, nonché il «Servizio comunitario di informazione in materia di ricerca e sviluppo» (CORDIS) gestito dall’Ufficio delle pubblicazioni della Commissione (50)), non sono utilizzate a sufficienza.

Studi di valutazione svolti dalla Commissione

Relazioni esaminate dalla Corte

81. La Corte ha esaminato 86 studi di valutazione eseguiti dalla Commissione (o per suo conto) dal 2000. Essi comprendevano i 36 studi che formano la base della valutazione quinquennale pubblicata nel 2004 e altri 50 studi completati dopo tale data. Di questi solo 23 possono essere considerati valutazioni effettive dei PQ e dei loro programmi costitutivi (cfr. grafico 5). Grafico 5 Sintesi degli studi di valutazione eseguiti dalla Commissione (o per suo conto) nel periodo 2000-2006 Tipo di studi Numero Descrizione Valutazioni delle attività dei PQ 23 Studi di valutazione — basati su metodologie riconosciute (51); — si riferiscono esplicitamente agli obiettivi dei programmi e al grado di realizzazione di tali obiettivi. Valutazioni d’impatto nazionali effettuate a livello degli Stati membri 12 Studi effettuati dagli Stati membri, incentrati principalmente sui tassi di partecipazione nazionali, più che sulle conclusioni sugli obiettivi dei programmi. Studi metodologici 5 Studi organizzati dalla Commissione per sostenere lo sviluppo di metodologie valutative. Studi dell'ambiente dell'RST in Europa 2 Studi che trattano analisi contestuali relative al settore della ricerca in Europa, ma non i PQ. Mancano in particolare riferimenti espliciti all’effetto dei PQ sui sistemi nazionali di ricerca e innovazione. Documenti statistici descrittivi e non analitici 33 Documenti che generalmente trattano le attività dei PQ in modo molto indiretto, spesso descrivendo le attività piuttosto che analizzandole. Altri documenti 11 Una serie di documenti trattanti questioni di interesse generale relativi alla politica, senza esaminare i PQ in tale contesto.

Le valutazioni si concentrano su questioni di monitoraggio, invece che su effetti e impatti

82. La Corte ha svolto una meta-analisi di tali studi di valutazione specifici, che ha dato adito a due osservazioni principali: — anche se molti studi tentano di presentare conclusioni rispetto agli obiettivi dei programmi, la formulazione vaga di tali conclusioni lascia al lettore il dubbio che la valutazione abbia effettivamente affrontato tale aspetto. Ciò è spesso dovuto al fatto che la mancanza di obiettivi chiari del programma compromette gravemente il processo (cfr. paragrafo 28); — invece di valutare gli effetti e gli impatti dei PQ o dei loro programmi (e sottoprogrammi) specifici, molti documenti sono descrittivi e, al massimo, si concentrano sulle realizzazioni immediate e su aspetti della gestione dei progetti. Tali relazioni non sono in grado di fornire elementi probatori convincenti per quanto riguarda gli effetti o gli impatti.

Insufficiente attenzione allo sviluppo di metodologie innovative

83. L’uso di metodologie e tecniche tradizionali (in particolare, indagini, esame documentale e colloqui) è predominante per le valutazioni effettuate nel periodo 2000-2006 (cfr. grafico 6). Inoltre, una serie di altre metodologie e tecniche di valutazione sofisticate, ma comunque già consolidate, non sono state impiegate (o lo sono state molto di rado), in particolare: — approcci scientometrici (come l’analisi citazionale) (52); — modelli quantitativi (come l’efficienza e l’efficacia rispetto ai costi e l’analisi costi/benefici) (53); oppure — modelli di attore (o comportamentali) (che si concentrano sulle prospettive dei soggetti implicati in un intervento, come le caratteristiche delle reti di ricerca e i relativi cambiamenti nel tempo).

84. Gli studi di valutazione che tentano di risolvere alcune difficoltà metodologiche della valutazione dell’intervento pubblico nella ricerca (cfr. allegato I) sono stati utilizzati soltanto in casi limitati: — recentemente, sono stati completati due studi sulla logica d’intervento (54); — sono stati individuati solo tre studi che tentano di valutare l’effetto del finanziamento comunitario sul comportamento delle organizzazioni di ricercatori operanti in rete a livello paneuropeo (55), benché l’ipotesi di effetti positivi dei collegamenti in rete costituisca il nucleo del concetto ERA; — soltanto in un caso si è cercato di trarre conclusioni sull'impatto ottenuto a livello di programma (o sottoprogramma) combinando l'aggregazione di analisi di valutazione a livello di progetto con altre tecniche di valutazione (56); — non è stato rinvenuto alcun elemento attestante l’impiego di altre tecnologie, come l’approccio «controfattuale» (o «gruppo di controllo»). Si tratta di un approccio che risulterebbe particolarmente utile per illustrare il valore aggiunto di programmi a livello comunitario, rispetto all’assenza totale di interventi (a interventi a livello nazionale o regionale).

85. Le parti interessate interrogate dalla Corte ritenevano che l’utilità e la pertinenza delle valutazioni della Commissione potessero essere migliorate. Ciò mostra la necessità di sviluppare ulteriormente la metodologia, affinché il sistema di valutazione possa evolvere tenendo conto dei cambiamenti dei PQ (cfr. paragrafo 7) (57).

Quesiti impegnativi sollevati nelle valutazioni quinquennali non hanno potuto essere esaminati sulla base degli studi di valutazione specifica della Commissione

86. Ciò è illustrato anche dalle difficoltà notevoli incontrate dal gruppo di esperti responsabile della valutazione quinquennale 2004 (58) nel rispondere ai quesiti valutativi suggeriti nel suo mandato. Molti quesiti impegnativi non hanno potuto essere esaminati affatto, a causa dell’assenza di studi adeguati precedentemente eseguiti dalla Commissione (o per suo conto) e dell’impossibilità per i membri del gruppo di commissionare detti studi in tempo utile (cfr. grafico 7). Grafico 7 Quesiti valutativi trattati nel quadro della valutazione quinquennale 2004 Quesito valutativo Trattato nella relazione? ATTUAZIONE Le attività sono state svolte in modo efficiente? parzialmente Le attività erano valide sotto il profilo dei costi? parzialmente Le attività costituivano il modo migliore per conseguire gli obiettivi stabiliti? no Il quadro giuridico generale (comprese le norme relative alla partecipazione ed ai contratti), gli strumenti delle politiche e le modalità d’attuazione erano chiari, adeguati ed efficaci? no Il livello di finanziamento e le altre risorse disponibili erano adeguati? no Le comunità beneficiarie (industria, ricerca, comprese le PMI) sono state in grado di rispondere in maniera adeguata? sì RISULTATI Le attività hanno conseguito i rispettivi obiettivi e in quale misura si sono prodotti risultati inattesi? no Quali sono i principali risultati, in particolare in termini di realizzazioni scientifiche, tecnologiche, socioeconomiche ed ambientali e in termini di cooperazione internazionale, trasferimento delle conoscenze e innovazione, attività prenormative, accessibilità, divulgazione e applicazione della ricerca, sviluppo delle risorse umane, mobilità e formazione, nonché in termini di sostegno e potenziamento del coordinamento delle attività di ricerca? no I risultati ed i relativi effetti e impatti sono stati, nel complesso, soddisfacenti dal punto di vista delle parti interessate e dei beneficiari diretti o indiretti? no Le comunità interessate (industria, ricerca, comprese le PMI) sono state trattate in modo soddisfacente? sì In che modo e sino a che punto le attività hanno contribuito a migliorare la competitività della ricerca comunitaria a livello internazionale? La ricerca comunitaria ha conseguito la leadership in aree specifiche? parzialmente In che modo e sino a che punto le attività hanno contribuito alle politiche comunitarie in generale e alla strategia dell’Unione per uno sviluppo sostenibile? no Vi sono prove di un cambiamento strutturale, compresi in particolare il collegamento in rete, l’integrazione ed il coordinamento della ricerca, a livello nazionale o internazionale, a seguito delle attività di ricerca della Comunità? no I programmi erano vantaggiosi sotto il profilo del rapporto costi-benefici? Le attività hanno generato impatti durevoli? no EVOLUZIONE E FUTURE PROSPETTIVE In che modo i programmi quadro sono evoluti in termini di motivazioni, obiettivi, priorità tematiche, equilibrio tra priorità dal basso verso l'alto e dall’alto verso il basso e tra ricerca fondamentale e applicata, strumenti, valore aggiunto europeo ed altri impatti, in particolare alla luce dell’emergere del concetto di Spazio europeo della ricerca (SER), degli obiettivi di Lisbona e dei principali indicatori relativi all’economia e alla ricerca a livello internazionale? sì In che modo il programma quadro ha ottenuto un valore aggiunto europeo? sì È possibile ottenere un valore aggiunto europeo attraverso altri meccanismi internazionali o nazionali? no Gli obiettivi della politica, le priorità, gli strumenti e il ciclo di vita dei programmi sono adeguati per il futuro? sì

87. Inoltre, va notato che i membri del gruppo di esperti sono stati in grado di rispondere ai quesiti specificati nel loro mandato solo per gli aspetti per cui erano stati definiti nei programmi obiettivi chiari e quantificabili (come la quota di piccole e medie imprese partecipanti).

Valutazioni dei programmi quadro effettuate a livello nazionale

88. Diversi Stati membri e paesi associati effettuano valutazioni nazionali dei PQ, trattando questioni pertinenti ed interessanti dal loro punto di vista (59). Negli ultimi otto anni, nove Stati membri e un paese associato hanno prodotto 14 studi di questo tipo.

89. Anche se la Commissione incoraggiava, ove possibile, approcci standardizzati, gli studi di impatto nazionali sono molto eterogenei (60). Di conseguenza, dato che non seguono una metodologia armonizzata, le possibilità di aggregare, combinare o raffrontare i risultati sono limitate. Inoltre, considerato il loro carattere nazionale, tali studi possono cogliere solo in parte la dimensione cooperativa europea.

90. Nel «libro verde» 2007 sullo Spazio europeo della ricerca, la Commissione sosteneva l’importanza di rendere disponibili, a livello dello Spazio europeo della ricerca, analisi accurate concernenti l’impatto e l’efficacia delle attività e delle politiche di ricerca, comprese quelle degli Stati membri e dell’UE. Riconosceva inoltre che le disposizioni attuali non erano adeguate per affrontare tale sfida, dato che ciascun livello di intervento conduceva valutazioni separatamente dagli altri (61).

Raccomandazioni

91. La Commissione dovrebbe elaborare un manuale per la valutazione delle attività finanziate dai PQ, che fornisca definizioni dei concetti chiave e della terminologia e identifichi una serie di metodologie adeguate per determinate attività di valutazione. Tale manuale dovrebbe basarsi su guide e procedure esistenti e dovrebbe essere aggiornato regolarmente. 92. La Commissione dovrebbe indicare le proprie esigenze in materia di informazione, tenendo conto della necessità di limitare l’onere amministrativo per i partecipanti. 93. La Commissione dovrebbe fornire informazioni tempestive sul monitoraggio per quanto riguarda l'attuazione dei PQ. Come richiesto dalle «norme in materia di partecipazione» del 7o PQ, occorre risolvere urgentemente i problemi relativi ai sistemi informatici della Commissione per la gestione dei dati sulla gestione dei programmi e sui partecipanti. 94. Gli obblighi dei partecipanti per quanto riguarda la presentazione di relazioni alla Commissione dovrebbero essere ridotti in modo significativo e le indagini dovrebbero essere condotte soltanto sulla base di un campione. Gli obblighi contrattuali relativi alla presentazione di dati di impatto basati su indicatori, per ogni progetto dovrebbero essere sostituiti da una breve autovalutazione, una volta concluso il progetto. 95. La Commissione dovrebbe sfruttare maggiormente le fonti complementari esistenti di dati utili per le proprie valutazioni (all’interno della Commissione e negli Stati membri). 96. La Commissione dovrebbe impiegare tutta la gamma di tecniche di valutazione disponibili. Inoltre, dovrebbe sostenere lo sviluppo di approcci innovativi per risolvere le difficoltà metodologiche inerenti alla valutazione dell’intervento pubblico nella ricerca (cfr. allegato I) e utilizzare di tali approcci nelle proprie valutazioni. 97. La Commissione dovrebbe consultare gli Stati membri circa il modo in cui massimizzare i benefici delle valutazioni dei PQ condotte a livello nazionale.

Diffusione e utilizzazione delle risultanze della valutazione

98. La valutazione dovrebbe fornire informazioni ed analisi pertinenti suscettibili di essere utilizzate efficacemente per la gestione dei programmi e l’elaborazione delle politiche. In particolare, la valutazione dovrebbe costituire il punto di partenza per una riflessione approfondita sui punti di forza e di debolezza di un intervento pubblico. Tale riflessione è necessaria per trarre insegnamenti dalle esperienze passate. La Corte ha verificato se le valutazioni siano state svolte nei tempi opportuni, se le risultanze siano state divulgate e diffuse tra le parti interessate all’esterno della Commissione e se quest’ultima abbia tenuto conto delle raccomandazioni per rivedere i programmi in corso («learning programmes»).

Il calendario delle valutazioni non tiene conto del tipo di informazioni che possono essere realisticamente attese

99. La Corte riconosce che certi tipi di analisi richiedono una prospettiva a lungo termine (ad esempio, la valutazione degli effetti e degli impatti socioeconomici) e che alcuni aspetti sono legati a un periodo di programmazione specifico (ad esempio gli obiettivi dei programmi, anche in un campo scientifico determinato), mentre altri non lo sono (cfr. grafico 8). Tuttavia, la Commissione non ha adottato, nelle proprie attività di valutazione, un approccio che tenga conto di tali orizzonti temporali.

100. Ai sensi della normativa, le principali attività di valutazione della Commissione si concentrano esclusivamente sui cinque anni precedenti la valutazione quinquennale, abbracciando così parti di due periodi di programmazione successivi. Pertanto, gli effetti e gli impatti a medio e lungo termine sono stati raramente esaminati. Di conseguenza, le valutazioni quinquennali si sono concentrate in genere su aspetti riguardanti essenzialmente il monitoraggio e la concezione dei programmi a breve termine, nonché su osservazioni generali relative all’orientamento dei PQ. La Corte si compiace che la normativa relativa al 7o PQ non preveda più le valutazioni quinquennali né altre valutazioni relative a periodi predefiniti. Grafico 8 Questioni relative al monitoraggio e alla valutazione in funzione di diversi orizzonti temporali Monitoraggio dell’attuazione del programma (in corso) — Questioni relative alla gestione del programma (ad esempio, tempi per la stipula dei contratti, termini di pagamento, numero di proposte presentate e tasso di successo, esecuzione del bilancio, tassi di finanziamento, ecc.) Valutazione Breve termine (cioè il prima possibile, dopo 1-2 anni) — Questioni relative alla gestione del programma (ad esempio, efficienza delle procedure amministrative) — Questioni relative alla concezione del programma (ad esempio, accessibilità e flessibilità degli strumenti, ostacoli alla partecipazione, implicazioni del mancato successo a seguito degli inviti a presentare proposte, ecc.) — Analisi del profilo della partecipazione (principalmente quantitativa, in questa fase) Valutazione Medio termine (cioè, dopo 7 anni) — Questioni relative alla concezione del programma (ad esempio, efficacia degli strumenti) — Analisi della partecipazione (combinando aspetti qualitativi e quantitativi, ad esempio analisi delle reti di ricerca, impatti sul comportamento dei ricercatori, ecc.) — Analisi delle realizzazioni dei progetti (62) (pubblicazioni, relazioni a convegni, brevetti, licenze, prototipi, scienziati qualificati, ecc.) Valutazione Lungo termine (cioè, dopo > 10 anni) — Valutazione degli effetti e degli impatti Fonte: Corte dei conti europea.

101. Le carenze della valutazione quinquennale nel valutare gli effetti e gli impatti dei PQ sono state constatate anche dagli esperti della Commissione: — il gruppo di esperti responsabile della valutazione quinquennale 2004 osservava che la valutazione dovrebbe coprire e prestare sufficiente attenzione a questioni relative al lungo e breve termine, e che le risorse potrebbero essere svincolate per consentire studi di valutazione a lungo termine più ambiziosi, che esplorassero aspetti strutturali e questioni socioeconomiche più ampie in modo più sistematico (63), — uno studio commissionato dalla direzione generale Ricerca constatava che le pratiche attuali di valutazione della RST (compresi il monitoraggio continuo, le valutazioni quinquennali e la valutazione intermedia) erano caratterizzate dal forte accento posto sul monitoraggio rispetto alla valutazione dell'impatto. Osservava inoltre che, al fine di spostare la domanda e la previsione verso l'impatto socioeconomico, occorrerebbe un nuovo quadro per la valutazione e il monitoraggio, che imponga un maggiore sforzo per la valutazione dell'impatto, piuttosto che per il monitoraggio delle realizzazioni (64).

102. La questione della tempestività incide anche sulle valutazioni specifiche previste dalla normativa. Ad esempio, la relazione Marimón pubblicata nel 2004, che ha analizzato i nuovi strumenti introdotti nel 6o PQ (2003-2006), è stata richiesta troppo presto e, di conseguenza, le esperienze pratiche e le prove empiriche su cui poteva basare le conclusioni erano scarse, se non nulle (65).

Comunicazione e diffusione

103. La Commissione, di propria iniziativa, può sviluppare ed adattare i programmi di lavoro operativi secondo cicli a breve termine, previa approvazione del comitato di programma competente. Ciò potrebbe offrire l'opportunità d'apportare le necessarie modifiche alla gestione dei programmi, nonché di riassegnare delle dotazioni all’interno dei sottoprogrammi. Non è emerso che la Commissione si sia avvalsa di tale possibilità (cfr. paragrafo 107).

104. A parte ciò, considerato il modo in cui i PQ sono concepiti ed adottati, è quasi impossibile che la Commissione introduca cambiamenti significativi, come modifiche degli obiettivi dei programmi o la ridistribuzione degli stanziamenti tra sottoprogrammi. Soltanto il legislatore può emanare modifiche così ampie durante una revisione della normativa relativa ai PQ (come nel 2010 per il 7o PQ) o l’adozione del PQ successivo. Per questo motivo, la normativa prevede in genere che i principali esercizi di valutazione vengano programmati, in modo tale che i risultati possano essere presi in considerazione il più utilemente possibile ai fini dell'elaborazione delle politiche.

105. Pertanto, alcuni dei principali utenti delle valutazioni della Commissione sono le «direzioni generali della ricerca» (66). La normativa relativa ai PQ richiede però espressamente che tali valutazioni siano comunicate anche al Parlamento europeo e al Consiglio.

106. Nel quadro dell’indagine della Corte presso la commissione ITRE del Parlamento europeo e il comitato CREST del Consiglio, la maggioranza degli intervistati ha dichiarato però di non ritenersi sufficientemente informata circa l’attuazione e i risultati dei PQ (cfr. grafico 9) (67).

Seguito dato alle risultanze della valutazione

107. Nelle relazioni annuali di valutazione, la Commissione fornisce una sintesi delle constatazioni e delle misure prese sulla base delle sue valutazioni (68). Per quanto riguarda il seguito dato, la Commissione ha fornito anche risposte formali alle risultanze e alle raccomandazioni delle valutazioni quinquennali, nonché alle valutazioni specifiche previste dalla normativa; inoltre, per quanto possibile, ha adottato misure adeguate per colmare le carenze segnalate. Ciò non è però avvenuto per molte altre relazioni di valutazione esaminate e dall'audit non è emerso che le risultanze e le raccomandazioni fossero state prese in considerazione per modificare i programmi di lavoro. Allo stesso modo, le informazioni complementari sul BPA e le relazioni annuali di attività elaborate dalle direzioni generali non indicano in quale misura sia stato dato seguito alle risultanze di audit.

Raccomandazioni

108. La Commissione dovrebbe definire il tipo e la portata della valutazione che potrebbero essere ragionevolmente attesi per le date previste dalla normativa (2008, 2010 e 2015), spiegare come le valutazioni possano essere utilizzate per adattare i programmi («learning programmes») e specificare il contributo che le valutazioni possono fornire alle decisioni sulle politiche. In particolare, la Commissione dovrebbe chiarire quale approccio intenda adottare nei confronti della valutazione dei risultati a più lungo termine dei PQ passati e presenti, considerato che possono passare da 7 a 10 anni prima che tali risultati si manifestino (cfr grafico 8). 109. La Commissione dovrebbe esaminare le pratiche adottate in materia di comunicazione e diffusione delle risultanze delle proprie valutazioni, per far sì che le parti interessate ricevano le informazioni necessarie. In particolare, le «direzioni generali della ricerca» dovrebbero fornire una risposta formale a tutte le valutazioni e rendere pubblici tali studi in tempo utile, corredati delle loro risposte. Inoltre, le «direzioni generali della ricerca» dovrebbero riferire sul seguito dato a tali risultanze, nelle informazioni complementari sul BPA e nelle relazioni annuali di attività, e dovrebbero utilizzare le raccomandazioni per aggiornare i programmi di lavoro e concepire programmi futuri.

CONCLUSIONE GENERALE

110. La Corte riconosce che la valutazione dei programmi di RST, e in particolare dei loro risultati a lungo termine, è di per sé difficile e le buone pratiche sono difficili da definire.

111. A parere della Corte, la valutazione è essenziale per la gestione dei programmi, per la programmazione futura e per la formulazione delle politiche. Inoltre, la valutazione costituisce il punto di partenza per assolvere all’obbligo di rendere conto. Fornisce informazioni preziose su quali risultati attesi (o inaspettati) siano stati raggiunti e sul grado di conseguimento degli obiettivi dei programmi, nonché sulla pertinenza e l’utilità dei programmi e sull’efficienza e l’efficacia dell’attuazione dei programmi. Dato che sono il Parlamento europeo e il Consiglio a decidere l’orientamento generale, le questioni di bilancio e la concezione dei programmi nel quadro dei PQ, occorre un sistema di valutazione trasparente, credibile e robusto per fornire loro informazioni adeguate.

112. Nel 2000 e nel 2002, la Commissione ha stabilito un quadro di valutazione globale, successivamente aggiornato nel 2007. Benché durante il periodo coperto dall’audit della Corte non sia stato constatato alcun miglioramento significativo per quanto riguarda la pianificazione, la concezione e l’esecuzione delle valutazioni dei PQ e dei loro programmi costitutivi, le «direzioni generali della ricerca» hanno, in generale, rispettato gli obblighi formali validi per la Commissione nel suo insieme.

113. Per il periodo preso in esame dalla presente relazione, come previsto nella normativa relativa ai PQ, le «direzioni generali della ricerca» disponevano di un sistema di valutazione, per cui la Commissione può fare riferimento a un corpus considerevole di studi di valutazione. Resta tuttavia il fatto che le informazioni sul raggiungimento degli obiettivi dei programmi o sui risultati dei PQ sono esigue o inesistenti. Ciò è dovuto al fatto che le valutazioni si sono generalmente concentrate su questioni a breve termine sull'attuazione dei programmi. Pertanto, le valutazioni della Commissione sono risultate scarsamente utili per i responsabili dell'elaborazione delle politiche, per le parti interessate e persino per la Commissione.

114. Data l'importanza della valutazione per la gestione dei programmi e l’elaborazione delle politiche, l’approccio della Commissione alla valutazione dei PQ e dei loro programmi costitutivi deve essere rivisto, tenendo conto delle nuove sfide politiche, dell’aumento dei finanziamenti, di una maggiore apertura della politica comunitaria in materia di ricerca e della recente riforma della Commissione, come raccomandato anche dalla relazione pubblicata da EURAB nel 2007.

115. A parere della Corte, il ricorso a una logica di intervento esplicita nella futura concezione di programmi nel quadro dei PQ condurrebbe a programmi più mirati e meglio strutturati. Contribuirebbe, inoltre, all’iniziativa della Commissione «legiferare meglio», intesa a creare un quadro normativo meglio concepito, più semplice, più efficace e più comprensibile (69).

116. La valutazione dei PQ e dei loro programmi costitutivi risulterebbe più efficace se gli obiettivi e gli indicatori dei programmi fossero più chiari fin dall'inizio, se le «direzioni generali della ricerca» concordassero una strategia di valutazione robusta, ma non eccessivamente prescrittiva e se fossero utilizzate metodologie di valutazione più avanzate, tra cui gli approcci quantitativi.

117. La Corte ha rilevato inoltre un certo numero di ambiti in cui la Commissione potrebbe rivedere le disposizioni relative all'organizzazione attuale della valutazione dei PQ. Potrebbe essere utile: — coinvolgere più precocemente i gruppi di esperti nel processo di valutazione, fornendo così assistenza alla Commissione durante e dopo il periodo di programmazione, ed aumentando la specializzazione attraverso l’istituzione di gruppi di esperti per i programmi specifici e, se opportuno, per i sottoprogrammi; — integrare le unità di valutazione esistenti di ciascuna direzione generale con un ufficio di valutazione comune responsabile del coordinamento delle valutazioni dei PQ.

118. Le raccomandazioni formulate nella presente relazione si basano sulle pratiche esistenti all’interno della Commissione o sulle buone prassi a livello internazionale. Per quanto riguarda le risorse, è chiaro che l’introduzione dell’approccio suggerito per la valutazione dei programmi comporterebbe un aumento dei costi. Tuttavia, a parere della Corte, è estremamente probabile che tale aumento dei costi sia compensato da benefici finanziari almeno della medesima entità.

La presente relazione è stata adottata dalla Corte dei conti a Lussemburgo, nella riunione del 22 novembre 2007. Per la Corte dei conti Hubert WEBER Presidente

(1) Secondo l'OCSE, la ricerca e lo sviluppo possono essere definiti come quel complesso di lavori creativi intrapresi in modo sistematico sia per accrescere l’insieme delle conoscenze (inclusa la conoscenza dell'uomo, della cultura e della società), sia per utilizzare tali conoscenze in nuove applicazioni (cfr. OCSE, Manuale di Frascati — proposta di norme pratiche per lo svolgimento di studi di ricerca e sviluppo pratico, Parigi, 2002, pag. 30). Nel contesto comunitario, è utilizzato l’acronimo RST per indicare la tecnologia, la ricerca e lo sviluppo.

(2) La DG Ricerca è la principale direzione generale che gestisce e coordina i PQ. Altre cinque DG gestiscono anche (parti di) programmi specifici: DG Società dell’informazione e mezzi di comunicazione (la più importante), DG Energia e trasporti, DG Imprese e industria, DG Pesca e affari marittimi ed il Centro comune di ricerca della Commissione.

(3) Nel 2000, il Consiglio europeo di Lisbona ha fissato l’obiettivo di rendere l’UE entro il 2010 l'economia basata sulla conoscenza più competitiva, più dinamica e più sostenibile al mondo, in grado di conseguire la piena occupazione e una maggiore coesione economica e sociale.

(4) Nel 2002, il Consiglio europeo ha concluso che la spesa complessiva per la RST e l’innovazione nell’Unione europea dovrebbe essere aumentata con l'obiettivo di raggiungere il 3 % del PIL entro il 2010. Inoltre, il settore privato dovrebbe coprire i due terzi dei nuovi investimenti (cfr. Commissione europea, «Investire nella ricerca: un piano d’azione per l'Europa»; Comunicazione della Commissione al Consiglio, al Parlamento europeo, al Comitato economico e sociale europeo e al Comitato delle Regioni, COM(2003) 226 def., pag. 7).

(5) Nel caso della gestione diretta, la Commissione esegue le operazioni necessarie per effettuare atti d'esecuzione di bilancio senza alcun coinvolgimento degli Stati membri o dei paesi terzi in cui risiedono i beneficiari dei finanziamenti.

(6) Nel 2006, più di 22 000 entità giuridiche pubbliche e private hanno partecipato al solo 6o PQ, generalmente nell’ambito di consorzi con più partecipanti.

(7) Si tratta di un metodo di cooperazione fondato sul principio della cooperazione intergovernativa volontaria. Si basa in particolare sull’apprendimento reciproco, sulla valutazione comparata e sulla condivisione delle pratiche migliori.

(8) Regolamento (CE, Euratom) n. 1605/2002 del Consiglio del 25 giugno 2002 (GU L 248 del 16.9.2002, pag. 1), articoli 27, 48, 59 e 60.

(9) Commissione europea, DG Bilancio, Comunicazione di Dalia Grybauskaitė, con il consenso del Presidente, alla Commissione Responding to strategic needs: reinforcing the use of evaluation, SEC(2007) 213, 21 febbraio 2007; Commissione europea, DG Bilancio, Comunicazione di Michaele Schreyer alla Commissione Focus on Results: Strengthening Evaluation of Commission Activities, SEC(2000) 1051, 26 luglio 2000.

(10) Decisione n. 1982/2006/CE del Parlamento europeo e del Consiglio del 18 dicembre 2006 concernente il settimo programma quadro della Comunità europea per le attività di ricerca, sviluppo tecnologico e dimostrazione (2007-2013) (GU L 412 del 30.12.2006, pag. 1): articolo 7, paragrafo 1; le informazioni sul monitoraggio che la Commissione deve comunicare ai comitati di programma sono indicate nelle decisioni concernenti i programmi specifici (cfr., ad esempio, decisione 2006/971/CE del Consiglio del 19 dicembre 2006 concernente il programma specifico Cooperazione che attua il settimo programma quadro della Comunità europea per le attività di ricerca, sviluppo tecnologico e dimostrazione (2007-2013) (GU L 400 del 30.12.2006, pag. 86): articolo 8, paragrafo 4 ed allegato V).

(11) Commissione europea, Comunicazione al Consiglio concernente un piano d’azione comunitario relativo alla valutazione delle attività di ricerca e sviluppo della Comunità europea nel periodo 1987-1991, COM(86) 660 def., del 20 novembre 1986, in risposta alla risoluzione del Consiglio del 28 giugno 1983.

(12) Commissione europea, Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996. Relazione del gruppo di esperti indipendenti presieduto da Etienne Davignon (1997); Commissione europea, Five-year Assessment of the European Union Research and Technological Development Programmes, 1995-1999; Relazione del gruppo di esperti indipendenti presieduto da Joan Majó (luglio 2000); Commissione europea, Five-year Assessment of the European Union Research Framework Programmes, 1999-2003; Relazione del gruppo di esperti indipendenti presieduto da Erkki Ormala (15 dicembre 2004).

(13) Commissione europea, Evaluation of the effectiveness of the New Instruments of Framework Programme VI, 21 giugno 2004, relazione del gruppo di esperti ad alto livello presieduto dal prof. Ramon Marimón.

(14) Commissione europea, DG Bilancio, Comunicazione di Michaele Schreyer alla Commissione, Focus on Results: Strengthening Evaluation of Commission Activities, luglio 2000, SEC(2000) 1051; Commissione europea, DG Bilancio, Comunicazione del Presidente e di Michaele Schreyer alla Commissione, Evaluation Standards and Good Practice, C(2002) 5267, 23.12.2002.

(15) Commissione europea, DG Bilancio, Comunicazione di Dalia Grybauskaitė, con il consenso del Presidente, alla Commissione Responding to strategic needs: reinforcing the use of evaluation, SEC(2007) 213, 21 febbraio 2007.

(16) Commissione europea, documento di lavoro interno, Impact assessment and ex-ante evaluation, SEC(2005) 430.

(17) La commissione per l'industria, la ricerca e l’energia (ITRE) del Parlamento europeo è responsabile (in particolare) della politica industriale, della politica in materia di ricerca (comprese la valorizzazione e la diffusione dei risultati della ricerca), della politica spaziale, delle attività del Centro comune di ricerca, del trattato Euratom e della società dell'informazione e delle tecnologie dell'informazione.

(18) Il CREST (Comitato della ricerca scientifica e tecnica) è stato istituito con una risoluzione del Consiglio del 14 gennaio 1974; è composto di rappresentanti delle autorità nazionali responsabili delle politiche di RST negli Stati membri. Il CREST ha un ruolo consultivo e informa la Commissione e il Consiglio, in particolare su questioni concernenti il coordinamento delle politiche degli Stati membri in materia di RST e il monitoraggio e la valutazione dei PQ.

(19) I modelli logici, che illustrano come i contributi nelle diverse attività conducono ai risultati attesi, sono il metodo più adeguato per illustrare la logica d’intervento. Tali modelli sono in grado di spiegare in modo chiaro le ipotesi sottese alle modalità di concezione di un programma e al modo in cui gli obiettivi generali sono scomposti in obiettivi operativi.

(20) Commissione europea, DG Bilancio, Evaluating EU activities: a practical guide for the Commission services, luglio 2004, pagg. 87 e 106.

(21) «Five year Assessment of the European Union Research Framework Programmes, 1999-2003», Relazione del gruppo di esperti indipendenti presieduto da Erkki Ormala (15 dicembre 2004): sezione 6 «Evaluating the Framework Programme», pag. 19.

(22) I paesi beneficiari di aiuti esterni sono tenuti a presentare modelli logici per il finanziamento comunitario (Commissione europea, Aid delivery methods, volume 1, Project cycle management guidelines, marzo 2004, sezione 5: The logical framework approach).

(23) Regolamento (CE, Euratom) n. 1605/2002, articolo 27, paragrafo 3.

(24) Nel 2006, la politica «08 ricerca» è stata strutturata sulla base dei programmi (e sottoprogrammi) specifici dell’attuale periodo di programmazione nel quadro del 6o PQ (pertanto, è stata sostituita da una struttura diversa nel 2007). Nel caso della politica «09 società dell’informazione», invece, il programma in corso e quello precedente sono stati raggruppati in un’unica attività di BPA (Commissione europea, DG Ricerca, Direzione A: Coordination of Community activities, Planning, programming, evaluation, Annaul Management Plan 2006, 20.12.2005; Commissione europea, DG Società dell’informazione e mezzi di comunicazione, Piano di gestione annuale 2006, 23.12.2005).

(25) Nel caso della DG Ricerca, gli obiettivi della GPA (e gli indicatori utilizzati per misurarne il raggiungimento) cambiavano ogni anno. Per contro, la DG Società dell’informazione e mezzi di comunicazione utilizzava obiettivi pluriennali che, però, non corrispondevano agli obiettivi del programma (o a quelli specificati a livello del programma di lavoro).

(26) Commissione europea, Servizio di audit interno, Review of effectiveness and efficiency of the SPP/ABM cycle — SG e DG Bilancio, 2005: paragrafo 4.1, pag. 31.

(27) Commissione europea, Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes, COM(83) 1 def., 19 gennaio 1983.

(28) Comunicazione della Commissione al Consiglio e al Parlamento europeo — Sorveglianza e valutazione esterna indipendente delle attività comunitarie nel settore della ricerca e dello sviluppo tecnologico, COM(1996) 220 def., 22.5.1996.

(29) Ciascuna DG responsabile dell’attuazione dei PQ documenta le valutazioni programmate in piani di valutazione annuali (e pluriennali). Tuttavia, tali documenti di pianificazione non possono essere considerati come una vera e propria strategia di valutazione.

(30) Regolamento (CE, Euratom) n. 1605/2002, articolo 27, paragrafo 4.

(31) Nel 2004 la Deutsche Forschungsgemeinschaft(DFG) ha creato un istituto specializzato, l’Institut für Forschungsinformation und Qualitätssicherung (IFQ), a cui è stata attribuita la responsabilità dello sviluppo e della standardizzazione delle metodologie di valutazione, la garanzia della qualità e la realizzazione di valutazioni delle attività di RST finanziate dalla DFG.

(32) Agencia Nacional de Evaluación y Prospectiva dipendente dal Ministerio de Educación y Ciencia: Orden ECI/1252/2005 del 4 maggio 2005 che istituisce la Comisión Asesora de Evaluación y Prospectiva (Comitato consultivo sulla valutazione e la prospettiva).

(33) «Loi de programme pour la recherche no 2006-450» del 18.4.2006 e «Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)» del 3.11.2006.

(34) Nel quadro del 7o PQ, la Commissione ha istituito 15 gruppi consultivi di esperti, a fronte di 12 gruppi nel quadro del 6o PQ e 17 gruppi nel quadro del 5o PQ. Tali gruppi forniscono consulenza alla Commissione su questioni relative alle politiche e ai programmi in relazione ai PQ. Va tuttavia notato che tali gruppi consultivi non coprono l’insieme della struttura dei programmi nel quadro dei PQ. In altre parole, non esiste un gruppo consultivo di esperti per ciascun programma (o sottoprogramma) specifico.

(35) In Canada, quasi tutti i dipartimenti federali governativi hanno stabilito comitati di valutazione permanenti, composti di alti funzionari del dipartimento e, generalmente, di parti interessate esterne, al fine di soprintendere al sistema di valutazione (Social Sciences and Humanities Research Council of Canada: Evaluation Standing Committee — Mandate and Membership).

(36) Commissione europea, Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes, agosto 2005, pag. 5.

(37) Commissione europea, «Planning and optimising Commission human resources to serve EU priorities», SEC(2007) 530, 24 aprile 2007.

(38) Commissione europea, DG Bilancio, Comunicazione del Presidente e della signora Schreyer alla Commissione, «Evaluation standards and good practice», C(2002) 5267, 23.12.2002; Commissione europea, documento di lavoro interno, «Impact assessment and ex-ante evaluation», SEC(2005) 430, 6 aprile 2005, allegato 1, nota 209.

(39) Nel 2007, il Comitato consultivo europeo per la ricerca (EURAB) ha raccomandato anche un aumento delle risorse destinate alla valutazione dei PQ (EURAB, «Recommendations on Ex-Post Impact Assessment», luglio 2007).

(40) Relazione speciale n. 1/2004 sulla gestione delle azioni indirette di RST nell'ambito del quinto programma quadro (5o PQ) in materia di ricerca, sviluppo tecnologico e dimostrazione (1998-2002) (GU C 99 del 23.4.2004), paragrafi 116 e 122.

(41) Commissione europea, DG Bilancio, Comunicazione di Dalia Grybauskaitė, con il consenso del Presidente, alla Commissione Responding to strategic needs: reinforcing the use of evaluation, SEC(2007) 213, 21 febbraio 2007; Commissione europea, Comunicazione del Presidente e di Michaele Schreyer alla Commissione, Evaluation standards and good practice, C(2002) 5267, 23.12.2002.

(42) 14 DG hanno elaborato manuali di valutazione per politica e per i programmi di loro competenza (Commissione europea, DG Bilancio — unità di valutazione, Overview of Evaluation Guides in the Commission, ottobre 2004).

(43) Fahrenkrog, G. et al, «RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002»; Prest et al.; Assessing the Socio-economic Impacts of the Framework Programme; Università di Manchester; 2002.

(44) Benché la Commissione disponga generalmente di tali informazioni sui partecipanti, spesso queste non possono essere utilizzate per svolgere analisi particolareggiate, considerato che i dati relativi a un determinato partecipante non sono conservati in un unico luogo né registrati necessariamente in formati compatibili. Ciò rende difficile seguire il coinvolgimento di tale partecipante nel tempo, ad esempio per esaminare i motivi di una mancata partecipazione, nonché stabilire le relazioni tra partecipanti, per studiare ad esempio agli effetti dei collegamenti in rete (cfr. paragrafo 84).

(45) Relazione annuale sull'esercizio finanziario 2006, grafico 2.3; relazione annuale sull'esercizio finanziario 2005, paragrafo 7.13; relazione an