Source: https://www.anvur.it/rapporto-2016/static/TerzaMissione_Ipertesto.htm
Timestamp: 2020-07-14 23:26:59+00:00

Document:
Agenzia Nazionale per la Valutazione del sistema Universitario e della Ricerca (ANVUR)
(VQR 2011-2014)
Parte Seconda: Statistiche e risultati di compendio – Terza Missione
AMBITI. Gli ambiti di valutazione della Terza Missione come definiti dal Manuale.
ADDETTI VQR. Il personale degli enti di ricerca e delle altre istituzioni in servizio al 01/11/2015 e accreditato ai fini della VQR 2011-2014.
ANVUR. Agenzia Nazionale per la Valutazione del sistema Universitario e della Ricerca.
BANDO. Il bando di partecipazione alla VQR 2011–2014.
BC. Beni culturali.
CETM. Commissione di Esperti della valutazione della Terza Missione.
CINECA. Consorzio Interuniversitario di Calcolo. Ha gestito il sistema di informatizzazione e le procedure amministrativo-contabili relativi al processo di valutazione.
CRC. Centri di Ricerca Clinica, strutture specializzate nella sperimentazione clinica e valutate nell’ambito della TM, Tutela della Salute.
CT. Conto Terzi.
DM. Il decreto ministeriale n. 458 del 27 giugno 2015 che ha affidato all’ANVUR lo svolgimento della VQR 2011–2014.
ECM. Corsi di Educazione Continua in Medicina, valutati nell’ambito della TM, Tutela della Salute.
FC. Formazione continua.
ISTITUZIONI. I soggetti che hanno partecipato alla valutazione VQR: università, enti di ricerca, consorzi interuniversitari.
MANUALE. Il documento “La valutazione della terza missione nelle Università e negli Enti di Ricerca. Manuale per la Valutazione” pubblicato dall’ANVUR nell’Aprile del 2015 allo scopo di guidare la valutazione dei dati di Terza Missione dal punto di vista dei criteri e delle domande valutative.
MIUR. Ministero dell’Istruzione, dell’Università e della Ricerca.
PE. Public Engagement.
PERSONALE SUA-TM. Il personale registrato nella Scheda Unica Annuale per la Ricerca Dipartimentale e per la Terza Missione e in servizio al 31/12 dell’anno di riferimento.
PI. Proprietà Intellettuale.
SSD. I 370 Settori Scientifico-Disciplinari nei quali si articolano le sedici aree.
SOTTO-ISTITUZIONI. Le sotto-strutture (dipartimenti, istituti, ecc.) delle istituzioni che hanno partecipato alla valutazione VQR: università, enti di ricerca, consorzi interuniversitari.
SPO. Spin-off.
STI. Strutture di intermediazione.
SUA-RD. Scheda Unica Annuale per la Ricerca Dipartimentale.
SUA-TM. Scheda Unica Annuale per la Terza Missione.
TM. Terza Missione.
TS. Sperimentazione clinica, infrastrutture di ricerca e formazione medica (Tutela della Salute)
TT. Trasferimento Tecnologico.
TTO. Ufficio di trasferimento tecnologico (Technology Transfer Office).
Tabella 1 – Attività in valutazione. atenei, enti di ricerca e consorzi interuniversitari
Tabella 2 - SUA-TM Atenei: ambiti e livello di rilevazione delle informazioni
Tabella 3 – SUA-TM Enti: ambiti e livello di rilevazione delle informazioni
Tabella 4 – CETM: esperti, afferenze, ruoli e suddivisione in sottogruppi
Tabella 5 – Numero di atenei, enti e consorzi valutati per gli ambiti di valorizzazione della ricerca
Tabella 6 – Definizione delle classi di merito utilizzate per PI, SPO, CT
Tabella 7 - PI: classe di merito per criterio e finale, ordinamento decrescente per indicatore sintetico
Tabella 8 - SPO: classe di merito per criterio e finale, ordinamento decrescente per indicatore sintetico
Tabella 9 – CT: classe di merito per criterio e finale, ordinamento decrescente per indicatore sintetico
Tabella 10 – SIT: definizione delle classi di merito per criterio
Tabella 11 - SIT: classe di merito per criterio, ordinamento alfabetico
Tabella 12 – PI: indicatori utilizzati per la valutazione di enti e consorzi
Tabella 13 – PI: indicatori e posizione nelle graduatorie, enti di ricerca, ordinamento alfabetico
Tabella 14 – PI: indicatori e posizione nelle graduatorie, consorzi, ordinamento alfabetico
Tabella 15 – SPO: indicatori utilizzati per la valutazione di enti e consorzi
Tabella 16 – SPO: indicatori e posizione nelle graduatorie, enti di ricerca, ordinamento alfabetico
Tabella 17 - SPO: indicatori e posizione nelle graduatorie, consorzi, ordinamento alfabetico
Tabella 18 - CT: indicatori utilizzati per la valutazione di enti e consorzi
Tabella 19 - Indicatori e posizione nelle graduatorie, enti di ricerca, ordinamento alfabetico
Tabella 20 – CT: indicatori e posizione nelle graduatorie, consorzi, ordinamento alfabetico
Tabella 21 – SIT: profili, enti di ricerca
Tabella 22 - SIT: profili, consorzi
Tabella 23 – Numero di atenei, enti e consorzi valutati per gli ambiti di produzione di beni pubblici
Tabella 24 – BC: classe di merito per criterio e finale, ordinamento alfabetico
Tabella 25 - TS: classe di merito per anno e criterio, ordinamento alfabetico
Tabella 26 – FC: classe di merito per criterio, ordinamento alfabetico per raggruppamento
Tabella 27 - PE: punteggio dell’ateneo (A), punteggio dei dipartimenti (Dip), frazione di dipartimenti con tre schede PE valutate (F3) e numero di dipartimenti presenti nell’ateneo (NDip) per il triennio 2011-2013 e per l’anno 2014; posizione in graduatoria e classe di merito per il 2014; ordinamento per classe di merito e posizione in graduatoria per punteggio per i dipartimenti (Pos. Grad. Dip)
Tabella 28 – BC: presenza di attività per criterio e quadri sintetici, enti di ricerca
Tabella 29 – BC: presenza di attività per criterio e quadri sintetici, consorzi
Tabella 30 - TS: classe di merito per anno e per criterio, ordinamento alfabetico
Tabella 31 – FC: classe di merito per criterio, enti di ricerca
Tabella 32 – FC: classe di merito per criterio, consorzi
Tabella 33 – PE: punteggio dell’istituzione (I), punteggio per le sotto-istituzioni (Si), frazione di sotto-istituzioni con tre attività valutate (F3) e numero di sotto-istituzioni presenti nell’ateneo (NSi) ; posizione in graduatoria (Pos. Grad. I) e classe di merito calcolate sulla media dei punteggi dell'istituzione nel quadriennio; enti di ricerca, ordinamento decrescente per I del quadriennio
Tabella 34 - PE: punteggio dell’istituzione (I); posizione in graduatoria e classe di merito per la media del quadriennio; consorzi, ordinamento decrescente per I del quadriennio
Rapporto finale ANVUR.. 1
Parte Seconda: Statistiche e risultati di compendio – Terza Missione. 1
21 Febbraio 2017. 1
Lista degli acronimi e termini speciali. 2
Lista delle tabelle.. 4
1. Introduzione. 7
2 Le istituzioni partecipanti alla valutazione della Terza Missione. 9
3 Le attività in valutazione. 10
4 La metodologia di valutazione. 10
4.1 La peer review informata. 10
4.2 Gli ambiti valutativi 11
4.3 La scheda di rilevazione. 13
5 La Commissione di Esperti di Valutazione della Terza Missione (CETM) 14
6 I risultati delle attività di Terza Missione nella valorizzazione della ricerca.. 15
6.1 Atenei 17
6.1.1 Gestione della proprietà intellettuale. 17
6.1.2 Imprese spin-off. 18
6.1.3 Attività conto terzi 19
6.1.4 Strutture di intermediazione. 20
6.2 Enti e consorzi 22
6.2.1 Gestione della proprietà intellettuale. 22
6.2.2 Imprese spin-off. 23
6.2.3 Attività conto terzi 24
6.2.4 Strutture di intermediazione. 24
7 I risultati delle attività di Terza Missione nella produzione di beni pubblici di natura sociale, educativa e culturale 26
7.1 Atenei 26
7.1.1 Produzione e gestione dei beni culturali 26
7.1.2 Sperimentazione clinica, infrastrutture di ricerca, formazione medica. 27
7.1.3 Formazione continua. 28
7.1.4 Public engagement 29
7.2 Enti e consorzi 31
7.2.1 Produzione e gestione dei beni culturali 31
7.2.2 Sperimentazione clinica, infrastrutture di ricerca, formazione medica. 31
7.2.3 Formazione continua. 32
7.2.4 Public engagement 32
8 Conclusioni 34
Il D.M. 458/2015 “Linee guida valutazione qualità della ricerca (VQR) 2011-2014” all’art. 2 c. 6 stabilisce che “nell'ambito del processo di valutazione e a fini conoscitivi sarà inoltre considerato, anche utilizzando le informazioni della Scheda unica annuale della ricerca dipartimentale, il profilo di competitività delle Istituzioni per le attività di "terza missione". Tale valutazione dovrà tenere conto della missione istituzionale fondamentale delle Istituzioni. Oltre ai parametri che saranno definiti dall'ANVUR, dovranno essere considerati, come elementi comuni di valutazione, i seguenti aspetti: proventi dall'attività conto terzi, attività brevettuale, imprese spin-off. Tale valutazione potrà in ogni caso essere considerata ai fini del riparto dell'assegnazione delle risorse statali alle Istituzioni interessate”.
Il DM, quindi, include nella valutazione della qualità della ricerca scientifica anche la valutazione delle attività di TM, considerando anzitutto quelle tipiche del trasferimento tecnologico e dell'imprenditorialità accademica ed estendendo la valutazione ad altri aspetti definiti da ANVUR.
Già nella precedente VQR, ANVUR aveva scelto di adottare una definizione ampia di TM comprendente sia “attività a vocazione più tecnologica” che “attività di trasferimento di conoscenze riferibili in particolare alle scienze umane”, quali gli scavi archeologici e i poli museali (si veda il Bando VQR 2004-2010). Sulla base delle informazioni raccolte durante quell’esercizio, è stato avviato un lungo processo di preparazione del quadro valutativo che è stato svolto in maniera partecipata[1] ed è culminato nella pubblicazione del Manuale. I principali elementi di novità nella valutazione delle attività di TM, come si specificherà meglio in seguito, riguardano i nuovi ambiti da valutare e l'utilizzo della metodologia della peer review informata; inoltre, il Manuale ha definito in maniera stringente gli ambiti valutativi e le attività da considerare, illustrando non solo i criteri, ma anche le domande valutative che devono guidare la valutazione.
Nel Bando VQR 2011-2014 per la valutazione della TM, ANVUR riprende la definizione ampia contenuta nel Manuale[2] e i criteri e la metodologia in esso indicati, e a tale scopo si avvale “commissioni di esperti i cui membri sono iscritti nell’albo apposito”. Inoltre, il Bando precisa che “le attività di Terza Missione saranno oggetto di valutazione autonoma, e non concorreranno al calcolo degli indicatori descritti nelle Appendici I e II”. Pertanto, la finalità di questa valutazione è esclusivamente conoscitiva ed è quella di individuare la strategia complessiva di TM che ogni struttura adotta in funzione delle proprie specificità e del contesto territoriale in cui è inserita. In questo senso, la valutazione concorre ad accrescere la consapevolezza delle istituzioni dell’importanza di “fare TM” e ad accompagnare i processi di adeguamento e innovazione organizzativa e condivisione di buone pratiche.
La natura estremamente eterogenea delle attività considerate e le differenti modalità di valutazione adottate per ciascun ambito sconsigliano qualsiasi aggregazione o tentativo di sintesi ulteriore rispetto a quanto viene qui riportato. Inoltre, anche per gli ambiti di TM in cui la rilevazione è risultata più robusta e gli indicatori più maturi, persistono le ragioni indicate nel Manuale per non legare i risultati di questa valutazione alla distribuzione premiale di risorse economiche.
A latere di questo Rapporto, l'ANVUR completerà la pubblicazione del database della SUA-TM, con l’aggiunta degli ultimi dati conferiti[3]. Si tratta di una ricca banca dati, la cui strutturazione ha avuto il merito di spronare le istituzioni ad una ricognizione più estesa del proprio portafoglio di attività di TM. Oltre ad ottemperare a esigenze di trasparenza, la disponibilità dei dati consentirà alla comunità scientifica e agli stakeholder di approfondire il dibattito in corso, a partire da un quadro esteso di TM e da un sistema di indicatori comparabili.
2 Le istituzioni partecipanti alla valutazione della Terza Missione
La valutazione delle attività di TM, svolgendosi nell’ambito della VQR 2011-2014, riguarda tutte le università e gli enti pubblici di ricerca vigilati dal MIUR, incluso il Consorzio per l'Area di Ricerca Scientifica e Tecnologica di Trieste AREA (non valutato per la qualità della ricerca per l’assenza di addetti accreditabili). Oltre a queste, alcune delle istituzioni che hanno partecipato volontariamente alla VQR 2011-2014, hanno richiesto di essere valutate anche per le attività di TM, in particolare:
- i consorzi interuniversitari:
– Consorzio Interuniversitario Nazionale per l'Informatica (CINI)
– Consorzio Interuniversitario Nazionale per la Scienza e Tecnologia dei Materiali (INSTIM)
– Consorzio Interuniversitario Reattività Chimica e Catalisi (CIRCC)
– Consorzio Interuniversitario per lo Sviluppo dei Sistemi a Grande Interfase (CSGI)
– Consorzio Nazionale Interuniversitario per le Scienze del Mare (CONISMA)
– Consorzio Nazionale Interuniversitario per le Telecomunicazioni (CNIT)
- le altre istituzioni di ricerca:
– Consiglio per la ricerca in agricoltura e l'analisi dell'economia agraria (CREA)
– Consorzio Universitario di Economia Industriale e Manageriale (CUEIM)
– Elettra-Sincrotrone Trieste S.C.p.A.
– Fondazione Bruno Kessler (FBK)
– Fondazione per le Scienze Religiose "Giovanni XXIII" (FSCIRE)
– Fondazione Edmund MACH
– Istituto Italiano di Tecnologia (IIT)
– Istituto Pasteur - Fondazione Cenci Bolognetti
– Istituto Superiore Mario Boella
– Istituto superiore sui sistemi territoriali per l'Innovazione (SiTi).
Data l’eterogeneità dei soggetti valutati, la valutazione delle attività di TM delle università è stata condotta separatamente da quella degli altri enti.
3 Le attività in valutazione
Le istituzioni hanno partecipato con entusiasmo alla valutazione, come dimostra la panoramica di dati relativi alle attività inserite da atenei, enti e consorzi (Tabella 1). I dati si riferiscono al totale delle attività rilevate e considerano le correzioni avvenute a seguito delle integrazioni documentali. Si segnala che, grazie al consolidamento della procedura di rilevazione, i dati 2014 presentano un maggior livello di accuratezza.
4 La metodologia di valutazione
4.1 La peer review informata
In base alle indicazioni del Manuale, la valutazione si è svolta secondo il metodo della peer review informata. Una Commissione di esperti ha valutato una serie di indicatori, ha richiesto - laddove necessario - integrazioni e approfondimenti e ha svolto delle audizioni con alcune delle istituzioni valutate, fornendo una valutazione delle istituzioni su ogni singolo ambito.
Come è risultato evidente dalla precedente VQR, solo in alcuni ambiti (fondamentalmente brevetti, spin-off e conto terzi) è possibile pervenire a una rilevazione estesa delle attività ed alla costruzione di indicatori omogenei. Di conseguenza, in questa fase, non è possibile pervenire ad un punteggio aggregato di TM. A questo proposito, il Manuale prescrive la necessità di svolgere la valutazione all’interno dei singoli ambiti valutativi e con metodologie dedicate. Pertanto, nelle aree in cui la maturità degli indicatori è elevata, vi è una forte concettualizzazione e metodologie valutative consolidate, si è giunti a produrre graduatorie e indicatori sintetici, mentre nelle aree in cui la discussione è ancora aperta e le prassi valutative poco standardizzate, sono stati assegnati dei giudizi di merito espressi in classi ordinate.
Inoltre, il Manuale raccomanda una certa attenzione alla influenza che i fattori di contesto generalmente hanno sulle attività di TM, in quanto attività di interazione diretta con la società. Infatti, l’eterogeneità dei contesti territoriali non solo incide in modo significativo sulle occasioni di relazione con la società, ma impone strategie differenti di interpretazione di vincoli e opportunità esistenti. Altrettanto cruciale, infatti, appare il legame di questo tipo di attività con la strategia istituzionale. Mentre le attività di ricerca e didattica, infatti, sono dovere istituzionale di ogni singolo docente e ricercatore, la TM è un ambito nel quale ogni ateneo o ente interviene, in funzione delle proprie specificità e delle proprie aree disciplinari. Pertanto, l'eventuale assenza di iniziative in uno o più ambiti non ha necessariamente una connotazione negativa, e va analizzata alla luce delle relazioni esistenti, della strategia dell’istituzione e del contesto in cui opera. Per questa ragione, in assenza di attività per ambiti o criteri specifici, le istituzioni non sono state penalizzate, ma connotate come non valutabili.
C’è poi un altro aspetto che il Manuale pone in evidenza. Rispetto all’attività di ricerca, la valorizzazione non può essere realizzata dai ricercatori senza il supporto di personale tecnico-amministrativo di elevata professionalizzazione e senza la sistematica interazione con soggetti esterni. Ciò implica la creazione di una struttura tecnico-amministrativa interna all’università che può assumere varie forme organizzative (TTO, l’ufficio commissione brevetti, l’ufficio spin-off…) e che supporta i ricercatori nella ricerca di opportunità di collaborazione con soggetti esterni, nella predisposizione e gestione di schemi contrattuali e legali, nelle procedure di brevettazione, nel riconoscimento ufficiale delle imprese e nel monitoraggio delle loro attività.
4.2 Gli ambiti valutativi
Il Manuale formalizza l’adozione della definizione estesa di TM e introduce la distinzione tra gli ambiti valutativi di valorizzazione della ricerca (macro-ambito A) e quelli di produzione di beni pubblici di natura sociale, educativa e culturale (macro-ambito B).
La valorizzazione della ricerca include per definizione la trasformazione di beni pubblici (la conoscenza originale prodotta dalle università e dalle altre istituzioni scientifiche con la ricerca) in beni privati (diritti di proprietà intellettuale, imprese spin-off, contratti di ricerca). Oggetto della valutazione è in questo caso la capacità delle istituzioni di gestire questi processi di appropriazione, esprimendo appieno il potenziale conoscitivo delle ricerca e generando al contempo nuove opportunità economiche e occupazionali.
La ricerca può essere valorizzata attraverso molteplici processi, ciascuno dei quali segue logiche operative proprie e richiede interventi specifici, che si realizzano attraverso il supporto organizzativo del personale tecnico-amministrativo e, talvolta, di strutture di intermediazione territoriale, come incubatori e parchi scientifici. Senza alcuna pretesa di esaustività, sono stati presi in considerazione i seguenti ambiti (per approfondimenti, si veda l’Appendice A del Rapporto della CETM):
Strutture di intermediazione (parchi scientifici, incubatori, TTO, uffici di placement)
La produzione di beni pubblici considera, invece, la capacità delle istituzioni di mettere a disposizione della società in senso lato i risultati della propria ricerca. Le ricadute hanno, in questo caso, scale temporali più lunghe rispetto a quelle della valorizzazione della ricerca, sono più diffuse e meno visibili e, soprattutto, sono più eterogenee. Esiste, infatti, un ampio ventaglio di modalità attraverso cui questo processo si compie, sia per il livello di coinvolgimento degli attori (iniziative individuali dei ricercatori o di gruppi di ricerca, iniziative di dipartimento, attività istituzionali di ateneo), sia per intensità (da iniziative una tantum a programmi continuativi nel tempo). Data la varietà delle attività, gli indicatori che le descrivono sono meno standardizzati e comparabili rispetto a quelli di valorizzazione della ricerca. Pertanto, l’analisi e la valutazione di questa componente della TM ha un carattere più sperimentale e richiede un approccio graduale.
In questo caso gli ambiti selezionati per la valutazione sono i seguenti (per approfondimenti, si veda l’Appendice A del Rapporto della CETM):
Produzione e gestione di beni culturali (musei, scavi archeologici, immobili storici)
Sperimentazione clinica, infrastrutture di ricerca e formazione medica (tutela della salute)
Questi ambiti non esauriscono la gamma completa delle attività rivolte alla società, ma ne coprono la gran parte. In particolare, per l’area del public engagement è stata adottata una definizione molto ampia che ha consentito alle istituzioni e alle loro sotto-istituzioni di valorizzare un’ampia rosa di attività.
Per ognuno degli ambiti, il Manuale riporta le definizioni, la base informativa, i criteri di valutazione e le domande valutative a cui devono rispondere gli esperti che svolgono la valutazione.
La distinzione formale tra le due anime della TM ha implicazioni importanti: i due macro-ambiti sono oggetto di capitoli separati di questo documento e hanno imposto alla Commissione una netta divisione del lavoro, allo scopo di garantire uno sforzo adeguato nella valutazione di tutti gli ambiti.
4.3 La scheda di rilevazione
La raccolta dei dati di TM è avvenuta all’interno della Scheda Unica Annuale della Ricerca Dipartimentale (SUA-RD), con la compilazione di una scheda dedicata alla Terza Missione (SUA-TM). La SUA-RD (e di conseguenza la SUA-TM che ne costituisce una parte) è uno strumento di rilevazione concepito per gli atenei nell’ambito del sistema AVA. Con la VQR 2011-2014, per la valutazione degli atenei è stata utilizzata la banca dati SUA-TM in quanto già disponibile, mentre per gli enti e le altre strutture in valutazione è stato predisposto uno strumento analogo[4].
Al fine di migliorarne la qualità e, al contempo, alleggerire il carico amministrativo degli atenei e degli enti, alcune informazioni sono state raccolte utilizzando le banche dati pubbliche, mediante due fasi: l’aggancio diretto di ANVUR alle banche dati e la validazione da parte delle istituzioni dei dati rilevati. Questa procedura di rilevazione e validazione è stata utilizzata, in particolare, per le informazioni riferite all’attività brevettuale e alle imprese spin-off.
Per gli atenei, la SUA-TM è stata avviata a regime nel 2013, e pertanto i dati relativi agli anni 2011 e 2012 sono stati richiesti a seguito dell’avvio della VQR e limitatamente agli ambiti di valorizzazione della ricerca (A), perché più facilmente reperibili e per evitare alle strutture un eccessivo aggravio di lavoro.
La rilevazione è avvenuta prevalentemente a livello di istituzione, ma in alcuni casi è stata prevista la rilevazione a livello dipartimentale/sotto-istituzione, come risulta evidente nella tabella 2. Tale ricchezza informativa ha permesso di fare dei focus di approfondimento, riportati nell’Appendice A al Rapporto della CETM:
Per gli enti e le altre istituzioni, la compilazione ha riguardato l’intero quadriennio di rilevazione 2011-2014 e le attività sono state rilevate su tutti gli ambiti per ciascun anno. Anche per gli enti, la rilevazione è avvenuta prevalentemente a livello di istituzione, tranne nei casi riportati nella Tabella 3.
Oltre ai dati sulle attività di TM gli indicatori considerano alcuni dati relativi al personale delle istituzioni, al fine di permettere una prima normalizzazione su base dimensionale. Con riferimento agli atenei, il personale è quello registrato nella SUA-TM e in servizio al 31/12 dell’anno di riferimento (nel seguito definito Personale SUA-TM); sono conteggiati professori ordinari, professori associati, ricercatori universitari, ricercatori a tempo determinato, assegnisti, dottorandi, specializzandi[5].
Con riferimento agli enti di ricerca e alle altre istituzioni, è conteggiato il personale in servizio al 01/11/2015 e accreditato ai fini della VQR 2011-2014[6] (nel seguito definito Addetti VQR), con la sola eccezione di AREA per cui è stato conteggiato il personale non esclusivamente amministrativo[7].
5 La Commissione di Esperti di Valutazione della Terza Missione (CETM)
La valutazione è stata svolta da una Commissione di Esperti di Valutazione della Terza Missione (CETM), che ha avuto a disposizione tutti i dati e gli indicatori in forma disaggregata. La Commissione ha operato secondo quanto indicato nel Regolamento. In particolare, la valutazione mediante peer review informata si è avvalsa dei seguenti strumenti:
- esame a distanza della documentazione, utilizzando come fonti informative i dati e i dossier della SUA-TM, gli indicatori prodotti dall’ANVUR e altre fonti disponibili (portali degli atenei o altri siti web);
- richiesta di integrazione documentale e audizioni per approfondire aspetti critici o poco chiari coinvolgendo direttamente le strutture valutate.
Coerentemente con la struttura del Manuale, la CETM è stata suddivisa nelle due sotto-commissioni “Valorizzazione della ricerca” (CETM A) e “Produzione di beni pubblici di natura sociale, educativa e culturale” (CETM B). Il Consiglio Direttivo ANVUR ha scelto gli esperti[8] all’interno dell’Albo degli esperti della valutazione per la Terza Missione e nominato al suo interno il Presidente e i Coordinatori delle sotto-CETM A e B (per ulteriori dettagli, si veda la sezione del sito ANVUR dedicata alla CETM. Inoltre, gli esperti, scelti dall’albo dell’ANVUR, sono stati equamente ripartiti all’interno delle CETM A e B, sulla base delle loro specifiche competenze e hanno svolto la valutazione dividendosi in sottogruppi per ambito.
Le due sotto-commissioni hanno svolto l’analisi dei dati e delle informazioni in maniera indipendente tra loro e fornito una valutazione su ogni singolo ambito, associata a una classificazione per classi di merito, definita in maniera distinta e più appropriata a ciascun ambito da valutare. Inoltre, la Commissione ha selezionato i dati e le evidenze che ha ritenuto più affidabili tra quelli disponibili, tenendo conto della loro completezza e della loro qualità. Le scelte fatte a monte sono sintetizzate nel documento “Criteri”, redatto dalla Commissione degli Esperti e approvato il 15 gennaio 2016.
Nel seguito si farà riferimento ai risultati della valutazione. Nella lettura è utile tenere presenti i criteri e le domande valutative indicati nel Manuale. Infatti, si farà esplicito riferimento a questi solo ed esclusivamente nei casi in cui la Commissione abbia optato per il mancato utilizzo, la modifica o la sostituzione di alcuni di essi. In ogni caso, le procedure di assegnazione delle classi e di costruzione degli indicatori sintetici sono dettagliatamente esposte nel Rapporto della CETM.
6 I risultati delle attività di Terza Missione nella valorizzazione della ricerca
Di seguito si presentano le linee generali della metodologia seguita e i principali risultati, rimandando al Rapporto della CETM per ulteriori specificazioni. Per i primi tre ambiti (proprietà intellettuale, spin-off e conto terzi), che costituiscono le attività tradizionalmente associate alla TM con le definizioni maggiormente condivise e un set di indicatori consolidati, la valutazione si è avvalsa di indicatori calcolati sul quadriennio (generalmente come medie dei valori annuali) e spesso normalizzati sulle dimensioni delle istituzioni considerando il personale. In particolare, per gli atenei è stato considerato il personale SUA-TM mentre per gli enti è stato utilizzato il dato sugli addetti VQR (per le definizioni, si veda il § 4.3).
Per ridurre l’impatto dimensionale e valorizzare quello di risultato, gli indicatori sono stati normalizzati sul personale dell’ateneo, considerano al denominatore non il numero di personale (personale SUA-TM), ma il suo logaritmo. La normalizzazione sul personale comporta, infatti, l’assunzione di un rischio distorsivo, dato che l’estrema eterogeneità delle dimensioni degli atenei potrebbe favorire le strutture di piccole dimensioni. L’uso del logaritmo ha l’effetto di ridurre le differenze nelle distribuzioni (in altri termini con i logaritmi si ottengono differenze meno ampie tra i numeri, quando trasformati; ad esempio la differenza tra 1000 rispetto a 100 nella trasformazione logaritmica in base 10 diventa una differenza tra 3 e 2). Inoltre, gli indicatori sono stati ricondotti a un campo di variazione compreso tra 0 e 1 (con la procedura [(Xi-Xmin)/(Xmax-Xmin)]) in modo tale da sintetizzarli (tramite somma pesata) prima per criterio, poi per ambito di valutazione.
Nel caso degli enti è stata seguita una procedura differente, in quanto la loro estrema eterogeneità non permetteva di costruire indicatori sintetici basati su una normalizzazione trasversale a tutti i soggetti in valutazione. Quindi, mentre nel caso degli atenei si sono costruite classi di merito per ogni ambito, sulla base del posizionamento di ogni struttura nella distribuzione percentile dei valori, nel caso degli enti ci si è limitati a dare, oltre al valore degli indicatori, il loro posizionamento in graduatoria, con valore esclusivamente descrittivo. Poiché in questo caso la procedura non prevede l’assegnazione di classi di merito, gli indicatori sono stati normalizzati linearmente sul personale (su addetti VQR).
Nel caso degli atenei si sono costruite 4 classi, più una relativa ai non valutati. Queste classi hanno una numerosità predefinita, rispettivamente 10%, 20%, 40% e 30% della popolazione, non discostandosi eccessivamente dal modello proposto nel Manuale, che riconosce la presenza di distribuzioni di performance di tipo asimmetrico; tuttavia l’applicazione delle soglie non è rigida e ha considerato, ove possibile, le discontinuità individuabili nelle distribuzioni degli indicatori. Ogni classe di merito, identificata con le lettere A, B, C, D, è associata a un giudizio che fa riferimento all’impegno registrato in ogni attività e derivante sia dall’importanza attribuita istituzionalmente, a seconda delle scelte fatte in autonomia dalle strutture, sia dall’implementazione/partecipazione a vari livelli (dipartimenti, istituti, gruppi, individui) a tali attività. L’assegnazione delle classi è effettuata sia per criterio di valutazione sia per ambito valutativo e permette di restituire il posizionamento di ogni ateneo nello spazio multi-output delle loro strategie emergenti (si vedano in proposito i grafici radar nel Rapporto della CETM e nei Rapporti delle singole istituzioni). Nel caso degli enti e dei consorzi si ha invece solo l’indicazione di punti di forza sulla base delle posizioni di rango di alcuni indicatori selezionati per ambito. L’eterogeneità di istituzioni quali gli enti di ricerca e i consorzi interuniversitari e le difficoltà nell’individuare modalità di comparazione affidabili, suggeriscono per il futuro una valutazione che combini indicatori quantitativi e dati qualitativi con un approccio del tipo “studio di caso”.
In riferimento all’ambito delle strutture di intermediazione territoriale, è stata svolta un’analisi qualitativa dei dati raccolti tramite la SUA-TM e mediante un questionario dedicato.
Sono state valutate esclusivamente le istituzioni che presentano attività nell’ambito in almeno uno degli anni in valutazione; si riporta il numero di atenei, enti e consorzi valutati (Tabella 5).
6.1 Atenei
Le classi di merito assegnate in base alla posizione degli atenei nella distribuzione ordinata degli indicatori per criterio e per ambito sono associate a un giudizio qualitativo, sinteticamente illustrato nella tabella seguente:
In riferimento all’ambito delle strutture di intermediazione territoriale sono state definite cinque classi di merito per tre criteri.
6.1.1 Gestione della proprietà intellettuale
Il processo valutativo ha considerato esclusivamente le Università con almeno 50 unità di personale afferenti alle aree CUN 1-9, escludendo dall’analisi 28 atenei non valutabili perché privi delle caratteristiche che connotano le istituzioni come attive in questo ambito. Per ulteriori dettagli su questa e altre scelte metodologiche della CETM, si rimanda al Rapporto CETM. La CETM ha valutato ogni ateneo con riferimento a tre criteri:
· Capacità inventiva (PI_ 1);
· Capacità di gestione della proprietà intellettuale (PI_ 2);
· Valorizzazione economica del portafoglio della proprietà intellettuale (PI_ 3);
e ha assegnato una valutazione finale per l’ambito della gestione della proprietà intellettuale (per approfondimenti, si veda il Rapporto CETM, § 3.1.1).
La tabella riporta le classi di merito per criterio e finale, elencando gli atenei in ordine decrescente per indicatore sintetico.
L’esito della valutazione evidenzia come la gestione della proprietà intellettuale presenti un gap tra capacità inventiva e valorizzazione economica del portafoglio brevettuale. In linea generale, gli atenei presentano un migliore posizionamento rispetto al primo criterio che rispetto al terzo. Più della metà degli atenei valutati (34 su 67) non hanno stipulato nel quadriennio di riferimento contratti di valorizzazione, né incassato alcuna entrata da brevetti o da privative. In generale il numero di contratti è molto basso, il che fa pensare che per molti atenei la sottoscrizione di un contratto di valorizzazione sia un evento casuale, legato alle peculiari e imprevedibili caratteristiche di un singolo brevetto, anziché il frutto di una politica di valorizzazione oculata e pianificata. D’altro canto, l’ampiezza della finestra di rilevazione è al massimo di quattro anni (nel caso di domande di brevetto pubblicate nel 2011); in occasione di questo primo esercizio valutativo è dunque opportuno considerare con cautela questo specifico aspetto. Per contro, va segnalato il peso limitato della brevettazione universitaria (cioè di titolarità degli atenei PI_2) rispetto a quella accademica (cioè di inventori degli atenei PI_1), forse da attribuire all’esercizio del professor’s privilege (art. 65 del Codice della Proprietà Industriale) da parte dei singoli ricercatori con scarsa capacità di monitoraggio da parte dell’istituzione, almeno fino al recente passato, oppure alle norme contenute nei regolamenti di atenei in base alle quali, nell’ambito di contratti di ricerca congiunta, la proprietà intellettuale va attribuita alle imprese e/o altri soggetti esterni e non agli atenei coinvolti.
6.1.2 Imprese spin-off
La CETM ha valutato gli atenei con riferimento a sei criteri:
· Impatto occupazionale (SPO_1);
· Impatto economico (SPO_2);
· Uscita dal capitale attraverso operazioni di acquisizione o di quotazione in borsa (SPO_3);
· Demografia delle imprese spin-off (SPO_4);
· Dinamica di crescita (SPO_5);
· Collaborazione con le strutture di ateneo (SPO_6);
e assegnato una valutazione finale per l’ambito (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 3.1.2).La Tabella 8 riporta le classi di merito per criterio e finale, elencando gli atenei in ordine decrescente per indicatore sintetico.
L’analisi dei dati ha evidenziato indicatori relativi all’occupazione e al fatturato non particolarmente positivi per la maggioranza degli atenei. In proposito va considerato che la valutazione è riferita a un periodo di crisi congiunturale. Il fenomeno delle imprese spin-off risulta equamente distribuito nel Paese, sebbene si debba segnalare una certa disomogeneità nei regolamenti adottati dagli atenei in tema di accreditamento. . Infine, l’analisi pone in luce, inoltre, il ricorso limitato ad investitori esterni per favorire dinamiche di crescita più veloci e diversificate.
Tranne alcuni atenei, qualificabili come best practice, il quadro complessivo che emerge, ivi incluso la curva lenta di crescita degli indicatori principali, evidenzia in larga parte un fenomeno di imprenditorialità accademica “necessitata”, laddove il ricorso alla creazione di impresa rappresenta una modalità per accedere a finanziamenti pubblici, per partecipare a consorzi (es., i distretti tecnologici), per occupare il personale, non strutturato.
6.1.3 Attività conto terzi
La CETM ha valutato ogni ateneo con riferimento ai seguenti cinque criteri:
· Intensità di ricerca conto terzi (CT_1)
· Intensità di servizi e prestazioni conto terzi (CT_2)
· Intensità di didattica conto terzi (CT_3)
· Intensità di relazioni istituzionali (CT_4)
· Finanziamento da parte di soggetti privati (CT_5).
e assegnato una valutazione finale per l’ambito (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 3.1.3). La Tabella 9 riporta le classi di merito per criterio e finale, elencando gli atenei in ordine decrescente per indicatore sintetico.
Va sottolineato che al conto terzi partecipano tutte le discipline, anche quelle umanistiche, a differenza di quanto avviene nella proprietà intellettuale e nell’imprenditorialità accademica a vocazione tipicamente tecnico-scientifica. Le entrate conto terzi per la didattica risultano essere la voce meno rilevante tra le entrate considerate. Si noti inoltre, che generalmente, se le entrate legate al conto terzi per ricerca risultano elevate, anche il finanziamento da soggetti privati è consistente. Le entrate da relazioni istituzionali, essendo senza controprestazione, identificando solo una potenzialità di risultato, hanno ricevuto il peso minore.
6.1.4 Strutture di intermediazione
La procedura di valutazione ha coinvolto tutte le istituzioni. Ai fini della valutazione sono stati considerati sia i dati rilevati tramite la SUA-TM, sia quelli rilevati tramite il questionario sulla strategia generale e le strutture di intermediazione proposto dalla CETM nel corso delle integrazioni documentali (si veda l’Appendice A al Rapporto CETM).
Le classi di merito (A, B, C, D, E) sono state definite (Tabella 10) e assegnate dagli esperti con una procedura qualitativa (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 3.1.4), considerando tre criteri:
· Rapporto con il territorio (SIT_1);
· Uso e coordinamento di risorse interne (SIT_2);
· Ricorso alle strutture di intermediazione (SIT_3).
La Tabella 11 riporta le classi di merito per criterio, elencando gli atenei in ordine alfabetico.
Oltre all’assegnazione delle classi, sono stati costruiti dei profili sulle singole istituzioni, in cui viene proposta una lettura integrata delle scelte strategiche e delle soluzioni organizzative adottate dagli atenei nell’approccio alla TM (si veda la parte terza). Infatti, l’utilizzo delle strutture di intermediazione va letto alla luce della strategia istituzionale di valorizzazione della ricerca, delle relative funzioni di coordinamento, delle risorse dedicate e dell’attività di monitoraggio. Queste sono scelte chiaramente autonome e discrezionali a cui è impossibile attribuire una valutazione di merito, ma di cui è stata valutata la leggibilità e la coerenza. Del resto, il tema della TM riceve una sempre crescente attenzione da parte delle istituzioni e la dinamica di crescita nel tempo delle strutture di intermediazione è positiva.
La quota degli atenei coinvolta in incubatori e parchi scientifici, per almeno uno degli anni considerati, è rispettivamente del 36 e del 39%. Considerando le strutture interne e esterne, un quinto del totale degli atenei partecipa a incubatori e parchi e si avvale di un proprio TTO, mentre, all’opposto, quasi un quarto (24%) non dispone di nessuna di queste strutture. Se si analizza nel dettaglio la presenza di strutture interne, quasi il 70% degli atenei dispone di un TTO o di altri uffici assimilabili e oltre il 90% si avvale di una struttura per gestire il placement, dati entrambi crescenti nel corso dei quattro anni sotto osservazione, a testimonianza del rafforzamento di una propensione a dotarsi di strutture di intermediazione anche in un quadro di difficoltà di personale e di bilancio. Va sottolineato un problema di incompletezza, discontinuità e scarsa coerenza dei dati raccolti che rimanda alla necessità di affrontare una serie di punti nel prossimo esercizio valutativo per migliorare la qualità della rilevazione. Una parte degli oggetti censiti sono “esterni” in tutto o in parte alle istituzioni valutate e questo introduce una oggettiva difficoltà nel raccogliere le informazioni che risultano, quindi, spesso incomplete, discontinue e incongrue. Le debolezze intrinseche alla rilevazione possono costituire, tuttavia, anche un indicatore dell’insufficiente sviluppo di un’azione di monitoraggio. In generale, l’analisi del ricorso alle strutture di intermediazione necessita di una più puntuale lettura della strategia dell’istituzione, in particolare nel rapporto tra strutture interne ed esterne, e nelle evoluzioni e trasformazioni di governance e/o organizzative. Infine, il ricorso ad una valutazione basata su informazioni di tipo quantitativo, è fortemente condizionata non solo dalla qualità dei dati, ma anche dal livello di sviluppo delle iniziative di terza missione, che determina anche una sfasatura temporale tra scelte ed effetti, oltre che dalle opportunità e dalle caratteristiche dei contesti territoriali/settoriali in cui si opera.
6.2 Enti e consorzi
Come già precisato nel paragrafo che introduce la valutazione della CETM A (si veda precedentemente, al § 5), la valutazione degli enti di ricerca e dei consorzi interuniversitari per i primi tre ambiti ha seguito modalità diverse da quelle utilizzate per gli atenei.
In particolare, per la costruzione degli indicatori degli enti viene considerato semplicemente il numero di Addetti VQR, a differenza di quanto è stato fatto per gli atenei (uso del logaritmo naturale del personale). Tale scelta è dovuta al fatto di trattare un insieme non omogeneo di istituzioni, in cui i confronti risulterebbero forzati.
La classificazione delle strutture di intermediazione, invece, ha seguito una logica analoga a quella degli atenei, modificando però i parametri utilizzati in ragione della peculiare distribuzione territoriale e della natura e caratteristiche delle istituzioni esaminate.
6.2.1 Gestione della proprietà intellettuale
Anche nel caso degli enti, la CETM ha valutato le istituzioni con riferimento a tre criteri:
· Capacità inventiva (e_PI_ 1);
· Capacità di gestione della proprietà intellettuale (e_PI_ 2);
· Valorizzazione economica del portafoglio della proprietà intellettuale (e_PI_ 3).
Inoltre, la valutazione ha considerato un sotto-insieme degli indicatori disponibili (Tabella 12) e la posizione di ciascun ente o consorzio con riferimento agli indicatori maggiormente significativi (e_PI_1_a per e_PI_1; e_PI_2_a ed e_PI_2_b per e_PI_2[9]) (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 3.2.1).
Si presentano in questa sede (Tabella 13 e Tabella 14) le posizioni rispetto ai primi due criteri e gli indicatori PI_1, PI_2_a e P_2_b.
Un gruppo di enti (Stazione Zoologica, OGS, Fondazione MACH, IIT, FBK e CREA), presenta rapporti elevati tra il numero di brevetti di propria titolarità e il numero di brevetti con inventori dell’ente, segno di un controllo elevato sulla PI. Segue un gruppo più eterogeneo di soggetti, con un rapporto tra i due indicatori di valore intermedio. I soggetti restanti, tra cui tutti i Consorzi, presentano valori molto bassi del rapporto tra brevettazione dell’ente e attività inventiva, anche se in alcuni casi quest’ultima appare molto significativa.
6.2.2 Imprese spin-off
La CETM ha valutato ogni istituzione con riferimento a cinque criteri:
· Impatto occupazionale (e_SPO_1);
· Impatto economico (e_SPO_2);
· Uscita dal capitale attraverso operazioni di acquisizione o di quotazione in borsa (e_SPO_3);
· Demografia delle imprese spin-off (e_SPO_4);
· Dinamica di crescita (e_SPO_5);
· Collaborazione con le strutture di ateneo (e_SPO_6).
La valutazione ha considerato diversi indicatori (Tabella 15) e la posizione di ciascun ente o consorzio con riferimento agli indicatori maggiormente significativi (e_SPO_1_a, e_SPO_2_a, e_SPO_3, e_SPO_4, e_SPO_5_a, e_SPO_5_c) (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 3.2.2).
Si presentano in questa sede (Tabella 16 e Tabella 17) le posizioni rispetto agli indicatori citati.
Tabella 17 - SPO: indicatori e posizione nelle graduatorie per imprese spin-off, consorzi, ordinamento alfabetico
CNR e FBK mostrano un buon impatto occupazionale e una buona tenuta delle spin-off accreditate. L’INFN ha la migliore performance sul piano dell’impatto economico e della crescita. L’IIT mostra un buon impatto occupazionale, tenuta e dinamica di crescita delle imprese spin-off accreditate nel periodo considerato. L’INGV e l’INSTM mostrano un buon coinvolgimento e supporto alle spin-off accreditate sia in termini di progetti comuni che di infrastrutture messe a disposizione.
6.2.3 Attività conto terzi
La CETM ha valutato ogni istituzione con riferimento a tre criteri:
· Ricerca e servizi (e_CT_1);
· Relazioni istituzionali (e_CT_2);
· Finanziamento da soggetti privati (e_CT_3).
La valutazione ha considerato diversi indicatori (Tabella 15) e la posizione di ciascun ente o consorzio con riferimento ai singoli indicatori (e_CT_1, e_CT_2, e_CT_3) e all’indicatore complessivo (e_CT) (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 3.2.3).
Si presentano in questa sede (Tabella 19 e Tabella 20) le posizioni rispetto agli indicatori citati.
Tabella 19 – CT: indicatori e posizione nelle graduatorie, enti di ricerca, ordinamento alfabetico
Il gruppo di enti che mostra i più alti rapporti tra entrate per attività commerciali – conto terzi per ricerca e servizi – e numero di addetti è composto nell’ordine da CUEIM, AREA, ISMB, enti di piccole dimensioni. In termini di finanziamenti privati senza controprestazione il gruppo che ha il posizionamento migliore è composto nell’ordine da FSCIRE, CREA, CNR e AREA.
6.2.4 Strutture di intermediazione
Ai fini della valutazione, come per gli atenei, sono stati considerati sia i dati rilevati tramite la SUA-TM, sia quelli rilevati tramite il questionario sulla strategia generale e le strutture di intermediazione, proposto dalla CETM nel corso delle integrazioni documentali (si veda l’Appendice A al Rapporto CETM). Considerato il numero ristretto degli enti interessati e i limiti dei dati disponibili, gli esperti non hanno ritenuto opportuno procedere ad una comparazione né ad un’assegnazione di classi. L’analisi dei dati disponibili quindi è di tipo qualitativo e descrittivo.
Sono stati considerati tre criteri:
· Uso e coordinamento di risorse interne (SIT_1);
· Ricorso alle strutture di intermediazione e rapporto con il territorio (SIT_2).
Si presenta dunque un profilo sintetico per gli enti e i consorzi interuniversitari in valutazione (Tabella 21 e Tabella 22), rimandando una esposizione più dettagliata al Rapporto CETM ,§ 3.2.4.
7 I risultati delle attività di Terza Missione nella produzione di beni pubblici di natura sociale, educativa e culturale
Qui si presentano i risultati della valutazione della produzione di beni di pubblica utilità da parte di università, politecnici, scuole superiori, enti di ricerca e consorzi, un esercizio che viene effettuato per la prima volta. La forte eterogeneità degli ambiti valutati, la limitata esperienza pregressa in Italia e all’estero, la minore maturità degli indicatori e alcune debolezze intrinseche alla rilevazione dei dati (che si intende sanare nella prossima rilevazione) hanno suggerito di fare affidamento soprattutto al giudizio esperto in tutti gli ambiti. Nell’ambito del public engagement, non avendo a disposizione indicatori, ma solo le schede descrittive delle singole attività, è stata svolta una peer review pura, utilizzando una griglia di valutazione elaborata dagli esperti (si veda l’Appendice A del Rapporto CETM).
La valutazione è fornita, per ogni ambito, a livello di istituzioni. L’unica eccezione è l’ambito di public engagement dove ogni istituzione è rappresentata da due risultati: uno relativo alle attività centrali e uno relativo alle attività delle sotto-istituzioni afferenti. In tutti gli ambiti (con l’eccezione dell’ambito di Formazione continua) si è scelto di utilizzare gli stessi criteri valutativi per le università e per gli enti.
Sono state valutate esclusivamente le istituzioni che presentano attività nell’ambito, in almeno uno degli anni in valutazione; si riporta il numero di atenei, enti e consorzi valutati (Tabella 23).
7.1 Atenei
7.1.1 Produzione e gestione dei beni culturali
Le classi di merito (A, B, C, D) sono state definite e assegnate dagli esperti attraverso un’analisi qualitativa; non si presentano graduatorie (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 4.1.1). La valutazione ha considerato, oltre ai dati conferiti nelle SUA-TM 2013 e 2014, quelli rilevati nel corso delle integrazioni documentali (si veda l’Appendice A del Rapporto CETM). La valutazione ha considerato tre criteri:
· Scavo e fruizione di beni archeologici (BC_1)
· Conservazione e gestione di poli museali (BC_2)
· Gestione e manutenzione di edifici storici (BC_3).
Ove possibile (nei casi in cui almeno due dei tre criteri risultassero valutabili) è stata inoltre assegnata una classe di merito finale. La Tabella 24 riporta le classi di merito per criterio e finali, elencando gli atenei in ordine alfabetico.
Per quanto si tratti di un ambito legato in parte a fattori contestuali e disciplinari (ad esempio la proprietà di immobili storici e il legame con aree disciplinari legate all’archeologia), l’impegno degli atenei in questo settore è rilevante, coinvolgendo due terzi del totale nazionale. Ben 46 di essi sono risultati valutabili su almeno due aspetti ed il 35% ha riportato una valutazione di buono o superiore.
7.1.2 Sperimentazione clinica, infrastrutture di ricerca, formazione medica
Le classi di merito sono state definite e assegnate dagli esperti per ciascun anno in valutazione, per questa ragione non si presentano graduatorie (per l’esposizione estesa della procedura di valutazione, si veda il Rapporto CETM, § 4.1.2). La valutazione ha considerato, oltre ai dati conferiti nelle SUA-TM 2013 e 2014, quelli rilevati nel corso delle integrazioni documentali (si veda l’Appendice A del Rapporto CETM).
· Trial clinici (TS_1);
· Centri di ricerca clinici e bio-banche (TS_2);
· Formazione medica (TS_3),
Le classi di merito assegnate sono cinque per i primi due criteri (A, B, C, D, E), mentre per il terzo non si presenta una vera e propria valutazione ma il quartile dell’indicatore sintetico di riferimento (Q1, Q2, Q3, Q4). Con riferimento ai trial clinici, oltre alla valutazione dei dati rilevati tramite la scheda SUA-TM, si presenta la classe di merito assegnata in base alla documentazione e ai dati aggiuntivi conferiti nel corso delle integrazioni documentali.
La Tabella 25 riporta le classi di merito assegnate, elencando gli atenei in ordine alfabetico.
L’impegno delle università nella tutela della salute emerge dal numero di atenei (54) che riportano almeno una attività tra quelle per le quali sono raccolti indicatori. I dati relativi alle attività di trial clinici, che è stato possibile approfondire e ampliare in occasione delle integrazioni documentali, mostra un impegno diffuso sul territorio che coinvolge ben 43 atenei. In proposito il dato relativo ai pazienti coinvolti è degno di nota. Nel solo 2013 viene riportato un totale di circa 100.000 pazienti coinvolti, pari a circa lo 0,15 % del totale della popolazione italiana.
La presenza di CRC e bio-banche è segnalata da 34 atenei per almeno uno degli anni in valutazioni e l’offerta di corsi ECM da 51, anche a testimonianza della trasversalità disciplinare delle tematiche interessate da questi corsi.
Nonostante i limiti intrinseci alla rilevazione, di cui si dice diffusamente nel Rapporto CETM, i dati raccolti denotano un grande interesse nei confronti di questa tematica da parte delle istituzioni e la necessità di migliorare la qualità dei dati nel prossimo esercizio.
7.1.3 Formazione continua
Le classi di merito sono state definite e assegnate dagli esperti per ciascun anno in valutazione considerando il valore di indicatori significativi per ciascun criterio (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 4.1.3). Sono stati considerati tre criteri:
· Utilizzo del potenziale formativo (FC_1);
· Orientamento verso la formazione continua (FC_2);
· Impatto sulla popolazione in età lavorativa (FC_3).
Le classi di merito assegnate sono quattro per il primo criterio (A, B, C, D) e tre per gli altri due (A, B, C). La classe è assegnata per il secondo e il terzo criterio tenendo in considerazione il tipo di istituzione valutata (università convenzionale, telematica, politecnico, scuola superiore) e le sue dimensioni[10] (nel caso degli atenei convenzionali) (in Tabella 26 si veda la colonna “Raggruppamento”). L’orientamento verso la formazione continua e l’impatto sulla popolazione in età lavorativa considerano rispettivamente il numero di corsi erogati e il numero di partecipanti e non possono che essere valutati alla luce del tipo di istituzione e delle sue dimensioni. In particolare, è importante tenere conto dell’ampiezza dell’utenza ordinaria e per questa ragione, la classificazione dimensionale si basa sul numero di studenti e non su quello dei docenti,
La valutazione ha considerato, oltre ai dati conferiti nelle SUA-TM, quelli rilevati nel corso delle integrazioni documentali (si veda l’Appendice A del Rapporto CETM)[11].
L’impegno nella formazione continua da parte delle università ha fornito un contributo importante al sistema paese. A titolo indicativo, ben 51 atenei hanno un impatto sulla popolazione attiva considerato eccellente.
7.1.4 Public engagement
La valutazione è stata effettuata considerando separatamente il triennio 2011-2013 (rilevato con la SUA-TM 2013) e il 2014 (rilevato singolarmente con la SUA-TM 2014). Sono stati considerati tre criteri per la valutazione delle singole iniziative:
· Chiarezza degli obiettivi dell’attività;
· Entità delle risorse impegnate nell’attività;
· Impatto dimostrabile dell’attività.
La classe di merito è attribuita considerando solo i dati del 2014: le schede compilate per il triennio 2011-2013 risultano, infatti, essere molto eterogenee e compilate in maniera meno accurata. La classe è stata definita e assegnata sulla base della valutazione complessiva delle iniziative presentate, espressa come un punteggio da 0 a 1; . La Tabella 27, oltre ai punteggi delle schede di ateneo (A), presenta anche i punteggi delle schede dei dipartimenti (Dip), la frazione di dipartimenti con tre schede valutabili (F3) e il numero totale di dipartimenti presenti nell’ateneo (NDip)[12]. Inoltre, per ciascun ateneo viene presentata la classe assegnata in base ai punteggi di ateneo per l’anno 2014 (su cui si è fondata la valutazione), la posizione in graduatoria calcolata sul punteggio di ateneo (Pos. Grad. A) e quella calcolata sul punteggio dei dipartimenti all’interno di ciascuna classe (Pos. Grad. Dip) (per la presentazione estesa della procedura di valutazione e della scheda utilizzata per l’assegnazione dei punteggi da parte degli esperti, si veda il Rapporto CETM, § 4.1.4).
Le iniziative valutate mostrano complessivamente una estrema varietà. Questo dato, positivo, evidenzia come non ci sia un limite effettivo alle potenzialità di PE del mondo accademico. Il dato negativo è che queste potenzialità spesso non sono sempre sfruttate e che molte iniziative valutate siano centrate su aspetti di orientamento e di immagine degli atenei. Si rende, pertanto, necessaria una maggiore consapevolezza del significato del public engagement e delle sue potenzialità.
7.2 Enti e consorzi
7.2.1 Produzione e gestione dei beni culturali
Anche nel caso degli enti, è stata svolta un’analisi qualitativa dei dati disponibili, utilizzando gli stessi criteri utilizzati per gli atenei:
Tuttavia, considerato il numero ristretto degli enti interessati e i limiti dei dati disponibili, la CETM non ha ritenuto opportuno procedere a una comparazione per questo ambito, né pervenire alla costruzione di una graduatoria. I dati sono presentati in modo descrittivo.
Si presenta in questa sede il quadro sintetico degli enti e dei consorzi interuniversitari valutabili (Tabella 28 e Tabella 29), rimandando l’esposizione estesa al Rapporto CETM, § 4.2.1.
7.2.2 Sperimentazione clinica, infrastrutture di ricerca, formazione medica
La valutazione ha coinvolto i soli due enti di ricerca esaminabili per almeno una delle attività rilevate.
Le classi di merito sono state definite e assegnate dagli esperti per ciascun anno in valutazione utilizzando solo i primi due criteri (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 4.2.2). Sono stati considerati i medesimi criteri degli atenei, e le stesse modalità di valutazione e definizioni delle classi di merito per i primi due:
· Formazione medica (TS_3).
Riguardo il terzo criterio, la formazione medica, solo INFN (2 corsi, presso i LNS di Catania, a complemento delle attività di CRC) e CNR (con 46 corsi) ha presentato attività. Per questo criterio, non potendo individuare un benchmarking come per gli atenei, non è possibile effettuare una valutazione.
7.2.3 Formazione continua
Le classi di merito sono state definite e assegnate dagli esperti sul quadriennio 2011-2014 considerando il valore medio degli indicatori significativi per ciascun criterio (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 4.2.3). Sono stati considerati tre criteri:
La classe è assegnata per il terzo criterio tenendo in considerazione la vocazione territoriale di alcuni enti, e in particolare di FBK (il cui bacino è costituito dalla provincia) e ISMB (la regione). Si presenta la classe di merito per ciascun criterio (Tabella 31 e Tabella 32).
In generale l’attività di formazione continua è presente, diversamente che nel caso degli atenei, solo in una minoranza dei soggetti istituzionali sottoposti alla valutazione della TM (12 su 29). Considerando l’impatto dell’attività, per quanto riguarda gli enti, cinque sono classificati al top, e altri quattro nella fascia immediatamente sotto. Questo mostra un impegno che, in parte, riflette le missioni specifiche di questi, ed in parte il loro legame con il territorio che può agire da stimolo in questa direzione.
7.2.4 Public engagement
La valutazione ha coinvolto 21 enti e 4 consorzi; è importante ricordare che, mentre gli atenei hanno presentato i dati per il periodo 2011-2013, agli enti è stato chiesto di presentare dati per ciascuno dei quattro anni della VQR.
Analogamente a quanto fatto sugli atenei, sono stati considerati tre criteri per la valutazione delle singole iniziative:
· Entità delle risorse impegnate nell’attività
La valutazione è stata svolta considerando separatamente ciascun anno in valutazione e infine, considerando la media dei punteggi sul quadriennio. Le classi di merito sono state attribuite sulla base della valutazione media delle iniziative presentate dall’istituzione; tuttavia, in Tabella 27, oltre a questi punteggi di istituzione (I), si presentano anche il punteggio ottenuto dalle sotto-istituzioni (Si), la frazione di sotto-istituzioni con tre attività valutabili per anno (F3) e il numero totale di sotto-istituzioni presenti nell’istituzione (NSi)[13] (per la presentazione estesa della procedura di valutazione, si veda il Rapporto CETM, § 4.2.4).
Tabella 33–PE: punteggio dell’istituzione (I), punteggio per le sotto-istituzioni (Si), frazione di sotto-istituzioni con tre attività valutate (F3) e numero di sotto-istituzioni presenti nell’ateneo (NSi); posizione in graduatoria (Pos. Grad. I) e classe di merito calcolate sulla media dei punteggi dell'istituzione nel quadriennio; enti di ricerca, ordinamento decrescente per I del quadriennio
Il fatto che gli enti, a differenza degli atenei, abbiano presentato attività per tutti gli anni in VQR permette di ottenere un quadro più completo, anche con riferimento all’andamento nel tempo. Una analisi più dettagliata delle attività presentate mostra che queste sono, ovviamente, legate alle specificità di ricerca di ciascun ente ma, relativamente alla tipologia, si evidenzia (nel top 30%), una certa varietà. Rispetto agli atenei le iniziative di orientamento sono più rare e si dà più spazio ad altri aspetti della divulgazione della ricerca. Ben sette strutture (il 25% del totale) non presentano attività di PE.
La valutazione della TM svolta nell’ambito della VQR 2011-2014 ha riguardato ben otto ambiti valutativi, debitamente individuati dal Manuale, dimostrando di accogliere una definizione più ampia di quella di mero trasferimento tecnologico. Oltre alla gestione brevettuale, all’imprenditorialità accademica, alla ricerca conto terzi e alle strutture di intermediazione territoriale, l’esercizio valutativo ha interessato anche la produzione di beni pubblici di natura sociale, educativa e culturale. Gli atenei e gli enti di ricerca hanno risposto a questa sfida restituendo un quadro ricco e articolato sul ruolo del sistema scientifico italiano nella valorizzazione della conoscenza.
A differenza di quanto diffusamente ritenuto, in questi processi giocano un ruolo attivo, non sono solo le discipline ingegneristiche e le scienze naturali, ma anche le scienze umane e sociali (in particolare nelle attività conto terzi). Inoltre, pur risultando evidenti le differenze nel contributo che le diverse aree territoriali offrono a ciascun ambito di TM, l’impegno su alcuni ambiti rappresenta un tratto comune (è il caso dell’imprenditorialità accademica).
Nonostante l’eterogeneità e la varietà delle pratiche adottate dagli atenei e dagli enti valutati, i risultati dimostrano che “fare TM” rimanda ad una duplice scelta:
1) la volontà degli organi di governo di incidere concretamente sul contesto territoriale di riferimento, dando il proprio contributo a problemi socio-economici, non ultimo quello occupazionale e del placement dei propri laureati. Non a caso, l’analisi condotta ha evidenziato una diffusione quasi uniforme del conto terzi, come strumento di finanziamento, e dell’imprenditorialità accademica, utilizzata più per trattenere risorse umane qualificate che per generare risultati economici. Per contro, l’attività brevettuale presenta alti gradi di concentrazione territoriale.
2) l’istituzionalizzazione di azioni ed iniziative, nonché la messa in campo di processi organizzativi sinergici negli strumenti e integrati con quelli della ricerca e, nel caso degli atenei, con quelli della didattica. I risultati, evidenziano, infatti, che è in atto una riflessione organizzativa interna alle strutture e che è stato intrapreso un percorso in questa direzione, anche grazie agli stimoli della scorsa VQR.
La CETM ha svolto la peer review informata avvalendosi di una grossa mole di dati. I dati raccolti, tramite la SUA-TM, hanno alimentato un dataset, opportunamente perfezionato mediante le integrazioni documentali e le audizioni, che ha permesso di pervenire alla costruzione di indicatori omogenei, negli ambiti valutativi più maturi (brevetti, spin-off e conto terzi) e a giudizi di merito espressi in classi ordinate, nei restanti ambiti.
Pertanto, rispetto alla prima VQR, che si limitava a misurare la quantità di alcune tipologie di attività (brevetti, spin-off, poli museali, scavi archeologici, ecc.), un primo risultato raggiunto è stato quello di restituire un quadro più organico della TM, che tiene conto, pur con i limiti e i caveat menzionati nel corso del presente documento e nel Rapporto CETM, delle caratteristiche specifiche delle attività e della loro qualità.
La creazione di tale dataset e la sua pubblicazione rappresenta un importante risultato che pone ANVUR e la comunità scientifica italiana nelle condizioni di partecipare utilmente al dibattito europeo in corso in tema di TM, condividendo con altri paesi l’esperienza italiana.
Inoltre, la pubblicazione trasparente dei dati e delle valutazioni offre spunti di riflessione alle singole istituzioni, nell’ottica del miglioramento continuo, e a quanti sono interessati a comprendere il ruolo del sistema scientifico italiano, al di là della ricerca e della didattica.
La Commissione consiglia un utilizzo di queste informazioni a supporto del decision-making delle istituzioni, mentre invita alla cautela su un loro impiego ai fini delle distribuzione di risorse.
Nel corso del processo di valutazione, gli esperti si sono confrontati con numerosi caveat che hanno imposto opportune scelte metodologiche. In previsione del prossimo esercizio di valutazione, per favorirne il miglioramento, si mettono in luce alcuni elementi importanti:
- la necessità di raccogliere i dati con chiarezza e in maniera omogenea
o si richiama l’importanza di acquisire una maggiore consapevolezza da parte delle istituzioni, in tema di obiettivi e strategia di TM, che si traduce in una corretta compilazione della scheda relativa a “obiettivi e linee strategiche relative alle attività di TM” (scheda I.0), e ciò al fine di valutare correttamente le attività considerate rilevanti per l’istituzione;
o si consiglia l’introduzione di un servizio di data quality assessment, che preceda l’inizio dell’attività di valutazione vera e propria, per permettere di distinguere la scelta deliberata di non essere valutati rispetto alla mancata disponibilità dei dati;
o si auspica il ricorso a banche dati esterne, così come già è avvenuto per i dati brevettuali e per quelli di spin-off. L’auspicio è, pertanto, quello di acquisire dati già in possesso di altre istituzioni e sottoporli alla validazione delle singole strutture. Questo consentirebbe di superare l’autocertificazione dei dati e di garantire, oltre ad uno sgravio per le istituzioni, una maggiore qualità dei dati, esigenza particolarmente urgente per l’ambito di tutela della salute;
o si raccomanda infine di pervenire ad una più chiara definizione di talune attività, soprattutto di quelle relative al public engagement per evitare l’inserimento di iniziative poco attinenti;
- la necessità di raccogliere ulteriori dati. In alcuni ambiti valutativi, soprattutto quelli relativi alla CETM B, i dati disponibili sono risultati spesso limitati e incompleti e non hanno permesso di rispondere adeguatamente alle domande valutative del Manuale e di fornire un quadro esaustivo. Si consiglia quindi di raccogliere ulteriori informazioni inerenti la valorizzazione del patrimonio culturale oppure l’impatto dei trial clinici e delle bio-banche;
- la necessità di integrare il dataset degli indicatori. L’accezione ampia di TM adottata pone l’accento sulla rilevanza dell’impatto oltre che dei risultati conseguiti. A tal fine, è auspicabile un ulteriore sforzo nell’ampliamento del sistema informativo, mediante l’inclusione di nuovi parametri e indicatori in grado di dar conto della valenza ambientale, oltre che di quella socio-economica.
Altri aspetti di tipo metodologico riguardano:
- la presenza di effetti di composizione dovuti all’impossibilità di lavorare con dati a livello disciplinare ha rappresentato un limite all’analisi, con l’eccezione dei dati sui brevetti accademici. Sul conto terzi, la CETM è risalita, attraverso i soggetti affiliati al dipartimento, alle informazioni sulla afferenza disciplinare (si veda l’Appendice A del Rapporto CETM). Tuttavia, questa attribuzione sconta la presenza di ambiguità: a) la stessa attività può essere attribuita a più di una disciplina; b) dipartimenti simili in atenei diversi hanno diverse politiche di attribuzione di conto terzi. Si suggerisce di integrare le informazioni sul conto terzi provenienti dai bilanci delle istituzioni con i dati a livello di contratto per rilevare informazioni di dettaglio sul principal investigator (SSD) e sulle attività svolte;
- l’influenza dei fattori di contesto (istituzionale, geografico, dimensionale) deve essere ulteriormente monitorata. Gli indicatori sintetici per ambito sono stati riportati all’interno di raggruppamenti omogenei; si consiglia di affiancare alle graduatorie costruite a livello nazionale, ulteriori analisi all’interno di singoli raggruppamenti;
- l’eterogeneità degli enti di ricerca e dei consorzi interuniversitari ha creato difficoltà nell’individuare modalità di comparazione affidabili, e suggeriscono per il futuro una valutazione che combini indicatori quantitativi e dati qualitativi con un approccio del tipo “studio di caso”.
Infine, in futuro, occorre avviare una riflessione sulla “granulosità” della fotografia che si vorrà fornire in tema di TM. In questa sede, si segnalano alcuni fenomeni emergenti che impatteranno sempre di più sulla valutazione della TM del sistema scientifico, ma ad oggi non rilevati. Si fa riferimento al ricorso a fondazioni universitarie, a network collaborativi focalizzati sul trasferimento tecnologico, a nuove modalità di accordi pubblico-privati (ad esempio, il pre-commercial procumerent), che saranno sempre di più strumenti del policy mix delle varie istituzioni nazionali e regionali.
[1] Il primo passo è stato il workshop tenutosi a Roma nell’Aprile 2013 che ha coinvolto pro-rettori e staff amministrativo di atenei ed enti e in cui è stata ribadita l’istanza di non limitare la definizione agli indicatori tradizionali di valorizzazione industriale della ricerca. In seguito all’evento, ANVUR ha messo in piedi un gruppo di lavoro costituito da scienziati sociali esperti in analisi qualitative e quantitative della TM con lo scopo di analizzare lo stato dell’arte del dibattito internazionale e fornire raccomandazioni per la scrittura di un manuale di valutazione. La bozza del Manuale è stata approvata dall’ANVUR nel 2015 e pubblicata sul sito dell’agenzia con un invito aperto a sottoporre commenti e suggerimenti. Il processo di consultazione si è concluso con la ricezione di oltre cento commenti provenienti da accademici, personale tecnico-amministrativo e altri soggetti che collaborano con le università e gli enti e ANVUR ha pubblicato la versione definitiva del Manuale, con accluso un documento che indicava dettagliatamente i suggerimenti accolti (circa la metà) e quelli rigettati esplicitandone le motivazioni. Inoltre, in un secondo workshop tenutosi nel Maggio 2015 il Manuale è stato oggetto di un’ampia discussione metodologica da parte di alcuni studiosi internazionali. Infine, lo scorso giugno, la CETM ha promosso e organizzato con ANVUR un terzo workshop in cui si è confrontata con le istituzioni per avere un primo feedback sull’esercizio di valutazione in corso (per approfondimenti e materiali sui workshop, si veda la sezione del sito ANVUR dedicata alle presentazioni sulla TM).
[2] Il Manuale era stato formulato, dal punto di vista del linguaggio utilizzato, in riferimento alle strutture universitarie, ma era concepito per una estensione alle attività di TM degli enti di ricerca. L’estensione è diventata effettiva a seguito dell’inserimento della TM tra gli oggetti di valutazione della VQR 2011-2014.
[3] Si ricorda che nella sezione Schede SUA del sito ANVUR sono già consultabili le schede informative sulla ricerca dipartimentale (SUA-RD) per gli anni 2011, 2012, 2013. La SUA-TM è reperibile all’interno delle schede, nella Parte III.
[4] Per le differenze tra rilevazione di atenei e enti e, in generale, per una descrizione puntuale della rilevazione si vedano i documenti “Linee guida per la compilazione della Scheda Unica Annuale per la Terza Missione”, Anni 2013 e 2014.
[5] E’ importante sottolineare che ad essere conteggiate sono le persone, non i contratti, cioè:
- se la stessa persona ha più contratti in strutture (dipartimenti/atenei) differenti viene contata in ognuna di queste;
- se la stessa persona ha più contratti in Aree CUN differenti, all'interno della stessa struttura (dipartimento/ateneo), viene contata solo nell'area relativa al titolo "prevalente", definito caso per caso (considerando la qualifica più elevata).
[6] La prevalenza su titoli diversi all'interno della stessa struttura è definita considerando la data di inizio contratto più recente (o in caso di pari data di inizio contratto, la data di fine contratto più recente, e a pari data inizio/fine contratto, la qualifica).
[7] Per il Consorzio per l'Area di Ricerca Scientifica e Tecnologica di Trieste il numero totale di unità di personale non dedicato ad attività meramente amministrative o tecniche è pari a 41. Non essendo inoltre possibile individuare un legame tra il personale AREA e le Aree CUN gli indicatori che prevedono al denominatore un sottoinsieme per Area CUN del personale sono calcolati sul totale del personale (41).
[8] Gli esperti iscritti all’albo Anvur sono stati selezionati in seguito a due chiamate pubbliche, su criteri di rilevanza del CV.
[9] La posizione presentata per PI_2 rappresenta la sintesi (la posizione rispetto alla media delle posizioni sui singoli indicatori) della posizione dell’istituzione rispetto agli indicatori PI_2_a e PI_2_b.
[10] E’ stato considerato il numero di iscritti nell’a.a. 2012-2013 (fonte: Istat – Studenti e bacini universitari 2016): Mega>=40.000; Grandi>=20.000; Medi>=10.000; Piccoli<10.000).
[11] Non sono state invece valutate le attività legate ai curricola co-progettati perché la definizione del Manuale era troppo restrittiva (corsi di formazione progettati e realizzati con un contributo significativo da parte di organizzazioni esterne, che non rientrano nell’ordinaria attività didattica e che non conferiscono un titolo di studio legalmente riconosciuto) e le attività inserite sono risultate essere molto poche.
[12] Il numero di dipartimenti si riferisce al numero di dipartimenti che hanno compilato la SUA-RD e la SUA-TM e possono esserci differenze tra la rilevazione del 2013 e quella del 2014 (nel caso gli atenei abbiano modificato il proprio assetto). Inoltre, questi numeri possono non corrispondere al numero di dipartimenti valutati per la qualità della ricerca (cioè al numero di dipartimenti per cui almeno un addetto è stato accreditato per la VQR).
[13] Il numero di sotto-istituzioni si riferisce al numero di sotto-istituzioni che hanno compilato la SUA-TM e può non corrispondere al numero di sotto-istituzioni valutate per la qualità della ricerca (numero di sotto-istituzioni per cui almeno un addetto risulta accreditato).

References: § 4
 § 3
 § 3
 § 3
 § 3
 § 5
 § 3
 § 3
 § 3
 § 4
 § 4
 § 4
 § 4
 § 4
 § 4
 § 4
 § 4