# Indagini internazionali sull'apprendimento

Le indagini internazionali sull'apprendimento sono rilevazioni periodiche, mediante "prove oggettive", dei livelli di apprendimento degli studenti di ogni parte del mondo in alcune materie chiave: comprensione della lettura, matematica, scienze. Le più importanti sono tre: PIRLS (Progress in International Reading Literacy Study), TIMSS (Trends in International Mathematics and Science Study) e PISA (Program for International Student Assessment), le prime due organizzate dalla IEA, la terza dall'OCSE.

## Nascita della IEA

L'Associazione internazionale per la valutazione del rendimento scolastico, nota con l'acronimo IEA, è stata fondata da un gruppo di studiosi nel campo educativo di varia nazionalità, che dall'inizio degli anni cinquanta del Novecento avevano preso a riunirsi annualmente ad Amburgo nella sede dell'Istituto di Educazione dell'UNESCO per discutere argomenti di interesse comune. Nel 1958, anno in cui fu costituita l'associazione, il tema dell'incontro riguardò la possibilità di organizzare ricerche comparative sui livelli di apprendimento raggiunti in alcune materie fondamentali da alunni delle scuole di Paesi diversi al fine di rispondere a due cruciali domande: se vi fossero sistemi scolastici più efficaci di altri, e quali fossero i fattori che ne spiegavano la maggiore efficacia. Alla base della decisione di fondare la IEA vi era il riconoscimento da parte del gruppo di studiosi della difficoltà di estendere alla scuola reale i risultati della ricerca sperimentale nell'ambito dell'educazione, spesso ottenuti in condizioni e contesti, per esigenze di controllo, artatamente costruiti e dunque lontani dalla realtà concreta; ciò rendeva di conseguenza necessario spostare il focus della ricerca dalla sperimentazione di laboratorio all'indagine sul campo, per confrontare i risultati conseguiti da sistemi scolastici diversi in termini di livelli di apprendimento dei loro studenti, rilevati mediante test standardizzati.

## Prima fase delle indagini IEA e metodologia

A cavallo tra gli anni '50 e '60, per verificare le condizioni di fattibilità del progetto, la IEA realizzò un primo studio-pilota, al quale parteciparono dodici Paesi. Ad esso fece seguito la prima indagine internazionale sull'apprendimento della matematica (FIMS: First International Mathematics Study), che si sviluppò, dalla raccolta dei dati al rapporto finale, pubblicato nel 1967, in un arco di tempo di circa cinque anni e coinvolse gli stessi Paesi che avevano preso parte allo studio-pilota. Fra il 1968 e il 1972, si è svolto il primo studio sull'apprendimento delle scienze (FISS: First International Science Study), nell'ambito di una più ampia ricerca (Six Subjects Study) che riguardava l'apprendimento, oltre che delle scienze, anche della lettura, della letteratura, dell'Inglese e del Francese come lingue straniere, e dell'educazione civica.
In queste prime ricerche sono già operativi i criteri metodologici che guideranno tutte le successive indagini della IEA:
* l'analisi preliminare dei curricoli delle materie oggetto d'indagine e dei libri di testo adottati nelle scuole dei Paesi che vi prendevano parte al fine di costruire un quadro teorico di riferimento (framework) sulla cui base definire le prove per la misurazione dei livelli di apprendimento degli alunni;
* la non limitazione dell'analisi all'esame dei curricoli ufficiali (curricolo prescritto) ma l'estensione di essa anche a quanto effettivamente insegnato in classe (curricolo insegnato) e a quello che gli alunni avevano acquisito dell'insegnamento loro impartito (curricolo appreso);
* la rigorosa definizione delle procedure per l'estrazione dei campioni di alunni dalla popolazione da indagare, definita in base all'età o alla classe frequentata, opzione quest'ultima che, dopo i primi studi in cui vennero seguiti entrambi i sistemi, è diventata quella normalmente adottata dalla IEA per tutti gli studi successivi al 1995;
* l'utilizzo, accanto alle prove per la rilevazione dei livelli di apprendimento, di questionari diretti agli studenti, ai genitori, agli insegnanti e ai dirigenti delle scuole interessate allo scopo di raccogliere informazioni di contesto sugli alunni e le loro famiglie, sui contenuti e i metodi d'insegnamento, sull'organizzazione delle scuole, ecc., dalle quali ricavare le variabili da mettere in relazione con i punteggi delle prove e capire quali di esse fossero collegate a migliori risultati.
Particolarmente rilevante tra gli studi condotti dalla IEA è stato, nel 1995, il Terzo Studio Internazionale sulla Matematica e le Scienze (TIMSS: Third International Mathematics and Science Study), cui hanno partecipato più di quaranta Paesi, sia perché ha fornito il modello per le successive indagini sull'apprendimento di queste materie, ritenute d'importanza cruciale nelle società ad alto sviluppo tecnologico e scientifico, sia perché ha stimolato tutta una serie di ricerche collaterali, tra cui si segnala per originalità il Videotape Classroom Study, che ha comportato la videoregistrazione delle lezioni di matematica tenute in un campione di classi degli Stati Uniti, della Germania e del Giappone, poi sottoposte ad analisi all'Università della California (UCLA) per rilevare somiglianze e differenze nei contenuti e negli stili d'insegnamento. Lo studio Videotape è stato esteso, nel 1998-99, ad altri Paesi e all'insegnamento delle scienze.

## Seconda fase delle indagini IEA: PIRLS e TIMSS

Tra la fine degli anni '90 del Novecento e l'inizio del nuovo secolo, le indagini della IEA sull'apprendimento della lettura, della matematica e delle scienze sono diventate sistematiche e periodiche e sono coordinate dal TIMSS and PIRLS International Study Center presso la Lynch School of Education del Boston College negli Stati Uniti.
L'indagine sulla lettura, nota con l'acronimo PIRLS, si svolge ogni cinque anni e si focalizza sulla comprensione della lettura di testi scritti di due tipi, letterario-narrativo e informativo, da parte degli alunni che si trovano al quarto anno di scolarizzazione formale. La prova PIRLS dà luogo, per ogni alunno partecipante all'indagine, a un punteggio totale su una scala metrica complessiva e a punteggi parziali sulle quattro sotto-scale di cui essa si compone; di queste, due misurano l'abilità di comprensione rispetto allo scopo della lettura, fruire di un'esperienza letteraria o ricavare informazioni da un testo, le altre due misurano i processi cognitivi implicati dalla comprensione: a) ritrovare informazioni date esplicitamente nel testo e fare inferenze dirette per ricavarne informazioni implicite, b) interpretare il testo e valutarne il contenuto e la forma. I risultati di ogni Paese che di volta in volta prende parte all'indagine sono espressi non solo come punteggio medio sulla scala complessiva e sulle singole sotto-scale, ma anche come percentuale di alunni che raggiungono quattro livelli o benchmark: base, intermedio, alto e avanzato, ai quali corrispondono prestazioni nella lettura qualitativamente differenti per grado di difficoltà e complessità, crescenti via via che si sale dal benchmark più basso al più elevato.
Dal 2003, la sigla TIMSS, con cui si era designato nel 1995 il Terzo Studio Internazionale sulla Matematica e le Scienze, ha mutato in parte significato, divenendo acronimo di Tendenze nello Studio Internazionale sulla Matematica e le Scienze (Trends in International Mathematics and Science Study), per sottolineare il carattere periodico dell'indagine che si svolge con cadenza quadriennale. Essa misura le conoscenze e abilità in matematica e scienze di due popolazioni di studenti: gli alunni del quarto anno di scolarità e gli alunni dell'ottavo anno. Analogamente a quanto accade per la prova PIRLS, il risultato delle prove TIMSS si articola in un punteggio su una scala complessiva e in più punteggi parziali relativi alle sotto-scale che la costituiscono. Queste ultime rilevano la conoscenza dei contenuti matematici e scientifici e i processi cognitivi implicati nella soluzione dei quesiti delle prove. In matematica gli ambiti di contenuto di cui si valuta la padronanza sono tre per gli alunni del quarto anno ("Numero", "Misura e geometria", "Rappresentazione dei dati") e quattro per gli alluni dell'ottavo anno: ai tre già citati si aggiunge "Algebra", mentre "Rappresentazione dei dati" diviene "Dati e probabilità". Gli ambiti di contenuto della prova di scienze sono, come in matematica, tre per gli alunni del quarto anno ("Scienze della vita", "Scienze fisiche", "Scienze della Terra") e quattro per quelli dell'ottavo anno ("Biologia", "Chimica", "Fisica", "Scienze della Terra"). I processi cognitivi misurati sono invece gli stessi sia per la matematica che per le scienze come pure per il grado scolare: "Conoscenza", Applicazione", Ragionamento". Anche nel caso delle prove TIMSS il risultato di ogni Paese che partecipa all'indagine è espresso come punteggio medio sulla scala complessiva e sulle sotto-scale di contenuto e di processo, e come percentuale di alunni che raggiungono i quattro benchmark internazionali. Nel quadro di TIMSS sono state condotte in alcuni anni (1995, 2008, 2015) anche indagini sull'apprendimento della matematica e della fisica degli studenti dell'ultimo anno della scuola secondaria di II grado (TIMSS advanced). La misurazione dei livelli di abilità e conoscenza risulta in questo caso particolarmente complessa e non esente da problematicità a causa della diversa organizzazione, da un Paese all'altro, della scuola secondaria superiore e del diverso peso assegnato nei curricoli alle due materie citate, cosa che rende difficile la comparazione. La partecipazione a TIMSS advanced è limitata a un campione rappresentativo degli studenti che abbiano seguito un programma approfondito di matematica e fisica, anziché di tutti gli alunni della classe oggetto d'indagine, come di norma.
Sia la prova PIRLS che le prove TIMSS, infine, permettono di monitorare i livelli di apprendimento nelle tre materie d'interesse raggiunti a ogni edizione delle indagini dagli studenti dei vari Paesi, e anche di seguirne l'evoluzione nel corso del tempo, registrando gli eventuali progressi o regressi da una tornata all'altra.

## Ingresso in campo dell'OCSE e indagine PISA

Fino alla fine del secolo scorso la IEA è stata l'assoluta protagonista delle indagini internazionali sull'apprendimento, ma nel 2000 il suo predominio è stato infranto dall'entrata in campo dell'OCSE, che in quell'anno ha lanciato l'indagine PISA, (Program for International Student Assessment, Programma per la valutazione internazionale dell'allievo) a integrazione del progetto INES (International Indicators of Educational System), finalizzato alla costruzione di un quadro di indicatori di efficienza ed efficacia dei sistemi educativi, progetto che dal 1992 ha dato origine alla pubblicazione annuale di statistiche comparate dell'istruzione con il titolo di Uno sguardo sull'Educazione (Education at a glance).
PISA si svolge ogni tre anni e testa le competenze in lettura, matematica e scienze dei ragazzi di 15 anni ancora scolarizzati, qualunque sia il tipo di scuola o di corso cui sono iscritti, inclusa la formazione professionale. Sebbene a ogni tornata siano testate tutte e tre le materie citate, una di esse è oggetto, a turno, di particolare approfondimento, per cui i quesiti che la riguardano sono nella prova in numero maggiore rispetto a quelli delle altre due. Nel 2000 si è trattato della lettura, nel 2003 della matematica, nel 2006 delle scienze, per poi ricominciare di nuovo, nel 2009, con la lettura, e così via di seguito. Fra l'indagine PISA e le indagini della IEA vi sono molte somiglianze, ma anche alcune importanti differenze. Innanzitutto, il soggetto promotore di PISA non è un'associazione di università e centri di ricerca indipendenti come la IEA, ma un'organizzazione intergovernativa, dove sono rappresentati i ministri dell'istruzione dei Paesi membri e che ha finalità non solo di ricerca ma anche di dare indicazioni per impostare le politiche dell'istruzione. Inoltre, dal punto di vista metodologico, PISA si differenzia dalle indagini IEA perché, in primo luogo, mira a rilevare non tanto abilità e conoscenze legate a un curricolo scolastico, ma piuttosto le competenze di base (literacy) necessarie agli studenti, che hanno terminato o sono in procinto di terminare la scuola dell'obbligo, per inserirsi nella moderna società come lavoratori produttivi e cittadini consapevoli e per continuare a imparare nel corso della vita (lifelong learning). A questo scopo, il test PISA misura la capacità degli alunni di utilizzare le abilità e conoscenze sviluppate attraverso la frequenza della scuola ma anche al di fuori di essa per risolvere problemi in contesti reali e di vita quotidiana. In secondo luogo, la popolazione di studenti oggetto d'indagine è in PISA definita in base all'età, 15 anni, e non alla classe frequentata, come nelle indagini IEA.
PISA ha riscosso un grande successo e il numero di Paesi che partecipano all'indagine, comprendenti non solo i membri dell'OCSE, ma anche stati che non ne fanno parte (i cosiddetti Paesi partners), è costantemente cresciuto da un'edizione alla successiva. I parametri di riferimento con cui comparare, in senso sincronico e diacronico, i punteggi ottenuti da ogni singolo Paese sono tuttavia stabiliti sulla base dei risultati dei primi. Lo standard al quale sono di volta in volta rapportati gli esiti delle successive tornate di PISA è fissato, per ciascuna delle tre materie, sulla media OCSE, pari a 500 punti, dell'anno in cui essa ha rappresentato per la prima volta il focus dell'indagine (2000 per la lettura, 2003 per la matematica, 2006 per le scienze). La prova PISA dà luogo, per ogni ambito disciplinare testato, a un punteggio sulla scala complessiva e, limitatamente alla materia focus, a punteggi parziali sulle sotto-scale da cui è formata la scala totale, relative al tipo di testo e ai processi cognitivi della comprensione nel caso della lettura, ai contenuti e ai processi nel caso della matematica e delle scienze. Come per le indagini IEA, i risultati dei Paesi partecipanti a PISA sono espressi sia come punteggio sulla scala complessiva e sulle sotto-scale della materia focus, sia come percentuale di studenti che si collocano ai vari livelli di competenza. Questi sono sei e sono gerarchicamente ordinati dal più alto al più basso, articolato in due sotto-livelli: gli studenti che si trovano a un dato livello sono idealmente in grado di risolvere i quesiti propri del livello in cui si situano, così come quelli dei livelli precedenti, ma non i quesiti dei livelli successivi al loro. Accanto alla rilevazione delle competenze in lettura, matematica e scienze, PISA conduce, collateralmente all'indagine principale, anche indagini episodiche su competenze trasversali, come quelle sulla capacità di Problem Solving (2003, 2012), di Collaborative Problem Solving (2015), di Creative Thinking (2022), o su competenze particolari, come l'alfabetizzazione finanziaria (Financial literacy), la cui misurazione è divenuta sistematica dal 2012. La partecipazione a queste indagini è un'opzione facoltativa lasciata alla decisione dei Paesi che prendono parte all'indagine principale.
Da notare, a conclusione, che dal 2015 la somministrazione e la raccolta dati del test PISA, in precedenza proposto in forma cartacea, si svolge on-line, essendo la prova stata totalmente digitalizzata. Le stesse modalità di somministrazione on-line sono state ultimamente adottate anche dalle indagini IEA.

## L'Italia nelle indagini internazionali sull'apprendimento

L'agenzia che in Italia si occupa dell'organizzazione delle indagini internazionali sull'apprendimento è l'INVALSI (Instituto Nazionale per la Valutazione del Sistema d'Istruzione). Da quando le indagini IEA-PIRLS, IEA-TIMSS e OCSE-PISA hanno assunto carattere sistematico e periodico, l'Italia vi ha costantemente partecipato. Parlando in generale, i risultati italiani sono buoni nella scuola primaria, dove l'Italia si colloca nella graduatoria dei Paesi al di sopra della media internazionale, specie in lettura. Nella scuola secondaria di I grado i risultati, in passato inferiori alla media internazionale, sono andati migliorando fino in qualche caso a superarla nelle ultime edizioni di TIMSS o a non differenziarsi significativamente da essa. In PISA l'Italia ha ottenuto per lo più risultati al di sotto della media OCSE, ma nel corso del tempo vi si è progressivamente avvicinata, anche per il fatto che nel frattempo il punteggio medio dei Paesi dell'organizzazione è peggiorato. Da rilevare, tuttavia, che, come attestano anche le prove nazionali INVALSI, il dato medio dell'Italia è poco rappresentativo in quanto è la risultante di prestazioni notevolmente diverse tra le cinque macro-aree geografiche, Nord-Ovest, Nord-Est, Centro, Sud, Sud e isole, in cui il campione italiano nelle indagini internazionali sull'apprendimento viene di norma stratificato. Mentre le due macro-aree del Settentrione hanno risultati al di sopra della media OCSE e della media dell'Italia nel suo insieme, le due macro-aree del Mezzogiorno hanno risultati al di sotto di entrambe, e il Centro si colloca in posizione intermedia fra le prime e le seconde.