I risultati dell’indagine internazionale IEA – TIMSS 2023

Il 4 dicembre 2024, a un anno dalla fine della rilevazione, sono stati resi pubblici i risultati dell’indagine internazionale TIMSS (Trends in Mathematics ans Science Study) organizzata dalla IEA (International Association for the Evaluation of Educational Achievement). Si tratta di una delle due indagini internazionali che rileva informazioni sull’apprendimento della matematica e delle scienze a cui l’Italia partecipa fin dalla sua prima edizione, nel 1995. L’altra indagine, forse più nota e i cui risultati hanno avuto ampia eco sulla stampa nazionale negli ultimi due decenni, è l’indagine PISA (Programme for International Student Assessment) organizzata dall’OCSE.

L’indagine TIMSS ha alcuni tratti che la distinguono da PISA:

• Le prove cui sono sottoposti gli studenti in TIMSS come nelle altre ricerche IEA sono legate ai curricoli scolastici dei diversi paesi partecipanti, mentre PISA va oltre la valutazione della capacità degli studenti di riprodurre quello che hanno imparato a scuola. Per fare bene in PISA, gli studenti devono essere in grado di pensare oltre i confini delle discipline, applicare le loro conoscenze in modo creativo in situazioni nuove e dimostrare strategie di apprendimento efficaci.
• Il TIMSS riguarda solo la matematica e le scienze, mentre il PISA riguarda anche altri ambiti di contenuto (ad esempio la competenza di lettura, ma anche il pensiero creativo, la literacy finanziaria, ecc.).
• Il TIMSS si svolge ogni 4 anni (la prima indagine risale al 1995) mentre il PISA, iniziato nel 2000) ha avuto finora periodicità triennale [1], ma a partire dal 2025 anche PISA avrà cadenza quadriennale.
• Il TIMSS si rivolge a studenti di IV primaria (grado 4) e III secondaria di primo grado (grado 8), mentre il PISA si rivolge ai quindicenni. Inoltre, TIMSS ha un campionamento Grade based a livello di scuola primaria (quarto grado) e secondaria di I grado (ottavo grado), mentre PISA ha un campionamento Age based (15 anni) dove la grande maggioranza degli studenti sono nella scuola secondaria di II grado (e la classe modale è la seconda, cioè il grado 10).
• Infine, in TIMSS la coorte di studenti della quarta primaria valutata in una rilevazione è la stessa che viene valutata quattro anni dopo in III secondaria di I grado. Per quanto questo non significhi avere dati longitudinali, può aiutare ad avere informazioni circa l’evoluzione dei risultati degli studenti attraverso i gradi scolastici.

Entrambe queste indagini sono campionarie (contrariamente alle prove Invalsi che sono censuarie), cioè i dati sono raccolti su un campione rappresentativo della popolazione di riferimento, campione che, per quanto riguarda l’Italia è suddiviso in 5 macro-aree: Nord Ovest, Nord Est, Centro, Sud e Sud e isole [2].

Come già detto in precedenza, le prove del TIMSS vengono costruite, dai diversi paesi partecipanti, cercando di tenere conto – per quanto possibile – di quello che costituisce un denominatore comune dei diversi curricoli. È necessario dunque conoscere a fondo preventivamente i curricoli reali e poter bilanciare le inevitabili differenze di intensità e approfondimento con cui ciascun contesto nazionale interpreta contenuti e abilità apparentemente simili. D’altra parte, comporre una prova in modo che, per ciascun argomento affrontato, l’opportunità di apprendimento complessiva media (la cosiddetta OTL – Opportunity to Learn) in ciascun paese partecipante sia il più possibile simile, consente di ottenere misure di performance di sistema confrontabili e interpretabili rispetto all’efficacia del sistema educativo analizzato.

Con TIMSS 2023 si è completato il passaggio al formato digitale della rilevazione, iniziato in circa la metà dei Paesi con l’indagine del TIMSS 2019. Un obiettivo generale di TIMSS 2023 è quello di sfruttare i vantaggi delle valutazioni basate sul computer, compreso un sistema di sviluppo degli item completamente digitale per incorporare quesiti e metodi di valutazione nuovi e migliori.

Il quadro di riferimento del TIMSS 2023

Il Quadro di riferimento di matematica [3] rappresenta il documento che illustra l’impianto teorico che è alla base dell’indagine internazionale TIMSS 2023. Tale quadro consente di comprendere in che modo viene condotta l’indagine, quali sono i parametri che prende in considerazione per misurare i livelli di apprendimento dei nostri studenti e quali strumenti utilizza. Per entrambi i livelli di scolarità interessati dall’indagine TIMSS, il Quadro di riferimento si articola in due diverse dimensioni: i domini di contenuto e i domini cognitivi. I domini di contenuto (Tabella 1) riguardano gli aspetti contenutistici che vengono affrontati nei quesiti di TIMSS, mentre i domini cognitivi (Tabella 2) riguardano i processi di pensiero che gli studenti utilizzano nel momento in cui si trovano ad affrontare e a risolvere le prove di matematica di TIMSS. I domini di contenuto sono diversi per il quarto e l’ottavo anno di scolarità, poiché riflettono le caratteristiche e le difficoltà della materia insegnata in ciascun livello. Infatti, c’è una maggiore enfasi sul numero in quarta primaria rispetto al grado 8, l’algebra diventa una materia a sé stante nel grado 8, mentre i temi algebrici introduttivi valutati in quarta primaria sono inclusi nell’area tematica dei Numeri. Il dominio di geometria in grado 8 include la misurazione, ma anche una più profonda inclusione di argomenti puramente geometrici. Il dominio dei dati in quarta primaria si concentra sulla lettura, rappresentazione e interpretazione dei dati, mentre in grado 8 include un maggiore accento sul trarre conclusioni dai dati, le statistiche di base e i fondamenti della probabilità.

I domini cognitivi sono gli stessi, anche se varia leggermente il loro peso in percentuale: c’è una minore enfasi nel grado 8 sul dominio della conoscenza e maggiore enfasi sul dominio del ragionamento. In generale oltre la metà (60-65%) delle domande richiedono agli studenti di utilizzare abilità di applicazione e ragionamento.

Il Quadro di Riferimento di Matematica TIMSS 2023, contrariamente ai precedenti quadri di riferimento, specifica che circa l’85% degli item relativi agli argomenti di ciascuna area di contenuto dovrebbe essere inserito in un contesto di risoluzione di problemi. Questo è in linea con altri aspetti del quadro e chiarisce che la risoluzione di problemi è un obiettivo fondamentale della Matematica TIMSS, non associato solo a determinati argomenti. I contesti possono variare da situazioni semplici a scenari più complessi, tuttavia è importante che almeno il 15% degli item siano presentati senza contesto, per poter esaminare i possibili effetti del carico di lettura.

I livelli di difficoltà dei quesiti

I quesiti sono di quattro diversi livelli di difficoltà diversamente dal PISA in cui i livelli di difficoltà sono 6.

I quesiti più semplici corrispondono al livello Basso; si passa poi al livello Medio, Alto e, infine, al livello Avanzato. Per ciascuno di questi livelli (benchmark) TIMSS fornisce una descrizione dei tipi di conoscenze e abilità necessarie per portare a termine con successo i quesiti di quel livello. Qui di seguito vengono mostrati esempi di quesiti per i diversi livelli di difficoltà per la III secondaria di I grado [4]. Per ogni quesito viene indicato il dominio di contenuto e il dominio cognitivo. Anche se non ci sono domande rilasciate del grado 8 che sono ancorate al Benchmark Internazionale Basso in TIMSS 2023, la descrizione di questo livello corrisponde a studenti che conoscono i numeri interi, le figure geometriche più comuni e le rappresentazioni grafiche, sanno applicare le proprietà di base dei numeri interi e dimostrano una certa conoscenza delle relazioni lineari. Sono in grado di trovare le lunghezze dei lati nei poligoni e sanno capire come le diverse rappresentazioni dei solidi sono collegate tra loro. Sono in grado di leggere informazioni da grafici e di completare rappresentazioni di dati.

I risultati dell’Italia

I risultati conseguiti dall’Italia in questa indagine si possono considerare da due diversi punti di vista: rispetto ai risultati degli altri paesi partecipanti, cioè nel confronto internazionale, oppure rispetto alle differenze tra aree geografiche, cioè nel confronto interno a diverse aree del Paese.

Confronto internazionale

Nel confronto internazionale, gli studenti italiani di quarta primaria raggiungono un punteggio medio di 513, significativamente superiore a quello medio internazionale (che è pari a 503, con deviazione standard pari a 100), ma significativamente inferiore alla media UE (526 punti) e simile a quello di Ungheria, Portogallo, Stati Uniti e Cipro. Invece, per quanto riguarda gli studenti di III media il punteggio medio di 501 punti è statisticamente superiore a quello internazionale di 478 e in linea con quello di paesi quali Romania, Norvegia, Finlandia e Ungheria e in generale con i paesi dell’UE (502 punti).

Così come è accaduto nella rilevazione precedente del 2019, i paesi che hanno conseguito i migliori risultati, sia per grado 4 sia per grado 8, sono quelli dell’est asiatico, come Singapore, Taipei, Corea, Hong Kong SAR, Giappone e Macao. Per il grado 4 i punteggi di questi paesi vanno da un minimo di 582 (Macao) a 615 (Singapore) e il primo paese che si colloca sotto di loro è la Lituania con 561 punti. Invece per il grado 8, i punteggi dei paesi asiatici variano da un minimo di 575 (Hong Kong) a un massimo di 605 (Singapore), ma il primo paese che si colloca subito sotto di loro è l’Inghilterra che ha un distacco di 50 punti (525).

Un altro dato interessante che è importante tenere in considerazione quando si analizzano i punteggi conseguiti dai diversi paesi, è la variabilità del punteggio di ciascun paese. Infatti, quando si considera il punteggio medio è importante tener conto che in ogni paese ci sono sia studenti molto bravi in matematica che studenti meno bravi e che le differenze tra questi due gruppi possono essere anche molto grandi. In Italia, per esempio, la differenza di punteggio tra gli estremi della distribuzione è relativamente contenuta sia per il grado 4, sia per il grado 8 (rispettivamente 264 e 277 punti) rispetto alla differenza che si rileva in altri paesi la cui media non si differenzia in modo significativo da quella italiana.

Confronto nazionale

Per quanto riguarda i risultati nazionali, per il grado 4, le macroaree Nord Ovest, Nord Est, Centro e Sud raggiungono un risultato medio statisticamente in linea con quello medio nazionale e anche statisticamente simile nel confronto reciproco (con la sola eccezione delle regioni del Nord Ovest il cui risultato medio è superiore a quello delle regioni Sud). Il risultato del Sud Isole è l’unico risultato significativamente più basso del dato medio dell’Italia e significativamente inferiore a quello medio delle altre aree geografiche, ad eccezione del Sud rispetto al quale non si rilevano differenze significative nei risultati medi raggiunti (Tabella 3): sono ben 50 i punti di differenza tra il Nord Ovest e il Sud isole.

Anche per quanto riguarda il grado 8 (Tabella 4), il rendimento degli studenti del Sud Isole è inferiore a quello delle altre aree geografiche: in particolare la differenza con il Nord Ovest è di 55 punti. Nel complesso, le macroaree Nord Est e Nord Ovest hanno ottenuto punteggi superiori alla media nazionale, mentre il Centro e il Sud in linea con tale media. Gli studenti del Sud Isole hanno ottenuto un punteggio medio inferiore sia rispetto alla media nazionale, sia rispetto alle altre macro-aree.

Tabella 3: Punteggi medi degli studenti in matematica e distribuzione del punteggio, per macroarea geografica per grado 4

Tabella 4: Punteggi medi degli studenti in matematica e distribuzione del punteggio, per macroarea geografica per grado 8

Differenze di genere in matematica

I risultati di TIMSS 2023 confermano purtroppo, in Italia più che in altri paesi, una marcata differenza di genere nelle prove di matematica, con i maschi che tendono a ottenere risultati migliori rispetto alle femmine. Tale differenza è stata rilevata anche nell’ultima indagine di PISA 2022 (l’Italia è risultato essere il paese con il divario di genere a favore dei maschi più elevato in matematica) e viene sempre messa in luce anche nei risultati delle prove INVALSI. In particolare, per quanto riguarda le prove di TIMSS 2023, la differenza tra il punteggio dei maschi e quello delle femmine è più elevata nel grado 4 (23 punti di differenza) rispetto al grado 8 (17 punti di differenza). Il paese con la differenza di genere più elevata a favore delle femmine è il Sud Africa per il grado 4 (29 punti in più a favore delle femmine) e la Palestina per il grado 8 (19 punti in più a favore delle femmine). Tra i paesi europei, per il grado 4, la Finlandia è il paese con la minore differenza di genere (solo 6 punti a favore dei maschi) mentre per il grado 8, Norvegia e Finlandia sono i due paesi con la minor differenza di genere (1-2 punti a favore dei maschi).

Come si può vedere in figura 1, purtroppo questo divario è sempre andato ad aumentare negli ultimi cicli in modo statisticamente significativo, sia nel grado 4 sia nel grado 8 (tranne nel 2019 per il grado 4).

Grado 4	Grado 8

Figura 1. Trend dei punteggi in matematica – Differenze di genere in Italia (Fonte: IEA’s Trends in International Mathematics and Science Study – TIMSS 2023)

I risultati e il background degli studenti

È fondamentale collegare i risultati degli studenti nelle prove cognitive con il loro background socioeconomico e culturale soprattutto per comprendere la presenza di eventuali disuguaglianze educative e quindi migliorare l’efficacia delle politiche educative per promuovere l’equità.

Per quanto riguarda la IV primaria, per calcolare il background degli studenti viene loro assegnato un punteggio in base a quanto riferito dai genitori in merito ai quattro indicatori della scala di background socioeconomico familiare:

• Numero di libri presenti in casa,
• Numero di libri per bambini presenti in casa,
• Livello più alto di istruzione di ciascun genitore,
• Livello più alto di occupazione di ciascun genitore.

La scala [5] è stata suddivisa in tre categorie:

Gli studenti con uno background socioeconomico alto hanno ottenuto un punteggio pari o superiore a 11,1 corrispondente, mediamente, a genitori che hanno dichiarato di avere più di 25 libri in casa e di avere più di 25 libri per bambini in casa, con almeno un genitore che ha terminato l’università e con almeno un genitore che ha un’occupazione di livello alto.

Gli studenti con uno background socioeconomico basso hanno ottenuto un punteggio pari o inferiore a 8,7 corrispondente, mediamente, a genitori che hanno dichiarato di avere 10 libri o meno in casa e di avere 10 libri per bambini o meno in casa, con nessuno dei due genitori che ha superato l’istruzione secondaria superiore e con nessuno dei due genitori con almeno un’occupazione di livello medio.

Tutti gli altri studenti avevano uno background socioeconomico medio.

Per quanto riguarda l’Italia, gli studenti che hanno un background alto ottengono 546 punti, quelli con un background medio 513 punti. Infine, gli studenti con un background basso raggiungono un punteggio di 485 punti.

A livello internazionale, gli studenti con background alto conseguono un punteggio pari a 544 punti, quelli di background medio ottengono un punteggio di 502 punti e quelli con un background basso un punteggio di 459 punti.

Quindi, la differenza di punteggio tra studenti italiani di grado 4 con background alto e studenti con background basso è 61 punti, mentre a livello internazionale tale differenza è di 85 punti.

Per il grado 8, agli studenti è stato assegnato un punteggio in base a quanto da loro riportato in merito alla disponibilità di tre risorse nella scala di Risorse educative presenti in casa:

• numero di libri presenti in casa,
• i materiali di supporto a disposizione (connessione Internet; una camera a disposizione) e
• il livello di istruzione dei genitori.

La scala è stata suddivisa in tre categorie:

Gli studenti con Molte risorse hanno ottenuto un punteggio pari o superiore a 11,4 corrispondente, mediamente, alla dichiarazione di avere in casa più di 25 libri ed entrambi i supporti per lo studio e che almeno un genitore ha terminato l’università.

Gli studenti con Poche risorse hanno ottenuto un punteggio pari o inferiore a 9,1 corrispondente, mediamente, alla dichiarazione di avere in casa 10 o meno libri, nessun supporto allo studio e con nessuno dei due genitori che ha superato l’istruzione secondaria superiore.

Tutti gli altri studenti hanno Alcune risorse.

In media tra i Paesi, il punteggio in matematica riportato dagli studenti nella categoria Molte risorse è di 524 punti, mentre quello ottenuto da chi era nella categoria Poche risorse è di 429 punti, ossia quasi 100 punti in meno.

In Italia, in III secondaria di I grado, la differenza tra il punteggio in matematica degli studenti con molte risorse e quello degli studenti con poche risorse è di 90 punti.

Conclusioni

I risultati di TIMSS 2023 sono positivi per l’Italia dal momento che sia per il grado 4 sia per il grado 8 i punteggi sono significativamente superiori a quelli della media internazionale. Se invece ci confrontiamo con i paesi dell’Unione Europea, i risultati di IV primaria sono significativamente inferiori, mentre per la III secondaria di I grado non ci sono differenze significative.

Anche per quanto riguarda la differenza di punteggio tra studenti di background alto e quelli di background basso, tale differenza per l’Italia è più contenuta in entrambi i gradi rispetto a quella presente a livello internazionale.

Un altro dato positivo è il fatto che il punteggio in matematica, per entrambi i gradi, non ha avuto una variazione significativa tra la rilevazione del 2019 e quella del 2023, e questo vuol dire che l’Italia ha retto bene all’impatto della pandemia.

Resta invece preoccupante la differenza di genere in quanto l’Italia si conferma uno dei paesi in cui tale differenza è maggiore. Affrontare questa disparità è essenziale per costruire una società più equa, in cui tutti possano realizzare il proprio potenziale, indipendentemente dal genere.

NOTE

[1] A causa della pandemia la rilevazione del 2021 è stata posticipata al 2022.

[2] Il Nord Ovest comprende Piemonte, Lombardia, Liguria e Valle d’Aosta; il Nord Est comprende Veneto, Friuli Venezia Giulia, Trentino, Alto Adige e Emilia Romagna; il Centro comprende Toscana, Lazio, Marche, Umbria; il Sud comprende Abruzzo, Molise, Campania e Puglia; il Sud Isole comprende Calabria, Basilicata, Sicilia e Sardegna.

[3] https://timssandpirls.bc.edu/timss2023/frameworks/chapter-1.html

[4] Altri esempi o esempi riferiti alla IV primaria si possono trovare al seguente link:

https://invalsi-areaprove.cineca.it/index.php?get=static&pag=iea_timss_2023_risultati

Appendice C.

[5] Questa scala è stata stabilita nel 2019 sulla base della distribuzione combinata delle risposte dei Paesi che hanno partecipato a TIMSS 2019. Per fornire un punto di riferimento per i confronti tra i Paesi, il punto centrale della scala, pari a 10, è stato collocato in corrispondenza della media della distribuzione combinata. Le unità della scala sono state scelte in modo che 2 punti della scala corrispondessero alla deviazione standard della distribuzione.

BIBLIOGRAFIA

IEA – https://www.iea.nl/news-events/news/timss-2023-international-report-and-results-now-available

INVALSI – Rapporto Nazionale TIMSS 2023

https://invalsi-areaprove.cineca.it/docs/2025/Indagini_Internazionali/RAPPORTI/Rapporto_nazionale_TIMSS_2023.pdf

INVALSI – Appendice A e C al Rapporto Nazionale

https://invalsi-areaprove.cineca.it/index.php?get=static&pag=iea_timss_2023_risultati