di Tommaso Agasisti, Il Sole 24 Ore, 19.4.2020

– L’attuale situazione di lockdown, che coinvolge tutte le scuole italiane, ha messo in standby il rilevantissimo tema relativo alla valutazione della performance delle istituzioni scolastiche. Nei fatti, nessuno in questo frangente si sta interrogando sulle migliori metodologie e strategie per valutare quali scuole siano migliori di altre, nel compito essenziale fornire le competenze e le conoscenze di cui gli studenti necessitano. Comprensibilmente, il dibattito si è invece spostato sull’adeguatezza delle risposte (tecnologiche e didattiche) fornite in questa emergenza. Allo stesso tempo, vale comunque la pena ricordare che l’Invalsi ha a disposizione tutti i dati raccolti negli anni scolastici precedenti per provare ad effettuare valutazioni di merito e, soprattutto, ha già iniziato ad utilizzarle per fare analisi del valore aggiunto delle scuole. È verosimile dunque pensare che, nel corso della cosiddetta “fase 2” si torni a discutere di questa tematica così urgente per migliorare il capitale umano del Paese. È dunque importante fare il punto su quali evidenze siano già oggi disponibili, e come utilizzarle in un’ottica di policy costruttiva.

Ma cosa s’intende per “valore aggiunto” di una scuola? Secondo la definizione proposta e applicata in concreto da Invalsi, «ciò che è importante stabilire ai fini di una valutazione sensata dell’efficacia di una scuola è se e in quale misura essa sia stata capace di far sì che i propri alunni apprendessero più di quanto abbiano mediamente appreso alunni comparabili (vale a dire con le medesime caratteristiche all’ingresso) che hanno frequentato in uno stesso arco di tempo altre scuole». In termini operativi, i modelli di valore aggiunto calcolati dall’Invalsi non analizzano i risultati “medi” degli studenti e delle scuole nei test standardizzati, bensì cercano di stimare l’effetto specifico di una singola scuola tenendo in considerazione le caratteristiche iniziali degli studenti (si dice, “al netto” delle caratteristiche degli studenti).

Dal 2016, l’Invalsi restituisce ai dirigenti scolastici le informazioni non solo sui loro punteggi grezzi nelle prove, ma anche sugli indicatori di valore aggiunto. Per ogni scuola viene calcolato un indicatore che rivela se il suo “valore aggiunto” sia positivo (ossia, la scuola genera un effetto positivo sui risultati dei suoi studenti) o negativo. Si noti che una scuola potrebbe avere un valore aggiunto positivo anche se i punteggi medi degli studenti sono bassi, nella misura in cui tali risultati siano superiori rispetto a quelli di studenti simili (ossia, con simile background socioeconomico) in altre scuole – e, ovviamente, viceversa.

L’informazione sul valore aggiunto è di primaria importanza per una valutazione “equa” delle scuole. I genitori sono di norma più interessati ai punteggi medi nelle prove, per iscrivere i propri figli nelle scuole “migliori”. Il ministero dell’Istruzione dovrebbe, invece, avere più interesse per il valore aggiunto, come misura della capacità di ciascuna istituzione scolastica di massimizzare i propri risultati utilizzando le risorse a disposizione e le caratteristiche di contesto degli studenti (le quali, come noto, non possono essere modificate dalle scuole stesse). In questa prospettiva, ancora più importante è stabilire se e in quale misura le stime del valore aggiunto siano stabili nel corso del tempo, ossia quanto una scuola risulti avere valore aggiunto coerente da un anno all’altro. Tale informazione dovrebbe consentire di capire se ci sono caratteristiche specifiche di una certa scuola che la rende più efficace, con l’idea poi di approfondire le ragioni di tali specificità. Sarebbe invece problematico se le stime del valore aggiunto fossero molto diversificate nel tempo per la singola scuola! Se, infatti, le stime si rivelassero eccessivamente volatili, come potrebbe un valutatore trarre conclusioni robuste sull’efficacia di una specifica scuola? Come giudicare una scuola che ottenesse un anno un indicatore di valore aggiunto positivo, poi negativo l’anno successivo, poi ancora positivo l’anno seguente?

In un recente lavoro pubblicato sulla rivista accademica Fiscal Studies, io e la mia co-autrice Veronica Minaya ci siamo occupati proprio di questo tema (Agasisti & Minaya, 2019). Utilizzando i dati di tutte le scuole primarie italiane per gli anni tra il 2013/14 e 2015/16 (tre coorti di studenti), abbiamo stimato un indicatore di valore aggiunto per ciascuna scuola, in ogni anno. Abbiamo poi calcolato la stabilità di queste stime da un anno all’altro, per giudicarne la stabilità o volatilità. Vale la pena sottolineare che abbiamo utilizzato diversi modelli statistici alternativi per effettuare tali stime, al fine di corroborare i risultati ottenuti ed evitare che fossero determinati da scelte puramente metodologiche. Nel definire i modelli, abbiamo anche utilizzato quello effettivamente adottato da Invalsi nel suo lavoro istituzionale e restituito alle scuole.

I risultati ottenuti sono per certi versi confortanti, per altri molto meno. Per quanto riguarda l’utilizzo di modelli statistici alternativi, i risultati sono tutti molto simili tra loro (con correlazioni tra modelli diversi superiori a 0.9, in una scala 0-1). Le evidenze sono molto differenti quando si confrontano i risultati per ciascuna scuola nel tempo. Si osserva chiaramente, infatti, che i risultati di valore aggiunto sono significativamente diversi da un anno a quello successivo, e le correlazioni sono particolarmente basse quando si confrontano i risultati a distanza di due anni.

Quali conseguenze si possono trarre da tali risultati? Principalmente, si può asserire che le valutazioni di valore aggiunto oggi disponibili non sono in grado di fornire indicazioni robuste sull’efficacia delle scuole da un anno all’altro. Ci sono due possibili spiegazioni per tali risultati: o le caratteristiche degli studenti di ciascuna classe quinta della scuola sono molto differenti da un anno all’altro, oppure alcune caratteristiche della scuola sono diverse da un anno a quello successivo e influiscono sul giudizio relativo alla sua efficacia. I nostri modelli statistici, tutto sommato, tengono in adeguata considerazione le caratteristiche degli studenti, avendo a disposizione nel nostro database alcune informazioni sul background socioeconomico degli studenti (occupazione e titolo di studio dei genitori). Pertanto, siamo propensi a ritenere che la causa dei diversi risultati da un anno con l’altro sia legata a cambiamenti nelle scuole.

Nella nostra interpretazione, la variazione dei risultati è da attribuirsi ad una differente qualità del corpo docente. Ricordiamo, infatti, che la valutazione di efficacia della scuola, ogni anno, riflette la qualità dei docenti che hanno insegnato ad una specifica coorte di studenti – la prova Invalsi è condotta sempre su studenti delle classi quinte (grado 5). Nella scuola primaria, i docenti sono assegnati a specifiche coorti di studenti, e insegnano loro dalla classe prima alla quinta (al netto di trasferimenti e mobilità). È dunque plausibile che le stime del valore aggiunto della scuola, in un determinato anno, riflettano sostanzialmente l’efficacia (media) dello specifico gruppo di docenti che insegna alle classi quinte di quell’anno. Tale qualità media può essere molto differente da una coorte di docenti che insegna nelle classi quinte a quella degli anni successivi.

I risultati spingono la riflessione in due direzioni, importanti per ridefinire alcune politiche scolastiche. In primo luogo, i risultati di valore aggiunto oggi disponibili, pur rappresentando un’informazione molto importante in ogni specifico anno, non possono essere utilizzati per finalità di incentivo allo stato attuale. I ricercatori (in primis, quelli di Invalsi) dovranno dunque continuare a lavorare sui modelli statistici per renderli più capaci di isolare informazioni utili per valutare in modo robusto, e consistente nel tempo, l’efficacia delle singole scuole. In secondo luogo, appare utile provare a raccogliere in modo più sistematico e completo dati riferiti ai docenti delle scuole (età, titolo di studio, esperienza, aggiornamento, pratiche didattiche adottate e altro), affinché i modelli statistici possano essere arricchiti con nuove informazioni che consentano di giudicare in modo più completo le determinanti dell’efficacia (o meno) delle attività delle scuole.

Tommaso Agasisti, Politecnico di Milano School of Management

Post scriptum. I lettori interessati ad approfondire possono fare riferimento al paper pubblicato su Fiscal Studies: Minaya, V., & Agasisti, T. (2019). Evaluating the Stability of School Performance Estimates over Time. Fiscal Studies, 40(3), 401-425. Una versione scaricabile gratuitamente del lavoro è disponibile qui: http://www.siepweb.it/siep/images/joomd/1517998327Agasisti_Minaya_WP_SIEP_733.pdf

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.