Dati INVALSI: “fotografia” o strumento di intimidazione matematica?

Roars, 15.7.2019

– Arriva l’estate e arriva l’ennesimo rapporto sui test INVALSI. Le metafore dei test come “fotografia” della realtà e del “termometro” si sprecano. La Presidente Ajello ha in una recente intervista radiofonica usato la metafora degli esami del sangue: i risultati dei test INVALSI somigliano alle percentuali di colesterolo nel sangue. Proprio quest’ultima analogia può essere utile per capire bene cosa misurano le prove INVALSI. Nel sangue il colesterolo c’è davvero e può essere osservato. Le prove INVALSI, oltre alle famigerate “competenze”, dal 2016  affermano di stimare statisticamente anche un’altra grandezza che non è direttamente osservabile: il “valore aggiunto”. Servono alle scuole per migliorarsi, si dice. Devono essere svolti da tutti: è una questione di equità, si aggiunge. Ma lo sanno i commentatori che le scuole non hanno alcun accesso alle prove svolte dai loro studenti? Che da quanto le prove sono computer based ciò che viene loro restituito è solo un file che associa il punteggio x all’allievo y, senza nessun’informazione su come quel punteggio sia stato ottenuto? Cosa non ha saputo lo studente? Dove e cosa ha sbagliato? L’assenza di questa informazione essenziale per qualsiasi insegnante, per qualsiasi concreto di miglioramento in classe svela la sola e vera funzione della prova. All’INVALSI interessa raccogliere dati relativi a ciascuno studente nel tempo.  I punteggi dei test certificheranno le competenze di ognuno. E quelle certificazioni piano piano subentreranno ai titoli di studio rilasciati dalle scuole pubbliche. Ecco a cosa servono i test INVALSI ed ecco perché la rilevazione è censuaria e non, come accade nel resto del mondo, campionaria.

“Una fotografia disarmante”, la definisce Christian Raimo; “due Italie, una che legge e scrive e parla inglese e l’altra no”, scrive Rai news;  “un’Italia che non ama il merito e non capisce che la sana competizione è vitale per la crescita”, chiosa il Corriere della Sera; “il 35% degli studenti in terza media non comprende un testo in italiano”, continua Repubblica; “sono la foto di un Paese non democratico” commenta eccentricamente Marco Rossi Doria sul Fatto quotidiano.  E tanti altri.

La pubblicazione annuale del rapporto dei dati INVALSI produce ciclicamente, almeno dal 2008 in avanti, anno in cui le prove diventano censuarie – ovvero destinate a tutti gli studenti italiani delle classi testate –  paginate di indignazione e sconcerto mediatico.

I risultati INVALSI, entro i dovuti errori statistici, sono da 10 anni pressoché sovrapponibili (come sfugge al conduttore di “Tutta la città ne parla” del 11/7/2019, Radio 3, quando afferma che le trasmissioni di commento si ripetono di anno in anno). Cosa ci dicono?

Che esiste divario Nord-Sud, crescente al crescere dell’età degli studenti; divario maschi femmine, centri-periferie, autoctoni e immigrati. In sostanza: gli immigrati sanno meglio l’inglese (chissà perché) e i divari in inglese sono più accentuati (corsi privati?). Le femmine sono più brave dei maschi in italiano. A Taormina sono più scarsi che a Varese. Il tutto con grafici, tabelle, punteggi divisi per regioni, colori diversi.

 “Scienza oggettiva”, altro che “impressionismo” della valutazione dei docenti (che si sa, al Sud sono più compassionevoli, forse perché condividono le peggiori condizioni di vita dei loro studenti).

Sono 10 anni che va in scena la stessa recita e sono 10 anni che gli editoriali e le interviste radiofoniche sollevano clamori e indignazione, che puntualmente si spengono con pochi strascichi nel giro di una settimana.

Cosa è cambiato in questi 10 anni, dunque?

Sostanzialmente tre cose.

La prima riguarda i soldi.

-Le uscite della pubblica amministrazione destinate all’Istruzione nell’arco del decennio 2007-2017 sono passate da 72,7 a 66,1 miliardi  (dati ISTAT sezione “Conti nazionali; Conti e aggregati economici delle pubbliche amministrazioni; Uscite annuali per sottosettore; Voci di uscita per settore).

La seconda è la crescita della pervasività della valutazione standardizzata, secondo il disegno suggerito dall’Unione Europea e ammantato di scienza dai tre vati Checchi, Ichino e Vittadini agli albori della nascita del sistema nazionale di valutazione. Tutta l’architettura del nostro sistema di istruzione ha come perno centrale la valutazione realizzata da un ente di diretto controllo ministeriale, presidiato per anni da uomini di Banca d’Italia. Una valutazione occhiuta la cui funzione, in prospettiva neanche tanto lunga, è la valutazione non sole delle scuole, ma dei dirigenti scolastici, degli insegnanti e finanche degli studenti. Una valutazione centralizzata, rivestita di oggettività semplicemente perché numerica, che si sostituisce nell’immaginario collettivo alle valutazioni distorte e soggettive degli insegnanti.

I risultati ai test sono già “obiettivi di performance” per i dirigenti scolastici (si veda ad esempio qui).

Quelli che chiamavamo “quiz” si sono evoluti  nel tempo. E’ cresciuto il numero di prove a cui ogni studente italiano viene sottoposto, ed è cresciuta la loro funzione. Oggi uno studente italiano affronta il primo test a 7 anni (II elementare), poi a 10 anni (V elementare), a 13 anni (III media), a 14 anni (II secondaria) e 18 anni (V secondaria).

I test di fine ciclo oggi hanno addirittura funzione certificativa. Certificano le “competenze misurate”. Come afferma in una recente intervista la Presidente Ajello: l’importante è avere “competenze fondamentali, che in ogni disciplina sono relativamente poche. Quelle devono essere acquisite per bene”.

“Fanno la cittadinanza”, si dice oggi. Questo ripetono gli editorialisti e i commentatori. E probabilmente il retropensiero non è quello “novecentesco” della definizione di un diritto di base, quanto invece la prospettiva (agghiacciante) suggerita da Sabino Cassese per “salvare la democrazia” : richiedere una certificazione per essere candidabili alla rappresentanza politica. E, chissà, forse anche per accedere al diritto di voto.

Che la nozione di istruzione come diritto primario sia sideralmente lontana dalla discussione lo si capisce chiaramente dalle parole della Presidente Ajello, che esemplifica così le competenze necessarie alla cittadinanza e misurate dai test:

“ad esempio sei riconosciuto come cuoco competente non solo se sai eseguire la ricetta della Sachertorte, ma se la sai fare altrettanto buona al variare delle condizioni di contesto – per esempio aumentata umidità dell’aria, caratteristiche del forno differenti e così via.”

Nel suo esempio, la ricetta della sachertorte è quella che insegnerebbero (e valuterebbero) gli insegnanti. Puro nozionismo, puro soggettivismo. L’INVALSI, invece, mette il cuoco (lo studente) in condizioni “sperimentali” differenti, per testarne la creatività. L’alea, la destrezza, la prova di resistenza psicologica all’ignoto, la velocità sono oggi necessarie per essere “cittadini”. Questo ci dice la società della conoscenza: l’Unione Europea, l’OCSE, le grandi organizzazioni sovranazionali che hanno oramai ri-strutturato in termini di competenze tutti i curricoli e tutti i percorsi di istruzione del mondo globale. E questo ripete l’INVALSI.

Il terzo punto,  è un cambiamento significativo nella comunicazione. Con una parabola già vista all’opera altrove e che i commentatori nostrani faticano a riconoscere.

Gli economisti hanno per anni suggerito la linea, imponendo la retorica dell’oggettività, della necessità di eliminare i bias e le copiature permesse dagli insegnanti. Per anni il focus principale di INVALSI è stato sul cheating e si sono sprecati i titoli sul fatto che al Sud si copia di più.  Già a partire dal 2009, poi 2013 e poi via via in maniera più battente, l’élite che difende il fortino (e le poltrone e gli incarichi) di INVALSI ha ritenuto di cambiare registro comunicativo. Il registro adottato è quello delle diseguaglianze e della necessità di interventi misericordiosi (che puntualmente non avvengono) nei confronti di chi è rimasto indietro: adesso le parole chiave sono equità e uguaglianza di opportunità.

Jerry Mueller ha raccontato in dettaglio come proprio queste parole chiave abbiano favorito il permanere, negli USA, dell’uso dominante delle metriche e delle relative distorsioni nel lungo periodo: introdotte da Bush con il No child Left Behind Act, sono entrate sostanzialmente immutate nel Every Student Succeeds Act di Obama.

INVALSI continua a sostenere, adesso, che sottoporre ai test INVALSI gli studenti sarebbe una questione di “giustizia sociale”, indipendentemente dall’adozione degli interventi politici che i risultati di quegli stessi test sembrerebbero suggerire (ridefinizione di finanziamenti e risorse pubbliche, maggiore sostegno alle aree più depresse economicamente o culturalmente, etc.). Il test INVALSI uguale per tutti e “somministrato” a tutti sarebbe uno strumento di giustizia sociale di per sé.

In parallelo al registro dell’uguaglianza, si snoda l’”intimidazione matematica”. Le metafore dei test come “fotografia” della realtà e del “termometro” si sprecano. La Presidente Ajello ha in una recente intervista radiofonica usato la metafora degli esami del sangue: i risultati dei test INVALSI somiglierebbero alle percentuali di colesterolo nel sangue.

Proprio quest’ultima metafora può essere utile per capire bene cosa misurano le prove INVALSI. Nel sangue il colesterolo c’è davvero e può essere osservato. Le prove INVALSI stimano statisticamente una grandezza che non è direttamente osservabile: il “valore aggiunto”. Che cosa è dunque il valore aggiunto?  L’idea più o meno è questa.

Si costruisce anzitutto un allievo tipo che tenga conto di alcune sue caratteristiche intrinseche: ad esempio: 7 anni+ genere + provenienza geografica+ contesto socio economico, fanno un allievo “tipo”. Si calcola con (neanche troppo sofisticate, ma allo stato del tutto irriproducibili) tecniche il risultato ai test di questo allievo tipo. Quindi per ogni allievo “reale” si calcola la differenza tra i risultati che ha avuto al test e quelli dell’allievo tipo corrispondente: questa differenza è il valore aggiunto. Tanto più elevata questa differenza tanto maggiore il valore aggiunto generato dalla scuola.

Non c’è bisogno di una laurea in statistica per capire che i risultati di queste statistiche sono cosa ben diversa dall’osservazione della quantità di colesterolo nel sangue. O dalla misurazione della temperatura con un termometro. Più complicato capire che queste prove di oggettivo non hanno davvero nulla, che i risultati dipendono dal modello utilizzato e dalle calibrazioni. Rimandiamo per questo all’articolo di John Ewing sul Bollettino dell’American Mathetical Society che stigmatizza i modelli a valore aggiunto come forme di intimidazione matematica guidate da numeri (ma si veda anche qui)

I dati INVALSI sono indiscutibili. Ma torniamo alle fanfare del 10 luglio di quest’anno, che ci dicono che il nuovo corso comunicativo di INVALSI ha funzionato. Leggendo la stampa, compresi gli editoriali “di sinistra” dell’Internazionale o Repubblica, ascoltando gli intellettuali che commentano, ciò che sconcerta è la totale accettazione del quadro e del modello di valutazione in atto. La totale a-criticità nei confronti di ciò che quel quadro abbia significato, inserito all’interno del contesto scolastico.

Marco Rossi Doria, icona della scuola progressista, già sottosegretario del governo Monti, è talmente intimidito dalla matematica INVALSI che sul Fatto Quotidiano dichiara:

“Le prove ci consegnano un’evidenza approvata dalla comunità scientifica”,

scambia cioè un rapporto di ricerca per una pubblicazione scientifica sottoposta a revisione tra pari (peer review) e soprattutto non tenendo conto del fatto che le prove INVALSI sono allo stato del tutto irriproducibili da scienziati indipendenti.

Ma questo non conta. I test INVALSI si devono fare e li devono fare tutti gli studenti. I test INVALSI sono una fonte di dati insostituibile, che entra nelle scuole, nelle classi, ed ormai anche negli zaini degli studenti, sotto forma di certificazione esterna, con cui presentarsi “nel mondo fuori la scuola”. Servono alle scuole per calibrare e migliorarsi.

Ma lo sanno Christian Raimo e Marco Rossi Doria che le scuole non hanno alcun accesso alle prove svolte dai loro studenti?

Che da quanto le prove sono CBT (computer based) ciò che viene loro restituito è solo un file che associa il punteggio x all’allievo y, senza nessun’informazione su come quel punteggio sia stato ottenuto? Cosa non ha saputo lo studente? Dove ha sbagliato? Cosa ha saltato?

L’assenza di questa informazione essenziale per qualsiasi insegnante, per qualsiasi discorso di miglioramento reale, di tipo didattico e disciplinare, svela la sola e vera funzione della prova. All’INVALSI  non interessano il cosa, il contenuto. Interessa valutare ogni singolo studente a intervalli regolari dai 7 ai 18 anni e seguirne l’evoluzione dei punteggi. In sostanza: interessa raccogliere dati relativi a ciascuno studente nel tempo.  I punteggi dei test certificheranno le competenze di ognuno. E quelle certificazioni piano piano subentreranno ai titoli di studio rilasciati dalle scuole pubbliche. Ecco perché i test devono essere censuari e non campionari, come avviene per le rilevazioni che fini meramente osservativi.

Mettiamo ora l’ultimo tassello. Andreas Schleicher, Direttore del Dipartimento Educazione dell’OCSE (Organizzazione per la Cooperazione e lo Sviluppo Economico)  è intervenuto in chiusura alla presentazione del rapporto INVALSI del 10 luglio scorso. Che l’OCSE abbia col tempo indirizzato l’attività di INVALSI è stato ampiamente scritto (vedi ad esempio qui e qui). Viene davvero il dubbio che l’OCSE e l’Europa, dopo aver commissariato l’economia italiana, lo abbiano fatto anche con la scuola.

.

.

.

.

.

.

.

.

.

.

.

.