di Rossella Latempa, Roars, 2.2.2024.

L’idea che i dati degli studenti raccolti anno dopo anno dall’INVALSI possano costituire un immenso database da cui trarre informazioni e anticipazioni su potenziali comportamenti e rischi individuali apre grandi interrogativi. Solo per indicarne alcuni: 1. La trasparenza del processo di attribuzione degli esiti; 2. Il suo controllo e riproducibilità; 3. La valutazione del del grado di incertezza e di impatto del rischio; 4. La consapevolezza informativa dei soggetti schedati; 5. Il diritto alla spiegazione e al riesame umano della valutazione algoritmica. Quella dell’INVALSI è una gigantesca black box, del tutto opaca e non interpretabile dall’esterno. E nessuno degli interrogativi precedenti è attualmente oggetto di discussione. Cosa possiamo aspettarci in futuro? La nuova parola d’ordine del Ministro Valditara, personalizzazione, non potrà che fare ulteriore e massiccio uso dei risultati INVALSI. Non è difficile ipotizzare cosa comporterebbe l’integrazione e l’interoperabilità tra i diversi dataset istituzionali, scuola-Università-mondo produttivo: un sistema automatizzato di corrispondenza dei profili, la perfetta tracciabilità del “capitale umano”. Quali tutele attivare e come esercitare diritti e controllo?

Le prospettive di ricerca e i progetti in cantiere dell’Istituto Nazionale di Valutazione presentati nel post precedente ci danno l’idea di esserealla frontiera di una nuova stagione della valutazione standardizzata. L’infrastruttura dei dati INVALSI si sta imponendo nel quadro politico come architettura fondamentale per la realizzazione di una sorta di nuovo modello di welfare educativo, di tipo tecnocratico. I risultati dei test oggi sarebbero in grado di individuare con presunta neutralità i destinatari meritevoli di interventi di rinforzo o sostegno educativo. E’ il caso della missione riduzione dei divari, ovvero della realizzazione individualizzata di interventi didattici sui fragili, o della più recente Agenda Sud, entrambe attualmente già in essere.

Al raggiungimento di un “fine nobile” (contrasto dispersione), sembrerebbe poter corrispondere l’impiego di qualsiasi mezzo (automatizzazione del processo di etichettamento e indirizzo finanziamenti).    Purtroppo, però, le cose non stanno così, come sottolinea anche il Garante della privacy nell’intervista che abbiamo riportato nel primo post di questo approfondimento.

Che cosa non va?

Primo: la valutazione algoritmica INVALSI diventa un processo anticipatorio che pretende di poter quantificare rischi, prevedere statisticamente i futuri possibili e consentire di intervenire per modificarli. L’effetto immediato è quello di rendere presenti quei futuri selezionati come più probabili, non solo attraverso la classificazione individuale, la cui traccia sociale è imprevedibile, ma soprattutto per mezzo della catena di interventi  attivati (progetti di potenziamento didattico, recupero..).

Secondo: non c’è niente di giusto o imparziale nel prendere decisioni sulla base di un processo di tipo algoritmico. A monte di qualsiasi processo di attribuzione di valore (valutazione) automatizzata, ci sono assunzioni tanto più implicite quanto più complesso è il funzionamento del processo. Gli esempi di “discriminazioni algoritmiche” o di ingiustizie algoritmiche esistono e aumenteranno;  il dibattito critico internazionale evidenzia da tempo i legami tra eugenetica, statistica e processi automatizzati. Le operazioni svolte in maniera algoritmica sono sempre intrecciate alla matrice sociale che le circonda.

Terzo: la valutazione automatizzata è un processo performativo, cioè coinvolto nella creazione della realtà che pretende di rappresentare. Il potere auto-rappresentante di una classificazione come quella di fragilità emessa dall’INVALSI non è paragonabile al giudizio umano di un insegnante, negoziabile e revisionabile. Automatizzare le valutazioni significa naturalizzare le disuguaglianze e rafforzarle.

Quarto: i possibili errori o “danni collaterali” prodotti da una valutazione algoritmica come quella operata da INVALSI non possono essere derubricati o minimizzati. Al contrario, vanno previsti e  quantificati; ne va garantita la revisione.

Infine: è bene considerare che al di là di qualsiasi regolamentazione o controllo etico-legislativo, che non risolverà i problemi precedenti, ma li traslerà su un piano di risarcimento individuale, per coloro che avranno i mezzi per permetterselo, i processi decisionali automatizzati hanno un costo ingente per la collettività. Sarebbe utile quantificarlo e discutere la scelta politica di appaltare ad organismi come l’INVALSI il nuovo ruolo di regista algoritmico delle politiche educative.

1. I problemi urgenti sull’etichettatura dei fragili INVALSI

 L’Autorità per la protezione dei dati personali ha ribadito che in ogni processo algoritmico di etichettamento, la desiderabilità dei fini non può giustificare né bastare a correggerne gli intrinseci effetti di discriminazione di un errore, né mitigare eventuali e imprevedibili lesioni soggettive che potrebbero prodursi per il soggetto testato.

Esistono diversi ordini di problemi che ci sembra urgente porre all’attenzione dei lettori, tanto più perché il dibattito su questi nuovi sviluppi è del tutto assente. Non è d’altronde certo la prima volta che constatiamo la totale assenza dell’ INVALSI dal discorso pubblico sulla scuola. L’INVALSI è il grande convitato di pietra, lasciato perennemente sullo sfondo.

Per comodità di sintesi, ci sembra di poterli riassumere così:

A.Il problema della trasparenza del processo di attribuzione degli esiti

La valutazione standardizzata INVALSI è una gigantesca black box, opaca e non interpretabile dall’esterno. Dalle scelte di carattere tecnico fino al contenuto del test che genera il risultato di fragilità non c’è nulla di pubblico e accessibile. L’esito INVALSI va accettato sulla base del principio di autorità: una sorta di affidamento magico.

B. Il problema del controllo e della riproducibilità degli esiti valutativi

Mancanza di trasparenza significa mancanza di controllo e replicabilità del risultato da parte di qualsiasi altro Ente, ricercatore, privato cittadino. Per l’INVALSI vale ancora l’Ipse Dixit.

C.Il problema della quantificazione dell’ incertezza e dell’ impatto del rischio

Non esiste alcuna comunicazione sull’impatto del rischio e sul grado di incertezza degli esiti delle valutazioni automatizzate INVALSI. Al contrario, le parole del Presidente nel dibattito col Garante  (vedi qui) sembrano minimizzare il problema dell’errore.

D.La consapevolezza informativa dei soggetti schedati

La consapevolezza del margine di imprevedibilità e dei rischi che una valutazione individuale automatizzata contiene è proporzionale al livello del dibattito pubblico e al pluralismo delle posizioni in campo. Entrambi scadenti.

E. Riesame umano della valutazione algoritmica

Quando attori di interesse pubblico (Ministero, agenzia INVALSI) prendono decisioni sulla base di processi automatizzati di valutazione dei cittadini, è un diritto di questi ultimi comprendere, identificare, poter contestare e chiedere riparazione in caso di danno. La mancanza di un quadro di accessibilità e ricorso è semplicemente mancanza di democrazia.

2. Le domande aperte sull’etichettatura INVALSI

1) Come gestisce l’INVALSI gli obblighi di informazione, acquisizione del consenso e diritto alla cancellazione?

Gli studenti e le loro famiglie sono stati adeguatamente informati? Ci chiediamo se l’informativa dell’INVALSI  “in relazione al trattamento dei dati degli studenti ai fini della rilevazione degli apprendimenti – anno sc. XX realizzate ai sensi del D.Lgs. n. 62 del 13 aprile 2017” antecedente all’ introduzione dell’indicatore predittivo di fragilità sia stata adeguatamente aggiornata in termini di finalità, modalità di trattamento, diffusione e conservazione delle informazioni contenute in tale indicatore.

2) Qual è la valutazione dell’impatto del rischio dell’etichettatura di fragilità INVALSI?

L’European Union Agency for cybersecurity ENISA sottolinea che la valutazione del livello di rischio per una qualsiasi operazione di trattamento dei dati personali è il primo passo verso l’adozione di adeguate misure di sicurezza per la loro protezione.

Per l’ENISA è fondamentale definire prioritariamente i confini di qualsiasi operazione di trattamento dei dati, oltre al contesto di riferimento. Nel manuale sulla sicurezza del trattamento dei dati personali (2017) (1) è presente un esempio di tabella dei livelli di impatto possibili (pag. 11):

Anche alla luce delle preoccupazioni espresse dal Garante (“Un’etichettatura sbagliata per colpa di un algoritmo pregiudica per un certo numero di anni la vita di quella persona”), osserviamo che l’agenzia europea considera medio l’impatto associato a:

“significativi disagi, che [i soggetti lesi]  saranno in grado di superare nonostante alcune difficoltà (costi aggiuntivi, negazione dell’accesso a servizi, paura, mancanza di comprensione, stress, piccoli disturbi fisici, ecc.).”

E alto l’impatto associato a:

“significative conseguenze, che dovrebbero essere in grado di superare sebbene con serie difficoltà (appropriazione indebita di fondi, inserimento in liste nere da parte delle istituzioni finanziarie, danni materiali, perdita del lavoro, citazioni in giudizio, peggioramento della salute, ecc.).”

Quali valutazione del rischio ha fatto l’INVALSI riguardo alla diffusione incontrollata dei dati predittivi delle condizioni di fragilità individuali degli studenti? Dove è possibile leggerle?

3) Come ottenere il diritto alla spiegazione del proprio punteggio INVALSI?

Se l’etichetta di fragile, generata in maniera automatizzata e attaccata al codice alfanumerico di uno studente, che passa da un’istituzione ad un’altra, dai database INVALSI-MIM, a quelli delle società che gestiscono i registri elettronici, fino alle segreterie scolastiche, le quali possono tradurre quei codici in nomi e cognomi, dovesse essere oggetto di attenzioni in “ambiti altri”, cosa accadrebbe allo studente interessato?

Esiste un diritto soggettivo alla spiegazione della logica e delle conseguenze di un trattamento automatizzato (qui):

“Tale diritto [alla spiegazione] Si trova menzionato all’art.71[GDPR] e previsto agli articoli da 13 a 15, eppure in collegamento con l’art. 22. Assume la forma di diritto a ottenere informazioni significative sulla logica e sulle conseguenze previste del trattamento.”

(..) È vero che alcune soluzioni di deep learning costituiscono per gli stessi sviluppatori delle black box, ma non mi pare che da ciò possa derivare un regresso del diritto: i prodotti a disposizione del pubblico o incidenti sulle persone devono essere sicuri e devono essere spiegabili. Se non lo sono non li utilizzi. La tecnologia deve adattarsi ai diritti fondamentali e al valore della persona, non il rovescio, se non vogliamo accettare regressi, forse irreversibili, di cultura e di tutela

(..) solo aprendo la black box e analizzando i proxy individuati e i pesi ad essi attribuiti è stato possibile esporre in modo chiaro e circostanziato il bias e contestare in maniera esatta il modello: puoi ritenere che la piattaforma violi soggetti vulnerabili, ma puoi incontrare enormi difficoltà nel dimostrarlo. Se un processo è comprensibile diventa anche contestabile.”

Gli sviluppi della legislazione europea in materia di Intelligenza Artificiale sono in corso. La comunità di Access.now è uno spazio di conoscenza, assistenza e informazione sul tema dei diritti “digitali”.

4) Cosa si prevede sul futuro dell’accesso e dell’integrazione dei dati individuali INVALSI?

Orientamento, personalizzazione, digitalizzazione, semplificazione. Sono queste le parole d’ordine  del Ministero Valditara, riprese alla recente fiera Job&Orienta 2023  di Verona, in cui è stata presentata la nuova piattaforma UNICA (qui la nota del 5 dicembre scorso del MIM), che prevede l’integrazione su piattaforma dei dati di tutti gli studenti italiani e promette di far dialogare studenti, famiglie, territorio, imprese, Università.

L’INVALSI stesso suggerisce agli studenti di scaricare le proprie certificazioni in italiano, matematica, inglese, per diverse opzioni: arricchimento del curriculum, profilazione sui social, anche attraverso la facilitazione di un Open badge.

Possibili connessioni e interfacce tra database centrali e regionali o di ricerca tra enti diversi sono naturalmente immaginabili.

Proprio di questo  si è parlato nel convegno dal titolo “Dalla formazione al mondo del lavoro: integrazioni di basi dati per l’analisi delle biografie scolastiche, universitarie e lavorative”, tenutosi nel 2022 al CNEL; presente anche INVALSI.

Il tema dell’integrazione dei dati è stato al centro anche dei lavori di “Data connect: KNIME nella Pubblica Amministrazione”, anche qui, presente l’INVALSI.

Come si prevede di regolamentare l’interoperabilità, l’integrazione e la tracciabilità dei risultati degli studenti tra diverse banche dati?

5) ….to be continued…..

3. Prospettive (collettive)

Dan McQuillan (vedi qui per approfondire, in italiano) nel suo ultimo lavoro sull’Intelligenza Artificiale sostiene che:

“Leggi come il Regolamento generale sulla protezione dei dati (GDPR) dell’UE restringono e individualizzano le questioni, mentre, in particolare nel caso dell’IA, le domande sono profondamente comunitarie.

Ciò che è veramente necessario per contrastare la capacità di sistemi come il deep learning di fare previsioni invasive sono interventi collettivi”

Ricordiamo tutti lo scandalo della discriminazione algoritmica  che nel 2020 era esploso in Inghilterra, quando l’ente regolatore delle qualifiche, l’Ofqual, aveva assegnato in maniera automatizzata le valutazioni per gli A-levels e i GCSE di fine anno, dopo il Covid.  I voti erano risultati almeno nel 40% dei casi inferiori a quelli previsti dagli insegnanti e ad essere penalizzati erano stati specialmente gli studenti più poveri, provenienti dalle aree più disagiate; mentre i più avvantaggiati provenivano da college esclusivi.

Le proteste erano state assai vivaci: “Fuck the algoritm”, gridavano gli studenti dinanzi al Dipartimento dell’Istruzione del Regno Unito a Londra, tanto che l’ Ofqual aveva annullato la decisione.

Cosa ci insegna il fiasco delle valutazioni algoritmiche inglesi?

Il professor Daan Kolkman  sul blog della LSE (London School of Economics and Politica Science) si esprime così:

“Questo incidente ha acceso i riflettori dei media sulla questione dei pregiudizi dell’intelligenza artificiale. [..] C’è una lezione chiave da imparare da questo fiasco della valutazione algoritmica. Una lezione che diventerà sempre più rilevante man mano che i governi e le organizzazioni utilizzano sempre più sistemi automatizzati per informare o prendere decisioni [..]

I media, gli insegnanti, gli studenti e i loro genitori  [sono STATI capaci di esercitare]  enormi pressioni sul governo britannico affinché riconsideri i voti determinati automaticamente.

 Hanno formato “un pubblico critico” che ha esaminato collettivamente l’algoritmo, i dati sottostanti e le necessarie procedure di risarcimento.”

Azioni e pressioni collettive e sempre più organizzate e coordinate, condivisione di esperienze tra reti formali e informali di soggetti coinvolti, ampliamento della conoscenza dei propri diritti e dei rischi connessi ai processi di valutazione automatizzata possono incidere sullo stato delle cose.

È urgente un’azione collettiva nelle sedi nazionali ed europee.

(1) Nel Manuale (pag. 6) si specifica che ” Tali linee guida possono essere utili anche in tutti i casi in cui sia prevista una valutazione del rischio ai sensi del Regolamento [GDPR]”. In tal senso, le indicazioni dell’ENISA  possono fungere da riferimento anche nel caso che stiamo discutendo.

• Il tuo futuro è scritto nei test INVALSI: le preoccupazioni del Garante della Privacy

• Il tuo futuro è scritto nei test INVALSI: learning analytics e dispersione scolastica