Scuola: perché i Paesi Bassi dovrebbero essere il modello?

di Anna Angelucci,  Roars, 11.4.2019 

– Jaap Scheerens è l’autore del volume Efficacia e Inefficacia Educativa. Esame Critico della Knowledge Base (Springer, 2018). L’autore è membro del comitato scientifico di Invalsi che ha finanziato la traduzione italiana del volume.  Vi sostiene che tutta una serie di provvedimenti relativi alla governance della scuola italiana degli ultimi vent’anni – dall’autonomia scolastica alla rendicontazione delle scuole attraverso valutazione e autovalutazione; dall’accorpamento degli istituti comprensivi alle attività  di formazione degli insegnanti – non sono indicatori di efficacia scolastica. Per Scheerens il modello di efficacia è rappresentato dal sistema scolastico dei Paesi Bassi, in cui la politica educativa è orientata alla qualità: scuole private, confessionali, orientamento precoce su un rigido binario prestabilito e soprattutto tanti test. Tanti test nazionali per andar bene al ‘super test’ globale. Un sistema totalmente autoreferenziale, pieno di distorsioni. E’ questo il futuro che ci attende?

Per il pedagogista olandese Jaap Scheerens, membro del comitato scientifico dell’Invalsi, autore di “Efficacia e Inefficacia Educativa. Esame Critico della Knowledge Base” (Springer, 2018) il modello di efficacia è rappresentato dal sistema scolastico dei Paesi Bassi, in cui la politica educativa è orientata alla qualità (un po’ meno all’equità, ma pazienza). Un sistema scolastico peculiare, fondato sul principio costituzionale olandese della ‘libertà di educazione’, con due terzi degli istituti di istruzione primaria e secondaria privati a dipendenza statale, spesso a confessione religiosa. Un po’ come in America, dunque: charter school ma prevalentemente religiose.

            Al termine dell’istruzione primaria tutti gli studenti vengono sottoposti a un test nazionale standardizzato, il CITO, prodotto da un’azienda privata leader mondiale nelle applicazioni avanzate di test in ambito educativo [sic!], per orientare gli studenti nella scelta dell’indirizzo della scuola secondaria. “L’accettazione generale di questa prova può essere compresa considerandola in rapporto alla struttura profondamente stratificata del sistema di istruzione secondaria”, spiega Scheerens. Infatti a 12 anni, sulla base degli esiti di quel test, lo studente viene indirizzato o all’istruzione pre-professionale o istruzione pre-professionale individualizzata (12-16 anni) o all’istruzione secondaria generale superiore (12-17 anni) o all’istruzione pre-universitaria, (12-18 anni). E non ci sono passerelle.

            Ma c’è di più: Scheerens ci dice che “la ricerca ha dimostrato che il punteggio ottenuto nel test è strettamente in linea con l’orientamento effettivo che gli alunni ricevono dall’istituto scolastico” ovvero strettamente in linea con il tipo di orientamento ricevuto dall’età di quattro anni, quando i bambini olandesi cominciano ad andare a scuola. Scheerens infatti ammette che dalle sue parti l’istruzione secondaria non è mai stata improntata al principio di equità e che il loro sistema selettivo a logica di tracking penalizza studenti con basso status socio-economico e minoranze culturali. Ma tant’è. Sempre ai fini della qualità, nelle scuole dei Paesi Bassi si fanno molti esami e test e questo garantisce una prestazione costante, superiore alla media, nelle classifiche Ocse.

            Dunque, ricapitolando: scuole private, confessionali, orientamento precoce su un rigido binario prestabilito e soprattutto tanti test. Tanti test nazionali per andar bene al ‘super test’ globale. Un sistema totalmente autoreferenziale, pieno di distorsioni (teaching to test, stress di alunni e insegnanti, riduzionismo metrico quantitativo, marginalizzazione delle dimensioni qualitative della valutazione), profondamente iniquo, che dovremmo assumere come modello?

            Non è certamente agevole  la lettura del volume di Jaap Scheerens, “Efficacia e Inefficacia Educativa. Esame Critico della Knowledge Base” (Springer, 2018, pp. 409), pubblicato in traduzione italiana nell’ambito del Progetto INVALSI – PON Valu.E. (Valutazione/Autovalutazione Esperta). Dunque non sarà agevole la lettura di questa mia recensione, ma chiedo a tutti quelli che in vario modo si occupano di scuola e università di fare uno sforzo. Credo ne valga la pena.

            Le ragioni di questa difficoltà sono per me molteplici, a partire dal mio personale posizionamento critico rispetto alle prassi valutative instaurate dall’Invalsi e imposte dal MIUR alle scuole negli ultimi dieci anni, proprio in relazione alla ‘misurazione’ degli apprendimenti degli studenti e alla loro funzione di indicatori di efficacia. Tuttavia la Prefazione introduttiva, che condivido in parte qui con voi, mi ha invitata all’impresa; infatti, con grande onestà intellettuale, Scheerens dichiara nella prima pagina:

            “Vi è un ampio consenso circa le condizioni malleabili [ovvero modificabili] associate alle buone performance degli studenti. Tuttavia, ho ritenuto che fossero giustificate anche alcune delle critiche mosse: per la maggior parte dei fattori malleabili individuati e generalmente supportati, le meta-analisi quantitative rivelano notevoli differenze nella stima degli effect size medi, e i progressi verso un approccio improntato ai modelli e alla teoria appaiono piuttosto lenti. [ … ] Nonostante i “risultati positivi”, nel senso del riconoscimento dell’effettiva malleabilità e della chiara logica dei modelli concettuali, si è notata anche una notevole “dissonanza”, sotto forma di marcata variazione nei risultati della ricerca relativamente alla maggior parte dei fattori chiave, effect size minimi risultanti dai nostri stessi studi, e l’influenza di “certe” condizioni di background e contestuali, spesso emersa come molto più forte rispetto a quella esercitata dalle variabili malleabili sensibili alla policy [ … ] La lettura dei risultati internazionali in questione contrasta con l’immagine della forte malleabilità positiva indicata dai rapporti OCSE e da McKinsey” (pp. V-VI)

            Musica per le orecchie di chi, come me e come tanti, ha sempre pensato che la policy, quando generata da una sovrapposizione tra le ragioni della pedagogia, della didattica, della docimologia, della valutazione, dell’economia e della politica, si configura a tutti i livelli come autoritaria e inaccettabile governance del sistema scolastico e della relazione educativa.

            Musica per le orecchie di chi ha sempre sostenuto che, a dispetto di qualunque, impossibile, ‘misurazione’ del ‘valore aggiunto’ dalla scuola o degli esiti degli apprendimenti scolastici con i test standardizzati, l’influenza di “certe” condizioni di background e contestuali rilevata da Scheerens al termine delle sue ricerche non solo fosse determinante nel percorso formativo di ogni studente ma anche, e soprattutto, di sicuro non ‘malleabile’ con gli strumenti messi in campo nell’ultimo ventennio dalle istituzioni nazionali e internazionali preposte al monitoraggio e all’orientamento dei sistemi di istruzione e dalle scelte politiche che hanno recepito quelle proposte, imponendole ex lege.

            E, per sgombrare il campo da ogni fraintendimento – mi rivolgo direttamente a chi mi accusa di avere una visione “caricaturale” o “ideologizzata” delle questioni scolastiche, in termini culturali e politici – vorrei specificare che il riferimento a OCSE (Organizzazione per la cooperazione e lo sviluppo economico) e a McKinsey (“McKinsey & Company è una società internazionale di consulenza manageriale che serve le principali aziende del mondo, oltre a governi, istituzioni e organizzazioni non profit. Aiutiamo i nostri clienti a realizzare miglioramenti duraturi nelle loro performance e a conseguire i loro obiettivi più importanti. Nel corso di quasi un secolo abbiamo costruito una società globale dotata di competenze uniche per assolvere questo compito”, recita il suo sito internet) non è il frutto di un mio vaneggiamento personale, non nasce dalla mia strampalata idea che le ragioni di fondo che spiegano il pesante intervento sui sistemi d’istruzione dell’ultimo ventennio siano di natura politica ed economica, ascrivibile ad una precisa cornice ideologica. Il riferimento a OCSE e McKinsey e ai loro rapporti sull’istruzione è dello stesso Jaap Scheerens, che, oltre a collaborare stabilmente con OCSE, è uno dei quattro membri del Consiglio scientifico dell’Invalsi.

            E che con quei rapporti, che hanno matrici e finalità evidentemente economiche, insieme all’Invalsi si confronta e agisce.

            A questo punto, dopo i primi paragrafi, ho sentito come necessario andare fino in fondo nella lettura, per cercare di capire le ragioni di queste importanti affermazioni preliminari, condividendo con l’autore del libro l’esigenza di individuare il motivo, o i motivi, per cui tante variabili plausibili non avessero funzionato in così tanti casi, rendendo dunque inefficaci i modi con cui si era agito a livello politico per correggere quelle variabili. E poi provare a ragionare su come le ‘evidenze empiriche’, nonostante quanto affermato da alcuni pedagogisti nostrani, differiscano, come ci dice Scheerens, dagli approcci consigliati per il miglioramento della scuola, in qualche modo smentendoli. Consigliati ma, ahimè, anche attuati, in Italia, devo dire con particolare solerzia legislativa: dalla coazione all’uso delle nuove tecnologie digitali, all’imposizione della ‘didattica per competenze’ attraverso certificazioni e test; dalla ricorsività massiccia delle rilevazioni Invalsi fino alla riforma degli esami di Stato di fine ciclo  e alla sua funzione retroattiva sulle attività didattiche nella scuola superiore di primo e secondo grado.

            Si tratta di un corposo  volume in più parti, frutto di un decennio di studi condotto dall’autore all’università di Twente nei Paesi Bassi, che, come ci spiega Scheerens nella Prefazione, supervisiona con la sua riflessione ben quattro decenni di ricerca (Parte I), presenta ed esamina meta-analisi quantitative (Parte II) e propone riflessioni sulle basi teoriche e sull’applicazione pratica dei risultati empirici (Parte III); il tutto corredato da un case study conclusivo sulla politica educativa orientata alla qualità nei Paesi Bassi.

            Cominciamo col dire meglio chi è Jaap Scheerens. Professore emerito di Pedagogia all’università di Twente, Facoltà di Scienze comportamentali, gestionali e sociali, ha collaborato in progetti di ricerca internazionale con Unesco, Ocse e Banca Mondiale ed è membro del consiglio scientifico dell’Invalsi, che, tra le altre cose, “studia le cause dell’insuccesso e della dispersione scolastica con riferimento al contesto sociale ed alle tipologie dell’offerta formativa” (come si legge nella Presentazione dell’istituto nella sua home page). Con Scheerens, nel Consiglio scientifico dell’Invalsi abbiamo una docente italiana di Pedagogia, un’analista dell’Ocse e un docente di Demografia e Statistica, già presidente dell’Istat: ad indicare la matrice delle diverse attività dell’Invalsi nella stretta correlazione tra ricerca, monitoraggio, orientamento dei sistemi scolastici e gli obiettivi dell’economia e dello sviluppo sociale. Del resto, la riflessione sull’efficacia e inefficacia educativa condotta in questo volume attraverso una modellizzazione che comprende meta-analisi, studi multi-livello, revisioni e analisi secondarie dei dati internazionali e degli studi comparativi, ha una dimensione pluridisciplinare che accosta in modo piuttosto eclettico – accanto alla pedagogia – la sociologia, la psicologia, l’economia, la cibernetica, le teorie dell’organizzazione dei sistemi complessi.

            Il libro procede in modo molto rigoroso e ordinato: nella prima parte, dedicata alla modellizzazione dell’efficacia educativa a livello di insegnamento, scuola e sistema, si analizzano i sistemi scolastici come strutture gerarchiche, la prospettiva dell’efficacia, gli effetti diretti e indiretti dei controlli verticali, le componenti dell’insegnamento nell’ecologia della classe, i fattori chiave nell’efficacia didattica, le diverse modellizzazioni dell’efficacia della scuola e le condizioni della sua promozione. La seconda parte presenta i risultati della ricerca quantitativa: effetti ed effect size all’interno di meta-analisi di cui si descrivono variabili e metodi ma anche risultati vari a livello di sistema. La parte terza propone una riflessione sull’interpretazione teorica e l’applicazione pratica dell’efficacia educativa, concludendosi con un riepilogo su cosa funziona, a quale livello e in quale misura per il miglioramento scolastico. E’ su quest’ultima parte che mi sembra importante soffermarci, in particolare evidenziando quanto attiene a ‘livello di sistema’, ‘a livello di istituto’ e sull’efficacia dell’insegnamento:

            “A ‘livello di sistema’ l’unica condizione malleabile che potremmo definire ‘consolidata’ (più volte confermata quale fattore capace di esercitare un’influenza significativa sulla performance dell’alunno) è la ‘differenziazione orizzontale dei sistemi scolastici secondari’ (sistemi scolastici con logica di tracking vs comprensivi), laddove i sistemi comprensivi funzionano meglio in termini di livelli di rendimento ed equità di outcome. Risultati misti sono stati osservati per quanto concerne le variabili ‘autonomia della scuola, accountability, risorse umane (effetti prodotti dalla formazione degli insegnanti), caratteristiche del curriculum e risorse finanziarie e materiali. I risultati sono misti sotto vari aspetti. In alcuni casi sono positivi, in altri no, come nel caso dell’autonomia, e sembrano subire l’interferenza (confondimento) delle condizioni legate alla realtà di provenienza, come lo stato socio-economico medio o il benessere generale di un Paese, come nel caso della variabile accontability, prodursi soltanto in certi segmenti della distribuzione, come nel caso di realtà che dispongono delle ‘risorse finanziarie e materiali’, poco importa se in Paesi industrializzati più benestanti rispetto ai Paesi meno sviluppati. [ … ] A ‘livello di istituto’, è stata osservata una certa coerenza fra le meta-analisi a supporto dell’’opportunità di apprendere’, quale condizione associata all’effect size medio relativamente massimo. Una “scuola gestita in modo ordinato, con implicazioni sul piano disciplinare e sul tempo di apprendimento effettivo è il successivo miglior aggregato di condizioni, seguito a ruota da un frequente monitoraggio e di un approccio orientato al rendimento. [ … ] A livello di efficacia di insegnamento, l’area di ricerca è molto più varia, diversificata e specializzata [ … ] ma sorprende che le principali scuole di pensiero, identificabili negli approcci di insegnamento strutturati più comportamentisti e approcci costruttivisti a orientamento cognitivista, emergano associate  a effetti positivi perfettamente sovrapponibili. Forse in quest’area è più opportuno concludere che l’efficacia didattica è caratterizzata da un orientamento dedicato e orientato alle strategie di insegnamento (contenenti elementi di approcci cognitivisti e di insegnamento diretto), nonché un clima scolastico ben gestito e supportivo, opportunità di apprendere e uso frequente di strategie di valutazione formativa e feedback” (p.310)

            Cioè, esattamente (al netto della brutta resa nella traduzione italiana), si afferma che tutta una serie di provvedimenti relativi alla governance della scuola italiana degli ultimi vent’anni – dall’autonomia scolastica[1] alla rendicontazione delle scuole attraverso valutazione e autovalutazione; dall’accorpamento degli istituti comprensivi alle attività strutturate di formazione degli insegnanti o agli interventi di riforma ordinamentale – non sono indicatori di efficacia scolastica a livello di sistema, mentre invece, a scuola e in classe, l’attenzione ai tempi di apprendimento, l’interesse per il rendimento, il lavoro costante sulla valutazione formativa (che certo non è quella dell’Invalsi!), il focus sulle conoscenze e sulla relazione intersoggettiva con l’alunno, costituiscono elementi positivi estremamente efficaci.

            Vorrei urlare. Non è quello che facciamo e che cerchiamo di fare a scuola da sempre? Non è quello che noi insegnanti rivendichiamo nei nostri interventi critici contro la deriva delle politiche di istruzione che, da vent’anni, impongono tutt’altra direzione ai nostri sforzi e al nostro lavoro, producendo effetti devastanti sulla didattica ma soprattutto sugli apprendimenti?

            Jaap Scheerens descrive come positivo tutto quello per cui abbiamo sempre lottato e continuiamo a lottare nonostante la coazione esercitata a vari livelli dalla triplice alleanza OCSE-INVALSI-MIUR – guidata dai rapporti Ocse e McKinsey – per trasformare la didattica in un addestramento ai test; per abbracciare la ‘didattica per competenze’ con il suo correlato insopportabile di ‘compiti di realtà’ e ‘valutazioni autentiche’; per abbandonare discipline e interdisciplinarità; per rendere tutti gli studenti, adolescenti e creature piccole, degli odiosi performer, piccoli capitalisti umani, imprenditori di sé da gettare in pasto a un mondo trasformato in osceno mercato.

            La parte centrale del libro illustra i risultati della ricerca quantitativa: effetti ed effect size nella ricerca sull’efficacia educativa (cap. 7), meta-analisi dell’efficacia didattica e della scuola (cap.8) condizioni a livello di sistema (cap.9), sintesi dei risultati emersi da altri studi empirici (cap. 10). E’ nelle conclusioni che si annidano le questioni che ci riguardano. Sostanzialmente, ci spiega Scheerens, gli effetti di cambiamento agiti all’interno dei sistemi scolastici sui fattori cosiddetti malleabili evidenziano variabilità considerevoli, e se “nelle review più recenti, i ricercatori in materia di efficacia educativa danno per scontato che i risultati degli studi condotti in materia di efficacia educativa e miglioramento della scuola offrano una solida base di conoscenza (p. 265), il confronto tra le meta-analisi dimostra, al contrario, che questi risultati sono assolutamente limitati, “senza alcuna eccezione” (p. 265).

            Insomma, conclude l’autore: “Alla luce di considerazioni quali gli effect size possibilmente contenuti, le elevate percentuali di variabilità aspecifica, le notevoli percentuali di variabilità in termini di performance degli studenti da ascriversi a caratteristiche di background individuali o aggregate, la scarsa generalizzabilità dell’insieme dei fattori malleabili considerati nei vari Paesi, i cambiamenti relativamente limitati, riscontrati a livello internazionale, nei risultati del rendimento nel tempo e nei fattori malleabili che si suppone li giustifichino, urge esplorare la “faccia nascosta della luna” in tema di efficacia educativa. In linea teorica, ciò significherebbe analizzare i meccanismi che potrebbero chiarire non solo l’efficacia, ma anche l’inefficacia” (p. 266)

            Coerentemente, nel capitolo conclusivo del suo libro, intitolato “Riepilogo e applicazione al miglioramento scolastico”, Scheerens invita i suoi colleghi e i decisori politici alla “prudenza nell’aderire a questo ‘eroico viaggio’ verso l’eccellenza organizzativa che alcuni esperti in materia di miglioramento scolastico stanno delineando” (p. 303) e aggiunge che “fermi restando la razionalità e il buon senso dei modelli concettuali, andavano approfonditi gli effetti collaterali negativi e le interpretazioni e le teorie alla base dell’inefficacia” (p. 303), anche perché gli effetti di scarsa entità riscontrati attraverso le meta-analisi e review dei dati di valutazione internazionale contenute in questo libro fanno intendere che “la malleabilità dell’efficacia educativa sia (ancora) più contenuta di quanto generalmente supposto” (p. 309).

            Ma qual è la cornice epistemologica di riferimento di questa analisi? Anche qui, Scheerens è illuminante: “La ricerca in materia di efficacia educativa in sé può ritenersi inserita nel contesto di una politica razionale basata sull’evidenza, alla ricerca degli input e degli strumenti in grado di ottimizzare il raggiungimento degli obiettivi educativi. Quale meta-teoria prescrittiva in tema di ‘adeguata’ formulazione delle politiche, gestione e insegnamento, il paradigma di razionalità e le sue più parziali interpretazioni come la cibernetica e la teoria di pubblica scelta offrono un quadro normativo rispetto al quale è possibile raffrontare i risultati di ricerca. I fattori che hanno evidenziato un’associazione positiva con la performance educativa funzionano perché manifestano alcuni dei componenti chiave della razionalità (come chiara definizione degli obiettivi, strategie di strutturazione proattiva, monitoraggio e feedback)? Viceversa, gli approcci che non consentono il raggiungimento degli obiettivi sono da interpretarsi in chiave di fallimento in una logica razionale?” (p. 313)

             Certo, la relazione tra il presupposto (la logica razionale) e i suoi esiti applicativi è fondamentale per comprendere successo o insuccesso di quegli esiti. Ma se invece si trattasse semplicemente di misure sbagliate? O di misure non prese? O di una logica (il paradigma di razionalità) che non comprende tutto quello che c’è dentro una relazione educativa? O ancora, se si trattasse di un unico approccio, in quanto tale fallimentare, ovvero quella misurazione ossessiva intrapresa da Invalsi e dal MIUR (con le ricorsive, estenuanti batterie di rilevazione censuaria standardizzata lungo tutto il percorso scolastico), totalmente autoreferenziale, intesa solo ad alimentare sé stessa, a suon di milioni di euro l’anno per i contribuenti, e che non prevede, né ha mai previsto alcuna misura reale per promuovere l’efficacia e ridurre l’inefficacia educativa laddove – tra le mille contraddizioni mai ammesse di un reale non sempre riconducibile nel perimetro del razionale – esse si manifestano?

            A pagina 342 iniziano le conclusioni di Scheerens, prima di passare al case study sui Paesi Bassi. Così, in apertura: “Se facciamo un bilancio dei risultati emersi dalla ricerca empirica in materia di efficacia educativa potremmo affermare che, malgrado effetti talora deludenti rispetto a fattori molto sensibili, quali la valutazione e le verifiche a livello di istituto, si osserva un forte consenso su quella che potrebbe essere descritta come una ‘teoria positiva della buona istruzione’, caratterizzata da una sufficiente esposizione alle materie, un approccio orientato al rendimento, un clima scolastico positivo e un tipo di leadership funzionale a queste strategie”

            Una ‘teoria positiva della buona istruzione’ che, per quanto ci riguarda,  non ha niente a che vedere con la ’Buona scuola’, con l’autonomia scolastica, con il sistema di valutazione nazionale, con l’accountability, con l’alternanza scuola-lavoro, con la didattica per competenze, con le cosiddette prove oggettive, con la standardizzazione dei processi di insegnamento/apprendimento, con la coazione al digitale, con i nuovi esami di Stato, con i test.

            Niente a che vedere con la teoria economica dell’istruzione che, con la complicità consapevole e inconsapevole di tanti accademici, sta fagocitando in Italia cultura, pedagogia e didattica. Scheerens fa un’operazione di disvelamento e di demistificazione, e lo fa dall’interno del sistema, di cui è parte, con cognizione di causa. Pone quesiti semplici sull’efficacacia e sull’inefficacia di queste procedure, senza rinunciare alla complessità culturale del quadro di riferimento e senza negare i presupposti – gestionali e sociali – da cui sceglie di osservare quel quadro.

            Adesso sta a noi – docenti di scuola e di università, responsabili Invalsi, Ministero dell’istruzione, Parlamento – porci il problema della legittimità politica di queste procedure, misurandoci con gli esiti di questa ricerca e con quel quadro.

L’articolo è stato pubblicato, in forma sintetica, su Orizzonte Scuola il 29 marzo 2019 con il titolo Prove Invalsi valido strumento per misurare qualità insegnamento? Pare di no. Uno studio dell’Università di Twente.

L’autore ha replicato:

[1] Su questo aspetto, Scheerens torna dettagliatamente nel paragrafo intitolato ‘Meccanismi di mercato in ambito educativo’, in cui afferma: “La performance dell’alunno non è migliorata in misura convincente né dalla competizione fra gli istituti né dalla libera scelta della scuola, né dall’istruzione privata, né dall’autonomia della scuola [ … ] I risultati della valutazione operata dalle American Charter Schools, istituite co

.

.

.

.

.

.