di Norberto Bottani, da Oxydiane  23.6.2015.  

Articolo di Willms e Tramonti sulle revisioni dei questionari di contesto utilizzati nell’indagine PISA dell’OCSE. I questionari evolvono, non sono immutabili , sono il frutto di una teoria della scuola ossia di una rappresentazione del modello di scuola ideale e devono essere ritoccati per adattarli alle situazioni dei paesi in via di sviluppo che intendono partecipare all’indagine PISA.

L’indagine PISA: i questionari di contesto

Lo scopo del documento è di discutere i problemi tecnici connessi allo sviluppo e alla messa a punto del questionario di contesto nel round di PISA per i paesi in via di sviluppo. Gli autori discutono il quadro concettuale dei questionari di contesto usati nell’indagine PISA, descrivono l’evoluzione dei questionari di contesto, esaminano le misure utilizzate in varie altre indagini internazionali, considerano come i dati dell’indagine PISA sono stati utilizzati per chiarire questioni di politica scolastica rilevanti per i Pesi Membri dell’OCSE. Nel documento si identificano sette temi per migliorare i questionari di contesto e per renderli più confacenti per la situazione della scolarizzazione nei paesi in via di sviluppo.Il documento è interessante non solo per le questioni che solleva ma anche perché è la testimonianza del lavoro di fondo dietro le quinte che si svolge per perfezionare gli strumenti utilizzati nella valutazione su vasta scala.

Articolo di Doug Willms e Lucia Tramonte:

Willms, J. and L. Tramonte (2015), “Towards the development of contextual questionnaires for the PISA for development study”, OECD Education Working Papers, No. 118, OECD Publishing, Paris.
DOI: http://dx.doi.org/10.1787/5js1kv8cr…

 Il testo originale completo dell’articolo in inglese è allegato.

I questionari di contesto dell’indagine PISA, ossia il questionario per gli studenti, il questionario per le scuole che è inviato ai dirigenti, il questionario per le famiglie non obbligatorio e ora anche il questionario per gli insegnanti pure non obbligatorio, sono strumenti delicati, difficili da sfruttare, ampiamente utilizzati dall’OCSE nelle analisi dei risultati dei test ( il test di comprensione della lettura, il test di matematica e il test di conoscenze scientifiche).

Dato l’uso che se ne fa, questi questionari sono molto importanti e sono anche il prodotto di commissioni di esperti internazionali molto qualificati. Questi questionari evolvono, non sono cioè immutabili. L’OCSE inizia una serie PISA nei paesi in via di sviluppo che ovviamente non possono essere messi sullo stesso piano dei paesi con una lunga e vasta tradizione di scolarizzazione. Tanto per intenderci nel Marocco o nel Paraguay l’indagine PISA non puo`essere svolta tale e quale come lo è effettuata in Francia, in Inghilterra o in Finlandia. Né può essere la stessa identica.

In questo articolo molto stimolante, Doug Willms , noto analista canadese e Lucia Tramonte , professore associato che ha lavorato a lungo con Willms, forniscono una riflessione critica sui questionari di contesto in vista dell’elaborazione di nuovi questionari ( detti anche strumenti) per la serie PISA nei paesi di sviluppo.

Il documento è utile per tutti coloro che criticano le valutazioni su vasta scala. La consultazione del testo fornisce molteplici indicazioni su come si lavora in questo settore, sui problemi che si affrontano nelle sedi che approntano gli strumenti usati nell’indagine. Particolarmente utile é l’allegato A che fornisce una serie di tavole sulla evoluzione dei questionari di contesto utilizzati dal 2000 al 2012 nell’indagine PISA e l’allegato C che enumera le indagini internazionali esaminate dagli autori. La lista è di per sé eloquente e si puoi scommettere che molti critici italiani della valutazione su larga scala non conoscono che una minima parte delle indagini citate.

Per rinfrescare la memoria vale la pena ricordare subito che una delle questioni cruciali poste da questi questionari è l’indice di appartenenza ad una classe sociale determinata e un’altra questione scottante è quella della nazionalità degli studenti oppure della loro appartenenza o meno al gruppo degli emigranti. Le statistiche scolastiche su questi temi sono ambigue o perfino inesistenti. Quando ci sono dati capita anche che non possono essere resi pubblici. In Italia le statistiche scolastiche sono molto grossolane su entrambe le questioni anche a causa di una interpretazione molto restrittiva e protettiva della sfera privata. Dopo la prima indagine PISA nel 2000 sono stati pubblicati molti lavori , taluni dei quali finanziati dall’OCSE, sulle prestazioni degli studenti provenienti dal mondo della emigrazione perché questo tema interessava molto il mondo tedesco allora sorpreso dai pessimi risultati dei quindicenni tedeschi nell’indagine sulla comprensione della lettura. La tendenza apparsa subito fu quella di imputare la pessima classifica alle scadenti prestazioni degli studenti provenienti dal mondo dell’emigrazione. Dopo d’allora l’interesse è scemato ma dal testo di Willms e Tramonte si evince anche che la questione non è stata accantonata e che bolle sempre in pentola; C’è di che perché nei paesi in via di sviluppo, ossia nei paesi poveri, il tema dell’emigrazione è molto bruciante e poi perché nei paesi ricchi le prestazioni scadenti dei quindicenni provengono in gran parte dagli studenti poveri oppure da quelli emarginati come lo sono moltissimi figli di emigrati della prima o della seconda generazione nel paese ospitante.

Il quadro concettuale

Alla base del questionario scuola e del questionario studenti esiste un quadro concettuale, ossia una rappresentazione della scuola. Le domande del questionario ( gli item) non sono poste a casaccio. Si mira a raccogliere informazioni che sono opinioni, pareri, in funzione di questioni ritenute scottanti per la realizzazione di uno specifico modello di scuola. Orbene è da questo modello di scuola che si deve partire o modello di apprendimento scolastico. I due autori adottano un approccio molto anglosassone perché parlano di un modello ’apprendimento [1] e risalgono a un testo di Carroll del 1963 [2] nel quale, giustamente parla di “school learning” , ossia di apprendimento scolastico. Non tutto quel che si impara infatti lo si impara a scuola, fortunatamente. A scuola si apprendono determinate nozioni e non tutte sono indispensabili per riuscire nella vita. Gli autori si collocano ad un livello più generico, come se tutto l’apprendimento fosse scolastico o come se tutto l’apprendimento scolastico fosse l’apprendimento. Ma non è così. Questo è uno dei punti deboli di PISA nonostante le chiare prese di posizioni iniziali sull’impostazione dell’indagine.

Il modello di Carroll comprende cinque fattori che concorrono in modo preponderante al successo della scolarizzazione o dell’istruzione scolastica. I cinque fattori sono stati identificai da Carroll come fattori cruciali per il successo della scolarizzazione, soprattutto dell’apprendimento scolastico, ossia dell’apprendimento delle nozioni scolastiche. L’indagine PISA ha assunto questi cinque fattori come vangelo perché il modello di scuola che PISA sottointende è parzialmente quello che è servito a Carroll per giungere ai suoi fattori che sono:

1. l’attitudine;
2. l’abilità a capire le istruzioni;
3. la perseveranza;
4. le opportunità di istruzione [3];
5. La qualità dell’insegnamento.

Occorre a questo punto dire che tra i responsabili dell’indagine PISA non esiste l’unanimità sull’importanza di questi fattori e quindi non esiste concordanza sul modello teorico di scuola al quale si riferiscono questi fattori.

I problemi appaiono subito: per esempio il caso della perseveranza o dell’impegno . Taluni autori , per esempio lo stesso Willms , ritengono che l’impegno è una acquisizione fondamentale della scolarizzazione, perché esiste una causalità tra impegno e successo scolastico; altri ritengono invece che la causalità è ribaltata: il successo scolastico genera l’impegno, motiva gli studenti a fare bene, a studiare. Questo vale soprattutto per gli studenti delle classi sociali povere e quindi anche per i paesi meno abbienti, quelli in via di sviluppo. In questi casi , per esempio, non si constata uno slittamento dall’apprendere al leggere per apprendere, ma si ritiene che si apprende per leggere. Il costrutto “impegno degli studenti ” da cosa è composto, come si costituisce, come si misura? Ecco un problema da affrontare quando si costruisce uno strumento di contesto per gli studenti e che lo si vuole utilizzare per misurare un costrutto particolare come per esempio l’impegno che è preso in considerazione non a casaccio ma perché si ritiene che sia una componente essenziale di una buona scuola , di una scolarizzazione efficace. Quindi il punto di partenza non è affatto banale;, il quadro teorico di riferimento è davvero cruciale e questo esiste anche per i questionari PISA. Tale quadre teorico non è sempre quello designato in italia da coloro che criticano le indagini internazionali comparate sulle conoscenze e competenze i quali spesso partono da pregiudizi ideologici che proiettano nell’interpretazione della funzionalità degli strumenti, sfruttando contraddizioni interne, ma dove non ce ne sono, presenti tra i promotori e gli esperti operanti nelle indagini internazionali.

Al termine della loro analisi teorica e politica , gli autori indicano sette temi che sui quali i questionari di contesto PISA potrebbero essere migliorati e diventare più rilevanti per tenere conto delle peculiarità dei paesi in via di sviluppo e dare luogo quindi all’aggiunta nei questionari di nuovi item e nella proposta di nuove misure da realizzare. Questi sette temi sono i seguenti:

1. Opportunità d’apprendimento precoce: esistono tuttora profonde differenze tra i paesi dell’OCSE per quanto riguarda l’offerta di possibilità d’istruzione dei piccoli e lo sviluppo delle scuole per l’infanzia;
2. Lingua usata nelle conversazioni a casa e a scuola: tra i ceti sociali poveri spesso a casa si usa una lingua diversa da quella usata nelle scuole per l’istruzione. In molti casi inoltre la lingua dell’insegnamento nei primi anni di scuola è diversa da quella usata dopo la terza o quarta elementare;
3. Supporto familiare e comunitario: le prestazioni variano moltissimo da un paese all’altro , da un quartiere all’altro, spesso per ragioni culturali; inoltre le famiglie povere sono anche quelle numerose , con molti bambini e in questi casi le prestazioni sociali e familiari calano;
4. La qualità dell’istruzione: è la variabile decisiva per il successo della scolarizzazione ma è anche difficile da definire e da misurare. Le differenze tra paesi sono assai pronunciate e ovunque le zone rurali pagano uno scotto molto alto dal punto di vista della qualità del servizio scolastico;
5. Tempo dedicato all’apprendimento: anche questa variabile differenzia moltissimo le prestazioni tra paesi ricchi e paesi poveri.In molti casi i bambini poveri iniziano la scolarizzazione tardi, perdono molti giorni di scuola, specialmente durante la scuola elementare, l’assenteismo è elevato tra i poveri, le bocciature pure. In molti casi bambini in giovane età vanno a lavorare. Inoltre il tempo dedicato alle discipline di base è basso e cala come e i curricoli coprono in minima parte la materia da trattare;
6. Statuto socioeconomico: l’indice PISA va ripensato e deve essere più sensibile di quanto non lo sia per il momento ai livelli inferiori di istruzione e ai livelli inferiori di benessere ;
7. Risorse scolastiche: nei paesi poveri non sono comparabili a quelle esistenti nei paesi ricchi.Le infrastrutture scolastiche ritenute come indispensabili nei paesi ricchi non vanno da sé in quelli poveri. La misura delle risorse scolastiche va ripensata.

La sfida per gli esperti: i questionari devono essere rivisti senza essere appesantiti, perché il tempo stimato per riempirli non puo` essere dilatato. Questa è la sfida tecnica da risolvere.

Evoluzione delle misure nell’indagine PISA dal 2000 al 2012

I questionari di contesto utilizzati nell’indagine PISA sono cambiati moltissimo nel corso di quindici anni, dopo la prima indagine PISA nel 2000 anche se sussiste un numero considerevole di item che non sono stati modificati per poter condurre analisi diacroniche, ossia comparazioni nel tempo, per esempio tra il 2012 e il 2000. Un’analisi dei cambiamenti è stata effettuata da Klieme e consoci [4]. Klieme à Tedesco ed è un esperto di PISA presente nel ciclo di cinque indagini PISA ( dal 2000 al 2012) fiin dall’inizio ( a comprova dell’influenza tedesca sull’indagine). [5].

La maggior parte delle misure utilizzate nelle analisi sono quelle di natura demografica. Questa parte dell’articolo è interessante dal punto di vista metodologico poiché illustra in modo semplice e chiaro come si possono analizzare i questionari di contesto e quali raccomandazioni trarre per modificarli ulteriormente. I risultati di questa analisi sono sintetizzati nell’allegato A del documento che include tutta una serie di tavole.

Sei misure riguardanti le caratteristiche demografiche degli studenti sono presenti nei cinque cicli PISA considerati nel documento ( quelli dal 2000 al 2012): data di nascita, età, genere, età al momento dell’immigrazione e programma scolastico.L’ambiguità riguarda soprattutto il programma scolastico (“school programme”).

Undici misure riguardanti la famiglia si ritrovano in almeno quattro cicli PISA: struttura familiare, occupazione della madre, occupazione del padre, livello d’istruzione della madre, livello d’istruzione del padre, beni domestici, materiale educativo presente in casa, libri in casa, paese in cui la madre è nata, paese in cui il padre è nato, lingua parlata in casa . [6]. Svariate misure di questa categoria sono usate per stabilire l’indice della classe socioeconomica [7]. Gli autori ritengono che si dovrebbero dettagliare ulteriormente con aggiunte ulteriori queste misure per tenere conto della diversità religiose e etniche delle culture minoritarie, ma si sa che determinati governi non accetteranno mai raccomandazioni di questo tipo a comprova che i sistemi scolastici restano un braccio armato della politica “tout court”.

Dieci misure ricorrono regolarmente nei questionari sulla scuola per descriverne le caratteristiche demografiche. [8].

Lo statuto socioeconomico

La misura dello statuto socio economico (SES) che è un indice fondamentale per analizzare le questioni di equità di fronte all’istruzione nonché per capire i comportamenti degli studenti a scuola, indice che in Italia non si può ancora costruire per varie ragioni soprattutto connesso ad un eccesso di zelo nei riguardi della protezione della sfera privata, è trattata in una sezione specifica del documento a partire dalla pagina 16.

La misura dello statuto socioeconomico è stata affrontata in moltissime pubblicazioni. Due autori che hanno dimostrato l’importanza dell’incidenza di questo statuto sulla scolarizzazione sono Coleman e Bourdieu, entrambi molto noti anche in Italia.

Willms e Tramonte trattano dell’uso dell’indice SES negli studi sull’istruzione e in PISA, degli aspetti metodologici connessi all’uso dell’indice SES ( che nell’indagine PISA è utilizzato con l’acronimo ESCS), di aspetti critici nell’uso dell’indice SES, dell’ invarianza delle misure, dei livelli di misura. In tutti questi paragrafi i due autori forniscono osservazioni pertinenti dei limiti e delle possibilità connesse alla misure vigenti dell’indice SES e ciò facendo illustrano probabilmente quanto succederà nei prossimi anni nella raccolta di dati riguardanti lo SES e l’uso dell’indice SES nelle analisi delle valutazioni scolastiche.

Oltre all’indice SES gli autori dedicano ampio spazio anche alle misure delle risorse scolastiche che sono un altro punto debole dei questionari PISA. Si sa che le risorse scolastiche giocano un ruolo rilevante nella qualità dell’istruzione a determinate condizioni ma gli effetti di queste risorse sono diversi a seconda che le scuole si trovino in zone privilegiate o in zone povere o sottosviluppate. In ogni modo esistono pareri discordanti tra i ricercatori sull’incidenza delle risorse scolastiche sul livello di apprendimento anche dopo avere tenuto conto delle caratteristiche SES degli studenti e delle famiglie.

Conclusione

Questo documento concepito per fornire suggerimenti da considerare nella messa a punto degli strumenti dell’indagine PISA che saranno usati nell’indagine PISA proposta ai paesi in via di sviluppo fornisce però una gamma estesa di considerazioni sulla pertinenza e la natura dei questionari di contesto in genere usati nell’indagine PISA. Molte osservazioni valgono anche per i questionari usati nei paesi ricchi con sistemi scolastici molto sviluppati. Si tratta quindi di un documento rilevante sui lavori in corso dietro le quinte dell’indagine PISA , lavori che influenzano anche le indagine nazionali su vasta scala sugli apprendimenti degli studenti come lo sono le indagini INVALSI in Italia.

[1] “Model of learning”

[2] ” Carroll, J. (1963), “A model for school learning”, Teacher College Record, Vol. 64, pp. 723-733.”

[3] “Opportunity to learn”, un tema che fu affrontato nel corso degli anni Sessanta dalle indagini IAE e che fu trascurato in seguito

[4]  Klieme, E., S. Kuger e esperti coinvolti nell’indagine PISA 2015 : Questionnaire Expert Group (2014), “PISA 2015. Draft questionnaire framework”, Frankfurt: German Institute for International Educational Research(DIPF)

[5] Si ricorda che anche Schleicher, il capo della Direzione dell’educazione all’OCSE nonché responsabile principale dell’indagine PISA, è Tedesco

[6] La terminologia usata qui per indicare gli item non corrisponde a quella ufficiale italiana diffusa dall’INVALSI

[7] SES index

[8] Chi scrive ritiene che il questionario scuola sia il più debole degli strumenti PISA

Les documents de l’article:

PISA_Questionnaires.pdf