di Paola Galimberti on 7 maggio 2015 at 18:43

Segnaliamo due recenti articoli che mettono in evidenza le conseguenze non volute della valutazione quantitativa sul comportamento dei ricercatori, ma anche sul progresso scientifico. Il primo articolo, apparso  su Social epistemology review and reply collective, illustra i risultati di una serie di interviste svolte presso un gruppo di ricercatori italiani su come l’introduzione di sistemi di valutazione della ricerca di tipo quantitativo (bibliometrico) influenzino le pratiche di produzione e comunicazione della ricerca. L’impossibilità di riprodurre moltissimi dei risultati contenuti negli articoli scientifici è invece tema del secondo articolo, apparso su Chronicle of Higher Education “Amid a Sea of False Findings, the NIH Tries Reform”. È il direttore dei National Institutes of Health statunitensi, Francis Collins, a riconoscere che il problema è molto serio: La stessa fretta (pubish or perish) che conduce a compilare un paper prima ancora di aver finito una ricerca, rende quindi molti dei risultati pubblicati irriproducibili. Tutte tematiche su cui chi costruisce esercizi di valutazione dovrebbe meditare molto perché avrà poi la piena responsabilità dei risultati, anche di quelli non voluti.

Un interessante articolo apparso di recente su Social epistemology review and reply collective illustra i risultati di una serie di interviste svolte presso un gruppo di ricercatori italiani su come l’introduzione di sistemi di valutazione della ricerca di tipo quantitativo (bibliometrico) influenzino le pratiche di produzione e comunicazione della ricerca.

In pratica lo scopo che gli autori si sono prefissi nel loro studio è di verificare non tanto se la legge di Goodhart sia vera nel caso del nostro sistema così come si è sviluppato negli ultimi anni (questo è dato per scontato), ma in che misura e in che modo questa legge trovi applicazione presso le comunità scientifiche modificando profondamente le modalità con cui si scelgono le proprie linee di ricerca, le si portano avanti e le si comunicano.

Il quadro che ne esce è la conferma agghiacciante di quanto si poteva presumere.

Certamente la valutazione intesa in senso quantitativo, e quindi come è stata portata avanti in questi anni dall’anvur ( ma non solo) ha influito sulle pratiche scientifiche. Vengono infatti portate avanti quelle ricerche che si sa per certo verranno pubblicate. Non si aspetta che una ricerca sia finita e matura, ma si pubblicano i vari step di questa ricerca, in alcuni casi il momento della stesura di un paper avviene già prima che la ricerca sia finita, lasciando in bianco la parte relativa ai risultati.

Prende forma nelle parole degli intervistati un sistema in cui anche i filtri posti da parte delle riviste sono messi in crisi. L’aumento esponenziale delle pubblicazioni sottomesse rende necessario un intervento sempre più invasivo da parte degli editor che valutano in primo luogo le affiliazioni e i nomi degli autori e i loro indici bibliometrici, così che molti lavori non vengono neppure mandati ai referee. Prima o poi qualsiasi ricerca (a meno che non sia scarsissima) viene pubblicata, sostengono gli intervistati, ma il problema è come fare emergere la propria ricerca fra la miriade di ricerche pubblicate ogni giorno. Si vede chiaramente come i meccanismi che portano l’attenzione su un lavoro piuttosto che su un altro sono spesso dipendenti da fattori diversi dal contenuto e dalla qualità della ricerca stessa.

In un sistema di questo tipo la scelta del tema su cui ricercare è per così dire obbligata. Se lo scopo principale non è l’argomento che si ricerca, ma la pubblicazione il prima possibile, le tematiche saranno necessariamente mainstream, ci sarà una preferenza per tipologie di pubblicazioni più agili (e più facilmente confezionabili), quindi gli articoli saranno preferiti ai saggi lunghi o alle monografie. Una caratteristica di questa ricerca Publishing oriented è la fretta e la difficoltà ad imbarcarsi in ricerche interdisciplinari. Il che rende spesso la riproducibilità delle ricerche una mission impossible.

L’occhio alla quantità porta anche spesso a ripubblicare lo stesso lavoro più volte, come saggio e come articolo, come contributo ad atti di convegno e come articolo andando ad alimentare l’information overload per cui i ricercatori stessi scelgono cosa leggere…….. sulla base della reputazione di coloro che hanno scritto il lavoro o del numero di citazioni che un lavoro ha raccolto, anche se si ammette apertamente che spesso le citazioni sono un copia incolla a citazioni di altri (spesso l’errore fatto da chi cita un lavoro la prima volta si propaga a tutti coloro che successivamente copiano la citazione).

L’articolo di Adriana Valente, Tommaso Castellani e Emanuele Pontecorvo mette dunque in luce come l’introduzione di sistemi di valutazione quantitativa (volti alla valutazione qualitativa della ricerca) abbiano creato nei ricercatori comportamenti adattativi che con la qualità della ricerca e col progresso della scienza spesso non hanno niente a che fare. Certamente l’Italia si muove (anche se in ritardo) in un contesto internazionale dove l’utilizzo degli indicatori quantitativi ha avuto gli stessi effetti che cominciamo ora a registrare a livello nazionale.

La impossibilità di riprodurre moltissimi dei risultati contenuti negli articoli scientifici è invece tema di un altro articolo pubblicato di recente sul Chronicle of Higher Education “Amid a Sea of False Findings, the NIH Tries Reform”. Il direttore dei NIH Francis Collins, riconosce che il problema è molto serio e che i NIH stanno cercando di affrontarlo. “We can’t afford to waste resources and produce nonreproducible conclusions if there’s a better way,” Delle argomentazioni portate dal direttore del NIH rispetto al tema dell’irriproducibilità delle ricerche ce ne interessano alcune perché ci paiono direttamente collegate alle tematiche dell’articolo precedente:

Science today is riven with perverse incentives:

• Researchers judge one another not by the quality of their science — who has time to read all that? — but by the pedigree of their journal publications.
• High-profile journals pursue flashy results, many of which won’t pan out on further scrutiny.
• Universities reward researchers on those publication records.
• Financing agencies, reliant on peer review, direct their grant money back toward those same winners.
• Graduate students, dependent on their advisers and neglected by their universities, receive minimal, ad hoc training on proper experimental design, believing the system of rewards is how it always has been and how it always will be.

Fra le soluzioni pensate da NIH ci sono un training più approfondito per i giovani ricercatori, una modifica della review dei grant, la richiesta di molti più dati sperimentali, compresa la validazione di ricerche precedenti da cui le ricerche dicono di essrre partite.

La stessa fretta (pubish or perish) che conduce a compilare un paper prima ancora di aver finito una ricerca, rende quindi molti dei risultati pubblicati irriproducibili.

Tutte tematiche su cui chi costruisce esercizi di valutazione dovrebbe meditare molto perché avrà poi la piena responsabilità dei risultati, anche di quelli non voluti.