Una lettera su Science suggerisce di distribuire fondi di ricerca sulla base di una estrazione casuale. Ripubblico qua un post uscito su roars che contiene un commento a margine di un intervento di Donald Gillies che proponeva una soluzione del tutto simile.
Non esistono evidenze forti che i meccanismi di finanziamento della ricerca basati esclusivamente sulla peer review dei progetti siano i più efficaci. Donald Gillies argomenta a favore di una modalità alternativa di finanziamento basata sull’estrazione a sorte. Nel sistema italiano i meccanismi automatici di finanziamento messi a punto da MIUR e ANVUR acuiscono i problemi rilevati da Gillies per il caso inglese. L’uso inappropriato della bibliometria, la automatizzazione delle procedure spinge a comportamenti indesiderabili. E ad una riduzione della biodiversità del panorama della ricerca. Si possono ridurre i danni probabili indotti della valutazione?
Questo post contiene il commento al seminario tenuto da Donald Gillies a Bergamo il 12 settembre 2014.
Donald Gillies nel suo articolo pubblicato su RT [1] ha messo l’accento sugli effetti distorsivi derivanti dall’adozione generalizzata della peer review ex-ante per la selezione dei progetti di ricerca. Sintetizzerei dicendo che i principali sono:
- la riduzione della biodiversità della ricerca, accompagnata dal premio sistematico al mainstream e alla maggioranza.
- un effetto San Matteo per quanto riguarda la distribuzione delle risorse per la ricerca, con una progressiva concentrazione delle risorse su pochi gruppi. tale concentrazione è accentuata da prassi che prevedano a livello locale/istituzionale finanziamenti aggiuntivi che premino le risorse già disponibili.
Aggiungo a queste considerazioni la constatazione che tutto questo avviene nella completa assenza di evidenze empiriche che questa modalità di finanziamento sia migliore di altre possibili. Ioannidis in una articolo su Nature conclude addirittura che
è scandaloso che vengano adottate queste modalità di attribuzione dei fondi nella completa assenza di evidenza che ne mostri i benefici rispetto a metodi alternativi.
Vorrei estendere il ragionamento di Gillies alle procedure di valutazione ex-post. O meglio sul tema della valutazione istituzionale della ricerca del tipo RAE/REF – VQR. Introdotta da Margaret Thatcher nel 1984. Diffusasi nei paesi OECD. Ma non negli USA.
La valutazione della ricerca condotta a livello istituzionale risponde ad una esigenza reale: capire lo stato della ricerca di un paese/delle istituzioni che operano nella ricerca. Credo che sia generalmente condivisibile l’idea che ci sia un controllo da parte di chi paga le tasse sul modo in cui vengono impiegati i soldi pubblici per la ricerca. Credo anche che ci sia un limite intrinseco alla possibilità di rendere efficiente questo processo: la natura irriducibilmente incerta della ricerca determina inefficienze ineliminabili dell’impresa scientifica. Ne è un esempio il fenomeno delle scoperte multiple. Robert K. Merton sostiene che non è infrequente nella storia della scienza che più scienziati giungano contemporaneamente o quasi agli stessi risultati producendo una stessa scoperta. Dal punto di vista economico questo è del tutto inefficiente poiché sono state sprecate risorse: sarebbe infatti stato sufficiente che un solo scienziato giungesse alla scoperta per produrre il beneficio finale, risparmiando le risorse usate dal secondo scienziato.
Questi elementi possono giustificare l’adozione di ragionevoli pratiche di valutazione. Essi sono invece utilizzati per giustificare interventi premio-punitivi automatici a difesa dei quali si coagula una strana alleanza tra i difensori del libero mercato -che pensano che le procedure di valutazione associate alla distribuzione premiale delle risorse sostituiscano il mercato- e i difensori della pianificazione centrale -che ritengono che sia possibile controllare e dirigere in modo desiderabile la ricerca attraverso una opportuna valutazione e la conseguente distribuzione delle risorse. In Italia, sia detto tra parentesi, è questa strana alleanza ad aver prodotto il mostro istituzionale che non ha eguali nei paesi occidentali, rappresentato da ANVUR. Creato da pianificatori (Mussi) ed adottato entusiasticamente da liberisti (Gelmini-Giavazzi).
Gran parte dei problemi sollevati da Gillies in relazione alle procedure di valutazione ex-ante si ritrovano anche nelle procedure di valutazione ex-post. E vi si trovano amplificati. L’errore chiave non sta nel voler capire il posizionamento della ricerca italiana rispetto a quella internazionale. Esigenza legittima e condivisibile. L’errore chiave sta nel legare automaticamente la valutazione alla distribuzione delle risorse. Perché questo ha effetti diretti sui comportamenti individuali, sulle scelte di finanziamento locale, sul sistema della selezione e promozione dei ricercatori.
Provo ad argomentare sommariamente il tipo di distorsioni indotte dalle procedure di valutazione. Per questo c’è bisogno di operare una prima sommaria distinzione tra due grandi modelli di valutazione ex-post. Quello basato sulla peer review del tipo RAE/REF britannico. E quello bibliometrico del tipo ERA australiano.
Il modello con peer review è stato analizzato mirabilmente da Donald Gillies nel suo libro del 2008. Esistono ormai evidenze forti che le procedure di valutazione vanno incontro a problemi di penalizzazione sistematica del non-mainstream. Penso per esempio ai lavori di Lee sugli economisti. La peer review ex-post negli esercizi di valutazione soffre degli stessi problemi cui si va incontro nell’ex-ante.
Molti, sopratutto in Italia, sostengono che l’uso automatico della bibliometria nelle procedure di valutazione è un modo efficace per ridurre la possibilità che i gruppi accademici controllino la peer review. In relazione a questo si pongono due problemi. Il primo è: l’arbitrarietà cioè l’esercizio del potere accademico si sposta dal controllo della peer review al controllo del tipo di bibliometria da utilizzare.
Quando si usa la bibliometria, soprattutto quando la bibliometria è adottata in forma automatica negli esercizi di valutazione, e quando si privilegia l’uso di un numero estremamente ristretto di indicatori -possibilmente un solo indcatore: il sacro-graal della valutazione. allora la bibliometria genera problemi enormi. Ormai ben documentati in letteratura. Proviamo a passarli brevemente in
- peggioramento delle performance citazionali indotto dall’adozione di liste di riviste (australian case)
- riduzione della ricerca di interesse locale (ancora australian case)
- Effetto mainstreaming. I campi con strutture istituzionali più forti hanno performance citazionali migliori di campi meno integrati e più dispersi. Per esempio in area medica le ricerche di oncologia hanno risultati migliori di quelle epidemiologiche, che hanno risultati migliori delle ricerche sulle malattie rare e delle ricerche interdisciplinari. La ricerca clinica ha performance peggiori della ricerca di base (PLOS 2013) Nell’area matematica, la ricerca applicata ha risultati migliori della matematica pura e tutte surclassano le performance della storia della matematica. Questo genera distorsioni nel modo in cui si fa ricerca.
- Distorsioni sistematiche legate a 1) lingua 2) gender 3) ricerca interdisciplinare.
L’uso (non solo inappropriato) di metriche ha come conseguenza probabile la riduzione della bio-diversità della ricerca e forse anche della creatività. Questo può avere effetti negativi sull’impatto socio-economico della ricerca.
L’uso della bibliometria induce gli scienziati a comportamenti opportunistici. Anche questi sono ben documentati in letteratura sotto l’etichetta onnicomprensiva del gaming. Eccone una classificazione:
- Salami slicing
- Retraction
- Predatory publishing
- Ghost authorship
- IF boosting
- Coercive citation
- Plagiarism
- Self-plagiarism
Da questo punto di vista il caso italiano appare drammatico. La VQR è costruita in modo tale da sommare al problema della peer review quello della peggiore bibliometria automatica. La distribuzione premiale delle risorse è anch’essa automatica. Il meccanismo delle mediane è un potente strumento che favorisce il gaming.
Dubito che nel breve periodo siano messi in atto interventi tali da bloccare i meccanismi distorsivi messi in moto da MIUR e ANVUR.
Per tutto quanto detto sopra è auspicabile che i meccanismi di finanziamento siano scollegati dalla valutazione della ricerca.
Nel caso in cui questa opzione non sia politicamente perseguibile, è auspicabile che vengano messi in atto meccanismi complementari di finanziamento alla ricerca che a livello nazionale o locale premino la biodiversità ed incentivino il pluralismo. Due proposte molto semplici da implementare, ispirate dalle riflessioni di Gillies sono la attribuzione di fondi di ricerca distribuiti a pioggia o casualmente.
[1] GILLIES, Donald. Selecting applications for funding: why random choice is better than peer review. RT. A Journal on Research Policy and Evaluation, [S.l.], v. 2, n. 1, may. 2014. ISSN 2282-5398. Available at: <http://riviste.unimi.it/index.php/roars/article/view/3834>. Date accessed: 26 Oct. 2014. doi:10.13130/2282-5398/3834.
alberto.baccini 