Collaborazionisti o resistenti. L’accademia ai tempi della valutazione della ricerca — ROARS

Tags

, , ,

Questo intervento tenta di rispondere alla domanda: ma una valutazione massiva della ricerca, come quella sviluppata in Italia con la VQR o nel Regno Unito con il RAE/REF, serve davvero? Nella prima parte discuto cinque argomenti usati per giustificare esercizi massivi di valutazione ex post della ricerca. Dopo aver mostrato che questi cinque argomenti non…

via Collaborazionisti o resistenti. L’accademia ai tempi della valutazione della ricerca — ROARS

Uncertainty and information

Tags

, , ,

handbook hope

Ch. 38 Uncertainty and information

Uncertainty and information are ideas that have a central role in contemporary economics in the domain of decision theory. The expected utility hypothesis is a powerful instrument widely used in theoretical and empirical analysis. However, the leading role in this story is not played by utility, as is usual in the traditional reconstructions of historians of economic thought, but by probability. Uncertainty is in fact a multifaceted concept. It refers to a subjective condition or a mental status of an agent not knowing for certain the consequences of a present or a future event (subjective uncertainty). It refers also to an objective status of things that may results in different outcomes (frequency of occurrences), or are knowable only through careful measurements subject to errors (objective uncertainty). In order for the modern developments to happen, two conditions were required: both objective and subjective uncertainty needed to be treated with the device of probability. Both these recognitions slowly emerged between the seventeenth and the twentieth centuries. The idea of probability originates with gambling. The so-called “classical theory of probability” was developed in order to deal with the particular objective uncertainty in the games of chance. Its history was masterfully reconstructed by Ian Hacking (1975). Mathematical theory of probability is generally taken to begin in 1654 with a correspondence between Blaise Pascal and Pierre de Fermat where some gambling problems were analysed. In 1657 Christiaan Huygens published a Libellus de Ratiociniis in Ludo Aleae (On Calculations in the Game of Dice) that “for nearly half a century . . . was the unique introduction to the theory of probability” (David 1962: 115). In this Libellus the notion of expectation in gambling was clearly defined in reference to the problem of the fair price for a gamble. The notion of fair price or of a fair entry fee for a game of chance was of practical importance for gamblers deciding to participate in a bet; or for when it was necessary to divide a stake because the gamble was interrupted before its conclusion; or again for when a gambler was asked by another to sell his or her place in the gamble. The mixture of money and chance was considered a natural idea, and the basic tenet of “equi-possibility”, as it was called later by Pierre-Simon de Laplace, was based on the symmetry (fairness) of the device used for a gamble.

http://www.elgaronline.com/view/9781849801126.00044.xml

Preprint:
https://www.researchgate.net/publication/272416268_Uncertainty_and_information

Image

Finalmente su carta

Tags

handbook

Baccini su ANVUR: anomalie, costi ed effetti collaterali della valutazione all’italiana — ROARS

Tags

,

«Questa agenzia è stata variamente chiamata: qualcuno dice “un mostro istituzionale”. Io, in maniera meno polemica, dico: è un’agenzia mal disegnata, perché si è presa un’idea britannica e l’abbiamo messa dentro una struttura napoleonica. […] dentro uno dei gruppi di valutazione della ricerca di area economica, per caso, c’erano tutti questi signori che facevano parte…

via Baccini su ANVUR: anomalie, costi ed effetti collaterali della valutazione all’italiana — ROARS

Boycotting research assessment. What would the consequences be? Evidence from Italy. Times Higher Education

Tags

, , , , ,

UK academics who dislike the research excellence framework often suggest boycotting it. But could it ever really happen? And what would the consequences be? Italy provides some evidence. The country has its own version of the REF, known as the VQR (“Evaluation of Research Quality”). But Italian universities are in turmoil because of the refusal of large numbers to do so.  Alberto Baccini and Giuseppe De Nicolao consider the protest’s impact. Su Times Higher Education del 21 aprile 2016.

L’articolo completo si legge su Times Higher Education

THE_prima_pagina (3)

Handbook of Bibliometric Indicators

Tags

, , , ,

cover_handbook_bibliometric

Su Google Books

Come ridurre i danni della valutazione. (Un commento tornato di attualità)

Tags

, ,

Una lettera su Science suggerisce di distribuire fondi di ricerca sulla base di una estrazione casuale.  Ripubblico qua un post uscito su roars che contiene un commento a margine di un intervento di Donald Gillies che proponeva una soluzione del tutto simile.

Non esistono evidenze forti che i meccanismi di finanziamento della ricerca basati esclusivamente sulla peer review dei progetti siano i più efficaci. Donald Gillies argomenta a favore di una modalità alternativa di finanziamento basata sull’estrazione a sorte. Nel sistema italiano i meccanismi automatici di finanziamento messi a punto da MIUR e ANVUR acuiscono i problemi rilevati da Gillies per il caso inglese. L’uso inappropriato della bibliometria, la automatizzazione delle procedure spinge a comportamenti indesiderabili. E ad una riduzione della biodiversità del panorama della ricerca. Si possono ridurre i danni probabili indotti della valutazione?

 

 

 

 

Questo post contiene il commento al seminario tenuto da Donald Gillies a Bergamo il 12 settembre 2014.  

Donald Gillies nel suo articolo pubblicato su RT [1] ha messo l’accento sugli effetti distorsivi derivanti dall’adozione generalizzata della peer review ex-ante per la selezione dei progetti di ricerca. Sintetizzerei dicendo che i principali sono:

  1. la riduzione della biodiversità della ricerca, accompagnata dal premio sistematico al mainstream e alla maggioranza.
  2. un effetto San Matteo per quanto riguarda la distribuzione delle risorse per la ricerca, con una progressiva concentrazione delle risorse su pochi gruppi. tale concentrazione è accentuata da prassi che prevedano a livello locale/istituzionale finanziamenti aggiuntivi che premino le risorse già disponibili.

Aggiungo a queste considerazioni la constatazione che tutto questo avviene nella completa assenza di evidenze empiriche che questa modalità di finanziamento sia migliore di altre possibili. Ioannidis in una articolo su Nature conclude addirittura che

è scandaloso che vengano adottate queste modalità di attribuzione dei fondi nella completa assenza di evidenza che ne mostri i benefici rispetto a metodi alternativi.

Vorrei estendere il ragionamento di Gillies alle procedure di valutazione ex-post. O meglio sul tema della valutazione istituzionale della ricerca del tipo RAE/REF – VQR. Introdotta da Margaret Thatcher nel 1984. Diffusasi nei paesi OECD. Ma non negli USA.

La valutazione della ricerca condotta a livello istituzionale risponde ad una esigenza reale: capire lo stato della ricerca di un paese/delle istituzioni che operano nella ricerca. Credo che sia generalmente condivisibile l’idea che ci sia un controllo da parte di chi paga le tasse sul modo in cui vengono impiegati i soldi pubblici per la ricerca. Credo anche che ci sia un limite intrinseco alla possibilità di rendere efficiente questo processo: la natura irriducibilmente incerta della ricerca determina inefficienze ineliminabili dell’impresa scientifica. Ne è un esempio il fenomeno delle scoperte multiple. Robert K. Merton sostiene che non è infrequente nella storia della scienza che più scienziati giungano contemporaneamente o quasi agli stessi risultati producendo una stessa scoperta. Dal punto di vista economico questo è del tutto inefficiente poiché sono state sprecate risorse: sarebbe infatti stato sufficiente che un solo scienziato giungesse alla scoperta per produrre il beneficio finale, risparmiando le risorse usate dal secondo scienziato.

Questi elementi possono giustificare l’adozione di ragionevoli pratiche di valutazione. Essi sono invece utilizzati per giustificare interventi premio-punitivi automatici a difesa dei quali si coagula una strana alleanza tra i difensori del libero mercato -che pensano che le procedure di valutazione associate alla distribuzione premiale delle risorse sostituiscano il mercato- e i difensori della pianificazione centrale -che ritengono che sia possibile controllare e dirigere in modo desiderabile la ricerca attraverso una opportuna valutazione e la conseguente distribuzione delle risorse. In Italia, sia detto tra parentesi, è questa strana alleanza ad aver prodotto il mostro istituzionale che non ha eguali nei paesi occidentali, rappresentato da ANVUR. Creato da pianificatori (Mussi) ed adottato entusiasticamente da liberisti (Gelmini-Giavazzi).

Gran parte dei problemi sollevati da Gillies in relazione alle procedure di valutazione ex-ante si ritrovano anche nelle procedure di valutazione ex-post. E vi si trovano amplificati. L’errore chiave non sta nel voler capire il posizionamento della ricerca italiana rispetto a quella internazionale. Esigenza legittima e condivisibile. L’errore chiave sta nel legare automaticamente la valutazione alla distribuzione delle risorse. Perché questo ha effetti diretti sui comportamenti individuali, sulle scelte di finanziamento locale, sul sistema della selezione e promozione dei ricercatori.

Provo ad argomentare sommariamente il tipo di distorsioni indotte dalle procedure di valutazione. Per questo c’è bisogno di operare una prima sommaria distinzione tra due grandi modelli di valutazione ex-post. Quello basato sulla peer review del tipo RAE/REF britannico. E quello bibliometrico del tipo ERA australiano.

Il modello con peer review è stato analizzato mirabilmente da Donald Gillies nel suo libro del 2008. Esistono ormai  evidenze forti che le procedure di valutazione vanno incontro a problemi di penalizzazione sistematica del non-mainstream. Penso per esempio ai lavori di Lee sugli economisti.  La peer review ex-post negli esercizi di valutazione soffre degli stessi problemi cui si va incontro nell’ex-ante.

Molti, sopratutto in Italia, sostengono che l’uso automatico della bibliometria nelle procedure di valutazione è un modo efficace per ridurre la possibilità che i gruppi accademici controllino la peer review. In relazione a questo si pongono due problemi. Il primo è: l’arbitrarietà cioè l’esercizio del potere accademico si sposta dal controllo della peer review al controllo del tipo di bibliometria da utilizzare.

Quando si usa la bibliometria, soprattutto quando la bibliometria è adottata in forma automatica negli esercizi di valutazione, e quando si privilegia l’uso di un numero estremamente ristretto di indicatori -possibilmente un solo indcatore: il sacro-graal della valutazione. allora la bibliometria genera problemi enormi. Ormai ben documentati in letteratura. Proviamo a passarli brevemente in

  1. peggioramento delle performance citazionali indotto dall’adozione di liste di riviste (australian case)
  2. riduzione della ricerca di interesse locale (ancora australian case)
  3. Effetto mainstreaming. I campi con strutture istituzionali più forti hanno performance citazionali migliori di campi meno integrati e più dispersi. Per esempio in area medica le ricerche di oncologia hanno risultati migliori di quelle epidemiologiche, che hanno risultati migliori delle ricerche sulle malattie rare e delle ricerche interdisciplinari. La ricerca clinica ha performance peggiori della ricerca di base (PLOS 2013) Nell’area matematica, la ricerca applicata ha risultati migliori della matematica pura e tutte surclassano le performance della storia della matematica. Questo genera distorsioni nel modo in cui si fa ricerca.
  4. Distorsioni sistematiche legate a 1) lingua 2) gender 3) ricerca interdisciplinare.

L’uso (non solo inappropriato) di metriche ha come conseguenza probabile la riduzione della bio-diversità della ricerca e forse anche della creatività. Questo può avere effetti negativi sull’impatto socio-economico della ricerca.

L’uso della bibliometria induce gli scienziati a comportamenti opportunistici. Anche questi sono ben documentati in letteratura sotto l’etichetta onnicomprensiva del gaming. Eccone una classificazione:

  1. Salami slicing
  2. Retraction
  3. Predatory publishing
  4. Ghost authorship
  5. IF boosting
  6. Coercive citation
  7. Plagiarism
  8. Self-plagiarism

Da questo punto di vista il caso italiano appare drammatico. La VQR è costruita in modo tale da sommare al problema della peer review quello della peggiore bibliometria automatica. La distribuzione premiale delle risorse è anch’essa automatica. Il meccanismo delle mediane è un potente strumento che favorisce il gaming.

Dubito che nel breve periodo siano messi in atto interventi tali da bloccare i meccanismi distorsivi messi in moto da MIUR e ANVUR.

Per tutto quanto detto sopra è auspicabile che i meccanismi di finanziamento siano scollegati dalla valutazione della ricerca.

Nel caso in cui questa opzione non sia politicamente perseguibile, è auspicabile che vengano messi in atto meccanismi complementari di finanziamento alla ricerca che a livello nazionale o locale premino la biodiversità ed incentivino il pluralismo. Due proposte molto semplici da implementare, ispirate dalle riflessioni di Gillies sono la attribuzione di fondi di ricerca distribuiti a pioggia o casualmente.

[1] GILLIES, Donald. Selecting applications for funding: why random choice is better than peer review. RT. A Journal on Research Policy and Evaluation, [S.l.], v. 2, n. 1, may. 2014. ISSN 2282-5398. Available at: <http://riviste.unimi.it/index.php/roars/article/view/3834>. Date accessed: 26 Oct. 2014. doi:10.13130/2282-5398/3834.

The bad way to Italian research assessment

Napoléon et l’évaluation bibliométrique de la recherche. Considérations sur la réforme de l’université et sur l’action de l’agence national d’évaluation en Italie.” Canadian Journal of Information and Library Science-Revue Canadienne des Sciences de l’Information et de Bibliotheconomie, 2016, 40(1), 37-57.

available here [preprint]

Résumé:

Les réformes de l’Université entreprises en Italie ont introduit des innovations dans un appareil administratif napoléonien inadapté à les recevoir, générant ainsi un système institutionnel complètement déséquilibré. Le centre de gravité du système est passé de l’administration ministérielle à l’Agence nationale d’évaluation de l’université et de la recherche (ANVUR), par l’attribution directe au groupe d’élite choisi par le gouvernement, d’un pouvoir énorme et sans contrepoids sur la recherche et les universités. Une mauvaise conception de la gouvernance de l’ANVUR a déterminé la réalisation d’activités d’évaluation techniquement inadéquates. Les critiques adressées aux activités d’évaluation et aux méthodes bibliométriques ont réanimé le débat sur la politique de la recherche en Italie, et suscité l’émergence d’un scientific counterpublic.

Abstract:

The academic reforms in Italy have introduced innovations in a Napoleonic administrative apparatus unfit to receive them, thus generating a completely unbalanced institutional system. The system’s center of gravity has moved from the administration by the ministry to the National Agency for the Evaluation of University and Research (ANVUR), assigning directly to the elite group chosen by the government enormous power on research and the universities, without counter-weight. The poor design of the governance of the ANVUR has resulted in the realization of technically inadequate evaluations. Criticism addressed to the evaluation activities and to the bibliometric methods used have revived the debate on research policy in Italy, with the emergence of a scientific counter-public.

La questione meridionale dell’Università

Tags

,

Sulla prima pagina de Il Mattino di Napoli, un mio articolo sulla questione meridionale dell’università.

2015120711382612C20640

Edizione on line

Orario ricevimento

Ricevimenti mese di settembre (via Mattioli)

Martedì 8 settembre ore 12:30

Giovedì 10 settembre ore 12:00

Mercoledì 23 settembre ore 12:30

Ricevimento nel periodo delle lezioni (dal 28 settembre al 18 dicembre)

Lunedì, Martedì e Mercoledì dalle ore 14 fino alle 15,30 (Via Mattioli)

Da martedì 3 novembre i ricevimenti del martedì si terranno in Piazza San Francesco.

Per appuntamenti in orari diversi anche via skype scrivere a: alberto.baccini@unisi.it

La valutazione irresponsabile

Tags

Mentre il Ministro Giannini emanava le Linee Guida per la VQR 2011-2014 (27 giugno) e l’ANVUR varava la versione provvisoria del Bando di partecipazione (8 luglio 2015), nel Regno Unito l’Agenzia finanziatrice del sistema universitario inglese (HEFCE),  responsabile degli esercizi nazionali di valutazione (RAE/REF), pubblicava (9 luglio) un interessante rapporto: The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. La coincidenza temporale non poteva essere più sfortunata per MIUR ed ANVUR. In questo post, inziamo un (impietoso) confronto tra le riflessioni del gruppo di esperti indipendenti ed il modo in cui in Italia si concepisce e si prevede di realizzare la prossima VQR, ragionando, innanzi tutto, sulla presunta intercambiabilità della valutazione bibliometrica con quella basata sulla peer review.

Il post pubblicato su http://www.roars.it si legge qua.

Verso la prossima VQR. Ecco il mio intervento al terzo convegno annuale di ROARS

Tags

, , , ,

Ecco le slide del mio intervento al terzo convegno annuale di ROARS del 19 giugno.

Università 3.0. Presentazione a Pisa

Tags

, , ,

unipi_universita30

Università 3.0. Il libro della Redazione di Roars

Anche in formato elettronico: qui

Possibili argomenti di tesi

Tags

Argomenti per tesi di Laurea magistrale

Sono disponibile a seguire tesi di studenti di laurea magistrale dei corsi di Economia/economics, MAGO, Scienze statistiche, Giurisprudenza. Ecco alcuni possibili temi:

  1. Teorie della giustizia/fondamenti dell’analisi economica del diritto/regolazione
  2. Regolazione e finanziamento della ricerca e delle università. Analisi comparate
  3. La valutazione della ricerca: analisi costi-benefici
  4. La ricerca e la sua organizzazione: istituzioni sociali, convenzioni, regole.
  5. Gatekeepers of science (applicazioni di network analysis all’organizzazione delle riviste scientifiche)
  6. La produttività scientifica e gli indicatori bibliometrici.

Sono disponibile a seguire tesi su argomenti proposti dagli studenti (ovviamente solo se ritengo di essere competente sul tema proposto!).