La valutazione della ricerca accademica in Italia: un esercizio da ripensare
di Francesco Prota (Università di Bari “Aldo Moro” e Cerpem) e Maria Jennifer Grisorio (Agenzia Regionale per la Tecnologia e l’Innovazione – ARTI)
Questo testo è un estratto del capitolo intitolato La qualità della ricerca contenuto nel Rapporto Annuale 2015 della Fondazione RES Nuovi divari. Un’indagine sulle Università del Nord e del Sud.
La valutazione della ricerca accademica in Italia – A fine 2015 si è avviata la Valutazione della Qualità della Ricerca (VQR) 2011-2014 che fa seguito alla VQR 2004-2010 che ha rappresentato il primo esercizio valutativo su ampia scala del sistema della ricerca scientifica in Italia.
La VQR è oggi uno strumento molto rilevante in quanto, in virtù delle previsioni della legge 240/2010 (comunemente nota come “Riforma Gelmini”) e di una serie di provvedimenti successivi, è divenuta la fonte di automatismi aventi effetti diretti sul finanziamento del sistema universitario: i risultati di questo esercizio di valutazione contribuiscono a determinare l’allocazione di una parte rilevante della quota “premiale” del Fondo di Finanziamento Ordinario delle università.
Proprio alla luce della sua rilevanza è opportuno, a nostro giudizio, richiamare le non poche criticità che hanno contraddistinto la VQR 2004-2010, anche perché il nuovo esercizio di valutazione, pur presentando alcune novità, mostra un elevato grado di continuità con il precedente.
Una precisazione è d’obbligo. Non è assolutamente nostra intenzione mettere in discussione il principio che il sistema universitario e della ricerca italiano debba essere sottoposto a una procedura sistematica e rigorosa di valutazione sulla base di parametri internazionalmente riconosciuti. Al contrario è nostra ferma convinzione che questo debba essere fatto nella maniera più rigorosa. Il punto è che la valutazione deve essere fatta facendo ricorso a metodologie corrette (e su questo aspetto, fortunatamente, c’è un’ampia letteratura scientifica) e con le finalità proprie della valutazione che non sono certo quelle di creare meccanismi automatici che si sostituiscono alle decisioni politiche.
Le criticità della VQR 2004-2010 – La VQR, una procedura sicuramente molto complessa, ha mostrato non poche criticità, alcune di natura tecnica altre di natura politica. Una prima criticità attiene al “come” è stato condotto l’esercizio di valutazione, vale a dire alla scelta di utilizzare un modello ibrido che usa sia la peer review che la bibliometria per valutare i singoli lavori di ricerca.Questa scelta differenzia la VQR da tutti gli altri esercizi di valutazione condotti in altri Paesi del mondo che utilizzano l’una o all’altra metodologia. Non è questa la sede per discutere dei pro e dei contro delle due metodologie, tema sul quale c’è un’ampia letteratura (van Raan 2005; Moed 2002; Pendlebury 2009; Abramo, D’Angelo 2011); quello che va rilevato è che l’aver utilizzato un metodo ibrido pone problemi nella comparabilità dei risultati non solo fra aree scientifiche ma anche fra settori scientifico-disciplinari all’interno di una stessa area (Baccini 2014). Infatti, i risultati delle valutazioni bibliometriche sono stati in media “più generosi” dei risultati raggiunti con la peer review. Inoltre, nel caso dei settori bibliometrici il diverso mix di peer review e bibliometria adottato nelle diverse aree ha, ovviamente, prodotto delle distorsioni.
Al di là dei problemi di comparazione, vi sarebbero, poi, come argomentato da alcuni autori (Abramo, D’Angelo 2015; Banfi, De Nicolao 2013), delle debolezze metodologiche nel modo in cui la valutazione bibliometrica è stata applicata alle “hard sciences“. In particolare, problematica appare la decisione di utilizzare una sottopopolazione della produzione di ricerca totale delle università. Abramo e D’Angelo (2015) hanno mostrato come applicando una diversa metodologia ai settori bibliometrici, che tenga conto dell’intera produzione scientifica indicizzata nelle base dati citazionali, delle co-authorship e di altre distorsioni e che pesi i prodotti per il loro reale impatto citazionale relativo, si produce un ranking delle università italiane che varia considerevolmente rispetto a quello ottenuto con la VQR.
Una seconda criticità attiene all’utilizzo di punteggi negativi per i soggetti “inattivi”, in quanto tale scelta produce l’effetto di trasformare la valutazione in uno strumento “punitivo” anziché in un incentivo a migliorare (De Nicolao 2013). Se immaginiamo due strutture con una produzione scientifica quantitativamente e qualitativamente equivalente, ma con un numero di “inattivi” diverso, quella con il maggior numero di “inattivi” riceverà nel complesso una valutazione più bassa, nonostante la sua produzione scientifica non sia inferiore. Non possiamo qui discutere nel dettaglio le modifiche introdotte nella nuova VQR 2011-2014, ciononostante è utile richiamare l’eliminazione dei punteggi negativi per gli inattivi (e per i casi di frode) e l’allargamento delle fasce a punteggio inferiore unitamente al restringimento della soglia della fascia con giudizio “eccellente” (dal 20% al 10%) che determina una eccessiva polarizzazione della distribuzione dei punteggi (Valente, Pini, Moneta 2015).
Un ulteriore elemento di criticità risiede nella costruzione dell’indicatore finale di struttura legato alla ricerca, l’indicatore IRFS1, che costituisce il parametro più importante, in quanto destinato ad essere utilizzato per assegnare le quote premiali di FFO alle differenti università. Si tratta di un indicatore composito che appare eccessivamente eterogeneo nelle sue componenti che misurano dimensioni quali la qualità delle pubblicazioni e dei processi di reclutamento, la capacità di attrarre risorse esterne e di istituire collegamenti internazionali, la propensione alla formazione per la ricerca e all’utilizzo di fondi propri per finanziare la ricerca, il miglioramento della performance scientifica rispetto all’esercizio di valutazione precedente. Tale problematicità lo rende poco adatto a misurare la qualità della ricerca di una struttura.
Altri limiti della VQR, infine, sono di natura “politica”. Innanzi tutto, dati i problemi appena descritti, appare inappropriato l’utilizzo dei risultati di questo esercizio per la ripartizione di una parte dei fondi del sistema universitario italiano. Come osservato da Banfi e Viesti (2015) “la VQR […] è divenuta la fonte di automatismi aventi effetti diretti sul finanziamento del sistema, scavalcando, o forse meglio sarebbe dire deresponsabilizzando il policy maker. Se la formula o il modello indicano che l’allocazione deve procedere in una certa maniera, non si tratta più di una scelta politica, bensì di una scelta tecnica”. La VQR, poi, si limita a presentare una fotografia della qualità del sistema della ricerca italiana senza indagarne minimamente le cause. È, dunque, avara di indicazioni per migliorare la qualità della ricerca accademica.
Va inoltre considerato che, anche al netto di tutte le criticità appena esposte, la VQR si proponeva di misurare il valore assoluto della produzione scientifica degli atenei italiani, senza rapportarlo alle condizioni in cui essi hanno operato. Non si tratta, dunque, di una valutazione del “merito”, nel senso più preciso del termine, degli atenei: cioè della loro produttività, della capacità di ottenere risultati date le risorse disponibili. In sostanza la VQR appare più un esercizio finalizzato ad individuare le aree di ricerca di eccellenza esistenti nel nostro sistema universitario – alle quali, ad esempio, attribuire risorse specifiche per ulteriori attività di ricerca – che a misurare il “merito” degli atenei, sul quale basare le allocazioni ordinarie.
In conclusione, se criticare l’impianto della VQR non vuol dire voler negare l’importanza della valutazione del sistema universitario e della ricerca italiano e se un certo margine di errore in ogni sistema di valutazione deve essere necessariamente accettato, allo stesso tempo di fronte alle evidenti distorsioni di questo esercizio la comunità scientifica italiana dovrebbe prendere una posizione in merito e contrastare le posizioni di chi si arrocca in posizioni di difesa pregiudiziale delle decisioni pregresse.
Riferimenti bibliografici
Abramo, G., D’Angelo, C.A. (2011). Evaluating research: From informed peer review to bibliometrics, «Scientometrics» 87, pp. 499-514.
Abramo, G., D’Angelo, C.A. (2015). The VQR, Italy’s Second National Research Assessment: Methodological Failures and Ranking Distortions, «Journal of the Association for Information Science and Technology» http://onlinelibrary.wiley.com/doi/10.1002/asi.23323/full.
Baccini, A. (2014). La VQR di Area 13: una riflessione di sintesi, «Statistica & Società» 3, pp. 32-37.
Banfi, A., De Nicolao, G. (2013). Potenzialità e limiti degli indici bibliometrici nella valutazione della ricerca scientifica, «Paradoxa» 2, pp. 34-48.
Banfi, A., Viesti, G. (2015). Finanziamento e divari, inFondazione RES «Nuovi divari. Un’indagine sulle Università del Nord e del Sud».
De Nicolao, N. (2013). L’ANVUR, la classifica degli atenei della VQR e la legge dell’imbuto, 16 luglio http://www.roars.it/online/lanvur-la-classifica-degli-atenei-della-vqr-e-la-legge-dellimbuto/.
Moed, H.F. (2002). The impact-factors debate: The ISI’s uses and limits, «Nature» 415, pp. 731-732.
Pendlebury, D.A. (2009). The use and misuse of journal metrics and other citation indicators, «Scientometrics» 57, pp. 1-11.
van Raan, A.F.J. (2006). Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups, «Scientometrics» 67, pp. 491-502.
Valente, M., Pini, P., Moneta A. (2015). I vizi nella valutazione della ricerca scientifica, 1 giugno http://www.economiaepolitica.it/lavoro-e-diritti/diritti/universita-e-ricerca/i-vizi-nella-valutazione-della-ricerca-scientifica/.
