[ l k v . i t ]
Un passo nella giusta direzione
08-02-2006
Fabio
Schiantarelli
[<--]

Si e' conclusa la valutazione della produttivita' scientifica delle universita' e dei centri di ricerca italiani organizzata dal Comitato di indirizzo per la valutazione della ricerca (Civr) per il periodo 2001-2003 (1).

E' un fatto positivo che abbia avuto luogo e che le linee guida si riferissero esplicitamente a standard di eccellenza internazionali. Il suo limite principale e' la mancanza di un chiaro legame con la riallocazione di risorse finanziarie consistenti a favore delle universita' migliori in termini di ricerca, a scapito delle universita' peggiori.


Criteri di valutazione

L'obiettivo esplicito era considerare il "Posizionamento del prodotto rispetto all'eccellenza scientifica nella scala di valore condivisa dalla comunita' scientifica internazionale". Questo criterio e' essenziale nel valutare la ricerca dei singoli e delle universita'. Non so se questo sia successo in tutte le discipline. Nell'area che conosco meglio, la mia esperienza diretta come referee e un'attenta lettura delle conclusioni finali del panel incaricato di scienze economiche e statistiche suggerisce che questo criterio di eccellenza scientifica internazionale sia stato in larga parte rispettato.

Questo non e' successo senza discussioni e dissensi. Esiste ancora nell'accademia italiana una componente che ritiene che il riferimento a standard internazionali nasconda l'imposizione di un paradigma particolare (l'economia neoclassica) dominante negli Stati Uniti e di li' esportato. Questa posizione e' sbagliata ed e' basata su una visione distorta e antiquata di che cosa sia la ricerca economica a livello internazionale. E ignora gli sviluppi nuovi e la diversificazione avvenuta dalla fine degli anni Sessanta a oggi. Fortunatamente queste posizioni si sono rivelate minoritarie.


Altri aspetti interessanti

Un altro elemento positivo e' che l'esercizio sia stato condotto con grande trasparenza, in tempi relativamente brevi e con buona efficienza, nonostante alcuni problemi tecnici. Certamente puo' essere ripetuto regolarmente, in modo da riflettere i cambiamenti di qualita' in corso nelle universita' italiane.

E' interessante che in alcuni casi chi (rettori, direttori di dipartimento, eccetera) doveva decidere dentro le universita' gli studi da sottomettere, lo abbia fatto non in base a criteri di qualita', ma di equilibrio politico interno: pensavano forse che l'esercizio non sarebbe stato serio o che non ci sarebbero state conseguenze finanziarie? Nonostante tutto, per economia e statistica la valutazione del Civr da' risultati piu' affidabili di quelli che si ottengono valutando la qualita' della ricerca nelle universita' sulla base del numero dei progetti finanziati dal Miur (come ad esempio l'indagine Censis-Repubblica).

E' certamente possibile e necessario introdurre miglioramenti e cambiamenti nel processo di valutazione e nelle strutture che ne sono incaricate, ma manca qui lo spazio per una discussione approfondita (2). Un tema su cui bisogna discutere e' invece l'istituzione di un un'agenzia per la ricerca come la National Science Foundation negli Stati Uniti, separata e indipendente dalle strutture ministeriali, e incaricata di valutare la qualita' scientifica degli gli atenei e dei progettidi ricerca. Un secondo tema importante e' che cosa possiamo imparare da esercizi sulla valutazione delle universita' condotti in altri paesi, come il Research Assessment Exercise nel Regno Unito.


Limiti

Il limite principale di tutto il processo di valutazione appena condotto e' la mancanza di un chiaro legame con la riallocazione delle risorse finanziarie a favore delle universita' con il livello di ricerca piu' alto, a scapito delle universita' di peggiore qualita'.

A regime, il ministro Moratti ha suggerito che il 30 per cento delle risorse dovrebbero essere allocate sulla base della valutazione della qualita' della ricerca scientifica di ciascun ateneo.

Tuttavia, non e' chiaro quali saranno in pratica le conseguenze finanziarie per ciascuna universita' di questo primo ciclo di valutazione e quando verra' ripetuto. Se al giudizio non seguisse una riallocazione delle risorse, il processo risulterebbe di limitata utilita'. Solo se i soldi vanno dove si produce ricerca (come avviene per esempio nel Regno Unito, nel contesto di un sistema essenzialmente pubblico) si puo' nutrire un minimo di speranza per il futuro della ricerca nell'universita'. D'altra parte, si puo' facilmente immaginare le resistenze che possono sorgere verso una tale riallocazione e non mi e' chiaro se esista in Italia la volonta' politica di vincerle.


Risultati

Quali sono le conclusioni di questo processo di valutazione per il raggruppamento che comprende le scienze economiche e statistiche? Un primo risultato interessante e' che se la qualita' media della ricerca in economia e statistica non e' soddisfacente, quella in economia aziendale e' assolutamente disastrosa (con poche eccezioni). Basta un unico dato indicativo: solo il 27 per cento dei contributi di economia aziendale sono pubblicati su riviste internazionali di qualche prestigio (3). Per economia la proporzione e' il 57 per cento e per statistica il 75 per cento.

Per quanto riguarda il ranking delle universita' non ci sono molte sorprese (4).

Tra le grandi strutture la Bocconi (0.89), Bologna (0.81), Siena (0.80), Torino (0.76) e la Cattolica (0.70) occupano i primi cinque posti. Tra le medie strutture, Modena e Reggio Emilia (0.89), Salerno (0.86), Venezia(0.86), Pavia (0.85), e Padova (0.85) sono in testa alla classifica.

Rimane il fatto deprimente che nei ranking internazionali le universita' italiane vanno male. Appaiono, per esempio, al meglio solo tra il cinquantesimo ed il sessantesimo posto (Bocconi e Bologna ) tra le istituzioni europee e statunitensi, in termini di stock di produzione scientifica totale nel periodo 1996-2000 (pesata per la qualita' delle riviste). In termini di produzione pro capite le cose vanno peggio (solo la Bocconi appare tra il sessantesimo e il settantesimo posto) (5).


Conclusioni

Una domanda interessante e' come risponderanno le universita' alla loro posizione nelle classifiche. Per esempio, a quali pressioni si sentira' sottoposta un'universita' che e' in fondo alle classifiche, per fare meglio? L'umiliazione in termini di reputazione puo' essere fonte di miglioramento, ma non basta.

L'incentivo economico sarebbe certamente piu' potente. Per ora c'e' da sperare che la brutta figura fatta contribuisca a dare piu' voce ai ricercatori di qualita' e li aiuti nelle loro battaglie per un'universita' migliore. Considerazioni analoghe si applicano per le universita' in cima alla classifica: l'incentivo economico rafforzerebbe il loro desiderio di rimanervi.

Se gli incentivi fossero giusti (e non lo sono nella situazione attuale, nemmeno con la riforma Moratti), bisognerebbe lasciare autonomia alle universita' nelle politiche di assunzione, promozione e remunerazione. In mancanza di incentivi per le universita' ad assumere i migliori ricercatori e di stipendi competitivi e differenziati per attrarli, la fuga dei cervelli verso l'estero continuera'.

E' troppo presto per dire se le dovute conseguenze verranno tratte da questo primo passo nella direzione giusta e se esso verra' seguito da altre modifiche sostanziali. Confesso che il mio ottimismo del desiderio e' tenuto sotto controllo dal pessimismo della ragione, che riconosce come sia difficile cambiare un sistema distorto con molti ricercatori e dipartimenti di bassa qualita' avversi al cambiamento.


(1) Ricordiamo brevemente le procedure. Le "strutture" (dipartimenti, centri di ricerca) dovevano selezionare un numero di contributi (articoli, capitoli in libri, etc.) prodotti durante il periodo 2001-2003 pari al 50 per cento del numero medio di ricercatori a tempo pieno nel triennio (per l'universita', in pratica, un prodotto ogni quattro unita' di personale accademico). I contributi venivano assegnati a componenti di diversi panel (uno per ciascuna area di ricerca) composti da esperti selezionati dal ministero dell'Istruzione, dell'universita' e ricerca, che a loro volta li assegnavano a referee esterni. I contributi dovevano essere valutati in base alla qualita', rilevanza, originalita' e internazionalizzazione. Ciascun contributo poteva essere valutato come "eccellente", "buono", "accettabile", o "limitato" dai referee. Ciascun panelista, sulla base del lavoro dei referee proponeva una di queste quattro valutazioni, su cui poi il panel doveva esprimersi a maggioranza. Il Civr procedeva poi ad aggregare i voti per ciascuna struttura e a esprimerli come qualita' media ponderata (quindi su una scala che ha 1.0 come valore massimo) dando peso 1 a "eccellente", peso 0.8 a "buono", peso 0.6 ad "accettabile" e peso 0.2 a "limitato". Per dettagli si veda: http://vtr2006.cineca.it/


(2) Temi specifici da discutere sono, ad esempio: a) la scelta tra misure di flusso e di stock (meglio queste ultime); b) il numero totale e per membro dei contributi (ora troppo piccolo); c) l'automatizzazione (o meno) di parte del processo sulla base di una classifica delle riviste fondata sulla loro qualita' (o del tipo di case editrici per libri e capitoli); d) la lunghezza del periodo coperto e la frequenza della valutazione; e) la scelta dei membri dei panel.


(3) Riviste con Impact Factor attribuito dall'Institute for Scientific Information.


(4) Una sorpresa e' la classifica di Roma Tor Vergata (ventottesima su trentuno strutture medie), che risulta meglio piazzata (seconda) nella classifica di Dosi e Sembenelli, basata sul numero di contributi pro capite che compaiono in Econ Lit. (Si veda G. Dosi e A. Sembenelli, "Una nota sulla produttivita' scientifica dei docenti italiani nelle discipline economiche", mimeo, 2005, tabella 4). Lascio agli interessati decidere quanto cio' sia dovuto al fatto che una minoranza di ricercatori di grande valore sia circondata da un grande numero di ricercatori mediocri e quanto alla scelta dei contributi presentati al Civr.


(5) Si veda tabella B1 e B2 (prime due colonne) in Combes, P.P. and L. Linnemer, "Where are the economists Who Publish? Publication Concentration and Rankings in Europe Based on Cumulative Pubblications". Journal of the European Economic Association, December 2003.


il testo riprodotto e' tratto dal sito www.lavoce.info.


[^]