[ l k v . i t ]
Una valutazione positiva
08-02-2006
Tullio
Jappelli
[<--]

Il Comitato di indirizzo per la valutazione della ricerca (Civr) ha concluso il primo ciclo di valutazione relativo al triennio 2001-2003. Le relazioni finali dei venti panel sono disponibili sul sito del Civr (www.civr.it) insieme ai risultati, espressi con un punteggio complessivo compreso tra 0 e 1 attribuito a ciascuna universita' o ente di ricerca in ciascuna disciplina.

Per www.lavoce.info, i problemi dell'universita' e della qualita' delle attivita' che vi si svolgono rivestono un'importanza particolare. Speriamo quindi che si apra un dibattito ampio sul metodo di valutazione, i suoi esiti, la sua utilita' per la ripartizione delle risorse future e la riforma dell'universita'. Ecco alcune prime riflessioni.


La composizione dei panel

I componenti del panel sono esperti riconosciuti sul piano nazionale e internazionale nelle rispettive discipline; un quarto proviene dall'estero, un elemento di eccezionale novita' nel quadro asfittico e autoreferenziale di buona parte dell'universita' italiana. Ciascun panel ha previsto esplicitamente come affrontare i casi di conflitti di interesse (coautori, colleghi della stessa universita', parenti, eccetera). Anche qui, si tratta di una positiva novita'.


I raggruppamenti disciplinari

Ciascun panel ha valutato circa mille lavori di aree di ricerca molto ampie, che comprendono mediamente quattromila ricercatori ciascuna (diecimila per le scienze mediche, seimila per quelle biologiche). Ad esempio, per le scienze mediche e' stato attivato un solo panel che ha valutato lavori di oncologia, neurologia, endocrinologia, cardiologia, immunologia, eccetera. Il panel di scienze economiche e statistiche ha valutato, tra gli altri, lavori di statistica, economia politica, matematica finanziaria, economia aziendale. Il panel di scienze biologiche ha esaminato lavori di biologia molecolare, biochimica, fisiologia, e cosi' via.

Nell'universita' italiana molte decisioni sono prese dai cosiddetti "settori scientifico-disciplinari". Se ne contano cinquanta in medicina, un centinaio nelle scienze letterarie, diciannove nelle scienze biologiche, altri diciannove nelle scienze economiche e statistiche: in totale, circa quattrocento. Si tratta di piccoli o grandi raggruppamenti di docenti che si comportano spesso come corporazioni medievali, erigendo barriere all'ingresso e impedendo che le altre discipline possano "mettere il naso" nei loro affari. Fino ad oggi, le decisioni sull'ingresso in ruolo dei docenti, le conferme e le promozioni (i concorsi) sono prese da commissioni elette all'interno dei settori disciplinari. I panel del Civr hanno eliminato, o quanto meno attenuato, alcune di queste barriere, valutando con una stessa metrica settori della stessa area di ricerca, uniformando gli standard di qualita' e promuovendo, in prospettiva, la competizione orizzontale tra settori disciplinari. Qualsiasi riforma dell'universita' non potra' prescindere da una profonda revisione dei settori scientifici esistenti.


I lavori presi a riferimento

La valutazione ha preso in esame le pubblicazioni nel triennio di riferimento, non le pubblicazioni dei docenti che al momento della valutazione lavoravano presso la sede. Questo criterio tende a scoraggiare comportamenti strategici e opportunistici; ad esempio assumere un docente per un anno, al solo scopo di inserire i suoi lavori e migliorare il ranking. Tuttavia, si introduce un elemento di inerzia troppo accentuato. Supponiamo che nel 2006 l'universita' X decida di migliorare la propria ricerca in un certo settore assumendo un nuovo docente. Il docente prendera' servizio alla fine del 2006; le sue pubblicazioni del periodo 2004-06 non saranno pero' attribuite alla nuova sede e non saranno quindi oggetto del secondo ciclo di valutazione. Bisognera' attendere il terzo ciclo (2007-09), che sara' reso pubblico due anni dopo, nel 2011, per capire se e come il nuovo docente avra' modificato il ranking. Meglio sarebbe prevedere un aggiornamento annuale o biennale della valutazione, acquisendo i prodotti gia' valutati, e aggiungendo quelli che ogni anno si rendono disponibili.


Il metodo di valutazione

I prodotti selezionati dalle universita' (uno per ogni quattro ricercatori) e dagli enti di ricerca (uno per ogni due ricercatori) sono stati preliminarmente valutati da due esperti esterni al panel. Sulla base dei primi due giudizi, un componente del panel ha poi espresso una proposta di giudizio finale, vagliata all'interno del panel da uno specifico sottogruppo, che ha riesaminato il giudizio finale, esprimendo il proprio consenso o dissenso motivato. Nei casi in cui il consenso non e' stato raggiunto dal sottogruppo, il giudizio finale e' stato espresso collegialmente dal panel. Questa procedura garantisce il massimo di imparzialita', e tuttavia puo' comportare l'allungamento dei tempi anche quando non e' necessario, ad esempio per lavori pubblicati su riviste internazionali di prestigio.


I tempi e i costi

I costi sono stati contenuti, meno di quattro milioni di euro secondo le cifre diffuse dal ministero dell'Istruzione, universita' e ricerca. Si tratta di una somma di circa quattro volte inferiore a quella del sistema di valutazione inglese, che si aggira sui 15 milioni di euro.

I tempi invece non sono stati brevi: un anno per selezionare i lavori da parte delle universita', un altro per la valutazione dei panel. In futuro, sara' necessario comprimerli, anche sulla base dell'esperienza acquisita. Soprattutto perche' la valutazione e' efficace ex-ante, quando sono note le conseguenze della valutazione sulla distribuzione delle risorse: solo cosi' si puo' sperare che orienti le scelte del corpo accademico, migliori la qualita' della ricerca e stimoli la concorrenza tra universita'.


La trasparenza delle decisioni

Le relazioni finali dei panel sono disponibili integralmente sul web, in italiano e in inglese. Contengono un resoconto del lavoro svolto, delle decisioni prese, delle procedure adottate. Dai verbali emerge che nella grande maggioranza dei casi le decisioni sono state prese all'unanimita'; il dissenso e' limitato a pochissimi casi, documentati con relazioni di minoranza. Le responsabilita' individuali e le prese di posizione non sono coperte dall'anonimato. Si tratta di un principio di trasparenza di grande valore rispetto alle abitudini vigenti nell'accademia italiana.


La pubblicita'

Anche l'elenco dei lavori valutati e' disponibile sul web. Chi lavora nelle universita' italiane sa quanto poco tempo sia dedicato alla discussione di temi di ricerca, e quanto invece a cavilli, regolamenti, delibere, verbali, riunioni estenuanti. Il Civr offre per la prima volta l'occasione per sapere cosa si fa nell'universita', chi lo fa, come lo fa. Ci si puo' rendere conto di quali temi di ricerca vengono affrontati e quali sono i gruppi di ricerca attivi nelle varie sedi.


I risultati

Il ministro Moratti ha dato una lettura molto positiva dei risultati. "La ricerca italiana supera l'esame della valutazione," - ha osservato nel comunicato ufficiale - "dall'analisi dei dati emerge uno spaccato confortante della ricerca nazionale".

Come sempre, e' difficile stabilire se un bicchiere sia mezzo pieno o mezzo vuoto. La tabella riporta, per ciascuna area disciplinare, il numero di lavori valutati, la percentuale dichiarata eccellente, il punteggio medio e il punteggio minimo e massimo ottenuto in ciascun settore. Complessivamente, il 30 per cento dei prodotti valutati e' stato giudicato "eccellente", dove per "eccellente" si intende il 20 per cento piu' elevato secondo la scala di valore condivisa dalla comunita' scientifica internazionale. Anche se e' difficile confrontare i ranking di aree di ricerca con standard internazionali diversi, la percentuale di lavori dichiarati "eccellenti" e' di oltre il 50 per cento nelle scienze fisiche e letterarie, ma raggiunge solo il 10 per cento nelle scienze agrarie, il 17 per cento nelle scienze economiche e statistiche, il 20-22 per cento nelle scienze giuridiche, nelle scienze politiche e sociali e in ingegneria civile e architettura. Anche all'interno delle aree vi e' notevole dispersione. Guardando le sole strutture grandi e medie (almeno quaranta ricercatori), per molti settori l'oscillazione tra valori minimi e massimi e' di circa 20 punti; sale a 30 per la chimica, la biologia, l'ingegneria civile, e a oltre 40 per le scienze economiche. Vi sono quindi significative differenze tra aree e all'interno delle aree. Bisogna poi ricordare che il Civr ha preso in esame soltanto le pubblicazioni migliori, in media soltanto una ogni quattro ricercatori.


Una domanda ai due schieramenti politici

Il ministro Moratti ha ribadito spesso che in sede di assegnazione delle risorse pubbliche per la ricerca, si terra' conto dei risultati della valutazione del Civr e che il 30 per cento del Fondo di funzionamento ordinario del Miur sara' calcolato sulla base della qualita' della ricerca delle varie strutture. Ma sappiamo che il ministro e' orientato verso altri incarichi. Sara' applicato questo principio? E con quali modalita'?


E una ai rettori

Non ci sono solo i fondi del Miur. I rettori potranno, se vorranno, adottare misure specifiche per premiare o incentivare aree di eccellenza nelle rispettive universita'. Gia' ora ciascuna sede puo' predisporre un piano di sviluppo della ricerca razionalizzando le risorse esistenti, senza chiedere stanziamenti aggiuntivi. Come saranno utilizzati i ranking nazionali delle singole aree nelle rispettive universita'? Quali procedure saranno messe concretamente in atto per non disperdere le aree di eccellenza che esistono? Tra le aree meno forti, come saranno identificate quelle che sono suscettibili di sviluppo?


Aree disciplinari Numero di lavori % Lavori eccellenti Rating minimo Rating massimo Rating medio
1. Scienze matematiche e informatiche 788 0.36 0.73 0.94 0.83
2. Scienze fisiche 1769 0.52 0.73 0.95 0.83
3. Scienze chimiche 1089 0.31 0.63 0.93 0.81
4. Scienze della terra 651 0.34 0.76 0.96 0.84
5. Scienze biologiche 1575 0.33 0.63 0.93 0.82
6. Scienze mediche 2640 0.25 0.62 0.85 0.77
7. Scienze agrarie 750 0.10 0.60 0.79 0.71
8. Ingegneria civile e architettura 768 0.22 0.64 0.94 0.75
9. Ingegneria industriale 1197 0.21 0.71 0.83 0.77
10. Scienze letterarie 1346 0.51 0.78 0.94 0.88
11. Scienze storiche e filosofiche 1177 0.28 0.62 0.85 0.79
12. Scienze giuridiche 1061 0.20 0.59 0.85 0.74
13. Scienze economiche 971 0.17 0.43 0.89 0.67
14. Scienze politiche e sociali 373 0.20 0.63 0.91 0.71

Nota. Il rating e' il rapporto tra prodotti "pesati" per la qualita' e il numero totale di prodotti valutati. I prodotti pesati si ottengono come E+0.8×B+0.6×A+0.2×L, dove E = Eccellente; B = Buono; A = Accettabile; L = Limitato. Minimi e massimi si riferiscono a mega-strutture (piu' di 400 ricercatori), grandi strutture (tra 100 e 400) o medie (tra 40 e 100), escludendo quindi le piccole (meno di 40). I valori medi si riferiscono a tutti i prodotti valutati. Non vengono riportate le 5 "aree speciali".


il testo riprodotto e' tratto dal sito www.lavoce.info.


[^]