Valutazione. Il punto di vista del prof. Graziosi

Valutazione. Tra scuola e università
i problemi sono diversi

di Andrea Graziosi, 17.10.2013

Care Colleghe, Cari Colleghi,

Vi scrivo sollecitato dai documenti del vostro Direttivo e perché mi erano giunte voci di problemi e incomprensioni legate allo svolgimento e agli esiti della VQR. Ho voluto perciò accertarmi di quali fossero le questioni sollevate da alcuni di voi per rispondervi informalmente e da collega tra colleghi in qualità di ex presidente del GEV 11, incarico che come sapete è venuto a scadere, insieme al GEV stesso, a luglio con la fine della VQR.

Prima di cominciare, mi permetto di rimandare tutti al Rapporto finale da noi approvato all’unanimità, da mesi liberamente disponibile in rete insieme alle decine di tabelle che testimoniano dell’entità, e della qualità, del lavoro svolto (http://www.anvur.org/ rapporto/).

Nel rapporto infatti sono spiegate cose che sarebbe inutile qui ripetere, e molte cose erano spiegate nei decreti e nei regolamenti ministeriali che hanno diretto il nostro lavoro, come è giusto che sia in uno stato di diritto in cui si può al massimo e entro certi limiti interpretare, ma si è tenuti a rispettare, anche i provvedimenti con cui non si è in completo accordo.

Dico questo perché mi sembra che questa mancanza di informazioni pure facili da ottenere (anche i decreti e i regolamenti della VQR sono ed erano disponibili online) sia alla base di non poche incomprensioni.

Parto da una questione che ha causato molta inquietudine, relativa al trattamento di lavori presentati alla VQR ma non riconducibili al periodo 2004-2010. Mi riferisco alle riedizioni, alle semplici traduzioni di opere precedenti ecc., che le regole pubbliche e non segrete della VQR stessa escludevano a priori dalla valutazione (salvo che si trattasse per esempio della traduzione del 2007di un libro uscito in Italia dopo il 2004, libro italiano a sua volta non presentato tra i tre titoli scelti per la VQR).

Purtroppo, i regolamenti della VQR non consentivano in questo caso alcun margine di libertà: una volta chiusi, i termini per presentare i lavori non potevano essere riaperti per singoli individui, e sottoporre alla VQR 2004-2010, tesa a valutare la ricerca di quel periodo, lavori frutto di ricerche antecedenti il 2004 comportava automaticamente l’assegnazione a questi lavori di un punteggio punitivo, pari a MENO 1. Così è stato fatto in tutti i GEV e non è stato possibile fare altrimenti, come pure avevo proposto, chiedendo che tali lavori fossero considerati alla stregua di quelli mancanti (- 0,5). Ricordo tuttavia che l’ANVUR ha inviato agli atenei l’elenco di questi lavori, in modo che i loro autori segnalassero eventuali elementi di novità che fosse possibile valutare in modo autonomo, e così è stato fatto.

Di questi casi ve ne sono stati nel nostro GEV poche decine (sui circa 12000 “prodotti” valutati) e non mancano i colleghi che hanno protestato vivacemente e ipotizzato complotti solo per scoprire che avevano sbagliato a scegliere i loro prodotti, per non aver letto le linee guida della VQR. Nessuna animosità verso questo o quel collega, dunque, ma semplice applicazione delle regole, per rispetto e nell’interesse di tutti.

Un caso diverso, ma in qualche modo affine, è rappresentato da colleghi che hanno presentato lavori riconducibili al 2004-2010, ma selezionando recensioni o pubblicazioni genericamente intese (anche raccolte di poesie, di articoli di quotidiani e riflessioni personali su questo o quel tema di carattere generale) che non è facile considerare lavori di ricerca e che molti referee non hanno infatti giudicato tali, assegnando loro punteggi molto bassi, che spesso sono poi diventati uno 0.

Questi episodi suggeriscono che vi è ancora tra noi scarsa coscienza della distinzione tra la nostra attività di ricerca e quella più generale, e assolutamente non disprezzabile e legittima, di pubblicistica. Tale distinzione però esiste, e la VQR intendeva appunto—già dal suo nome—valutare la ricerca e non la pubblicistica.

La mancanza d’informazione sulle regole della VQR e delle ASN, una mancanza che—lasciatemelo dire—è per degli storici in teoria scrupolosi analizzatori delle fonti abbastanza deprimente, è alla base anche di altri equivoci. Ci si è per esempio stupiti che nell’elenco delle riviste di fascia A della Storia moderna (come di quella contemporanea) figurassero delle riviste di Storia dell’Europa orientale.

Ma si dovrebbe pur sapere che tanto la VQR che la ASN non sono più legate ai vecchi SSD ma, a causa di decisioni prese dal CUN, sentite le comunità accademiche, e certo non dall’ANVUR o dai GEV, a più ampi Settori Concorsuali. In particolare il CUN e il Ministero hanno inserito Storia dell’Europa orientale (MSTO/03) nei Settori Concorsuali 11A2 e 11A3 (gli afferenti a MSTO/03 erano liberi di scegliere uno dei due SC). E’ stato quindi doveroso inserire tra le loro riviste anche quelle dei colleghi di Storia dell’Europa orientale, che altrimenti sarebbero stati ingiustamente danneggiati, per esempio nel calcolo della terza mediana per le ASN.

E’ opportuno ricordare a questo proposito che nella VQR i referee hanno valutato i saggi per il loro contenuto, e non per la sede di pubblicazione, che ha contato solo per pochi articoli pubblicati su grandi riviste internazionali, che per parere unanime del GEV si è ritenuto poter sottoporre a un solo referee visti i ripetuti esami critici cui erano stati sottoposti prima della loro pubblicazione.

Più in generale credo di aver fatto tutto il possibile prima per far sì che l’ANVUR abbandonasse per le discipline umanistiche la valutazione bibliometrica a favore della peer review e poi per limitare al massimo i margini di errore della peer review stessa, che derivano dalla sua natura soggettiva e di cui sono stato presto cosciente (di questo punto, che ritengo essenziale, discuto a lungo nel Rapporto finale citato all’inizio di questa mia):

1. Ho chiesto ai membri del GEV che assegnavano i referee ai lavori presentati, che ogni autore fosse valutato da 6 referee diversi (due per ciascuno dei suoi tre lavori), o da almeno 4 se l’obiettivo dei 6 era irraggiungibile. Se si tiene conto che ogni referee assegnava tre voti a ogni lavoro, ciascun lavoro ha ricevuto 6 voti da due persone diverse, e ciascun autore 18 voti, di regola da 6 e almeno da 4 referee diversi.

2. Ho costantemente monitorato la variabilità dei voti assegnati dai referee, individuando chi dava sempre e solo lo stesso voto a lavori diversi, e ottenendo quindi un elenco di referee filtrato in base alla serietà e all’equilibrio del lavoro effettuato.

3. Seguendo le indicazioni Anvur ho poi:

a. Cercato di coinvolgere quanto più possibile referee stranieri.

b. Chiesto di fare la massima attenzione alla presenza di scuole “nemiche” e di evitare assegnazioni che ravvivassero le inimicizie.

c. Fatto sì che i lavori presentati dalle sedi dei membri GEV fossero assegnati ai referee  da gruppi che escludevano il GEV interessato (nessun membro GEV ha perciò assegnato a referee lavori che provenivano dal suo Ateneo).  

 

Sono però presto diventato cosciente dei limiti della peer review, limiti che come dicevo derivano dalla sua natura soggettiva. Tali limiti hanno prodotto delle “code” di valutazioni errate che restano tuttavia—a giudicare dal numero delle proteste e dalla generale credibilità dei dati alla luce del buon senso—all’interno di pochissimi punti percentuali.

Credo che se avessimo applicato la bibliometria, in assenza di banche dati affidabili, gli errori sarebbero stati ben più grandi.

Detto questo, mi sono convinto che solo l’uso combinato di peer review  e altri e più oggettivi strumenti di valutazione potrà permetterci in futuro di ridurre ulteriormente i margini di errore.

Questi sono però discorsi per il futuro. Prima bisogna utilizzare al meglio una VQR che è stata una cosa seria, porre le basi per il miglioramento di quella 2010-2014, che non è lontana ed è prevista da una legge, correggendo le criticità rivelate dalla sua prima applicazione, e nell’immediato impedire che essa venga usata in modo distorto e improprio, come nelle intenzioni di chi oggi preme per aver accesso ai suoi risultati per valutare i singoli studiosi.

Dobbiamo inoltre pensare alla prossima grande sfida, che è quella della valutazione della ricerca dipartimentale e soprattutto dei Dottorati, da cui dipenderà il futuro stesso delle nostre discipline.

Sono convinto che il modo migliore di rispondere a questa sfida è affrontarla aprendosi al contempo ad una percezione critica della realtà odierna e ad un confronto che spero aiuti ad affinare la valutazione futura nelle discipline umanistiche. Tutto questo a partire dalla coscienza che se la valutazione non la facciamo noi, saranno altri a farla su di noi.

 

Un caro saluto,

Andrea Graziosi