Una nota su valutazione e conformismo

di Francesco Sylos Labini, Roars 12.1.2014

testo

L’irresistibile tendenza al conformismo nella ricerca moderna  è più grande ora di quanto non lo sia mai stato in passato dal momento che vi è una più forte pressione sociale e una maggiore concorrenza nel mercato del lavoro. La valutazione e la bibliometria sono funzionali alla competizione. Ma se una dose di competizione è benvenuta e una valutazione del lavoro prodotto è indispensabile, per entrambi sono state superate da tempo le soglie di ragionevolezza. Per uscirne ci vorrebbe forse una “Bretton Woods” per la scienza, una conferenza che definisca le regole del gioco internazionale?

 

Un recente articolo di un noto astrofisico americano, Abraham Loeb [1],  comincia con queste considerazioni:

È pratica comune, tra i giovani astrofisici in questi anni, investire il proprio tempo di ricerca in maniera conservativa, ovvero puntando su quelle idee mainstream che sono già state ampiamente esplorate in letteratura. Questa tendenza è dovuta alla pressante competizione con i propri colleghi e alle prospettive del mercato del lavoro, e talvolta viene incoraggiata dai ricercatori più anziani. Anche se lo stesso fenomeno esisteva nei decenni passati, l’allarme è più diffuso oggi perché una frazione crescente di progetti osservativi e teorici sono sviluppati in gran- di gruppi con programmi di ricerca rigidi. Inoltre, l’emergere di un “modello standard della cosmologia” [...] offre sicure obbligazioni “per un investimento sicuro” del proprio tempo di ricerca. In questo breve saggio [...] sostengo che i giovani ricercatori dovrebbero sempre destinare una piccola parte del loro portafoglio accademico a progetti innovativi ma con rendimenti rischiosi e potenzialmente molto redditizi [mentre si dovrebbe dedicare la maggior parte del proprio tempo a progetti “sicuri”, N.d.R.]. In parallelo, comitati di selezione e di promozione dovrebbero trovare nuove strategie per premiare i candidati con idee creative.

Se da una parte l’idea di dividere il tempo tra progetti potenzialmente innovativi ma ad alto rischio e progetti più standard è ingenua e poco realizzabile – quando si fa ricerca, soprattutto se si è giovani, non si riesce a essere così razionali da “partizionare” il proprio tempo come i processori di un computer –, dall’altra Loeb tocca un punto fondamentale: l’irresistibile tendenza al conformismo nella ricerca moderna. In effetti, il conformismo non è nuovo ma è più grande ora di quanto non lo sia mai stato in passato dal momento che vi è una più forte pressione sociale e una maggiore concorrenza nel mercato del lavoro. Queste forze esagerano la ricerca di conformismo, che consiste nel lavorare su progetti di ricerca che puntano a ottenere, innanzitutto, il consenso della comunità di riferimento piuttosto che a proporre l’esplorazione di nuove, e magari controverse, idee.

La vera esplorazione, oltre a essere difficile, è ad alto rischio nel senso che può condurre a risultati incerti e soprattutto non è mai una scelta popolare nel campo in cui si lavora in quanto, per definizione, la maggioranza dei propri colleghi lavora su altre, e magari contrapposte, linee di ricerca. Nello stesso articolo l’autore si chiede quali possano essere gli incentivi da considerare per incoraggiare i giovani ricercatori a resistere a questa allarmante tendenza al conformismo e a portare avanti (anche) ricerca innovativa. La conclusione è che “sia necessario trovare migliori strategie per premiare la creatività. Un cambiamento di atteggiamento è di fondamentale importanza per la salute futura del nostro campo”.

Quale può essere il cambiamento di mentalità? In maniera più ampia ne discute il genetista francese Laurent Ségalat nel suo bel libro La scienza malata?[2] Ségalat identifica come una delle principali cause del conformismo, che sta mettendo a rischio l’intero processo scientifico moderno, l’eccessiva competizione che è stata incoraggiata, sia a livello nazionale che internazionale, dal sistema di assegnazione dei posti e di selezione dei progetti di ricerca. La corsa a pubblicare sulle migliori riviste il numero maggiore di articoli possibile, la fame di citazioni, la volontà di accrescere i propri parametri bibliometrici come unico scopo della propria ricerca, sono infatti indotti dalla sempre più spietata selezione dei progetti di ricerca a cui sono legate le carriere dei singoli ricercatori. Osserva Ségalat che “per entrare nel sistema non bisogna essere bravi, bisogna essere migliori degli altri”, e dunque “il ricercatore è trascinato, che lo voglia o no, dalla corsa finanziamenti-pubblicazioni-finanziamenti”. Dunque se si vuole investire la propria ricerca in progetti impegnativi a lungo termine si crea un cortocircuito: “Come posso raggiungere il lungo termine se non sopravvivo nel breve?”.

In questo sistema le più ambite riviste, come “Science” e “Nature”, dove la pubblicazione di un articolo è sufficiente a permettere una carriera in discesa, formano un collo di bottiglia artificiale. “Nature”, per esempio, pubblica il 10% dei centosettanta articoli che riceve alla settimana: questo dimostrerebbe che i criteri di selezione sono molto rigorosi. Ma è davvero così? È indubbio che su “Nature” e “Science” siano stati pubblicati articoli di una certa rilevanza, ma non va dimenticato il caso di Jan Hendrik Schön [3] il “bambino prodigio” della fisica mondiale degli inizi degli anni duemila, che, prima di essere stato scoperto per aver falsificato tutti i dati dei suoi esperimenti, era riuscito a pubblicare in due anni e mezzo otto articoli su “Nature” e sette su “Science” senza che nessun editor avesse il minimo sospetto e senza che, dopo la scoperta della frode, ci sia stata una vera autocritica da parte di queste (e altre) riviste. Ma il caso Schön è forse la punta di un iceberg? Quante sono le frodi, magari più piccole, magari fatte aggiustando qualche figura con Photoshop, che vengono pubblicate sulle riviste scientifiche più o meno “eccellenti”? Questa è la domanda a cui bisogna rispondere e che per il momento, fino al prossimo scandalo, è stata riposta sotto un tappeto.

Dunque, la competizione: la torta deve arrivare ai migliori dice il dogma. E allora i ricercatori, che pure sono impiegati statali, sono messi in competizione tra di loro per l’attribuzione delle risorse e solo una piccola frazione, tra il 5% e il 20% a seconda dei casi, viene messa in condizione di lavorare. Allora ci si potrebbe domandare, come fa Ségalat: “Quale manager, quale economista adotterebbe un sistema di produzione così incredibile? Quale azienda con una forte componente di ricerca e sviluppo sopravviverebbe più di qualche anno funzionando in tal modo?”. C’è un errore fondamentale in questa dinamica ed è un errore ideologico: “Se un po’ di competizione fa bene alla ricerca pubblica, la curva di produttività della ricerca pubblica in funzione del livello di competizione per l’attribuzione delle risorse è una curva a campana, non una funzione sempre crescente. Esiste una soglia oltre la quale la competizione crea più effetti nefasti che effetti positivi”, proprio per il fatto che una eccessiva competizione stimola comportamenti scorretti e condiziona le scelte dei singoli in materia di argomenti di ricerca. La scienza, scrive Ségalat, è “molto più dell’immagine riduttiva e istantanea fornita dagli indici di ‘Nature’ e ‘Science’. È un vasto tessuto con pieghe e zone dormienti, è esperienza tanto quanto progresso. Le conseguenze a lungo termine di una pressione di selezione troppo intensa rischiano di essere dolorose al risveglio”.

In questa analisi la valutazione e la bibliometria sono dunque funzionali alla competizione. Ma se una dose di competizione è benvenuta e una valutazione del lavoro prodotto è indispensabile, per entrambi sono state superate da tempo le soglie di ragionevolezza. Come uscirne? Ségalat si auspica una “Bretton Woods” per la scienza, una conferenza che definisca le regole del gioco internazionale: “È tempo di porsi le domande essenziali. Ha senso d’esistere la competizione per divulgare i risultati di una ricerca? È pertinente l’uso di questa competizione come sistema di valutazione e di ripartizione delle risorse?”.

Al centro di tutto il problema c’è la valutazione e il cuore del sistema è la revisione tra pari. Tuttavia, secondo un sondaggio della Scientific Research Society solo l’8% dei ricercatori giudica che la revisione tra pari, il caposaldo del sistema, funziona in maniera soddisfacente. Ségalat conclude: “L’incapacità di compiere la sua missione spedisce implacabilmente la scienza nella fossa”.

L’affidabilità della revisione tra pari dipende certamente dal tipo di disciplina che si considera. Se in alcune discipline, come quelle delle scienze esatte, la peer review in principio, e molte volte anche in pratica, funziona in maniera ragionevolmente buona, in altre discipline la situazione è intrinsecamente più difficile. Per esempio, il filosofo della scienza inglese Donald Gillies [4] ha analizzato gli effetti dei sistemi di valutazione della ricerca, come il Research Assessment Exercise (RAE), che si è svolta nel Regno Unito tra il 1986 e il 2008 nella disciplina economica. Nel corso della valutazione RAE del 2008, l’economia si è rivelato il settore di ricerca cui è stata assegnata la più alta valutazione di qualsiasi altra disciplina nel Regno Unito. Questo è a prima vista in contrasto con il fatto che proprio nel 2008 gli economisti erano sotto attacco per non aver previsto il crollo finanziario globale. La regina d’Inghilterra inaugurando la nuova sede della famosa London School of Economics aveva posto quella che è passata alla storia come “the Queen’s question”: ma se siete così bravi com’è che nessuno ha visto il disastro che stava arrivando?

Per spiegare questa anomalia nella valutazione della ricerca economica (come in altre scienze sociali), Gillies pone l’accento sulla differenza fondamentale tra l’economia e le scienze naturali e per far questo è necessario considerare un’analisi epistemologica. Kuhn, nel saggio La struttura delle rivoluzioni scientifiche, presenta una visione delle scienze naturali che è diventata molto conosciuta e ha avuto un ampio consenso.

Secondo Kuhn[5], le scienze naturali mature si sviluppano per la maggior parte del tempo in un modo che egli descrive come quello che caratterizza una “scienza normale”. Durante un periodo di scienza normale, tutti gli scienziati che lavorano nel campo accettano lo stesso quadro di ipotesi, lo stesso “paradigma”. Tuttavia, questi periodi di scienza normale sono, di volta in volta, interrotti da rivoluzioni scientifiche in cui viene rovesciato il paradigma dominante del campo e sostituito da un nuovo paradigma. La differenza tra le scienze naturali e le scienze sociali può essere dunque posta come segue. Nelle scienze naturali, al di fuori dei periodi rivoluzionari, tutti gli scienziati accettano il paradigma stesso. Nelle scienze sociali, tuttavia, gli scienziati sociali si dividono in scuole concorrenti. Ogni scuola ha il proprio paradigma, ma questi paradigmi sono spesso molto diversi tra loro. Il contrasto è perciò tra una situazione di paradigma singolo e una di multi-paradigma.

Per quanto riguarda il primo caso possiamo considerare le scienze fisiche, e in particolare la fisica teorica. In questo campo, tutti gli scienziati accettano il paradigma il cui nucleo è composto dalla teoria della relatività e dalla meccanica quantistica. Questo non implica che fisici teorici contemporanei siano eccessivamente dogmatici: molti probabilmente pensano che, a un certo momento in futuro, ci sarà un’altra rivoluzione nella fisica teorica che sostituirà la relatività e la meccanica quantistica con altre e più sofisticate teorie. Tuttavia, essi sostengono, la relatività e la meccanica quantistica funzionano molto bene, e quindi è ragionevole accettarle per il momento. “Funzionano bene” significa che sono in grado di spiegare in maniera precisa i fenomeni naturali osservati e sono anche in grado di fare delle previsioni sperimentali che possono essere testate nel prossimo futuro.

Se ci rivolgiamo ora all’economia troviamo una situazione molto diversa. La comunità è divisa in diverse scuole. I membri di ciascuna di queste scuole condividono un paradigma, ma il paradigma di una scuola può essere molto diverso da quello di un’altra. Inoltre, i membri di una scuola sono spesso estremamente critici verso le opinioni dei membri di un’altra scuola. Queste scuole diverse sono associate a differenti ideologie politiche: l’economia neoclassica, le varie versioni di keynesismo e l’approccio marxista. Inoltre sono disposte su uno spettro politico che va da destra a sinistra e la scuola di economia che attualmente ha il maggior numero di aderenti è l’economia neoclassica.

L’esame di Gillies dei cambiamenti, nel corso dei vent’anni di esercizio del RAE, della comunità dei ricercatori in economia ha portato alla seguente immagine. La comunità è divisa in un certo numero di diverse scuole di pensiero A, B, C…, ognuna con il proprio paradigma. I membri di ogni scuola hanno un’opinione molto bassa del lavoro di ricerca prodotto dalle altre scuole. Ora, se un sistema di valutazione della ricerca è applicato a una tale comunità, quali risultati darà? La tesi di Gillies è che il lavoro di ricerca dei membri di qualsiasi scuola che ha il maggior numero di iscritti riceverà la massima valutazione. Quindi, se la scuola A ha la maggioranza, i membri della scuola A riceveranno la massima valutazione. Se la scuola B è in maggioranza, allora saranno i membri della scuola B a ricevere la valutazione più alta, e così via. La valutazione ricevuta da parte dei membri di una particolare scuola X sarà grosso modo proporzionale al numero dei membri di quella scuola.

Data questa situazione, l’effetto dei sistemi di valutazione della ricerca in economia è quello di rafforzare la scuola di maggioranza (qualunque cosa sia), e indebolire le scuole delle minoranze. Questa conclusione è supportata da dati empirici raccolti per il Regno Unito. Dunque, maggiore è il dominio della scuola di maggioranza e maggiore è la valutazione globale del soggetto: questo modello spiega l’anomalia rappresentata dal fatto che l’economia ha ottenuto il punteggio più alto di qualsiasi altra disciplina nella valutazione del RAE del 2008. Gillies sostiene che la ricerca in economia fiorisce meglio in una situazione in cui ci sono un certo numero di scuole, ognuna con il suo paradigma, piuttosto che in una situazione in cui domina una sola scuola. La sua conclusione è che i sistemi di valutazione della ricerca hanno un effetto negativo sulla ricerca in economia proprio perché costituiscono dei forti disincentivi al pluralismo e per questo motivo danno risultati fuorvianti: invece di implementare tali sistemi, dovrebbe essere fatto un tentativo per favorire il pluralismo.

Sir James Black, vincitore del premio Nobel per la medicina nel 1988, così si esprime, in un’intervista al “Financial Times” (2 febbraio 2009), sul sistema della peer review: “Il procedimento della peer review anonima è il nemico della creatività scientifica [...] i peer reviewers premiano l’ortodossia”. Ancora Donald Gillies, nel suo libro How Should Research Be Organised?, prendendo le mosse da una critica molto dettagliata e approfondita del RAE inglese, prova a delineare quale sia la direzione per cambiare il sistema di valutazione che, come abbiamo visto, è il centro di tutta la dinamica della scienza contemporanea. Gillies va oltre l’auspicio di Ségalat di convocare una sorta di conferenza internazionale che definisca “le regole del gioco” della ricerca contemporanea. Il problema centrale su cui Gillies si concentra è proprio il sistema di valutazione perché è questo che condiziona lo svolgersi del processo scientifico moderno e la chiave di volta della proposta è di nuovo la riforma della peer review.

Un interessante tentativo di riforma del processo di peer review è stato proposto da Grazia Ietto-Gillies. In breve, Ietto-Gillies propone la pubblicazione online senza peer review, ma suggerisce che, invece della peer review, ci dovrebbe essere un sistema chiamato peer comment: “Per ogni articolo pubblicato su una rivista Open Access l’editore dovrebbe invitare i lettori a inviare commenti che verranno poi inseriti in un apposito link connesso all’articolo. Questi dibattiti aperti dovrebbero essere incoraggiati come un modo di sviluppo della ricerca e dovrebbero essere un modo di riconoscere che la ricerca è un’attività sociale e l’interazione di vari ricercatori può aiutare il progresso”. Il commento tra pari differisce radicalmente dalla valutazione tra pari. Ietto-Gillies elenca alcune delle differenze nel modo seguente: a) si basa su un numero potenzialmente molto maggiore di commentatori, b) i commentatori non hanno il potere di fermare la pubblicazione e c) i commenti sono firmati a differenza delle relazioni dei referee anonimi”. Il peer comment sarebbe, al contrario della peer review, del tutto basato sul volontariato.

L’idea alla base del peer comment è dunque di spingere il sistema verso un approccio sociale alla ricerca: la ricerca non è il frutto di idee isolate di singoli individui, per bravi che essi siano, e può avvantaggiarsi dagli scambi di idee tra ricercatori che vanno favoriti e non ostacolati. Molti commentatori possono dare contri- buti notevoli e sono molto più propensi a darli quanto più sanno che le idee che esprimono saranno loro attribuite. Esistono già diversi tentativi di usare sistemi di valutazione aperti, basati sulla pubblicazione online, con accesso libero di molti commentatori potenziali appartenenti al gruppo di esperti nella materia, e sul riconoscimento dell’identità sia degli autori, sia dei commentatori. Le tecnologie digitali certamente possono essere di grande aiuto a sviluppare queste pratiche alternative alla classica peer review. Se questa sia la soluzione è certamente una questione aperta, ma è chiaro che la valutazione gioca un ruolo di tale importanza nello sviluppo della dinamica scientifica moderna che non è possibile lasciarla nelle mani di burocrati o peggio ancora di politici.
______________________________________________________

1. A. Loeb, Taking “the Road not Taken”. On the Benefits of Diversifying Your Academic Portfolio, <arxiv.org/abs/1008.1586>.

2. L. Ségalat, La scienza malata? Come la burocrazia soffoca la ricerca (2009), Raffaello Cortina, Milano 2010.

3. G. D’Anna, Il falsario, Mursia, Milano 2010 (una ricostruzione romanzata dello scandalo, scritta da un fisico testimone indiretto).

4. D. Gillies, Economics and Research Assessment Systems, “Economic Thought. History, Philosophy, and Methodology”, <et.worldeconomicsassociation.org/article/view/26>.

5. T.S. Kuhn, La struttura delle rivoluzioni scientifiche (1962), Einaudi, Torino 1969. 128

6. D. Gillies, How Should Research be Organized?, College Publications, London 2008.

7. G. Ietto-Gillies, A XXI-century Alternative to XX-century Peer Review, “real-world economics review”, 45, 2008, pp. 10-22, <www.paecon.net/PAEReview/issue45/ IettoGillies45.pdf>.