Una revisione paritaria in pubblico dominio?

Peer Review Monster di Gideon Burton, su Flickr

Nell’ambito della comunicazione della ricerca scientifica, il peer review, tradotto in italiano con revisione dei pari, paritaria o paritetica, è un processo di selezione e prima valutazione di un documento che espone i risultati di un ricercatore. Questo processo, chiamato anche refereeing (arbitrato o meglio revisione) viene generalmente supportato dai referee o revisori, cioè coloro che giudicano l’idoneità del lavoro presentato, concedendone discrezionalmente la pubblicazione sulle riviste specializzate. Sono in molti a chiedersi quanto è affidabile questo sistema, ma soprattutto cosa si può fare per migliorarlo?

Naturalmente le cose sono molto più complicate di quanto sembrino ad uno sguardo distratto, e i processi di peer review possono essere single blind (dove gli autori non conoscono i revisori), double blind (i revisori non conoscono gli autori e viceversa) o addirittura triple blind (editori, revisori e autori non si conoscono tra loro). Anche i criteri di pubblicazione sono molteplici, ad esempio Science e Nature esigono standard estremamente rigorosi per la pubblicazione, e spesso respingono anche documenti contenenti lavori di buon livello se questi non sono dei veri passi avanti nel loro campo. Questi approcci differenti traspaiono dalle percentuali di ciò che viene pubblicato: Nature pubblica circa il 5 per cento dei lavori che riceve, mentre Astrophysical Journal è al 70%

Il criticismo generato dai processi di peer review è inevitabile, anche se di recente alcuni aspetti sono stati migliorati notevolmente. Infatti una delle prime critiche mosse, denunciava l’inesorabile lentezza del sistema, quando occorrevano mesi o addirittura anni per l’approvazione di un paper, prima della pubblicazione effettiva. In pratica, gran parte delle notizie su nuovi risultati, in particolare quelle inerenti astronomia ed economia, non avviene più attraverso giornali peer-reviewed, piuttosto si diffondono con i cosiddetti preprints, prepubblicazioni presentate su server specializzati come il noto arXiv.org.

Questo non dovrebbe essere considerato come un trucco per aggirare il sistema tradizionale, bensì come uno stimolo per incentivare una più solerte  risoluzione dello stesso, in quanto gli stessi lavori sono spesso sottoposti anche alle riviste principali, e in molti casi hanno, al momento della presentazione elettronica, già affrontato il processo di revisione paritaria, decretandone la possibilità di essere accettate per la pubblicazione.

Dato che passare indenni dal peer review, sottintende una sorta di certificazione di qualità all’interno della comunità scientifica, sorgono sempre più spesso forti dubbi circa la reale validità scientifica di alcuni lavori presentati e pubblicati apparentemente con poca prudenza. Drummond Rennie, vice direttore del Journal of American Medical Association e organizzatore del Congresso Internazionale sul Peer Review e pubblicazioni biomediche, osserva:

Non sembra esserci nessuno studio troppo frammentato, nessuna ipotesi troppo banale, nessuna letteratura troppo prevenuta o troppo egoista, nessun disegno troppo deformato, nessuna metodologia troppo pasticciata, nessuna presentazione dei risultati troppo imprecisa, troppo oscura o anche contraddittoria, nessuna analisi troppo autoreferenziale, nessun argomento troppo circolare, nessuna conclusione è troppo frivola o troppo ingiustificata, e nessuna grammatica o sintassi troppo offensiva, che impedisca ad un paper di ottenere il “visto si stampi”!

Anche Richard Horton, direttore della rivista medica britannica The Lancet, versa benzina sul fuoco:

L’errore, ovviamente, è quello di aver pensato che il peer review è stato qualcosa di più che un rozzo mezzo per scoprire l’accettabilità – non la validità – di una nuova scoperta. Editori e scienziati insistono sull’importanza fondamentale della revisione paritaria. Noi presentiamo il peer review al pubblico come un processo quasi sacro che aiuta a rendere la scienza il nostro più obiettivo custode della verità. Sappiamo però che il sistema di peer review è parziale, ingiusto, inspiegabile, incompleto, facilmente rimediabile, spesso offensivo, solitamente ignorante, di tanto in tanto sciocco, e frequentemente fallace.

La discrezionalità dei revisori non è un fattore eliminabile, e si fonda esclusivamente sull’integrità etica e morale della comunità scientifica in cui risiedono. Questo tuttavia non garantisce che non si verifichino discriminazioni e sopravvalutazioni, spesso fondate su differenze geografiche, di etnia o di sesso, quando non addirittura regolate da veri e propri conflitti di interesse. Un problema che mina alla radice l’attendibilità stessa del sistema di revisione, come ben sottolineato da MyGenomics in questo suo articolo brillante, seppure anche molto critico.

Abusi di questo tipo sono numerosi e rilevanti, al punto da indurre la formazione di commissioni etiche di controllo come il COPE (Commitee on Publication Ethics) che vigilano sui casi di cattiva condotta e di plagio, altro grave problema che affligge l’originalità e la genuinità delle pubblicazioni.

Un sistema tanto precario quanto altisonante quindi, che inoltre deve fare i conti con gli ingenti costi: i revisori non vengano pagati, ma è la selezione il momento che incide di più sul costo della pubblicazione. Qui vanno inclusi anche gli stipendi dei redattori e degli assistenti di redazione, il costo dei software per l’archiviazione e la gestione delle revisioni e degli strumenti di comunicazione, un prezzo che si riflette inevitabilmente sulla diffusione dei risultati delle ricerche. Infatti per accedere alle pubblicazioni peer reviewed è necessario sottoscrivere costosi abbonamenti, oppure disporre di accessi privilegiati o dedicati come quelli di redazioni, biblioteche e sedi universitarie, impedendo così una vera e propria trasparenza e ostacolando  la diffusione della cultura scientifica con un dibattito edificante e interamente democratico.

E in Italia? La situazione non è delle più rosee, Da qualche anno l’Associazione Luca Coscioni si batte per l’introduzione del criterio di peer review per l’assegnazione dei fondi per le università pubbliche italiane, anche attraverso un appello lanciato verso la fine del 2007 dagli scienziati Gilberto Corbellini e Piergiorgio Strata. Nel frattempo è operante un sistema di finanziamento a progetto, seppur limitato nelle forme, nelle istituzioni, nei livelli di finanziamento, e, a sentire un po’ tutti, nella qualità intrinseca dei processi di valutazione. Soffre insomma delle medesime malattie di tutto il sistema Università-ricerca come ci spiega esaustivamente Anvur Cronaca, Il blog sulla valutazione della qualità dell’istruzione superiore e della ricerca.

Il logo open access, emblema di PLOS. Imagecredit: Wikimedia Commons

Tuttavia esiste una promettente alternativa, nonostante sia poco valorizzata e conosciuta,  chiamata open access peer review, che si propone di fornire un sistema di revisione pubblico,  con la massima trasparenza sugli autori e revisori esprimendo la libera disponibilità online di contenuti digitali. Nel 2001, ben 34.000 accademici sparsi per il mondo firmarono una lettera aperta per gli editori di pubblicazioni scientifiche, richiedendo l’istituzione di una libreria pubblica che fornisca un accesso completo ai suoi contenuti, alle ricerche pubblicate ed ai documenti accademici che trattano di medicina e scienze della vita.

Questo ha portato all’istituzione della Public Library of Science, spesso abbreviata con PLOS, un’organizzazione no profit formata da scienziati e medici impegnati a rendere la letteratura scientifica una risorsa disponibile liberamente. Un punto di svolta cruciale nel percorso verso l’open access, come viene sapientemente analizzato da Peppe Liberti sul suo sempre ottimo Rangle.

L’efficacia della trasparenza e l’autoregolamentazione nell’assicurazione della qualità nelle pubblicazioni scientifiche in regime di open access e open peer review come metodo interattivo e liberamente accessibile, è stata esaminata recentemente da Ulrich Pöschl, che dirige un gruppo di ricerca presso l’Istituto Max Planck per la Chimica, Dipartimento di biogeochimica, a Magonza, in Germania.

Ulrich è anche executive editor di Atmospheric Chemistry and Physics (ACP), un journal specializzato in open access peer review, fondato nel 2001 dall’European Geosciences Union, che pubblica principalmente studi che trattano le dinamiche atmosferiche dal punto di vista dei processi fisico-chimici.

Lo studio di Ulrich Pöschl evidenzia come il sistema tradizionale di pubblicazione scientifica non risponda in modo esauriente alle esigenze moderne, e a parte casi eclatanti di evidente frode scientifica, la società intera sta affrontando l’inflazione di superficialità e improvvisazione nei lavori presentati, sovente bloccati dietro le barriere di sottoscrizione, che diluiscono anziché concentrare la conoscenza scientifica, portando ad un imperdonabile spreco di risorse e ostacolando così il progresso scientifico e sociale.

Contrariamente a quanto suggeriscono i luoghi comuni, l’open access non è una minaccia, bensì una urgente opportunità per il miglioramento della qualità nella divulgazione scientifica. Vediamo perché:

1. L’open access è pienamente compatibile con i tradizionali peer review, inoltre consente forme interattive e trasparenti di riesame e libera discussione aperta a tutti i membri interessati della comunità scientifica, ma anche al pubblico  (public/collaborative/community peer review).
2. L’open access fornisce ai revisori informazioni addizionali da esaminare, come ad esempio l’accesso illimitato alle pubblicazioni scientifiche rilevanti attraverso le diverse discipline e comunità.
3. L’open access semplifica lo sviluppo e l’implementazione di nuovi sistemi per la valutazione dell’impatto e della effettiva qualità delle pubblicazioni scientifiche.

ACP e altri journal specializzati aventi la stessa filosofia aperta, hanno chiaramente dimostrato che l’accesso libero interattivo nel peer review con un processo di pubblicazione in due fasi, avvalorato da una discussione pubblica, risolve efficacemente il dilemma tra la velocità di diffusione delle informazioni scientifiche e la loro attendibilità. La dimostrazione passa attraverso l’osservazione che l’accesso interattivo aperto di questo tipo di peer review favorisce nella discussione scientifica, scoraggiando allo stesso tempo la presentazione di manoscritti che non raggiungono gli standard minimi, risparmiando le capacità di arbitraggio e migliorando la densità delle informazioni di qualità nell’elenco definitivo dei documenti.

Tecnicamente, l’interattività è facilmente ottenibile aggiungendo un semplice forum di discussione moderato, integrato nel dominio, un’operazione alla portata di qualunque testata esistente, ma spesso la questione si riduce ad un puro e semplice conservatorismo antiquato che ostracizza la libera diffusione della conoscenza.

Inoltre, il concetto di base delle  due fasi per la pubblicazione in open access, il peer review pubblico e la discussione interattiva, può essere facilmente adattato alle varie esigenze e alle competenze di comunità scientifiche diverse. Attraverso la scelta di mantenere o meno l’anonimato dei revisori, riducendo  o prolungando la fase discussione, arricchendola con commenti  post-peer-review, sistemi di valutazione per i lettori, rendendo cioè tutti i passaggi e le iterazioni del peer-review completamente trasparenti e favorendo la successione di ulteriori cicli di feedback che assicurano la qualità editoriale. Un sistema in cui tutte le parti implicate traggono profitto dalla documentazione resa pubblica (da cui deriva il termine “pubblicazione”, che non significa solo per gli occhi di pochi fortunati), dal suo scrutinio e dalla possibilità di citazione.

A parte i rischi di eccessiva forumizzazione della ricerca, come ben sottolinea Keplero, potrebbe sembrare che gli autori rischino di ‘perdere’ le loro idee innovative dandole in pasto al pubblico, nel caso in cui le loro proposte non vengano immediatamente supportate o finanziate. Nella realtà tuttavia, essi sono maggiormente protetti da plagi (anche occulti) o dall’ostruzionismo degli antagonisti e detrattori, rendendo invece possibile l’utilizzo di eventuali citazioni per rivendicare la paternità, la precedenza e il riconoscimento delle loro idee. Contemporaneamente, la comunità scientifica e la società in generale, trarrebbero un enorme vantaggio grazie alla rapida diffusione delle nuove idee.

Nel complesso, le pubblicazioni in open access e le revisioni paritarie interattive possono migliorare enormemente la cultura scientifica pur  continuando a garantirne la qualità. Questo è un modello che potrebbe estendersi anche in luogo di una scala più ampia, sconfinando  perfino nei sistemi decisionali di strutture e processi di comunicazione e di decisione nella società e nella politica, in perfetta linea con i principi di razionalismo critico. Probabilmente un’utopia irrealizzabile in concreto.

Attualmente il sistema di open access peer review è sempre più diffuso,  ad oggi si contano 5926 riviste specializzate nella directory che raccoglie i journal open access, di cui “solo” 2486 indicizzati per la ricerca,  per un totale complessivo di quasi 500.000 articoli! Nello specifico, esistono 9 journal di chimica analitica, 13 di ingegneria chimica, 4 di chimica inorganica, 11 di chimica organica e ben 91 di chimica generale! Alcuni di questi sono riportati nel mio folto elenco di fonti e link, sempre in costante aggiornamento.

Da qualche tempo, la citazione, la diffusione e la discussione delle pubblicazioni ufficiali peer reviewed è approdata anche su lidi non proprio ortodossi, come i blog, i quali però non vanno fraintesi quand’anche esternino aspre critiche all’operato peer review, ma dovrebbero essere giustamente collocati nell’ambito di una diffusione critica delle nuove ricerche oltre a rappresentare uno stimolo per un dibattito aperto e veramente paritario, anziché risultare come un’impertinente ingerenza verso le ricerche ben sponsorizzate, e qualcuno ha sicuramente compreso a cosa mi riferisco.

In parallelo, da qualche anno, è nato un importante aggregatore specializzato che ha acquisito una consolidata reputazione, il quale aggrega i post dei blogger contenenti analisi e discussioni sulla ricerca peer reviewed,  e da adesso supporta finalmente anche la lingua italiana, dopo il tedesco, lo spagnolo, il portoghese, il cinese, il polacco e naturalmente l’inglese. ResearchBlogging, questo è il sito che raccoglie da qualche giorno anche articoli in italiano, a cui per ora aderiscono 12 blog tra i migliori e più attivi della blogosfera scientifica italiana, grazie all’impegno del succitato Peppe Liperti, che riveste il ruolo di editor, insieme a Moreno Colaiacovo e Amedeo Balbi. Approfitto per informarvi che questa è la pagina per registrarsi, qui trovate tutti i feed RSS e @researchblogsIT è il riferimento su Twitter.

Un’opportunità unica e imperdibile e da cogliere al volo, in pieno spirito open source e open access, che vuole promuovere, come ampiamente illustrato, la diffusione della cultura scientifica senza necessariamente dissacrarla o mistificarla, ma collocandola opportunamente nel ruolo che più le si addice: al servizio indiscriminato dell’uomo.

Poschl, U. (2010). Interactive open access publishing and public peer review: The effectiveness of transparency and self-regulation in scientific quality assurance IFLA Journal, 36 (1), 40-46 DOI: 10.1177/0340035209359573