Una revisione paritaria in pubblico dominio?

Peer Review Monster di Gideon Burton, su Flickr

Nell’ambito della comunicazione della ricerca scientifica, il peer review, tradotto in italiano con revisione dei pari, paritaria o paritetica, è un processo di selezione e prima valutazione di un documento che espone i risultati di un ricercatore. Questo processo, chiamato anche refereeing (arbitrato o meglio revisione) viene generalmente supportato dai referee o revisori, cioè coloro che giudicano l’idoneità del lavoro presentato, concedendone discrezionalmente la pubblicazione sulle riviste specializzate. Sono in molti a chiedersi quanto è affidabile questo sistema, ma soprattutto cosa si può fare per migliorarlo?

Naturalmente le cose sono molto più complicate di quanto sembrino ad uno sguardo distratto, e i processi di peer review possono essere single blind (dove gli autori non conoscono i revisori), double blind (i revisori non conoscono gli autori e viceversa) o addirittura triple blind (editori, revisori e autori non si conoscono tra loro). Anche i criteri di pubblicazione sono molteplici, ad esempio Science e Nature esigono standard estremamente rigorosi per la pubblicazione, e spesso respingono anche documenti contenenti lavori di buon livello se questi non sono dei veri passi avanti nel loro campo. Questi approcci differenti traspaiono dalle percentuali di ciò che viene pubblicato: Nature pubblica circa il 5 per cento dei lavori che riceve, mentre Astrophysical Journal è al 70%

ResearchBlogging.org

Il criticismo generato dai processi di peer review è inevitabile, anche se di recente alcuni aspetti sono stati migliorati notevolmente. Infatti una delle prime critiche mosse, denunciava l’inesorabile lentezza del sistema, quando occorrevano mesi o addirittura anni per l’approvazione di un paper, prima della pubblicazione effettiva. In pratica, gran parte delle notizie su nuovi risultati, in particolare quelle inerenti astronomia ed economia, non avviene più attraverso giornali peer-reviewed, piuttosto si diffondono con i cosiddetti preprints, prepubblicazioni presentate su server specializzati come il noto arXiv.org.

Questo non dovrebbe essere considerato come un trucco per aggirare il sistema tradizionale, bensì come uno stimolo per incentivare una più solerte  risoluzione dello stesso, in quanto gli stessi lavori sono spesso sottoposti anche alle riviste principali, e in molti casi hanno, al momento della presentazione elettronica, già affrontato il processo di revisione paritaria, decretandone la possibilità di essere accettate per la pubblicazione.

Dato che passare indenni dal peer review, sottintende una sorta di certificazione di qualità all’interno della comunità scientifica, sorgono sempre più spesso forti dubbi circa la reale validità scientifica di alcuni lavori presentati e pubblicati apparentemente con poca prudenza. Drummond Rennie, vice direttore del Journal of American Medical Association e organizzatore del Congresso Internazionale sul Peer Review e pubblicazioni biomediche, osserva:

Non sembra esserci nessuno studio troppo frammentato, nessuna ipotesi troppo banale, nessuna letteratura troppo prevenuta o troppo egoista, nessun disegno troppo deformato, nessuna metodologia troppo pasticciata, nessuna presentazione dei risultati troppo imprecisa, troppo oscura o anche contraddittoria, nessuna analisi troppo autoreferenziale, nessun argomento troppo circolare, nessuna conclusione è troppo frivola o troppo ingiustificata, e nessuna grammatica o sintassi troppo offensiva, che impedisca ad un paper di ottenere il “visto si stampi”!

Anche Richard Horton, direttore della rivista medica britannica The Lancet, versa benzina sul fuoco:

L’errore, ovviamente, è quello di aver pensato che il peer review è stato qualcosa di più che un rozzo mezzo per scoprire l’accettabilità – non la validità – di una nuova scoperta. Editori e scienziati insistono sull’importanza fondamentale della revisione paritaria. Noi presentiamo il peer review al pubblico come un processo quasi sacro che aiuta a rendere la scienza il nostro più obiettivo custode della verità. Sappiamo però che il sistema di peer review è parziale, ingiusto, inspiegabile, incompleto, facilmente rimediabile, spesso offensivo, solitamente ignorante, di tanto in tanto sciocco, e frequentemente fallace.

La discrezionalità dei revisori non è un fattore eliminabile, e si fonda esclusivamente sull’integrità etica e morale della comunità scientifica in cui risiedono. Questo tuttavia non garantisce che non si verifichino discriminazioni e sopravvalutazioni, spesso fondate su differenze geografiche, di etnia o di sesso, quando non addirittura regolate da veri e propri conflitti di interesse. Un problema che mina alla radice l’attendibilità stessa del sistema di revisione, come ben sottolineato da MyGenomics in questo suo articolo brillante, seppure anche molto critico.

Abusi di questo tipo sono numerosi e rilevanti, al punto da indurre la formazione di commissioni etiche di controllo come il COPE (Commitee on Publication Ethics) che vigilano sui casi di cattiva condotta e di plagio, altro grave problema che affligge l’originalità e la genuinità delle pubblicazioni.

Un sistema tanto precario quanto altisonante quindi, che inoltre deve fare i conti con gli ingenti costi: i revisori non vengano pagati, ma è la selezione il momento che incide di più sul costo della pubblicazione. Qui vanno inclusi anche gli stipendi dei redattori e degli assistenti di redazione, il costo dei software per l’archiviazione e la gestione delle revisioni e degli strumenti di comunicazione, un prezzo che si riflette inevitabilmente sulla diffusione dei risultati delle ricerche. Infatti per accedere alle pubblicazioni peer reviewed è necessario sottoscrivere costosi abbonamenti, oppure disporre di accessi privilegiati o dedicati come quelli di redazioni, biblioteche e sedi universitarie, impedendo così una vera e propria trasparenza e ostacolando  la diffusione della cultura scientifica con un dibattito edificante e interamente democratico.

E in Italia? La situazione non è delle più rosee, Da qualche anno l’Associazione Luca Coscioni si batte per l’introduzione del criterio di peer review per l’assegnazione dei fondi per le università pubbliche italiane, anche attraverso un appello lanciato verso la fine del 2007 dagli scienziati Gilberto Corbellini e Piergiorgio Strata. Nel frattempo è operante un sistema di finanziamento a progetto, seppur limitato nelle forme, nelle istituzioni, nei livelli di finanziamento, e, a sentire un po’ tutti, nella qualità intrinseca dei processi di valutazione. Soffre insomma delle medesime malattie di tutto il sistema Università-ricerca come ci spiega esaustivamente Anvur Cronaca, Il blog sulla valutazione della qualità dell’istruzione superiore e della ricerca.

Il logo open access, emblema di PLOS. Imagecredit: Wikimedia Commons

Tuttavia esiste una promettente alternativa, nonostante sia poco valorizzata e conosciuta,  chiamata open access peer review, che si propone di fornire un sistema di revisione pubblico,  con la massima trasparenza sugli autori e revisori esprimendo la libera disponibilità online di contenuti digitali. Nel 2001, ben 34.000 accademici sparsi per il mondo firmarono una lettera aperta per gli editori di pubblicazioni scientifiche, richiedendo l’istituzione di una libreria pubblica che fornisca un accesso completo ai suoi contenuti, alle ricerche pubblicate ed ai documenti accademici che trattano di medicina e scienze della vita.

Questo ha portato all’istituzione della Public Library of Science, spesso abbreviata con PLOS, un’organizzazione no profit formata da scienziati e medici impegnati a rendere la letteratura scientifica una risorsa disponibile liberamente. Un punto di svolta cruciale nel percorso verso l’open access, come viene sapientemente analizzato da Peppe Liberti sul suo sempre ottimo Rangle.

L’efficacia della trasparenza e l’autoregolamentazione nell’assicurazione della qualità nelle pubblicazioni scientifiche in regime di open access e open peer review come metodo interattivo e liberamente accessibile, è stata esaminata recentemente da Ulrich Pöschl, che dirige un gruppo di ricerca presso l’Istituto Max Planck per la Chimica, Dipartimento di biogeochimica, a Magonza, in Germania.

Ulrich è anche executive editor di Atmospheric Chemistry and Physics (ACP), un journal specializzato in open access peer review, fondato nel 2001 dall’European Geosciences Union, che pubblica principalmente studi che trattano le dinamiche atmosferiche dal punto di vista dei processi fisico-chimici.

Lo studio di Ulrich Pöschl evidenzia come il sistema tradizionale di pubblicazione scientifica non risponda in modo esauriente alle esigenze moderne, e a parte casi eclatanti di evidente frode scientifica, la società intera sta affrontando l’inflazione di superficialità e improvvisazione nei lavori presentati, sovente bloccati dietro le barriere di sottoscrizione, che diluiscono anziché concentrare la conoscenza scientifica, portando ad un imperdonabile spreco di risorse e ostacolando così il progresso scientifico e sociale.

Contrariamente a quanto suggeriscono i luoghi comuni, l’open access non è una minaccia, bensì una urgente opportunità per il miglioramento della qualità nella divulgazione scientifica. Vediamo perché:

  1. L’open access è pienamente compatibile con i tradizionali peer review, inoltre consente forme interattive e trasparenti di riesame e libera discussione aperta a tutti i membri interessati della comunità scientifica, ma anche al pubblico  (public/collaborative/community peer review).
  2. L’open access fornisce ai revisori informazioni addizionali da esaminare, come ad esempio l’accesso illimitato alle pubblicazioni scientifiche rilevanti attraverso le diverse discipline e comunità.
  3. L’open access semplifica lo sviluppo e l’implementazione di nuovi sistemi per la valutazione dell’impatto e della effettiva qualità delle pubblicazioni scientifiche.

ACP e altri journal specializzati aventi la stessa filosofia aperta, hanno chiaramente dimostrato che l’accesso libero interattivo nel peer review con un processo di pubblicazione in due fasi, avvalorato da una discussione pubblica, risolve efficacemente il dilemma tra la velocità di diffusione delle informazioni scientifiche e la loro attendibilità. La dimostrazione passa attraverso l’osservazione che l’accesso interattivo aperto di questo tipo di peer review favorisce nella discussione scientifica, scoraggiando allo stesso tempo la presentazione di manoscritti che non raggiungono gli standard minimi, risparmiando le capacità di arbitraggio e migliorando la densità delle informazioni di qualità nell’elenco definitivo dei documenti.

Tecnicamente, l’interattività è facilmente ottenibile aggiungendo un semplice forum di discussione moderato, integrato nel dominio, un’operazione alla portata di qualunque testata esistente, ma spesso la questione si riduce ad un puro e semplice conservatorismo antiquato che ostracizza la libera diffusione della conoscenza.

Inoltre, il concetto di base delle  due fasi per la pubblicazione in open access, il peer review pubblico e la discussione interattiva, può essere facilmente adattato alle varie esigenze e alle competenze di comunità scientifiche diverse. Attraverso la scelta di mantenere o meno l’anonimato dei revisori, riducendo  o prolungando la fase discussione, arricchendola con commenti  post-peer-review, sistemi di valutazione per i lettori, rendendo cioè tutti i passaggi e le iterazioni del peer-review completamente trasparenti e favorendo la successione di ulteriori cicli di feedback che assicurano la qualità editoriale. Un sistema in cui tutte le parti implicate traggono profitto dalla documentazione resa pubblica (da cui deriva il termine “pubblicazione”, che non significa solo per gli occhi di pochi fortunati), dal suo scrutinio e dalla possibilità di citazione.

A parte i rischi di eccessiva forumizzazione della ricerca, come ben sottolinea Keplero, potrebbe sembrare che gli autori rischino di ‘perdere’ le loro idee innovative dandole in pasto al pubblico, nel caso in cui le loro proposte non vengano immediatamente supportate o finanziate. Nella realtà tuttavia, essi sono maggiormente protetti da plagi (anche occulti) o dall’ostruzionismo degli antagonisti e detrattori, rendendo invece possibile l’utilizzo di eventuali citazioni per rivendicare la paternità, la precedenza e il riconoscimento delle loro idee. Contemporaneamente, la comunità scientifica e la società in generale, trarrebbero un enorme vantaggio grazie alla rapida diffusione delle nuove idee.

Nel complesso, le pubblicazioni in open access e le revisioni paritarie interattive possono migliorare enormemente la cultura scientifica pur  continuando a garantirne la qualità. Questo è un modello che potrebbe estendersi anche in luogo di una scala più ampia, sconfinando  perfino nei sistemi decisionali di strutture e processi di comunicazione e di decisione nella società e nella politica, in perfetta linea con i principi di razionalismo critico. Probabilmente un’utopia irrealizzabile in concreto.
Attualmente il sistema di open access peer review è sempre più diffuso,  ad oggi si contano 5926 riviste specializzate nella directory che raccoglie i journal open access, di cui “solo” 2486 indicizzati per la ricerca,  per un totale complessivo di quasi 500.000 articoli! Nello specifico, esistono 9 journal di chimica analitica, 13 di ingegneria chimica, 4 di chimica inorganica, 11 di chimica organica e ben 91 di chimica generale! Alcuni di questi sono riportati nel mio folto elenco di fonti e link, sempre in costante aggiornamento.

Da qualche tempo, la citazione, la diffusione e la discussione delle pubblicazioni ufficiali peer reviewed è approdata anche su lidi non proprio ortodossi, come i blog, i quali però non vanno fraintesi quand’anche esternino aspre critiche all’operato peer review, ma dovrebbero essere giustamente collocati nell’ambito di una diffusione critica delle nuove ricerche oltre a rappresentare uno stimolo per un dibattito aperto e veramente paritario, anziché risultare come un’impertinente ingerenza verso le ricerche ben sponsorizzate, e qualcuno ha sicuramente compreso a cosa mi riferisco.

In parallelo, da qualche anno, è nato un importante aggregatore specializzato che ha acquisito una consolidata reputazione, il quale aggrega i post dei blogger contenenti analisi e discussioni sulla ricerca peer reviewed,  e da adesso supporta finalmente anche la lingua italiana, dopo il tedesco, lo spagnolo, il portoghese, il cinese, il polacco e naturalmente l’inglese. ResearchBlogging, questo è il sito che raccoglie da qualche giorno anche articoli in italiano, a cui per ora aderiscono 12 blog tra i migliori e più attivi della blogosfera scientifica italiana, grazie all’impegno del succitato Peppe Liperti, che riveste il ruolo di editor, insieme a Moreno Colaiacovo e Amedeo Balbi. Approfitto per informarvi che questa è la pagina per registrarsi, qui trovate tutti i feed RSS e @researchblogsIT è il riferimento su Twitter.

Un’opportunità unica e imperdibile e da cogliere al volo, in pieno spirito open source e open access, che vuole promuovere, come ampiamente illustrato, la diffusione della cultura scientifica senza necessariamente dissacrarla o mistificarla, ma collocandola opportunamente nel ruolo che più le si addice: al servizio indiscriminato dell’uomo.

Poschl, U. (2010). Interactive open access publishing and public peer review: The effectiveness of transparency and self-regulation in scientific quality assurance IFLA Journal, 36 (1), 40-46 DOI: 10.1177/0340035209359573

12 thoughts on “Una revisione paritaria in pubblico dominio?

  1. La peer review trova normalmente nei valutatori dei conservatori di idee e concetti storicamente affermati e di conseguenza certamente ostacola il progresso scientifico e sociale.Solo la pubblicazione in rete e’ libera e puo’ pertanto acquisire valore di innovazione sociale del sapere. Il tema sara trattato in occasione del workshop su “Strategic Intelligence”, Firenze fine Marzo 2011 (giorno da definire) vedi in http://www.edscuola.it/lre.html

  2. Ciao, e buone feste!

    Prima di tutto ti segnalo quello che credo sia un piccolo errore: nel single-blind, sono gli autori a non conoscere i revisori, e non viceversa.

    Secondo, vorrei fare una considerazione pratica: alcuni dei giornali open-access, specialmente nel campo della Computer Science, hanno comunque dei costi che vengono scaricati interamente sugli autori. Ad esempio, Hindawi, una casa editrice specializzata in Open Access, richiede qualche centinaia di dollari per ogni pagina in più oltre la sesta. Un paper da 10 pagine (pochine a dirla tutta) può costarti anche 1000 dollari. Questo metodo, secondo me, è suscettibile di molte critiche: non è del tutto escluso che la tendenza della casa editrice sia di pubblicare il più possibile per fare più soldi. Inoltre, non è molto carino che l’autore debba sostenere interamente i costi del processo, dato che in molti paesi, come ad esempio l’Italia in seguito alla meravigliosa riforma Gelmini, o anche la Spagna da qualche anno a questa parte, più pubblicazioni potrebbe significare uno stipendio più alto.

    Il giro di denaro (pubblico) intorno al meccanismo di pubblicazioni scientifiche è inoltre molto grande, come attestato dalle revenue di case editrici come la Elsevier, o dal fatto che associazioni che dovrebbero essere no-profit, come IEEE, continuino ad aumentare il numero di journal e di conferenze con referee nell’ottica di aumentare il numero di occasioni per pubblicare. Secondo me, per rompere questo circolo vizioso tra soldi pubblici e mercato privato della conoscenza, servirà ben più che un semplice cambio del meccanismo di revisione dei lavori…

    Grazie comunque per tener viva la discussione!

    • Grazie per il tuo interessante commento e per la segnalazione dell’errore, provvedo subito alla correzione.
      Peraltro sono assolutamente d’accordo con te in merito alle difficoltà di liberarsi da questo tipo di (squallido) commercio speculativo delle pubblicazioni scientifiche, e ammetto che il sistema del peer review in open access sia tutt’altro che perfetto. Tuttavia credo che ci siano più margini per migliorare questa piuttosto che quella tradizionale, di fatto costruita su presupposti oramai divenuti anacronistici.
      Per il momento ti lascio con un caro augurio di buone e gioiose feste!

  3. Vorrei precisare che, in genere, nel processo di ‘peer review’, sono gli autori che non conoscono i revisori. In relazione al processo ‘double blind’, mi permetto di pubblicizzare un mio ‘antico’ suggerimento. Se ne può leggere qui: Referee bias… e non solo. Infine, pur nella immancabile lentezza del sistema tradizionale, mi pare di poter affermare che la comunità scientifica nel suo complesso sia sempre attenta nel valutare la validità di quanto si pubblica, specie quando i risultati riportati siano particolarmente eclatanti. Alcune riviste hanno addirittura una sorta di forum che accoglie i commenti ‘peer reviewed’ agli articoli pubblicati. Un tema complementare, ma altrettanto centrale resta, a mio avviso, la divulgazione scientifica, che viene in genere fatta da giornalisti presuntuosi, approssimativi e privi di senso critico. Vorrei dire incapaci.

    • Quanto dici è ineccepibile! “Carneade! Chi era costui?” e la sua sindrome sono oltremodo emblematici ed appropriati, complimenti.
      Forse, e sottolineo forse dato che sono tutt’altro che un addetto ai lavori, la soluzione si potrebbe trovare in un’oculata ibridizzazione dei vari sistemi di pubblicazione, lasciando completa facoltà di scelta per ciascuna opzione, continuando però a sponsorizzare e promuovere le modalità più open access oriented. Il mercato in questo modo potrebbe poi ripartirsi di conseguenza. Sul giornalismo diversamente creativo invece, stenderei un velo impietoso!
      Grazie per il tuo commento e ti porgo i miei più stimati auguri!

  4. ‘Forse, e sottolineo forse dato che sono tutt’altro che un addetto ai lavori, la soluzione si potrebbe trovare in un’oculata ibridizzazione dei vari sistemi di pubblicazione, lasciando completa facoltà di scelta per ciascuna opzione, continuando però a sponsorizzare e promuovere le modalità più open access oriented.’

    Che mi risulti, talune case editrici perseguono (ad esempio, Springer) la politica di consentire agli autori di scegliere tra la pubblicazione ‘open access’, previo pagamento di ‘page charges’, e la pubblicazione tradizionale, in cui l’accesso è consentito ai soli abbonati. La ‘peer review’ è comunque prioritaria.

  5. Complimenti Gifh, un post epico! Come hai fatto a trovare il tempo di scrivere tutta questa roba in questi giorni di festa?🙂 Comunque sono d’accordo sul fatto che l’open access possa avvantaggiare la ricerca e la diffusione della scienza in tanti modi, l’unico problema secondo me è quello sottolineato da Giuseppe Lipari..
    Nelle riviste con abbonamento paga il lettore, in quelle open access paga l’autore. Per pubblicare su BMC Genomics ho dovuto spendere 1345 euro (cioè li ha spesi la mia istituzione di ricerca, ma comunque..)! Non voglio mettere in dubbio l’onestà delle riviste, ma è chiaro che un sistema del genere non offre molte sicurezze..
    Occorre studiare un buon sistema di revisione che tenga presente tutte le varie considerazioni.

  6. Pingback: Classifiche blog: aristocrazia o democrazia? « my GenomiX

  7. Grazie Paolo, il link è molto interessante! Ricambio calorosamente i tuoi graditi auguri, sperando che il nuovo anno porti qualche rivoluzionaria scoperta scientifica utile per il benessere del pianeta.😉

  8. Carissimo Paolo, ricambio affettuosamente i tuoi splendidi auguri per un 2011 sereno e prosperoso. Che il nuovo anno possa soddisfare i tuoi desideri.

    Un abbraccio.
    annarita

  9. Se non ricordo male fu Churchill a dire “La democrazia è la peggior forma di governo che io conosca, eccezion fatta per tutte le altre provate finora.” Molto interessante il tuo post, per le considerazioni che apre sulla connessione tra processo scientifico e processo democratico. Sono sicuro che alcuni scienziati troverebbero giovamento dal riflettere sopra quella connessione (perdona l’autocitazione ma è solo per mettere carne al fuoco). Buon anno.

Cosa ne pensi?

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...