Newsgroup: it.scienza.fisica
Titolo: Professione referee (lungo ahime`)

Ciao a tutti!
Dei referee si e`parlato diverse volte nel ng vorrei qui discutere di
alcune idee a riguardo.
Solitamente il referee e`un professore interpellato da una rivista per
dare un giudizio su un articolo vicino al suo ramo di competenza e tutto
questo in maniera disinteressata.
Il problema che pongo e`quanto e`serio un arbitrato(al posto
dell`italianismo referaggio credo sia meglio) di solito?
Io non ho mai fatto il referee ne`ho mai scritto articoli ma sono stato
nell`ambiente della ricerca e in tutta sincerita`conosco piu`di un caso
sospetto di articoli con risultati non seri passati su Nature e presi
come Verbo.
Non sto`a discutere poi il grave danno alla scienza e agli scienziati
(specialmente ai dottorandi) di questi abbagli.
Lo scandalo piu`famoso in tal senso e`quello di G.Schön e i suoi
nanotubi, con piu`di 10 pubblicazioni su Nature false.
Ma perche`questo? Il referee che ha fatto?
Ci sono due tipi di spiegazioni ad un cattivo arbitrato:
1) Il referee da`un occhiata superficiale all`articolo poiche`non ha
tempo ne`voglia di dedicare troppa fatica, questa e`la maggior ragione
per eventuali cattivi articoli teorici.
2)Il referee non ha mezzi per poter verificare i dati riportati.
Questo accade quasi sempre negli esperimenti e in teoria quando c`e`di
mezzo un programma di 8000 righe o piu`.
Di solito non si chiede di ripetere l`esperimento sotto un controllo.
Qui e`un punto grave secondo me poiche`viene a cadere uno dei principi
su cui Galileo ha fondato la fisica moderna.
Bene, detto questo ci si puo`fare qualcosa?
Per il punto 1) si dovrebbe indurre al referee una motivazione per un
buon controllo.
In mia opinione cosi`com`e`strutturato ora il sistema, affidato alla
buona volonta`, la motivazione manchera`sempre.
Una idea sarebbe quella di creare la professione di referee. Persone che
vengano pagate per fare quello e basta. A questo punto viene la domanda
chi controlla il controllore? Il controllo potrebbe venire facendo un
lavoro di equipe e dando la prospettiva di una carriera.
Per il punto 2) bisogna fare un distinguo tra risultati controllabili e
non controllabili.
Sono controllabili ad es. un programma per il calcolo delle equazioni di
Navier Stokes o un esperimento sui nanotubi che di solito e`costruito in
una stanza e una volta costruito il sistema farlo funzionare richiede
solo pazienza.
Sono assolutamente non riproducibili i ventennali costosissimi
esperimenti del CERN o le osservazioni astronomiche.
In tal sesno sarebbe a mio parere utile porre i due tipi di risultati su
due riviste distinte e ogni qualvolta sia ragionevole (un risultato
particolarmente importante di un esperimento semplicemente
riproducibile) imporre di ripetere l`esperimento sotto un controllo.
In tal senso si potrebbe almeno capire cosa e`sicuro e cosa no.
Volevo porre queste mie idee al vostro giudizio e capire se vi sono
altre vie possibili possibilmente piu`semplici o se qualcosa mi
e`sconosciuto del sistema.
the Volk
-- 
Posted via Mailgate.ORG Server - 
http://www.Mailgate.ORG

Ciao, il problema che sollevi è serio,
mi pare però che tu stia dando un pò troppa importanza  specifica
ai referee.
Il referee non deve decidere se quello che è contenuto in un articolo
è oro colato o è da premio Nobel, e nemmeno deve dire se è tutto
corretto, deve semplicemente dare un parere _entro certi limiti_
*stabiliti dalla rivista*,  sulla sensatezza e plausibilità del
contenuto
dell'articolo, cercando di capire se non ci siano cazzate madornali
che non possono essere pubblicate. (Almeno questo accade
per le riviste di fisica teorica/matematica di cui io sono referee.
Non saprei cosa è richiesto ai referee delle riviste sperimentali.)
Poi è tutta la comunità scientifica che deve giudicare criticamente
il lavoro pubblicato.  E' ovvio che un lettore non espertissimo
 (un dottorando per es. come dici tu) può essere danneggiato
dal contenuto di un articolo errato, però non puoi dare tutta
la responsabilità di ciò al referee, credo che la maggiore
responsabilità spetti all'autore dell'articolo!
E' chiaro che si possono prendere degli abbagli  nel lavoro del
referee e possono entrare in gioco altri fattori non scientifici
per decidere sulla sorte dell'articolo. Non è nemmeno detto che
tutti i referee facciano davvero per ben il loro dovere.
Infine l'ultima parola spetta all'editore non al referee e in diverse
riviste sono consultati più di un referee per articolo.
A me è capitato di "litigare" con l'editore perché secondo
me un articolo non era pubblicabile mentre per l'editore lo era.
E poi, ovviamente ha deciso l'editore di pubblicare.
Comunque io non conosco altri sistemi che possano filtrare
i lavori sottoposti ad una rivista. Non posso dire che il peer
reviewing sia il massimo, ma non conosco altri sistemi.
Qualche mese fa sono stato invitato ad un congresso sull'argomento
(ho rifiutato per vari motivi), ma nell'invito c'erano riportati alcuni
dati
molto interessanti. Pare il il peer reviewing funzioni abbastanza male
e
malissimo nel campo delle pubblicazioni mediche. Uno dei fini del
congresso era di studiare altre forme di filtro sugli articoli da
pubblicare
differenti dal sistema dei referees anonimi...
Ciao, Valter

 differenti dal sistema dei referees anonimi...
Interessante, e alla fine cosa hanno suggerito?
Ciao
Mario Leigheb

Mario Leigheb
Non saprei, mica ci sono andato al convegno!!!. Se riesco a ritrovare
la mail di invito
vado a vedere sulla pagina web del convegno, anzi ne posto il link.
Ciao, Valter

 Ciao, Valter
Ciao 


 reviewing sia il massimo, ma non conosco altri sistemi.
...
Questo è  un leit motiv da sempre. Però io credo che il sistema stia 
facendo acqua da vari punti di vista e non solo in ambito medico.
Uno dei problemi secondo me è  che  si tratta di un sistema che "scala 
male"  con l'  aumento vertiginoso della produzione (innescata a sua 
volta dalla spinta sempre crescente a pubblicare.
Credo anche che alcuni corettivi almeno in via sperimentale si 
potrebbero tentare. Come misura parziale, mi sembra che  si potrebbe 
tornare all'  antico:  al referee pubblico con nome e cognome. Come c'e' 
ancora per alcune riviste:  il lavoro viene accettato "sotto la 
responsabilità"  di uno scienziato noto,  di un membro di una società 
scientifica,  che lo comunica per la pubblicazione...
Non risolverà  tutti i problemi ma secondo me ne attenuerebbe due: le 
valutazioni  troppo facili e la deresponsabilizzazione sull' 
accettazione. Confesso che un paio di volte,  pressato dalle cose da 
fare, non ho svolto il lavoro di referee con il 100% di scrupolo. 
Aiutato dal fatto che comunque il nome del referee sarebbe rimasto 
anonimo,  ho confidato nella maggior cura dell'  altro referee.
Se il lavoro fosse stato pubblicato con l'  indicazione che era stato 
controllato anche da me avrei agito diversamente.
Quelche vantaggio ci sarebbe anche per i lavori praticamente nulli che 
vengono accettati solo perchè il nome di uno degli autori è troppo noto 
per dire di no.
Questo forse potrebbe limitare anche quelli che io chiamo i pareri 
"ideologici"  cioè  quelle  affermazioni apodittiche del tipo "questo 
lavoro è  interessantissimo ma non va bene su questa rivista",  senza 
uno straccio di motivazione *razionale*.
Mi è  anche chiaro che il metodo dei referee con nome  solleverebbe 
notevoli problemi di rapporti interpersonali e  che comunque si tratta d 
i un argomento delicato su cui nessuno ha la ricetta vincente. Però  mi 
sembra che se ne parli più  di quanto non si tentino strade alternative.
Una strada che è  stata suggerita per l'  editoria on-line ma che 
potrebbe forse essere praticata anche su quella tradizionale potrebbe 
essre quella di creare, dopo la pubblicazione di un lavoro,  una rete di 
  riferimenti critici che permettano di aggiungere al lavoro anche la 
storia della sua "fortuna"  nella comunità  di riferimento.
Mi è  però chiaro che una proposta del genere non troverebbe sostenitori 
entusiasti in un contesto in cui i costi delle riviste salgono alle 
stelle (per motvi che in parte mi  continuano a  sfuggire).
Giorgio

Ma perche`questo? Il referee che ha fatto?
Secondo me la questione è che il referee deve valutare se l'articolo
che invii vale la rivista sulla quale si chiede di pubblicarlo. Una
volta pubblicato sarà la comunità scientifica a confutarlo se si
rivela falso. Oppure finirà nel dimenticatoio se si tratta di un
articolo di scarso valore.
Ho avuto anche io i miei scontri con referee, la prima impressione
deludente è che quando mi hanno rimbalzato articoi le loro obiezioni
non fossero nel merito, cosa che avrei accettato, ma nel non avere
capito nulla dell'articolo.
Questa può essere anche una colpa di chi scrive, ovviamente, ma mi
pare che a volte la lettura sia un po' superficiale. Chi scrive
dovrebbe sforzarsi di essere chiaro e lineare per non disincentivare
la ettura e favorire la bocciatura, tuttavia anche chi legge dovrebbe
un minimo sforzarsi di andare in profondità delle cose.
-- 
Rob
"Qualcuno doveva aver calunniato Josef K. perchè una mattina, senza che avesse fatto nulla, venne arrestato."

Non saprei cosa è richiesto ai referee delle riviste sperimentali.)
My two cents: un referee di un lavoro sperimentale dovrebbe
controllare che i risultati sperimentali riportati, attraverso una
discussione coerente, giustifichino le conclusioni tratte. Per la mia
esperienza, nel 99.999% dei casi il referee non può sognarsi nemmeno,
per motivi logistici, di riprodurre gli esperimenti descritti (penso a
misure con luce di sincrotrone).
Poi, se uno si vuole inventare i dati di sana pianta, e li spedisce a
Nature, ovviamente non c'è referaggio che tenga.
Sul fidarsi o meno, credo che se si aspettasse di avere una
riproducibilità condivisa per ogni lavoro che viene inviato a una
rivista, la conoscenza scientifica andrebbe un pelino a rilento.
Alla fine, con l'esperienza, ognuno si genera la propria libreria di
fattori extra-scientifici (come l'autorità e il prestigio, sia degli
autori che della rivista, che alla fine contano molto di più) su cui
basarsi. Per dire, io diffido sempre della microscopia elettronica e
non credo agli strombazzamenti Nature-schi, ma tendo a credere ad Acta
Crystallographica, e così via.
Ciao
-- 
Francesco Giannici
www.mmax.org/iamr
Inviato da X-Privat.Org - Registrazione gratuita 
http://www.x-privat.org/join.php

 questo in maniera disinteressata.
Un piccolo commento "eretico" da utente (alias lettore) di libri e 
articoli scientifici su questo problema dei referee, partendo da due fatti.
Fatto n.1 : molti anni fa, essendomi messo in testa di calcolare le 
effemeridi dei pianeti con il PC, mi capitò di comprare un libro di una 
nota casa editrice autore un ingegnere direttore del circolo astrofili 
di una grande città.
Provai a mettere in pratica il metodo per il calcolo delle effemeridi 
partendo da un esempio del libro relativo a Venere. Una volta trasferito 
su programma Pascal l'algoritmo dava lo stesso risultato del libro per i 
dati dell'esempio, ma per ore e giorni diversi, in base al confronto con 
quelli di un almanacco astronomico, i risultati risultavano 
grossolanamente errati. Se poi si usava lo stesso programma per Marte i 
risultati erano ancor piu' sballati!
Alla fine dopo aver controllato tutto non restava che un'ipotesi: era il 
libro a essere in errore; mi misi a controllare con calma e quel che 
scoprii dava i brividi; nel procedimento usato per ricavare il metodo 
c'erano almeno tre o quattro errori madornali, e tra questi perfino una 
confusione tra gradi e radianti!
Come era stato possibile che il nostro ingegnere fosse incorso in simili 
svarioni e che questi fossero sfuggiti ai referee che certo la casa 
editrice aveva in forze?
Fatto n.2 : alcuni mesi fa la rivista Nature pubblica uno studio sulla 
Wikipedia e sulla Britannica; risulta che l'attendibilità scientifica 
della Wikipedia che non ha alcun sistema di referee, è grosso modo 
equivalente a quella della Britannica che di referee ne ha certo a legioni.
Conclusione quasi inevitabile: i referee servono a poco o a nulla!
In effetti la Wikipedia ha un sistema di controllo banalissimo; chiunque 
puo' aggiornarla e chiunque rilevi errori li puo' correggere; e alla 
fine questo sistema di controllo non funziona peggio di quello dei 
referee. Al di la' di qualche episodio di sciacallaggio fin troppo 
pubblicizzato, la Wikipedia (quella in inglese soprattutto) ha un 
discreto livello di affidabilità.
E questo mi porta a un'altra questione che ho gia' manifestato al 
moderatore: ha senso che una lista come questa di Fisica sia moderata?
Sono iscritto a molti NG e mailing list; la maggior parte non sono 
moderate e tutto sommato, fatto salvo qualche OT e qualche eccesso 
verbale, le liste non moderate mi sembrano molto piu' vive e 
interessanti di quelle moderate (per inciso: anni fa ho anche fatto da 
moderatore-censore di una lista di insegnanti di matematica e anche 
quella esperienza mi rinforza in questa convinzione).
	Paolo Bonavoglia
	V E N E Z I A

Scusa, ma su *DUE* casi che citi fai una statistica e tiri conclusioni
quasi definitive :-):
"Conclusione quasi inevitabile: i referee servono a poco o a nulla!"
Come ho già detto non è che il sistema dei referees funzioni al
meglio,
ma, secondo me meglio quello che niente.  Cosa dovrebbero fare le
riviste
pubblicare qualsiasi cosa gli arriva?  (Poi parlavamo di riviste non di
libri)
Esistono degli archivi eletronici di preprints (articoli non
pubblicati) :
http://xxx.lanl.gov/
Fino a qualche anno fa chiunque, da tutto il mondo, poteva spedire
qualsiasi cosa su questi archivi senza controllo, poteva sembrare
un bene (e io lo credevo).
Poi il sistema si è rotto perché, con la diffusione esponenziale di
internet
arrivavano troppi articoli sgangherati che di scientifico non avevano
proprio
nulla... è interessante notare che il fenomeno si è evoluto
parallelamente
a quello dello spam...
(il caso più buffo era quello di un cinese, che continuava a
tempestare
me ed altri centinaia di utenti  degli archivi mandando una articolo
dove spiegava una cosa delirante  cha avrebbe dovuto rivoluzionare
la fisica. Chiedeva alla fine alcuni dollari per spedire la seconda
parte
dell'articolo, dove era contenuto il significato dell'universo o roba
simile.)
Oggi  per mandare un articolo su questi archivi, uno deve essere
"presentato" da qualcuno che sia nell'ambiente scientifico o che abbia
 già messo un preprint nell'archivio...La persona che garantisce per
un altro che vuole mettere un articolo nella banca dati  lo chiamano
"endorser", vedi:
http://lanl.arxiv.org/help/endorsement
Questo "endorser" non deve giudicare l'articolo come un referee, deve
solo stabilire, più meno, se non  è proprio una pazzia quello che
dice l'autore
del preprint.
A me è stato chiesto di fare l'endorser diverse di volte e ti assicuro
che
è stato un bene: il 70% delle volte erano preprint di autori che si
occupavano di ufologia, "energia cosmica" e roba simile.
Si tratta comunque di un filtro abbastanza debole, ma è significativo
che l'abbiano messo.
Tornando ai referee, secondo me è impossibile eliminarli, forse
si può migliorare la cosa. Non saprei come, in ogni caso è un
problema
e deve essere affrontato scientificamente per quanto possibile, non con
posizioni ideologiche tipo "rendiamo libera la pubblicazione di tutto a
tutti
i costi".
Purtroppo non sono più riuscito a trovare l'e-mail del convegno sul
peer reviewing al quale mi avevano invitato, per cui non sono in grado
di dire cosa ne sia uscito.
Ciao, Valter

 meraviglie. e a pubblicare.
Ma se non arriva da solo a vedere queste cose, che razza di dottorando
e'?
 
-- 
Elio Fabri

 tutti i costi".
Anche questa e' una forzatura di quello che ho scritto. Nessuna 
posizione "ideologica".
Fino a qualche tempo fa ero molto perplesso sul modello Wikipedia; mi 
pareva impossibile che un'enciclopedia dove tutti possono mettere le 
mani, potesse raggiungere livelli accettabili di affidabilità.
Ora ci ho ripensato e provocatoriamente propongo Wikipedia come modello; 
modello che non e' affatto quello del "nessun controllo" ma piuttosto 
quello del "nessun controllo preventivo" sostituito da un "controllo 
continuo, distribuito e aperto a tutti".
-- 
	Un cordiale saluto


 quella esperienza mi rinforza in questa convinzione).
Io da molti anni sono "owner" di una mailing list dedicata
all'insegnamento della fisica.
L'iscrizione e' libera, solo che i primi msg diun nuovo iscritto
debbono essere autorizzati da me.
Cio' si e' reso necessario (di recente) solo per prevenire lo spam,
mentre non ci sono stati mai problemi seri con gli iscritti.
 
-- 
Elio Fabri

questo sia alla lunga il controllo più efficiente!
Wikipedia può andare bene per le nozioni comuni e universalmente
diffuse. Ma non può andare bene in un processo dialettico di ricerca:
nella ricerca scientifica  quello che dice il signor A deve essere
chiaramente distinto e distiguibile  da quello che dice il signor B.
Il signor B non deve poter andare a "riscrivere" sopra il testo che
ha già scritto il signor A ( anche se pur segnando da qualche parte
le sue modifiche...).
Quello che spiù si avvicina a un Wikipedia per gli articoli di
ricerca,
è proprio il sistema degli archives elettronici che ho citatato.
Sono nati più di 10 anni fa, ricordo che quando sono nati molti
sostenevano
che avrebbero rimpiazzato le riviste ed il sistema dei referees...
invece ci sono ancora gli articoli e gli archives, entrambi molto
floridi.
Ci sono anche diverse riviste del tutto on-line... ovviamente con
referees
Ciao, Valter

 tornare all'  antico:  al referee pubblico con nome e cognome.
Per quel poco di esperienza che ho come referee, sono un po' scettico.
Data la mole di riviste e articoli pubblicati annualmente, mi immagino 
che se il referee fosse citato con nome e cognome, quando al ricercatore 
arriva la email della rivista che chiede la disponibilita' a svolgere il 
compito di referee /con nome e cognome pubblicato/, la quantita' di 
risposte positive crollerebbe.
Al che la rivista sarebbe costretta a offrire al potenziale referee un 
compenso (non e' proprio l'idea del referee professionista, ma siamo 
vicini). Al che sparirebbero le riviste senza costi di pubblicazione, e 
in quelle con costi alti (tipo Nuclear Fusion) i costi diverrebbero 
ancora piu' alti.
La contrazione successiva di riviste e articoli pubblicati non potrebbe 
allora aumentare le distorsioni nei referaggi dovute alle 
rivalita'/complicita' reciproche tra autori e referee?
Ciao
Mario Leigheb

 rivalita'/complicita' reciproche tra autori e referee?
Potrebbe, ma non credo. Secondo me la proposta reiterata da Giorgio Pastore
di tornare all'antico avrebbe molti piu' vantaggi che svantaggi. Io sono a
favore, e sono ragionevolmente convinto che il mio contributo come recensore
(che col tempo si fa sempre piu' pesante, perche' le riviste tendono ad
approfittarsi in maniera incrementale della disponibilita' data) non
diminuirebbe in quantita', e forse potrebbe migliorare in qualita'. E spero
che possa essere cosi' per molti.
Bye
Hyper

 di dire cosa ne sia uscito.
Era questo?
www.info-cybernetics.org/KCPR2006
Riporto la mail (privacy-editata) che ricevetti a suo tempo.
Bye
Hyper
================
Based on your participation in conferences, we would like to consult your
opinion and your possible contribution regarding the idea of collecting, in
a multiple-author book or symposium proceedings, reflections and knowledge
regarding Peer Reviewing and its relationships with Knowledge
Communication. It will only take you about 30 seconds to give us your
opinion and your potential support as a reviewer and/or paper contributor.
As you know, an increasing number of books and papers have been written
regarding the weaknesses of peer reviewing in journals, but very few have
been written regarding the weaknesses and strenghts of peer reviewing in
conferences, symposia, etc.; and regarding the possible solutions to the
weaknesses of peer reviewing in both: journals and
conferences/symposia/etc. Consequently, we would like to invite you to
share your ideas/research in this area by participating in KCPR 2006 to be
held in Orlando, FL on July 20-23, 2006. Please visit KCPR's web site for
further information: 
www.info-cybernetics.org/KCPR2006
Organizers of the invited sessions with the best performance will be
co-editors of the proceedings volume where their sessions' papers are to be
included and of the CD electronic proceedings. You can find information
about the suggested steps to organize an invited session in the Call for
Participation and in the conference web page.
If the deadlines are tight and you need more time, let me know about a
suitable time for you and I will inform you if it is feasible for us.
Best Regards,
Prof.Nagib Callaos
IIIS President

 
Sí ma io ho fatto il record: 5 reviewers nella stessa submission! :) 9 
mesi di lotte per poi riuscire a pubblicare... e poi alla fine c'e' un 
errore nell'articolo (ci sto lavorando) ma che é stato individuato solo 
da un ricercatre che ha letto l'articolo.
E qui appunto mi collego al post di Moretti. I referees devono decidere 
se l'articolo rispetta certi standard e che non abbia evidenti errori. 
Un referee deve di solito dare una risposta in 2/4 settimane e NON PUO' 
dedicare un mese di ricerca per ripetere esperimenti, riscrivere 
software e cosi' via, non é il suo lavoro.
E' la comunitá scientifica nel suo insieme che deve successivamente 
validare i risultati e scrivere articoli che confermino o confutino 
altri lavori.
Nel caso in cui sembri necessario una verifica, l'editor puo' 
richiedere, con il consenso degli autori, di ripetere gli esperimenti ad 
un altro gruppo... ma non pens siano casi frequenti...
Il problema del peer-review sono le sue degenerazioni, non il 
peer-review per se. La probabilitá che un reviewer o un editor decidino 
di far passare (o no) un articolo per questioni principalmente politiche 
non é trascurabile. Non é raro infatti che un editor abbia parecchi 
articoli sulla rivista di cui é editor. Capita anche che reviewer o 
editori richiedano di far parte dell'articolo in un'altra submission... 
gira voce che sia capitato. Cosi' come capita che il tuo articolo venga 
respinto sulla base di commenti terra a terra e poi vedere parte del tuo 
lavoro pubblicato da un ricercatore che sarebbe potuto essere il tuo 
reviewer.
Un altro problema é quello degli autori. Spesso si commettono errori, si 
pubblica qualcosa di sbagliato... e cio´va bene... puo' capitare. A 
volte capita, e non troppo di rado, che un autore scriva un articolo 
abbastanza superficialmente e grazie ai suoi contatti politici 
l'articolo passi. Non necessariamente cio' accade in malafede. Pero' poi 
ci sono quella serie di articoli in cui un ricercatore falsifica i dati, 
i referees ovviamente non possono rendersene conto (a meno di errori 
evidenti) e l'articolo viene pubblicato.
Il problema con gli autori mi are si stia combattendo. MI pare che la 
quantitá di articoli ritirati stia crescendo considerevolmente. In 
realtá noto un grosso problema da questo punto di vista. Spesso la colpa 
viene addossata a PhD o giovani PostDoc ed i Group Leader se la scampano 
  quasi sempre... capisco che in media possa esser vero, ma non sempre!
Referees di professione? Quelli sono gli editor...
Alla fine, la domanda é come eliminare la politica dal peer-review? 
Sfortunatamente il mondo scientifico ha vizi e virtú della societá umana 
e quindi sará impossibile eliminare la politica. Quindi se sei in un 
gruppo non famoso, se non ti sei fatto ancora il nome e lavori in Europa 
devi semplicemente soffrire uno o due ordini di grandezza in piu' 
rispetto il tuo collega che in US lavora con il guru del settore :) 
Triste, ma non penso ci sia proprio l'alternativa :((
Alessandro

Non sarebbe forse meglio dare maggiore importanza a sezioni di 
carteggio? Sezioni di una rivista dove possano essere pubblicati 
commenti ti ricercatori ad un articolo, i cui autori possano dare 
risposta e la pubblicazione eventuale sia sotto la resposnsibilitá di un 
editor?
Questo potrebbe essere necessario quando sia individuato un errore o vi 
siano dubbi su un articolo, ma cio´non sia sufficiente per la 
pubblicazione di un altro articolo.
In altri termini, rendendo pubblico cio´che accade in privato via 
(oggigiorno) email. Ricercatori che ti scrivono per chiedere spiegazioni 
, fare complimenti o critiche.
Da un altro punto di vista pero' sarebbe appunto non essenziale, visto 
che questo processo avviene privatamente e poi i risultati si verificano 
nel tempo quando una tecnica o risultati vengono chiaramente accettati 
dalla comunitá scientifica (o meno)....
Ciao
Alessnadro

Si, mi pare fosse proprio quello, ma a quanto pare lo devono ancora
fare il convegno.
Saraà interessante vedere cosa ne uscirà.
Ciao, Valter

 wrote in message
news:4ck60hF...@individual.net


Comunque riferendomi al dottorando, be`lui se ne e`accorto benissimo ma
come faceva a dire che quell`articolo era fatto malissimo, quando
tutti attorno gli dicevano (cioe`il suo professore) 
che era un buon articolo.
Potrei spedirti in privato la referenza magari ci dai un occhiata e mi
 dici cosa ne pensi. E`un articolo sperimentale come avrai capito.


 
10 anni non sono poi tanti. Le innovazioni richiedono tempi lunghi per
affermarsi e vincere la tradizionale riluttanza umana a cambiare
abitudini.
L'affermazione di un metodo nuovo richiede innanzitutto che gli addetti 
ai lavori ci credano; se sono in molti a non crederci e' ovvio che il 
metodo vecchio sia duro a morire e tenda a recidivare.
Potrei fare tanti esempi, dall'introduzione del libro rilegato in 
pergamena al posto del rotolo di papiro (ci vollero almeno due secoli), 
all'introduzione dei numeri arabi al posto dei romani (anche qui ben 
piu' di dieci anni), per finire con la tormentata storia del sistema 
metrico decimale indiscutibilmente più razionale di quello anglosassone, 
eppure ancora non del tutto affermato dopo due secoli.


moderatore: ha senso che una lista come questa di Fisica sia moderata?
Sì, basta che guardi che porcaio è it.scienza.
Il moderatore in questo ng non filtra commenti fisici, ma commenta le
porcate che inevitabilmente ci finirebbero.
Un tempo erano più rigidi, ora passa di tutto un po', ma almeno un
minimo attinente con la fisica.


 IIIS President
Questo e' un noto spammer. Vive organizzando conferenze. Mi invita tutti
gli anni, a spese mie ovviamente, ad improbabili conferenze in Nord
America. Secondo me, opinione personale, il valore di questa conferenza e'
pressocche' nullo.
Piero
-- 
questo articolo e` stato inviato via web dal servizio gratuito 
http://www.newsland.it/news
 segnala gli abusi ad 
ab...@newsland.it

In realta' mai come oggi vale l'affermazione di Wigner
"not all articles originally rejected by a journal prove to be valueless" 
che descrive decisamente bene lo stato attuale in cui versa il sistema del
peer-reviewing in fisica.



su wikipedia si parla di ciò che già si sa. Mediante un metodo di
collaborazione chiunque possieda un tassellino di conoscenza la mette a
disposizione, e alla fine wikipedia contiene più conoscenze del
singolo collaboratore 'medio'. Gli eventuali pezzi errati vengono
corretti da chi 'in coscienza' sa di essere più competente.
Sulle riviste scientifiche si parla di ciò che 'ancora non si sa', di
ciò che è appena stato scoperto. A causa della sempre crescente
specializzazione solo alcune persone (anche fra i lettori della data
rivista) sono in grado di  dare un parere autorevole su un contributo
innovativo.
A questo si aggungono alcune considerazioni pratiche
- per non essere sommerso da valanghe di pubblicazioni, il lettore
trova nella rivista gli articoli già 'filtrati' dai revisori, che
garantiscono la 'sensatezza' (ma non la correttezza), l'originalità e
la rilevanza degli articoli. Il revisore in qualche modi si fa garante
della qualità degli articoli nei confronti del lettore.
- le pubblicazioni sono uno dei pochi parametri oggettivi per valutare
la produzione scientifica. Se togli il contributo individuale....
Passi nazionalizzare i MEZZI di produzione, ma non il RISULTATO della
produzione ;-)


 pressocche' nullo.
Temo anch'io, ma staremo a vedere. Se comunque un minimo di discorso sensato
salta fuori, potrebbe essere interessante. Certo che se (non lo sapevo)
questa conferenza viene organizzata tutti gli anni, senza poi produrre
nulla, le speranze sono pochine.
Bye
Hyper

metodo vecchio sia duro a morire e tenda a recidivare
Qui non capisco: permetti o no che sia chi ci lavora a decidere
se "crederci o no"?
Ciao, Valter

 manoscritto ad una rivista").
Sei un purista. Normalmente si dice "sottomettere un papero ad un 
giornale":-)
-- 
Enrico Smargiassi
http://www-dft.ts.infn.it/~esmargia

 giornale":-)
In effetti anche noi diciamo così, però mi sembrava davvero eccessivo
ed incomprensibile.
Ciao, Valter

Innanzi tutto vorrei ringraziare tutti quelli che hanno contribuito 
a questo post poiche`mi hanno dato una visione piu`chiara del sistema
dei
referee e hanno portato interessanti idee.
Poi agganciandomi a quello che ha scritto Giorgio Pastore, devo dire
che il ritorno all`antico non mi convince molto. D`altronde se si
e`cambiato
il sistema ci deve essere stato un motivo.
Esso da`al referee un certa responsabilita` innanzi tutto scoraggiando
magari la voglia di prendersi la gatta da pelare.
In secondo luogo lo espone ad attacchi sul piano personale.
Come dice Mario Leigheb spesso non e`difficile scoprire chi e`il
referee.
Ho sentito voci di corridoio su litigi tra ricercatori dovuti appunto
a queste scoperte. Immaginiamo cosa succederebbe se il referee dovesse 
essere pubblico.
Io rilancio la mia idea di referee di professione anonimi e neutrali
possibilmente o almeno lontani dalla politica della ricerca.
Questo avrebbe forse il difetto di incrementare i costi delle riviste,
ma garantirebbe una certa imparzialita`e professionalita`.
L惺ntroduzione di questo sistema farebbe probabilmente calare il 
numero di riviste nel settore. Quello che immagino e`che le riviste con
il
peer-review sarebbero si piu`economiche ma molto meno affidabili e in
tal
senso verrebbero pian piano rimpiazzate dalle riviste professionali.
Inoltre vorrei rilanciare la seconda idea del mio post ancora non 
discussa a fondo e cioe`la fondazione di riviste che garantiscono un
controllo
capillare degli articoli quando possibile.
Il problema che voglio portare e`che quando un articolo e`pubblicato
quello e` Verita`. Non di rado si leggono citazioni di articoli a
riprova
di quello che si afferma. Una sorta di "Ipse Dixit" secondo me che e`
pericoloso e che e`contrario alla logica della ricerca scientifica.
Non dico certo che chi fa un lavoro debba rifare tutto il lavoro
precedente.
Dico solo che quando e`possibile e` importante controllare.
Tale rivista costerebbe moltissimo mi rendo conto ma basterebbe solo una
in tutto
il mondo per garantire l`utente che quello dove si sta`muovendo e`
terreno sminato.
A voi la parola.


 del peer-reviewing in fisica.
Ma che mai come oggi si puo' anche capovolgere:
"not all articles originally accepted by a journal prove to be
valuable"
:-))
 
-- 
Elio Fabri

 terreno sminato.
Forse il congresso dell'ONU potrebbe creare un superlaboratorio di 
verifica e controllo, nel deserto del Sahara, con 20.000 dipendenti di 
cui 15.000 ricercatori, finanziandolo 10.000 miliardi di EURO/anno per 
dieci anni, il cui compito sarebbe solo di ripetere ricerche e 
esperimenti di altri 1000 laboratori che ricevono 1/1000 di 
finanziamenti. Spesa indubbiamente appropriata per risolvere i problemi 
del peer reviewing! E se i ricercatori preferiscono fare ricerca 
piuttosto che controllare le ricerche degli altri, si puo' ricorrere a 
una deportazione massiccia con aerei militari e ai caschi blu per 
evitare fughe!
Ciao
Mario Leigheb

ma garantirebbe una certa imparzialita`e professionalita`.
Non capisco cosa intendi per "lontani dalla politica della ricerca".
Se (come presumo) significa in realtà "lontani dalla ricerca" tout
court, cioè che non hanno "le mani in pasta", mi chiedo quali
competenze potrebbero avere riguardo ai lavori che referano.
Se posso aggiungere un elemento alla discussione, vorrei fare notare
che un fattore non trascurabile dello scarso "filtro" del referaggio
(dove per scarso si può intendere tutto, dall'eccessivamente lasso
all'eccessivamente critico) è il fatto che si passa n volte (con n
variabile ma comunque incredibilmente alto) più tempo a scrivere
articoli piuttosto che a referarli.
Ciao
-- 
Francesco Giannici
www.mmax.org/iamr
Inviato da X-Privat.Org - Registrazione gratuita 
http://www.x-privat.org/join.php

 porcate che inevitabilmente ci finirebbero.
Ma perche' citate sempre it.scienza?
Non lo conosco (ci mancherebbe che mi iscrivessi a tutti i NG, non avrei 
tempo per altro ...) pero' conosco i.s.matematica, non e' moderato e non 
ci trovo "porcate" o altre cose terribili: qualche occasionale OT, 
qualche "flame" e basta (e non ci vuole molto a identificarli e a 
saltarli a pie' pari).
E sono iscritto ad altri NG non moderati di argomento vario (fotografia 
e cicloturismo) e vale lo stesso discorso fatto per matematica.
Lo ho gia' scritto al moderatore e lo ripeto qui: trovo fastidiosa la 
moderazione di un NG, ma se fosse uguale per tutti riuscirei ancora a 
tollerarla. Su questo NG invece la moderazione non e' uguale per tutti 
ma c'e' un congruo numero di iscritti che sono "piu' uguali" degli altri.
Per questo motivo preferisco annullare la sottoscrizione a i.s.fisica.
-- 
	Un cordiale saluto
	Paolo Bonavoglia
	V E N E Z I A
========================================================
Sito del Liceo Foscarini 	
http://www.liceofoscarini.it/
Astronomia e Calendari	 
http://www.liceofoscarini.it/didattic/astronomia/astro/home.html

 terreno sminato.
Troppo verticistico.   Costerebbe troppo,  scala male  e insegue un mito 
(la "verità  per sempre")  che non ha rispondenza nella prassi della 
ricerca.
Personalmente non credo che il peer review  *di oggi* sia il migliore 
dei sistemi possibili (e neanche il meno peggio).  Credo però  nella 
insostituibilità  di una forma di controllo tra *peers*.  Anzi,  per 
certi aspetti i problemi che un po'  tutti vediamo nel sistema attuale 
vengono proprio  dall'  indebolimento delle istanze dei *peers* a 
vantaggio di altre (politiche  editoriali  troppo focalizzate sugli 
aspetti commerciali, pressione per valutazioni basate sui parametri medi 
delle riviste etc.).
Giorgio

 terreno sminato.
dal basso della mia esperienza...
cio che mi è stato insegnato è
più la rivista ha un alto tasso di rigetto, più puoi fidarti (ma non
ciecamente!) di ciò che c'e' scritto
più l'autore è   'serio' , nel senso  che ha dimostrato altre volte
di essere competente, accurato, rigoroso etc e ha portato validi
contributi innovativi nella sua disciplina, riconosciuti ' a
posteriori' anche da altri
più puoi fidarti (ma non ciecamente!) di ciò che ha scritto
In breve: il controllo accurato che tu vuoi c'e' già, ma viene fatto
_dopo_ la pubblicazione...


 :-))
Pienamente d'accordo. E' il complementare che mi mancava...
Questo pero' aggrava ulteriormente la situazione.


 Mario Leigheb
Bellissimo questo abissale scenario da 1984! Un mondo in cui le 
riviste scientifiche sono controllate da una Elite dei 50
direttori della ricerca piu`importanti,nascosta nel deserto del Sahara.
Li´macchinari costosissimi sono pagati schiavizzando i dottorandi e
gli anonimi ricercatori a 200 euro ad articolo.
La ricerca avanza a passo di lumaca in questo mondo e solo la voce
libera
di internet ridara´la dignita`alla ricerca.
Ma io mi accontentavo di una piccola commissione che vada nel
laboratorio
a chiedere di ripetere l`esperimento.......


 i.s.fisica.
Peccato. Spero che cambierai idea.
Ma se sei fermo nel tuo proposito, non leggerai questa mia risposta :)
Chissa' chi avra' il maggior danno dalla tua decisione?
Ai posteri l'ardua sentenza :-)
 
-- 
Elio Fabri

Per questo motivo preferisco annullare la sottoscrizione a i.s.fisica.
Boh, fai tu.


nessun controllo diretto.
Non mi risulta che nessuno "controlli direttamente" (nel senso di
raccogliere n centinaia di cristalli e fare diffrazioni nelle stesse
condizioni) i raggi ionici che Shannon ha raccolto nel '76. Però ogni
anno vengono usati proficuamente in un numero enorme di pubblicazioni,
questi sì come una sorta di ipse dixit. E' un male? Non lo so. Alla
fine per fare i proverbiali nani sulle spalle dei giganti serve anche
questo.
Forse sono troppo ottimista, o forse il mio personalissimo orticello è
abbastanza al riparo dalle bufale. Ma per la mia esperienza, se scrivi
castronerie, nel 99% dei casi basta il solo aspetto dell'articolo per
farti sospettare qualcosa (non esistono i geni del male, un lavoro
opinabile è quasi sempre un lavoro sciatto), nel restante 1% in poco
tempo le magagne vengono fuori, e nessuno darà "autorevolezza" (nel
senso che ho citato poco fa) a qualcosa che apertamente non ne merita.
Per concludere: se non sei un po' in grado di valutare un lavoro da
solo, allora non si capisce a cosa dovrebbe servirti, 'sto lavoro.


 Ciao
Il fatto e`che puoi anche valutare da solo la qualita`di un lavoro
ma... facciamo un esempio:
In un lavoro ci sta`scritto che il tal scienziato ha rilevato
una certa correlazione tra massa e momento magnetico di un cluster 
di atomi.
I dati riportati sono strani e a te sembra un brutto lavoro.
Pero`tu (che non sei il capo del tuo laboratorio) vieni incaricato
di effettuare un esperimento che,seguendo i risultati dell`articolo,
riesca a determinare quantitativamente tale correlazione con un miglior
errore per futuri sviluppi.
Cominci a costruire, ti ci vogliono almeno 2 anni per arrivare ad 
un primo tentativo di riproduzione dei dati del tizio: non salta
fuori nulla. Ti alambicchi per un altro anno o piu`a capire dove sbagli
o
se non ha sbagliato il tizio, a modificare il sistema a esplorare
con minuzia.
Poi hai gia`finito il tempo, sei bruciato.
Eppure avevi capito che il lavoro era fasullo e non serviva continuare.
Lo avevi detto al tuo capo ma lui voleva andare avanti.
Ma alla fine cosa pubblichi? Un controarticolo (se il capo del lab e`
dáccordo ben s`intende)? Ti esponi te anonimo ricercatore contro il
gigante
che ha fatto il pasticcio?
In questo caso la comprensione della qualita`dell`articolo non ha
portato
a benefici per il povero malcapitato che non si poteva staccare comunque
dalla scomoda referenza.


 per fare solo il referee non avrebbe competenze.
Diciamo che le sue competenze sarebbero congelate all' istante in cui ha smesso la 
sua attivita' di ricerca e avrebbe problemi con i nuovi articoli basati su 
conoscenze a tecniche da lui non utilizzate a suo tempo e quindi non potrebbe 
essere in grado di giudicare. Ma riflettiamo un momento, vale realmente la pena di 
rinunciare al lavoro di un congruo numero di scienziati per il solo scopo di 
controllare se il lavoro di loro colleghi e' corretto oppure non serve a niente.
Secondo me non vale la pena di sprecare energie cosi' preziose per creare un 
sistema di controllo il cui funzionamento richieda sicuramente ingenti risorse.
Per ogni articolo pubblicato con risultati non esatti ve ne saranno altri che vi 
si contrapporranno e se non sara' evidente quale dei due filoni di ricerca e' 
quello giusto entrambi le linee di ricerca avranno pari dignita'.
Il lavoro dei referee e' semplicemente quello di controllare la plausibilita' di 
quanto contenuto nell' articolo basandosi sulla comprensibilita' del manoscritto e 
sulle sue conoscenze sia personali che bibliografiche, cosa abbastanza facile da 
farsi se si lavora nello stesso settore di ricerca del lavoro da esaminare. La 
decisione ultima spetta sempre all' editor che volendo puo' ignorare il parere dei 
referee ed agire in modo autonomo. Infine, non vedo nulla di male se per "carenza 
di vocazioni" l' editor decide di donare  ai referee che lo aiutano qualche 
piccolo incentivo. Anche se personalmente considero essere referee un privilegio.
Aniello Saggese

 Per questo motivo preferisco annullare la sottoscrizione a i.s.fisica.
Frase misteriora: cosa significa sottoscrivere i.s.f.? Io quando mi va 
leggo e qualche volta scrivo, quando ho da fare no, comunque non ho 
sottoscritto nulla.
the Volk wrote:
 > Quindi secondo te una persona che abbia passato 6 anni nell`ambiente
 > della fisica dello stato solido nel momento in cui smettsse làttivita`
 > per fare solo il referee non avrebbe competenze.
Avrebbe la competenza per referare gli articoli nel suo specifico 
settore di studio, ma non certo per referare tutto quello che viene 
scritto sulla fisica dello stato solido.
 > l`esperimento. Secondo me bastava qualcuno che fosse andato nel labo
 > ratorio di questo Schön e gli avesse chiesto, dopo una sommaria
 > chiarificazione
 > dei metodi e degli apparati, di ripetere l`esperimento con lui li`
 > presente.
Magari l'esperimento aveva il grant n. XXYYZZ/WWW del DOE e figurati se 
il DOE ripaga per ripetere lo stesso esperimento, magari il laboratorio 
e' stato smantellato e figurati se l'Euratom rifinanzia lo stesso 
esperimento, magari il codice e' stato gia' modificato per fare 
simulazioni diverse e figurati se il ricercatore spende un mese per 
riscrivere il codice com'era all'inizio ... Io ho fatto un lavoro di 
spettroscopia del plasma su un plasma riscaldato con 2.5 MW di 
radiofrequenza e analizzato con uno spettrometro EUV a alta risoluzione; 
lo spettrometro ora e' stato smontato e sta a Padova: come faccio a 
ripetere l'esperimento?
 > Posso citare al proposito un racconto preso dai Quaderni di le Scienze
 >  riguardo a Pasteur. ...
 > Ora che si voglia costruire sulle spalle di giganti sono daccordo.
 > Ma i giganti non sono esentati dal dare prove dei loro risultati.
C'erano gia' le riviste e i referee ai tempi di Pasteur? Non l'avrei mai 
immaginato!
 > L´ideale sarebbe che nessun articolo avesse vie di preferenza ma
 > questo forse e`troppo utopistico.
A me risulta la pratica quotidiana. Nessun premio Nobel pubblica su 
rivista un articolo senza il referaggio. Interessante invece il seguente 
gedanken experiment:
 > In un lavoro ci sta`scritto che il tal scienziato ha rilevato
 > una certa correlazione tra massa e momento magnetico ... e a te 
sembra un brutto lavoro.
 > Pero`tu vieni incaricato di effettuare un esperimento che
 > riesca a determinare quantitativamente tale correlazione ...
Poi, aggiungo io, devi trovare i soldi!
 > Cominci a costruire, ti ci vogliono almeno 2 anni per arrivare ad
 > un primo tentativo di riproduzione dei dati del tizio: non salta
 > fuori nulla. ... Poi hai gia`finito il tempo, sei bruciato...
 > In questo caso la comprensione della qualita`dell`articolo non ha
 > portato a benefici per il povero malcapitato
No, altro che referaggio, hai pronto il poster e l'orale per due 
conferenze, l'articolo per rivista, l'invited all'EPS o all'APS: poter 
confutare l'esperimento di un altro e' sempre una bella soddisfazione, 
soprattutto se l'altro e' piu' conosciuto di te. Per almeno due anni 
vivi sugli allori!
Mario Leigheb

 
Si sono daccordo.Alla fine tornerebbe tutto a posto. Ma dopo quanto
tempo?
 Ma il vantaggio di tali controlli sarebbe di evitare
di imboccare vicoli ciechi e di accelerare la ricerca verso le vie
giuste.
Vorrei qui ora tirare le somme di quanto discusso nel Thread:
Che il peer reviewing non sia perfetto credo sia condiviso da tutti.
Ma che fare?
Ci sono due posizioni:
a) Fatalista: si lascia tutto cosi`tanto meglio non si puo`pretendere,
tutte le alternative sono improponibilie prima o poi tutto va al posto
b) Migliorista: si puo`sempre fare qualcosa di meglio ma il problema
e`riuscire a capire i vantaggi e gli svantaggi di cio`che si propone.
La proposta, che non e`certo mia originale, di aumentare la
professionalita`
e i controlli negli arbitrati non ha riscosso approvazione.
Troppo costosa
Troppo complicata
Inutile o Utopistica persino
E tralascio l`apocalisse di Mario Leigheb.
Il problema e`che, anche se tutte queste critiche hanno ragione di
essere,
sono un pochino troppo avventate e la proposta, che era in nuce,
 andrebbe discussa nei particolari cosa che, nel ng, comprendo, 
prenderebbe troppo spazio.
Alternative non ne sono state proposte molte, solo continuare il peer
reviewing con i nomi dei referee in bella mostra e questo fatto e`stato
deludente per me. Credevo ci fosse piu`dibattito riguardo al problema.
Poiche`sono stato testimone di quanto dannoso possa essere un articolo
non correttamente analizzato, sia dal punto di vista della ricerca, 
sia da quello umano, mi auguro che in un futuro prossimo si studi
piu`attentamente
il problema e che il serbatoio delle idee si riempia.
Ciao


 serbatoio delle idee si riempia.
La ricerca scientifica evolve ed il numero di pubblicazioni e riviste sta 
crescendo molto rapidamente, il sistema attuale ha saputo modernizzarsi ma 
probabilmente non abbastanza, speriamo che la necessita' aguzzi l' ingegno.
Aniello Saggese