Impact Factor: Blogbabel degli scienziati?

Alla domanda “conosci qualche rivista scientifica autorevole”, moltissime persone risponderebbero con un paio di nomi, Nature e Science. Probabilmente però, la maggior parte delle stesse persone non saprebbe rispondere se gli fosse chiesto “come si calcola l’autorevolezza di una rivista?”.

Con l’Impact Factor (IF).

L’IF è un quoziente che esprime il numero medio di citazioni di un articolo della rivista scientifica X.
Viene calcolato in un modo abbastanza semplice. Si tiene sotto osservazione la rivista per due anni (ad es: 2006-2007) e si tiene straccia di due grandezze: numero di articoli pubblicati e numero di citazioni ottenute da quegli articoli nei due anni. L’Impact Factor per il 2008 della rivista X sarà dato delle citazioni totali sul numero di articoli pubblicati.

Detta così è proprio banale. E infatti lo è fin troppo.

Le citazioni conteggiate, ad esempio, vengono solo da un gruppo di riviste (ampio, ok, ma non del tutto rappresentativo), ovvero da quelle appartenenti al ciruito ISI (la struttura che si occupa dell’indicizzazione).
In secondo luogo, le riviste che pubblicano pochi articoli sono favorite in questo sistema: diminuendo il denominatore, alzo l’IF. Così come lo sono le riviste generalistiche: più settori tratto, più sarò citato. Oppure le riviste che si occupano di pubblicare review su determinati argomenti.

Viene fuori quindi un quadro distorto dell’autorevolezza, che però – a mio modo di vedere – è compensato dal processo di referaggio.
Più una rivista ha in IF alto, più è difficile pubblicarci. I referee tendono ad essere molto più fiscali e a richiedere molte evidenze sperimentali per l’approvazione di un lavoro.
Non solo.
Riviste come Nature e Science, hanno addirittura filtri scientifici precedenti al processo di peer review che valutano subito il peso specifico di una potenziale pubblicazione.

Per concludere, anche se a prima vista l’IF sembra una cazzatella alla BlogBabel o alla Technorati, la comunità scientifica sa prendere contromisure adeguate per mantenere un livello serio – e aggiungo commisurato all’impegno intellettuale – della misura dell’autorevolezza.

Capemaster

40 Responses to “Impact Factor: Blogbabel degli scienziati?”


  1. 1 giorgio corani marzo 20, 2008 alle 11:28 am

    sono d’accordo fino a un certo punto.
    1)riviste ISI: per quello che mi riguarda, la ISI copre tutte le riviste degne di nota; perlomeno, cosi’ é nel mio settore scientifico. Le eccezioni si contano sulle dita di una mano.

    2)vero che le rivista multidisciplinari hanno IF piu’ alti, ovviamente. Infatti, ha senso comparare in base all’IF solo riviste che appartengono alla stessa area; se questo criterio é tenuto in considerazione, l’IF é un buon indice per valutare la qualità relativa delle riviste. Perlomeno, riviste che all’interno del loro settore hanno un alto IF sono in genere effettivamente di alta qualità.

    3)anche la qualità del processo di referee é molto correlata all’IF, come dici tu. Rivista con bassi IF spesso fanno delle review basati su due soli pareri, e i commenti che si ricevono sono spesso di qualità molto discutibile. Invece, almeno nella mia esperienza, riviste con alto IF ti fanno avere tramite le reviews dei feedback veramente pertinenti e di alto livello.

    Dunque in generale l’IF é un buono strumento per separare rivista scarse (e ce ne sono) da riviste di qualità.

  2. 2 juhan marzo 20, 2008 alle 11:32 am

    hai dimenticato che l’IF deve cmq essere convalidato dalla Carlucci.

  3. 3 capemaster marzo 20, 2008 alle 12:01 pm

    @ Giorgio Corani: dici bene, concordo con te.
    Per ISI: di solito le migliori sono impattate, ma con il fiorire di riviste molto lette e citate (online per esempio) il quadro è stato un po’ compromesso.

    @ Juhan: ahahahaha.

  4. 4 mikecas marzo 20, 2008 alle 12:22 pm

    io invece non concordo con il giudizio positivo sull’IF.
    Intendiamoci, e’ sempre meglio di niente, ma se si deve basare una Valutazione sull’IF si ottengono risultati molto distorti, come l’ultima Valutazione del CIVR dimostra ampiamente.
    Giorgio Corani dice che bisogna limitarsi a paragoni all’interno di un settore, e questo e’ vero, ma e’ proprio qui che le riviste generaliste portano le distorsioni maggiori e bisognerebbe quindi non tenerne conto, a cominciare da Nature e Science, per limitarsi a quelle specialistiche, ma non credo sia la strada giusta.
    Anche all’interno di quelle specialistiche, le “Letters” hanno tipicamente IF notevolmente superiori alle altre, nonostante si limitino a pubblicare “annunci” di risultati, mentre il vero dettaglio si ha solo sulla rivista dedicata e di scarso “impatto”.
    So che ci sono tentativi di trovare indici migliori, e credo che non ci voglia poi molto, perche’ l’IF e’ veramente pessimo e contrario alla logica di merito scientifico…..
    Poi magari bisogna accettare l’unica cosa disponibile, ma apprezzarla e’ diverso…..

  5. 5 J_B marzo 20, 2008 alle 2:17 pm

    @mikecas: che l’impact factor sia un metodo “imperfetto” penso siamo daccordo più o meno tutti. Che esistano modi artificiali di far salire l’IF anche. Tuttavia non si può negare che tra la qualità di una rivista, l’importanza degli articoli che vi vengono pubblicati e l’IF della stessa, una certa correlazione ci sia.
    Faccio l’esempio della fisica (il mio campo): un articolo di fisica pubblicato su Nature (IF=26,681) o Science (IF=30,028) può interessarmi un po’ di più o un po’ di meno ma, nella quasi totalità dei casi, sarà comunque un lavoro innovativo e passato al vaglio di un editor competente e di “almeno” due referee di alto calibro.
    Un articolo pubblicato su Physical Review Letters (IF=7,072) (che non è nè una review nè un breve annuncio, ma un articolo di 4 pagine) è quasi sempre un lavoro di alta qualità anche se magari un po’ settoriale e di scarso interesse per chi non sia del campo. Anche qui il processo di review è di alto livello e agli articoli è richiesto di essere innovativi.
    Un articolo su Physical Review B (IF=3,107) o su Journal of the Optical Society of America B (IF=2,002) sarà, o un’approfondimento su un argomento già noto o un avanzamento in un campo molto settoriale di nessun interesse per i non-specialisti.
    Un articolo pubblicato sul Nuovo Cimento C (IF=0,294) è, in tutta probabilità, zuppa riscaldata, pubblicata lì solo per fare numero.

    Se lo scopo di pubblicare un articolo è quello di diffonderlo al massimo e di farlo leggere a quante più persone possibile allora il numero delle citazioni medio di una rivista non è un indice così orripilante. Certo, non è vangelo…

  6. 6 doghen marzo 20, 2008 alle 3:43 pm

    La casta dei tecnici, dei fisici, degli scienziati, dei dottori, ecc. Insomma “i sapienti”, che me ne faccio? Certo, hanno una loro utilità qui, nel mondo limitato e finito della materia….ma nell’infinito, nell’incommensurabile, nel trascendentale, dove li metto?

  7. 7 capemaster marzo 20, 2008 alle 3:55 pm

    @ doghen: ad esempio ti permettono di commentare. Mi riterrei fortunato già solo per questo.
    L’incommensurabile potrebbe anche non interessarci, no?

  8. 8 fabiobiker marzo 20, 2008 alle 8:03 pm

    Illuminate di nuovo la mia fosca ignoranza:

    chi sono i “referee” e chi li paga?
    cosa sono i “peer review” e, di nuovo, chi li paga?

    grazie
    buona serata

    Fabio

  9. 9 mikecas marzo 20, 2008 alle 8:26 pm

    @J_B
    ma e’ proprio partendo dall’analisi degli IF delle riviste di fisica che sono arrivato alla mia conclusione sulla poca affidabilita’ di questo indice, ed insisto che dare una lettura ai risultati della Valutazione del CIVR fatta a occhi ben aperti dovrebbe insegnare qualcosa….
    Non per farmi pubblicita’, ma se leggi quello che ho scritto qui:
    http://www.webalice.it/michele.castellano/scienza/Valutazione della Ricerca – I Panel di Area.html
    dovresti anche capire che l’IF non e’ stato molto apprezzato anche dai vari panel. Ovviamente poi si usa quello che c’e’.
    Il problema che forse non si coglie facilmente non e’ quello di dare una graduatoria dell’autorevolezza di una rivista, per quello esistono molti modi e l’IF va benissimo, ma e’ il cercare un criterio in grado di permettere lo sviluppo di una graduatoria di merito riferita a gruppi o enti sulla cui base poter regolare i finanziamenti alla ricerca e deciderne i potenziali di sviluppo.
    Una graduatoria e’ possibile se l’incrocio dei vari parametri di qualita’ ubblidisce a qualche legge conosciuta, mentre l’IF e’ fortemente non lineare e con dipendenza funzionale del tutto arbitraria.
    Spero che si trovi qualcosa quantitativamente piu’ fondata. Al momento l’unico parametro veramente accettabile e’ il giudizio comparato da parte di referee ben scelti, che come come parametro oggettivo ed automatico lascia parecchio a desiderare.

  10. 10 fabristol marzo 20, 2008 alle 8:39 pm

    Esiste un modo truffaldino per le riviste per aumentare l’IF. Cioé quello di pubblicare una marea di review, le quali bene o male verranno continuamente citate.
    Poi c’è anche questo link:

    http://scientific.thomson.com/free/essays/journalcitationreports/impactfactor/

  11. 11 doghen marzo 20, 2008 alle 9:07 pm

    Aldous Huxley: Conoscerai la verità, ed essa ti renderà folle.

  12. 12 Meristemi marzo 20, 2008 alle 9:54 pm

    x fabiobiker: i referees sono altri ricercatori, contattati dalla rivista, che fungono da revisori del manoscritto inviato: controllano che la ricerca abbia un senso, che sia nuova, che non contenga errori formali e sostanziali, che sia sensata rispetto al target della rivista, che sia coerente rispetto a quelloche si conosce della’rgomento ed in generale fanno le pulci a tutto il lavoro. Sono, o dovrebbero essere, persone esperte nella materia trattata. Anzi, nella nicchia della materia trattata. Svolgono il loro compito gratuitamente.

    Tutto il processo di revisione prende il nome di peer review, ovvero revisione tra pari.

    x fabristol: di modi per gonfiare l’IF di una rivista ce ne sono diversi, ma se vigesse un’altro sistema ne esisterebbero degli altri (fatta la legge, eccetera). Ad esempio le riviste dei grossi editori (Elsevier, Blackwell, ACS per dirne alcuni) avranno sempre una visibilità mediatica maggiore rispetto ai piccoli editori, grazie ad una maggiore presenza dell’editore a grossi congressi, ad una maggiore presenza nelle biblioteche universitarie, un bel sito internet con la possibilità di fare una ricerca sugli abstract, eccetera. Tutti fattori che rendono le loro riviste piu’ “accessibili” o piu’ “visibili”, ergo piu’ citate. Anche per le riviste valgono le stesse identiche regole di mercato. In fondo sono merci in un sistema liberista.

    Quello in cui non mi ritrovo, in generale, è nell’atteggiamento ipercritico alla questione e nella nuance dietrologica che la discussione sembra contenere (“attenti, qualcuno vi sta fregando”). Che esistano delle lacune, che vada ottimizzata la realtà attuale, eccetera, lo prendo come un dato di fatto assolutamente condiviso. Non condivido l’insistere sull'”attenti, qualcuno vi sta fregando” che mi sa molto di “grillismo” applicato alla scienza, la cui reiterazione trovo controproducente.

    Qualunque sistema mirato a creare una gerarchia è fallace di suo, intrinsecamente. Parametrizzare la qualità della ricerca è un’illusione da ingegnere🙂, è un po’ come pretendere un arbitro non umano per una partita di calcio, se mi si passa la metafora di quarta serie, nella speranza di avere l’arbitraggio perfetto. Ben vengano gli ausili informatici (IF come l’occhio elettronico nel tennis), ma il giudice di sedia lo preferisco umano. Super partes, non colluso, ma umano. (per i cultori de Il Prigioniero. “Sono il nuovo Numero Due. -Chi è il Numero Uno? -Lei è il Numero Sei. -Io non sono un numero! Sono un uomo libero!”).

    Le regole dell’IF, per quanto opinabili, hanno un pregio: valgono per tutti allo stesso modo e questo è un punto di forza della ricerca scientifica, non una debolezza come potrebbe apparire a chi legge queste righe da “non ricercatore”.

    x mikecas: la scelta dei parametri su cui definire i finanziamenti non è praticamente mai centrata solo ed esclusivamente sull’IF. Certo, un metro per definire la qualità scientifica di un ricercatore sarà l’IF ma questo non è mai usato come elemento puro. In molti ambiti i gruppi si valutano tramite una specie di combinazione multifattoriale che unisce capacità di attrarre finanziamenti (interni ed esterni), numero di costituenti del gruppo, numero di pubblicazioni e loro media annua, data della loro pubblicazione, IF delle riviste, ranking nel settore (come ha fatto notare Giorgio Corani ogni settore disciplinare ha senso se confrontato conse stesso. Confrontare solo sulla base dell’IF la quarantesima rivista di biologia molecolare e la prima di scienze della terra è un nonsense: la seconda potrebbe avere un IF di dieci volte inferiore ed essere la migliore nel suo ambito).

    Ultima domanda, oltre i confini della provocazione: abbiamo davvero bisogno di un sistema di valutazione automatico?

  13. 13 knulp marzo 20, 2008 alle 10:43 pm

    Alcuni commenti: l’IF è un parametro che misura “l’impatto” che la rivista ha nel suo settore di riferimento. Sicuramente, raggiunge abbastanza bene il suo scopo. Ma non è l’unico indice da utilizzare, nè il migliore, per valutare una rivista nel suo complesso. Primo, dipende dal settore. Ad esempio, nel mio settore (Information Technology) la rivista più importante ha un IF ridicolo (intorno a 5-6) rispetto a una rivista medio bassa nel campo medico (da cosa dipende? discorso lungo, e analisi complicata, magari un’altra volta!🙂 ).

    Nature e Science, poi, hanno delle politiche che sembrano puntare esclusivamente all’innalzamento dell’IF. Ad esempio, l’editor in chief e gli associate editor operano una pre-selezione dell’articolo basandosi sull’interesse che esso potrebbe sollevare sui lettori. Quindi, selezionano “topics” che vanno di moda, e articoli che risultino interessanti da leggere: in altre parole, delle belle storie. Solo se l’articolo sembra interessante, di moda, e “raccontato” bene, passa al vaglio dei peer reviewers.

    Per pubblicare su Nature e Science quindi ci vuole soprattutto “culo”. Primo, devi ricercare in un campo che sia “di moda”. Per esempio, nel mio caso dovrei fare “quantum computing”, o altre cose esoteriche di questo tipo, per aspirare a passare il primo stadio. Secondo, devi perdere un mucchio di tempo a costruire una “nice story” intorno al lavoro. Infine, l’editor in chief deve avere i tuoi stessi gusti.

    Concludendo, penso che IF vada bene, ma utilizzato cum grano salis, cioè normalizzato rispetto al settore, e per categorizzare le riviste in poche fasce (tipo eccellenti, buone, medie, scarse, pessime).

  14. 14 malaerba marzo 20, 2008 alle 10:52 pm

    Non tutti sono d’accordo nel considerare l’IF un buon metodo per valutare una rivista. L’IF può essere facilmente artefatto, ad esempio dalla rivista stessa chiedendo di citare altri articoli da lei pubblicati, il tutto mascherato da richiesta del referee. Visto che l’IF viene usato anche per valutare i ricercatori è di moda autocitarsi o mettersi d’accordo in gruppo per citarsi reciprocamente. Qui una lunga analisi sui limiti dell’IF
    http://siba2.unile.it/sinm/4sinm/interventi/fig-talam.htm#_ftn35

  15. 15 J_B marzo 21, 2008 alle 8:47 am

    @mikecas: che giudicare la qualità della ricerca prodotta da una persona basandosi sulla somma degli impact factor delle riviste su cui ha pubblicato sia un’idiozia siamo daccordo. Che qualche volta questo (tristemente) accada, anche. Che l’IF venga usato ciecamente no. Persino l’ISI, oltre all’impact factor, calcola tutta un’altra serie di parametri (tipo il “cited half-life”) che aiutano ad evitare le fregature e le strategie scorrette.

    @knulp: sono daccordo solo a metà. Francamente non ci vedo nulla di male se Nature o Science danno agli editor il compito di “scremare” il fiume di articoli che gli venogono sottoposti in base a criteri puramente editoriali. Alla fin fine sono riviste che puntano ad essere vendute “anche” dal giornalaio e che cercano di raggiungere il pubblico più ampio possibile. Che poi gli articoli di genetica o di quantum computation facciano da padroni in entrambe le riviste (e che a me personalmente interessi poco di entrambi i campi) siamo anche daccordo, ma entrambe le riviste pubblicano anche articoli su argomenti molto meno “di punta” inclusi articoli di geologia, fisica dell’atmosfera ecc.

  16. 16 capemaster marzo 21, 2008 alle 11:31 am

    ringrazio tutti per gli ottimi contributi…
    Leggerò il link che ha passato malaerba quanto prima.

  17. 17 Fabristol marzo 21, 2008 alle 11:38 am

    avete notato come le riviste con nomi semplici ed immediati come Nature, Science e Cell abbiano If molto alti?
    Mah, forse ci sono anche questioni irrazionali che non teniamo in conto nell’individuazione della rivista più “figa”…😉

    Un po’ OT, e magari ci facciamo un post apposito:
    qualcuno ha parlato del fatto che il sistema delle riviste e dell’IF dipende anche dal sistema economico vigente nel mondocioé quello capitalistico.
    Qualcuno mi sa dire come avveniva nell’ex-URSS o nella Cina pre-2000?
    E una domanda ancora più impegnativa: come si comporta la scienza e il mondo accademico in un mondo non capitalistico?

  18. 18 mikecas marzo 21, 2008 alle 12:36 pm

    @malaerba
    grazie per il link a quell’intervento di Figa’-talamanca che non conoscevo ma che non posso che sottoscrivere parola per parola

    @maristemi
    Il termine “valutazione automatica” e’ sicuramente inappropriato, lo riconosco….
    Il fatto e’ che viene richiesto proprio dal mondo scientifico che le risorse vengano distribuite “anche”, se non sopratutto, in base al “merito” di chi le riceve. Questo comporta un processo di Valutazione periodica e generalizzata, di cui quello effettuato da CIVR tre anni fa e’ stato solo il primo esempio. Io non so quanti si sono sobbarcati, come ho fatto io, il peso di leggersi tutte le relazioni del CIVR, ma chi lo ha fatto non puo’ non aver tratto la sensazione che per un processo di valutazione del genere, da fare in tempi necessariamente ridotti e ripetuto di frequente, sia necessario trovare dei meccanismi che permettano una valutazione oggettiva senza dover passare necessariamente per il classico referaggio di molti referee per ogni lavoro presentato. E’ evidente che l’IF piu’ il Citation Index sono del tutto inadeguati e portano a storture di giudizio anche eclatanti, come si puo’ facilmente capire dall’articolo di Figa’-Talamanca linkato da Malaerba.
    Pero’ l’esigenza di trovare un modo di rendere possibile questo processo di Valutazione e’ prioritaria, se vogliamo introdurre almeno un poco di meritocrazia individuale e di gruppo nella nostra societa’ scientifica fin troppo “baronizzata”.

    @Fabristol
    anche io sono esperto in fantascienza….🙂

  19. 19 Matteo marzo 21, 2008 alle 12:52 pm

    Ciao a tutti!
    Parlo da una prospettiva umanistica: studio filologia, ma mi interessa, e mi piace, anche questo bel blog. Oltretutto, Galileo è molto studiato anche in letteratura!

    Ovviamente ci sono molte differenze: da noi, molte riviste escono una volta all’anno, con pochi articoli (raramente più di 10 per numero), di solito di una certa ampiezza (in media direi sulle 30 pagine: ma anche molte di più). Inoltre, non ho mai sentito
    l’applicazione dell’indice IF (ma potrebbe essere una mia ignoranza).

    Alcune riviste molto specialistiche hanno un prestigio che è, direi, quasi indipendente dal numero di citazioni che un articolo ottiene: ad esempio, “Studi di Filologia Italiana” (SFI) è una delle riviste di filologia più prestigiose: per avere un’idea del formato, questo è l’indice del 2006 (esce con un numero all’anno; e qui c’è un articolo di più di 200 pagine, che è soltanto la prima parte di un saggio che è continuato nel numero del 2007):
    http://www.accademiadellacrusca.it/riviste/riviste_singolo_articolo.php?id=7382&ctg_id=96

    Probabilmente alcuni degli articoli degli SFI, spesso iper-specialistici, sono stati citati pochissime volte, soltanto da altri(iper-)specialisti del topic trattato. Mi chiedo, insomma, se la quantità delle citazioni possa automaticamente tradursi in qualità della rivista.

    Mi sembra che un metro molto più oggettivo sia il processo di referee e peer-review (che in ambito umanistico direi un po’ diverso dall’ambito scientifico: ad esempio, spesso i revisori sono i direttori, e non sono anonimi).

  20. 20 Fabio Turone marzo 21, 2008 alle 1:52 pm

    Ciao a tutti,
    condivido molto di quanto avete scritto sul complesso argomento della valutazione della qualità della produzione scientifica.

    Aggiungo alcune riflesioni sparse:

    * nell’ambito biomedico la critica al sistema della peer-review (definita “in crisi” da più parti) sembra continuare a farsi ogno giorno più forte, anche in conseguenza del fatto che – come spesso accade – strumenti di per sé utili vengono usati in modo improprio per “fare curriculum”, con un effetto distorsivo inevitabile.

    * una parte della critica poggia anche sul fatto che gli scienziati che effettuano e poi descrivono la ricerca e i peer reviewer che la valutano preliminarmente non sono pagati per questo, anche se le riviste sono oggi iniziative commerciali (quale più quale meno). Il web e la logica open access delle “Public Libraries” sta alterando però gli equilibri.

    * proprio la ricerca di nuovi lettori (e di una “fama di scientificità” spendibile in questa direzione) fa sì che la selezione degli studi da accettare per la pubblicazione segua criteri – preparati Fabristol con l’anatema😉 – “giornalistici” (orrore e raccapriccio!).

    * Un “case study” assai interessante è quello dello sciopero dei tipografi che impedì la pubblicazione per alcune settimane del New York Times. I giornalisti lavoravano, e confezionarono regolarmente (per gli archivi) il quotidiano, che però non fu stampato né distribuito.
    Siccome c’era una corrispondenza tra gli articoli descritti sul NYT e quelli che successivamente sarebbero stati più citati, qualcuno si chiese quale delle due cose fosse responsabile dell’altra (importanza scientifica –> articolo del NYT o viceversa?).
    Per questo verificò il destino degli articoli impaginati nei numeri non letti da nessuno, scoprendo in modo inequivocabile che sono le citazioni del NYT a determinare la “fortuna” scientifica in termini di citazioni susseguenti e quindi di Impact Factor.
    Senza l’amplificazione da parte del NYT, gli articoli pubblicati con risalto sul New England Journal of Medicine restavano ignorati dalla maggioranza della comunità scientifica.

    NEJM Volume 325:1180-1183
    October 17, 1991
    Number 16

    Importance of the lay press in the transmission of medical knowledge to the scientific community

    Abstract

    BACKGROUND. Efficient, undistorted communication of the results of medical research is important to physicians, the scientific community, and the public. Information that first appears in the scientific literature is frequently retransmitted in the popular press. Does popular coverage of medical research in turn amplify the effects of that research on the scientific community? METHODS. To test the hypothesis that researchers are more likely to cite papers that have been publicized in the popular press, we compared the number of references in the Science Citation Index to articles in the New England Journal of Medicine that were covered by The New York Times with the number of references to similar articles that were not covered by the Times. We also performed the comparison during a three-month period when the Times was on strike but continued to prepare an “edition of record” that was not distributed; doing so enabled us to address the possibility that coverage in the Times was simply a marker of the most important articles, which would therefore be cited more frequently, even without coverage in the popular press. RESULTS. Articles in the Journal that were covered by the Times received a disproportionate number of scientific citations in each of the 10 years after the Journal articles appeared. The effect was strongest in the first year after publication, when Journal articles publicized by the Times received 72.8 percent more scientific citations than control articles. This effect was not present for articles published during the strike; articles covered by the Times during this period were no more likely to be cited than those not covered. CONCLUSIONS. Coverage of medical research in the popular press amplifies the transmission of medical information from the scientific literature to the research community.

    Penso che tornerò sul discorso, magari in modo più articolato, nel mio blog.

  21. 21 capemaster marzo 21, 2008 alle 3:18 pm

    @ Turone: ma è ovvio che una articolo citato dal NYT (letto da milioni di persone) sia poi citato di più anche in ambito scientifico.
    Poi bisognerebbe parlare del merito della citazione scientifica: smentisce o sottolinea?

  22. 22 Giorgia marzo 21, 2008 alle 6:08 pm

    Leggendo i commenti mi sono soffermata sul termine peer review: oltre ai limiti del IF anche il sistema di referee non penso sia sempre corretto.
    Per quanto posso vedere nel mio ambito (bioinformatica) puo’ capitare che nomi importanti pubblichino articoli relativamente simili a precedenti anche su buone riviste.
    Uno dei problemi del sistema di reviewer penso sia la mancanza del doppio anonimato. Visto che chi valuta l’articolo è anonimo l’editore non dovrebbe assicurare la stessa tutela anche all’autore?
    Spero di non essere uscita troppo dal seminato

  23. 23 Fabio Turone marzo 21, 2008 alle 7:59 pm

    @ capemaster

    Non so bene che cosa ci vedi di ovvio: in teoria gli scienziati che scrivono sulle riviste scientifiche di un argomento attinente alla loro disciplina non hanno bisogno del New York Times per decidere quali studi leggere e citare.

    Uno si aspetta che uno scienziato sappia decidere da solo che cosa è importante per la sua attività di ricerca, senza bisogno del giudizio dei giornalisti del New York Times (che sono il primo a dire che prima del caso di Jayson Blair “se la tiravano” un po’ troppo).

    Questo – anche prescindendo dalle valutazioni sul ruolo effettivamente svolto dai giornali generalisti e dai giornalisti, su cui ribadisco che il vostro Manifesto dà un giudizio secco quanto sbagliato – sarebbe in teoria l’ovvio.

    Come concili il tuo giudizio con il testo del Manifesto di questo sito? (ebbene sì, finché non ci rimettete mano io scasserò i cabbasisi…😉 )

    @ giorgia: In molti ambiti l’anonimato non serve a nulla, perché si sa abbastanza facilmente chi fa quali ricerche, e anche i peer reviewer tengono famiglia.

  24. 24 fabristol marzo 21, 2008 alle 11:04 pm

    “Come concili il tuo giudizio con il testo del Manifesto di questo sito? (ebbene sì, finché non ci rimettete mano io scasserò i cabbasisi…😉 )”

    Abbiamo già Doghen come troll, non ce ne serve un altro.

  25. 25 Fabio Turone marzo 22, 2008 alle 7:11 am

    Fabristol, il tuo commento è profondamente offensivo, e mi pare gratuito.

    Crogiolarti nella tua certezza e rifiutare le critiche costruttive anche quando sono più che dettagliate e cirostanziate non mi pare molto “galileiano”.

    Io ero rimasto all’idea che uno scienziato sa prendere atto dei suoi errori e non per questo si sente meno scienziato. Anzi…

    Comunque se non arrivano le tue scuse stai tranquillo che ti lascio al tuo autocompiacimento.

  26. 26 Fabio Turone marzo 22, 2008 alle 7:17 am

    P.S. Io firmo tutto con nome e cognome, e anche per questo non accetto davvero di essere definito “troll”.

    Se preferisci non ricevere miei commenti perché ritieni che non siano degni di questo blog fammelo sapere (posso tranquillamente vivere trovando altrove menti più interessate a riflettere sulle mie osservazioni), ma togli quella parola offensiva perché non stai parlando con un ragazzino e non puoi permetterti davvero di scadere.

    Grazie

    P.S. Sinceramente ti facevo più interessato al dialogo. Forse mi sono sbagliato.

  27. 27 fabristol marzo 22, 2008 alle 10:24 am

    Fabio oltre a ripetere sempre le stesse cose non capisci neppure le battute.
    Non ho altro da aggiungere.

  28. 28 Fabio Turone marzo 22, 2008 alle 11:00 am

    OK, allora prendo atto che meglio di così non sai né senti il bisogno di spiegarti (e se non senti il bisogno di scusarti per una “battuta” a dir poco infelice prendo atto che abbiamo una sensibilità e un’educazione assai diverse).

    Quanto al “ripetere sempre le stesse cose” è piena la storia della scienza (e della conoscenza in generale) di gente che ha dovuto rischiare di fare la figura del fissato con chi faceva orecchie da mercante.

    A me pare che se “è ovvio”, come dice sbrigativamente capemaster, che il giornalismo abbia un ruolo nell’accreditare la scienza agli stessi scienziati (e lo studio, bada bene, studiava il destino degli articoli pubblicati sulla rivista più prestigiosa in ambito biomedico, non in una delle migliaia di riviste di secondo terzo e ultimo piano), allora è altrettanto ovvio – almeno per chi non “nasce imparato” – che è sbagliato scrivere quello che scrivete nel vostro “Manifesto”.

    D’altra parte, se uno pubblica una cosa e la chiama Manifesto deve poterla difendere parola per parola dalle critiche, IMHO, senza fare come Berlusconi, che prima offende e poi pensa di cavarsela dicendo che “era una battuta”, sempre evitando di argomentare sull’oggetto delle critiche.

    A me pare ovvio che se una cosa è sbagliata (o comunque migliorabile) chi non vuole fare brutta figura la corregge.

    E’ ovvio. O no? E se no, vuoi parlarne (o lasciare che capemaster ne parli) senza rifugiarti nelle battute di dubbio gusto?

  29. 29 fabristol marzo 22, 2008 alle 11:21 am

    Senti Fabio, non so perché ti stia accanendo contro di noi. sarà il tuo carattere (ed è anche per questo che non mi piacciono i tipi come te), sarà che sto cecando di godermi le mie vacanze in italia e quando torno trovo in OGNI tuo commento un riferimento al manifesto.
    Le persone che hanno fatto questo blog ne sono entusiaste e hanno aderito anche dopo la lettura dello stesso e perfino i molti avventori del blog ne sono felici.
    Se a te non piace, te ne scrivi uno da solo e ti fai un blog con quello.
    esiste un confine tra la pedanteria e la maleducazione e tu sei al limite. Non puoi venire quui ogni giorno a lamentarti del nostro blog o dei nostri metodi e poi pretendere che la gente ti sorrida e ti risponda educatamente: ti ho risposto milioni di volte educatamente ma forse non ci senti da un orecchio. Addirittura qualche giorno fa pretendevi addirittura che cambiassimo le parole del manifesto (roba da non credere!), e che se non lo avessimo fatto avresti continuato a rompere le scatole sul blog. Ed in effetti hai mantenuto la parola.
    Non credo che troveresti carino se ogni giorno passassimo sul tuo blog e ti contestassimo (chiedendo di cambiarlo) il sottotitolo del tuo blog. Quel “s’intrufola nella vita” è orribile, dovresti cambiarlo.
    E fino a quando non lo cambi ti scriverò ogni giorno e te lo farò pesare.
    Patti chiari amicizia lunga.
    Qui sei un ospite e le decidiamo noi le regole (addirittura mi ordini nei commenti precedenti di togliere un mio commento; ma come ti permetti?), e non sei tu a giudicare chi è un buon ricercatore e chi no.
    E la cosa è chiusa.

  30. 30 Fabio Turone marzo 22, 2008 alle 12:20 pm

    A) Io stavo discutendo di impact factor. Cito uno studio – che voi ignoravate, come è legittimo e normale – che mi pare molto interessante e lo liquidate come “ovvio”, senza argomentare. Poi dici che “mi accanisco”…

    B) finora credevo che chi si prefigge i vostri obiettivi mettesse anche per definizione in conto l’ipotesi di correggere alcune cose (soprattutto quando sono sbrigativamente – e genericamente, e superficialmente – offensive nei confronti di chi fa un altro mestiere. Io credo che la qualità dell’informazione medico-scientifica richieda un lungo e faticoso lavoro di acculturazione, dei giornalisti certo, ma anche di quegli scienziati che pensano di avere la ricetta miracolosa e nel nome di quella dànno bacchettate a destra e a manca senza accettare l’idea che qualcuno abbia già riflettuto sugli stessi argomenti, con risultati simili ma magari non del tutto sovrapponibili.

    C) Troll – come certo sai – è un termine offensivo (http://it.wikipedia.org/wiki/Troll_(Internet)), e all’esame di giornalista si impara che la legge punisce il reato di “diffamazione” (http://it.wikipedia.org/wiki/Diffamazione).
    Implica che io scriva cose al colo scopo di provocare: ma se tu fossi meno sicuro di sapere già tutto ci avresti potuto trovare elementi di riflessione).

    D) Scusami se fatico ad accettare un parallelo tra una cosa innocua (come il nome del mio blog) e le cose offensive presenti nel Manifesto (rivolte ai giornalisti tutti) e nel tuo post (indirizzata a me, e poi reiterata con l’ipocrita accenno alla “battuta”).

    E) Io non vengo a “lamentarmi” come scrivi tu. Discuto degli argomenti che proponete alla discussione, con tanto di citazioni dalla letteratura scientifica. Certo i complimenti fanno più piacere, ma se vuoi censurarmi perché “questa è casa tua” abbi il coraggio di farlo. sarebbe molto galileiano.

  31. 31 GG marzo 23, 2008 alle 8:50 pm

    Non so bene che dire riguardo al post (se non che lo trovo ovviamente utile), ma più che altro passavo di qua per farvi i complimenti per ciò che state facendo, e per la visibilità che state ottenendo..!

    Persone come voi ci rendono fieri di appartenere al genere umano (e dei blogger)!😀

    GG

  32. 32 J_B marzo 25, 2008 alle 8:22 am

    @ Capemaster & Fabristol: L’articolo riportato da Fabio Turone, di cui ammetto di aver letto solo l’estratto che lui ha postato qui (il tempo è tiranno), pare interessante e non banale. Anche se forse conferma una cosa di cui eravamo più o meno tutti già a conoscenza e per questo può sembrare ovvio.

    @ Fabio Turone: Capisco che un giornalista scientifico possa sentirsi un po’ punto sul vivo da un manifesto che essenzialmente dice “dato che i giornalisti scientifici non sanno fare il loro lavoro proviamo a metterci una pezza”. D’altra parte è vero che, nel 99,9% dei casi, la divulgazione scientifica è fata coi piedi. Io oramai salto a pie’ pari le pagine di scienza e tecnologia di qualunque quotidiano, settimanale o mensile su cui mi capiti di mettere le mani per evitare di rovinarmi il fegato. Le eccezioni, che pur esistono, in quanto eccezioni si limitano a confermare la regola.

  33. 33 Fabio Turone marzo 25, 2008 alle 10:28 am

    Caro J_B, se il testo e il tono del Manifesto dicessro quello che dici tu avrei meno da ridire, anche perché sono il primo a lamentarmi del fatto che le notizie scientifiche vengono affidate (o comunque lasciate scrivere) al primo che passa, seppure con eccezioni importanti e significative.
    Non voglio davvero attizzare le polemiche, al contrario.
    Torno sulla questione proprio per sottolineare il fatto che credo sia importante – mentre si evidenziano i difetti – cercare anche di mettere in luce il contesto che li favorisce, e che quindi rende ancora più meritevoli i pregi di chi riesce a produrre delle eccezioni.

    Nel caso di questo blog, per esempio, ogni volta che ho lasciato un commento io ho sempre esordito sottolineando gli aspetti positivi dell’iniziativa e dei singoli post.

    Poi mi sono sentito in dovere (in senso deontologico) di far notare i casi in cui il risultato complessivo del post era molto inferiore a quello che avrebbe potuto essere.

    Per essere ancorpiù chiaro: per molti anni ho curatole pagine di “scienza e cultura” di un settimanale per medici che era tra el poche testate a seguire la scienza con costanza e impegno, “Tempo Medico” (ora esiste ancora ma da anni si occupa solo di medicina).

    Ebbene, abituato a far riscrivere e completare e aricchire, e rendere meno ambigui i testi scritti da persone più o meno competenti della materia, per una sorta di deformazione professionale non ho potuto fare a meno di notare come in ciascuno degli interessanti post letti qui si potesse fare meglio.

    Visto il presupposto di questo blog, mi pare che se si può si deve fare meglio, perché non è un giornale che deve uscire per forza con un certo numero di pagine e perché è meglio avere un lettore in meno se questo vuol dire che l’articolo è più corretto.

    Sulla peer review, in particolare, io sono anni che leggo critiche feroci (sulle riviste biomediche) analoghe a quelle riassunte da Figà Talamanca, ma nel post all’origine di questa discussione non se ne trova traccia.
    Sembra un inno alle “magnifiche sorti e progressive” della comunità scientifica.
    Io, e lo dico sinceramente, non ho puntato a dimostrare citazioni alla mano che quell’articolo non assolve al suo compito, ma solo a cercare ancora una volta di convincervi che non è dichiarando che i ricercatori sono “a priori” in una posizione migliore dei giornalisti che si rende un servizio alla società civile dei non scienziati-non giornalisti che leggono e hanno bisogno di formarsi un’opinione su questioni complesse.

    Vi cito solo un caso limite, perché se ne è discusso all’inizio di marzo in una mailing list di giornalisti, e io ho fatto una rapida ricerca per rispondere a un collega che chiedeva conferma del fatto che una rivista strampalata avesse davvero un Impact factor strabiliante:

    two very useful links about that journal and impact factor/ citation
    index from wikipedia:

    Rejuvenation Research is a multidisciplinary peer-reviewed quarterly
    scientific journal published by Mary Ann Liebert, Inc. that
    investigates the Strategies for Engineered Negligible Senescence. The
    2006 impact factor for Rejuvenation Research is 8.353[1], midway
    between the impact factor of Archives of Internal Medicine and the
    British Medical Journal[2] [3]

    [snip]

    3. ^ Note: [b]One contributing reason for achieving this high impact factor is more than 65% self citations (see analysis provided by the 2006 Journal Citation Reports)

    http://en.wikipedia.org/wiki/Rejuvenation_Research

    http://en.wikipedia.org/wiki/Journal_Citation_Reports

    E’ il sistema meno peggio che c’è, sono d’accordo, ma non sono affatto sicuro che sia (e sia ritenuto) davvero adeguato come scrive nelle ultime righe capemaster.

  34. 34 capemaster aprile 5, 2008 alle 7:09 pm

    se dici che è il meno peggio, allora non puoi fare altro che concordare che dopo il processo di peer review (se serio), l’IF è tutto sommato accettabile.

  35. 35 Fabio Turone aprile 6, 2008 alle 8:47 am

    Mi sembra assai condivisibile l’opinione espressa da C. Hoeffel nel 1998, e riferita da Garfield, ideatore del citation index (nell’articolo del JAMA di cui parlo nel post sui cinquant’anni dell’impact factor): “L’impact factor non è uno strumento perfetto per misurare la qualità degli articoli, ma non c’è niente di meglio. Esso ha il vantaggio di essere già disponibile e costituisce quindi una buona tecnica per la valutazione scientifica”.

    Anche la serietà del processo di peer review, come tu stesso sottolinei, è un parametro che impact factor e citation index non riescono a considerare…

    E siccome in questo mondo in cui tutti cercano di vendere qualcosa con sistemi poco ortodossi ci sono già riviste che sono state concepite e realizzate per ottenere un alto IF così da “vendersi” bene sulla stampa (come “Rejuvenation Research” che citavo) credo che sia importante tenerne a mente i limiti.

  36. 36 Maria Grazia maggio 3, 2008 alle 1:03 pm

    interessante il dibattito.
    la questione solleveta da Giorgia mi sembra molto importante: la necessità di un doppio anonimato nel processo di peer-review. Che ne dite?
    Ciao e complimenti per il blog!

  37. 37 Pucci aprile 18, 2011 alle 3:08 pm

    Ciao a tutti,
    qualcuno di voi per cortesia mi sa dire come e a chi fa richiesta la redazione di una rivista per la valutazione dell’IF?
    Grazie


  1. 1 L’impact factor ha cinquant’anni, e qualche ruga « Presente 2.0 Trackback su marzo 25, 2008 alle 11:48 am
  2. 2 Pubblicazioni scientifiche “for dummies” - Faccio Cose Vedo Gente Trackback su marzo 25, 2008 alle 2:30 pm
  3. 3 L’etica protestante e lo spirito della ricerca fitoterapica « Sincretismi erboristici Trackback su aprile 19, 2008 alle 8:35 pm

Lascia un commento

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...




In primo piano

Segnalaci le bufale

a

Archivi

Contatto e-mail

progettogalileo[at]gmail.com

Disclaimer

Questo è un blog multiautore senza scopi di lucro. Esso non rappresenta una testata giornalistica in quanto viene aggiornato senza alcuna periodicità. Non può pertanto considerarsi un prodotto editoriale ai sensi della legge n. 62 del 07.03.2001 Gli autori, inoltre, dichiarano di non essere responsabile per i commenti inseriti nei post. Eventuali commenti dei lettori, lesivi dell'immagine o dell'onorabilità di persone terze non sono da attribuirsi agli autori. Alcune delle foto presenti su questo blog sono state reperite in internet: chi ritenesse danneggiati i suoi diritti d'autore può contattarci per chiederne la rimozione.

Blog Stats

  • 344,525 hits

%d blogger cliccano Mi Piace per questo: