Come NON si scrive una pubblicazione scientifica

8404_pnw_big_grattaA proposito dell’argomento del post precedente, l’omeopatia, mi sono imbattuto in una pubblicazione appena edita su Veterinary Record. Sono sempre stato dell’avviso che i pessimi ricercatori e le pessime pubblicazioni sono molto utili alla scienza, perche’ ci insegnano come NON si dovrebbe fare ricerca e come NON si dovrebbe scrivere una pubblicazione. E’ il caso di questo paper (per chi ha l’accesso qui l’intero paper). Gli autori sono Hill et al. 2009,

Il paper parla di una serie di trials su cani con prurito associato a dermatite atopica, a cui sono stati somministrate diluizioni omeopatiche. Secondo gli autori da questa ricerca si desumerebbe un’ efficacia dei prodotti omeopatici. Quando invece non si dedurrebbe niente se non il contrario a parte la scarsa serieta’ di certi studi sull’omeopatia.

Faro’ un elenco dei gravissimi errori presenti nella ricerca.

  1. Normalmente in questi studi si confrontano i dati provenienti da un gruppo che ha preso il farmaco e da un gruppo di controllo. In questo caso abbiamo solo dei cani con dermatite atopica. Nella scienza si usano i controlli per capire se la malattia e’ regressa a causa del farmaco o per cause naturali.
  2. Sono stati usati nello studio 20 cani di differenti razze, eta’, sesso e con la malattia a diversi stadi. Una scelta scandalosa. I risultati per essere affidabili devono provenire da un gruppo di individui omogeneo. Ogni razza, ogni eta’, ogni sesso ha caratteristiche diverse e risponde alla malattia in modo diverso. In piu’ la malattia si presentava a diversi stadi.
  3. I miglioramenti della malattia venivano diagnosticati dai proprietari dei cani (!) i quali potevano dare un punteggio da 0 a 10 sul miglioramento dei propri animali. Incredibilmente i cani venivano lasciati alle cure dei proprietari, in ambienti diversi, cibo diverso e monitorati da persone diverse. Persone le quali potevano essere state influenzate nella loro scelta da cause psicologiche (effetto placebo sul padrone). Perche’ non misurare altri fattori come per esempio la quantita’ di istamina rilasciata o fattori rilasciati durante lo stress?
  4. Nella pubblicazione manca del tutto una sezione sui Materiali e Metodi (!). Come possiamo valutare l’efficacia di questo studio senza poter vedere come sono stati preparati i prodotti omeopatici? Non solo ma ad ogni cane sono state date diverse preparazioni omeopatiche. In una tabella ne ho letto una decina. Quale allora ha fatto bene all’animale e perche’ e’ stata scelta una piuttosto che un’altra su quell’animale?dermatite-atopica
  5. Dopo tutto questo veniamo ai risultati che sono disastrosi. Solo 5 cani su 20 hanno presentato un qualche miglioramento (25%), il quale poteva essere dovuto semplicemente ad un fatto naturale o a milioni di altri fattori non presi in considerazione (miglior attenzione e cura dei padroni, differente dieta o ambiente ecc.). Solo un cane ha mostrato una completa guarigione. Uno dei cani e’ addirittura morto e uno potrebbe anche chiedersi come sia possibile considerare efficace l’omeopatia se un cane guarisce ma non mortale se un cane muore! Insomma poiche’ questa NON e’ scienza (avete visto che razza di studio hanno fatto) dipende da come lo si guarda: il bicchiere e’ mezzo vuoto o e’ mezzo pieno? Potrei dire che il prodotto omeopatico e’ nocivo perche’ non solo non ha avuto effetto sul 75% dei cani ma addirittura uno e’ morto a causa di esso.
  6. Una persona sana di mente di fronte a tale evidenza avrebbe dovuta recitare il mea culpa ed ammettere che e’ stato un disastro e che l’omeopatia in questo caso specifico non ha funzionato ma anzi forse ha peggiorato. Ed invece alla fine del paper si parla esplicitamente del fatto che si puo’ credere o non credere. Pensavo che nella scienza non si credesse, ma semplicemente si dimostrasse coi dati una ipotesi. Mai letto un paper in cui si ammette che i dati devono essere letti attraverso il filtro di una fede per un tipo di medicina.

In conclusione bisogna stare molto attenti a cio’ che viene pubblicato. Non tutto quello che viene pubblicato e’ buona scienza. In questo caso mia nonna avrebbe saputo organizzare lo studio in modo migliore e con un minimo di buon senso.

Fabristol

23 Responses to “Come NON si scrive una pubblicazione scientifica”


  1. 1 hronir aprile 8, 2009 alle 1:13 pm

    Che rivista è Veterinary Record?
    Quanto è “rinomata”?

  2. 2 fabristol aprile 8, 2009 alle 1:23 pm

    non lo so ma un obbrobrio del genere non sarebbe stato pubblicato neppure su Topolino…

  3. 3 hronir aprile 8, 2009 alle 1:32 pm

    per quello chiedevo…🙂

  4. 4 microliberismo aprile 8, 2009 alle 1:38 pm

    Nella mia breve carriera da ricercatore ho lavorato anche nel campo dell’omeopatia. La regione aveva stanziato dei soldi per incentivare la ricerca sulle medicine alternative. Un prof. mi aveva detto che doveva avere questi soldi per la ricerca e se studiavo l’argomento e avessi fatto pratica gratuita nel suo lab, c’erano buone possibilità di partecipare al concorso per una borsa di un anno. I soldi arrivano ma bella sorpresa servono a comprare medicine omeopatiche da una ditta che le produceva. Capite bene. Soldi pubblici spesi per comprare non sò quante migliaia di euro di medicine omeopatiche. Io ho visto un misero contratto di un mese e poi me ne sono andato. Se avessi visto qualcosa di storto nella ricerca quando lo avrei pubblicato?

  5. 5 glipari aprile 8, 2009 alle 2:48 pm

    Questo caso è veramente scandaloso, al limite del ridicolo. In altri casi, purtroppo, gli errori sono più sottili e molto più difficili da tirar fuori.

    Da questi casi secondo me si evince che:
    1) anche un cretino potrebbe mettere in carniere qualche pubblicazione, basta trovare il journal e la comunità giusta
    2) quindi, fare la valutazione sul “numero dei paper pubblicati” è una cosa molto pericolosa.

    Saluti!

  6. 6 clodovendro aprile 8, 2009 alle 3:34 pm

    Più che altro mi sembra un fallimento totale ed assoluto del sistema del peer reviewing (revisione paritaria). In un giornale moderatamente serio (non importa sia Nature, basta Hungarian Report of Applied Physics) un articolo, prima di essere pubblicato, viene fatto leggere a dei referee che ne giudicano contenuti e qualità. Ci sono giornali con soglie più alte, giornali con soglie più basse ma un controllo viene sempre fatto.
    Io, nella mia ancora breve carriera universitaria, ho fatto da referee solo due volte; in entrambi i casi si trattava di riviste di piccolo calibro, molto specialistiche e con un impact factor ridicolo. Nonostante tutto però se un referee fa notare che c’è qualcosa che non va allora l’editor non pubblica la ricerca.
    Se questa rivista non è stata in grado nemmeno di fare una cosa del genere allora può essere chiusa senza che l’umanità abbia a subirne alcun danno (anzi, magari ci guadagnamo in serietà).

  7. 7 fabristol aprile 8, 2009 alle 7:30 pm

    mi sono reso conto che i link non funzionavano. chiedo venia. Ora dovrebbero funzionare. Per chi fosse più interessato posso spedire il file .pdf tramite e-mail.

  8. 8 clodovendro aprile 8, 2009 alle 8:07 pm

    Ho cercato qualche informazione (sebbene non sia assolutamente il mio campo). “Veterinary Record” compare fra le riviste ISI e quindi ha sicuramente un sistema di peer review (anche se non voglio pensare a quanto sia un colabrodo se ha lasciato passare ‘sta robaccia). Ha un impact factor di 1, il che vuol dire che non è propriamente un granché ma che “esiste” e qualcuno la legge (e la cita).

  9. 9 Zybo aprile 9, 2009 alle 2:24 pm

    Sono disgustata.
    mi permetto di fare delle precisazioni sul paper di cui ho letto solo il riassunto.
    Su 20 cani solo 5 hanno avuto dei miglioramenti.
    questi 5 cani sono stati SELEZIONATI, per la seconda parte dello studio, dove hanno testato il farmaco rispetto al placebo (qualcuno mi manda il paper? come hanno diviso gli animali???)

    con soli 5 cani sono riusciti a fare uno studio RANDOMIZZATO (ne hanno mescolati 5, urka!) e in CIECO (ne il “veterinario” ne’ il cane SAPEVA cosa stata assumendo: queste si che son garanzie!)
    di 5 cinque un cane è guarito, un’altro è morto, ma i 3 restanti sono bastati per DIMOSTRARE che l’omeopatia ha funzionato..
    complimenti allo statistico!
    se questo è lo studio pilota, immagino gli studi futuri che ne scaturiranno!

    Purtroppo il sistema peer review ogni tanto ci dà queste batoste, ma voglio credere che sia ancora il sistema migliore (nella maggioranza dei casi) con cui la scienza controlla se stessa.

  10. 10 fabristol aprile 9, 2009 alle 2:44 pm

    Si ho dimenticato di dire che c’e’ stato un altro passaggio ancora piu’ incredibile: quello della selezione di soli 5 cani alla fine.
    Forse lo hanno fatto per aumentare la significanza delle statistiche.😀

  11. 11 mountpalomar aprile 11, 2009 alle 3:24 pm

    Incredibile che i referee abbiano lasciato passare uno studio del genere.
    Comunque, a parte questo caso estremo, c’è da dire che il peer review come sistema lascia molto a desiderare, e non solo sulle riviste minori.
    Capita anche su riviste importanti che vengano accettate delle figure nelle quali per vedere il risultato ci vuole un atto di fede…
    Alla fine, purtroppo, il principio del “io faccio passare il tuo lavoro e tu fai passare il mio” non è del tutto estraneo al mondo scientifico.

  12. 12 Stefano aprile 15, 2009 alle 11:16 am

    Üremetto che ho letto solo l’abstract, e non ho intenzione di leggere l’articolo. Tuttavia ho alcune osservazionI:

    Due considerazioni sparse:

    – primo, gli autori probabilmente volevano usare cani per evitare il più possibile una possibilità di effetto placebo “psicologico”
    – secondo, per evidenti motivi, non deve essere così facile trovare una larga popolazione omogenea di cani con la stessa malattia. Tanto più per uno studio pilota

    Alcuni commenti al post di fabristol

    @1: probabilmente vuoi dire che si prendono due gruppi: 1 trattato col farmaco da testare ed uno senza, cosa che loro hanno fatto (nei limiti del campione che avevano a disposizione)

    @2: probabilmente non è stata una scelta, ma necessità dovuta alla difficoltà di reperimento di cani con dermatite atopica

    @3: la risposta alle tue domande è: perchè probabilmente, essendo uno studio pilota, non volevano impiegare troppe risorse, ma solo capire se era fattibile

    @6: se da una parte puoi avere ragione, dall’altra devi stare attento al fatto che i dati che tu raccogli devono essere interpretati. E questo avviene sempre all’interno di un sistema di “credenze” scientifiche

    Interessante da leggere:

    http://www.bristol.ac.uk/news/2006/1033.html

  13. 13 diana aprile 17, 2009 alle 10:40 pm

    @Stefano

    magari l’effetto placebo con il cane è evitato, ma se la valutazione è lasciata al giudizio dello stesso padrone come la mettiamo?

    Non credo poi che la dermatite atopica sia una patologia così poco diffusa nei cani domestici, anzi: non è molto scientifico, ma basta provare a inserire “cane dermatiti” o simili in Google e vedere il numero dei risultati😉
    [in alternativa, provare a indagare tra i conoscenti proprietari di cane]

    per il resto, non mi pare vi sia molto da _interpretare_ 🙂

  14. 14 capemaster aprile 21, 2009 alle 1:11 pm

    Che i veterinari siano pecioni è risaputo, ma quando si uniscono all’omeopatia poi diventano il non plus ultra. Però sul tuo punto #2 mi permetto di fare una postilla maligna: non tutti hanno la fortuna di lavorare lavorano con linee cellulari. In campo veterinario, e lo so perchè lavoro su cavalli da endurance, ci sono in gioco delle forze affettive non indifferenti che rendono difficoltoso omogeneizzare i propri campioni.

    Per l’IF di 1: certo non è Nature, ma prima guarderei la mediana del settore.
    Io ho un lavoro su Vet Rec, come collaboratore per la parte molecolare di uno studio di infettive, e so che viene considerata media nel settore.

    Detto questo mi piacciono altre riviste🙂.
    E sì, il lavoro non è un granchè.

  15. 15 capemaster aprile 21, 2009 alle 1:15 pm

    Ho capito perchè l’hai letto🙂

  16. 16 sagredo aprile 21, 2009 alle 4:59 pm

    OT. Ma la teoria del Global Warming (ora climate change perche’ piu’ difficilmente falsificabile…..) e’ vera scienza?

  17. 17 fabristol aprile 21, 2009 alle 5:17 pm

    Ops non mi sono accorto che la gente continuava a commentare. Scusate.

    Per Stefano

    In parte ti ha risposto Diana e condivido quello che ha scritto. E’ vero che e’ uno studio pilota pero’ se fossi interessato a continuare esperimenti basandomi su uno studio pilota sceglierei un paper migliore.😀

    Per Cape

    In effetti non sono pratico di studi di veterinaria. Capisco che e’ difficile riprodurre una ambietne simile a quello di un laboratorio di biologia molecolare, pero’ forse si sarebbe potuto fare uno sforzo in piu’ per trovare cani della stessa eta’ almeno.
    Si’ hai capito perche’ l’ho letto!😀 Qui e’ successo un ambaradan. un piccolo scandalo per questo studio pubblicizzato con tanta enfasi perfino nella homepage dell’universita’. Alcuni docenti hanno scritto una lettera di proteste e la notizia e’ stata cancellata.

  18. 18 fabristol aprile 21, 2009 alle 5:19 pm

    Per Sagredo

    Certo che e’ vera scienza! Trattasi di una teoria supportata da analisi, dati, ipotesi provenienti da diverse discipline. Le previsioni per il futuro, quelle si’ che sono un problema. Ed e’ su quelle che si discute maggiormente. Io tendo a non essere un catastrofista per esempio.

  19. 19 anti-moderno aprile 22, 2009 alle 10:30 am

    Senti “piccolo genio”, fabristol, perchè non fai un post sulla notizia dei genetisti che “confessano” l’inutilità delle loro ricerche così strombazzate per anni. E così parliamo degli scienziati he ci ingannano?
    A proposito. Non sei un catastrofista perchè sei un ragazzino e vorresti solo vivere…..sii sincero….

  20. 20 fabristol aprile 22, 2009 alle 12:52 pm

    Un altro commento di questo tenore e ti banno dal sito, come avrei gia’ dovuto fare mesi fa. Intesi?

  21. 21 sagredo aprile 23, 2009 alle 9:12 am

    Inutilita’ delle ricerche dei genetisti? Oh, questa e’ bella. Mi sa che di inutile ci sono solo alcuni commenti ipocriti.

  22. 22 gians aprile 25, 2009 alle 2:32 pm

    Certi nickname preludono a commenti tanto idioti, nessuna nuova scoperta. Ciao Fabristol.

  23. 23 vitaliano82 maggio 4, 2009 alle 9:07 am

    impact factor 1 non è nature ma manco niente…
    mi chiedo allora chi glielo abbia assegnato!

    Per il resto, per fare punteggio, sono pronto a fare uno studio pilota sugli scarrafoni, tanto peggio di così…

    vitaliano
    http://yellowcar.wordpress.com


Lascia un commento

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...




In primo piano

Segnalaci le bufale

a

Archivi

Contatto e-mail

progettogalileo[at]gmail.com

Disclaimer

Questo è un blog multiautore senza scopi di lucro. Esso non rappresenta una testata giornalistica in quanto viene aggiornato senza alcuna periodicità. Non può pertanto considerarsi un prodotto editoriale ai sensi della legge n. 62 del 07.03.2001 Gli autori, inoltre, dichiarano di non essere responsabile per i commenti inseriti nei post. Eventuali commenti dei lettori, lesivi dell'immagine o dell'onorabilità di persone terze non sono da attribuirsi agli autori. Alcune delle foto presenti su questo blog sono state reperite in internet: chi ritenesse danneggiati i suoi diritti d'autore può contattarci per chiederne la rimozione.

Blog Stats

  • 344,525 hits

%d blogger cliccano Mi Piace per questo: