Visualizzazione post con etichetta john ioannidis why most published research. Mostra tutti i post
Visualizzazione post con etichetta john ioannidis why most published research. Mostra tutti i post

lunedì 30 settembre 2019

NATURE, SCIENCE… E NOVELLA 2000

NATURE, SCIENCE… E NOVELLA 2000
La logica che informa i due giornali è la medesima: evitare le non notizie. Se chi cerca non trova non viene nemmeno pubblicato. Purtroppo, mentre nel mondo del gossip la cosa puo’ avere un senso, non ne ha nessuno nel mondo della scienza, dove si tollerano margini di errore fino al 5%.

MARGINALREVOLUTION.COM
Writing in PLoS Medicine, John Ioannidis says:There is increasing concern that in modern research, false findings may be the majority or even the vast majority of published research claims. However, this should not be surprising. It can be proven that most claimed research findings are false.Ioannid...

Ricordiamo che su ogni fenomeno si possono fare - esempio - 1000 ipotesi. 100 corrette e 900 scorrette. Con una tolleranza del 5%, 45 ipotesi scorrette verranno considerate vere e 5 ipotesi corrette verranno considerate false. Quindi considereremo vere 45+95 ipotesi. Quindi, tra le ipotesi supportate come vere dagli studi, il 32% è falsa. Naturalmente si possono fare esempi in cui quel 32 diventa anche 90.

lunedì 1 luglio 2019

UNO STUDIO DICE CHE…

UNO STUDIO DICE CHE…

Le statistiche sono importanti! Oggi più che mai. Quando un politico serio ci dice che A e B sono collegate e che quindi agire su A ci consente di influenzare B, ce lo dice sulla base di studi statistici rigorosi.

Ma noi profani non capiamo le statistiche, tendiamo a confondere due cose che sono completamente diverse:

A: la probabilità che il test statistico possa sbagliare.

B: la probabilità che il test statistico sia sbagliato.

Distinguere è cruciale: in genere, infatti, i test statistici che ci propongono sono strumenti quasi infallibili che quasi certamente sbagliano.

Vi gira la testa? Anche a me. Ecco, ci gira perché confondiamo di continuo A con B. Persino se conosciamo il nostro punto debole cadiamo nella trappola.

Mi spiego con un esempio. Ammettiamo che su 10.000 geni ce ne sia uno che causi la schizofrenia. Sottoponiamo i geni ad un test statistico quasi infallibile (1% di errore). Il test ci dirà che esistono 100 geni che causano la schizofrenia (tra cui quello che la causa realmente). Se di quei geni selezionati ne prendo uno a caso la probabilità che causi la schizofrenia è bassissima (1/100), quindi l’esito del test è quasi certamente sbagliato. In altri termini: un test quasi infallibile che quasi certamente ci fornirà verdetti errati.

Il profano davanti allo studio statistico sarà molto impressionato perché pensa ad A e si dimentica regolarmente di B, ovvero di cio’ che più conta realmente.

lunedì 30 ottobre 2017

“Uno studio dice che…”

“Uno studio dice che…”

“Uno studio dice che…”.
Quando un interlocutore esordisce con questa formula, sulla discussione prima così animata e dallo sbocco incerto, cala il gelo: la “scienza” fa il suo ingresso in scena e non ammette repliche.
Ma cosa c’è dietro questa espressione che incute tanto timore?
Semplice: qualcuno da qualche parte ha raccolto dei dati e verificato con  strumenti statistici  che il fenomeno A è collegato al il fenomeno B.
Per esempio: il cancro al polmone è collegato al fumo.
Oppure: la diffusione delle armi da fuoco è collegata a una diminuzione dei crimini.
Oppure: la fede religiosa è collegata al benessere psico-fisico della persona.
Oppure: che un’esecuzione capitale risparmia la vita a 15 innocenti.
Eccetera.
Naturalmente, se “lo dice uno studio scientifico” significa che il collegamento  appare tutt’altro che casuale,  tant’è vero che supera i rigorosi esami statistici del caso.
In genere si usa dire che il legame è “statisticamente significativo“.
Poi, il ricercatore, fiero di quanto ha scovato, consegna la notizia ai giornalisti che confezionano un articolo a regola d’arte con titolo a carattericubitali “A è collegato a B”.
Eppure c’è qualcosa che non va in tutto questo, un’analogia ci può aiutare a capire. Vediamola..
***
Ammettiamo che presi da scrupolo vi sottoponiate ad un esame clinico per verificare se siete affetti datumore al colon.
Fortunatamente, esiste un esame affidabile che può dare una risposta alle vostre ansie, il margine di errore è limitato al 5% dei casi.
Si noti che ho scelto questo margine perché  è anche il limite massimo che tollerano i test statistici di cui parlavo prima.
Ebbene, l’esame dice che voi siete malato. Mi dispiace ma è così.
Si noti che dire “sei malato” nella nostra analogia è  un po’ come dire che “A è collegato a B”.
La depressione che vi coglie è il correlato dellostupore tipico dei lettori che leggono il giornale su cui si dà l’annuncio della scoperta scientifica.
Ma cosa rappresenta veramente questa piccola probabilità del 5%?
Nel test clinico  rappresenta la probabilità di errore, ovvero la probabilità che una persona sana venga dichiarata malata.
Ma a voi questa probabilità cosa interessa? A voi interessa la probabilità di essere malati!
Così come a chi legge l’articolo sul giornale interessa più che altro la probabilità che tra A e B esista veramente il legame di cui si parla.
probabilmente le due probabilità sono collegate ma puo’ anche esservi una differenza apprezzabile. Come fate allora a calcolare la probabilità che più vi preme?
Bisogna conoscere altri dati. Per esempio, ammettiamo che su una popolazione di 10.000 anime esistano mediamente 5 casi di cancro al colon. Il “test affidabile” sarà stato in grado di isolarli, ma insieme a quei 5  avrà selezionato altri500 “falsi positivi“. Parlavamo Infatti è di un errore del 5%.
Ebbene, se siete tra coloro che il test ha dichiarato “malati” potete stare abbastanza tranquilli, la probabilità di essere sani resta comunque pari al 99% circa, non male!
C’è una bella differenza tra 5% e 99%!
Così come voi potete stare tranquilli anche i lettori del giornale farebbero bene a non sopravvalutarela notizia del collegamento tra A e B.
Sì badi bene che in questa storia nessuno ha mentito: c’era un test affidabile, c’erano esiti chiari e c’erano ricercatori seri. Nemmeno nell’articolo di giornale  ha mentito, anche se avrebbe fatto meglio a non pubblicare un articolo per così poco.  L’ “effetto bufala” è dovuto esclusivamente al fatto che conosciamo poco  la statistica.
L’ “effetto bufala” fa più danni di qualsiasi fake news.
L’effetto bufala deriva da una confusione.
A noi interessa conoscere la probabilità di essere malati  e tendiamo a credere che questa informazione sia sostituibile con l’esito di un test clinico affidabile. Confondere le due cose ci frega, lo abbiamo visto chiaramente ricorrendo all’analogia medica.
La confusione ci getta nel panico non appena prendiamo atto che l’esito di un test medico rigoroso  risulta  positivo. Ma presto scopriamo che questo panico non ha ragione d’essere poiché anche con un test positivo la vostra probabilità di essere sani resta del 99%!
Allo stesso modo, chi legge nella pagina scientifica l’ articolo di giornale rimane impressionato da come il collegamento tra A e B sia confermato da uno studio rigoroso. Ma non c’è ragione di restare particolarmente impressionanti e cambiare le proprie idee poiché ben poco sappiamo sulla reale probabilità che A e B siano realmente collegati. Parlando di questa “sporca” faccenda uno studioso di vaglia ha pubblicato un articolo ormai famoso con il titolo sintomatico: “Why Most Published Research Findings Are False“.
Noi tendiamo a pensare che la conoscenza fornitaci da un buon test statistico sia sostitutiva anzichéaggiuntiva della conoscenza precedente. Non è così, la conoscenza a priori continua a valere e a pesare, riceve solo un aggiornamento. Non rendersene conto crea distorsioni cognitive.
Ma cos’è concretamente la cosiddetta conoscenza a priori?
Dipende da caso a caso ma in generale possiamo dire che la conoscenza a priori per antonomasia è la conoscenza intuitiva ovvero il buon senso.
Se il buon senso e alla base della nostra conoscenza non rischiamo una deriva soggettivista? Non  dobbiamo meravigliarci se una componente soggettivista preme alle porte: la statistica si fonda sulla probabilità e la probabilità ha un fondamento  soggettivo.
STUDIO
Che fare?
La cosa migliore sarebbe quella di ripetere il test, e poi di ripeterlo ancora.
Inutile dire che nel caso degli “studi scientifici” mancano i fondi per condurre più volte lo stesso esperimento su vasta scala. Eppure, replicare i vecchi studi sarebbe scientificamente più proficuo che produrre l’ennesimo studio dall’esito “statisticamente significativo” ma concretamente incerto.
P.S. In realtà esiste un programma scientifico direplicazione degli studi pubblicati sulle riviste più prestigiose e come prevedibile raramente è riuscito a ripetere i risultati degli studi originali presi in considerazione. Curiosità: a quanto pare la psicologia fa molto peggio dell’economia.

lunedì 26 ottobre 2015

Why Most Published Research Findings Are False di John P. A. Ioannidis

Why Most Published Research Findings Are False di John P. A. Ioannidis
  • la probabilità p di una relazione r dipende da:
  • 1 p a priori di quella r
  • 2 ampiezza del campione
  • 3 ampiezza dell effetto
  • 4 numero di modelli plausibili
  • 5 flessibilità di specificazioni e design
  • 6 ideologia e interessi coinvolti
  • 7 la moda di un argomento
  • rimedi: 
  • 1 fidarsi solo delle meta analisi
  • 2 trascurare stat sign e privilegiare bayes, ovvero R
  • R=rapporto tra relazioni vere/replicate e relazioni possibili in un certo ambito (p a priori che la relazione testata sia vera)
continua