“Uno studio dice che…”

“Uno studio dice che…”.

Quando un interlocutore esordisce con questa formula, sulla discussione prima così animata e dallo sbocco incerto, cala il gelo: la “scienza” fa il suo ingresso in scena e non ammette repliche.

Ma cosa c’è dietro questa espressione che incute tanto timore?

Semplice: qualcuno da qualche parte ha raccolto dei dati e verificato con  strumenti statistici  che il fenomeno A è collegato al il fenomeno B.

Per esempio: il cancro al polmone è collegato al fumo.

Oppure: la diffusione delle armi da fuoco è collegata a una diminuzione dei crimini.

Oppure: la fede religiosa è collegata al benessere psico-fisico della persona.

Oppure: che un’esecuzione capitale risparmia la vita a 15 innocenti.

Eccetera.

Naturalmente, se “lo dice uno studio scientifico” significa che il collegamento  appare tutt’altro che casuale,  tant’è vero che supera i rigorosi esami statistici del caso.

In genere si usa dire che il legame è “statisticamente significativo“.

Poi, il ricercatore, fiero di quanto ha scovato, consegna la notizia ai giornalisti che confezionano un articolo a regola d’arte con titolo a carattericubitali “A è collegato a B”.

Eppure c’è qualcosa che non va in tutto questo, un’analogia ci può aiutare a capire. Vediamola..

***

Ammettiamo che presi da scrupolo vi sottoponiate ad un esame clinico per verificare se siete affetti datumore al colon.

Fortunatamente, esiste un esame affidabile che può dare una risposta alle vostre ansie, il margine di errore è limitato al 5% dei casi.

Si noti che ho scelto questo margine perché  è anche il limite massimo che tollerano i test statistici di cui parlavo prima.

Ebbene, l’esame dice che voi siete malato. Mi dispiace ma è così.

Si noti che dire “sei malato” nella nostra analogia è  un po’ come dire che “A è collegato a B”.

La depressione che vi coglie è il correlato dellostupore tipico dei lettori che leggono il giornale su cui si dà l’annuncio della scoperta scientifica.

Ma cosa rappresenta veramente questa piccola probabilità del 5%?

Nel test clinico  rappresenta la probabilità di errore, ovvero la probabilità che una persona sana venga dichiarata malata.

Ma a voi questa probabilità cosa interessa? A voi interessa la probabilità di essere malati!

Così come a chi legge l’articolo sul giornale interessa più che altro la probabilità che tra A e B esista veramente il legame di cui si parla.

probabilmente le due probabilità sono collegate ma puo’ anche esservi una differenza apprezzabile. Come fate allora a calcolare la probabilità che più vi preme?

Bisogna conoscere altri dati. Per esempio, ammettiamo che su una popolazione di 10.000 anime esistano mediamente 5 casi di cancro al colon. Il “test affidabile” sarà stato in grado di isolarli, ma insieme a quei 5  avrà selezionato altri500 “falsi positivi“. Parlavamo Infatti è di un errore del 5%.

Ebbene, se siete tra coloro che il test ha dichiarato “malati” potete stare abbastanza tranquilli, la probabilità di essere sani resta comunque pari al 99% circa, non male!

C’è una bella differenza tra 5% e 99%!

Così come voi potete stare tranquilli anche i lettori del giornale farebbero bene a non sopravvalutarela notizia del collegamento tra A e B.

Sì badi bene che in questa storia nessuno ha mentito: c’era un test affidabile, c’erano esiti chiari e c’erano ricercatori seri. Nemmeno nell’articolo di giornale  ha mentito, anche se avrebbe fatto meglio a non pubblicare un articolo per così poco.  L’ “effetto bufala” è dovuto esclusivamente al fatto che conosciamo poco  la statistica.

L’ “effetto bufala” fa più danni di qualsiasi fake news.

L’effetto bufala deriva da una confusione.

A noi interessa conoscere la probabilità di essere malati  e tendiamo a credere che questa informazione sia sostituibile con l’esito di un test clinico affidabile. Confondere le due cose ci frega, lo abbiamo visto chiaramente ricorrendo all’analogia medica.

La confusione ci getta nel panico non appena prendiamo atto che l’esito di un test medico rigoroso  risulta  positivo. Ma presto scopriamo che questo panico non ha ragione d’essere poiché anche con un test positivo la vostra probabilità di essere sani resta del 99%!

Allo stesso modo, chi legge nella pagina scientifica l’ articolo di giornale rimane impressionato da come il collegamento tra A e B sia confermato da uno studio rigoroso. Ma non c’è ragione di restare particolarmente impressionanti e cambiare le proprie idee poiché ben poco sappiamo sulla reale probabilità che A e B siano realmente collegati. Parlando di questa “sporca” faccenda uno studioso di vaglia ha pubblicato un articolo ormai famoso con il titolo sintomatico: “Why Most Published Research Findings Are False“.

Noi tendiamo a pensare che la conoscenza fornitaci da un buon test statistico sia sostitutiva anzichéaggiuntiva della conoscenza precedente. Non è così, la conoscenza a priori continua a valere e a pesare, riceve solo un aggiornamento. Non rendersene conto crea distorsioni cognitive.

Ma cos’è concretamente la cosiddetta conoscenza a priori?

Dipende da caso a caso ma in generale possiamo dire che la conoscenza a priori per antonomasia è la conoscenza intuitiva ovvero il buon senso.

Se il buon senso e alla base della nostra conoscenza non rischiamo una deriva soggettivista? Non  dobbiamo meravigliarci se una componente soggettivista preme alle porte: la statistica si fonda sulla probabilità e la probabilità ha un fondamento  soggettivo.

Che fare?

La cosa migliore sarebbe quella di ripetere il test, e poi di ripeterlo ancora.

Inutile dire che nel caso degli “studi scientifici” mancano i fondi per condurre più volte lo stesso esperimento su vasta scala. Eppure, replicare i vecchi studi sarebbe scientificamente più proficuo che produrre l’ennesimo studio dall’esito “statisticamente significativo” ma concretamente incerto.

P.S. In realtà esiste un programma scientifico direplicazione degli studi pubblicati sulle riviste più prestigiose e come prevedibile raramente è riuscito a ripetere i risultati degli studi originali presi in considerazione. Curiosità: a quanto pare la psicologia fa molto peggio dell’economia.