"Bella e fantasiosa la tua teoria, peccato che i fatti dicano altro".
A quasi mezzo millennio da Galileo, una critica del genere la sentiamo come devastante, qualsiasi sia l' argomento oggetto di dibattito.
Ormai siamo tutti degli "empiristi dentro" e quando c’ è da “quantificare” non ci fermiamo davanti a niente, nemmeno davanti alla qualità.
Oggi non fai molta strada se non hai i numeri giusti dalla tua parte, i metodi quantitativi sembrano farla da padrone e le "regole d' ingaggio" della polemica anglosassone sembrano colonizzare anche i forum continentali.
Dovendo rappresentarmi la classica diatriba, immagino due contendenti che cozzano elegantemente tra loro nella presentazione di ragioni ingegnose con tanto di allusione erudita e retorica frizzante; ad un tratto, quasi a tradimento, uno dei due rovescia ex abrupto una secchiata di "numeretti" che tramortisce l' avversario dialettico, dopodiché lascia l' agone alzando le mani in segno di vittoria e ringraziando il pubblico estasiato. Il soccombente, non appena riavutosi, corre su internet o in biblioteca alla ricerca di conforto e torna a alla carica della controparte brandendo la sua brava stringa di cifre in grado di vendicarlo. E allora giù scudisciate sulla schiena dell' avversario che sta ancora raccogliendo gli allori.
Difficile poi che i due s' interessino realmente ai numeretti dell' altro, l' importante è possederne una certa scorta da squadernare al momento opportuno.
La ricetta per l' allocazione temporale del perfetto polemista telematico si è andata via via fissando: il 5% delle risorse cognitive da dedicare all' ascolto della controparte e il 95% da dedicare alla frenetica consultazione delle proprie banche dati.
Ma i "numeretti" di cui sopra sono infidi. Come diceva quel tale, se opportunamente torturati confessano quasi sempre quel che uno vuol sentirsi dire. Ormai tutti lo sanno e non s'impressionano più di fronte ai grafici che addobbano il "nemico" come un albero di natale.
Anziché rispondere con altri grafici, molto più efficace segnalare le fallacie di quelli che ci vengono sottoposti. Ne converrete.
Ecco allora qualche consiglio che puo' venir buono quando ci troviamo in simili frangenti.
Il mio riferimento principale è agli studi statistici applicati alle scienze sociali visto che sono loro ad ingorgare le nostre giornate: ci inciampiamo continuamente leggendo il giornale o scorrendo la pagina facebook.
I motivi per circoscrivere il tutto alle scienze sociali sono essenzialmente due: 1) accolgono gli abusi più eclatanti 2) le scienze naturali sono talmente noiose che nessuno se le fila realmente (anche se bisogna far finta di farlo).
Premetto che alcune dritte le salto a piè pari: chi infatti prenderebbe mai alla lettera un titolo di giornale? Spero che non ci sia bisogno di sprecare un' avvertenza su cose che fanno parte dell' equipaggiamento minimo di chi vuol sopravvivere nel Terzo Millennio.
Cerco di sfrondare il discorso anche da altri suggerimenti scontati: inutile allora ripetere che "correlazione" e "causa" sono fenomeni differenti, che le prime potrebbero anche essere "spurie", che se uno studio ci dice che il posto in città dove crepa più gente è l' Ospedale cio' non significa necessariamente che sia un posto pericoloso da cui stare alla larga.
Sono consigli utili ma sarebbe come ricordare al chirurgo di lavarsi le mani prima di entrare in sala operatoria.
Veniamo allora a qualcosa che di solito si tralascia.
1) Innanzitutto due parole sulla funzione degli studi statistici: non servono a formarsi un'idea sul fenomeno oggetto dello studio. Strano ma vero.
E' la stessa teoria delle probabilità a metterci sull' avviso. Una prima idea sui fenomeni studiati dobbiamo formarcela pensandoci su per conto nostro, a prescindere da qualsiasi studio statistico. Probabilmente non dobbiamo nemmeno pensarci su, ce l' abbiamo già chiara in testa.
La partenza è sempre soggettiva. La conoscenza comincia sempre da un' introspezione. Non siamo una tabula rasa, dentro di noi c' è già un germe di sapere induttivo, analogico, metaforico ecc., dobbiamo tirarlo fuori e chiarificarlo a noi stessi fissando delle credenze a priori.
Poi, a posteriori, aggiorneremo queste credenze sulla base degli studi visionati e del peso che decidiamo di attribuire loro.
Cio' significa che uno studio che corrobora l' idea di Giovanni piuttosto che quella di Giuseppe, non sta dando ragione a Giovanni, sta solo chiedendo a Giovanni e Giuseppe di aggiornare le loro credenze in un senso favorevole a Giovanni.
Tuttavia, tutto cio' resta perfettamente compatibile col fatto che la ragione stia dalla parte di Giuseppe.
Il matematico italiano Bruno De Finetti ha dedicato una vita a sondare la base soggettiva di ogni calcolo probabilistico. Il cercatore di verità è uno scommettitore che parte dalle sue sensazioni correggendole con le informazioni oggettive che raccoglie via via.
2) Se la materia è complessa non soffermatevi mai su un singolo studio.
E' bene che il profano si concentri unicamente sui cosiddetti meta-studi, ovvero su quei lavori che passano in rassegna la letteratura scientifica disponibile su un certo tema per trarne, con certe tecniche di uso comune, delle conclusioni generali.
Penso si tratti di un consiglio utile poiché da solo basta a giustificare l' accantonamento del 98% di cio' che riportano i giornali, quasi sempre ossessionati dallo studio singolo.
3) A proposito di “aggregazione” dei risultati. Spesso ci si dimentica che in statistica i risultati sono difficili da “sommare” e anche la proprietà transitiva è alquanto ballerina.
Mi spiego meglio con una storiella:
Un mio amico frequentava un club tre giorni alla settimana. Era alla ricerca di un' anima gemella, ma la voleva dal carattere dolce. Sapeva che al martedì scegliere una bionda aumentava le possibilità di una compagnia con queste caratteristiche. Il Giovedì i frequentatori cambiavano completamente, ma dalle meticolose indagini fatte, la dolcezza continuava ad essere una prerogativa delle bionde. Il mio amico si comportava di conseguenza.
La domenica sera al club affluivano tutti, sia le clienti abituali del martedì che quelle del giovedì. Il mio amico nei fine settimana è particolarmente malinconico, senta avvicinarsi una nuova serie di giorni lavorativi che lo strazieranno; più che mai ha bisogno di dolcezza. Per non perdere il suo tempo dietro la persona sbagliata consulta i suoi appunti e si accorge con sgomento che per avvicinare il suo obbiettivo è molto meglio che si dedichi alle more.
La situazione di cui sopra illustra un' illusione statistica molto più comune di quanto si pensi. Ricordo di esperimenti sui farmaci che, separatamente, segnalavano l' efficacia delle medicine testate. Senonché, riunendo gli esiti si notava come l' effetto placebo fosse predominante.
L' inghippo non è immediato ma neanche difficile da cogliere. Ci si mette sulla strada se si considera che la probabilità è una frazione, e sommare numeratori e denominatori non equivale certo a sommare frazioni. Non basta considerare la misura di una probabilità ma anche quanto una probabilità incide sull' altra qualora si sommino. Una probabilità puo' essere molto alta ma avere impatto nullo se sommata ad una probabilità bassa ma “solida”.
3) Trascurare gli studi che indagano la relazione isolata tra due variabili.
Molto più serio prestare attenzione a quegli studi a cui è sotteso un modello, e quindi anche un insieme di relazioni che vanno verificate contemporaneamente.
4) Il consiglio che segue lo traggo dalla mia personale esperienza di lettore.
L' efficacia educativa dei bambini è un tema che mi è sempre stato caro e che ho sempre cercato di seguire; per una vita i relativi studi in materia hanno evidenziato vari effetti più o meno "robusti".
Tuttavia, quando si è potuto tenere sotto osservazione i soggetti del campione per periodo più lungo, ci si è accorti che la gran parte di quegli effetti correttivi dell' educazione svaniva: la nostra natura è "flessibile", ci pieghiamo ma quando lo stimolo cessa tornano anche le cattive abitudini.
Evidentemente il tempo di osservazione è decisivo. In talune tematiche, per esempio quelle legate all' efficacia educativa, i cosiddetti follow up devono essere come minimo decennali.
Nel caso specifico a cui ho accennato non c' è stata malafede, si è trattato solo di una scoperta che ha apportato rettifiche devastanti ai risultati pregressi. Ma in altri casi l' "ingenuità" diventa "trucchetto", ed ecco che il ricercatore "ferma" l' esperimento al momento opportuno pur di ottenere l' esito "desiderato".
5) Un altro trucco consiste nel dividere in tanti piccoli sottogruppi la popolazione osservata (splitting). Magari la relazione che cercate non si presenta sull'intera popolazione, magari non si presenta nemmeno per la stragrande maggioranza dei piccoli sottogruppi. Difficile però che non si presenti proprio per nessuno, almeno un piccolo sotto-gruppo sperduto nel campione generale reagisce positivamente.
E' per questo che talune medicine vengono ritenute inefficaci ma - guarda caso! - funzionano per le... donne ispaniche obese di mezz'età.
Meglio che niente, direi. Si puo' sempre fare il titolo: "Trovata la ricetta contro la sindrome xy nelle "donne ispaniche obese di mezz'età". Diffidare allora di risultati tanto specifici, probabilmente a monte c' è uno splitting sospetto.
6) C' è poi il trucco dei denominatori, tipico quando si misura, per esempio, l' efficacia delle terapie contro la dipendenza da sostanze.
Perché le cure serie danno risultati tanto deludenti (20-25% di riabiltazione) mentre alcune comunità miracolose hanno successi che rasentano il 60%?
Semplice, poiché gran parte delle defezioni si presentano all' inizio, quando la terapia viene presentata al paziente che l' abbandona ritenendola troppo onerosa, basta spostare di poco l' inizio dell' intervallo convenzionale di osservazione del trattamento, in modo da escludere dal computo i primi rinunciatari.
In questo modo le percentuali miracolose fioccano. Ma una terapia è buona anche e soprattutto se il paziente è invogliato a sottoporvisi!
7) Gran parte degli studi statistici delle scienze sociali vorrebbero dimostrare che esiste un collegamento tra due o più eventi. Per esempio: "se adottate un certo stile educativo, vostro figlio avrà successo nella vita".
A questo punto per per dimostrare la tesi bisogna trasformare la "storiella" di questa relazione in numeri, possibilmente in numeri conservati in banche dati da cui poter attingere. Ma, a parte la disponibilità delle banche dati, i veri problemi incominciano ancora prima, nella traduzione della storiella in variabili quantitative. Per farlo bisognerà adottare delle proxy.
Scegliere le proxy è un' operazione tutt' altro che innocente, si parla comunemente di "specificazione".
Troppo spesso la specificazione è problematica e difficilmente traduce in modo fedele la storiella che a noi interessa e che finirà sui titoli dei giornali. Cosa significa per esempio "avere successo"? Significa avere un reddito medio tra i 30 e i 60 anni più alto di X? Oppure avere una vita lunga almeno Y e priva di malattie? Oppure rispondere 10 quando ci viene chiesto in un certo momento quanto siamo felici da 1 a 10?
Il problema della specificazione è tra i più ostici, ma spesso passa inosservato al lettore che si limita a leggere sul giornale o nell' abstract la "storiella" della relazione ricercata e gli esiti della ricerca accantonando tutti i problemi di "traduzione" della qualità in quantità.
Lo statistico Edward Leamer ha dedicato una vita a lanciare l' "allarme specificazioni" presso gli economisti raccogliendo molti riconoscimenti e poco ascolto: si è andati avanti esattamente come prima.
8) Un tipico trucco utilizzato dietro le quinte da ricercatori dalla dubbia deontologia consiste nel moltiplicare le proxy di un fenomeno per poi scegliere quelle che presentano una relazione statistica significativa.
Vi faccio presente che se uno spende un anno su una ricerca e alla fine non "dimostra" nulla potrebbe anche pagarla in termini di popolarità e di carriera.
Sono pochi i giornali che pubblicano ricerche prive di relazioni significative. Insomma, l' onestà costa cara in questo campo, e così in molti si "danno da fare", magari con la moltiplicazione delle proxy.
9) Tutti i ricercatori hanno un sogno, ovvero poter dire: "... il seguente studio dimostra che esiste una relazione significativa tra X e Y".
Ma attenzione, la "significatività statistica" è solo una convenzione, equivale a dire che la probabilità di ipotesi nulla (inesistenza di alcuna relazione tra X e Y) calcolata sulla base dei dati raccolti è inferiore al 5% (1% in alcuni casi).
Nel valutare uno studio "significativo" il lettore profano deve allora tenere a mente due cose: 1) cosa vuol dire il termine "significativo" e 2) ricordarsi che ci riferiamo a mere convenzioni.
Per quanto riguarda il primo punto va detto che la significatività indica solo che esiste (in termini probabilistici e con tutti i limiti di cui ai punti precedenti) una relazione tra le variabili considerate e non invece che esiste la relazione così come la individua lo studio stesso dando un valore ai parametri delle equazioni.
Per quanto riguarda il secondo punto, va ricordato che "significatività statistica" non significa "significatività sostanziale".
Per esempio, molti studi "statisticamente significativi" sono carta straccia per fungere da base a certe decisioni concrete poiché adottarli come base decisionale sarebbe razionalmente troppo costoso in termini di rischio. D' altro canto alcuni studi statisticamente "insignificanti" possono fornire al decisore utili indicazioni (sul punto si è esercitata Dreidre McCloskey nel classico "The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives").
10) Esiste uno standard qualitativo minimo per i lavori scientifici che vogliono dire qualcosa nell' ambito problematico delle scienze sociali, uno standard che via via si aggiorna.
Sarebbe del tutto inutile prendere in considerazione studi redatti con vecchie metodologie, almeno quando ne esistono di più accurati.
Oggi lo standard minimo richiede per lo meno l' impiego dei cosiddetti random trial, una procedura impiegata nei test medici e poi importata anche nelle scienze sociali. Meglio stare all' erta leggendo lavori privi di "random trial", io non li prenderei nemmeno in considerazione.
In poche parole, per vedere se un "trattamento" è efficace lo somministriamo ad alcuni gruppi di persone da confrontare poi con altri gruppi di persone. Tuttavia, molte variabili potrebbero interferire inquinando le valutazioni, è decisivo allora che i gruppi siano selezionati casualmente, solo in questo modo le interferenze si neutralizzano tra loro.
Ma non sempre è facile "selezionare a caso". Se stiamo valutando quanto è efficace sussidiare un villaggio africano in un certo modo, per esempio, noi possiamo controllare gli effetti facendo un confronto con gli altri villaggi ma poiché una selezione casuale è difficile, cio' puo' comportare problemi tecnici.
Inoltre, applicare il random trial conduce anche a problemi etici: perché sussidiare il villaggio X e far languire il villaggio Y? Solo per tracciare una statistica?
Si tratta di limiti a volte comprensibili ma che minano l' affidabilità dello studio.
11) Nelle scienze sociali uno studio affidabile dovrebbe sempre essere "cieco".
In altri termini, dovrebbe neutralizzare l' effetto placebo. In medicina tutti sanno cos' è l' "effetto placebo" e tutti sanno come neutralizzarlo: qualora sia il paziente trattato col medicinale in prova sia quelli non trattati ignorino la loro condizione, l' effetto placebo sarà neutralizzato.
Forse non tutti sanno che l' effetto placebo disturba pesantemente anche le scienze sociali: se forniamo ai contadini di un certo villaggio un' attrezzatura moderna che, per fare confronti sull' efficacia del nostro aiuto, neghiamo ai contadini degli altri villaggi, la produttività dei primi si distaccherà da quella dei secondi spesso anche solo per mere motivazioni psicologiche. Sembra strano ma è così.
Certo che in casi come il precedente e molti altri nell' ambito delle scienze sociali è ben difficile "accecare" lo studio. Esistono allora dei "coefficienti placebo" in grado di tarare i vari studi "non-blind". Meglio che niente.
In ogni caso, evitare quegli studi che perdono di significatività dopo l' applicazione del coefficiente. Ed evitare anche quelli che non lo applicano laddove esiste.
12) Il sogno di ogni ricercatore è "pubblicare".
Solo che difficilmente una rivista scientifica pubblicherà mai studi con risultati banali. E purtroppo, specie nelle scienze sociali, gli studi seri conducono quasi sempre a risultati banali. Si potrebbe dire che il buon senso anticipa la ricerca, e la cosa è estremamente seccante per un ricercatore con tanta voglia di emergere.
Ecco allora la tentazione di cestinare i risultati banali per presentare all' editore solo i risultati singolari.
Prova e riprova, da qualche parte un risultato originale lo si tira fuori.
Il cosiddetto "pubblication bias" spiega perché fiocchino a questo modo studi con conclusioni tanto contro intuitive: probabilmente a monte c' è molto materiale cestinato!
Chiunque vede che questo non è un modo onesto di agire, un risultato singolare ha valore solo se accostato ai tanti risultati banali ottenuti in precedenza. Solo in questo modo, infatti, noi avremo un' immagine fedele di come stanno le cose.
Ebbene, anche qui esistono dei coefficienti di "publication bias" che fanno la tara agli studi, sono necessariamente imperfetti ma sarebbe meglio applicarli.
Quando leggete uno studio sul rapporto uomo-donna, per esempio, meglio chiedere: i risultati sono al netto del coefficiente di "publication bias" caratteristico degli studi di genere? No? Ah, allora grazie e arrivederci.
13) Dimenticavo, chiedersi sempre: il campione è adeguato?
14) Non dimentichiamo mai la cosiddetta critica di Lucas: nelle scienze umane, specie nell' economia, l' individuazione di una regolarità statistica è la premessa affinchè cessi. Almeno se gli operatori sono razionali.
Pensate a cosa succederebbe se si scoprisse che le quotazioni di borsa si alzano sempre al Lunedì mattina
15) Occhio alla cosiddetta “casualità non rilevata”.
Tirando la classica moneta una sequenza CTCTCCTT ci appare come casuale mentre una sequenza CTTTTTTT ci appare come pilotata. Eppure entrambe le sequenze hanno la medesima probabilità estrattiva.
16) Ci sono fatti che reputiamo sorprendenti e sintomatici quando invece sono del tutto normali.
Penso per esempio alle regressioni verso la media. E' un fenomeno naturalmente sottostimato.
Prendiamo una gara articolata su due manches. I migliori nella prima tornata peggioreranno sicuramente la loro prestazione media nella seconda. Altro esempio, prendiamo delle coppie di coniugi e valutiamo i mariti per la loro preparazione culturale. Isolando i più preparati e passando poi a considerare le mogli ci rendiamo conto che la prestazione di queste ultime non è, nell' insieme relativo alle mogli, all' altezza di quella dei corrispondenti mariti nell' insieme che li riguarda. Ci sorprendiamo di questo fatto nonostante sia del tutto naturale.
17) Sarà banale dirlo ma i conflitti d' interesse indeboliscono a priori la credibilità di uno studio.
Naturalmente la cosa migliore sarebbe approfondire tutti gli studi per evidenziarne pregi e difetti.
Tuttavia, data l' abbondanza di ricerche disponibili, io direi di scartare quelli curati da chi si presenta un conflitto d' interesse materiale ma soprattutto ideologico.
Da cattolico, per esempio, cerco di evitare gli studi condotti da associazioni cattoliche in materia di, che ne so, aborto o adozioni gay.
Ma questo principio vale per tutto e per tutti.
Un conflitto spesso valutato è quello che interessa gli istituti di ricerca statali (Università ecc.). Lo stato è un finanziatore che, come tutti i finanziatori gradisce certi risultati, per esempio quelli che gli consentono di allargare la sua sfera di influenza.
E' così raro trovare ricerche indipendenti.
18) Ho tenuto per ultimo il consiglio che ritengo più importante e che puo' anche essere visto come un affinamento del primo punto.
Dicevamo che il classico studio statistico pretende di illustrare l' esistenza di una certa relazione tra due fenomeni; gli esiti vengono poi spesso presentati in termini probabilistici al fine di enfatizzarne la plausibilità.
Piccolo - e infido - particolare: la probabilità intrinseca nello studio andrebbe ulteriormente pesata (e quindi ridotta) con la probabilità che uno studio del genere sia replicabile ottenendo i medesimi risultati.
[... partiamo da una semplice considerazione: volendo sapere se una moneta è truccata, la lancio due volte in aria ottenendo due volte "testa". Cosa ne deduco? La probabilità di avere un risultato del genere con una moneta regolare è del 25% ma cio' non implica certo che la probabilità di avere in mano una moneta truccata sia del 75%!...una regressione collega un' evidenza disponibile (E) ad un' ipotesi di lavoro (I) stabilendo una relazione (R) tra i due fenomeni. Per convenzione, si dice che questa relazione sia "statisticamente rilevante" quando la probabilità dell' ipotesi nulla (N) è inferiore al 5% (in alcuni casi dell' 1%). L' ipotesi nulla è l' ipotesi per cui non esiste alcuna relazione tra I ed E. Nel caso precedente, se ipotizziamo una moneta truccata, l' ipotesi nulla è che la moneta sia regolare. Diciamo che se p (N dato E) minore di 5, allora la relazione R è rilevante. Ma attenzione, dire che p (N dato E) minore di 5 non significa dire che p(E dato N) sia minore di 5! Le due probabilità non sono affatto collegate in modo così immediato, sono invece messe in relazione dalla probabilità che l' esperimento possa essere ripetuto, ovvero da una probabilità soggettiva espressa di solito con la frazione pE/pN. In ogni lavoro statistico questa probabilità a priori è ineliminabile: noi potremmo anche - in teoria - ripetere l' esperimento ma l' esito andrà di nuovo pesato da un "coefficiente di ripetibilità". Le regressioni, allora, non fissano delle probabilità assolute, come sembrerebbero far capire talune divulgazioni. Per questo motivo il reverendo Thomas Bayes diceva quello che noi abbiamo umilmente tentato di dire al primo punto: la regressione non stabilisce ma aggiorna delle probabilità a pre-esistenti, che sono sempre soggettive... ]
19) Con uno studio statistico davanti, spesso il nostro cervello soffre e si prende una vacanza. Capita che sopravvaluti certi aspetti ma altrettanto spesso che ne sottovaluti altri. Alcuni concetti cominciano curiosamente a distorcersi.
Pensiamo al caso del concetto di “vita umana” e del suo significato. Noi tendiamo a sacralizzare La vita umana e a trascurare Una vita umana.
In certi contesti la vita umana non ha prezzo, in altri contesti (quelli statistici) ci riteniamo curiosamente autorizzati alla sprezzatura.
Lo notava Thomas Schelling quando si chiedeva come mai nella sensibilità sociale sarebbe disumano non sganciare 1 milione di euro per salvare Alfredino Rampi incastrato nel pozzo mentre l' istallazione di un guard rail sull' autostrada che salverebbe in media una vita all' anno, non ci coinvolge per nulla e decliniamo la proposta compiaciuti del risparmio.
Se imparassimo a leggere meglio le statistiche, forse potremmo correggere asimmetrie di questo genere.
20) Dopo la serie di avvertenze fornite, molti saranno tentati dallo scetticismo, diranno "lasciamo perdere uno strumento tanto infido".
Errore! Innanzitutto prevedo che per molti una conclusione del genere non sia sincera ma solo un pretesto per sdoganare la propria pigrizia: fare le pulci a uno studio statistico è faticoso, liquidarli tutti in blocco per affidare la difesa di una tesi all' improvvisazione retorica lo è molto meno.
In secondo luogo, difendo la rilevanza delle piccole probabilità.
Quando tutto equivale, anche una tenue quanto problematica correlazione puo' essere decisiva nel far pendere il piatto della bilancia. Siamo scommettitori razionali e a parità di posta siamo tenuti a seguire anche le indicazioni di una differenza probabilistica invisibile.
Nell' ambito delle scienze umane, i saggi più convincenti che ho letto mescolavano abilmente introspezione, senso comune, esperienza personale, statistiche e storia. La statistica non veniva mai schifata; anzi, aveva un posto d' onore. Volete un esempio? Il mio preferito è quello fornito da Milton Friedman e Anna Schwartz: A Monetary History of the United States, 1867–1960
AGGIUNTE POSTUME
ADD1. R = relazioni vere / relazioni possibili. Ogni oggetto di studio ha un suo R, quanto più questo valore è elevato tanto più probabile che le conclusioni raggiunte negli studi saranno false. Si chiama "indice di comparabilità" e rappresenta un modo di far entrare in scena Bayes, infatti l' indice di comparabilità di un settore di ricerca rappresenta la probabilità a priori che la relazione da testare sia vera (sul punto vedi il lavoro di John P. Ioannidis).
