Statistiche, il punto

Quando leggi una statistica sul giornale, ricorda:

1. Ricorda che con le statistiche non si formano le opinioni ma, al limine, si aggiornano le opinioni che uno ha già a priori.
2. Quando la materia è particolarmente complessa, inutile e dannoso per il profano perder tempo a leggere il singolo studio, meglio considerare solo gli articoli che fanno una rivista della letteratura esistente in materia (meta-studi).
3. Specificazioni. Considera le variabili rilevanti dello studio e verifica se le proxy utilizzate sono adeguate.
4. Replicabilità. Pensa sempre a bayes, solo lui ci dice realmente cos' è una probabilità. Spesso gli studi vengono presentati in termini di probabilità ma ci si dimentica che vanno pesati anche dalla probabilità di poter essere replicati (il che diminuisce di molto la forza della cosiddetta "significatività statistica").
5. Non fidarsi mai di studi fatti su singole relazioni; molto meglio gli studiosi che presentano un modello affidabile e testano più relazioni contemporaneamente.
6. Tipico trucco: provarci con una marea di proxy del fenomeno che si studia e riportare solo quelle con significatività statistica.
7. Tipico trucco: scegliere artificiosamente quando terminare l' esperimento.
8. Molti studi, per esempio quelli sui bambini, richiedono impegnativi follow up, non fidarti se mancano.
9. Tipico trucco: scegliere bene i denominatori. Esempio tipico è la % di successo nella cura delle dipendenze: la gran parte dei fallimenti si registrano prestissimo con una rinuncia già ai primi stadi ma molti studi cominciano le misurazioni molto dopo.
10. Tipico trucco: dividere la popolazione in tanti piccoli gruppi, almeno su uno si riscontreranno, per puro caso, effetti significativi del trattamento (il cosiddetto "effetto della donna ispanica alta grassa e bassa").
11. ricordati che la significatività di uno studio indica in termini probabilistici che esiste una relazione tra le variabili considerate e non che esiste la relazione individuata dallo studio.
12. Dove le variabili in campo sono troppe non fidarti di studi che non fanno uso del random trial o di altri sistemi affidabili di controllo per ricampionare i dati.
13. i titoli sono quasi sempre svianti
14. spesso ci sono conflitti d' interesse (quelli ideologici pesano anche di più di quelli materiali)
15. chiediti: il campione è adeguato?
16. chiediti: i gruppi confrontati sono "ciechi" (effetto placebo)
17. esiste un pubblication bias (si pubblicano solo risultati "interessanti"). Esistono funzioni per normalizzare questo errore.
18. spesso alle ricerche si allegano speculazioni molto opinabili che lo studio non giustifica.
19. ricorda sempre di ragionare in termini di curva di Bell: se una statistica dice che gli uomini sono migliori delle donne a fare X cio' non toglie che molte donne sanno fare X molto meglio di molti uomini.
20. dopo tutti questi allarmi molti saranno tentati dal pessimismo: lasciamo perdere i numeri e rivolgiamoci ad altro. Errore! La statistica resta importante:2) in difesa delle piccole probabilità: basta una differenza infinitesimale per incidere sulle scelte razionali
21. nell' ambito delle scienze umane i saggi più convincenti che ho letto mescolavano abilmente introspezione, senso comune, esperienza personale, statistiche e storia. La statistica non veniva mai schifata; anzi, aveva un posto d' onore. Un esempio?: A Monetary History of the United States, 1867–1960 
22. ' R = relazioni vere / relazioni possibili. Ogni oggetto di studio ha un suo R, quanto più questo valore è elevato tanto più probabile che le conclusioni raggiunte negli studi saranno false. Si chiama "indice di comparabilità" e rappresenta un modo di far entrare in scena Bayes, infatti l' indice di comparabilità di un settore di ricerca rappresenta la probabilità a priori che la relazione da testare sia vera (sul punto vedi il lavoro di John P. Ioannidis).