NUMERI CHE PUZZANO
Molti studi scientifici, specie quelli prodotti nelle facoltà di psicologia, nascondono qualcosa di marcio. Tanto è vero che ogni volta che li ripeti danno risultati diversi.
La nostra fortuna è che, poiché nascondono qualcosa di marcio, puzzano; la buona notizia quindi è che è facile smascherarli.
Ecco 4 (cattivi) odori caratteristici.
1) Poiché l'errore tollerato non deve di solito superare il 5%, cio' significa che la montagna di studi con errori tra il 4.5 e 5% puzza tremendamente: l'autore li ha taroccati per renderli pubblicabili. Ma guardiamo al bicchiere mezzo pieno: gli studi con errori tra il 5.1 e il 6% sono probabilmente veri, o comunque prodotti da ricercatori onesti: sarebbe stato facilissimo taroccarli e pubblicare.
2) Se leggete l'abstract alla nonna di Taleb e lei reagisce con un "ma che cazzo dici??!!", allora lo studio è falso. Gli studi veri in genere non fanno che replicare la saggezza dei vecchi.
3) Se lo studio vale per le donne messicane, single tra i 45 e i 55 anni, allora è falso. Vuol dire che si è provato con tutti e si è trovato solo loro.
4) Gli studi "sexy" sono falsi. Per essere vero uno studio deve essere noioso e piuttosto banale. Se uno studio vi spiega come essere un buon genitore, oppure come migliorare il rendimento dei vostri studenti, oppure come rafforzare la volontà, oppure come far durare il vostro matrimonio è falso... Tutti gli studi che ci sarebbero molto utili puzzano tremendamente.
The Scent of Bad Psychology
Citation (APA): putanumonit.com. (2020). The Scent of Bad Psychology [Kindle Android version]. Retrieved from Amazon.com
Parte introduttiva
Evidenzia (giallo) - Posizione 2
The Scent of Bad Psychology putanumonit.com
Nota - Posizione 3
@@@@@ Come giudicare uno studio. 1. 0.049 é falso. 0.06 é onesto 2. Fatelo giudicare alla nonna di Taleb. 3. Per tentativi. Hai l impressione che si é provato di tutto pur di trovare qlcs? Allora é così 4. Se é troppo figo é falso. Regola del silicone
Evidenzia (giallo) - Posizione 5
Bad news: The replication crisis in psychology replicated.
Nota - Posizione 6
Su 21 ne sopravvivono 13
Evidenzia (giallo) - Posizione 8
A prediction market where research peers could bet on which results would replicate identified almost of them
Evidenzia (giallo) - Posizione 12
Rob Wiblin of 80,000 Hours put together a quiz that offers descriptions of the 21 studies and lets you guess if their main finding replicated or not.
Evidenzia (giallo) - Posizione 15
The stench of bad research is difficult to hide,
Evidenzia (giallo) - Posizione 18
Rule 1: The Rule of Anti-Significance.
Nota - Posizione 18
Tttttt
Evidenzia (giallo) - Posizione 18
If a study has p = 0.049 it is fake.
Evidenzia (giallo) - Posizione 25
A result with a p-value just above 0.05 could well be true. A result with a p-value just below 0.05 is almost certainly false.
Nota - Posizione 27
Jacob rule
Evidenzia (giallo) - Posizione 35
More importantly, p = 0.06 means that the researchers are honest. They could have easily p-hacked the results below 0.05 but chose not to. The opposite is true when p = 0.049.
Evidenzia (giallo) - Posizione 43
“the study was p-hacked by bad researchers”
Nota - Posizione 43
0.04
Evidenzia (giallo) - Posizione 46
2: The Rule of Taleb’s Grandma
Evidenzia (giallo) - Posizione 46
If the purported effect sounds implausible, it is.
Nota - Posizione 47
Introspezione
Evidenzia (giallo) - Posizione 48
replicate any psychological study inside your own head with N = 1.
Evidenzia (giallo) - Posizione 49
prefer watching TV for 12 minutes to being alone with their thoughts for 12 minutes.”
Nota - Posizione 50
Esempio di studio vero
Evidenzia (giallo) - Posizione 52
you imagine eating an M& M 30 times, immediately afterward you will eat fewer M& Ms from a bowl.”
Nota - Posizione 52
Altro studio vero
Evidenzia (giallo) - Posizione 58
your hands makes you less likely to want to justify your decision of how you ranked music albums, but just thinking about soap doesn’t.”
Nota - Posizione 59
Introspezione con N=1. Non vero
Evidenzia (giallo) - Posizione 62
Taleb’s Grandma: What the fuck are you talking about?
Nota - Posizione 62
La reazione
Evidenzia (giallo) - Posizione 80
Rule 2b: we should all be embarrassed that we believed in priming even for a second.
Nota - Posizione 82
Addendo.
Evidenzia (giallo) - Posizione 82
Rule 3: The Rule of Multiplicity
Nota - Posizione 82
Ttttttt
Evidenzia (giallo) - Posizione 82
If the study looks like it tried 20 different things to get a p-value,
Evidenzia (giallo) - Posizione 85
a study that tries several hypotheses and doesn’t correct for multiplicity isn’t worth the pixels
Evidenzia (giallo) - Posizione 88
When holding and writing on a heavier clipboard, people assessing job applicants rate them as ‘better overall’, and ‘more seriously interested in the position’.
Nota - Posizione 90
Studio falso...la congiunzione e
Evidenzia (giallo) - Posizione 91
I could just imagine the researchers trying 27 clipboards of different materials,
Evidenzia (giallo) - Posizione 96
The first sign that you’re about to be fed bullshit is an abstract full of 4-syllable words where 2-syllable words would do.
Nota - Posizione 97
Tra l altro
Evidenzia (giallo) - Posizione 99
Priming is really like the Kaballah,
Evidenzia (giallo) - Posizione 110
breaking your group into arbitrary categories (by gender, age, race, astrological sign…)
Nota - Posizione 111
Il trucco x moltiplicare le ipotesi e trovarne una buona
Evidenzia (giallo) - Posizione 111
This is the “elderly Hispanic woman effect”.
Evidenzia (giallo) - Posizione 119
when a hypothesis failed to yield a p-value below 0.05, they tried more and more things until something publishable popped
Evidenzia (giallo) - Posizione 123
4: The Rule of Silicone Boobs
Nota - Posizione 123
Ttttttttt
Evidenzia (giallo) - Posizione 123
If it’s sexy, it’s probably fake.
Evidenzia (giallo) - Posizione 124
“Sexy” means “likely to get published in the New York Times
Evidenzia (giallo) - Posizione 126
inconvenient results like that rich and high-status men in their forties and skinny women in their early twenties tend to find each other very sexy.
Nota - Posizione 127
Vero perché deprimente
Evidenzia (giallo) - Posizione 132
in a condition that simulated the stress of being poor did worse on an attention task than those who simulated the ease of being rich.”
Nota - Posizione 133
Muy sexy. Possiamo intervenire x il bene dell uomo!!!!...Falso
Evidenzia (giallo) - Posizione 136
Anything counterintuitive is also sexy,
Evidenzia (giallo) - Posizione 138
Finding robust results is very hard, but getting sexy results published is very easy.
Evidenzia (giallo) - Posizione 141
Reasons for Optimism
Nota - Posizione 141
Tttttttttt
Evidenzia (giallo) - Posizione 145
Anything published in 2015 or earlier is part of the “too big to fail” era, it’s potentially a junk bond
Nota - Posizione 145
Pessimismo di Gelman...parliamo di psico.
Evidenzia (giallo) - Posizione 147
The replication crisis in psychology is not a new phenomenon.
Nota - Posizione 148
E dopo il 2015?
Evidenzia (giallo) - Posizione 152
The standards of the field were such that they could get away with criminal methodology.
Nota - Posizione 153
Ipotesi di continuitá
Evidenzia (giallo) - Posizione 155
But it’s harder to get away with bullshit studies if everybody knows how to spot them and everybody knows that everybody knows.
Nota - Posizione 156
Motfivi di speranza
