CHAPTER 2 Inferences

CHAPTER 2 Inferences
Note:2@@@@@@@@@

Yellow highlight | Location: 340

students taking economics classes are, on average, less willing to contribute to certain left-of-center political organizations.
Note:DA QS SI CONCLUDEVA CHE GLI STUDENTI DI ECONOMIA NN ERANO GENEROSI

Yellow highlight | Location: 343

less sympathetic to those particular organizations,
Note:CONCLUSIONE CORRETTA

Yellow highlight | Location: 344

critical-thinking skills that could lead students to be skeptical of certain agendas.
Note:ALTRA CONCLUSIONE POSSIBILE SULLA DOTAZIONE

Yellow highlight | Location: 347

lower tuition for college students is likely to entail higher taxes and/or reduced services for families
Note:ESEMPIO DI ONLUS COINVOLTA E PENSIERO DELL ECONOMISTA

Yellow highlight | Location: 350

physics majors are the least compassionate because they are the least likely to offer encouragement to the inventors of perpetual-motion machines.
Note:ANALOGIA PARADOSSALE

Yellow highlight | Location: 358

Interpreting evidence is always perilous,
Note:OGGETTO DEL CAPITOLO

Yellow highlight | Location: 359

When a university admits 46 percent of its male applicants and only 30 percent of its (equally qualified) female applicants, can we infer gender discrimination?
Note:MOLTI AVVOCATI PENSANO DI SÌ...CAUSA A BERLEY NEL 1973

Yellow highlight | Location: 361

someone observed that not a single one of Berkeley’s individual departments appeared to be discriminating.
Note:NEL CORSO DEL PROCESSO....SORPRESA

Yellow highlight | Location: 362

women were being disproportionately rejected because women were disproportionately applying to the most selective departments.
Note:SPIEGAZIONE

Yellow highlight | Location: 401

focus on the aggregate statistics—that
Note:L ERRORE DI MOLTI...E ANCHE DEGLI AVVOCATI

Yellow highlight | Location: 404

1 Jury Selection
Note:Tttttttttt

Yellow highlight | Location: 405

blacks are systematically underrepresented on American juries.
Note:DENUNCIA

Yellow highlight | Location: 406

25 percent of white Americans have served
Note:DATO

Yellow highlight | Location: 406

25 percent of black Americans have served
Note:Ccccc L ACCUSA SEMBREREBBE INFONDATA

Yellow highlight | Location: 409

blacks live primarily in cities, where it’s very common to be called for jury duty,
Note:NO...CI SONO ALTRI FATTORI

Yellow highlight | Location: 432

even though 25 percent of blacks and 25 percent of whites have served on juries, blacks are apparently being discriminated against in both the urban and rural areas.
Note:POSSIBILE CONCLUSIONE....ERRORE DELL AGGREGGATO...DI SEGNO CONTRARIO RISPETTO A BERKLEY

Yellow highlight | Location: 437

2 Income Trends
Note:Tttttttttttt

Yellow highlight | Location: 438

25-year period,
Note:QUANDO

Yellow highlight | Location: 438

the median income of all
Note:COSA

Yellow highlight | Location: 439

3 percent.
Note:DELTA...AUMENTO

Yellow highlight | Location: 439

the median income of white male
Note:COSA 2

Yellow highlight | Location: 439

15 percent.
Note:DELTA DUE

Yellow highlight | Location: 440

at least one other demographic group (white females, nonwhite males, or nonwhite females), the increase must have been even less than 3 percent?
Note:CONCLUSIONE AFFRETTATA

Yellow highlight | Location: 470

White males had 15 percent growth, and every other group had even larger growth—as
Note:LA REALTÀ

Yellow highlight | Location: 472

That’s possible partly because the sizes of the groups changed.
Note:SPIEGAZIONE...UN INCREMENTO ELEVATO X POCHI INCREMENTA DI OCO IL TOTALE

Yellow highlight | Location: 472

In 1980 the median worker was a white man. By 2005, enough women had entered the workforce that the median worker was a woman. Women do indeed earn less than men,
Note:SONO AUMENTATE LE PERSONE CHE GUADAGNAVANO POCO ANCHE SE PURE LORO SONO MIGLIORATE

Yellow highlight | Location: 475

the average math scores of seventeen-year-olds have dropped slightly over the past twenty years or so—even though the scores of the average white student, the average black student, and the average Hispanic student have all increased
Note:ALTRO PARADOSSO: AUMENTANO TUTTI I VOTI MA DIMINUISCE LA MEDIA...XCHÈ AUMENTA IL NUMERO DEI PEGGIORI

Yellow highlight | Location: 490

4 The Smoking Gun
Note:Tttttttttttt

Yellow highlight | Location: 491

A tobacco company claims to have evidence that cigarettes prevent cancer.
Note:IL CASO

Yellow highlight | Location: 493

only 5 percent of nonsmokers get cancer, while 20 percent of smokers do.
Note:IN UN CAMPIONE RAPPRESENTATIVO...STO FATTO È UNA CONFUTAZIONE?

Yellow highlight | Location: 495

possible for a single legitimate study to show both that smoking prevents cancer and that cancer strikes smokers disproportionately.
Note:INFATTI

Yellow highlight | Location: 497

there might be a single gene (call it the STRS gene) that makes people highly sensitive to stress.
Note:UNA VARIABILE SOPRA LE ALTRE

Yellow highlight | Location: 532

aggregate statistic proves nothing.
Note:IN GENERE

Yellow highlight | Location: 532

natural experiments where, for example, one state or another suddenly raises the tax on cigarettes,
Note:LE FONTI X SOSTENERE LA DANNOSITÀ DEL FUMO SONO ALTRE

Yellow highlight | Location: 536

doctors are pretty sure they understand the mechanism by which smoking causes cancer,
Note:LA SECONDA FONTE

Yellow highlight | Location: 537

each step in the mechanism can be tested in a lab.
Note:Cccccccccc

Yellow highlight | Location: 538

Aggregate statistics show that urban areas with large police presences tend to have a lot of crime.
Note:ALTRO INGANNO CLASSICO

Yellow highlight | Location: 541

the city of Washington, DC, substantially increases its police presence whenever the national terror alert status is raised from yellow to orange.
Note:UN ESPERIMENTO NATURALE

Yellow highlight | Location: 544

when the alert level is orange and there are more police on the streets, crime rates fall substantially.
Note:ESITO

Yellow highlight | Location: 545

we know that college graduates typically earn higher wages than high school graduates.
Note:ALTRA SITUAZIONE

Yellow highlight | Location: 546

education tends to boost your wages?
Note:PRIMA IPOTESI

Yellow highlight | Location: 546

those who already expect to be high earners figure they can afford to waste four years in college?
Note:SECONDA

Yellow highlight | Location: 547

a single genetic makeup leads to both a strong work ethic and a taste for higher education?
Note:TERZA

Yellow highlight | Location: 548

The gold standard would be another controlled experiment:
Note:PURTROPPO IL PROB È INSOLUBILE

Yellow highlight | Location: 554

5 Twin Studies
Note:Tttttttttttttt

Yellow highlight | Location: 558

Fred and Ed are brothers, three years apart in age. Fred went to college; Ed did not. Fred earns more than Ed.
Note:X ME IL CASO IDEALE X SPERIMENTARE

Yellow highlight | Location: 560

Spike and Ike are identical twins. Spike went to college; Ike did not. Spike earns more than Ike.
Note:IL CASO SOPRAVVALUTATO

Yellow highlight | Location: 569

there must be some reason why Spike went to college and Ike didn’t. Presumably there was already some important difference there.
Note:XCHÈ SOPRAVVALUTATO

Yellow highlight | Location: 571

A lot can happen in three years. The family might have gone bankrupt; a parent might have died;
Note:XCHÈ IL CASO IDEALE...FRED NN È ANDATO AL COLLEGE ANCHE SE I DUE FRATELLI SONO MOLTO SIMILI

Yellow highlight | Location: 578

Even identical twins are never truly identical,
Note:PURTROPPO

Yellow highlight | Location: 593

Don’t jump to conclusions based solely on aggregate statistics.
Note:LA CONCLUSIONE GENERALE

Yellow highlight | Location: 594

don’t jump to conclusions, period. Because sometimes it’s the breakdown statistics that mislead
Note:ANCORA MEGLIO

Yellow highlight | Location: 629

7 The Teacher’s Dilemma
Note:Ttttttttt

Yellow highlight | Location: 631

when you praise students for their success, they don’t usually improve very much. In fact, they often dis-improve.
Note:LA SCOPERTA DELL INSEGNANTE...REGRESSIONE ALLA MEDIA?

Yellow highlight | Location: 632

when you speak harshly to a weak student, that student usually improves.
Note:VICEVERSA

Yellow highlight | Location: 635

weak students have a lot of room for improvement.
Note:È PIÙ FACILE MIGLIORARE SE SEI SCARSO...E VICEVERSA

Yellow highlight | Location: 643

Sports Illustrated jinx—sports teams and players who appear on the cover of Sports Illustrated tend to suffer performance declines.
Note:TIPICO DELLO SPORT

Yellow highlight | Location: 645

Making the cover of Sports Illustrated is like being praised by your teacher—it
Note:ANALOGIA

Yellow highlight | Location: 647

examples of the statistical phenomenon called regression to the mean.
Note:IL FENOMENO

Yellow highlight | Location: 651

8 College Education
Note:Ttttttttttt

Yellow highlight | Location: 652

Moosylvania State University
Note:DOVE

Yellow highlight | Location: 652

its weakest third-year students are generally being held back by poor writing skills.
Note:COSA

Yellow highlight | Location: 653

require all freshmen to pass a writing proficiency
Note:RIMEDIO

Yellow highlight | Location: 654

Is this policy justified by the evidence?
Note:DOMANDA...RISPOSTA: NOOOO...I PUNTI DEBOLI DEI SOPRAVVISSUTI SONO SPESSO PUNTI DI FORZA

Yellow highlight | Location: 655

Despite their poor writing skills, these students are still in school in their third year. That’s evidence that poor writing skills are not the key barrier to success.
Note:AL CONTRARIO

Yellow highlight | Location: 658

The least successful students are those who flunked out in their first and second years,
Note:I VERI BISOGNOSI...LA VERA MALATTIA DA CURARE

Yellow highlight | Location: 660

solid math skills are absolutely necessary to survive the first two years,
Note:NEL CASO CONCRETO

Yellow highlight | Location: 662

the British Royal Air Force adding armor to its World War II warplanes.
Note:STORIA RISAPUTA

Yellow highlight | Location: 663

only in spots
Note:X NN APPESANTIRE

Yellow highlight | Location: 664

the majority of the bullet holes were in a few particular locations
Note:DA UN ISPEZIONE AI SOPRAVVISSUTI!!!!!

Yellow highlight | Location: 665

Abraham Wald
Note:L UOMO DELLA PROVVIDENZA

Yellow highlight | Location: 667

It’s the locations with no visible bullet holes that need the armor—because
Note:SI ACCORSE CHE QUEI BUCHI...

Yellow highlight | Location: 682

9 Good-Looking Teachers
Note:Tttttttttttttttttt

Yellow highlight | Location: 684

professors who are perceived as physically beautiful generally receive much higher ratings.
Note:GLI STUDENTI VALUTANO I PROF...SUPERFICIALI?

Yellow highlight | Location: 686

you should have expected all along that the prettiest teachers would be among the best.
Note:IN REALTÀ È ACCURATA...MA XCHÈ?

Yellow highlight | Location: 690

“fashion model”
Note:LAVORI DOVE LA BELLEZZA CONTA

Yellow highlight | Location: 690

“movie star”
Note:ANCORA

Yellow highlight | Location: 690

anything in sales or retailing.
Note:ALTRI

Yellow highlight | Location: 694

You show me a lighthouse keeper with movie-star good looks, and I’ll show you (at least probably) a really really good lighthouse keeper—one
Note:IL BELLO CHE LAVORA DOVE LA BELLEZA NN CONTA È VERAMENTE APPASSIONATO

Yellow highlight | Location: 697

evidence that attractive teachers really are more effective,
Note:INFATTO...ANCHE DA RICERCHE INDIPENDENTI

Yellow highlight | Location: 704

You should expect more attractive teachers to do a better job even if students are completely blind to their physical beauty.
Note:CONXLUSIONE

Yellow highlight | Location: 706

10 Hospital Patients
Note:Tttttttttt

Yellow highlight | Location: 708

80 patients being treated for cancer and 80 being treated for heart attacks.
Note:I RICOVERATI IN UN GIORNO MRDIO ALL OSPEDALE DI NOD

Yellow highlight | Location: 708

it appear that the average Noddian is about equally likely to be struck by a heart attack as by cancer?
Note:DOMANDA RETORICA

Yellow highlight | Location: 713

the fact that some hospital stays are longer than others.
Note:IL BUSILLIS

Yellow highlight | Location: 716

I could just as easily (though far less interestingly) have compiled a collection of equally complicated and subtle puzzles that most people get right.
Note:MOLTI SBAGLIANO NEL RISPONDERE AL QUIZ MA IN QUIZ NN MENO COMPLICATI SE LA VAVANO.XCHÈ?

Yellow highlight | Location: 720

11 Checking Cards
Note:Ttttttttt

Yellow highlight | Location: 723

You want to know whether every card with an A on one side has a 7 on the other. Which cards must you flip?
Note:2 CARTE COME NELLA FIGURA.....RISPOSTA DIFFICILE....LA PRIMA E LA QUARTA...VIENE DA PENSARE ALLA TERZA CHE IN REALTÀ È INDIFFERENTE AI NOSTRI FINI POTREBBE AVERE QUALSIASI LETTERA SUL DORSO...MENTRE SE LA QUARTA HA UNA A CONFUTA TUTTO...

Yellow highlight | Location: 724

12 Barefoot Cheaters
Note:Tttttttt

Yellow highlight | Location: 727

ALL CHILDREN MUST WEAR SHOES:
Note:ORDINE PERENTORIO

Yellow highlight | Location: 729

To catch all the potential rule breakers, which black boxes must you peek behind?
Note:DOMANDA FACILE...IL BIMBO OSCURATO E IL PIEDE NUDO OSCURATO...OVVERO PRIMO E QUARTO

Yellow highlight | Location: 730

13 Which Is Harder?
Note:Ttttttttttt

Yellow highlight | Location: 731

problem 11 or problem 12?
Note:DEI DUE PRECEDENRI QUAL È IL PIÙ STICO

Yellow highlight | Location: 737

Problems 11 and 12 are, in essence, exactly the same problem,

Yellow highlight | Location: 738

only about 10 percent of people solve problem 11 correctly
Note:MA...COLPO DI SCENA!

Yellow highlight | Location: 739

great many more solve problem 12 correctly.
Note:Cccccccccccc

Yellow highlight | Location: 740

our critical faculties kick into high gear in social situations,
Note:CONCLUSIONE....RAGIONIAMO BENE IN UN CONTESTO E NN IN UN ALTRO....ANCHE SE CHIAMATI A FARE LO STESSO RAGIONAMENTO

Yellow highlight | Location: 740

particularly when we’re on the lookout for cheaters.

Note | Location: 740

ESIGENZA

Yellow highlight | Location: 741

a well-developed instinct to root out cheating,
Note:CIÒ CHE CI RENDE UMANI

Yellow highlight | Location: 744

14 Gas Prices
Note:Ttttttttttttt LA FALLACIA DEL COSPIRAZIONISTA

Yellow highlight | Location: 746

the price of gasoline rose so high that oil company profits actually increased. True or False: This is evidence that the oil companies collude
Note:IN SEGUITO A UN INTERRUZIONE DELLE FORNITURE

Yellow highlight | Location: 748

The big hike in gas prices is evidence—in fact, it’s pretty much proof—that the oil companies don’t collude.
Note:AL CONTRARIO...RISPOSTA

Yellow highlight | Location: 750

If it were this easy for the oil companies to raise their profits, then they wouldn’t have waited for a supply interruption.
Note:LA SPIEGA

Yellow highlight | Location: 752

Gasoline customers kept right on buying a lot of gas after the price hike, so they must be quite price insensitive.
Note:PREZZI BASSI ANCHE CON DOMANDA RIGIDA!…IMPOSSIBILE SENZA IPER COMPETIZIONE

Yellow highlight | Location: 761

15 The Gender Gap
Note:TtttttttttUNA PAGA DEL 23% IN MENO AUMENTEREBBE ENORMEMENTE IL VALORE DELLA AZIONI POICHÈ QUESTI È MOLTO PIÙ PICCOLO DEL MONTE SALARI (SU CUI SI RISPARMIEREBBE)...IMPOSSIBILE LASCIARE SUL MARCIAPIEDE TANTI SOLDI

Yellow highlight | Location: 762

women are paid 77 cents for every dollar earned by equally skilled men.
Note:ALICE È DEPRESSA

Yellow highlight | Location: 764

If it were true, he says, profit-maximizing firms would clamor to hire cheap women
Note:L ECONOMISTA BOB SI I DIGNA

Yellow highlight | Location: 767

the people who run corporations are not always single-minded rational profit maximizers.
Note:MA ALICE SA COME VANNO QS COSE...È POSSIBILE DISCRIMINARE E SOPRAVVOVERE

Yellow highlight | Location: 769

managers routinely overlook small profit opportunities but rarely pass up large ones.
Note:CARLITA È LA PIÙ SAGGIA...BISOGNA QUANTIFICARE

Yellow highlight | Location: 771

Pure logic can’t settle this one.
Note:Ccccccccc

Yellow highlight | Location: 774

the workforce is currently (to a rough but reasonable approximation) about 50 percent female.
Note:PEIMO DATO

Yellow highlight | Location: 776

corporations pay out about ⅔ of their revenue in employee
Note:SECNDO DATO...IL RESTO VA AL CAPITALE

Yellow highlight | Location: 779

we can assume that of every $300 that comes in, about $200 goes to the employees
Note:DI FATTO

Yellow highlight | Location: 783

Instead of paying your workers $200, you’re now paying them 89.5 percent of that, or $179—a saving of $21.
Note:RISPARMIO

Yellow highlight | Location: 786

a 42 percent increase.
Note:NEL GUADAGNO

Yellow highlight | Location: 787

That’s huge.
Note:Cccccccc

Yellow highlight | Location: 788

If Alice is right, corporate managers everywhere are seeing that opportunity and choosing not to grab it.
Note:STRANO

Yellow highlight | Location: 794

what does account for gender gaps in wages.
Note:SCEGLIAMO UN ALTRA SPIEGA

Yellow highlight | Location: 795

a conglomeration of a great many factors,
Note:RISPOSTA VCOMPLESSA

Yellow highlight | Location: 795

differences in ability, differences in training, differences in interests, differences in wage-negotiation tactics, differences in career choices, differences in priorities, and, yes, discrimination.
Note:ELENCO

Yellow highlight | Location: 797

The evidence, pro and con, could fill a book—a
NN PROSEGUIAMO QS DISCORSO

Quantificare la qualità

"Bella e fantasiosa la tua teoria, peccato che i fatti dicano altro".

A quasi mezzo millennio da Galileo, una critica del genere la sentiamo come devastante, qualsiasi sia l' argomento oggetto di dibattito. 

Ormai siamo tutti degli "empiristi dentro" e quando c’ è da “quantificare” non ci fermiamo davanti a niente, nemmeno davanti alla qualità.

Oggi non fai molta strada se non hai i numeri giusti dalla tua parte, i metodi quantitativi sembrano farla da padrone e le "regole d' ingaggio" della polemica anglosassone sembrano colonizzare anche i forum continentali.

Dovendo rappresentarmi la classica diatriba, immagino  due contendenti che cozzano elegantemente tra loro nella presentazione di ragioni ingegnose con tanto di allusione erudita e retorica frizzante; ad un tratto, quasi a tradimento, uno dei due rovescia ex abrupto una secchiata di "numeretti" che tramortisce l' avversario dialettico, dopodiché lascia l' agone alzando le mani in segno di vittoria e ringraziando il pubblico estasiato. Il soccombente, non appena riavutosi, corre su internet o in biblioteca alla ricerca di conforto e torna a alla carica della controparte brandendo la sua brava stringa di cifre in grado di vendicarlo. E allora giù scudisciate sulla schiena dell' avversario che sta ancora raccogliendo gli allori. 

Difficile poi che i due s' interessino realmente ai numeretti dell' altro, l' importante è possederne una certa scorta da squadernare al momento opportuno.

La ricetta per l' allocazione temporale del perfetto polemista telematico si è andata via via fissando: il 5% delle risorse cognitive da dedicare all' ascolto della controparte e il 95% da dedicare alla frenetica consultazione delle proprie banche dati.

Ma i "numeretti" di cui sopra sono infidi. Come diceva quel tale, se opportunamente torturati confessano quasi sempre quel che uno vuol sentirsi dire. Ormai tutti lo sanno e non s'impressionano più di fronte ai grafici che addobbano il "nemico" come un albero di natale.

Anziché rispondere con altri grafici, molto più efficace segnalare le fallacie di quelli che ci vengono sottoposti. Ne converrete.

Ecco allora qualche consiglio che puo' venir buono quando ci troviamo in simili frangenti.

Il mio riferimento principale è agli studi statistici applicati alle scienze sociali visto che sono loro ad ingorgare le nostre giornate: ci inciampiamo continuamente leggendo il giornale o scorrendo la pagina facebook.

I motivi per circoscrivere il tutto alle scienze sociali sono essenzialmente due: 1) accolgono gli abusi più eclatanti 2) le scienze naturali sono talmente noiose che nessuno se le fila realmente (anche se bisogna far finta di farlo).

Premetto che alcune dritte le salto a piè pari: chi infatti prenderebbe mai alla lettera un titolo di giornale? Spero che non ci sia bisogno di sprecare un' avvertenza su cose che fanno parte dell' equipaggiamento minimo di chi vuol sopravvivere nel Terzo Millennio.

Cerco di sfrondare il discorso anche da altri suggerimenti scontati: inutile allora ripetere che "correlazione" e "causa" sono fenomeni differenti, che le prime potrebbero anche essere "spurie", che se uno studio ci dice che il posto in città dove crepa più gente è l' Ospedale cio' non significa necessariamente che sia un posto pericoloso da cui stare alla larga.

Sono consigli utili ma sarebbe come ricordare al chirurgo di lavarsi le mani prima di entrare in sala operatoria.

Veniamo allora a qualcosa che di solito si tralascia.

1) Innanzitutto due parole sulla funzione degli studi statistici: non servono a formarsi un'idea sul fenomeno oggetto dello studio. Strano ma vero. 

E' la stessa teoria delle probabilità a metterci sull' avviso. Una prima idea sui fenomeni studiati dobbiamo formarcela pensandoci su per conto nostro, a prescindere da qualsiasi studio statistico. Probabilmente non dobbiamo nemmeno pensarci su, ce l' abbiamo già chiara in testa.

La partenza è sempre soggettiva. La conoscenza comincia sempre da un' introspezione. Non siamo una tabula rasa, dentro di noi c' è già un germe di sapere induttivo, analogico, metaforico ecc., dobbiamo tirarlo fuori e chiarificarlo a noi stessi fissando delle credenze a priori. 

Poi, a posteriori, aggiorneremo queste credenze sulla base degli studi visionati e del peso che decidiamo di attribuire loro. 

Cio' significa che uno studio che corrobora l' idea di Giovanni piuttosto che quella di Giuseppe, non sta dando ragione a Giovanni, sta solo chiedendo a Giovanni e Giuseppe di aggiornare le loro credenze in un senso favorevole a Giovanni. 

Tuttavia, tutto cio' resta perfettamente compatibile col fatto che la ragione stia dalla parte di Giuseppe. 

Il matematico italiano Bruno De Finetti ha dedicato una vita a sondare la base soggettiva di ogni calcolo probabilistico. Il cercatore di verità è uno scommettitore che parte dalle sue sensazioni correggendole con le informazioni oggettive che raccoglie via via.

2) Se la materia è complessa non soffermatevi mai su un singolo studio. 

E' bene che il profano si concentri unicamente sui cosiddetti meta-studi, ovvero su quei lavori che passano in rassegna la letteratura scientifica disponibile su un certo tema per trarne, con certe tecniche di uso comune, delle conclusioni generali. 

Penso si tratti di un consiglio utile poiché da solo basta a giustificare l' accantonamento del 98% di cio' che riportano i giornali, quasi sempre ossessionati dallo studio singolo.

3) A proposito di “aggregazione” dei risultati. Spesso ci si dimentica che in statistica i risultati sono difficili da “sommare” e anche la proprietà transitiva è alquanto ballerina.

Mi spiego meglio con una storiella:

Un mio amico frequentava un club tre giorni alla settimana. Era alla ricerca di un' anima gemella, ma la voleva dal carattere dolce. Sapeva che al martedì scegliere una bionda aumentava le possibilità di una compagnia con queste caratteristiche. Il Giovedì i frequentatori cambiavano completamente, ma dalle meticolose indagini fatte, la dolcezza continuava ad essere una prerogativa delle bionde. Il mio amico si comportava di conseguenza.

La domenica sera al club affluivano tutti, sia le clienti abituali del martedì che quelle del giovedì. Il mio amico nei fine settimana è particolarmente malinconico, senta avvicinarsi una nuova serie di giorni lavorativi che lo strazieranno; più che mai ha bisogno di dolcezza. Per non perdere il suo tempo dietro la persona sbagliata consulta i suoi appunti e si accorge con sgomento che per avvicinare il suo obbiettivo è molto meglio che si dedichi alle more.

La situazione di cui sopra illustra un' illusione statistica molto più comune di quanto si pensi. Ricordo di esperimenti sui farmaci che, separatamente, segnalavano l' efficacia delle medicine testate. Senonché, riunendo gli esiti si notava come l' effetto placebo fosse predominante.

L' inghippo non è immediato ma neanche difficile da cogliere. Ci si mette sulla strada se si considera che la probabilità è una frazione, e sommare numeratori e denominatori non equivale certo a sommare frazioni. Non basta considerare la misura di una probabilità ma anche quanto una probabilità incide sull' altra qualora si sommino. Una probabilità puo' essere molto alta ma avere impatto nullo se sommata ad una probabilità bassa ma “solida”.

3) Trascurare gli studi che indagano la relazione isolata tra due variabili.

Molto più serio prestare attenzione a quegli studi a cui è sotteso un modello, e quindi anche un insieme di relazioni che vanno verificate contemporaneamente.

4) Il consiglio che segue lo traggo dalla mia personale esperienza di lettore. 

L' efficacia educativa dei bambini è un tema che mi è sempre stato caro e che ho sempre cercato di seguire; per una vita i relativi studi in materia hanno evidenziato vari effetti più o meno "robusti".

Tuttavia, quando si è potuto tenere sotto osservazione i soggetti del campione per periodo più lungo, ci si è accorti che la gran parte di quegli effetti correttivi dell' educazione svaniva: la nostra natura è "flessibile", ci pieghiamo ma quando lo stimolo cessa tornano anche le cattive abitudini. 

Evidentemente il tempo di osservazione è decisivo. In talune tematiche, per esempio quelle legate all' efficacia educativa, i cosiddetti follow up devono essere come minimo decennali. 

Nel caso specifico a cui ho accennato non c' è stata malafede, si è trattato solo di una scoperta che ha apportato rettifiche devastanti ai risultati pregressi. Ma in altri casi l' "ingenuità" diventa "trucchetto", ed ecco che il ricercatore "ferma" l' esperimento al momento opportuno pur di ottenere l' esito "desiderato".

5) Un altro trucco consiste nel dividere in tanti piccoli sottogruppi la popolazione osservata (splitting). Magari la relazione che cercate non si presenta sull'intera popolazione, magari non si presenta nemmeno per la stragrande maggioranza dei piccoli sottogruppi. Difficile però che non si presenti proprio per nessuno, almeno un piccolo sotto-gruppo sperduto nel campione generale reagisce positivamente. 

E' per questo che talune medicine vengono ritenute inefficaci ma - guarda caso! - funzionano per le...  donne ispaniche obese di mezz'età. 

Meglio che niente, direi. Si puo' sempre fare il titolo: "Trovata la ricetta contro la sindrome xy nelle "donne ispaniche obese di mezz'età". Diffidare allora di risultati tanto specifici, probabilmente a monte c' è uno splitting sospetto.

6) C' è poi il trucco dei denominatori, tipico quando si misura, per esempio, l' efficacia delle terapie contro la dipendenza da sostanze. 

Perché le cure serie danno risultati tanto deludenti (20-25% di riabiltazione) mentre alcune comunità miracolose hanno successi che rasentano il 60%? 

Semplice, poiché gran parte delle defezioni si presentano all' inizio, quando la terapia viene presentata al paziente che l' abbandona ritenendola troppo onerosa, basta spostare di poco l' inizio dell' intervallo convenzionale di osservazione del trattamento, in modo da escludere dal computo i primi rinunciatari.

In questo modo le percentuali miracolose fioccano. Ma una terapia è buona anche e soprattutto se il paziente è invogliato a sottoporvisi!

7) Gran parte degli studi statistici delle scienze sociali vorrebbero dimostrare che esiste un collegamento tra due o più eventi. Per esempio: "se adottate un certo stile educativo, vostro figlio avrà successo nella vita". 

A questo punto per per dimostrare la tesi bisogna trasformare la "storiella" di questa relazione in numeri, possibilmente in numeri conservati in banche dati da cui poter attingere. Ma, a parte la disponibilità delle banche dati, i veri problemi incominciano ancora prima, nella traduzione della storiella in variabili quantitative. Per farlo bisognerà adottare delle proxy. 

Scegliere le proxy è un' operazione tutt' altro che innocente, si parla comunemente di "specificazione". 

Troppo spesso la specificazione è problematica e difficilmente traduce in modo fedele la storiella che a noi interessa e che finirà sui titoli dei giornali. Cosa significa per esempio "avere successo"? Significa avere un reddito medio tra i 30 e i 60 anni più alto di X? Oppure avere una vita lunga almeno Y e priva di malattie? Oppure rispondere 10 quando ci viene chiesto in un certo momento quanto siamo felici da 1 a 10? 

Il problema della specificazione è tra i più ostici, ma spesso passa inosservato al lettore che si limita a leggere sul giornale o nell' abstract la "storiella" della relazione ricercata e gli esiti della ricerca accantonando tutti i problemi di "traduzione" della qualità in quantità.

Lo statistico Edward Leamer ha dedicato una vita a lanciare l' "allarme specificazioni" presso gli economisti raccogliendo molti riconoscimenti e poco ascolto: si è andati avanti esattamente come prima.

 

8) Un tipico trucco utilizzato dietro le quinte da ricercatori dalla dubbia deontologia consiste nel moltiplicare le proxy di un fenomeno per poi scegliere quelle che presentano una relazione statistica significativa. 

Vi faccio presente che se uno spende un anno su una ricerca e alla fine non "dimostra" nulla potrebbe anche pagarla in termini di popolarità e di carriera. 

Sono pochi i giornali che pubblicano ricerche prive di relazioni significative. Insomma, l' onestà costa cara in questo campo, e così in molti si "danno da fare", magari con la moltiplicazione delle proxy.

9) Tutti i ricercatori hanno un sogno, ovvero poter dire: "... il seguente studio dimostra che esiste una relazione significativa tra X e Y". 

Ma attenzione, la  "significatività statistica" è solo una convenzione, equivale a dire che la probabilità di ipotesi nulla (inesistenza di alcuna relazione tra X e Y) calcolata sulla base dei dati raccolti è inferiore al 5% (1% in alcuni casi). 

Nel valutare uno studio "significativo" il lettore profano deve allora tenere a mente due cose: 1) cosa vuol dire il termine "significativo" e 2) ricordarsi che ci riferiamo a mere convenzioni. 

Per quanto riguarda il primo punto va detto che la significatività indica solo che esiste (in termini probabilistici e con tutti i limiti di cui ai punti precedenti) una relazione tra le variabili considerate e non invece che esiste la relazione così come la individua lo studio stesso dando un valore ai parametri delle equazioni. 

Per quanto riguarda il secondo punto, va ricordato che "significatività statistica" non significa "significatività sostanziale". 

Per esempio, molti studi "statisticamente significativi" sono carta straccia per fungere da base a certe decisioni concrete poiché adottarli come base decisionale sarebbe razionalmente troppo costoso in termini di rischio. D' altro canto alcuni studi statisticamente "insignificanti" possono fornire al decisore utili indicazioni (sul punto si è esercitata Dreidre McCloskey nel classico "The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives").

10) Esiste uno standard qualitativo minimo per i lavori scientifici che vogliono dire qualcosa nell' ambito problematico delle scienze sociali, uno standard che via via si aggiorna. 

Sarebbe del tutto inutile prendere in considerazione studi redatti con vecchie metodologie, almeno quando ne esistono di più accurati. 

Oggi lo standard minimo richiede per lo meno l' impiego dei cosiddetti random trial, una procedura impiegata nei test medici e poi importata anche nelle scienze sociali. Meglio stare all' erta leggendo lavori privi di "random trial", io non li prenderei nemmeno in considerazione. 

In poche parole, per vedere se un "trattamento" è efficace lo somministriamo ad alcuni gruppi di persone da confrontare poi con altri gruppi di persone. Tuttavia, molte variabili potrebbero interferire inquinando le valutazioni,  è decisivo allora che i gruppi siano selezionati casualmente, solo in questo modo le interferenze si neutralizzano tra loro. 

Ma non sempre è facile "selezionare a caso". Se stiamo valutando quanto è efficace sussidiare un villaggio africano in un certo modo, per esempio, noi possiamo controllare gli effetti facendo un confronto con gli altri villaggi ma poiché una selezione casuale è difficile, cio' puo' comportare problemi tecnici. 

Inoltre, applicare il random trial conduce anche a problemi etici: perché sussidiare il villaggio X e far languire il villaggio Y? Solo per tracciare una statistica? 

Si tratta di limiti a volte comprensibili ma che minano l' affidabilità dello studio.

11) Nelle scienze sociali uno studio affidabile dovrebbe sempre essere "cieco". 

In altri termini, dovrebbe neutralizzare l' effetto placebo. In medicina tutti sanno cos' è l' "effetto placebo" e tutti sanno come neutralizzarlo: qualora sia il paziente trattato col medicinale in prova sia quelli non trattati ignorino la loro condizione, l' effetto placebo sarà neutralizzato. 

Forse non tutti sanno che l' effetto placebo disturba pesantemente anche le scienze sociali: se forniamo ai contadini di un certo villaggio un' attrezzatura moderna che, per fare confronti sull' efficacia del nostro aiuto, neghiamo ai contadini degli altri villaggi, la produttività dei primi si distaccherà da quella dei secondi spesso anche solo per mere motivazioni psicologiche. Sembra strano ma è così. 

Certo che in casi come il precedente e molti altri nell' ambito delle scienze sociali è ben difficile "accecare" lo studio. Esistono allora dei "coefficienti placebo" in grado di tarare i vari studi "non-blind". Meglio che niente. 

In ogni caso, evitare quegli studi che perdono di significatività dopo l' applicazione del coefficiente. Ed evitare anche quelli che non lo applicano laddove esiste.

12) Il sogno di ogni ricercatore è "pubblicare". 

Solo che difficilmente una rivista scientifica pubblicherà mai studi con risultati banali. E purtroppo, specie nelle scienze sociali, gli studi seri conducono quasi sempre a risultati banali. Si potrebbe dire che il buon senso anticipa la ricerca, e la cosa è estremamente seccante per un ricercatore con tanta voglia di emergere. 

Ecco allora la tentazione di cestinare i risultati banali per presentare all' editore solo i risultati singolari. 

Prova e riprova, da qualche parte un risultato originale lo si tira fuori. 

Il cosiddetto "pubblication bias" spiega perché fiocchino a questo modo studi con conclusioni tanto contro intuitive: probabilmente a monte c' è molto materiale cestinato!  

Chiunque vede che questo non è un modo onesto di agire, un risultato singolare ha valore solo se accostato ai tanti risultati banali ottenuti in precedenza. Solo in questo modo, infatti, noi avremo un' immagine fedele di come stanno le cose. 

Ebbene, anche qui esistono dei coefficienti di "publication bias" che fanno la tara agli studi, sono necessariamente imperfetti ma sarebbe meglio applicarli. 

Quando leggete uno studio sul rapporto uomo-donna, per esempio, meglio chiedere: i risultati sono al netto del coefficiente di "publication bias" caratteristico degli studi di genere? No? Ah, allora grazie e arrivederci.

13) Dimenticavo, chiedersi sempre: il campione è adeguato?

14) Non dimentichiamo mai la cosiddetta critica di Lucas: nelle scienze umane, specie nell' economia, l' individuazione di una regolarità statistica è la premessa affinchè cessi. Almeno se gli operatori sono razionali.

Pensate a cosa succederebbe se si scoprisse che le quotazioni di borsa si alzano sempre al Lunedì mattina

15) Occhio alla cosiddetta “casualità non rilevata”.

Tirando la classica moneta una sequenza CTCTCCTT ci appare come casuale mentre una sequenza CTTTTTTT ci appare come pilotata. Eppure entrambe le sequenze hanno la medesima probabilità estrattiva.

16) Ci sono fatti che reputiamo sorprendenti e sintomatici quando invece sono del tutto normali.

Penso per esempio alle regressioni verso la media. E' un fenomeno naturalmente sottostimato.

Prendiamo una gara articolata su due manches. I migliori nella prima tornata peggioreranno sicuramente la loro prestazione media nella seconda. Altro esempio, prendiamo delle coppie di coniugi e valutiamo i mariti per la loro preparazione culturale. Isolando i più preparati e passando poi a considerare le mogli ci rendiamo conto che la prestazione di queste ultime non è, nell' insieme relativo alle mogli, all' altezza di quella dei corrispondenti mariti nell' insieme che li riguarda. Ci sorprendiamo di questo fatto nonostante sia del tutto naturale.

17) Sarà banale dirlo ma i conflitti d' interesse indeboliscono a priori la credibilità di uno studio.

Naturalmente la cosa migliore sarebbe approfondire tutti gli studi per evidenziarne pregi e difetti.

Tuttavia, data l' abbondanza di ricerche disponibili, io direi di scartare quelli curati da chi si presenta un conflitto d' interesse materiale ma soprattutto ideologico. 

Da cattolico, per esempio, cerco di evitare gli studi condotti da associazioni cattoliche in materia di, che ne so, aborto o adozioni gay. 

Ma questo principio vale per tutto e per tutti. 

Un conflitto spesso valutato è quello che interessa gli istituti di ricerca statali (Università ecc.). Lo stato è un finanziatore che, come tutti i finanziatori gradisce certi risultati, per esempio quelli che gli consentono di allargare la sua sfera di influenza.

E' così raro trovare ricerche indipendenti.

18)  Ho tenuto per ultimo il consiglio che ritengo più importante e che puo' anche essere visto come un affinamento del primo punto. 

Dicevamo che il classico studio statistico pretende di illustrare l' esistenza di una certa relazione tra due fenomeni; gli esiti vengono poi spesso presentati in termini probabilistici al fine di enfatizzarne la plausibilità. 

Piccolo - e infido - particolare: la probabilità intrinseca nello studio andrebbe ulteriormente pesata (e quindi ridotta) con la probabilità che uno studio del genere sia replicabile ottenendo i medesimi risultati.

[... partiamo da una semplice considerazione: volendo sapere se una moneta è truccata, la lancio due volte in aria ottenendo due volte "testa". Cosa ne deduco? La probabilità di avere un risultato del genere con una moneta regolare è del 25% ma cio' non implica certo che la probabilità di avere in mano una moneta truccata sia del 75%!...una regressione collega un' evidenza disponibile (E) ad un' ipotesi di lavoro (I) stabilendo una relazione (R) tra i due fenomeni. Per convenzione, si dice che questa relazione sia "statisticamente rilevante" quando la probabilità dell' ipotesi nulla (N) è inferiore al 5% (in alcuni casi dell' 1%). L' ipotesi nulla è l' ipotesi per cui non esiste alcuna relazione tra I ed E. Nel caso precedente, se ipotizziamo una moneta truccata, l' ipotesi nulla è che la moneta sia regolare. Diciamo che se p (N dato E) minore di 5, allora la relazione R è rilevante. Ma attenzione, dire che p (N dato E) minore di 5 non significa dire che p(E dato N) sia minore di 5! Le due probabilità non sono affatto collegate in modo così immediato, sono invece messe in relazione dalla probabilità che l' esperimento possa essere ripetuto, ovvero da una probabilità soggettiva espressa di solito con la frazione pE/pN. In ogni lavoro statistico questa probabilità a priori è ineliminabile: noi potremmo anche - in teoria - ripetere l' esperimento ma l' esito andrà di nuovo pesato da un "coefficiente di ripetibilità". Le regressioni, allora, non fissano delle probabilità assolute, come sembrerebbero far capire talune divulgazioni. Per questo motivo il reverendo Thomas Bayes diceva quello che noi abbiamo umilmente tentato di dire al primo punto:  la regressione non stabilisce ma aggiorna delle probabilità a pre-esistenti, che sono sempre soggettive... ]

19) Con uno studio statistico davanti, spesso il nostro cervello soffre e si prende una vacanza. Capita che  sopravvaluti certi aspetti ma altrettanto spesso che ne sottovaluti altri. Alcuni concetti cominciano curiosamente a distorcersi.

Pensiamo al caso del concetto di  “vita umana” e del suo significato. Noi tendiamo a sacralizzare La vita umana e a trascurare Una vita umana.

In certi contesti la vita umana non ha prezzo, in altri contesti (quelli statistici) ci riteniamo curiosamente autorizzati alla sprezzatura.

Lo notava Thomas Schelling quando si chiedeva come mai nella sensibilità sociale sarebbe disumano non sganciare 1 milione di euro per salvare Alfredino Rampi incastrato nel pozzo mentre l' istallazione di un guard rail sull' autostrada che salverebbe in media una vita all' anno, non ci coinvolge per nulla e decliniamo la proposta compiaciuti del risparmio.

Se imparassimo a leggere meglio le statistiche, forse potremmo correggere asimmetrie di questo genere.

20) Dopo la serie di avvertenze fornite, molti saranno tentati dallo scetticismo, diranno "lasciamo perdere uno strumento tanto infido". 

Errore! Innanzitutto prevedo che per molti una conclusione del genere non sia sincera ma solo un pretesto per sdoganare la propria pigrizia: fare le pulci a uno studio statistico è faticoso, liquidarli tutti in blocco per affidare la difesa di una tesi all' improvvisazione retorica lo è molto meno. 

In secondo luogo, difendo la rilevanza delle piccole probabilità. 

Quando tutto equivale, anche una tenue quanto problematica correlazione puo' essere decisiva nel far pendere il piatto della bilancia. Siamo scommettitori razionali e a parità di posta siamo tenuti a seguire anche le indicazioni di una differenza probabilistica invisibile. 

Nell' ambito delle scienze umane, i saggi più convincenti che ho letto mescolavano abilmente introspezione, senso comune, esperienza personale, statistiche e storia. La statistica non veniva mai schifata; anzi, aveva un posto d' onore. Volete un esempio? Il mio preferito è quello fornito da  Milton Friedman e Anna Schwartz: A Monetary History of the United States, 1867–1960

AGGIUNTE POSTUME

ADD1. R = relazioni vere / relazioni possibili. Ogni oggetto di studio ha un suo R, quanto più questo valore è elevato tanto più probabile che le conclusioni raggiunte negli studi saranno false. Si chiama "indice di comparabilità" e rappresenta un modo di far entrare in scena Bayes, infatti l' indice di comparabilità di un settore di ricerca rappresenta la probabilità a priori che la relazione da testare sia vera (sul punto vedi il lavoro di John P. Ioannidis).