giovedì 4 dicembre 2008

Deirdre McCloskey-Stephen Ziliak: The Cult of Statistical Significance

Molti piagnucolano e si lamentano in modo vago del meccanicismo che caratterizza certi approcci tipici delle scienze umane. Ecco finalmente una critica puntuale e asciutta, con tanto di esempi, nomi, cognomi e riviste di settore fatte passare per interi decenni con singoli articoli schedati uno per uno. Nel mirino molta economia ma anche molta psicologia, medicina, biologia, antropologia e sociologia. E' bello constatare che a volte la scienza se la prende con gli scieziati arruffoni piuttosto che con l' umanista sprovveduto che ha osato invadere le competenze altrui.

L' imperatore copre le sue pubenda con un vestito che non esiste ma che tutti sembrano vedere. Parlo di una certa retorica pseudo-scientifica in cui si simula un valore sostanziale a tutte quelle relazioni tra due variabili insignite con il crisma sacro della "significatività statistica".

Balle, gridano i due bambini dispettosi che hanno scritto questo libro. Spesso cio' che è "statisticamente significativo" è anche "sostanzialmente irrilevante".

Il fatto è che la scienza si occupa di quantità, stabilire se esiste un nesso tra due variabili, è problema di tutt' altra natura, un problema qualitativo, un problema di esistenza, per l' appunto.

Purtroppo un nesso esiste anche tra le più strampalate coppie di variabili che ci passano per la testa, cosicchè eminenti statistici si sono presi l' onere di individuare uno scarto massimo d' errore standard oltre il quale si suppone che la relazione non esista. Ma questo è un puro formalismo, è anche il vaso di Pandora spalancato il quale mille morbi letali sono fuoriusciti. In poche parole: la precisione è divenuta più importante della sostanza.

Una scienza costruita sul culto della precisione formale non puo' campare a lungo. Ogni pensiero scientifico che voglia dirsi tale deve presentare una valutazione economica dei possibili errori, con questo allegato si scoprirà che relazioni fino a prima "inesistenti" diverrano di colpo cruciali, o comunque molto più degne di considerazione rispetto a quelle più precise con errori dal costo elevato.

Purtroppo molti "scienziati" pensano di aver finito il loro lavoro una volta individuata isolatamente una relazione tra due variabili che presenti un p-value minore di 0.05. E' la filosofia del 5%. proprio quella che manda in bestia M/Z. Un guaio che ha per padre il grande statistico Ronald Fischer, un guaio possibile per aver tralasciato l' opera oscura del birraio William Gosset. Eh, sì. M/Z sono due storici e raccontano una storia (delle idee) con tanto di buoni e cattivi.

Cerco di integrare ed estendere la lezione di M/Z: cio' che conta non è la precisione (misurata convenzionalmente), quanto la magnitudo economica dell' errore standard. Un errore notevole puo' avere scarso valore mentre piccoli errori possono essere micidiali. Ma per misure detta magnitudo occorrono dei prezzi. Occorre quindi una teoria generale dei prezzi, e spesso si tratta di teorie con un valore soggettivo intrinseco.

Da quel poco che ho detto risulta chiaro che le scienze umane hanno: 1) una base umanistica e 2) un olismo di fondo.

L' Olismo garantisce dal fatto che non ha senso testare le relazioni di una qualsiasi coppia di variabili. Ha senso solo testare quelle relazioni che hanno dietro una "teoria del mondo" minimamente coerente e condivisa. In altri termini: l' ipotesi deve essere plausibile, deve uscire da una tradizione di pensiero.

I pastafariani (hat tip a diana) ci segnalano che il "global warming" è legato statisticamente alla diffusione della pirateria. Ma questa relazione, quand' anche esistesse, non è plausibile, non è incorporata in una teoria generica: bisognerebbe crearne una ma non si capisce da dove iniziare, la cosa sarebbe molto "costosa", probabilmente dovremmo abbandonare molti concetti che ci fanno comodo. Gli errori, in questa relazione, per quanto piccoli, sarebbero costosissimi e indurrebbero al rigetto.

Notare che l' enfasi data alla Teoria (generale) è un' enfasi data all' Uomo. Solo l' uomo sa formulare teorie di sua iniziativa. Solo l' Uomo giudica sulla "plausibilità". Formalizzare invece in modo isolato una relazione tra due variabili è cosa di cui sono capaci anche i Robot (che infatti riscoprono persino le Leggi di Keplero se messi in condizione da un programmatore).

Dobbiamo rassegnarci, la nostra conoscenza è come una ragnatela sottilissima: toccare un filo, anche a distanza, sommuove tutta la struttura. Anche un filo problematico, una relazione gravata da molte irregolarità, puo' avere un valore prezioso, puo' essere decisivo per sostenere l' ambaradan. Meglio non tagliarlo in nome di un coefficiente statistico che sfora certi limiti convenzionali.

Chiudo con due osservazioni. La prima è un basso pettegolezzo. L' economista Deirdre McCloskey nasce "Donald". L' ho scoperto alla fine della lettura e, devo ammeterlo, sono rimasto spiazzato. Lo so che la cosa non depone a mio favore. La seconda mi serve per mettere un link dovuto, Valerio Filoso infatti mi ha messo l' appetito giusto per divorare questo libro.