Lant Pritchard ha qualcosa da precisare sul lavoro dei neo-Nobel Esther Duflo e Abhijit Banerjee. Lo fa in un post che ora non riesco a rintracciare ma che ricordo bene.
1) Oggetto - Che sia chiaro: l'oggetto dei loro studi non è la povertà (globale) ma un metodo scientifico applicato alle scienze sociali e che va sotto il nome di "random control trial" (RCT). Nella sostanza si tratta di testare le policy come si testano le medicine.
2) Paul Romer - Ebbe a dire: immaginate un paziente a cui i medici dicano: "voi avete un cancro e anche un'allergia. Quest'ultima si puo' curare dividendo la vostra cute in molte zone da trattare diversamente in modo da isolare le cause del problema e debellarla. Poiché con il tumore nulla del genere è possibile, ci limiteremo a curare la vostra allergia. Ecco, Esther Duflo e Abhijit Banerjee sono come quei medici. Curiosità, a quella conferenza era presente Abhijit Banerjee, che ammise: l'analogia era corretta.
3) Povertà - RCT isola i programmi anti-povertà di successo (PAS). Primo problema: non esiste correlazione tra Povertà delle nazioni e PAS.
4) Mitigazione - Conosciamo molti paesi in cui la povertà è calata: Cina, India, Vietnam, Thailandia, Indonesia... Ma non esiste correlazione tra queste riduzioni conosciute della povertà globale e PAS.
5) Casi - Abbiamo isolato 3991 casi di individui che a detta dei vicini sono usciti dalla povertà: lo 0.3% (3 su 1.000) l'ha fatto grazie ai PAS. La stessa percentuale di chi c'è riuscito vincendo la lotteria.
6) Effetto distrazione - i PAS individuati con il metodo RCT non curano la povertà, si limitano a mitigare alcune conseguenze negative dell'essere poveri. Certo, le donazioni di lenticchie incoraggiano le vaccinazioni, alcuni trucchetti limitano l'assenteismo, il de-worming migliora il profitto scolastico... Tutte cose interessanti, ma non sembra che sia quella una via promettente per uscire dalla povertà. Il metodo RCT è un passo avanti rispetto alle solite correlazioni statistiche ma indugiare sui pochi ambiti in cui è applicabile fa perdere di vista il fenomeno generale.
martedì 1 marzo 2016
RCT’s as Slow Learning http://www.arnoldkling.com/blog/rcts-as-slow-learning/
Per quanto la Chiesa non dia indicazioni vincolanti, suggerisce di orientarsi verso quelle forze politiche disposte a dare battaglia in difesa dei cosiddetti “principi non negoziabili”, ovvero:
1. difesa della libertà di istruzione e di religione;
2. difesa della famiglia naturale fondata sul matrimonio tra uomo e donna;
3. difesa della vita dal concepimento al termine naturale.
In sé si tratta di battaglie alte e nobili, ma bisogna tener conto che in sede di voto va giudicata la loro natura politica.
E allora mi scappa una confessione: la prima battaglia mi entusiasma, la seconda molto meno.
La terza mi provoca sentimenti misti - tra aborto, eutanasia e testamento biologico c’ è una bella differenza! Meglio allora accantonarla evitando così l’ appesantimento dei distinguo.
Ma come tradurre un simile giudizio “di pancia” in un giudizio più meditato? Ci provo.
La prima battaglia sembra dire: “non siamo tutti uguali, lasciateci vivere a modo nostro”.
Mentre la seconda, di fatto, dice: “bene o male siamo tutti uguali, non consentite ad altri di vivere in modo differente da noi”.
Con la prima è come se si dicesse: “lasciateci sperimentare vie nuove alternative”.
Con la seconda, invece: “sappiamo già abbastanza, consentire la sperimentazione di vie nuove è un puro spreco di risorse”.
A questo punto spero che le cose siano un po’ più chiare: quanto più uno valorizza diversità e sperimentazione, tanto più abbraccia la prima battaglia e dubita della seconda.
Ma la sperimentazione puo’ trasformarsi in un valore?
Io penso di sì: rende umile la conoscenza e impedisce di abusarne.
Ci sono sublimi realtà ultraterrene che per la loro natura possiamo conoscere solo con il concorso della Grazia: che irresponsabile chi rifiuta tale illuminazione! Che provinciale chi parte con un atto di chiusura anziché con un atto di fiducia! Che ottusità dimostra chi non riversa sullo scettico l’ onere della prova.
Ci sono poi realtà mondane che possiamo conoscere grazie al metodo sperimentale: che presuntuoso chi rifiuta di mettere alla prova le proprie idee, che arrogante chi pensa che tutto si esaurisca nel proprio intuito, che atto di protervia dar peso solo alla propria esperienza personale, che grezza semplificazione ritenere che gli altri siano come noi o comunque sempre uniformabili a noi.
Le realtà mondane sono più disordinate e variegate di come ci piace rappresentarle. Per questo andrebbero accostate con umiltà.
Se avete la mia età probabilmente da piccoli avrete dormito nella culla a faccia in giù:
… era il metodo più consigliato, reso famoso dal pediatra Benjamin Spock… se il bambino supino vomita è probabile che si soffochi nel suo vomito… e in effetti molti casi del genere furono riscontrati…
Oggi sappiamo che per alcune decine di migliaia di famiglie questo amorevole consiglio risultò fatale:
… il tasso di mortalità relativamente basso ha fatto sì che ci volessero anni per giungere alla verità su questa prassi…
Spock non fu certo accusato di infanticidio seriale, si era espresso in buona fede sulla base di ragionamenti plausibili e di un’ esperienza pluridecennale formatasi con tutti i crismi sul campo.
Fu solo nel 1988, dopo una serie rigorosa di sperimentazioni, che la prassi mutò:
… tra il 1970 e il 1988 morirono circa sessantamila neonati… la teoria e il buon senso causarono una strage degli innocenti…
Nel XVII secolo Jan Baptist van Helmont sfidò i dottori dell’ epoca cercando di dimostrare che salassi e purghe non arrecavano alcun beneficio:
… tiriamo fuori dagli ospedali e dalle baracche 500 persone con febbre, pleurite eccetera. Dividiamole a metà, tiriamo a sorte quale metà viene con me e quale con voi: io li curerò senza purghe e salassi, voi fate come volete… vedremo quanti funerali avremo a testa…
Questa non fu l’ unica sfida lanciata da Helmont e a qualcuno lo strano dottore apparirà un po’ macabro, “contare i funerali” era il suo passatempo preferito. Eppure gli dobbiamo tanto, l’ applicazione reiterata delle sanguisughe su tutto il corpo è a dir poco sgradevole.
Aceto, acido solforico, acqua di mare, noce moscata, sidro o agrumi? All’ epoca di James Lind non si sapeva bene come curare i malati di scorbuto, cosicché si puo’ capire il suo imbarazzo quando dopo otto settimane di navigazione ben trenta marinai cominciarono a soffrirne:
… il buon Lind mise da parte le sue convinzioni e il suo intuito per selezionare una dozzina di soggetti con la malattia al medesimo stadio… li divise casualmente per coppie somministrando a ciascuna coppia una cura differente…
Solo la coppia che mangiò arance e limoni migliorò, gli altri morirono. Qualcuno, con calma, scoprì in seguito che lo scorbuto deriva da una deficienza di vitamina C, ma in attesa dell’ annuncio, molte vite umane si misero in salvo.
Sembra semplice procedere in questo modo ma esiste un problema etico:
… una volta sorto il sospetto su quale sia la cura migliore… i problemi etici vengono a galla… come potremmo replicare l’ esperimento di Lind rifiutando arance e limoni?…
La cavia umana non è una cavia qualsiasi, puo’ dare il suo consenso. Affidarsi al consenso evitando paternalismi troppo soffocanti consente di aggirare l’ obiezione etica.
Quante vite hanno salvato i genitori che accettarono di far dormire proni i loro bimbi? E quante i marinai che accettarono di curarsi con l’ acido solforico? Il paternalismo forse li avrebbe protetti con la sua potente egida ma avrebbe condannando le generazioni future.
Oggi, in un’ epoca in cui il paternalismo non manca, la sperimentazione è presa di mira e i paradossi fioccano:
… il ricercatore che volesse condurre un esperimento controllato confrontando due cure differenti dovrebbe rispondere a un comitato etico… il medico che si limita a prescrivere una delle due cure basandosi su intuito ed esperienza personale, no… è semplicemente uno che fa il suo lavoro…
Un altro sperimentatore indefesso fu Archie Cochrane
… propose un esperimento per individuare le punizioni più efficaci contro la pessima condotta degli scolari: una lavata di capo, la detenzione o le frustate… non riuscì a convincere nessuno a inserire le frustate poiché ai più sembrava una cosa deplorevole…
Il fatto è che nelle varie scuole del paese gli studenti venivano frustati comunque e Cochrane dubitava che questa pratica funzionasse:
… l’ avversione al metodo sperimentale su questioni del genere fu tale da far prevalere uno scrupolo di coscienza in realtà infondato…
L’ equivoco di cui fu vittima Cochrane si manifesta ancora oggi. Non ci si rende conto che:
… spesso l’ alternativa agli esperimenti controllati sono gli esperimenti non controllati… i quali sono peggiori e insegnano poco o nulla…
***
Il metodo sperimentale soffre di un altro grave inconveniente: poiché i risultati sono imprevedibili, potrebbero dispiacerci e questo ci fa tentennare. Chissà perché ma noi ci affezioniamo ad alcune idee e soffriamo se chiamati dall’ evidenza ad abbandonarle.
Altre volte è persino peggio: sono in gioco veri e propri interessi materiali.
Archie Cochrane condusse un esperimento controllato sull’ efficacia delle cure coronariche, voleva verificare se i pazienti curati a casa reagissero meglio di quelli curati in ospedale:
… in un briefing divenuto famoso illustrò ai suoi colleghi che i gruppi di pazienti curati a casa mostravano una mortalità superiore. La maggior parte reagì dicendo: “Archie, se davvero hai un’ etica devi sospendere l’ esperimento impedendo che i pazienti continuino a curarsi a casa”. Archie li lasciò parlare a lungo finché non rivelò di aver mentito, i numeri dicevano il contrario, la mortalità era più elevata tra i pazienti curati in ospedale. Dopo questa rivelazione, anche se Archie non la pose direttamente, aleggiò a lungo una domanda: adesso i medici avrebbero forse preteso di chiudere immediatamente le loro unità? Naturalmente non fu così… ci si limitò a virare verso posizioni di scetticismo…
***
Quali sono le conseguenze delle emissioni di biossido di carbonio sul clima globale?
Boh. Le osservazioni che possiamo fare e gli scenari che possiamo congetturare non sono rigorosi.
Ci sono questioni su cui a rigore non si puo’ sperimentare. Di “clima globale” ce n’ è uno solo e quindi la formazione di sottogruppi di controllo è preclusa.
Molti pensano che la realtà sociale non si presti a esperimenti. E’ troppo complessa e vede all’ opera una moltitudine di variabili interconnesse tra loro che non si fanno isolare in un laboratorio.
Le difficoltà non mancano, eppure, con uno sforzo ben calibrato, è possibile condurre anche in questo ambito esperimenti significativi.
Dirò di più, nelle scienze sociali il genio del ricercatore si manifesta più nell’ ideazione di esperimenti che nell’ ideazione di teorie.
Come misurare la “corruzione”, la “coesione comunitaria”, la moralità, il “capitale umano” eccetera? Non è facile, sono concetti sfuggenti. Ma non è nemmeno impossibile e ci sono esempi illuminanti che lo dimostrano.
***
I cosiddetti “randomisti” hanno cercato di affrontare il problema delle politiche in favore dei paesi poveri. Come aiutarli sul serio?:
… se con le nostre donazioni non sappiamo se stiamo facendo loro del bene, allora non siamo molto diversi dai medici del medioevo con le loro sanguisughe…
Molte associazioni filantropiche si rivolgono a loro per indirizzare gli investimenti:
… l’ ICS finanziò un programma di assistenza scolastica fornendo testi di inglese, matematica e scienze… invece di distribuire il materiale scegliendo semplicemente le 25 scuole più meritevoli, o più facili da raggiungere, su consiglio di tre “randomisti” (Kremer, Glewwe e Moulin)… le scuole vennero selezionate a casaccio… Tutti i tradizionali metodi statistici suggerivano che i libri di testo avevano un effetto molto positivo sul rendimento scolastico… ma Kremer e compagni trovarono ben poche prove a sostegno… gran parte delle ONG non si sarebbero mai curate di fare analisi tanto meticolose… al contrario si sarebbero affidate alle analisi che confermavano l’ efficacia dei libri di testo… Si passò a sperimentare soluzioni alternative (grandi album, plastici illustrativi e altro materiale didattico) per concludere che il profitto scolastico s’ impennava maggiormente investendo… in medicine per la cura dei bambini affetti dai vermi… non è certo l’ idea che viene in mente per prima quando s’ intende promuovere istruzione e cultura in un paese povero come il Kenya…
Alcuni donatori si mostrarono a disagio: a loro piaceva pensarsi come diffusori di cultura e il finanziare la cultura distribuendo libri era per loro un “progetto vetrina” ottimale.
Non mancò nemmeno l’ obiezione etica, quella di chi sostenne: non si sperimenta sulla pelle dei bambini.
In questi casi la difesa canonica del “randomista” suona così:
… i fondi erano comunque insufficienti per un finanziamento generalizzato dei programmi e la sperimentazione si limitava a fare di necessità virtù…
A volte la provvidenza si manifesta sotto forma di “fondi insufficienti”.
***
Se siete persone di cuore che donano generosamente a favore dei più sfortunati, mi complimento con voi. Se poi avete l’ accortezza di donare ad associazioni che si fanno controllare dai randomisti, allora tanto di cappello.
[… ci sono tante associazioni meritevoli ma forse le più meritevoli sono quelle che si prendono la briga di controllare i meriti delle altre. Penso a GiveWell. Forse la donazione più oculata è proprio quella fatta alle società che testano le organizzazioni filantropiche, peccato che spesso siano “profit” e nell’ ambito della filantropia vige ancora l’ assurda distinzione tra “profit” e “no profit”…]
I randomisti si affidano alla “monetina”, il metodo del testa o croce doma la complessità e compie il miracolo di trasformare la semplice “correlazione” in “causa”.
Provo a darne una descrizione intuitiva: se suddividete il campione-cavia in sottogruppi e somministrare casualmente il trattamento, l’ interferenza delle variabili estranee tende a dissolversi.
Nel caso degli esperimenti sulle donazioni ai paesi sottosviluppati i gruppi potrebbero essere rappresentati dai singoli villaggi.
Esempio: c’ è il dubbio che la vicinanza del villaggio all’ acqua interferisca nell’ esperimento in corso compromettendo un giudizio equilibrato sull’ esito? Nessuna paura perché scegliendo a caso i villaggi ne avremo sia di vicini all’ acqua sia di lontani cosicché questa variabile estranea verrà neutralizzata.
E lo stesso varrà per tutte le altre, soprattutto le più insidiose, ovvero quelle a noi ignote e a cui non avremmo mai pensato.
Fuori dall’ accademia i randomisti devono lottare duramente per conquistarsi un credito:
… è imbarazzante difendere un sistema che lancia in aria una monetina…
In effetti il dio della monetina è un dio minore, un dio in incognito e senza pretese, disprezzato dai più; ma forse è proprio a lui e alle sue scarne indicazioni che dobbiamo rivolgerci per capire e agire assennatamente.
***
Gli esperimenti non finiscono mai.
Questo forse non è molto chiaro al profano il quale spesso sente parlare di “comunità scientifica” e pensa che esistano delle “verità ufficiali” di fronte alle quali proseguire la sperimentazione è insensato. Una simile idea non consente di capire che in ambito scientifico le verità emergono in modo decentralizzato:
… in science truth is not established by an authoritative committee but by a decentralized process which (sometimes) results in everyone or almost everyone in the field agreeing…
L’ idea di verità ufficiale e di comunità scientifica soffre di un difetto insormontabile:
Part of the problem with that approach is that, the more often it is followed, the less well it will work. You start out with a body that exists to let experts interact with each other, and so really does represent more or less disinterested expert opinion. It is asked to offer an authoritative judgement on some controversy: whether capital punishment deters murder, the effect on crime rates of permitting concealed carry of handguns, the effect of second hand smoke on human health.
The first time it might work, although even then there is the risk that the committee established to give judgement will end up dominated not by the most expert but by the most partisan. But the more times the process is repeated, the greater the incentive of people who want their views to get authoritative support to get themselves or their friends positions of influence within the organization, to keep those they disapprove of out of such positions, and so to divert it from its original purpose to becoming a rubber stamp for their views. The result is to subvert both the organization and the scientific enterprise, especially if support by official truth becomes an important determinant of research funding.
Insomma, anche gli esperimenti vanno sperimentati attraverso una concorrenza continua e paritaria. La monetina non deve mai smettere di rotolare!
Jeffrey Sachs è un grande nemico dei randomisti, lui non crede affatto che una monetina possa “domare la complessità”, un progetto ha qualche chance solo se sufficientemente vasto da coinvolgere tutto il contesto: l’ intuito maturato con una grande esperienza sul campo valgono più delle monetine. Anche per questo si dedica a progetti ambiziosi e molto articolati da implementare globalmente nell’ intero Paese che intende aiutare.
In linea di principio anche le sue geniali architetture d’ aiuto potrebbero essere testate, tuttavia Jeffrey ha deciso diversamente:
… dubito del valore etico di questi test… mi fa star male lavorare in un villaggio privo persino di zanzariere…
In realtà quella di Jeffrey è una caricatura dei randomisti:
… così come in campo medico le nuove medicine vengono messe a confronto con le migliori esistenti… lo stesso vale nell’ economia dello sviluppo: laddove i fondi non mancano, le ricette alternative vengono confrontate con le migliori ricette già esistenti… aiuti in natura, per esempio, vengono confrontati con aiuti in denaro che la popolazione puo’ spendere come crede…
E’ davvero difficile capire dove stia il problema, tranne per le persone che si sono convinte in anticipo di conoscere la soluzione.
Oppure per le persone che amano esibire i frutti del proprio lavoro:
… certi approcci attirano le donazioni più di altri… concentrando le risorse puoi ripulire per benino un villaggio facendo vedere subito al mondo intero quel che hai fatto… puoi mostrare l’ esito dei tuoi sforzi e il destino delle donazioni… anche se l’ effetto inizialmente sfolgorante è destinato a sbiadire inesorabilmente nel tempo…
***
Un randomista deve poter valutare cosa funziona e cosa no. Non è sempre facile.
Diventa fondamentale organizzarsi per raccogliere i vari feedback. Questa esigenza contrappone, almeno a livello di slogan, i randomisti ai no-global:
… anziché creare un mondo migliore dobbiamo creare un mondo con cicli di feedback migliori…
I genitori che pagano per la scuola frequentata dai figli si attivano per raccogliere feedback accurati ma un donatore che sostiene un progetto di sviluppo nel terzo mondo ha molte più difficoltà se vuole toccare con mano l’ opera a cui contribuisce, probabilmente non incontrerà mai i beneficiari, non parlerà mai con loro ma soprattutto non parlerà mai con chi ha ricevuto aiuti in forme diverse.
***
Paul Romer è un tipo particolare. Recentemente ha rifiutato il ruolo di economista capo alla Banca Mondiale perché vuole inseguire un suo sogno. E’ un po’ come se un Sacerdote si rifiutasse di diventare Papa per poter seguire i monelli dell’ oratorio.
Romer vorrebbe creare una nuova Chicago in Congo, il suo progetto è noto come “charter city”:
… le charter city sono città a statuto speciale, autonome rispetto alle aeree circostanti, dotate di proprie infrastrutture e di una propria legislazione…
Dal Vaticano, ai comuni italiani fino a Lubecca per arrivare a Singapore, Dubai e Hong Kong, gli esempi di città stato di successo non mancano ma Romer, anziché affidarsi alla storia, vorrebbe affidarsi agli sperimentatori.
Una specie di neo-colonialismo sui generis:
… il Paese povero dovrebbe cedere volontariamente la sovranità di un suo territorio a un Paese straniero affinché quest’ ultimo faccia sorgere lì la sua charter city…
La charter city è una specie di bolla legale-amministrativa e una zona franca sul piano economico:
… Cuba e gli USA potrebbero accordarsi per cedere al Canada la baia di Guantanamo affinché venga trasformata in una Hong Kong caraibica…
La tutela straniera offrirebbe credibilità a quei territori e i cittadini locali voterebbero con i piedi trasferendosi dove credono. La concorrenza tra “neo colonizzatori” sarebbe la benvenuta:
… riformare le normative di un paese è impresa non da poco ma costruire una piccola città dove tali normative siano più semplici è relativamente facile…
Si conta molto sul contagio delle pratiche migliori.
In fondo, se la Cina è diventata la super potenza economica che è, probabilmente lo si deve ai successi precedenti di un impertinente dirimpettaio come Hong Kong:
… si tratta di esperimenti abbastanza grandi da cogliere la complessità della vita sociale ma abbastanza piccoli da consentire che una dozzina o una centinaia di esperimenti simili possa svolgersi in parallelo…
La charter city offre un meccanismo ottimale per distinguere successi e fallimenti:
… se una di loro non riuscisse ad attrarre i cittadini o il mondo degli affari, il fallimento sarebbe irrimediabile… il diritto dei cittadini ad andarsene garantisce un giudizio spassionato sull’ esperimento…
La libertà di scelta, oltre a tutelarci contro l’ obiezione etica, ci garantisce un feedback importante.
***
Il metodo sperimentale è faticoso ma garantisce solidi progressi nella conoscenza della realtà, sia quella fisica che quelle sociale.
L’ obiezione etica si supera affidandosi alla responsabilità individuale, quella metodologica affidandosi alla creatività dei ricercatori.
Nella storia poche istituzioni hanno esaltato l’ umiltà, la libertà e la creatività umana quanto la Chiesa Cattolica. Spero allora che la sensibilità a questi valori si rifletta al più presto in una dottrina sociale orientata sempre più al metodo sperimentale.
***
Le ultime righe me le prendo per una precisazione.
Primo, sono stato troppo critico verso la Chiesa? Pretendo forse di “insegnare al Papa il suo mestiere”?
Spero di no, il mio è solo un atto di sincerità e a dirla tutto non comprenderei un’ accusa del genere.
Secondo, con un simile post m’ iscrivo di fatto al club dei cosiddetti “cattolici adulti”?
No.
Il mio intento non è quello di contribuire in modo critico all’ avanzamento e alla modernizzazione della Chiesa.
Dicendo quel che dico non mi arrogo dei meriti, semmai delle colpe. L’ unico merito, al limite, consiste nel non dissimulare le colpe. La mia è una confessione più che un contributo.
Insomma, se devo pensare a un contesto per questo sfogo, il confessionale forse è più adatto dell’ agorà.
