Visualizzazione dei post in ordine di data per la query koretz. Ordina per pertinenza Mostra tutti i post
Visualizzazione dei post in ordine di data per la query koretz. Ordina per pertinenza Mostra tutti i post

mercoledì 3 aprile 2019

La latitanza delle economiste SAGGIO


La latitanza delle economiste


IL PROBLEMA. Non vi è consenso sulla penuria di donne economiste. Anche dopo l’ aggiustamento con fattori che rappresentano il background familiare e la produttività, una parte considerevole del divario tra economiste ed economisti rimane inspiegabile.
TESI. Qui mi concentro sulla possibilità che la bassa rappresentazione delle donne in economia sia parzialmente dovuta a differenze genetiche tra i sessi in grado di influenzare gusti e abilità.
CRUCIALE LA VARIANZA. Soprattutto in un campo come quello del mondo accademico, dove essenzialmente tutti i lavoratori presentano abilità ben sopra la media, è probabile che le varianze intorno all’abilità media pesino.
LETTERATURA SCIENTIFICA. Fortunatamente gli studi sulla varianza nelle ablità cognitive separate per sesso abbondano. Tanto per dare qualche riferimento: Munger (2007), Allen e Gorski (2002), Zup e Forger (2002), Pinker (2002), e in particolare Hyde (2005) e Cahill (2006); la più importante confutazione delle opinioni espresse da questi autori è Spelke (2005). La bibliografia dettagliata disponibile su richiesta.
I FATTORI RILEVANTI PER LA CONTROVERSIA. Sono parecchi i fattori che spingono a enfatizzare la componente genetica. Ci sono considerazioni che riguardano le analogie con altri mammiferi. Ci sono gli studi sulle differenze registrate nella prima infanzia. C’è l’impatto documentato degli ormoni sessuali sulla struttura cerebrale maschile e femminile. Infine ci sono i numerosi test che confermano ripetutamente, spesso a parità di media, le varianze più elevate in certe abilità cognitive (specialmente nelle abilità matematiche) da parte maschile, indicano così la possibilità reale che uomini e donne differiscano geneticamente in un modo che puo’ plausibilmente riflettersi sulla carriera accademica in certe materie.
Evoluzione come ragione per una credenza a priori
ADATTAMENTO DIVERSO PER UOMO E DONNA. La sopravvivenza del più adatto – il concetto per cui la selezione naturale filtra il patrimonio genetico più adatto al contesto – è al centro della moderna teoria dell’evoluzione ed è difficile immaginare che gli uomini e le donne abbiano affrontato circostanze identiche nel corso dei millenni. Ovviamente, uomini e donne hanno affrontato sfide sistematicamente diverse che si riflettono nella loro biologia. Se solo si pensa al fatto che una donna puo’ avere al massimo una ventina di figli mentre un uomo ben oltre il migliaio, si capisce bene come i problemi che i due sessi affrontano per massimizzare il passaggio dei loro geni siano molto diversi.

IL DILEMMA DELL’ACCADEMICA. In effetti, quando un economista come Brad DeLong (2005) espone in modo neutrale il terribile dilemma che affligge le economiste nel mondo accademico, espone involontariamente anche un dilemma evolutivo. Il processo di scalata verso l’alto della professione è strutturato come un torneo in cui i premi maggiori vanno ai più intelligenti che sono disposti a concentrare i loro sacrifici tra i 25 e i 30 anni. Data la nostra società (e la nostra biologia), un uomo può partecipare a questo torneo senza precludersi molte possibilità di vita [gode di una flessibile sostituibilità intertemporale della paternità]. E’ evidente a tutti che una donna ha molti più problemi.
IL RISCHIO È MASCHIO. Considerato il diverso potenziale di filiazione, gli uomini si trovano così di fronte ad un maggiore guadagno atteso che consente loro di correre grossi rischi nella giovinezza. La cosa è confermata empiricamente: gli uomini hanno maggiori probabilità di intraprendere comportamenti rischiosi rispetto alle donne. Per gli uomini (e per i loro geni), c’è quasi sempre “un altro giorno”, e in ogni caso se l’impresa va in porto il guadagno è stratosferico. Per le donne, il trade-off è molto più crudele.
DIFFERENZE NEL GENOMA. David Page: uomini e donne differiscono dall’1 al 2 per cento nel loro genoma, che è la stessa differenza tra un uomo e uno scimpanzé maschio o tra una donna e uno scimpanzé femmina. Tutti noi recitiamo il mantra che siamo identici al 99 per cento e questo ci conforta da un punto di vista politico, ma la realtà è che la differenza genetica tra maschi e femmine “nanifica” tutte le altre differenze presenti nel genoma umano. Questo, all’incirca, è Page citato da Wade 2003.

Anatomia del cervello e differenze sessuali
ORMONI. Le scoperte di Allen e Gorski (2002) sembrano riassumere bene il consenso odierno sugli ormoni: “Per quanto riguarda i mammiferi, alti livelli di ormoni sessuali, siano essi secreti dai testicoli o somministrati da uno scienziato, determinano un peculiare sviluppo del cervello maschile”.
ORMONI E PERFORMANCE. Halpern (2000): “Esistono parecchi studi in cui il testosterone basso per i maschi e l’alto testosterone per le femmine sono associati a prestazioni con meno divari su diversi test spaziali”. Kimura (1999) conclude che “il livello” ottimale “di Testosterone, per affrontare prove legate alla capacità spaziale” è quello associato al maschio tipico con livelli medio/bassi”. Infine, quando uomini anziani e donne anziane hanno ricevuto una terapia ormonale sostitutiva, o quando le persone ricevono la terapia ormonale come parte di un’operazione di cambio di sesso, i “cambiamenti cognitivi attesi si sono puntualmente verificati” (Kimura 1999).
ECONOMISTI E ABILITÀ SPAZIALE. Gli economisti fanno abbondante uso nel loro ragionamento geometrico e topologico delle “abilità spaziali”, quindi queste differenze possono aiutare a spiegare perché la frazione di economiste è così esigua (fino a un 50% in meno).
DIMORFISMI. Il dimorfismo sessuale meglio documentato nei mammiferi si presenta nella zona pre-ottica dell’ipotalamo, situata proprio di fronte al tronco encefalico. Questa parte è circa il doppio nei maschi umani rispetto alle femmine – una differenza visibile ad occhio nudo – e riguarda una parte pesantemente coinvolta nei comportamenti legati alla riproduzione.
HIPPOCAMPUS. Anche l’ippocampo, un sito legato alla memoria e all’organizzazione spaziale, differisce tra i sessi (Cahill 2006); è più grande nelle femmine umane se normalizzato con le dimensioni del cervello, una scoperta relativamente recente. La scoperta non sorprende dal momento che le donne generalmente prevalgono nei test legati alla memoria pura e a quella  spaziale.
ROTAZIONE E MEMORIA SPAZIALE. Quindi, mentre le donne di solito si comportano peggio nelle attività di rotazione spaziale, come ad esempio la valutazione del profilo della lettera “F” quando ruota su tre dimensioni, adempiono meglio i compiti di memoria spaziale, come nel caso in cui si tratta di dover rintracciare le chiavi perse nella macchina (o il burro in frigo).
PESO DEL CERVELLO. Il cervello degli uomini pesa circa il 15 percento in più rispetto a quello delle donne.
DIMENSIONI DEL CERVELLO E IQ. Le scansioni MRI  indicano che all’interno di un determinato sesso esiste una correlazione positiva tra dimensione del cervello e punteggio QI (sono comuni correlazioni pari a 0,3/0,4), vi sono solo prove deboli che uomini e donne differiscano in media sull’intelligenza generale.
DONNE CON EMISFERI PIÙ CONNESSI. Nella letteratura neuroscientifica, si osserva comunemente che il cervello delle donne è “più equilibrato” o “meglio collegato” nei sui due emisferi.
ORMONI E CERVELLO. L’impatto degli ormoni sullo sviluppo cerebrale del feto sono abbastanza chiari e in letteratura c’è poco dibattito sul fatto che alcune differenze strutturali tra il cervello maschile e quello femminile siano dovute alla diversa esposizione ormonale.
PROBLEM SOLVING. Le scansioni MRI mostrano che i cervelli maschili e femminili utilizzano costantemente diverse strutture per risolvere lo stesso tipo di problemi: “ogni volta che esegui una risonanza magnetica mentre la “cavia” è sottoposta a un test cognitivo qualsiasi,  parti diverse del cervello si accendono a seconda che sia uomo o donna”, afferma Florence Haseltine.
I punteggi dei test come indicatore di abilità mentale
VARIANZA NEI PUNTEGGI DEI TEST. Un’osservazione comune è che gli uomini hanno una maggiore variabilità di prestazione rispetto alle donne. Halpern (2000). È stato riscontrato che i maschi sono più “variabili” delle femmine in generale,  in particolare nel ragionamento meccanico, ma anche nelle quantificazioni, nell’ abilità di visualizzazione spaziale e topologica. Le elevate differenze nei test matematici sono  le più rilevanti: sul SAT-Math, Feingold ha trovato che le varianze maschili superavano del 20-25% quelle femminili, mentre nei punteggi SAT-Verbal, le varianze maschili erano più alte del 5%.
ECONOMIA E MATEMATICA. E’ opportuno concentrarsi su quell’ abilità che probabilmente è più rilevante per la professione economica attualmente esistente: l’abilità matematiche. Jonung e Ståhlberg, per esempio, affermano nel loro lavoro: “troviamo l’economia più vicina alla matematica che alle altre scienze sociali”.
DIFFERENZE IN MATEMATICA. L’usuale stereotipo tratto dalla letteratura psicologica è che gli uomini sono più dotati delle donne nelle abilità matematiche e visuli-spaziali, specialmente nella parte superiore della distribuzione statistica. I caveat cruciali a questa generalizzazione sono che le donne sono costantemente migliori (in media) nell’aritmetica e nella computazione.
CONTABILITÀ. Il fatto che le donne siano più brave nel mero calcolo è particolarmente intrigante alla luce dei recenti cambiamenti nella professione contabile: in un campo che era precedentemente dominato dagli uomini, più della metà di tutti i titoli di studio sono ora ora conferiti alle donne (Koretz 1997, Briggs 2007).
MATEMATICA: ATTITUDINE E AVANZAMENTO. Secondo Kimura (1999) i ragazzi fanno meglio nei test attitudinali di matematica (con la solita eccezione nell’abilità contabile), mentre le ragazze fanno meglio nei compiti di matematica durante l’anno. Una distinzione molto interessante. Precisazione di Kimura: poiché la matematica è in questi casi insegnata dalla stessa persona, è improbabile che fattori legati all’insegnamento spieghino molto. Neanche altri fattori più connessi con la “socializzazione”, come il pregiudizio di genere, oppure l’ansia della matematica o l’aspettativa dei genitori e così via, spiegano adeguatamente le profonde differenze.
FORSE IL FRAMINGGli psicologi hanno effettivamente considerato la possibilità che i test approntati siano di parte: hanno fatto di tutto per formulare quesiti in modo da agevolare la comprensione femminile (ad esempio, “Marta sta facendo biscotti quadrati”, Kimura, 1999) ma i maschi continuano a prevalere.
L’INDIZIO DEI DISORDINI MENTALI. AUTISMO. Una fonte di indizi probanti sulle differenze cognitive tra uomo e donna sono i disturbi neurologici. Molti di questi disturbi sono più comuni tra gli uomini che tra le donne; quello che merita particolare attenzione è l’autismo. Simon BaronCohen e i suoi coautori (2004, 2005) hanno teorizzato che l’autismo può essere ben descritto come una forma di “mente mascolinizzata all’estremo”.
META-STUDI SUI CARATTERI. Un’altra fonte informativa sono i meta-studi (sintesi della produzione scientifica su un certo tema). In una rivista di meta-studi intitolata “L’ipotesi gender”, Hyde (2005) ha raccolto dozzine di meta-studi sulle differenze di genere nelle abilità cognitive e nei tratti della personalità. Ha scoperto che nei test legati alla rotazione tridimensionale, alla visualizzazione spaziale e alla percezione spaziale, i maschi performano costantemente meglio delle femmine, con una stima media di deviazione standard pari a 0,44 al di sopra dell’altro sesso. Il predominio femminile nei test di fluidità verbale, lingua e ortografia sono dello stesso ordine di grandezza. I maschi sono molto più aggressivi delle femmine, e le femmine sono più empatiche e (importante, a mio avviso) più coscienziose per una media di deviazione standard pari a 0,2 punti. Il vantaggio femminile nella coscienziosità è probabilmente di importanza primaria, in particolare nel mondo accademico, dove i docenti di ruolo godono di molta autonomia e possibilità di impostare il loro programma.
QUANTIFICARE LA DIFFERENZA. Se gli uomini hanno effettivamente un vantaggio nella capacità spaziale – un vantaggio, basandosi su Hyde (2005), che aumenta la loro deviazione standard media di 0.5 punti rispetto a quella femminile – e anche assumendo che uomini e donne abbiano la stessa capacità media su queste abilità, allora, a due punti di deviazione standard sopra la media femminile,  il rapporto uomini/donne sarà di 2.4/1; a tre punti sarà di 4/1; a quattro punti di 6.5/1. Insomma, più ci muoviamo verso l’eccellenza, più le sproporzioni si acuiscono (Deary 2003).
Conclusione
POLICY INUTILI. Nell’attuale comprensione scientifica, le differenze maschio-femmina sulle abilità matematiche sembrano persistere anche in presenza di interventi sociali nella didattica, come per esempio i metodi di insegnamento neutrali rispetto al genere. La cosa rappresenta un robusto indizio sulla natura biologica alla base di certe differenze nella varianza.
UNICA VIA: DEVE CAMBIARE LA MATERIA. PIU’ STORIA, MENO ANALISI. Resta comunque una via: l’economia potrebbe cambiare se stessa in modo da valorizzare le competenze più congegnali alle donne. Un’economia più “letteraria” e storica, più orientata all’esposizione narrativa e al lavoro di archivio coscienzioso, sarebbe un’economia in grado di creare più opportunità di lavoro per le donne.
Lettura consigliata: What is the Right Number of Women? Hints and Puzzles from Cognitive Ability Research, di Garett Jones
L'immagine può contenere: una o più persone

mercoledì 28 giugno 2017

Perché ci sono così poche economiste?

What is the Right Number of Women? Hints and Puzzles from Cognitive Ability Research Garett Jones
***
Parte introduttiva
There is no consensus as to the causes of women’s slow advancement in academic economics. Even after adjusting for factors representing family background or productivity a considerable portion of the gender promotion gap remains unexplained.
IL PROBLEMA
here i focus on the possibility that the low representation of women in economics is partially driven by genetic differences in tastes and abilities between the sexes,
TESI
Particularly in a field like academia, where essentially all employees are above the mean in abilities, variances are likely to be important.
CRUCIALE LA VARIANZA
Some useful surveys include Munger (2007), Allen and Gorski (2002), Zup and Forger( 2002), Pinker (2002), and especially Hyde (2005) and Cahill (2006); the most prominent rebuttal of the views expressed by those authors is Spelke (2005).
LETTERATURA

the combination of analogies from other mammals, early childhood studies, well-documented impacts of sex hormones on brain structure, and the repeated finding of higher means and variances in relevant mental abilities (especially mathematical abilities) in males point toward the very real possibility that men and women differ genetically
I FATTORI RILEVANTI PER LA CONTROVERSIA
evolution as a reason for soft priors
Adaptationism— the concept that gene-carriers quickly adapt to their surrounding circumstances— is at the heart of the modern theory of evolution, and it is difficult to imagine that male and female humans have faced identical circumstances across the millennia. Most obviously, men and women have faced systematically different challenges, framed by the nature of the reproductive cycle.
ADATTAMENTO DIVERSO PER UOMO E DONNA
Indeed, when an economist like Brad DeLong (2005) cleanly lays out the terrible dilemma facing women in academia, he inadvertently lays out an evolutionary dilemma as well… The process of climbing to the top of the professoriate is structured as a tournament, in which the big prizes go to those willing to work the hardest and the smartest from their mid-twenties to their late thirties. Given our society (and our biology), a man can enter this tournament without foreclosing many life possibilities [since he can more easily intertemporally substitute fatherhood]…. But given our society (and our biology), a woman cannot
IL DILEMMA DELL'ACCADEMICA
men face a greater expected payoff to taking big risks in the early parts of their life, and, empirically, men are more likely to engage in risky behavior than women. For men and their genes, there is almost always another day. For women, the trade-off is much crueler.
IL RISCHIO È MASCHIO
Men and women differ by 1 to 2 percent of their genomes, Dr. [David] Page said, which is the same as the difference between a man and a male chimpanzee or between a woman and a female chimpanzee….‘ We all recite the mantra that we are 99 percent identical and take political comfort in it,’ Dr. Page said. ’But the reality is that the genetic difference between males and females absolutely dwarfs all other differences in the human genome.’ (Wade 2003)
DIFFERENZE NEL GENOMA
A final genetic note: The fact that men have only one X-chromosome is a fact too large to omit. A woman has two X chromosomes, so if a particular gene is non-functioning on one X chromosome, then she is very likely to have a functioning copy on her second X-chromosome. A man, by contrast, is in no such luck.
CROMOSOMI
brain anatomy and evidence of sexual differentiation
The findings of Allen and Gorski (2002, 291) appear to sum up the consensus on hormones: “With respect to mammals, high levels of sex hormones— whether secreted by the testes or administered by a scientist— result in masculine brain development.”
ORMONI
Halpern (2000, 180)… “There are many studies in which low testosterone for males and high testosterone for females are associated with better performance on several different spatial tests” (171). Kimura (1999, 122) concludes that “the ‘optimal’ level of T[ estosterone] for spatial ability in humans is that of the normal male with lower levels.” Finally, when older men and older women have received hormone replacement therapy, or when people receive hormone therapy as part of a sex change operation, the “expected cognitive changes occurred” (Kimura 1999, 122).
ORMONI E PERFORMANCE
Economists use these spatial abilities in geometric and topological reasoning, so these differences may help explain why ĝ, the fraction of economists who are female, is below 50%.
ECONOMISTI E ABILITÀ SPAZIALE
The best-documented sexual dimorphism in mammals is in the pre-optic area of the hypothalamus, located just in front of the brain stem. This is about twice as big in human males as in human females— a difference visible to the naked eye— and is involved with reproductive behavior.
DIMORFISMI
The hippocampus, a site related to memory and spatial organization, also differs between the sexes (Cahill 2006); it is larger in human females when adjusted for brain size— a relatively recent finding. The finding is unsurprising since women typically do better on tests of memory retrieval and spatial memory.
HIPPOCAMPUS
So while women typically perform worse on spatial rotation tasks, such as what the letter “F” looks like when rotated in three dimensions, they do better at spatial memory tasks, such as where she put the car keys.
ROTAZIONE E MEMORIA SPAZIALE
men’s brains weigh about 15 percent more than women’s.
PESO DEL CERVELLO
modern MRI scans indicate that within a given sex there is a positive correlation between brain size and IQ score (correlations of 0.3 to 0.4 are common), there is less evidence that men and women differ on average overall intelligence.
DIMENSIONI DEL CERVELLO E IQ
In the neuroscience literature, it’s commonly observed that women’s brains are “more balanced” or “better connected” between left and right hemispheres.
DONNE CON EMISFERI PIÙ CONNESSI
the impacts of fetal hormones on brain development are clear enough that there is little debate in the literature over whether some structural differences between men’s and women’s brains are genetically driven.
ORMONI E CERVELLO
MRI scans show that male and female brains consistently use different structures to solve the same kinds of problems: ‘Every time you do a functional MRI on any test, different parts of the brain light up in men and women,’ says Florence Haseltine,
PROBLEM SOLVING
test scores as an indicator of mental ability
A common observation is that men have greater variability than women. Halpern (2000, 86)… It was consistently found that males were more variable than females in general knowledge, mechanical reasoning, quantitative ability, spatial visualization, and spelling… The high math variances are most relevant: On the SAT-Math, Feingold found that male variances were 20-25% larger for males in the four decades before his study, while on SAT-Verbal scores, male variances were about 5% higher…….
VARIANZA NEI PUNTEGGI DEI TEST
I turn to the ability that is likely most relevant to the economics profession as it currently exists: Mathematical abilities… Jonung and Ståhlberg state in their abstract,“[ W] e find economics to be more akin to mathematics than to the other social sciences.”
ECONOMIA E MATEMATICA
The usual stereotype drawn from the psychological literature is that men are better at math and visuospatial skills than women, especially at the upper end of the distribution. The crucial caveats to this generalization are that women are consistently better (on average) at arithmetic and computation than men,
DIFFERENZE IN MATEMATICA
The fact that women are better at computation is especially intriguing in light of recent changes in the accounting profession: In a field that was formerly male-dominated, more than half of all Bachelor’s degrees in accounting are now conferred on women (Koretz 1997, Briggs 2007).
CONTABILITÀ
according to Kimura (1999): She notes that boys do better on math aptitude tests (with the exception of girls’ superior computation ability), while girls do better on math achievement tests.
MATEMATICA: ATITUDINE E AVANZAMENTO
By way of explanation, Kimura notes (78): Since both aspects of math are taught by the same person, teacherrelated factors are unlikely to be the explanation. Nor do other ‘socialization’ explanations such as gender bias in problem content, math anxiety, parental expectation, and so on, adequately account for the differences.
SPIEGAZIONE: ESCLUSA LA SOCIALITÀ
psychologists indeed have addressed the possibility that their tests are biased: They’ve gone out of their way to write word problems that favor females (e.g., “Martha is making square cookies,” Kimura, 1999, 77) but males still perform better
FORSE IL FRAMING?
One source of evidence on the question of male-female differences is neurological disorders. Many such disorders are more common among men than among women; one that deserves particular attention is autism. Simon BaronCohen and his coauthors (2004, 2005) have theorized that autism is largely an “extreme male mind,”
L'INDIZIO DEI DISORDINI MENTALI. AUTISMO
Another source of data is meta-studies by psychologists. In a survey of meta-studies entitled “The Gender Similarities Hypothesis,” Hyde (2005) collected dozens of meta-studies of gender differences in cognitive abilities and personality traits. Among her findings is that on tests of mental rotation, spatial visualization, and spatial perception, males consistently perform better than females, with a median estimate of 0.44 standard deviations above females. Female advantages on tests of verbal fluency, language, and spelling are of the same order of magnitude. Males are overwhelming more aggressive than females (about 0.5 standard deviations, regardless of measure), and females are more agreeable and (importantly, in my view) more conscientious by about 0.2 standard deviations. The female advantage in conscientiousness is likely of first-order importance, particularly in academia, where tenure-track professors need to be self-starters.
META STUDI SUI CARATTERI
If the men of today actually do have an advantage in spatial ability— an advantage, based on Hyde (2005), that raises their mean 0.5 standard deviation higher than the female mean— and if we temporarily assume that men and women have the same standard deviations on this ability, then, at two standard deviations above the female mean, the ratio of men to women is 2.4: 1; at three standard deviations it’s 4: 1, and at four standard deviations it’s 6.5: 1. Adding in a 5% gender difference in standard deviations (as Deary 2003 found for IQ) raises these ratios to 2.5: 1, 5: 1 and 11: 1, respectively.
QUANTIFICARE LA DIFFERENZA
conclusion
With current scientific understanding, the male-female differences on mathematical skills appear likely to persist, even under plausible social interventions like gender-neutral teaching methods.
POLICY INUTILI
Economics could change itself so that it draws on the skills at which women, on average, excel. A more literary and historical economics, one more driven by verbal fluency and conscientious archival work, would be an economics that created greater opportunities for women.
UNICA VIA: DEVE CAMBIARE LA MATERIA. PIU’ STORIA, MENO ANALISI

sabato 25 febbraio 2017

la miglior scuola in città

“Scusi Dr. Koretz, puo’ dirmi per cortesia la miglior scuola in città a cui iscrivere mio figlio?”
E’ questa la domanda che si sente fare tutti i giorni Daniel Koretz.
Poiché per vivere valuta le scuole attraverso i test scolastici – il suo libro “Measuring Up è una Bibbia – la cosa non desta meraviglia.
Ma la sua risposta delude quasi sempre.
Di solito invita a valutare
… the strength of the school’s music or athletic programs, some special curricular emphasis, school size, social heterogeneity, and so on…
Poi consiglia di visitare di persona le scuola per valutare se sembrano posti promettenti.
Osservare e descrivere, dunque. Una roba faticosa.
Il genitore che ha interpellato Koretz lo congeda velocemente e freddamente, è palpabile la sua insoddisfazione, vuole qualcosa di meno complicato da un progettista di test. Qualcosa di meno ambiguo. Per esempio la scuola che fa meglio nei test…
… They wanted something simpler: the names of the schools with the highest test scores…
C’è una risposta standard da dare a questi scocciatori…
… “If all you want is high average test scores, tell your realtor that you want to buy into the highest-income neighborhood you can manage. That will buy you the highest average score you can afford.”…
Segui il denaro: più si paga, più i test sono migliori. Andate nei quartieri a più alto reddito medio e lì troverete le scuole che fanno meglio nei test.
Il nervosismo è frutto di un’incomprensione: c’è chi crede che conoscere l’esito di un test ci dica l’essenziale su uno studente o  una scuola.
Un’altra credenza malriposta è che progettare e somministrare un test sia una cosa semplice: detto, fatto.
Le parole del Presidente Bush presentando il programma “No Child Left Behind” tradiscono questa credenza…
… “A reading comprehension test is a reading comprehension test. And a math test in the fourth grade—there’s not many ways you can foul up a test … It’s pretty easy to ‘norm’ the results.”…
Sbagliato: non c’è niente di più facile che “sporcare” un test e renderlo inutile, nella fortunata ipotesi che il test non sia già fallato di per sé.
I test sembrano semplici ma sono difficilissimi da preparare e somministrare. Farlo in massa è praticamente impossibile.
Ormai si parla dei test scolastici anche al bar
… For many years, Parade magazine has featured a regular column by Marilyn vos Savant, who is declared by the magazine to have the highest IQ in the country. Rather than simply saying that Ms. vos Savant is one damned smart person, if indeed she is, the editors use the everyday vocabulary of “IQ”…
Ma pochi frequentatori di bar sanno cos’è l’ IQ e come si testa? C’è da dubitarne, il concetto non è affatto immediato.
Altro mito: credere che i test siano indicatori potentissimi
… it is just another way of saying that she is smart. But it does seem to give the assertion more weight, a patina of scientific credibility…
Sarebbe molto più appropriato dire che Tizio è un tipo intelligente (come facevano i nostri nonni) che far riferimento al suo IQ.
***
Cosa complica maledettamente le cose?
Innanzitutto il fatto che i test siano moltissimi, praticamente infiniti.
Non esiste un test che ci dia un’immagine completa del lavoro fatto da una scuola. E nemmeno tutti i test messi insieme riescono nell’impresa.
Innanzitutto perché considerano solo un sottoisieme degli scopi educativi. Poi perché non sono misurazione diretta di qualcosa ma semplici stime che utilizzano campionature.
Un test scolastico è come un sondaggio. Si guarda a poche cose per farsi un’idea del tutto.
***
Un problema dei test è la loro frequente invalidità: si presenta quando due test in teoria equivalenti danno esiti diversi. Un esempio:
… For example, for more than three decades the federal government has funded a large-scale assessment of students nationwide called the National Assessment of Educational Progress, often simply labeled NAEP (pronounced “nape”), which is widely considered the best single barometer of the achievement of the nation’s youth. There are actually two NAEP assessments, one (the main NAEP) designed for detailed reporting in any given year, and a second designed to provide the most consistent estimates of long-term trends. Both show that mathematics achievement has been improving in both grade four and grade eight—particularly in the fourth grade, where the increase has been among the most rapid nationwide changes in performance, up or down, ever recorded. But the upward trend in the main NAEP has been markedly faster than the improvement in the long-term-trend NAEP. Why? Because the tests measure mathematics somewhat differently,…
Invalsi, Pisa, Timss… le graduatorie su questo e quello cambiano sempre.
Cambiano anche nel tempo. Quando un test ha conseguenze sostanziali (carriera, stipendi…), guarda caso, i miglioramenti sono iperbolici. L’esempio del Texas…
… The experience in Texas during George Bush’s tenure as governor provides a good illustration. At that time, the state used the Texas Assessment of Academic Skills (TAAS) to evaluate schools, and high-school students were required to pass this test in order to receive a diploma. Texas students showed dramatically more progress on the TAAS than they did on the National Assessment of Educational Progress…
Ma si tratta di miglioramenti ben poco rassicuranti, in genere frutto della pratica “teaching to test”.
***
C’è poi un problema di attendibilità: studenti che fanno due volte lo stesso test ottenendo risultati differenti.
Il SAT si somministra più volte, per esempio. Ma non sempre è possibile, specie se la massa degli studenti è cospicua.
Molti test progettati per essere equivalenti hanno contenuti diversi (è ovvio, non si puo’ sottoporre lo stesso identico test), ma i contenuti non sono mai neutrali.
Parte della fluttuazione è dovuta dallo stato di forma dell’allievo. Magari il soggetto è nervoso o ha dormito poco.
Non ha senso dare grande peso a piccole differenze.
***
Poi ci sono i problemi di scala: come riportare gli esiti?
Noi siamo abituati con i voti: una scala arbitraria che rende impossibili i confronti…
… We know that to obtain a grade of “A” can require much more in one class than in another…
Ma non è facile superare questi limiti: scale diverse danno rappresentazioni diverse della performance e la cosa limita comunque i confronti.
***
Poi c’è il problema dei test lacunosi (o fallati): sono i test che non funzionano come dovrebbero.
Esempio di test fallato in sfavore degli immigrati
… For example, a mathematics test that requires reading complex text and writing long answers may be biased against immigrant students who are competent in mathematics but have not yet achieved fluency in English…
Qui si pongono problemi: se un test è perfettamente neutrale risulta fallato per i poveri. Che fare? la cosa crea imbarazzo…
… For instance, if poor students in a given city attend inferior schools, a completely unbiased test is likely to give them lower scores because the inferior teaching they received impeded their learning…
E che dire dei test fallati contro le donne? Qui si entra in questioni filosofiche. Il fatto è che il test discrimina: lo facciamo proprio per poter discriminare!
***
Poi c’è un problema di settaggio: un test deve essere mirato al suo scopo, di solito più angusto di quel che si crede.
Per esempio, voglio valutare la scuola o gli studenti? Occorrono test differenti a seconda dell’obbiettivo…
… For example, the assessment designs that are best for providing descriptive information about the performance of groups (such as schools, districts, states, or even entire nations) are not suitable for systems in which the performance of individual students must be compared. Adding large, complex, demanding tasks to an assessment may extend the range of skills you can assess, but at the cost of making information about individual students less trustworthy….
***
Riassumiamo i cinque problemi chiave: invalidità, attendibilità, rappresentazione, lacunosità e settaggio.
Si tratta di problemi che richiedono soluzioni complicate e fragili. Purtroppo, c’è sempre chi tende ad associare le complicazioni al trascurabile.
***
Ma poi ci sono almeno un paio di problemi ancora più importanti, vediamoli.
Cos’è un test? Essenzialmente un sondaggio.
Per risolvere un certo problema, per esempio, noi attiviamo 1000 abilità differenti ma solo la misurazione di alcune è fattibile. Tra queste è necessario selezionare un campione rappresentativo della totalità. Se sbagliamo campione, il test si puo’ buttare.
La logica dei test è la medesima dei sondaggi…
… ON SEPTEMBER 10, 2004, a Zogby International poll of 1,018 likely voters showed George W. Bush with a 4-percentage-point lead over John Kerry in the presidential election campaign. These results were a reasonably good prediction: Bush’s margin when he won two months later was about 2.5 percent…
A volte sondaggi del genere falliscono miseramente: un esempio storico è la corsa Dewey vs Truman. Ma anche di recente Trump e Brexit.
Eppure non possiamo farne a meno, di solito ci prendono. Una cosa è certa: la bontà del sondaggio dipende dal campione prescelto. Ma anche da come sono poste le domande. Esempio…
… Original question: “What is the average number of days each week you have butter?” Revised question: “The next question is just about butter. Not including margarine, what is the average number of days each week you have butter?”…
Questo qui sopra è il caso di due domande equivalenti a cui si è risposto in modo molto diverso.
Poi conta la voglia di rispondere in modo onesto. Ci sono domande che incentivano la “disonestà”; se chiedo a un tale quanto guadagna magari costui non ha voglia di dirmelo.
Onnipresente poi è il “social desirability bias”, ovvero la voglia di compiacere l’intervistatore dicendo la “cosa giusta”. Nei sondaggi nessuno è razzista o sessista, e tutti fanno volontariato…
… For example, a study published in 1950 documented substantial overreporting of several different types of socially desirable behavior. Thirty-four percent of respondents reported that they had contributed to a specific local charity when they had not, and 13 to 28 percent of respondents claimed to have voted in various elections in which they had not…
I test scolastici sono sondaggi e hanno dunque tutte le pecche dei sondaggi…
… Educational achievement tests are in many ways analogous to this Zogby poll in that they are a proxy for a better and more comprehensive measure that we cannot obtain… The full range of skills or knowledge about which the test provides an estimate—analogous to the votes of the entire population of voters in the Zogby survey—is generally called the domain by those in the trade…
***
Ma cosa misuriamo esattamente in un test scolastico? Quanto è rappresentativo il campione prescelto?
Qui comincia la diatriba che divide. Ci sono i critici
… there are some aspects of the goals of education that achievement tests are unable to measure…
E ci sono gli entusiasti…
… Tests measure what is important, their argument goes, and those who focus on other “goals” are softies…
I critici hanno molte frecce al loro arco, non si puo’ non riconoscere dei limiti alla capacità di quantificare l’istruzione passata nel discente.
A dirlo non è il sindacalista anti-meritocratico ma un padre della psicometria come E. F. Lindquist in un articolo dove oltre mezzo secolo fa c’era già tutto: “Preliminary Considerations in Objective Test Construction”.
Lindquist anticipò le controversie attuali affermando che gli scopi educativi sono vari e solo alcuni possono essere standardizzati.
Esempio di scopi non standardizzabili: la voglia di apprendere. Oppure: l’abilità nell’applicare in modo pertinente cio’ che si è appreso.
L’ esperienza ci dice che i test misurano variabili di grande importanza. Ma altre – non meno importanti - sono inevitabilmente trascurate.
Un esempio di atteggiamento accorto
… ITBS manual advises school administrators explicitly to treat test scores as specialized information that is a supplement to, not a replacement for, other information about students’ performance….
C’è poi un’altra lacuna…
… Second, Lindquist argued that even many of the goals of schooling that are amenable to standardized testing can be assessed only in a less direct fashion than we would like
Lo scopo dell’istruzione è troppo lontano e generico per capire se stiamo misurando le variabili giuste.
Per esempio, perché insegniamo l’algebra? Un’ipotesi…
… to teach students how to reason algebraically so that they can apply this reasoning to the vast array of circumstances outside of school to which it is relevant. This sort of very general goal, however, is remote from decisions about the algebra content to be taught in a given middle school this Thursday morning… curriculum designers and teachers must make a large number of specific decisions about what algebra to teach. For example, do students learn to factor quadratic equations? Many considerations shape these decisions, not just a subject’s possible utility in a wide range of work-related and other contexts years later…
Ma è un’ipotesi vaga: si rischia di misurare abilità che non verranno mai chiamate in causa o attivate dal soggetto.
Si possono imparare tante cose ma se poi non si sarà in grado di capire quando e come usare cio’ che si è imparato? Un aneddoto gustoso
… Many years ago, I had Sunday brunch in Manhattan with three New Yorkers. All were highly educated, and all had taken at least one or two semesters of mathematics beyond high school. In my experience, New York natives make their way about town in part by drawing on a prodigious knowledge of the location of various landmarks, such as the original Barnes and Noble store on Fifth Avenue. That Sunday morning, I found to my surprise that none of the three New Yorkers could figure out the location of the restaurant where we were to have brunch. It was on one of the main avenues, and they knew the address, but they could not figure out the cross street. I suggested that the problem might turn out to be a very simple one. I asked if they knew where the addresses on the avenues in that part of Manhattan reached zero and, if so, whether they reached zero at the same street. They quickly agreed that they did and gave me the name of the cross street. I then asked if the addresses increased at the same rate on these avenues, and if so, at what rate. That is, how many numbers did the addresses increase with each cross street? They were quite certain that the rate was the same, but it took a little more work to figure out what it was. Using a few landmarks they knew (including the original Barnes and Noble store), they figured out the rate for a couple of avenues. The rates were the same. At that point, they had the answer, although they had not yet realized it…
Per orientarsi gli studenti avrebbero dovuto risolvere una semplice equazione di promo grado. Non lo hanno capito, anche se di solito all’università risolvevano problemi matematici enormemente più difficili…
… All three were competent in dealing with algebra much more complex than this, but they had not developed the habit of thinking of real-world problems in terms of the mathematics they had learned in the classroom…
Nel mondo ideale dovremmo valutare le persone osservandole direttamente all’opera sui problemi che saranno chiamati ad affrontare anche dopo, ma i test scolastici sono lontanissimi dal mondo ideale della valutazione, ci si arrabatta quindi in qualche modo…
… a test author usually has to focus on the proximate goals of educators, even if these are only proxies for the ultimate social goals of education…
Lindquist raccomandava di testare le conoscenze specifiche
… Lindquist wanted as much as practical to isolate specific knowledge… tests to include tasks that focus narrowly on these specifics… attempting to create test items that present complex, “authentic” tasks more similar to those students might encounter out of school…
La tendenza è stata di segno opposto.
***
Come si puo’ concludere sulla base di queste considerazioni?
Che i test sono uno strumento utile ma incompleto.
Che è temerario abbinare all’esito dei test conseguenze così importanti come lo stipendio o la carriera (test high stake).
Che i giudizi vanno espressi tenendo conto dei test ma non solo (una componente tra le altre). Un po’ come fanno le migliori università
… they conduct a “holistic” review of applicants, considering not only SAT or ACT scores but also grades, personal statements, persistence in extracurricular activities, and so on…
studying