Libertarianism, from A to Z by Jeffrey A. Miron - Test scolastici

Jeffrey Miron sui test scolastici

• Di solito vengono indicati due benefici: stimolare lo studio degli allievi e l'impegno degli insegnanti.
• Ma un controllo del genere è sempre stato presente nelle scuole dei quartieri medio alti dove genitori motivati sono sempre pronti a dirottare i loro figli nel privato. E' la concorrenza a produrre simili benefici.
• Il problema sono allora i quartieri ghetto, ma lì l'incentivo fornito dai test è irrisorio: gli studenti vogliono lavorare, non hanno velleità legate allo studio e gli insegnanti sono già al gradino più basso.
• I test possono al massimo fornire delle informazioni ma non indicano le direzioni di cambiamento.
• Il miglioramento nei test cosa indica? tante cose, troppe purtroppo: 1) migliore apprendimento ma anche 2) classificazione disabilità ad hoc 3) learning to test 4) abilità nella frode...
• Altro problema dei test: tutta l'attenzione dirottata sugli studenti più scarsi (sono loro che fanno progredire la media e lo stipendio dell'insegnante). Intanto i talenti migliori imboccano la via dell'obsolescenza.
• Ma il problema più grande resta quello del grande omogeneizzato: educazione uniforme, standardizzata e mirata ai test che nn distingue, per esempio, tra istruzione professionale o universitaria. 
• Oltre ad essere tremendamente noiosa: cosa c'è di più noioso dei promessi Sposi studianti in classe? I Promessi Sposi studiati in classe in forma di quiz. L'interesse è immediatamente azzerato.
• Altro problema: distrae l'attenzione dalle due riforme principali: 1) voucher 2) desindacalizzazione della scuola.

continua

The SAT, Test Prep, Income and Race

The SAT, Test Prep, Income and Race:



'via Blog this'



Studiare per i test ha un modesto effetto sull' esito. Le classi più povere si sottopongono maggiormente la teaching to test

Missione impossibile: prendere le misure al prof.

Non so fino a che punto i test possano essere utili nel valutare l’ opera di un insegnante della scuola statale. Di sicuro, se devo pensare alla scuola peggiore possibile, penso a una scuola statale dove i test valutativi hanno assunto un ruolo decisivo. Sottoscriverei quindi queste parole:

A government-run system of teacher compensation, based on test scores, would in some ways be the worst of all worlds. It would create incentives for teachers to "game" the system. It would give too much weight to a noisy indicator of performance. As a result, it would do little or nothing to improve accountability or to reward better teachers.

Altre parole di saggezza:

If you watch the documentary “Waiting for Superman” or read Steven Brill’s “Class Warfare: Inside the Fight to Fix America’s Schools,” you will learn that many advocates of school reform think they know how to increase teacher productivity: Rate teachers according to their students’ performance on standardized tests and fire those who don’t make the grade.

But economic theory suggests several reasons why this approach will probably backfire.

Scores on standardized tests are not an accurate measure of success in later life, because they don’t capture important aspects of emotional intelligence, such as self-control and ability to collaborate with others. The Nobel laureate James Heckman describes noncognitive traits as a crucial component of human capital.

Indeed, research by the economists Eric Hanushek and Steven Rifkin — both advocates of school reform — indicates that neither teachers’ own test scores when they were students nor their educational credentials explain much of the variation in their students’ outcomes. Why judge teachers narrowly on a set of outcomes that are not even predictive of their own success? leggi tutto

Vogliamo tirare le somme? Valutare un prof. in modo oggettivo ha tutta l’ aria di essere una missione impossibile. Si potrebbe dire che… in assenza della macchinetta valuta-insegnanti , non ci resta che…

… come portare a termine una missione impossibile…

ADD: e anche valutare la ricerca è quantomeno problematico: http://timharford.com/2011/09/new-ways-with-old-numbers/?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+TimHarford+%28Tim+Harford%29&utm_content=FeedBurner

Libertarianism A-Z: test scolastici

Meritocrazia e test non fanno poi così rima come potrebbe sembrare, pe l meno se sono somministrati in modo sistematico.

Qualcuno pensa che rendano le scuole comparabili e le scelte delle famiglie più informate.

In realtà le scuole sono da sempre “comparate” dalle famiglie e i giudizi quasi sempre ben calibrati: si sa quali sono i professori e le scuole migliori. Se proprio si vuol far pesare la scelta delle famiglie, molto meglio i voucher.

E’ l’ eccessivo ossequio ai sindacati che si riflette poi in una poco flessibile libertà di assumere e licenziare che impedisce la competizione tra plessi scolastici.

Inoltre sull’ esito dei test bisogna andarci coi piedi di piombo:

1. Non catturano tutto, e forse nemmeno l’ essenziale.

2. Uniformano gli sforzi verso il basso e i metodi one-fit-all.

3. Favoriscono il teaching to the test.

L' impurità dell' oro colato

Quanto alle statistiche internazionali mi limito a un esempio. Nei commenti si da per scontato che la scuola finlandese sia una delle migliori del mondo. Ma non è tutto oro quel che riluce. Studi recenti hanno messo in discussione quella immagine. Per quanto riguarda la matematica, è chiaro che la Finlandia primeggia in quanto i test Pisa stimano i successi nella matematica pratica ma – come è stato ammesso da autorevoli personalità finlandesi – se valutassero la capacità di intendere i concetti matematici, la Finlandia finirebbe agli ultimi posti. Si insegna una matematica definita da uno specialista come un “soggetto educativo” privo di relazioni con la matematica propriamente detta. Il simbolo “=” è stato soppresso e sostituito con V, che sta per Vastaus, ovvero “risposta”. Ma identificare “=” con “risposta” significa che uno studente non sa più cosa sia un’equazione. Un recente articolo spiega che, se entrate in una macelleria finlandese e chiedete ¾ di chilo di carne, non sarete capiti: dovete dire 750 grammi, perché i numeri sono insegnati soltanto in forma intera o decimale, in quanto digitabile sul calcolatore. Ciò vuol dire che non si sa più cosa sia una frazione e questo è un autentico disastro concettuale.
D’altra parte, nei sondaggi Pisa trionfano anche paesi come la Cina, la Corea o Singapore le cui scuole sono diversissime: ipertradizionaliste, improntate a disciplina, rigore e amore per la conoscenza, in cui l’ossessione per i test è sconosciuta e i bambini usano i pallottolieri, altro che “nativi digitali”. Come mai?

http://gisrael.blogspot.com/2010/12/il-sistema-dellistruzione-e-le.html

Altre riserve.

Scuole private e test Invalsi e Pisa

Per non fare confusione: http://www.ilsussidiario.net/News/Educazione/2010/12/13/SCUOLA-Le-paritarie-abbassano-il-livello-solo-un-idea-falsa-di-Repubblica/1/133355/

Limitarsi ai test in entrata

I test somministrati agli studenti delle scuole possono essere invalidi e/o inaffidabili.

Attenzione a non confondere, faccio solo due esempi per chiarirmi.

Quando pesavamo la Marghe avevamo una bilancia che indicava delle cifre sballate (invalide), non avevamo nessuna idea di quanto pesasse realmente la cucciolotta. Ma questo non ci importava, sapevamo infatti che la bilancia era affidabile e i vari pesi riscontrati nel tempo erano confrontabili. Era sufficiente.

Chissà cosa misura il QI. Di sicuro è affidabile. In altri termini: il QI misura qualcosa di preciso, non si sa se sia l’ intelligenza di una persona ma è comunque qualcosa di ben identificato.

Morale: un test inaffidabile è anche invalido ma non viceversa.

Un test invalido non misura l’ oggetto corretto. Un test inaffidabile commette degli errori di misura.

Ma i test possono essere soggetti ad altre distorsioni (bias). Se il candidato si emoziona rende meno, per esempio. Una preparazione mirata ai test è truffaldina in certi contesti.. Per non parlare dell’ “aiutino” che puo’ provenire da un “somministratore interessato”..

Anche elaborare una “scala” che dia rappresentazione fedele dei risultati ottenuti è pressoché impossibile.

Daniel Koretz è l’ uomo migliore per sviscerare al meglio le quattro difficoltà.

Io mi son fatto l’ idea che i test debbano essere impiegati all’ inizio piuttosto che alla fine del “trattamento” scolastico. Ma tale dovrebbe essere l’ uso di ogni esame. Il giudizio finale lo dà solo l’ ambiente destinato ad ospitare l’ “educato”.

Daniel Koretz – Measuring up – Harvard press

Test e Rolling Stones

Pur caldeggiando l' introduzione di test e classifiche nelle nostre scuole, sono consapevole dei limiti di questo strumento. La lettura di Koretz in questo senso è illuminante.

Il test high stake è una roba seria. E' una roba sulla base della quale si distribuiscono i finanziamenti e si scaglionano le carriere. Dobbiamo quindi essere consapevoli sia della loro necessità, sia dei loro limiti.

Ne sintetizzo una dozzina tanto per capirsi.

Innanzitutto un buon test è difficile e costoso da costruire. E quando bisogna tirare la cinghia anche questo conta. Si rischia di ripiegare su cio' che sembra un po' inferiore ma in realtà è del tutto inservibile. Anche perchè la soglia tra il top e la robaccia sta molto vicino al top.

Il test è un sondaggio e la costruzione di un campione corretto è tutt' altro che scontata, così come è difficile individuare delle proxy affidabili.

A volte tanto lavorio si rivela vano.

Se non fosse così non si capirebbe come mai, secondo il PISA, gli studenti USA sopravanzano quelli norvegesi, mentre secondo il TIMSS sia vero il contrario. I due test sono molto rigorosi, peccato vengano sempre presentati senza enfatizzare la grande e inevitabile deviazione standard. Si scoprirebbe che ordinare sulle competenze matematiche norvegesi e americani è insignificante. Soldi buttati?

Cio' non toglie che gli studenti giapponesi apprendano la matematica meglio di americani e norvegesi. Lo dicono i test, ma questa volta lo dicono in modo chiaro.

Oltretutto molte virtù dello studente sfuggono ai test.

Posso conoscere l' algebra ma non sapere quando applicare queste conoscenze. Il test difficilmente segnala lacune del genere.

Altro inconveniente: un prof. puo' eccellere come motivatore. Se la sua carriera dipendesse unicamente dai test rischierebbe grosso.

Il test incentiva i prof a fare meglio, lo dicono tutti. Vero, li incentiva anche a barare però.

A barare materialmente durante la prova, innanzitutto.

Andiamoci a rileggere il primo capitolo di Frekeconomics dove l' economista investigatore risale ai prof disonesti studiando la topologia random degli errori. E' uno spasso ma è anche istruttivo.

E teniamo conto di una cosa: il numero di insegnanti "bari" insediati nel distretto scolastico di Chicago è nella media nazionale, ma la qualità professionale di chi dà loro la caccia laggiù, eccede di gran lunga quella media.

Gli onesti barano invece fornendo preparazioni mirate, in molti casi è possibile. Cio' distorce l'esito poichè quel test è tarato per misurare a campione una preparazione più ampia.

Per giudicare un prof bisogna considerare i "miglioramenti" rispetto al test d' ingresso. L' esperienza degli hight stake spesso ci dice che i miglioramenti sono strepitosi. Purtroppo sono anche molto inaffidabili in quanto dovuti a preparazioni mirate.

Anche le condizioni in cui un test viene somministrato contano. I casi di incoerenza negli esiti si sprecano e per lo più sono dovuti proprio a questa variabile.

Neutralizzare questa variabile è estremamente costoso. Spesso si fa prima rinunciando al test.

Poi c' è l' uso improprio. L' esperienza concreta insegna che test costruiti con certe finalità vengono poi utilizzati per altre che al profano sembrano simili. Chi li maneggia vuole risparmiare senza rendersi conto delle distorsioni che cio' procura.

Le School Chart dei vari sistemi scolastici americani sono un caso che Koretz descrive nel dettaglio.

La preparazione di un allievo dipende dalla qualità della scuola. Ma dipende anche dal contesto che lo ospita (famiglia, amici...). Per classificare le scuole bisogna fare la tara. Compito improbo! Chiedere a chi stima il cosiddetto SES (social economic status). Koretz dedica un capitolo all' acrostico.

L' esito di un test deve essere reso con una scala adeguata. Spesso quando tutto è stato fatto bene, quando il percorso sembra netto, s' inciampa rovinosamente nell' ultimo ostacolo.

***

Oggi nella scuola e tra i prof vige un egalitarismo ingiusto. I test aumenteranno di molto le diseguaglianze e manterranno elementi di ingiustizia. Il gioco vale la candela? Per me sì, ma se giudico dalla cultura sindacalese che impregna l' istituzione che più soffre l' ombra lunga del sessantotto, mi vengono i brividi.

Per me sì soprattutto se i test non saranno l' unico indicatore per giudicare la scuola (ecco alcune variabili alternative: profitto universitario degli alunni di provenienza, indicatori oggettivi sulle strutture, esami diretti ai professori, acquisizioni charter delle scuole low school, autonomia e competizione attraverso i vouchers tra istituti in presenza di forti college premium, test tarati con il SES, retta libera per le scuole high score...).

Che atteggiamento assumere dunque nei confronti dei test? Personalmente mi adeguo al principio "Rolling Stones". In molti non troveranno nei test mai cio' che cercano e sognano, cio' non toglie che potrebbero trovare ugualmente cio' di cui hanno un dannato bisogno.

"... No, you can't always get what you want... but if you try sometime... you find
You get what you need..."

... così almeno ho la scusa per riascoltarmi il pezzo.

add: anche Israel dubita: http://gisrael.blogspot.com/2010/12/la-scuola-fa-schifo-e-se-fosse-ottima.html