Pur caldeggiando l' introduzione di test e classifiche nelle nostre scuole, sono consapevole dei limiti di questo strumento. La lettura di Koretz in questo senso è illuminante.
Il test high stake è una roba seria. E' una roba sulla base della quale si distribuiscono i finanziamenti e si scaglionano le carriere. Dobbiamo quindi essere consapevoli sia della loro necessità, sia dei loro limiti.
Ne sintetizzo una dozzina tanto per capirsi.
Innanzitutto un buon test è difficile e costoso da costruire. E quando bisogna tirare la cinghia anche questo conta. Si rischia di ripiegare su cio' che sembra un po' inferiore ma in realtà è del tutto inservibile. Anche perchè la soglia tra il top e la robaccia sta molto vicino al top.
Il test è un sondaggio e la costruzione di un campione corretto è tutt' altro che scontata, così come è difficile individuare delle proxy affidabili.
A volte tanto lavorio si rivela vano.
Se non fosse così non si capirebbe come mai, secondo il PISA, gli studenti USA sopravanzano quelli norvegesi, mentre secondo il TIMSS sia vero il contrario. I due test sono molto rigorosi, peccato vengano sempre presentati senza enfatizzare la grande e inevitabile deviazione standard. Si scoprirebbe che ordinare sulle competenze matematiche norvegesi e americani è insignificante. Soldi buttati?
Cio' non toglie che gli studenti giapponesi apprendano la matematica meglio di americani e norvegesi. Lo dicono i test, ma questa volta lo dicono in modo chiaro.
Oltretutto molte virtù dello studente sfuggono ai test.
Posso conoscere l' algebra ma non sapere quando applicare queste conoscenze. Il test difficilmente segnala lacune del genere.
Altro inconveniente: un prof. puo' eccellere come motivatore. Se la sua carriera dipendesse unicamente dai test rischierebbe grosso.
Il test incentiva i prof a fare meglio, lo dicono tutti. Vero, li incentiva anche a barare però.
A barare materialmente durante la prova, innanzitutto.
Andiamoci a rileggere il primo capitolo di Frekeconomics dove l' economista investigatore risale ai prof disonesti studiando la topologia random degli errori. E' uno spasso ma è anche istruttivo.
E teniamo conto di una cosa: il numero di insegnanti "bari" insediati nel distretto scolastico di Chicago è nella media nazionale, ma la qualità professionale di chi dà loro la caccia laggiù, eccede di gran lunga quella media.
Gli onesti barano invece fornendo preparazioni mirate, in molti casi è possibile. Cio' distorce l'esito poichè quel test è tarato per misurare a campione una preparazione più ampia.
Per giudicare un prof bisogna considerare i "miglioramenti" rispetto al test d' ingresso. L' esperienza degli hight stake spesso ci dice che i miglioramenti sono strepitosi. Purtroppo sono anche molto inaffidabili in quanto dovuti a preparazioni mirate.
Anche le condizioni in cui un test viene somministrato contano. I casi di incoerenza negli esiti si sprecano e per lo più sono dovuti proprio a questa variabile.
Neutralizzare questa variabile è estremamente costoso. Spesso si fa prima rinunciando al test.
Poi c' è l' uso improprio. L' esperienza concreta insegna che test costruiti con certe finalità vengono poi utilizzati per altre che al profano sembrano simili. Chi li maneggia vuole risparmiare senza rendersi conto delle distorsioni che cio' procura.
Le School Chart dei vari sistemi scolastici americani sono un caso che Koretz descrive nel dettaglio.
La preparazione di un allievo dipende dalla qualità della scuola. Ma dipende anche dal contesto che lo ospita (famiglia, amici...). Per classificare le scuole bisogna fare la tara. Compito improbo! Chiedere a chi stima il cosiddetto SES (social economic status). Koretz dedica un capitolo all' acrostico.
L' esito di un test deve essere reso con una scala adeguata. Spesso quando tutto è stato fatto bene, quando il percorso sembra netto, s' inciampa rovinosamente nell' ultimo ostacolo.
Il test high stake è una roba seria. E' una roba sulla base della quale si distribuiscono i finanziamenti e si scaglionano le carriere. Dobbiamo quindi essere consapevoli sia della loro necessità, sia dei loro limiti.
Ne sintetizzo una dozzina tanto per capirsi.
Innanzitutto un buon test è difficile e costoso da costruire. E quando bisogna tirare la cinghia anche questo conta. Si rischia di ripiegare su cio' che sembra un po' inferiore ma in realtà è del tutto inservibile. Anche perchè la soglia tra il top e la robaccia sta molto vicino al top.
Il test è un sondaggio e la costruzione di un campione corretto è tutt' altro che scontata, così come è difficile individuare delle proxy affidabili.
A volte tanto lavorio si rivela vano.
Se non fosse così non si capirebbe come mai, secondo il PISA, gli studenti USA sopravanzano quelli norvegesi, mentre secondo il TIMSS sia vero il contrario. I due test sono molto rigorosi, peccato vengano sempre presentati senza enfatizzare la grande e inevitabile deviazione standard. Si scoprirebbe che ordinare sulle competenze matematiche norvegesi e americani è insignificante. Soldi buttati?
Cio' non toglie che gli studenti giapponesi apprendano la matematica meglio di americani e norvegesi. Lo dicono i test, ma questa volta lo dicono in modo chiaro.
Oltretutto molte virtù dello studente sfuggono ai test.
Posso conoscere l' algebra ma non sapere quando applicare queste conoscenze. Il test difficilmente segnala lacune del genere.
Altro inconveniente: un prof. puo' eccellere come motivatore. Se la sua carriera dipendesse unicamente dai test rischierebbe grosso.
Il test incentiva i prof a fare meglio, lo dicono tutti. Vero, li incentiva anche a barare però.
A barare materialmente durante la prova, innanzitutto.
Andiamoci a rileggere il primo capitolo di Frekeconomics dove l' economista investigatore risale ai prof disonesti studiando la topologia random degli errori. E' uno spasso ma è anche istruttivo.
E teniamo conto di una cosa: il numero di insegnanti "bari" insediati nel distretto scolastico di Chicago è nella media nazionale, ma la qualità professionale di chi dà loro la caccia laggiù, eccede di gran lunga quella media.
Gli onesti barano invece fornendo preparazioni mirate, in molti casi è possibile. Cio' distorce l'esito poichè quel test è tarato per misurare a campione una preparazione più ampia.
Per giudicare un prof bisogna considerare i "miglioramenti" rispetto al test d' ingresso. L' esperienza degli hight stake spesso ci dice che i miglioramenti sono strepitosi. Purtroppo sono anche molto inaffidabili in quanto dovuti a preparazioni mirate.
Anche le condizioni in cui un test viene somministrato contano. I casi di incoerenza negli esiti si sprecano e per lo più sono dovuti proprio a questa variabile.
Neutralizzare questa variabile è estremamente costoso. Spesso si fa prima rinunciando al test.
Poi c' è l' uso improprio. L' esperienza concreta insegna che test costruiti con certe finalità vengono poi utilizzati per altre che al profano sembrano simili. Chi li maneggia vuole risparmiare senza rendersi conto delle distorsioni che cio' procura.
Le School Chart dei vari sistemi scolastici americani sono un caso che Koretz descrive nel dettaglio.
La preparazione di un allievo dipende dalla qualità della scuola. Ma dipende anche dal contesto che lo ospita (famiglia, amici...). Per classificare le scuole bisogna fare la tara. Compito improbo! Chiedere a chi stima il cosiddetto SES (social economic status). Koretz dedica un capitolo all' acrostico.
L' esito di un test deve essere reso con una scala adeguata. Spesso quando tutto è stato fatto bene, quando il percorso sembra netto, s' inciampa rovinosamente nell' ultimo ostacolo.
***
Oggi nella scuola e tra i prof vige un egalitarismo ingiusto. I test aumenteranno di molto le diseguaglianze e manterranno elementi di ingiustizia. Il gioco vale la candela? Per me sì, ma se giudico dalla cultura sindacalese che impregna l' istituzione che più soffre l' ombra lunga del sessantotto, mi vengono i brividi.
Per me sì soprattutto se i test non saranno l' unico indicatore per giudicare la scuola (ecco alcune variabili alternative: profitto universitario degli alunni di provenienza, indicatori oggettivi sulle strutture, esami diretti ai professori, acquisizioni charter delle scuole low school, autonomia e competizione attraverso i vouchers tra istituti in presenza di forti college premium, test tarati con il SES, retta libera per le scuole high score...).
Che atteggiamento assumere dunque nei confronti dei test? Personalmente mi adeguo al principio "Rolling Stones". In molti non troveranno nei test mai cio' che cercano e sognano, cio' non toglie che potrebbero trovare ugualmente cio' di cui hanno un dannato bisogno.
"... No, you can't always get what you want... but if you try sometime... you find
You get what you need..."
... così almeno ho la scusa per riascoltarmi il pezzo.
add: anche Israel dubita: http://gisrael.blogspot.com/2010/12/la-scuola-fa-schifo-e-se-fosse-ottima.html
