mercoledì 4 dicembre 2013

CHE COSA DICONO I SONDAGGI OCSE-PISA?

Un'analisi più dettagliata di alcuni dei test proposti si trova sul blog "Pensare in matematica".

I risultati del sondaggio Ocse per quel che concerne la scuola italiana possono essere così riassunti: l’Italia si colloca ancora al disotto della media dei 65 paesi esaminati, in matematica, in lettura e in scienze, ma è uno dei paesi che ha registrato i maggiori progressi soprattutto in matematica e in scienze. Il quadro mostra risultati deludenti per le regioni meridionali mentre, in alcune zone del nord-est, gli studenti sono secondi solo a quelli del Lichtenstein.
Le reazioni diffuse sono di gradita sorpresa, perché altri sondaggi recenti facevano temere il peggio. Si moltiplicano i tentativi di spiegazione ma non è affatto chiaro che cosa abbia determinato questa inversione di tendenza e quale ne sia l’autentico significato.
V’è difatti qualcosa di negativo in questo rito statistico che si ripete periodicamente e il cui effetto principale sembra essere l’anestesia dello spirito critico: piovono tabelle, grafici, istogrammi e milioni di numeri che vengono confusi con la “realtà” dimenticando non solo di interpretarli ma che la cosa più interessante di tutte è chiedersi attraverso quali strumenti (quiz, questionari) si è pervenuti a questi risultati. Stiamo adattandoci a prendere tutto per buono e a trarre conclusioni affrettate. L’attendibilità dei sondaggi Ocse-Pisa è stata già messa in discussione, per esempio dai sociologi Jörg Blasius e Victor Thiessen, che hanno messo in luce l’influsso di questionari compilati dai dirigenti scolastici in modi che apparivano confezionati in modo troppo meccanico per essere attendibili. Ma si dovrebbe andare a fondo su questioni di sostanza.
Il sondaggio Ocse-Pisa colloca i paesi sopra o sotto un livello medio che risulta dalle loro prestazioni. Queste sono l’esito di test uguali per tutti. Ciò è discutibile: la cultura universale condivisa è un sogno magnifico, ma niente più, perché le differenze nazionali esistono, eccome, ed è difficile pensare a un test che valuti sulla medesima scala uno studente cinese e uno spagnolo senza appiattire in modo indebito le loro diversità culturali e di formazione didattica. Questo può essere fatto soltanto stabilendo per decreto che cosa sia una competenza matematica, di lettura o di scienze: il che è un appiattimento poiché – malgrado la globalizzazione – neppure il modo di pensare la matematica è uguale in ogni parte del mondo. Quindi, la cosa più interessante è esplorare la concezione che ha ispirato il sondaggio Ocse e da cui derivano i test proposti. Questo è l’aspetto più oscuro della faccenda, nascosto dal diluvio dei dati. Tuttavia, il sito Ocse offre esempi di alcuni test usati, in particolare per la matematica. La loro presentazione, redatta in fumoso gergo di stile didattico-burocratico, rivela una concezione rispettabile ma altrettanto discutibile della matematica, identificata semplicisticamente con il pensiero quantitativo-numerico. È poi interessante fare i test. Uno di essi chiede di calcolare il numero di persone che entreranno in un edificio attraverso una porta rotante a velocità e capienza date, in un certo tempo. Ho indicato a colpo e per intuizione il valore più alto tra i 4 proposti. Ma la domanda voleva essere un test della capacità di mettere in gioco abilità nel modellizzare situazioni concrete. Uno studente che avesse correttamente seguito la via di costruire un modello avrebbe impiegato molto più tempo di me, forse troppo per dare la risposta; pur mostrando migliore competenza di chi ha indovinato “a naso”. A meno che non si voglia commettere l’errore capitale di premiare la velocità. Senza contare che un problema matematico non ha una sola via di soluzione: la scelta tra le tante possibili è un indizio delle capacità dello studente. Ma questo non risulta da un test a crocette. Un altro modello più difficile mirava a mettere in gioco l’abilità di modellizzare situazioni complesse: dalla descrizione delle caratteristiche di un percorso di ascensione al Monte Fuji lo studente doveva desumere il tempo limite per tornare al punto di partenza entro le 8 di sera. Anche qui si chiedeva di rispondere con una cifra, mentre sarebbe stato assai più interessare valutare l’approccio seguito, indipendentemente da un eventuale errore numerico. Ebbene, l’Italia si è attestata su un mediocre 10% di risposte esatte, davanti al misero 9% di paesi scientificamente avanzati come USA e Israele, appena dietro il 13% francese: tutti – inclusa la Germania (18%) – stracciati da percentuali asiatiche oscillanti tra il 30% e il 55%. Davvero tutto ciò dice qualcosa di decifrabile? Davvero uno studente tedesco ha capacità tanto minori di tradurre un problema in formule matematiche di uno studente di Singapore? O forse è meno abituato alla messa in opera di algoritmi ad hoc, senza per questo avere minori capacità matematiche? Secondo il rapporto Ocse gli studenti italiani sarebbero più capaci di interpretare risultati matematici che non di formulare matematicamente situazioni concrete. Ma forse la conclusione è affrettata. Una visione più concettuale della matematica (magari maturata con studi altrove trascurati) può essere momentaneamente perdente su un test che verifica l’esito di abilità calcolistiche, e alla lunga vincente anche sul piano applicativo.
Si potrebbe continuare, ma ci sembra che l’unica risposta seria alla domanda se davvero l’Italia sia nella condizione descritta è: su queste basi non è affatto chiaro. L’unica cosa chiara è che dovremmo passare a una fase più matura e adulta del problema della valutazione, affrontando – anche con analisi non numeriche – i molteplici temi che si presentano nel problema del miglioramento dell’istruzione. Fattori complessi come la capacità, l’abilità ecc. hanno una gran quantità di aspetti – culturali, sociali, specificamente nazionali o regionali, psicologici, ecc. – che non si prestano al giochetto fallace da mago dei numeri di appiattirli su una scala unidimensionale. Nessuno può negare l’utilità dei test, a livelli minimali, ma credere che in tal modo si possa rappresentare la realtà mondiale dell’istruzione è regredire a una visione mistica in cui le percentuali assumono valore di per sé senza che neppure ci si chieda da dove nascano.


(Il Messaggero, 4 dicembre 2013)

8 commenti:

Simone ha detto...

Sono reduce da un veemente scambio di opinioni con Max Bruschi:
http://blog.maxbruschi.it/2013/11/25/superiori-in-4-anni-conta-il-come-il-dove-il-chi/

In una delle tante risposte ai miei commenti l'ex portavoce del ministro Gelmini ha testualmente asserito quanto segue:

"In realtà, non c’è nessun rapporto scientificamente provato (li ho cercati: prima di parlare, mi documento) tra numerosità delle classi e risultati di apprendimento".

Quali sarebbero le fonti? Nel successivo intervento lo chiarisce invitandomi alla lettura "dell’ultimo rapporto OCSE/PISA e alla documentazione del sito Eurydice", precisando che: "Un conto agitare luoghi comuni, altro documentarsi".

A quel punto non ho potuto fare a meno di invitarlo alla lettura del “Mentire con le statistiche” di Darrel Huff.

Il dott.Bruschi non pare però aver capito il vero senso della mia obiezione, tanto è vero che nel successivo intervento faceva riferimento al problema dei polli di Trilussa, come se fosse solo quello il problema dell'utilizzo disinvolto della statistica.

Tuttavia, professore, mi chiedo se il continuo ricorso a tali rapporti (Bruschi è solo uno dei tanti) sia davvero solo il frutto di incultura o se non vi sia anche del "dolo"?
Questi test non solo non danno alcuna informazione sul ragionamento seguito per dare una certa risposta, ma dipendono anche dall'allenamento alla risoluzione di quesiti simili. Perché allora si insiste con essi?
Forse perché a partire da tali dati è possibile dedurre tutto e il suo contrario? Oppure pensa che si tratti solo del delirio "positivista" di chi pensa che tutto ciò che è descrivibile con valori numerici sia, ipso facto, oggettivo.

Giorgio Israel ha detto...

Pubblico, ma non posso commentare una discussione nata su un altro blog. Dovrebbe trasferirsi qui con la presenza di tutti gli interlocutori e questo è impossibile. Non direi tuttavia che Max Bruschi sia un feticista dei numeri e dei test. La mia posizione penso sia chiara e mi tengo a quella.

Bhrihskwobhloukstroy ha detto...

Velocità, addestramento: ma non è che si ispirano ai videogiochi? Siamo tornati al cane di Pavlov?

Simone ha detto...

Professore, non voglio ovviamente trasferire sul suo spazio una discussione che si è sviluppata su un altro blog. Capisco il suo imbarazzo e mi scuso di averglielo creato.
Se però ho fatto quel riferimento è stato solo per stigmatizzare l'utilizzo pseudo-scientifico dei risultati di certi test.
Non so dirle poi se Bruschi sia o meno un talebano dei test. Quello che è certo è che almeno in quella specifica occasione ha utilizzato l'ultimo rapporto OCSE/PISA per sostenere una tesi assurda e strampalata (per non dire semplicemente FALSA).
E purtroppo non è il solo, perché siamo arrivati all'assurdo per cui anche i vergognosi tagli alla scuola statale vengono giustificati in nome di rilevazioni statistiche presunte oggettive.

Giorgio Israel ha detto...

Non parli a me dei sondaggi OCSE Pisa....

Bhrihskwobhloukstroy ha detto...

Ma questi test chi li fabbrica? Sono adatti a dei bambini? Chi decide in quanto tempo si devono risolvere prima di essere dichiarati "ritardati"? non sono domande retoriche. Mi interesserebbe saperlo per capire se hanno comunque una validità o se servono solo a far sentire i popoli mediterranei costantemente inferiori e a far fuori le materie che implicano più lentezza e riflessione.

Morpy ha detto...

Ciao Giorgio ti ho mandato una mail sulla valutazione a giorgio.israel#uniroma1 se non la leggi scrivimi piero.morpurgo@alice.it. Grazie piero

Giorgio Israel ha detto...

La leggo, ma è giorgio.israel@uniroma1.it