Oltre il rifiuto tout court della misurazione
di Paolo Sestito (Banca d’Italia ed ex commissario straordinario INVALSI)
In principio, si criticava l’Invalsi perché le rilevazioni nazionali sugli apprendimenti degli studenti erano condotte su base universale, al contrario delle indagini IEA o di quelle OCSE-PISA (cfr. http://cerca.unita.it/ARCHIVE/xml/2500000/2497757.xml?key=Benedetto+Vertecchi&first=21&orderby=1&f=fir) 1.
Ora che in ambito internazionale qualcuno critica PISA in quanto tale ( cfr. http://www.theguardian.com/education/2014/may/06/oecd-pisa-tests-damaging-education-academics), i critici nazionali dell’Invalsi possono finalmente sparare al bersaglio grosso e dire che misurare su una base comparativa fa male (cfr. http://www.roars.it/online/i-test-a-scuola-che-uccidono-la-gioia-di-apprendere/) 2!
Nonostante questa connessione tra i due filoni di critica, rimango del parere che occorra distinguere tra le due questioni. Sul perché e sul come l’universalità di alcune rilevazioni sugli apprendimenti possa servire, in quanto parte – importante ma non unica – di un sistema di valutazione delle scuole e come strumento per dare maggiore ancoraggio e comparabilità agli scrutini degli stessi studenti in alcuni pochi momenti di passaggio (oggi la fine del I ciclo e, auspicabilmente, in futuro anche la fine del II ciclo), mi sono espresso più volte; ci ritorno in un libro in via di pubblicazione per i tipi de il Mulino, a cui rimando, argomentando che quelle rilevazioni e più in generale la valutazione delle scuole hanno un ruolo tutto sommato piccolo, anche se non irrilevante, per migliorare il sistema educativo italiano 3.
E’ perciò sulla seconda questione che vorrei qui brevemente soffermarmi.
Le critiche alla misurazione, e l’evidenziazione dei possibili pericoli della misurazione, sono essenzialmente legate al fatto che le misure sono, quasi per definizione, imperfette e parziali. Parziali perché si considerano alcune competenze ma non altre che pure sono anche rilevanti (alcune discipline ma non altre, gli apprendimenti di natura cognitiva ma non le abilità emotive, etc.) e perché si considerano le competenze ma non anche tutta la ricchezza dei processi interni alla scuola, o dei fattori esterni alla scuola, che su quelle competenze impattano. Imperfette perché le misure sono soggette ad errore di misurazione in senso proprio (la presenza di una giornata si o di una giornata no per un singolo alunno, per una classe o una scuola, cosa che ovviamente ha un impatto tanto più grande quanto più è piccolo il gruppo a cui la misura si riferisce) e risentono delle modalità di conduzione della misurazione (l’uso del personal computer o della carta, la percezione delle finalità della misurazione, etc.).
Sono questi limiti intrinseci delle misurazioni che devono indurre cautela nel concreto uso delle stesse. Quanto prima si diceva (ossia che le rilevazioni sugli apprendimenti dovrebbero esser parte importante, ma non unica, d’un sistema di valutazione delle scuole) è anche conseguenza di tali limiti: si tratta in ultima istanza di prevenire derive di teaching to the test o ancora peggio fenomeni di cheating nei test che si potrebbero avere se una singola misura, un singolo test, divenisse la chiave di volta d’un sistema di premi, o anche solo di encomi, alle singole scuole. Naturalmente vi sono accorgimenti specifici nel concreto disegno delle misurazioni che possono essere posti in essere e che dipendono anche dalle finalità della misurazione specifica: ad esempio, quanto più un test ha natura high stakes, tanto più è importante evitare che le domande oggetto di rilevazione siano prevedibili. Sul come tenere conto, e se del caso delimitare, tali limiti e sul come poi le rilevazioni possano essere utilizzate tenendo conto dei limiti che comunque rimangono, ci possono essere opinioni diverse e il dibattito, anche aspro, serve a meglio tener conto di tali questioni.
Il rifiuto tout court della misurazione per via dei suoi possibili limiti francamente pare però un atteggiamento di tipo oscurantistico: come dire “meglio non sapere perché la conoscenza comunque sarà sempre parziale e imperfetta!”
In particolare, attaccare PISA perché misurando alcune cose indice a comparare i sistemi scolastici nazionali solo su alcuni aspetti e non su altri trascura due pregi di PISA. E’ proprio grazie a PISA e alla messa a disposizione dei suoi dati (così come grazie alle rilevazioni Invalsi all’interno del nostro paese) che si è avuto un fiorire di studi empirici sul sistema educativo, che sta portando a sostituire opinioni e pregiudizi con elementi conoscitivi fattuali. Inoltre, PISA è anche e soprattutto un grande cantiere – internazionale ed a cielo aperto (nel senso della massima trasparenza) – nella metodologia delle misurazioni: chi ne critica i contenuti come riduttivi dimentica che sempre più si cercano di considerare dimensioni ulteriori delle competenze (nel 2012 il problem solving e la financial literacy) e tutta una serie di aspetti legati alle motivazioni degli alunni e alle caratteristiche dei processi educativi.
La mia impressione è che il pericolo che molti vedono in PISA e nei test sugli apprendimenti sia un pericolo molto privato e personale. Non mi riferisco qui ai tanti insegnanti timorosi dell’universalità delle rilevazioni – che non ha a che fare con PISA – per motivi ben comprensibili e legati alla mancata chiarezza su finalità e utilizzi delle rilevazioni. Mi riferisco in realtà a quei ricercatori che a ogni piè sospinto ci ricordano la complessità della realtà – cosa senz’altro vera – ed enfatizzano la superiorità della ricerca educativa qualitativa su quella quantitativa. L’impressione è che la pericolosità di PISA sussista solo per chi voglia poter trattare di temi educativi sulla base di opinioni apriori, di chi teme un dibattito che sia sì confronto di opinioni, ma disciplinato dalla presenza di fatti e di numeri. PISA non chiude certo il dibattito sui temi educativi. Tutt’altro, i dati di PISA lo arricchiscono e al tempo stesso lo disciplinano, evitando che la oggettiva complessità delle questioni educative divenga un alibi per rimanere sempre sul terreno delle opinioni apriori e non progredire mai verso delle conoscenze fattuali (per quanto limitate e parziali).
Confesso del resto che non vedo altro modo, se non quello di misurare e analizzare le misure ottenute (tenendo conto di tutte le loro peculiarità e dei loro limiti), laddove si voglia capire se ad esempio il tempo pieno migliora gli apprendimenti degli alunni e se lo fa in maniera differenziata a seconda del background familiare dell’alunno. Certo, ragionare dell’efficacia di questa possibile prassi educativa considerando la media delle situazioni esistenti e cercando di depurare, sempre in media, dagli innumerevoli altri fattori in ciascuna singolo caso rilevanti non consente di dire cosa sia meglio fare in uno specifico caso – in una data classe o per un singolo alunno. Questo di nuovo riporta alla questione della parzialità delle misure a fronte della complessità della realtà concreta e, più in generale, alla ricchezza di approcci e metodi che la ricerca educativa deve avere: ammesso che abbia una risposta soddisfacente sugli effetti del tempo pieno, devo poi cercare di capire perché, tramite quali canali e con quali possibili controindicazioni (rispetto ad altre variabili o nel tempo) tali effetti si manifestano, combinando ricerca quantitativa con analisi qualitativa dei processi e dei singoli casi.
La scuola è un sistema complesso, e fare ricerca sul suo funzionamento richiede di essere molto umili a fronte di tale complessità, ma anche il cervello umano è cosa molto complessa. A nessun neuroscienziato verrebbe oggi in mente di dire che l’unico strumento di analisi debba essere quello dell’analisi dei singoli casi clinici – di solito relativi a pazienti eccentrici – o che le misure – assolutamente parziali e imperfette – che oggi si iniziano ad avere del funzionamento delle reti neurali debbano essere rigettate in base al ragionamento che ogni singolo individuo è un unicum da considerare qualitativamente. Allo stesso modo, rinunciare a PISA significherebbe rinunciare a un progetto internazionale che sta arricchendo la ricerca in campo educativo, consentendo di sfruttare, a fini analitici, la varietà che sussiste nei diversi sistemi scolastici.
Il punto che merita semmai una ulteriore discussione è il nesso tra PISA e sistemi nazionali di rilevazione degli apprendimenti. Come PISA interagisce (e dovrebbe interagire) con questi? L’accusa a PISA è di volersi sostituire a questi o quantomeno di esercitare delle indebite pressioni su di essi, nel senso di orientarli a misurare certe cose e non altre. Come prima detto, a me sembra che la presenza di sollecitazioni – sul cosa e sul come misurare – sia un’opportunità più che una minaccia per i diversi sistemi nazionali. Certo, un sistema nazionale deve poter difendere, se lo vuole, certe sue caratteristiche e certe sue scelte. In altri termini, non devono essere i risultati di PISA a dettare l’agenda di policy interna; è però utile poter disporre delle comparazioni basate su PISA per mettere in dubbio le scelte fatte, arricchendo la ricerca accademica e la trasparenza delle scelte di policy.
Quel che personalmente trovo invece poco convincente sarebbe il rimpiazzare PISA e la metrica fornita da PISA ai sistemi nazionali di rilevazione. Quali che siano gli utilizzi di questi, quale che sia in ultima istanza la governance d’un sistema scolastico nazionale, pensare di utilizzare a tali fini PISA e solo PISA avrebbe poco senso. E’ per questo che non ho mai trovato particolarmente attraente una recente opzione che è stata inserita in PISA, la cd PISA per le scuole, che consente di fornire informazioni sui risultati, nella metrica di PISA, degli alunni di una certa scuola. E’ importante che questa opzione rimanga comunque sempre sotto il controllo delle singole autorità nazionali, per prevenire il rischio che le singole scuole, tramite tale opzione, escano dal proprio sistema nazionale di rilevazioni sugli apprendimenti. Al di là della scarsa legittimità di una tale cosa in ciascun singolo paese, il rischio, per tutti i paesi, sarebbe quello di snaturare la stessa PISA. Se questa divenisse uno strumento per confrontare le singole scuole – che per definizione tra l’altro non sono casualmente selezionate in modo da “rappresentare” statisticamente i diversi sistemi nazionali, perché PISA per le scuole è un’opzione in cui è la singola scuola che deve assumere l’iniziativa per aderire – verrebbe messa a rischio la ratio di PISA come fonte di dati e sperimentazione di misure atte a confrontare e analizzare i diversi sistemi nazionali.
E’ ad altre strade, più che allo strumento di PISA per le scuole, che si deve perciò pensare per meglio far interagire PISA coi singoli sistemi nazionali. Nel caso italiano ciò sarebbe preferibile fosse affidato non tanto all’uso del sovra-campionamento regionale, adoperato nel periodo 2006-2012 e piuttosto costoso, quanto al rafforzamento delle interazioni con le rilevazioni nazionali condotte dall’Invalsi. Nel periodo in cui ho avuto la responsabilità dell’Invalsi, è stata avviata l’abolizione del sovra-campionamento sistematico in PISA, un’opzione d’ora in poi lasciata alla responsabilità di scelta delle singole Regioni. Si sono anche avviati i primi passi per creare, all’interno di PISA 2015 ed a fianco del solito campione di studenti 15enni, che in Italia solo in ¾ dei casi sono nella classe II della secondaria superiore, un campione riferito a questo grado scolastico (a sua volta composto in solo circa ¾ dei casi da 15enni). Tutto questo potrà consentire di confrontare perfettamente rilevazioni nazionali per la classe II della scuola superiore e rilevazioni PISA, aprendo la strada a possibili meccanismi di ancoraggio delle prime alla metrica di PISA, nonché allo studio su base longitudinale dei risultati dei partecipanti a PISA (uno studio già fatto in alcuni altri paesi, ad esempio il Canada). Più in generale, come e più che in passato le sperimentazioni metodologiche di PISA (il passaggio al computer che interverrà nel 2015, l’ampliamento delle competenze testate e l’uso dei questionari studente o insegnante) potranno esser riversate nello sviluppo delle rilevazioni nazionali.
1. Queste in particolare le considerazioni di B. Vertecchi nel brano in questione (da L’Unità dell’8 gennaio 2013): “Sulla falsariga dello strumentario e della metodologia di elaborazione dei dati utilizzati da organizzazioni come l’Ocse e la Iea per le loro indagini comparative, sono state introdotte prove a carattere nazionale per la valutazione del livello degli apprendimenti conseguiti dagli allievi. La responsabilità di tali operazioni è stata conferita all’Invalsi (Istituto nazionale per la valutazione del sistema d’istruzione e di formazione). A differenza, tuttavia, delle organizzazioni prima menzionate, è stato deciso di non procedere nelle rilevazioni per via campionaria, ma di sottoporre a prova l’universo degli allievi iscritti a una certa classe. Si è trattato di una scelta che ha destato preoccupazione e sospetto, non ingiustificati. Che bisogno c’è, infatti, di procedere a rilevazioni sull’intera popolazione, se lo scopo è quello di valutare il sistema?”.
2. Questo è il massimo che sembra ora concedere G. Israel, autore del brano citato (da il Messaggero del 13 maggio 2014): “Qualche forma di testing elementare può servire, purché a dosi omeopatiche”.
3. Il libro discute di sistema scolastico e di giovani nel mercato del lavoro. Un’anticipazione di alcune delle tesi del libro, con riferimento in particolare al possibile ruolo dell’Invalsi, è sul no. 3 del 2014 della rivista il Mulino.
v. anche su questo blog:
Vie d’uscita dallo stress da test di Paolo Landri (Primo Ricercatore CNR-IRPPS)
Il dibattito su PISA: niente manicheismi di Luciano Benadusi (Direttore di Scuola Democratica e Learning4)
consulta :
http://www.ilsole24ore.com/art/notizie/2014-06-23/misurare-poter-migliorare-063641.shtml?uuid=ABMsZvTB
