A proposito dei limiti di PISA
di Bruno Losito (docente di Pedagogia sperimentale e Docimologia presso il Dipartimento di Scienze della formazione dell’Università Roma Tre; coordinatore nazionale per PISA 2006)
Vorrei inserirmi nella discussione che si sta aprendo su PISA, a partire dalla sollecitazione di Luciano Benadusi a prendere spunto da questa discussione per approfondire il dibattito sulla valutazione e sulla ricerca valutativa.
Una premessa. Che la lettera degli studiosi pubblicata da The Guardian abbia avuto una risonanza così ampia, lascia in parte sorpresi. Ritengo infatti che le critiche rivolte a PISA e all’OCSE in questa lettera non siano poi così nuove. La mia impressione è che giochino un ruolo non irrilevante anche aspetti (e interessi?) legati a quel ‘mercato’ della ricerca educativa denunciato nella lettera. Non credo sia un caso che la risposta di Andreas Schleicher si concentri essenzialmente su questo aspetto. Non sono in grado di valutare quanto questi aspetti abbiano pesato, ma la sensazione che un certo peso lo abbiano avuto è forte.
Detto questo, credo che la lettera sollevi problemi importanti, ma anche che molti dei limiti che vengono attribuiti a PISA siano piuttosto dovuti ad altri fattori, che, benché sembrino fotografare la situazione italiana, non riguardano solo il nostro paese:
– la arretratezza dei sistemi di valutazione di molti dei paesi OCSE, che ha portato molti di essi ad assumere i risultati di PISA come misure per la valutazione dei propri sistemi di istruzione nazionali;
– la sostanziale perdita di spessore, a livello internazionale e nei singoli paesi, della riflessione sul ruolo dell’educazione e della scuola nelle nostre società, perdita rispetto alla quale a poco servono le critiche di rito al supposto impianto concettuale di tipo ‘economicistico’ di PISA;
– la cronica debolezza, in molti paesi, della ricerca valutativa (e più in generale di quella educativa), che ha portato ad assumere quasi acriticamente l’impianto metodologico e procedurale di PISA come modello per la costruzione delle rilevazioni interne.
Per questi motivi, ad esempio, una delle critiche rivolte a PISA nella lettera, quella del ranking, andrebbe rivolta più all’uso che del ranking viene fatto piuttosto che alla scelta stessa di presentare in questo modo i risultati delle rilevazioni. Eppure, il problema esiste, soprattutto dal punto di vista metodologico. Andrebbe ricordato, che la scelta di presentare i risultati delle indagini comparative attraverso la costruzione di graduatorie è stata originariamente compiuta dalla IEA, a partire dalle sue prime rilevazioni. Il senso di quelle graduatorie era, però, abbastanza diverso. Il senso della comparazione (e della graduatoria) era quello di indicare quali sistemi di istruzione riuscissero meglio a realizzare alcuni obiettivi di apprendimento che tutti i paesi partecipanti individuavano come fondamentali per i propri studenti, in un’ottica di crescita della conoscenza educativa e per ‘imparare’ dai paesi più virtuosi. In PISA, la logica è parzialmente diversa, non si parte dalle effettive opportunità di apprendimento degli studenti, ma da ciò che a livello internazionale (a livello OCSE) è stato individuato come rilevante, sulla base della analisi dei bisogni di sviluppo delle società avanzate (quelle dei paesi OCSE, che diventano modello di riferimento). Questo non vuol dire che non sia opportuno o che sia negativo procedere alla costruzione di ‘graduatorie’, ma bisogna essere consapevoli di quale possa essere il senso e il valore che tali graduatorie possono o non possono avere.
Per altro, da questo di vista, PISA non è immune da ‘colpe’. Credo, ad esempio, che aver inserito nella comparazione internazionale, per motivi tutti politici, il distretto di Shanghai (indicato surrettiziamente come “Shanghai-China”) sia del tutto scorretto. È un po’ come se l’Italia fosse presente nella comparazione solo sulla base dei risultati dei licei del Nord-Est e del Nord-Ovest del nostro paese (cfr http://www.insegnareonline.com/istanze/valutare-capire/pisa-2012-migliorati )
A parte queste considerazioni, su un terreno più strettamente metodologico, più volte negli anni passati, sono stati scritti e pubblicati articoli che hanno approfondito alcune criticità presenti in PISA, che dovrebbero far guardare alle graduatorie dei risultati in maniera forse più cauta. In particolare, mi riferisco a due aspetti:
– l’invarianza delle misure tra paesi e i limiti dei modelli adottati per lo scaling da PISA1. Ricordo questi aspetti, perché ritengo che su di essi più che sul problema delle graduatorie in quanto tali bisognerebbe concentrare l’attenzione e la ricerca. Si tratta di uno degli esempi possibili.
– Un altro aspetto sul quale varrebbe la pena di ragionare in termini di ricerca è la sostanziale incapacità di PISA (almeno a mio parere) di rilevare alcune componenti fondamentali delle competenze, che restano l’oggetto delle rilevazioni. Mi riferisco, ad esempio, alle componenti affettivo-motivazionali. Su questo aspetto, dopo il tentativo poco soddisfacente degli ‘embedded items’ del 2006, la riflessione non è andata molto avanti.
Lo stesso continuo ampliamento delle aree oggetto di indagine (reintroduzione del problem solving, financial literacy, in PISA 2018 la global competence), a fronte del mancato approfondimento di alcuni aspetti metodologici quali quelli che ho appena cercato di indicare, lascia perplessi sulla logica seguita dall’OCSE e da PISA.
Un’ultima osservazione. Credo che sia importante discutere dei problemi sollevati rispetto a PISA, per la rilevanza di questo progetto e per gli spunti che dalle riflessioni critiche ad esso rivolte possono scaturire per un discorso più generale sulla valutazione e sulla ricerca valutativa. Non credo che sia necessario parlare di PISA per affrontare i problemi presenti nelle rilevazioni Invalsi. Parliamo direttamente della e alla suocera e non alla nuora!
sullo stesso tema v. anche su questo blog:
Vie d’uscita dallo stress da test di Paolo Landri (Primo Ricercatore CNR-IRPPS)
Il dibattito su PISA: niente manicheismi di Luciano Benadusi (Direttore di Scuola Democratica e Learning4)
Oltre il rifiuto tout court della misurazione di Paolo Sestito (Banca d’Italia ed ex commissario straordinario INVALSI)
