A CHI CONVIENE BARARE AI TEST INVALSI? *

Le prove Invalsi su base universale servono in primo luogo a dare a tutte le singole scuole uno specchio sulla propria specifica situazione. Ecco perché chi "imbroglia" fa del male innanzitutto a se stesso. Quest'anno l'Istituto non restituirà le prove nelle situazioni dove i dati non risultino affidabili e cercherà di migliorare la conduzione e i controlli sull'espletamento delle prove. Ma più che in un'attività di repressione, l'Invalsi si impegnerà a favorire una maggiore informazione e un più trasparente dibattito sul contenuto e sulle finalità del test.

di Paolo Sestito, La Voce.info 5.6.2012

La ratio delle prove Invalsi su base universale è quella di fornire a tutte le singole scuole uno specchio sulla propria specifica situazione, uno specchio che, per quanto inevitabilmente imperfetto e parziale, ha il pregio di essere omogeneo per tutti e in tutto il paese. (1) La mera osservazione delle tendenze del sistema scolastico nel suo complesso potrebbe invece essere anche soddisfatta attraverso rilevazioni su base campionaria, che interessino cioè solo alcune scuole e alcune classi (e quindi solo alcuni studenti). Se l’analisi del sistema nel suo complesso fosse l’unico obiettivo, l’uso di rilevazioni su base campionaria, pur non riducendo i costi di costruzione delle prove, potrebbe anzi consentire di affinare ulteriormente l’osservazione su tutta una serie di aspetti di contorno relativi alla singola scuola (meglio ancora alla singola classe) e al gruppo di studenti concretamente testati, potenzialmente rilevanti nell’interpretare i concreti risultati nelle prove. (2)
Per coniugare le due finalità, le prove Invalsi vengono in realtà proposte a tutti su base universale (quantomeno in alcuni gradi scolastici), ma in un campione di classi e di scuole vengono anche “vigilate” da osservatori esterni. In quello stesso campione, mantenendo sempre l’anonimato che contraddistingue le prove stesse che non collegano il singolo insegnante ai risultati delle prove dei suoi alunni, da quest’anno verranno raccolte informazioni ulteriori sui metodi didattici adoperati e più in generale sulle opinioni dei docenti in merito alle prove.
Sono le risultanze di questo campione a costituire l’oggetto del rapporto nazionale che viene prodotto dall’Invalsi per la fine di luglio (quest’anno sarà presentato il 20 luglio). I risultati delle singole scuole, di tutte le singole scuole, vengono invece restituiti gradualmente a queste ultime per fornire loro uno specchio entro cui guardarsi: quest’anno la restituzione verrà avviata già a partire dal mese di settembre, arricchendola con una “guida alla lettura”, che faciliti le scuole nella propria libera attività di autovalutazione, parte del proprio normale ciclo di programmazione e riprogrammazione didattica.

 

COMPORTAMENTI ANOMALI: DOVE E PERCHÉ

La congruenza di questo doppio binario è però messa in crisi dal fatto che, in particolare nelle scuole e nelle classi che non sono parte del campione, vi è chi “bara”, per usare l’espressione usata da Marco Bertoni, Giorgio Brunello e Lorenzo Rocco.
La tavola 1 presenta una stima del fenomeno per l’anno scolastico 2010-11 per i diversi gradi scolastici censiti. Pur nella diversità dei risultati a seconda dei gradi e degli ambiti considerati, è da segnalare come la stima del fenomeno sia simile, nella sua dimensione complessiva, all’entità delle anomalie segnalate nell’intervento di Bertoni, Brunello e Rocco. Ciò, nonostante la logica dell’esercizio qui riportato sia diversa, essendo finalizzata a evidenziare l’entità dei comportamenti anomali non nella media del sistema, ma in ciascuna singola classe. L’esercizio statistico guarda infatti alla performance degli studenti di una data classe, ritenendo sospetta quella che sia al tempo stesso “troppo” elevata e “troppo” omogenea (per la precisione si considera in realtà non la performance complessiva degli studenti bensì l’intero pattern di modalità di risposta a tutte le diverse domande che caratterizzano una singola prova). La presenza di comportamenti anomali, che non è peraltro un fenomeno solo italiano, meriterebbe di essere meglio indagata. (3) Senza qui entrare nei dettagli, va sottolineato come il fenomeno sia alquanto variabile tra Regioni: pur con differenze tra i vari ambiti e gradi, è in genere nel Mezzogiorno (le regioni indicate col pallino scuro), e in particolare in Calabria, ove si raggiungono i vertici massimi (figura 1).
Tra le ragioni dei comportamenti anomali è molto probabile vi siano le “incomprensioni” sul ruolo delle prove Invalsi: benché non siano destinate a (e non siano di conseguenza disegnate in modo da consentire) una “valutazione” dei singoli insegnanti, diffuso è il sospetto che sotto sotto questa sia l’intenzione, il che porta a illeciti, per quanto comprensibili, meccanismi di difesa da parte di singoli insegnanti. Il contenuto “culturale” delle prove è poi spesso osteggiato, alle volte sulla base di informazioni inesatte: sono banalmente equiparate a “quiz a crocette”, laddove invece nella prova di quest’anno relativa alla seconda classe della scuola superiore, circa un terzo delle domande era a risposta aperta. (4) Mentre si manca di cogliere lo sforzo di coniugare orientamento alle competenze e rappresentatività dei contenuti dell’attività scolastica concretamente posta in essere, nel sistema scolastico italiano. (5) L’idea stessa di prove omogenee su tutto il territorio nazionale è a volte osteggiata da chi sostiene che confrontare ragazzi dal background diverso sia privo di senso e che peraltro dimentica che nelle stesse rilevazioni – e da altre fonti – l’Invalsi raccoglie informazioni sul contesto scolastico e familiare proprio per evitare di fare confronti impropri. (6)

 

COME MIGLIORARE LE PROVE

Una maggiore informazione e un più trasparente dibattito sul contenuto e sulle finalità delle prove Invalsi senz’altro potrebbe aiutare. A tale fine due precisazioni possono essere utili. Le risultanze sulle singole scuole sono e saranno restituite individualmente alle singole scuole e non divulgate, se non per libera scelta della scuola medesima. La seconda precisazione però trascende i confini dell’Invalsi, perché sarebbe utile sancire chiaramente che tali risultanze (e le connesse elaborazioni che cerchino ad esempio di individuare il cosiddetto valore aggiunto apportato dalle singole scuole) possono costituire la base per individuare le scuole in condizione maggiormente critica – meritevoli quindi di maggiori attenzioni e supporto – ma non per istituire generalizzate differenziazioni retributive di natura premiale. Gli schemi premiali per i singoli possono avere un loro ruolo, ma non possono basarsi sic et simpliciter sulle attuali prove Invalsi, che verrebbero snaturate ove ciò avvenisse.
Vi sono però anche altri modi di prevenire e contrastare le anomalie in sede di conduzione delle prove. Migliorare la conduzione e i controlli sull’espletamento delle prove (ad esempio, con maggiori ricorrezioni a campione) è senz’altro doveroso. In prospettiva, l’uso del computer potrà anche facilitare il contrasto (e più in generale, arricchire le informazioni che dalle prove si possono ricavare, passando a prove di natura adattiva. (7)
Già nell’immediato, anziché genericamente invocare un’attività di repressione del fenomeno, che pure sarebbe più che legittima e doverosa, si può inoltre evidenziare che chi “imbroglia” fa del male innanzitutto a se stesso. Disporre di risultati truccati priva infatti le scuole e le classi di quello specchio, pur parziale e imperfetto, che le prove cercano di fornire. Da quest’autunno l’Invalsi pertanto non restituirà proprio i dati relativi a quelle situazioni ove i dati risultino essere a tal punto anomali da non essere affidabili (e ovviamente non restituirà i dati relativi alle, peraltro poche, classi ove le prove non sono state affatto svolte per via dello sciopero avverso le prove proclamato dai Cobas della scuola). Anche negli altri casi, i risultati saranno restituiti al netto dell’effetto stimato della presenza di comportamenti anomali. Il dirigente scolastico e il consiglio d’istituto, ove siedono tutte le componenti del mondo della scuola, inclusi i genitori e, nel caso delle scuole secondarie di secondo grado, gli studenti, avranno inoltre contezza della rilevanza degli eventuali comportamenti anomali statisticamente individuati.

Tavola 1 Incidenza del cheating nei vari gradi scolastici

	Italiano		matematica
	Impatto medio complessivo (a)	% di classi con cheating elevato (b)	Impatto medio complessivo (a)	% di classi con cheating elevato (b)
II primaria	7,4	12,0	8,8	13,3
V primaria	6,7	11,2	7,4	12,7
I secondaria di I grado	6,0	12,0	1,4	2,9
III secondaria di I grado	7,6	14,3	5,9	12,1
II superiore	11,3	21,7	3,4	7,3

(a) variazione assoluta nella percentuale di risposte corrette (in centesimi) nell’intera popolazione di classi non-campione ascrivibile a fenomeni di cheating

(b) % di classi non-campione nelle quali la propensione al cheating è tale da provocare un innalzamento nella percentuale di risposte corrette pari ad almeno 10 punti percentuali

Fig. 1 Differenze tra regioni nella rilevanza del cheating

 

 

* Paolo Sestito è commissario straordinario dell’Invalsi.
 

 

(1) Proprio perché parziali (basti dire che si considerano solo due ambiti disciplinari, italiano e matematica, a valenza peraltro trasversale e basilare) le prove non sono la base del giudizio valutativo sul singolo studente. Anche nel caso delle prove effettuate all’interno dell’esame di Stato conclusivo del primo ciclo d’istruzione (classe terza secondaria di primo grado), le prove contano per circa un sesto del giudizio complessivo.

(2) Rimarrebbero inalterati i costi di costruzione delle prove per quanto attiene la definizione del quadro di riferimento, la formulazione delle singole domande concrete, il loro pre-testing e tutto quel processo che mediamente richiede almeno 12-15 mesi per la predisposizione di una prova ben fatta e che non varia al mutare del numero di soggetti a cui poi la prova venga sottoposta.

(3) Il caso forse più noto di analisi del cheating è quello delle scuole di Chicago, circa 10 anni orsono, allora governate da A. Duncan (attuale ministro della Scuola nell’amministrazione Obama) e indagate da S. Leavitt (che ne parla tra l’altro nel primo volume della sua fortunata serie Freaknomics).

(4) Ci si riferisce all’orientamento culturale generale delle prove e non alla singola domanda, che sempre potrà avere, benché si passi per un lungo processo di controlli e verifiche, qualche ambiguità irrisolta. La caratteristica delle prove strutturate definite dall’Invalsi è peraltro quella che un singolo quesito che, nonostante il pre-test, dovesse risultare imprecisamente formulato, si vedrà comunque abbassato il proprio peso specifico, all’interno della prova, a seguito delle elaborazioni statistico-psicometriche basate sulle risposte effettive dell’intera popolazione studentesca oggetto di osservazione.

(5) Le competenze vengono misurate proponendo contesti e situazioni di vario tipo come stimolo per l’attivazione di processi cognitivi che i saperi e le aree di apprendimento scolastico dovrebbero contribuire a sviluppare. Si cerca quindi di misurare l’utilizzo consapevole e non il mero possesso mnemonico dei saperi e delle conoscenze. Questo rende le prove Invalsi meglio attrezzate, rispetto alle rilevazioni internazionali Iea_Pirls, Iea-Timss e Ocse-Pisa in Italia condotte peraltro dall’Invalsi) nel cercare di fornire alle singole scuole strumenti per avviare riflessioni didattico-metodologiche a fini di miglioramento.

(6) Dire che i traguardi educativi, il cui raggiungimento le prove Invalsi cercano di verificare, debbano essere permanentemente e sistematicamente diversi a seconda dell’origine sociale sarebbe una ben strana forma di attenzione ai più deboli, condannati per definizione a un syllabus di serie B. Il fatto che i “più deboli” abbiano necessità di un supporto particolare e che la scuola debba porre loro obiettivi graduali e realistici, tali da stimolarne lo sforzo al miglioramento senza deprimerne la motivazione a ben fare, non è in contraddizione col fatto che la misurazione debba essere il più possibile obiettiva e comparabile.

(7) Una prova adattiva si compone di quesiti diversi in funzione delle risposte via via fornite dal rispondente. Le prove somministrate mediante computer aprono quindi la possibilità di personalizzare i contenuti rispetto alle caratteristiche e ai livelli di preparazione del singolo studente, con misurazioni più precise e affidabili.