ECCO PERCHÉ C'È CHI BARA NEI TEST INVALSI

Le prove Invalsi sono in alcune aree inaffidabili perché i risultati derivano da comportamenti scorretti. Se nella scuola primaria sono spesso gli insegnanti a dare una mano ai loro allievi, alle medie sono gli studenti che cercano di copiare le risposte dai loro compagni. In entrambi i casi si tratta di fenomeni di compensazione. Si bara di più nelle scuole con una situazione meno privilegiata o dove si registrano più difficoltà nell'apprendimento della disciplina. Una soluzione potrebbe essere quella di adottare un modello di valutazione basato sul progresso cognitivo.

di Gerard Ferrer Esteban, La Voce.info 19.6.2012

Il fenomeno del cheating alle prove Invalsi è stato ben messo in luce in due interventi pubblicati di recente su lavoce.info. Uno studio condotto dalla Fondazione Giovanni Agnelli permette un ulteriore approfondimento sui fattori che possono influenzare la tendenza degli studenti a copiare nei test, oppure degli insegnanti ad aiutarli. (1) Alcuni di questi fattori hanno un carattere compensativo: sono gli studenti delle scuole con una situazione meno privilegiata e con più difficoltà nell’apprendimento della disciplina a essere aiutati di più, oppure a ricorrere in maggior misura a comportamenti scorretti.

CHI BARA NELLA PRIMARIA. E CHI ALLE MEDIE

I livelli complessivi di apprendimento in alcune scuole e in alcune aree sono ampiamente sovrastimati per i comportamenti scorretti tenuti nel corso delle prove Invalsi. Il cheating può assumere forme diverse (copiatura, suggerimento della risposta esatta da parte del docente, “aggiustamento” mentre si compilano i fogli risposta, eccetera) ed è difficile averne una misura certa. Se applichiamo una definizione restrittiva, possiamo considerare “sospetto” il test di uno studente che presenti la stessa identica sequenza di risposte del test di un altro studente nella stessa classe. Nelle figure 1 e 2 sono riportate le distribuzioni delle performance in matematica degli studenti con test “sospetto” e di quelli con test “non sospetto” al termine della scuola primaria e al termine della scuola secondaria di primo grado. È evidente che la media dei risultati degli alunni che adottano comportamenti sospetti è significativamente più alta rispetto a quelli con comportamenti normali.

Anche la distribuzione della performance degli studenti sospetti varia significativamente fra i due gradi e probabilmente nasconde strategie differenti di cheating. Come si osserva nella figura 2.b, il cheating nella III classe della scuola media – dove il test Invalsi è una prova molto importante, con un peso significativo perché contribuisce a definire il voto all’esame di Stato – nasce probabilmente dagli studenti stessi, tant’è che anche i risultati di quelli che hanno copiato tra di loro, pur non sapendo se le risposta sia corretta, seguono una distribuzione (relativamente) normale. Di converso, il cheating nella scuola primaria sembra essere incoraggiato sistematicamente e in modo coordinato dagli insegnanti (ad esempio, utilizzando la prova come sostegno all’apprendimento e correggendo i risultati in modo collettivo), facendo sì che i risultati si spostino omogeneamente verso l’alto e non seguano più una distribuzione di probabilità continua (figura 1.b).

 

 

DIVARI TERRITORIALI

Le mappe della figura 3, che mostrano la percentuale delle sequenze identiche di risposte nella stessa classe per provincia, evidenziano come la tendenza al cheating sia maggiore in Sicilia e nelle Regioni del Sud.
Nella tabella 1 presentiamo i risultati della stima di un modello logistico sulla probabilità di avere un test “sospetto”. In tutti i gradi la probabilità è molto superiore al Sud e nelle Isole rispetto alle altre aree del paese. Ad esempio, un studente del meridione ha, rispettivamente per la II e la V classe della scuola primaria, una probabilità di 11 e 15 volte superiore di "barare" di uno studente settentrionale. La tendenza è crescente a mano a mano che si sale lungo i gradini del sistema scolastico.

 

OSSERVATORI IN CLASSE

Dell’effetto dissuasivo della presenza di osservatori esterni che vigilano sul corretto svolgimento delle prove hanno già parlato Marco Bertoni, Giorgio Brunello e Lorenzo Rocco. (2) Lo studio della Fondazione Agnelli conferma in larga parte le loro conclusioni sulla scuola primaria, ma aggiunge nuove informazioni sugli effetti diretti (ovvero quando gli osservatori sono presenti nella classe) e indiretti (quando sono presenti nella scuola ma non nella classe) nella secondaria di primo grado. Come mostrato in tabella 1, se prendiamo come riferimento le classi con osservatore, vediamo che gli studenti che non hanno alcun controllo hanno una probabilità di cheating fino a tre volte superiore; anche quelli che si trovano in una classe senza osservatore di una scuola campionata , adottano comportamenti scorretti, sebbene in misura minore. Ma torna l’effetto high stake nella prova di terza media: se la probabilità di copiatura rispetto a una classe monitorata nella scuola primaria è infatti attenuata nelle classi con supervisione indiretta (restando comunque due volte superiore a quelle con osservatore), in terza media la probabilità è invece praticamente la stessa che nelle classi delle scuole non monitorate. Il risultato è un ulteriore indizio della diversa origine del cheating. Se è vero che nella scuola primaria sono gli stessi insegnanti ad agevolare gli studenti, la presenza di un osservatore presso la scuola avrebbe l’effetto indiretto di indurli a far sì che i risultati delle classi non campionate non appaiano troppo dissimili rispetto a quelli delle classi monitorate. Nelle scuole secondarie di I grado, dove invece sono soprattutto gli studenti a cercare di avvantaggiarsi copiando, la presenza di un osservatore esterno in un’altra classe della scuola non funge da deterrente efficace.

CARATTERISTICHE INDIVIDUALI E COMPOSIZIONE SOCIALE DELLA SCUOLA

Se si guarda al profilo socio-demografico degli studenti e al contesto scolastico si scopre che il cheating sembra avere un ruolo di compensazione degli svantaggi iniziali, sia nella primaria che nelle medie.

I risultati evidenziano come nelle scuole che mostrano una composizione sociale bassa, aumenta il rischio di comportamenti opportunistici. Si potrebbe presumere che queste scuole tendano ad aiutare di più nello svolgimento delle prove, ma potrebbe essere altresì il caso che siano gli studenti, in questi contesti socialmente svantaggiati, ad assumere più frequentemente comportamenti scorretti. (3)

Un altro fattore che determina una maggiore probabilità di copiare è il genere: le ragazze hanno una probabilità di circa 1,5 volte superiore dei ragazzi di "barare" al test di matematica. Sia che il cheating dipenda dagli insegnanti di scuola primaria, sia che la responsabilità vada attribuita agli studenti di scuola media, siamo di nuovo davanti a un fenomeno di compensazione, poiché le ragazze ottengono risultati in matematica sistematicamente inferiori rispetto ai ragazzi. Se all’inizio del primo ciclo di studi (seconda primaria) non si notano differenze nella probabilità di cheating tra studenti italiani e studenti di origine straniera, entro la fine della primaria gli studenti italiani mostrano una tendenza al cheating del 35 per cento più alta. La tendenza si rafforza entro la fine della scuola media. È difficile dire se si tratti di un fattore culturale o se invece gli studenti italiani non siano facilitati, a livello relazionale, nello sviluppare strategie collettive di cheating con i loro compagni.

BATTERE IL CHEATING COL CONTRASTO D’INTERESSI

Inviare un controllore esterno in tutte le classi è ovviamente un’operazione improba e finanziariamente non sostenibile se gestita dal centro. Ma se le scuole fossero chiamate a rispondere non delle performance assolute dei loro studenti, bensì di quelle relative, in un’ottica di guadagno cognitivo (valore aggiunto), il problema potrebbe trovare una facile soluzione nel primo ciclo scolastico. Adottare un modello di valutazione basato sul progresso cognitivo, cioè sulla differenza tra i livelli di apprendimento degli studenti in uscita da una scuola e i loro livelli in ingresso, consentirebbe infatti di giocare sul contrasto di interessi tra gli insegnanti del livello primario e quelli del livello secondario di I grado nell’ambito degli istituti comprensivi. I docenti della scuola media avrebbero tutto l’interesse a evitare che i livelli di apprendimento misurati in uscita dalle scuole elementari siano sovrastimati a causa del cheating poiché questo renderebbe loro difficile creare valore aggiunto alle medie. Dunque, sarebbero i controllori ideali per i test dei livelli inferiori. Impiegare le risorse disponibili localmente libererebbe inoltre i fondi necessari a sistematizzare i controlli al livello superiore.

 

Dati
Fattori di cheating nella scuola primaria e secondaria di I grado (Tabella 1). Download file excel.

 

(1) Ferrer-Esteban, G. (2012). Cheating to the test in the Italian standardized assessment system: rationale and incentives. Working Paper, (in press). Fondazione Giovanni Agnelli

(2) Non solo nell'articolo su lavoce.info, vedi anche Bertoni, M., Brunello, G. e Rocco, L. (2012). “When the cat is near, the mice won’t play: the effect of external examiners in Italian schools”. ISER Discussion Paper, Osaka University.

(3) Per la classe terza della scuola secondaria di I grado non è disponibile l’informazione relativa al background sociale degli studenti. Quindi abbiamo imputato il valore medio della variabile Escs (status socioeconomico e culturale) degli studenti della I classe di secondaria della stessa scuola