Da zero a uno
quanto sei propenso al “Cheating”?

Mario Piemontese da ReteScuole, 21.4.2013

L’Invalsi quest’anno per la prima volta ha restituito alle scuole i punteggi relativi alle rilevazione degli apprendimenti al netto del “Cheating”. Cerchiamo di capire di cosa si tratta.

Attendibilità dei dati

Per stabilire l’attendibilità dei dati raccolti l’Invalsi ha deciso di rilevare indirettamente “comportamenti impropri che hanno consentito, secondo modi e forme differenti, agli allievi di fornire le risposte corrette non in virtù delle loro competenze, ma perché copiate dagli altri studenti o da libri e altre fonti (student cheating) o, persino, suggerite più o meno esplicitamente dai docenti (teacher cheating)” (Rilevazioni nazionali sugli apprendimenti 2011 – 12 : il quadro di sistema).

Cosa non fa l’Invalsi

L’Invalsi dovrebbe occuparsi direttamente della rilevazione annuale degli apprendimenti, ma non lo fa perché non è in grado di retribuire un adeguato numero di esaminatori esterni. Per questo la somministrazione è affidata ai docenti dai dirigenti scolastici, anche se tale attività non rientra assolutamente tra i loro compiti.
In altre parole l’Invalsi non è in grado di gestire e controllare direttamente le operazioni di somministrazione, non si fida dei docenti, pur utilizzandoli come esaminatori, e per questo rileva indirettamente i “comportamenti anomali” attraverso il calcolo per ogni classe dell’indice di propensione al “Cheating”. Il punteggio al netto del “Cheating” si ottiene riducendo mediante l’indice di propensione il punteggio totalizzato da ogni studente componente della classe. Si tratta quindi del punteggio, per così dire, depurato dai “comportamenti anomali”.

Metodi di identificazione, analisi e trattamento del cheating

Nel mese di febbraio l’Invalsi ha organizzato un workshop dal titolo “Metodi di identificazione, analisi e trattamento del cheating”. Dai documenti presentati in quella occasione sono tratte le informazioni che seguono.

Indice di propensione al “Cheating”

L’Invalsi ha deciso di rilevare gli effetti di “comportamenti anomali” che si possono verificare durante la somministrazione delle prove, calcolando per ogni classe: la media e la deviazione standard dei punteggi, l’indice di omogeneità delle risposte date al medesimo quesito e il tasso di risposte non date. L’Invalsi infatti ritiene che siano sintomo di “comportamenti anomali”: un elevato punteggio medio e una elevata concentrazione dei punteggi della classe attorno al punteggio medio, una elevata concentrazione di risposte identiche, giuste o sbagliate non importa, date a un medesimo quesito e infine un basso numero di risposte non date.
Utilizzando tutte queste informazioni l’Invalsi calcola un numero tra zero e uno e tale numero è il valore dell’indice di propensione al “Cheating” assegnato alla classe in questione.

Come viene utilizzato l’indice di propensione al “Cheating”

Il punteggio al netto del “Cheating” si calcola moltiplicando il punteggio totalizzato per la differenza tra uno e l’indice di propensione. Per esempio se uno studente ha totalizzato 100 e l’indice di propensione al “Cheating” della sua classe è pari a 0,05, allora il punteggio dovrà essere ridotto del 5% e passerà quindi a 95 = 100 X 0,95.
L’Invalsi per ogni area geografica (Nord ovest, Nord est, Centro, Sud, Sud e isole. ) ha calcolato la mediana dell’indice di propensione al “Cheating”. Questo vuol dire che il 50% delle classi dell’area hanno un indice di propensione superiore a tale valore. Per intenderci se la mediana dell’indice di propensione relativo a un area è pari a 0,0127, allora il 50% delle classi di quell’area ha un indice di propensione superiore a 0,0127.

La mediana minore tra quelle delle cinque aree è presa come soglia di riferimento. Da questo si deduce chiaramente che in ogni area almeno il 50% delle classi non può che avere un indice di propensione al “Cheating” superiore alla soglia. L’invalsi ha corretto i punteggi degli studenti di tutte le classi che avevano un indice di propensione al “Cheating” superiore alla soglia così determinata. Quindi ha corretto il punteggio di almeno il 50% delle classi di ogni area.

La soglia individuata per classe e per materia
Classi seconde della primaria: 0,0094 (Italiano) e 0,0082 (Matematica).
Classi quinte della primaria: 0,0056 (Italiano) e 0,0070 (Matematica).
Classi prime della secondaria di primo grado: 0,0162 (Italiano) e 0,0093 (Matematica).
Classi terze della secondaria di primo grado: 0,0130 (Italiano) e 0,0090 (Matematica).
Classi seconde della secondaria di secondo grado: 0,0127 (Italiano) e 0,0079 (Matematica).

A quante classi è stato necessario correggere il punteggio?

Classi seconde della primaria: 52,7% (Italiano) e 54,4% (Matematica).
Classi quinte della primaria: 53,9% (Italiano) e 58,0% (Matematica).
Classi prime della secondaria di primo grado: 44,6% (Italiano) e 55,5% (Matematica).
Classi terze della secondaria di primo grado: 68,0% (Italiano) e 66,3% (Matematica).
Classi seconde della secondaria di secondo grado: 51,5% (Italiano) e 55,5% (Matematica).

Punteggi non restituiti

L’Invalsi non ha restituito il punteggio delle classi che hanno un indice superiore a 0,5 escludendole anche dal calcolo del punteggio medio di scuola. In presenza di un numero di classi superiore al 50% con indice superiore a 0,5, l’Invalsi non ha calcolato neppure il punteggio medio di scuola.
Le classi formate da studenti che hanno realizzato punteggi quasi tutti uguali, rispondendo a tutte le domande, dando quasi sempre le stesse risposte, hanno un indice di propensione al “Cheating” sicuramente superiore a 0,5.

A quante classi non è stato restituito il punteggio?

Classi seconde della primaria: 6,6% (Italiano) e 7,5% (Matematica).
Classi quinte della primaria: 5,5% (Italiano) e 6,6% (Matematica).
Classi prime della secondaria di primo grado: 5,5% (Italiano) e 2,5% (Matematica).
Classi terze della secondaria di primo grado: 6,4% (Italiano) e 5,4% (Matematica).
Classi seconde della secondaria di secondo grado: 5,3% (Italiano) e 3,3% (Matematica).

In sintesi

Nel complesso le classi con un indice di propensione al “Cheating” superiore alla soglia, ma inferiore a 0,5 sono state il 55,1% in Italiano e il 59,2% in Matematica.
Mentre le classi con un indice di propensione al “Cheating” superiore a 0,5 sono state il 6,0% in Italiano e il 5,2% in Matematica.
Le classi con un indice di propensione al “Cheating” superiore alla soglia sono state il 61,1% in Italiano e il 64,4% in Matematica.

Conclusioni

L’Invalsi ha deciso di utilizzare l’indice di propensione al “Cheating” per ridurre il punteggio delle rilevazioni nazionali sugli apprendimenti ad almeno il 50% delle classi coinvolte. Nei fatti poi questo è accaduto a più del 60%.

È come se un insegnante decidesse a priori che abbasserà la valutazione ad almeno la metà dei suoi studenti, indipendentemente da quale sarà l’esito della verifica che andrà a proporre loro, perché è convinto che sicuramente copieranno. Un comportamento simile, oltre a essere particolarmente demotivante, non può che provocare negli studenti un profondo senso di ingiustizia perché sottende una logica assolutamente punitiva.

La logica punitiva che viene applicata dall’Invalsi agli studenti è identica a quella delle tre fasce che il “Decreto Brunetta” applica ai dipendenti pubblici: a prescindere, il 25% dei dipendenti deve essere collocato nella “terza fascia di merito”, quella dei “fannulloni”. A prescindere, almeno la metà degli studenti deve finire nell’elenco dei “copioni”.

Milano, 21 aprile 2013