L’escull d’un sistema d’avaluació prestigiós

Una pràctica ancestral de les acadèmies de conduir era distribuir els alumnes en dos grups. D’aquesta manera, assignaven els alumnes que volien aprendre a conduir a un primer grup i els que volien aprovar l’examen del carnet de conduir a un segon grup. A dia d’avui, com que els alumnes només accepten matricular-se en el segon grup, el dels que volen aprovar el carnet de conduir, les acadèmies s’han especialitzat en generar aprovadors d’exàmens més aviat que en generar conductors capacitats.

 

L’evolució de les acadèmies de conduir, passant de ser indrets on s’ensenya a conduir a ser indrets on es prepara la clientela per obtenir un resultat positiu en un examen, és pròpia d’àmbits en els quals el sistema d’avaluació ha adquirit una rellevància notòria. Quan el sistema d’avaluació roman constant i es consolida, el temari subjecte a avaluació tendeix a ser modificat. En l’exemple citat en el primer paràgraf, el contingut ensenyat a les acadèmies passa de ser perícia en la conducció a perícia en passar un examen.

 

Aquest efecte pervers acostuma a ser inherent dels bons sistemes d’avaluació creats per institucions de prestigi. Un exemple clar és l’Informe de Desenvolupament Humà de l’ONU, en el qual es mesura el percentatge de població que viu amb menys d’un dòlar al dia. L’indicador va funcionar de forma correcta en una primera fase i, veritablement, arrenglava els països pobres amb criteri. L’indicador és brillant en molts aspectes, especialment en el de la senzillesa. La correlació d’aquest indicador amb d’altres més complexos que mesuren la pobresa era absoluta. Però el problema sorgeix quan algun dirigent lluita per sortir somrient a la foto de la pobresa i es dedica a assignar els cèntims que falten per arribar a l’euro diari als habitants que estan per sota del llindar que determina l’ONU. Aquests dirigents no combaten la pobresa, combaten el resultat, dit d’una altra manera, no aboquen esforços en reconduir les polítiques socials sinó que es dediquen a aprovar l’examen del carnet de conducció del país.

 

Un cas similar és l’informe PISA que, elaborat des de les oficines de París de l’OCDE, avalua les competències dels estudiants de 64 països. En una primera fase, l’informe funcionava a la perfecció, però a partir del moment que aquest passa a ser cèlebre i esdevé referència, els centres educatius tendeixen a reforçar l’ensenyament en matemàtiques, ciències i llengües, que són les temàtiques que s’avaluen, deixant de banda d’altres àmbits. Ningú no posa en dubte la utilitat d’avaluar de forma global la formació dels estudiants, sinó que es posa en dubte que el sistema d’avaluació sigui d’estructura fixa.

 

En els tres exemples mencionats (carnet de conduir, pobresa i informe PISA) es parla de bons sistemes d’avaluació que, justament per ser bons, han adquirit tanta celebritat que són referència i això els fa esdevenir perversos. No s’ha parlat, en cap moment, d’indicadors de natura eminentment perversa com podria ser, per exemple, valorar el temps d’espera. Aquest indicador genera directament un incentiu en reduir el temps d’espera, sovint en detriment de lliurar un servei de qualitat. Però aquest és un altre tema; ben difícil de conduir, per cert.

 

Ramon Culleré Responsable del Servei d’estudis de l’Ajuntament de Manresa