lunes, 28 de diciembre de 2015

El azar en el examen y su posible corrección...


... el sábado día 19 de diciembre escribía una entrada titulada La puntuación verdadera... y terminaba la misma con una pregunta... 

¿Hay otras formas de reducir o eliminar la aleatoriedad?...

Esa entrada, que se apoyaba en la ley de los grandes números, llevaba a otra en la que planteaba una solución al problema general de la aleatoriedad. Una entrada a mi pesar sabiendo que no le gustaría a nadie, ni a los preparandos y menos aún a los gestores de la prueba.

Para tratar de abordar una posible solución al problema general de la aleatoriedad, aunque sea parcialmente, me planteaba la pregunta resaltada en color. Por eso he recurrido a recordar las dos entradas linkeadas más arriba y a escribir esta entrada hoy.

Antes de adentrarnos en las posibles soluciones conviene recordar que entiendo que la aleatoriedad de los resultados no es achacable al azar al cien por cien como en algún momento hubiera podido definir u acotar. Hoy la dividiría en una parte debida al azar y en un cajón de sastre donde caben todas las circunstancias personales, negativas o positivas, que se le cruzan a cada uno de los examinados el día del examen y que hacen que sea mayor o menor la distancia de sus resultados en el mismo a lo que eran sus medidas centrales últimas en su preparación y entrenamiiento.

La debida al contestar al azar se puede corregir teóricamente según la literatura y esta entrada trata específicamente de ella. La segunda solo se podría reducir aplicando las consecuencias de la ley de los grandes números, es decir, mediante la realización de varios exámenes y que el resultado final fuera la media aritmética de los mismos.

Corregir la primera es tanto más exigible cuanto que el cambio propiciado por los gestores de la prueba, pasando de cinco posibles respuestas a cuatro y manteniendo el valor de las respuestas válidas y erróneas, ha dejado sin efecto la anterior "penalización efectiva" de contestar al azar.

Es decir, con el cambio realizado y dejando los mismos valores anteriores de respuestas válidas y erróneas la "penalización" por contestar al azar tiene un resultado neutro. 

Sin tener que esperar a los resultados del examen, en los simulacros que se están realizando durante la preparación en las academias la mediana de preguntas no contestadas ha quedado reducida a una solo pregunta nada más. El riesgo efectivo sentido por los examinados son las preguntas no contestadas cuya función casi se identifica con la función del riesgo asumido.

Es decir, los preparandos se han dado cuenta que compensa contestar todas las preguntas porque estadísticamente solo pierdes tiempo y esa medida curiosamente ha "aumentado" de 15 a 20 minutos el tiempo para contestar las 225+10 preguntas en cinco horas. Así que lo comido por lo servido, por no decir peor para todos aquellos que terminando antes de hora se pongan a repasar el examen y les entren las dudas de cambiar algunas respuestas. Solo los errores evidentes, digo errores evidentes, se deberían de cambiar. Las respuestas "a sentimiento" que se hubieran contestado dudando mejor dejarlas como están.

Todo eso se planteó en su día en esta entrada que lleva a otras sobre el mismo tema.

Llegados a este punto, y entendiendo que en el MSSSI no se da, o no se debe de dar, puntada sin hilo, conviene decir dos cosas:

a) Parece ser, por lo que algún medio publicó en su momento, que en el MSSSI tienen intención de chequear los resultados de este año para estudiar medidas correctoras si fuera menester. 

A esa intención, pensando solo en la propuesta 1.- que figura más abajo, le hacía una crítica formal en el blog porque según los principios del "ceteris paribus" para poder achacar una causa de variación a una de las variables del problema has de hacer constantes las demás, y eso solo se puede conseguir haciendo una simulación a priori con los datos de convocatorias previas. 

Para ello había explicado que se habría debido hacer una simulación de resultados eliminando el distractor menos contestado y repartiendo su valor por el resto de posibilidades y calcular la variación de resultados respecto de la situación anterior. Si lo haces a tiro pasado, o a posteriori de haber realizado el cambio, no podrás saber los efectos de la variable modificada porque el resto de las variables del problema no serán exactamente las mismas que las de cada una de las convocatorias anteriores.

b) Pero  mira por donde el día 14 de diciembre se publicó en el BOE una convocatoria de oposición por parte del MSSSI en la que el primer ejercicio de la misma tiene el formato tipo test de respuesta múltiple con cuatro respuestas y no cinco, y además en el mismo se expresa una fórmula matemática para eliminar el azar, es decir, la parte de la aleatoridad que teóricamente pertenecería a las contestaciones realizadas al azar exclusivamente.

Esta forma de enfocar el problema para los exámenes de este formato estaba planteada hacía ya mucho tiempo por la literatura escrita sobre el tema. Incluso yo mismo la había utilizado para el cálculo de los índices de dificultad y de facilidad que mostraba gráficamente en alguna entrada en el blog.

Por lo tanto si atendemos a las propuestas del editor del blog (I y II) y/o a la fórmula elegida en la convocatoria de la oposición referenciada tendríamos tres posibles maneras diferentes de corregir una parte, distinta en cada caso, del problema de la aleatoriedad general, que serían:

1.- Cambiar los valores de las respuestas válidas y erróneas de tal manera que consiga una "penalización efectiva" conveniente por contestar al azar, manteniendo el cambio de 5 a 4 respuestas por pregunta.

2.- Aumentar el nº de preguntas del examen hasta 250+10 aumentando la potencia de la prueba en el mismo tiempo de cinco horas, y demás aumentar el nº de exámenes (2-3-4) siendo el resultado final la media de la suma de los parciales, siguiendo la hipótesis de la ley de los grandes números. 

3.- Admitir como mal menor la neutralidad conseguida al contestar al azar con el cambio realizado pero aplicar una fórmula matemática para el cálculo del resultado que corrija "teóricamente" la parte de la aleatoriedad general debida exclusivamente al azar.

De las tres posibles soluciones parece evidente que la formulada en el punto 3.- es la más fácil y la más barata de aplicar teniendo en cuenta que la eficiencia consiste en maximizar la eficacia minimizando el coste. El punto de intersección de las funciones de ambas variables sería el punto de máximo beneficio con el mínimo coste y ese proceder parece que sería el que elegiría un gestor que busque la eficiencia. La mayor corrección posible de la aleatoriedad al menor coste posible. En este caso la parte correspondiente de la aleatoriedad debida a contestar al azar.

La aleatoriedad achacable a las circunstancias personales del examinado manifestadas el día del examen, que se corregiría con lo especificado en el punto 2.- según la ley de los grandes números, quedaría tal cual está ahora de no decidir aumentar el nº de exámenes en la prueba.

La fórmula de corrección del azar propuesta por la literatura es la siguiente: 

                                                                  Corrección del azar = V-E/(n-1)

Siendo V = nº total de respuestas válidas del examen, E = nº total de respuestas erróneas del examen, y n = número de respuestas de cada pregunta. 

Como se puede comprobar esta fórmula se puede aplicar independientemente de que haya o no "penalización efectiva" entre el nº de respuestas de la pregunta y los valores que se le den a las respuestas válidas y a las erróneas, pero he de suponer que no se aplicaba hasta ahora porque ya había una "penalización efectiva", menos radical, que ha desaparecido con el cambio realizado. Lo prueba la mediana del número de preguntas no contestadas del conjunto de los examinados.

Es más, en alguna literatura se justifica que las normas de valoración sean neutras y que se penalice el azar mediante la fórmula que se incluye, que sería más radical en sus efectos que la anterior "penalización efectiva" producida en el caso de cinco respuestas con valor +3 y -1. 

Si los gestores hubieran estado seguros de las consecuencias del cambio realizado y de las posibles soluciones para corregir el contestar al azar hubieran implementado una u otra de las mismas o incluso dos, pero parece evidente que por las razones que sean han decidido esperar. 

Todo indica que será a partir del próximo año, si se deciden, cuando podamos saber la postura del MSSSI sobre esta cuestión. Si dejar las normas de valoración de válidas y erróneas como están o cambiarlas (punto 1.-) a pesar de los inconvenientes. O bien optar por otra opción de las posibles (punto 3.-). O incluso tratar de llevarse toda la aleatoriedad por delante y aplicar dos (punto 3.- y punto 2.-) tanto la debida al azar (punto 3.-) como la debida al conjunto de circunstancias personales de cada examinado de jugársela a un solo examen (punto 2.-).

Adenda 1.- Esta entrada está escrita de un tirón y dejo para más adelante, espero que no mucho más adelante, el adentrarme con los números y las gráficas buscando las consecuencias del punto 3.- con los datos de años anteriores. Las consecuencias del 1.- ya las estudié en su momento. Las del 2.- parecen obvias. Las del 3.- las publicaré cuando termine el trabajo que he diseñado a la vez que redactaba la entrada. 

Adenda 2.- Me alegro de haber esperado a escribir esta entrada porque quería hacerlo el mismo día 19 pero dejé "dormir" el asunto. A veces las prisas son malas consejeras. A la fórmula de marras la miré mal frente a la situación anterior o a las que se derivaban de los nuevas normas de valoración que había calculado y propuesto respecto del nuevo valor de las respuestas válidas y erróneas. 

Adenda 3.- Me temo que de elegir alguna se elegiría únicamente la fórmula (punto 3.-) que corregiría teóricamente una parte de la aleatoriedad, aquella producida exclusivamente por el hecho de contestar al azar.

Con ello no solo se corrige el resultado de cada uno sino que la consecuencia de esa corrección sería además que bajarían la media y la mediana de respuestas netas de la distribución de resultados.  

Los efectos de la medida, a título individual, no serían lineales sino proporcionales. Castigaría más a los menos eficientes, es decir, a los que tuvieran peor equilibrio entre respuestas válidas y erróneas, y castigaría menos a los más eficientes, es decir, a los que encuentren el equilibrio que maximiza las válidas y minimiza las erróneas. 

Los efectos prácticos serían más radicales que el sistema anterior ya que el "castigo" se produce a posteriori y de forma proporcional. Los efectos teóricos del temor al riesgo durante la preparación volverían otra vez al tener que entrenar a "contestar dudando". La diferencia es que el anterior "sentía" el temor de la duda o incertidumbre calculando a priori ese sentimiento de no atravesar la "línea" para no precipitarse al tener que ajustar el saltar justo desde la misma. 

El previsible temor producido por la fórmula no se "siente" tan fácil a priori y por lo tanto los efectos serán más radicales en aquellos que entrenen menos el contestar dudando. Te lo calculan a posteriori cuando te aplican el castigo. Pero nada que no se arregle con entrenamiento previo haciendo simulacros y volviendo a calcular otra vez el "riesgo" de contestar dudando ofreciendo a los preparando una "línea de flotación" de el riesgo.

Adenda 4.- Para el resto de opciones...

a) ¿Asumirían los gestores la puesta en marcha del punto 1.-?

b) ¿Asumirían los gestores y los representantes de los preparandos la puesta en marcha del punto 2.-, y por tanto, eliminar todo o parte del resto de la aleatoriedad, mediante la realización de más de un examen haciendo la media con las notas de cada uno, encima?

c) ¿Asumirían además que el examen volviera a las 250+10?

d) ¿Asumirían rematar la faena pidiendo que el examen sea más difícil porque discriminaría más y mejor, que es curiosamente de lo que se trata?

¡Qué cosas tienes Gangas!... el punto a) requiere hacer simulaciones y decidir a la vista de los resultados. Si quieres la misma penalización que anteriormente los valores de respuestas válidas y erróneas no serían valores enteros sino con decimales. Si los eliges enteros la penalización habría de ser superior o inferior a la situación anterior... el punto b), el c) y el d)... ¿de verdad crees que alguien se quisiera meter en ese berenjenal?... nadie querría eso por muy evidentes que sean sus consecuencias... y menos aún los representantes estudiantiles por razones obvias.

Por lo tanto como mucho se entendería y aceptaría el aplicar la fórmula para corregir teóricamente la parte de la aleatoriedad correspondiente a contestar por azar propuesta por la literatura y aquí paz y mañana gloria... corregir el resto de la aleatoridad derivada de hacer un solo examen aparcado para mejor ocasión...

Adenda 5.- ¿Cuántos exámenes se hacen en el USMLE y de cuántas preguntas cada uno, siendo además para realizar una prueba selectiva de acreditación que no de ordenación?

No hay comentarios:

Publicar un comentario en la entrada