martes, 29 de diciembre de 2015

Las consecuencias de la corrección del azar...


... y de la discriminación del examen en respuestas netas convertidas en nº de orden...

Tal y como planteaba en la entrada anterior El azar en el examen y su posible corrección... presento aquí tres gráficos y una tabla analítica, el primer gráfico expresa la distribución de todos los presentados, el segundo la distribución de todos los presentados como españoles, y el tercero la distribución de todos los presentados como extranjeros.

En cada una de ellas se pueden ver las consecuencias de la discriminación del examen en respuestas netas de examen y su equivalente en nº de orden (a la izquierda, arriba y abajo respectivamente), y los resultados de las consecuencias de la corrección del azar en ambas distribuciones (a la derecha arriba y abajo respectivamente). En la tabla analítica se expresan las diferencias en las medidas centrales, media y mediana, y en la nota de corte y su afección.

1.- Sobre las consecuencias de la corrección del azar.-

a) La consecuencia más llamativa de la corrección del azar sería que caso de implementarse el MSSSI se vería obligado a reducir el % de la nota de corte por debajo del 35 % ya que la corrección del azar castiga de lleno a los ineficientes mandándolos a la cola tal y como se puede ver en las gráficas de la derecha frente a las de la izquierda. 

Por ejemplo el año pasado la afección de la nota de corte del 35 % fue del 20,80 % y en el caso de haberse aplicado la corrección hubiera sido del 32,95 % siendo la nota de corte de 64,00 netas en lugar de 66,33 y afectando a 3.560 examinados en lugar de a 2.247 que hubiera significado que hubieran obtenido nº de orden 7.243 examinados en lugar de 8.554 examinados.

Siguiendo con el ejemplo los examinados con nota negativa fueron el año pasado 30 y si se hubiera corregido el azar hubieran sido 455 que hubieran supuesto 15,16 veces más.

b) Otra consecuencia sería que de aplicarse la corrección bajarían la media y mediana en respuestas netas de la distribución. 

Por ejemplo en el caso del año pasado, de haberse aplicado la corrección, la media hubiera pasado de 104,45 a 86,21 (-18,24; el 17,46 %) y la mediana hubiera pasado de 111,00 a 92,67 (-18,33; el 16,51 %)

c) A la vista de las consecuencias de los puntos a) y b) y de las gráficas se puede decir que la corrección del azar potencia y magnifica los efectos de discriminación del examen por potenciar la eficiencia frente a la eficacia al tener que elegir una u otra respuesta dudando entre dos o más respuestas. Es decir, potencia la decisión tomada ante el sesgo latente del diagnóstico acertado frente al errado manteniéndose neutro frente a la no contestación penalizada exclusivamente por no sumar.

De cualquiera de las maneras el "arte" de discriminar del examen le corresponde al examinador "calibrando" adecuadamente los % de preguntas muy difíciles, difíciles, medianas1, medianas2, fáciles, y muy fáciles en el conjunto del examen. la cuestión es que solo tiene una pista de "calibración" con la mitad aproximada de las preguntas, y para el resto solo queda su "arte" de para calibrarlas, su "juicio médico", y ahí es donde se puede "lucir", más o menos. Ese es su "arte".

d) Advertencia: En estas simulaciones están sumados dos efectos de penalización por contestación al azar, el anterior correspondiente a la penalización producida con cinco respuestas y la valoración de las válidas (+3) y las erróneas (-1), y la penalización producida por la corrección del azar calculada con la fórmula propuesta por la literatura para corregir el azar.

El acierto del MSSSI este año, a propósito o no, es que con la reducción de cinco a cuatro respuestas manteniendo la valoración de las válidas (+3) y las erróneas (-1) ha eliminado la penalización anterior por lo que con los datos de la convocatoria actual se podrá hacer una simulación en la que quede desagregada la penalización debida exclusivamente a la corrección del azar mediante la formula propuesta por la literatura para corregir el azar, que lógicamente sería todavía más agresiva que la que reflejan las gráficas, justo en la misma proporción que la nueva norma elimina la "penalización efectiva" anterior. 

Con esta advertencia adquiere sentido la entrada El tubo de ensayo del MIR... pero no hay mal que para bien no venga, se podrán comparar ambos sistemas de corrección del azar para poder tomar con mayor y mejor criterio la decisión más adecuada, una ya se ha hecho a priori y la otra se podrá hacer a posteriori.

2.- Sobre la cuestión de la discriminación del examen y las consecuencias de transformar las netas en nº de orden.- 

En las gráficas de la izquierda, arriba y abajo, de cada agrupación, se puede observar el ejemplo de las consecuencias de pasar de netas a nº de orden en el caso de irse hacia arriba las netas como el año pasado, en colo rojo, comparándolo con la convocatoria 2009 en color fucsia.

a) Dos ejemplos paradigmáticos y opuestos, la convocatoria 2009 y la convocatoria 2014 tal y como se puede ver arriba y abajo de la izquierda. 

La convocatoria 2009, color fucsia, justo todo el aumento de N respecto del año anterior se lo "tragó" y compensó el aumento del grado de dificultad y discriminación del examen. Salieron llorando del examen pero les compensó ese disgusto cuando salieron los nº de orden. 

Comparaban las netas con las del año anterior y se "tiraban de los pelos" pero la cosa se arregló cuando esas netas se transformaron en nº de orden, justo al revés que en la convocatoria 2014 en color rojo. ¿Por qué?

Porque el grado de dificultad del examen "esponjó" más las netas y las "apelotonó" menos y más atrás que en la convocatoria de 2014 y los nº de orden respecto de las netas "mejoraron" las expectativas. Después de los "lloros" llegaron las sonrisas". Dos ejemplos opuestos pero también los hay "entreverados".

b) Conviene decir que la manifestación de la discriminación del examen, tal y como se ve en las gráficas, depende entre otras variables del % de recién egresados en el subconjunto de los presentados como españoles (el año pasado 5.224 respecto de 7.847; el 66,57 %), y del % del total de extranjeros respecto del total de presentados. 

Esa es la razón de presentar el mismo fenómeno en el conjunto total de los examinados (gráfico 1º), y en los dos subconjuntos que he podido desagregar (gráfico 2º con todos los presentados como españoles, y gráfico 3º con todos los presentados como extranjeros). 

El de los presentados como españoles (con el inconveniente de que ni todos son españoles, ni todos son recién egresados), y el de los presentados como extranjeros (los comunitarios de los que solo un tercio lo son y el resto serían con doble nacionalidad una de ellas extracomunitaria, los extracomunitarios no afectados por el cupo, y los afectados que cada año son menos en proporción dentro del subconjunto total de extranjeros)


Gráfico 1º.- Análisis de todos los presentados 

A la izquierda la distribución por intervalo
 de respuestas  netas y su equivalente en nº de orden.
A la derecha lo mismo corregido el azar.


Gráfico 2º.- Análisis de todos los presentados como españoles 

A la izquierda la distribución por intervalo
 de respuestas  netas y su equivalente en nº de orden.
A la derecha lo mismo corregido el azar.


Gráfico 3º.- Análisis de todos los presentados como extranjeros

A la izquierda la distribución por intervalo
 de respuestas  netas y su equivalente en nº de orden.
A la derecha lo mismo corregido el azar.


Caso de implementarse la corrección del azar, 
¿sería conveniente o no disminuir el % de la nota de corte? 


Contestación a la pregunta.- Si los gestores de la prueba mantienen las cuatro respuestas por pregunta y la valoración de las respuestas válidas (+3) y las erróneas (-1), y además quieren que la afección de la nota de corte sea prácticamente la misma que actualmente, habrían de disminuir la nota de corte del 35 % actual al 25 %, caso de decidirse a corregir el azar con la fórmula teórica propuesta por la literatura.

He realizado la simulación con los resultados de las tres últimas convocatorias, y lo ha hecho para tres escenarios, manteniendo la nota de corte en el 35 %, en el 30 % y en el 25 %.

- Los resultados y las consecuencias de los escenarios simulados han sido los siguientes:

1.- Convocatoria 2014 (examen 2015)

- Situación testigo con nota de corte del 35 % (66,33), obtuvieron nº de orden 8.554 de 10.801
- Corrección del azar con nota de corte del 35 % (64,00), obtendrían nº de orden 7.397 de 10.801
- Corrección del azar con nota de corte del 30 % (55,00), obtendrían nº de orden 7.951 de 10.801
- Corrección del azar con nota de corte del 25 % (45,67), obtendrían nº de orden 8.463 de 10.801

2.- Convocatoria 2013 (examen 2014)

- Situación testigo con nota de corte del 35 % (66,00), obtuvieron nº de orden 7.360 de 10.241
- Corrección del azar con nota de corte del 35 % (64,00), obtendrían nº de orden 6.107 de 10.801
- Corrección del azar con nota de corte del 30 % (54,67), obtendrían nº de orden 6.692 de 10.801
- Corrección del azar con nota de corte del 25 % (45,67), obtendrían nº de orden 7.219 de 10.801

3.- Convocatoria 2012 (examen 2013)

- Situación testigo con nota de corte del 35 % (67,67), obtuvieron nº de orden 8.523 de 11.771
- Corrección del azar con nota de corte del 35 % (65,67), obtendrían nº de orden 7.122 de 11.771
- Corrección del azar con nota de corte del 30 % (56,33), obtendrían nº de orden 7.781 de 11.771
- Corrección del azar con nota de corte del 25 % (47,00), obtendrían nº de orden 8.432 de 11.771

Nota.- La cifra entre paréntesis es la nota de corte en respuestas netas correspondientes al testigo y a cada uno de los escenarios simulados.

Corolario final.- Parece evidente que caso de implementarse la fórmula de corrección teórica del azar, y si se quiere que la afección de la nota de corte sea parecida a la situación testigo, la nota de corte habría de disminuir al 25 % de la media de los diez mejores exámenes, según se demuestra en las simulaciones efectuadas.

- Adenda-tabla de ejemplos de corrección del azar y consecuencias en nº de orden:



4 comentarios:

  1. Anónimo3/1/16 12:41

    Hola,
    Muy buenas
    Mi pregunta es la siguiente: situación admistrativa "hijos, cónyuge de familiar comunitario" estoy afectada por el cupo?
    Gracias !! Saludos

    ResponderEliminar
    Respuestas
    1. Si tienes tarjeta de residencia en España por esa condición la respuesta es no, si por el contrario no la tienes y resides fuera si estarías afectada.

      Eliminar
  2. Hola Gangas. En primer lugar quería agradecerte tu esfuerzo y dedicación con este blog que tanto nos ayuda a los opositores. Mi pregunta va un poco con la falta de corrección del azar que va a existir este año. Crees que al tener sólo 4 posibles opciones y puesto que desde las academias se nos recomienda contestar todo va a haber un apelotonamiento de gente con el mismo número de netas o parecido mayor a años anteriores? En este caso, contará más el baremo? Este efecto npodría diluirse si el Ministerio complica el examen?
    Gracias por adelantado

    Un saludo

    ResponderEliminar
    Respuestas
    1. Vamos a tratar de distinguir dos correcciones distintas del azar, la corrección del azar anterior, que era más una penalización real pero no proporcional a la corrección del azar "teórico y radical" que es la que trata esta entrada.

      Vayamos con la "penalización anterior" que venía no solo por valer la respuesta errónea -1 sino porque esa penalización se "hacía mayor" por haber cinco respuestas y por lo tanto si dudabas entre cinco el saldo estadístico de ese riesgo era siempre negativo.

      Si en lugar de ser cinco respuestas son cuatro y mantenemos el valor -1 para la errónea sigue habiendo penalización para la respuesta errónea pero no para el riesgo de contestar dudando porque la probabilidad estadística de sumar o restar es neutra, es decir es cero, y por lo tanto solo pierdes "el tiempo", que por otra parte lo compensas porque al tener que leer solo cuatro respuestas recuperas en las cinco horas de 15 a 29 minutos.

      Las consecuencias de ese cambio este año se han publicado ya en el blog en varias entradas y varias tablas, pero te las resumo aquí, supongamos que dividimos en cuatro partes la distribución, la primera parte de mejores notas que sería el 25 % de todos los presentados ganaría una media de una neta, la segunda parte que sería el 25 % siguientes y llegaría hasta la mediana de los mejores resultados ganaría una media de dos netas, la tercera parte que sería otro 25 % siguiente y llegaría hasta el percentil 25 ganaría de media otras dos netas, y por último el otro 25 % restante de cola ganaría tres netas.

      Por lo tanto parece evidente quien gana y quien pierde, pero el apelotonamiento depende más de cómo sea el examen de dificultad y sobre todo de distribución de esa dificultad para lograr una mejor o peor discriminación, es decir, separación de notas.

      Por último estaría la corrección del azar, puro y duro, es decir la corrección teórica del azar que no se ha hecho nunca en la historia de los exámenes MIR.

      Precisamente de esa corrección va esta entrada.

      Esa corrección parte del presupuesto de que el punto de partida sea neutro, es decir, de que el riesgo de contestar dudando sea cero, tal y como ha quedado este año con cuatro respuestas.

      Si ese presupuesto se da, y se da este año tal y como se está comprobando en los resultados de los simulacros, tanto en preguntas no contestadas como en la media y mediana de netas, estaríamos en disposición de aplicar la fórmula de corrección teórica del azar, que no es otra que la que incluyo en la entrada anterior a esta, porque esta trata de las consecuencias de aplicar esa fórmula.

      Para explicar esas consecuencias ya tienes el texto y las tablas de la entrada, que fundamentalmente se podría decir que es una penalización proporcional al desequilibrio o ineficiencia de las erróneas respecto de las contestadas, ya que la fórmula aplicada le resta a las válidas las erróneas divididas por n-1 es decir el nº de respuestas menos una.

      Si eso fuera así para años venideros habría que volver a entrenar el contestar dudando porque no compensaría contestar todas.

      Resumen.- Este año compensa, ¡ojo!... estadísticamente contestar dudando entre cuatro, es decir, todas, y compensa más cuanto menos sabes, pero no lo suficiente para sacar más allá de 1; 2; y 3 netas según en la parte en que estés, en la cabeza (25 % de los presentados), en el centro amplio desde el P75 hasta el P25 por tanto el 50 % de los presentados ganarían 2 netas, y por último la cola (otro 25 %) que ganaría tres netas, los que beneficiaría más sería aquellos fronterizos con la nota de corte que esas tres netas les pueden hacer entrar en nº de orden.

      El baremo académico sigue valiendo lo mismo, pero se potenciará más si el examen discrimina menos, pero eso ya he dicho que depende de como sea de difícil el examen y sobre todo de como de repartida esté esa dificultad en % de preguntas.

      Eliminar