El tubo de ensayo del MIR...

...

todo parece indicar que los responsables de la prueba no van a mover ficha sobre el valor de las respuestas válidas y erróneas en el próximo MIR a pesar de haber anunciado que las posibles respuestas de cada pregunta pasan de cinco a cuatro...

Un servidor se ha arriesgado a escribir varias entradas en el blog sobre el tema, para manifestar la evidencia de que las consecuencias serán negativas, caso de no cambiar esos valores para que las normas de valoración se adecuen al nuevo formato de cuatro opciones.

Dichas entradas se pueden ver y leer, aquí, aquí, aquí, aquí, aquí, aquí, y aquí...

Hoy mi intención es hacer una serie de reflexiones, para intentar demostrar que las consecuencias de ese cambio, caso de mantenerse la valoración actual, no serán iguales para todos tal y como dicen algunos y como piensan otros. Tiene intención de ser el último esfuerzo por mi parte para cuantificar las consecuencias. Vayamos con ellas.

1.- Parece evidente que la idea de reducir el nº de opciones de respuesta se apoya en los datos de respuestas a preguntas de MIRes anteriores y que por lo tanto se podrían calcular sus consecuencias simulándolas.

2.- Parece evidente que, caso de eliminar una opción de respuesta de cinco, sería el distractor menos consistente, es decir el menos contestado por el conjunto de examinados.

3.- También parece evidente que ese distractor no habrá sido contestado por todos los examinados por igual como opción válida, y que por tanto sus consecuencias no hubieran sido, o serían, para todos igual al no haber sido contestada por todos por igual.

4.- Parece evidente que para simular lo que pasaría solo podemos hacerlo con los datos de años anteriores, y por lo tanto habríamos de repartir el valor de esa opción entre el resto de opciones, y que por convenio les debemos de dar la misma probabilidad a todas las opciones ya que reparte el resultado en función del conocimiento general, y específico, del examinado, al ser ambos proporcionales al resultado total y al resultado de la pregunta en cuestión.

5.- Parece evidente que existen cinco opciones de reparto, la opción válida, la opción no contestada, y tres opciones erróneas para el resto de distractores.

6.- Parece evidente que el reparto a la opción válida supone una probabilidad de una entre cinco, y el examinado gana 1,00 respuesta neta y pierde -0,33 netas que obtuvo con el distractor eliminado, lo que hace una ganancia total de 1,33 netas.

7.-  Parece evidente que el reparto a la opción no contestada supone una probabilidad de una entre cinco, y el examinado queda con 0,00 que vale la no contestada, pero gana 0,33 netas porque pierde -0,33 netas que obtuvo con el distractor eliminado, lo que hace una ganancia total de 0,33 netas.

8.-  Parece evidente que el reparto a las tres opciones negativas restantes supone una probabilidad de tres entre cinco, el examinado ni suma ni resta en ninguna de las tres, se queda igual que estaba, lo que hace una ganancia total de 0,00 netas.

9.- Parece evidente que la ganancia total, para cada examinado, por cada opción eliminada contestada como válida, le supone 0,33 netas, (ver su cálculo en el punto 13.-)

10.- Parece obvio que aquellos que contestaron más opciones válidas tendrán menos distractores contestados como válidas, y al contrario, aquellos que contestaron más opciones erróneas como válidas tendrán más distractores a eliminar contestados como válidas.

11.- Parece evidente pues que quien más ganará con el cambio propuesto, si siguen los mismos valores de las respuestas válidas (+3) y erróneas (-1), serán aquellos que contestaron más respuestas erróneas.

12.- Parece obvio que eso va contra natura, es decir, el examen discriminará menos, que es justo lo contrario de lo que se busca en una prueba de esta naturaleza, y que por tanto no procede andar con ensayos a posteriori a ver que resulta. Antes bien, lo que procede es tomar a tiempo una decisión razonada y justificada para que los interesados sepan a qué atenerse con el examen.

13.- Para quien tenga dudas, aquí van mis cuentas para que puedan ser refutadas:

Ganancia por cada distractor eliminado contestado como válido siendo erróneo =

= ((1,33*1)+(0,33*1)+(0,00*3)) / (1+1+3) = 1,67 / 5 = 0,33 netas

Ese valor de netas sería manteniendo el valor actual de las respuestas válidas y erróneas por ser la netas 1/3 del valor particular del examen (VPE = actualmente válidas*3 -1). En el momento en que se cambiara el valor de la respuesta válida y errónea, el cálculo del VPE se adaptaría al nuevo valor de la válida y errónea, y las netas serían 1/n del VPE siendo n el nuevo valor de la válida siempre que la errónea se mantenga en -1.

14.- ¿Cuántas respuestas netas ganaría cada examinado manteniendo los valores actuales?

Ganaría el total de opciones erróneas contestadas como válidas que se eliminaran como distractores menos consistentes multiplicadas por 0,33 netas.

15.- ¿Quién ganaría más?

Parece evidente que ganaría más quien más opciones erróneas hubiera contestado por ser el que más probabilidades tendría de tener distractores no consistentes entre esas preguntas erróneas contestadas como válidas.

16.- Como ejemplo curioso, si se mantiene el valor de las válidas y erróneas tal y como están ahora y con cuatro opciones de respuesta, prácticamente desaparecerían los resultados con notas negativas, además de disminuir las preguntas no contestadas en el conjunto de examinados. Las no contestadas son el reflejo del sentimiento de dificultad del examen de los examinados. 

Podemos definir el riesgo asumido al contestar como el cociente entre las preguntas contestadas y las preguntadas, y su función matemática coincide prácticamente con la función de no contestadas, así que podemos convenir que en la práctica el riesgo se identifica con las preguntas no contestadas, y así ha sido y es en el imaginario de los preparadores y de los examinados. Si disminuyes el riesgo de contestar al azar, pasando de cinco a cuatro opciones, lo que haces es disminuir el riesgo de penalización si mantienes la penalización anterior. En definitiva estarías potenciando el contestar por azar porque dudando entre cuatro opciones de respuesta, con valores de válida (+3) y errónea (-1), ni sumas ni restas. 

Parece evidente que si justificas la medida de cambio de cinco a cuatro opciones porque se gana tiempo para contestar, lo contrario que dice la literatura, y además dejas la misma penalización por hacerlo al azar (1 de 3 que resulta -33,33 %), la consecuencia de lo que haces se llama fomentar el contestar por azar que es lo mismo que disminuir la discriminación.

La penalización por contestar al azar ha de estar relacionada con el riesgo de contestar, no vale cambiar una cosa y dejar la otra como está. Con ello cambiarías las reglas del juego. Cosa por otra parte legítima por parte de los gestores, pero habrás de asumir las consecuencias de la medida.

Corolario final 1.- 

Aquí termina mi desideratum de reflexiones, intentando llamar la atención de aquellos que dicen que el cambio da lo mismo porque afecta a todos por igual, y a los responsables, porque no creo que, teniendo todos los datos para simular las consecuencias de esa medida, deban de experimentar con las normas de la prueba como si la misma fuera un tubo de ensayo y según lo que salga ya adaptaremos las normas a los resultados que se obtengan.

Ahora solo me falta hacer una propuesta de los valores, y aquí paz y mañana gloria.

Situación anterior, cinco respuestas y sus valores (válida 3 y errónea -1),

y las cuentas de como quedaba el saldo de netas dudando entre 5;4;3;2 y 1

Situación actual, cuatro respuestas y propuesta de valores (válida 2 y errónea -1),

y las cuentas de como quedaría el saldo de netas dudando entre 4;3;2 y 1

Advertencia.- La referencia de respuestas netas, de una situación y otra, solo sería comparable en su saldo 0,00 que es curiosamente lo que pretende la propuesta, por cuanto se aplicaría para su cálculo la norma establecida en el párrafo posterior a la fórmula del punto 13.-

¿Qué tiene de bueno esta propuesta?

Deja a cero (0,00) el saldo de contestar al azar dudando entre tres, es decir dudando entre una opción menos del total de opciones, exactamente igual que dudando entre cuatro con cinco opciones, que era la situación anterior de penalización. A su vez aumenta algo la penalización de contestar al azar dudando entre todas las opciones posibles (4), aumentado la capacidad de discriminación del examen a favor de los que más saben, contestan más y mejor, y de los que mejor y más se han preparado y entrenado. 

En resumidas cuentas, potencia el examen como discriminador y normalizador en sí mismo. 

Los aspirantes se adaptarían rápidamente con el entrenamiento preciso, al igual que ocurrió cuando se incluyeron imágenes relacionadas con las preguntas, y el efecto del aumento de penalización quedaría circunscrito al caso de dudar entre cuatro y contestar al azar.

Otros valores alternativos comparados con los anteriores, aquí

Dicha queda la propuesta según mi leal saber y entender, salvo error u omisión por mi parte, y/o salvo mejor criterio.

Corolario final 2.- No conviene ensayar a posteriori con coste, aquello que se puede ensayar a priori sin el mismo. Los ensayos mejor con gaseosa, es decir, simulados.

Reserva final.- Salvo error por mi parte, esta llamada de atención y/o crítica supone estar dando por hecho que no se ha realizado previamente la simulación de las consecuencias del cambio anunciado de cinco a cuatro opciones, porque de lo contrario parecería lógico que se hubiera anunciado en la Nota de Prensa el valor de la respuesta válida y de la errónea, al igual que parece lógico que de no haberse anunciado siguen los mismos.

Igualmente, y salvo mejor criterio, considero que ambas cuestiones, contestar al azar y penalización están íntimamente ligadas, de ahí la insistencia.

El resultado posible de contestar al azar cambia de una entre cinco (el 20 %) a una entre cuatro (el 25 %) aumentándolo un 20 %, lo que llevaría aparejado que el cambio de penalización por contestar al azar de la situación anterior (-33 % que supone, 3 para las válidas y -1 para los erróneas) cambiara para acomodarlo a la nueva situación al contestar al azar. 

De ahí la simulación de varias posibilidades y la fijación de una de ellas como la propuesta más conveniente a la naturaleza del examen según el criterio del editor del blog.