Las 12 preguntas + difíciles y las 12 con menor discriminación...

... sirva como ejemplo metodológico, a la espera de que algún día el ministerio tenga a bien publicar de forma anonimizada la matríz de los resultados de todos los examinados, pregunta por pregunta incluidas las de reserva, y la matriz de la plantilla de respuestas correctas originaria, anterior a la provisional. Curiosamente este año coinciden por no haber anulado ninguna pregunta la comisión calificadora en su primera reunión el día del examen.

Así sucesivamente como se plantea en la tabla en un gradiente de menor a mayor hasta la última pregunta nº 185. Obviamente en la tabla incluyo solo las que quiero significar. Si sigues los pasos hasta el final verás un resumen de todas en un vistazo a través de una gráfica.

Sirva como ejemplo de una metodología para el examen del examen, pregunta por pregunta. Que derivaría en un informe, entre otros, para la comisión calificadora, con los que se sirviera en sus deliberaciones y por fin toma de la decisión final a la vista, no solo a la vista de las impugnaciones presentadas, sino a la vista de las preguntas anulables por diferentes causas. Sobre el qué se pregunta, sobre el cómo se pregunta, y sobre cuánto mide lo que debería medir.

¿Qué correlación ha habido entre la dificultad de las preguntas y la discriminación de las mismas, y por tanto del examen que sería su promedio?

La dificultad es una proporción de preguntas acertadas. En el caso de la prueba MIR sería de respuestas netas por haber penalización en las preguntas falladas, y en el caso de cuatro posibles respuestas coincidiría con el IDc. Por lo tanto la medición de la dificultad del examen tiene que ver con el resultado del mismo. Así lo expresa la literatura sobre la cuestión.

La discriminación sin embargo es una correlación. Parte de la consideración de que en un examen de conocimientos generales, una pregunta será tanto más discriminativa cuanto más sea contestada bien por aquellos que hayan contestado bien una buena proporción del resto y al revés.

En base a esa lógica general la correlación entre dificultad y discriminación no debería de ser necesaria y concluyente. Así se puede dar el caso de una pregunta muy difícil que contestan pocos bien y que dentro de esos pocos un % alto de ellos contestan también otras muchas preguntas bien.

Pero construir preguntas muy difíciles con buena capacidad de discriminación es muy difícil. No solo el tema elegido ha de ser adecuado y su redacción clara y precisa, sino que los distractores de la respuesta correcta han de ser capaces de discriminar adecuadamente el conocimiento de miles de examinados, y por tanto el examinador ha de buscar preguntas con diferentes grados de calibración de ambos parámetros. Esa proporción será clave para que el examen sea capaz de separar conforme al conocimiento demostrado por los examinados en sus contestaciones.

Sirva esta perorata frente a un amable Anónimo que ante mi razonamiento de lo que pasa pretende que la perfección del examen tuviera que ser igual en todas las preguntas. Eso sería lo deseable. Un servidor no defiende lo contrario. Simplemente un servidor, al fin y al cabo he sido un agrimensor, pretende medir dicha perfección-imperfección con un gradiente de menos a más a través de dos parámetros que en principio no tendrían porqué correlacionar.

Lo que sí debe de correlacionar es el conocimiento que se quiere medir con la probabilidad de contestar bien conforme a ese conocimiento. Eso es justamente la discriminación. La diferencia entre la probabilidad de contestar bien conforme al conocimiento y lo contestado realmente sería el azar. Cuanto más azarosas sean las respuestas de una pregunta menos discriminativa resultaría esa pregunta. Todo esto se puede medir y desde mi punto de vista se debe de medir.

Precisamente, la medición de la perfección-imperfección de las preguntas del ejercicio, es el examen del examen, que debería de ser previo a la anulación de las preguntas. Los resultados de esa medición vienen a demostrar que existe un gradiente en cada parámetro (dificultad y discriminación), lo que permite ordenarlos de menor a mayor y mediante una escala calificar todas las preguntas por intervalos de esa medición.

Aquí pongo un ejemplo en valores relativos:

A la vista de los parámetros medidos, ordenados y escalados, y por fin trasladados a una gráfica resumen, de un solo vistazo tenemos el resultado. El equilibrio o desequilibrio de los parámetros dificultad en sus cinco intervalos de escalado e igualmente la discriminación de sus preguntas, nos aproxima al equilibrio o desequilibrio de la calidad del examen. 

Nota final.- Según lo razonado desde el principio, la coincidencia en el caso del ejemplo en los % de preguntas muy difíciles y % de las que no sirven no tiene una correlación absoluta y menos aún una causalidad absoluta. En este caso es mera coincidencia en el %, aunque no en el caso de algunas de ellas que quedan marcadas doblemente.