Al MSSSI y a la Comisión Calificadora, con el debido respeto...

... este es el trabajo que había dejado a medio hacer y que no quiero dejar en el tintero...

Adenda a la composición de gráficas del análisis del ejercicio de examen realizado pregunta por pregunta. Es solo un ejemplo para mostrar lo que se podría y se debería de hacer si se quisiera sin modificar ninguna norma que lo regula.-

1.- Lo que todos los interesados en la prueba deberían de conocer, antes y después de las anulaciones definitivas de las preguntas, para justificar si el instrumento de medida mide lo que dice medir, y cuánto y cómo lo mide. Ninguna norma lo prohíbe.

Basta para ello disponer de la matriz de las contestaciones a cada una de las preguntas por parte de los examinados y la plantilla de respuestas correspondiente antes de proceder a las anulaciones. Esa matriz que ya se sabe antes de la reunión de la Comisión Calificadora para decidir no solo sobre las impugnaciones sino sobre el resto de preguntas, como ya hizo el día del examen con dos de ellas.

2.- Además de eso los interesados deberían de conocer el Informe realizado sobre el qué y el cómo se ha preguntado que justificaría las preguntas que se anulen por esa causa.

Un ejercicio de transparencia donde no hay nada que ocultar y sí justificar, tanto para consumo interno del MSSSI para tratar de mejorar, como para consumo externo del resto de los interesados.

Nota.- 

1.- Explicación del cálculo del parámetro dificultad

En la imagen de la izda las preguntas están ordenadas de más fáciles a más difíciles, entendiendo por dificultad el % de netas obtenido por cada pregunta en el conjunto global de examinados. Su magnitud equivale, en el caso de preguntas de cuatro opciones de respuesta, al índice de dificultad corregido el azar (IDc). Es una adaptación del cálculo de la dificultad al caso específico de las pruebas de formación sanitaria especializada por valorar negativamente las preguntas no acertadas y poder obtener una pregunta un resultado negativo.

La dificultad de un examen es el promedio del índice de dificultad de sus preguntas.

2.- Explicación del cálculo del parámetro discriminación 

En el caso de la imagen de la dcha las preguntas están ordenadas de mejor a peor discriminación, calculada a través del índice de correlación punto biserial (r-pbis), que mide la discriminación de la pregunta en el conjunto de los examinados. 

Al igual que en el caso del parámetro dificultad existen otros índices para poder calcular el parámetro discriminación. 

Unos y otros siguen un patrón. Al parámetro dificultad se le considera como una proporción de aciertos, con sus variantes. Al parámetro discriminación se le considera como una correlación existente entre el conocimiento del examinado, medido en la contestación del resto de preguntas, y la probabilidad de acertar la que se analiza. Se puede calcular siguiendo la Teoría Clásica de los Test (TCT) o siguiendo la Teoría de Respuesta al Ítem (TRI)

La discriminación de un examen es el promedio del índice de discriminación de sus preguntas. Esa es la razón más poderosa para anular, como mínimo, las preguntas con un índice de discriminación negativo, es decir, aquellas que han acertado en mayor proporción aquellos que menos han acertado el resto. Esa anulación mejora la discriminación del examen al ser esta el promedio de la discriminación de las preguntas activas que quedan del mismo una vez anuladas aquellas que se proponen.

Lo ideal sería que el examen de 235 preguntas no tuviera entre las mismas ninguna que se considerara de reserva, y se anularan las 35 preguntas de peor calidad, bien fuera porque no cumplieran la condición sobre el qué se debe de preguntar, bien fuera porque no estuviera bien redactada y no cumpliera el cómo se debe de preguntar, o bien fuera porque no midiera de forma suficiente el cuánto mide lo que debe medir. De esa forma se dejarían de examen 200 preguntas activas en el mismo y con ellas se procedería a calcular los resultados de los examinados. 

Sin lugar a dudas, si se siguiera esa propuesta, el examen mejoraría su discriminación, es decir, la ordenación de los partícipes en la prueba mejoraría. Naturalmente esta propuesta si que necesita cambiar las normas de la prueba. Pero nada más allá que decidir el índice o los índices utilizados para medir la discriminación entre aquellos que la literatura al uso propone.

Al menos, para empezar, que se haga lo que se propone más arriba sin cambiar las normas y que la Comisión Calificadora no solo anule las del qué y las del cómo sino que tenga en cuenta las del cuánto mide aquello que dice que quiere medir. En la gráfica se ve el ejemplo de como se haría.

PD.- Para ver con mayor claridad los tablones haz clik con el botón izquierdo encima del mismo, una vez se ha hecho más grande pon el ratón encima y aprieta el botón derecho del ratón. En el cuadro de diálogo que te sale haz clik en el que dice Abrir imagen en una pestaña nueva. Una vez se ha abierto una pestaña nueva en la parte superior, ábrela y pon el ratón encima. Te saldrá el signo (+) que significa lupa para aumentar el tamaño, haz clik con el botón izquierdo y tendrás mucho más legible el contenido del mismo.