jueves, 7 de febrero de 2019

Las preguntas con peor comportamiento...

... en el ejercicio de examen, según la muestra no aleatoria trabajada...

¿Serían las mismas preguntas si en lugar de haber analizado una muestra de corrección no aleatoria se hubiera analizado todos los ejercicios de examen corregidos?

La palabra la tiene el ministerio. Sería muy sencillo. Se sube una matriz anonimizada con el nº de las respuestas de las 235 preguntas de los examinados. Más la plantilla original anterior a la provisional para poder analizar todas las preguntas. Este año coinciden.

¿Para qué se hace la prueba?... la respuesta está en la LOPS y sus reglamentos.

A partir de aquí, tres cuestiones a analizar:

1.- Qué se pregunta en cada pregunta. Su contenido.

2.- Cómo se pregunta. Su redacción.

3.- Cuánto mide lo que se pregunta de lo que se quiere medir. Análisis de las respuestas a través del cálculo de una serie de parámetros en cada pregunta. Por ejemplo dificultad, discriminación, azar, y escalado de los mismos.

Los dos tablones de esta entrada van sobre las preguntas que han tenido peor comportamiento respecto del punto 3.- expresado en su CCI (curva característica del ítem), y los parámetros que han servido para su dibujo. Una radiografía, entre otras posibles, para cada pregunta y para el examen en su conjunto.

Por cierto, sobre anulaciones de preguntas, en ninguna parte dice el número máximo de preguntas que se pueden anular. Solo se dice el número de preguntas de reserva que incluye el examen para sustituir a las que se anulen por riguroso orden. Por lo tanto se pueden anular más de diez y no sería la primera vez en la historia. 

La calidad de un examen es el promedio de la calidad de sus preguntas que queden como activas después de las anuladas. Anular preguntas que no han tenido buen comportamiento para medir lo que se quería medir es lo razonable. El resultado sería un examen más discriminativo, su promedio sería mejor.

Pero antes de nada lo primero sería hacer el análisis de los resultados de todos los ejercicios de examen conforme a la disciplina académica que se ocupa de ello. A partir de ahí un informe técnico que ayude a la comisión calificadora a tomar decisiones sobre las preguntas anulables y justificar su anulación mediante su publicación.

¿Acaso no es lo razonable?

PD1.- Daré mi opinión sobre el tema. Disponiendo de las herramientas que nos ponen en la mano la teoría clásica de los test (TCT), la teoría de respuesta al ítem (TRI) y la tecnología actual, no tiene sentido que el examen tenga preguntas de reserva. Bastaría que el examen tuviera X preguntas, por ejemplo 235-240-250. A partir de ahí podría haber dos opciones. 

Una opción sería mantener una misma escala de 200-210-220 preguntas activas todos los años anulando las de peor comportamiento hasta llegar a la escala elegida. El peor comportamiento versaría sobre el qué, sobre el cómo, y sobre el cuánto. 

La segunda opción sería dejar el examen con una escala de preguntas activas variable cada año y anular una serie de preguntas que no cumplieran unos requisitos mínimos sobre el qué, sobre el cómo y sobre el cuánto.

Pensar que cuantas menos preguntas se anulen mejor top de examen, resulta cuando menos atrevido. Lo curioso es que eso se trasmite en algún medio. Eso solo sería cierto a la vista de un informe de evaluación en el caso de la segunda de las opciones que se proponen.

A ver si se entera quien lo dice. Según la literatura académica al uso la calidad del examen es el promedio de la calidad de sus preguntas. Por tanto mayor calidad tendrá cuantas más preguntas se anulen entre las anulables por no cumplir con los mínimos en sus parámetros.

PD2.- En mi opinión lo más grave de todo esto es que se está privando a la comunidad de interesados en este tipo de pruebas, en concreto todas las de acceso a la formación sanitaria especializada, del conocimiento de una disciplina académica de evaluación de las mismas. Con sus manuales y nomenclatura. Con sus investigaciones y publicaciones. En definitiva con su literatura científica

Pero lo más curioso de todo es que el ministerio hizo sus deberes en 1993 sobre los ejercicios de unas convocatorias anteriores con las herramientas que entonces había, e hizo con ello una publicación. Pero a partir de ahí, a pesar de que se invitaba a seguir haciéndolo, no lo hizo o si lo ha hecho habrá sido para consumo interno.



PD.- Para ver con mayor claridad cada tablón haz clik con el botón izquierdo encima del mismo, una vez se ha hecho más grande pon el ratón encima y aprieta el botón derecho del ratón. En el cuadro de diálogo que te sale haz clik en el que dice Abrir imagen en una pestaña nueva. Una vez se ha abierto una pestaña nueva en la parte superior, ábrela y pon el ratón encima. Te saldrá el signo (+) que significa lupa para aumentar el tamaño del tablón, haz clik con el botón izquierdo y tendrás mucho más legible el contenido del mismo.

2 comentarios:

  1. Anónimo7/2/19 13:41

    Muy interesante y muy inteligente. La pregunta es, por qué no se hace? Sería algo beneficioso para todas y todos los opositores. Un examen cuyas preguntas tengan que entrar dentro de unos parámetros de discriminación para que sean válidas. Sin preguntas, que puedan beneficiar o perjudicar según lo que quiera el azar.

    ResponderEliminar
  2. Anónimo7/2/19 14:14

    Efectivamente, por qué no se hace? Supongo que falta de consenso para anular ese tipo de preguntas?

    ResponderEliminar