¿POR QUÉ UN EXAMEN TIPO TEST?

Entrada editada el 03/03/2013.-

En la gráfica podemos observar tres distribuciones de los resultados de tres exámenes de una misma oposición en tres años diferentes. El editor del blog fue miembro del tribunal de las dos últimas.

Las dos primeras, a la izquierda, son las distribuciones de notas de dos exámenes escritos de desarrollo de un tema, y resultado de la distribución de notas por la calificación del tribunal, escuchando de viva voz la lectura del ejercicio por parte del opositor.

La tercera, a la derecha del observador, es el resultado de la distribución de notas de la corrección de un ejercicio de formato tipo test y corregido con plantilla, tal y como se hace en el MIR aunque pertenezca a otra prueba.

El contenido de los dos ejercicios primeros era un tema elegido previamente por el tribunal mediante deliberación, y el ejercicio de la gráfica derecha era tipo test de respuesta múltiple, y contenía preguntas de todo el temario de manera proporcional en cuanto a temas y en cuanto diferentes grados de dificultad de las preguntas, y las preguntas fueron elegidas aleatoriamente previa caracterización de tema y dificultad.

A veces uno se queda atónito escuchando determinadas opiniones sobre los exámenes y no le queda otra posibilidad que acudir a las matemáticas, por aquello de no apurar el discurso dialéctico.

En las dos primeras gráficas existía nota de corte previa al examen. Las gráficas nos dicen que el tribunal fue benevolente con aquellos que estaban cerca del aprobado y terminó aprobándolos, ya que la columna más alta es la moda de la prueba y nos lo indica así, separando los que superaron la prueba, a la derecha, de los que no la superaron, a la izquierda. Las dos gráficas de la izquierda dejan poco margen para la discusión de si hubo o no sesgo humano en la corrección. 

Así pues, previo informe técnico y propuesta razonada, se procedió a cambiar el formato de selección el año siguiente, y se estableció un ejercicio tipo test, antes de pasar al siguiente ejercicio de la prueba, para que cumpliera el papel de discriminar de forma objetiva y previa al resto de ejercicios.

El resultado de la distribución  fue la gráfica de la derecha en la imagen superior, una prueba de respuestas múltiples corregida con plantilla. Una distribución cuasi normal, discriminatoria de cabeza y cola, sin sesgo humano de corrección.

En esa misma distribución se pudo establecer la nota de corte mediante una decisión de criterio cualitativo, en cuanto al resultado y lo que significaba de preparación de todo el temario frente a un solo tema de los años anteriores, y además también frente a las decisiones subjetivas de los miembros del tribunal. 

La decisión de la nota de corte en el ejercicio tipo test estuvo avalada por un criterio matemático en función de la pendiente de la distribución sin que hubiera sesgo humano en su decisión, dando a elegir al tribunal entre cinco puntos de corte para decidir uno de ellos previa deliberación:

  

A la vista de todas las gráficas se puede deducir lo que persigue un ejercicio de respuestas múltiples, que no es otra cosa que discriminar entre los que más y menos respuestas netas tengan en el ejercicio propuesto en ese momento y corregido mediante una plantilla, sin decisiones cualitativas o subjetivas de los miembros de un tribunal. 

El MIR es hoy por hoy la prueba que mejor garantiza esa objetividad y su santa santorum de la subjetividad queda reducido a la persona o personas que deciden el examen, cuyo resultado puede ser sometido, a posteriori, a los cálculos necesarios para saber sus índices de fiabilidad, dificultad y discriminación. 

Quedando reducida, la discusión dialéctica del juicio médico, al ámbito de su validez, es decir, de lo cualitativo de la prueba, ¿porqué?, ¿para qué?, ¿qué pregunto? y ¿cómo?. 

El resto, lo cuantitativo del examen MIR, incluso parte de lo cualitativo, son matemáticas, ni más ni menos, y se refiere a su fiabilidad, dificultad y discriminación. 

Estoy seguro que el Ministerio se hace las preguntas de lo cualitativo y cuantitativo, se lo hizo en su día y lo publicó. Se prometieron así mismos los deseos de seguir haciéndolo, pero no cumplieron lo que se prometieron respecto a su publicación, desconozco la causa aunque la imagino, pero eso en una sociedad como la actual no parece de recibo, y eso que el examen MIR pasa la prueba del algodón con nota, en lo que yo he podido calcular:

La tabla analítica expresa la fiabilidad del examen en función de la nota media y de la desviación típica, frente a un índice de 1 la calificación de la fiabilidad iguala o supera en todos los casos el 0,96 que significa una fiabilidad muy alta para un test de evaluación de conocimientos en un tiempo determinado y con penalización de respuestas erróneas.

Respecto de la dificultad percibida del examen, la gráfica de debajo de la tabla explica el índice de dificultad del examen del año pasado y del anterior, lo expresa por su valor y su dispersión en función de la procedencia de los examinados y sus respuestas.

En cuanto a la capacidad de discriminación de las respuestas de cada pregunta no he podido estudiarla por carecer de las respuestas individualizadas de todas y cada una de ellas por el conjunto de los examinados anonimados. 

Los cálculos de la fiabilidad y de la dificultad los he realizado a través de los resultados por examinado que figuran en los listados y no por las respuestas individualizadas por el conjunto de los presentados a cada una de las preguntas por no disponer de ese dato.

Y por fin la gráfica de las distribuciones de los once últimos MIRes, que expresa la función de densidad de los mismos. En ella se aprecia la capacidad de discriminar los resultados totales de cada uno de los exámenes uno por uno y en conjunto, expresada en términos relativos por intervalo de respuestas netas en la distribución, ya que no he podido calcular los índices de discriminación en cada pregunta. Esa misma gráfica es una forma de acotar la variabilidad de la dificultad del examen.

A la vista de la misma, los tres índices, fiabilidad, dificultad y discriminación, pasarían la prueba del algodón, calculados sui generis por el editor del blog.

La mayor o menor variabilidad de cada intervalo de densidad, de unos años a otros, no solo obedece a la mayor o menor dificultad del examen, sino también a otras circunstancias como son la participación en la prueba de diferentes subconjuntos, según procedencia de los examinados, y su diferente preparación, a lo largo del decenio y con diferente sensibilidad a esa dificultad.

Se ha observado que en la primera mitad del decenio los comportamientos de los resultados eran menos extremos en las dos mitades de la distribución, frente a un cambio en la segunda mitad del decenio, en la que se ha notado que los comportamientos en los extremos de la distribución se han agudizado tanto en exámenes denominados fáciles como difíciles. 

Dicho fenómeno se explica, tanto por la procedencia de los examinados, como por el aumento de la intensidad de la preparación del examen por una parte importante de los mismos. Hay gente que se deja la piel en la preparación del MIR. 

El MIR, un examen donde se invierte un año de duración y que solo su gasto, para garantizar la paz social de la selección y ordenación de los examinandos, se lleva por delante más de cien millones de euros todos los años entre todos los que intervienen en la faena. 

¿Eso es un coste o una inversión?