Juicios de valor del examen...

Estoy leyendo estos días diversos juicios de valor sobre el examen MIR en general, y algunas de sus preguntas en particular, que me motivan a hacer algún comentario al respecto.

Todo el mundo parece estar de acuerdo que las preguntas de un examen, por definición, han de tener capacidad suficiente para discriminar por conocimientos.

Además, y teniendo en cuenta la naturaleza y formato de la prueba, un ejercicio de opciones múltiples con penalización y en un tiempo de aproximadamente una pregunta por minuto, juzga también el sesgo latente, tanto propio de la profesión que se examina, como sería el ojo clínico para decidir sobre un problema planteado, con incertidumbre y celeridad.

Si se repasa la literatura científica encontramos que para calificar cualitativamente cada pregunta de las que ha contenido el examen, y saber si cumple o no los requisitos adecuados para medir lo que pretende medir, podríamos hacer dos tipos de diseño de investigación diferentes, o ambos.

El primer tipo de diseño, cualitativo, sería el diseño de una encuesta para contestar por peritos médicos, anterior o posterior al examen. Parece obvio que el juicio anterior, que supuestamente sería el ideal, no debe de hacerse para evitar todo tipo de sospecha de filtración, nótese que no digo filtración sino tan siquiera sospecha de la misma. La encuesta posterior se podría realizar a peritos médicos de reconocido prestigio en cada materia para que emitieran su juicio de valor, y posterior publicación de los resultados que además recogiera no solo los juicios de valor sino también propuestas de mejora, si las hubiese, para cada una de las preguntas.

Pero alguien podría preguntar, ¿no existe nada en la literatura científica que nos pueda ayudar a hacer un juicio de valor sobre la calidad de cada una de las preguntas del examen para medir lo que se pretende medir y que no sea una encuesta?

La respuesta es que sí.

Existen ese tipo de pruebas para examinar al examen, para hacer un juicio de valor cualitativo de cada una de las preguntas, con herramientas cuantitativas, y presentar un informe de la calidad de las mismas respecto a su capacidad de evaluación y discriminación.

¿Lo hace el Ministerio al menos para consumo interior?

No lo sé, pero si lo hace ¿por qué no lo publica?

¿Lo hizo alguna vez el Ministerio en su día?

Sí, lo hizo y lo publicó. 

Un juicio cualitativo de cada una de las preguntas a través de resultados cuantitativos de cada una de ellas. Uno de sus autores, si no estoy equivocado, todavía está en el Ministerio ocupada ya en otras cosas. Posteriormente, y fuera del Ministerio, otros publicaron otro estudio, desconozco si como réplica, en el que incluían la propuesta de diseño de una encuesta a peritos médicos para que emitieran los correspondientes juicios de valor sobre cada una de las preguntas.

Por el tiempo transcurrido, más de 20 años, las técnicas utilizadas aunque vigentes, han sido superadas por otras de mayor precisión y de la misma disciplina desde hace tiempo. El maestro que introdujo esa disciplina en España falleció hace ya unos años pero creó Escuela y dejó suficientes discípulos repartidos por el ancho mundo académico, si bien no conozco a ninguno que le haya dado por estudiar el MIR, cuando curiosamente es una prueba a la que le va como anillo al dedo, para contrastar su calidad, como instrumento de medida.

Las técnicas cuantitativas que usa ese instrumento de medida tienen que ver con las matemáticas, como una más de sus múltiples aplicaciones transversales.

Simplificando mucho, porque la entrada lo requiere, se trataría de calcular para cada pregunta del examen, su función de probabilidad y su función de información, con una simple gráfica resultado de cada una, de un vistazo, cual si fuera una radiografía, tendríamos la interpretación de la misma, es decir, su juicio de valor. Dichas gráficas estarían acompañadas de las correspondientes tablas con sus valores cuantitativos, el informe correspondiente, y las propuestas de mejora para cada pregunta, agrupadas por materias.

Todo ello, independientemente, de todos los discursos escuchados estos días.

¿Qué pierde el Ministerio haciéndolo y publicándolo?

Nada, antes bien lo contrario, porque centraría el debate en lo que se debe de centrar, la calidad métrica de cada pregunta del instrumento de medida, el examen, y su calibración para medir lo que pretende medir y si lo ha conseguido o no. Con ello templaría las especulaciones apresuradas de algunos, porque después vendría el tío Paco con la rebaja.

Al igual que las sociedades presentan sus resultados ante los accionistas y ante los posibles inversores, la Administración debe de presentar ante los ciudadanos el juicio de valor científico de su gestión en el caso que nos ocupa, el examen MIR. Porque de lo contrario tendrá que acostumbrarse a convivir con otro tipo de juicios, que evidentemente estarán mediatizados por los intereses de quienes los emiten.

Corolario final.- 

Entiendo que la única forma de proceder es hacer el examen técnico del examen y publicarlo. A partir de ahí que cada uno de los interesados emita el juicio que crea necesario. No hay que salvaguardar en este asunto nada más que el sancta sanctorum de quien pone el examen, y eso con tuerca y contratuerca. Para el resto, medir para mejorar.