jueves, 5 de febrero de 2015

Juicios de valor del examen...

Estoy leyendo estos días diversos juicios de valor sobre el examen MIR en general, y algunas de sus preguntas en particular, que me motivan a hacer algún comentario al respecto.

Todo el mundo parece estar de acuerdo que las preguntas de un examen, por definición, han de tener capacidad suficiente para discriminar por conocimientos.

Además, y teniendo en cuenta la naturaleza y formato de la prueba, un ejercicio de opciones múltiples con penalización y en un tiempo de aproximadamente una pregunta por minuto, juzga también el sesgo latente, tanto propio de la profesión que se examina, como sería el ojo clínico para decidir sobre un problema planteado, con incertidumbre y celeridad.

Si se repasa la literatura científica encontramos que para calificar cualitativamente cada pregunta de las que ha contenido el examen, y saber si cumple o no los requisitos adecuados para medir lo que pretende medir, podríamos hacer dos tipos de diseño de investigación diferentes, o ambos.

El primer tipo de diseño, cualitativo, sería el diseño de una encuesta para contestar por peritos médicos, anterior o posterior al examen. Parece obvio que el juicio anterior, que supuestamente sería el ideal, no debe de hacerse para evitar todo tipo de sospecha de filtración, nótese que no digo filtración sino tan siquiera sospecha de la misma. La encuesta posterior se podría realizar a peritos médicos de reconocido prestigio en cada materia para que emitieran su juicio de valor, y posterior publicación de los resultados que además recogiera no solo los juicios de valor sino también propuestas de mejora, si las hubiese, para cada una de las preguntas.

Pero alguien podría preguntar, ¿no existe nada en la literatura científica que nos pueda ayudar a hacer un juicio de valor sobre la calidad de cada una de las preguntas del examen para medir lo que se pretende medir y que no sea una encuesta?

La respuesta es que sí.

Existen ese tipo de pruebas para examinar al examen, para hacer un juicio de valor cualitativo de cada una de las preguntas, con herramientas cuantitativas, y presentar un informe de la calidad de las mismas respecto a su capacidad de evaluación y discriminación.

¿Lo hace el Ministerio al menos para consumo interior?

No lo sé, pero si lo hace ¿por qué no lo publica?

¿Lo hizo alguna vez el Ministerio en su día?

Sí, lo hizo y lo publicó. 

Un juicio cualitativo de cada una de las preguntas a través de resultados cuantitativos de cada una de ellas. Uno de sus autores, si no estoy equivocado, todavía está en el Ministerio ocupada ya en otras cosas. Posteriormente, y fuera del Ministerio, otros publicaron otro estudio, desconozco si como réplica, en el que incluían la propuesta de diseño de una encuesta a peritos médicos para que emitieran los correspondientes juicios de valor sobre cada una de las preguntas.

Por el tiempo transcurrido, más de 20 años, las técnicas utilizadas aunque vigentes, han sido superadas por otras de mayor precisión y de la misma disciplina desde hace tiempo. El maestro que introdujo esa disciplina en España falleció hace ya unos años pero creó Escuela y dejó suficientes discípulos repartidos por el ancho mundo académico, si bien no conozco a ninguno que le haya dado por estudiar el MIR, cuando curiosamente es una prueba a la que le va como anillo al dedo, para contrastar su calidad, como instrumento de medida.

Las técnicas cuantitativas que usa ese instrumento de medida tienen que ver con las matemáticas, como una más de sus múltiples aplicaciones transversales.

Simplificando mucho, porque la entrada lo requiere, se trataría de calcular para cada pregunta del examen, su función de probabilidad y su función de información, con una simple gráfica resultado de cada una, de un vistazo, cual si fuera una radiografía, tendríamos la interpretación de la misma, es decir, su juicio de valor. Dichas gráficas estarían acompañadas de las correspondientes tablas con sus valores cuantitativos, el informe correspondiente, y las propuestas de mejora para cada pregunta, agrupadas por materias.

Todo ello, independientemente, de todos los discursos escuchados estos días.

¿Qué pierde el Ministerio haciéndolo y publicándolo?

Nada, antes bien lo contrario, porque centraría el debate en lo que se debe de centrar, la calidad métrica de cada pregunta del instrumento de medida, el examen, y su calibración para medir lo que pretende medir y si lo ha conseguido o no. Con ello templaría las especulaciones apresuradas de algunos, porque después vendría el tío Paco con la rebaja.

Al igual que las sociedades presentan sus resultados ante los accionistas y ante los posibles inversores, la Administración debe de presentar ante los ciudadanos el juicio de valor científico de su gestión en el caso que nos ocupa, el examen MIR. Porque de lo contrario tendrá que acostumbrarse a convivir con otro tipo de juicios, que evidentemente estarán mediatizados por los intereses de quienes los emiten.

Corolario final.- 

Entiendo que la única forma de proceder es hacer el examen técnico del examen y publicarlo. A partir de ahí que cada uno de los interesados emita el juicio que crea necesario. No hay que salvaguardar en este asunto nada más que el sancta sanctorum de quien pone el examen, y eso con tuerca y contratuerca. Para el resto, medir para mejorar.

6 comentarios:

  1. Anónimo5/2/15 9:18

    ERES UN CRACK ! ...HASTA YO LO ENTIENDO... JAJAJAJA
    MUCHISIMAS GRACIAS POR TU EXCELENTE LABOR

    ResponderEliminar
  2. Anónimo5/2/15 9:33

    Datos globales CTO 09.30H

    NÚMERO DE EXÁMENES CORREGIDOS: 5568

    PERCENTIL 50 DE LAS PUNTUACIONES NETAS DEL EXAMEN: 119,67

    NOTA DE CORTE: 197 puntos de examen (~ 65,67 aciertos netos)

    Nº DE PLAZAS OFERTADAS: 6102 plazas.

    ResponderEliminar
  3. Anónimo5/2/15 9:43

    Buenos días gangas. Supongo que si el Ministerio no lo hace, pueden publicarlo las academias. No sería lo mismo porque siempre trabajan con muestra,pero sí daría una aproximación. Ahí queda!

    ResponderEliminar
    Respuestas
    1. Buenos días, las academias, si lo hacen, se lo quedarán para ellas, para saber las notas de los alumnos de la competencia, los de ellas siempre serán las mejores entre los mil primeros, y es posible que a estas alturas, sin salir TODOS los resultados publicados por el Ministerio, ya hayan empezado a decirlo en sus páginas web:

      jueves, 19 de junio de 2014

      Los resultados de las Academias...

      http://gangasmir.blogspot.com.es/2014/06/los-resultados-de-las-academias.html

      Eliminar
  4. Chapeau!!
    Cada uno tenemos nuestra opinión. Hemos hecho exámenes de otros años y podemos hacer comparaciones completamente subjetivas. Pero si quieren romper con ese tipo de especulaciones o de conjeturas. y de paso mejorar una prueba que a veces parece que se va un poco de madre... (creo que, pese a que no sea lo más habitual, todos conocemos a gente excelente cuyos conocimientos y habilidades no se ven para nada reflejados en el MIR, y todos conocemos a gente flojísima... de los que coincidías en prácticas y daban "miedito" que hacen un MIR de excelente. No digo que sea la norma... pero pasa)

    ResponderEliminar
    Respuestas
    1. Pero es que incluso en la residencia, se valora subjetivamente a todos los MIRes. Da igual si sacastes el mejor numero MIR de tu hospital, o fuistes el mejor de tu promocion. Lo que importa son factores intangibles; simpatia, personalidad, madurez. A cuantas personas empollonas o con buenos numeros MIR conoces que tengan madurez profesional? La mayoria de los medicos han estudiado toda la vida, nunca han trabajado de camareros, de cajeros, etc, asi que la politica y etica en un puesto de trabajo, nadie nos las explica, y el que es muy tonto o muy susceptible, sera convertido en un chivo expiatorio para el resto. En la residencia se evalua peor al residente que el propio examen MIR. Es un cachondeo donde la subjetividad compone el 80% de las evaluaciones anuales. Es verdaderamente triste que no exista un organismo que controle los atropellos en la residencia.

      Eliminar