Entender la distribución del MIR...

MIR 2011/2012

Cada punto representa un examinado que obtuvo nº de orden, las cuatro primeras de la izda intentan desentrañar el contenido de la última que representa la distribución final.

La primera imagen de la izquierda visualiza el resultado del examen de cada uno de los partícipes expresado en respuestas válidas (X) y erróneas (Y), en la misma vemos una dispersión total y brutal, solo con esa imagen se explica todo lo que pretendo mostrar. La fiabilidad del examen MIR, por sí mismo, para discriminar y por tanto ordenar. 

El resultado de su combinación (válidas y erróneas) son las respuestas netas de examen, las famosas netas que oficialmente no aparecen por ninguna parte y que todo el mundo habla de ellas en el mundo MIR. Las respuestas netas son un tercio del valor particular del examen que es el resultado oficial del examen (VPE=Respuestas válidas*3-respuestas erróneas). 

Netas=VPE/3 y se expresan con dos decimales redondeados (0,00-0,33-0,67).

En el mundo MIR oficial los decimales de los puntos finales de examen y baremo académico se expresan con cuatro decimales truncados (sin redondear).

Las netas no son la forma oficial de medir el resultado del examen, aunque sean la referencia más popular del resultado del mismo. 

Puntos finales de examen PFE=VPE*FE (FE=factor examen=90/media de los diez mejores exámenes); Puntos finales de baremo PFB=BA*FB (FB=factor baremo=10/media de los diez mejores baremos académicos). 

En el MIR la norma de escala se referencia siempre con los diez mejores exámenes y con los diez mejores baremos académicos independientemente. Es decir, en el resultado final, la dificultad del examen es la que siente cada partícipe ponderada con la que sienten los diez mejores a través del factor examen. Es una referencia de escala para no partir a valorar desde la nota máxima teórica. ¿Porqué?, son las normas, podía haber sido otra la referencia pero fue esa y tiene su sentido.

Las imágenes siguientes de la primera expresan el resultado de la combinación de respuestas válidas y erróneas. Las respuestas netas, con el baremo académico en la segunda. El baremo académico con el nº de orden (ahí van implícitas las respuestas netas) en la tercera. Las respuestas netas ordenadas por nº de orden (ahí va implícito el baremo académico) en la cuarta; y por fin la suma del resultado del examen y del baremo académico, en puntos finales de cada uno de ellos, y que da lugar a la distribución de puntos totales primero, y una vez ordenados de más a menos, el nº de orden correspondiente a los mismos, del nº 1 al último.

Una distribución siempre es eso, una fila de orden prevalente que comienza por el nº 1 y termina  por el último. Para eso se hace la prueba, ni más ni menos. Ahora si tienes paciencia vienen unas explicaciones sobre la dispersión de resultados y la naturaleza del MIR.

................................................................................ 

Después de tantos años y tantas nubes subidas en las que se ve con claridad la enorme dispersión de resultados del examen me preguntaba, por activa y por pasiva, después de leer tantos comentarios aquí y allá, como se entiende la distribución MIR y como es en realidad.

La distribución final de los resultados del MIR es una fila de puntos totales, casi pegados uno a otro excepto en los extremos, y la distancia entre ellos se mide en diezmilésimas para hacer más difíciles los empates. Sin embargo su expresión equivalente, su distancia entre ellos, su nº de orden, es de uno en uno, aunque casi empaten en puntos totales. 

Pero volvamos al examen. Si estudiamos los resultados del mismo antes de hacer las cuentas en netas, podemos entender mejor su naturaleza, que es lo que pretendo, y eso se expresa en la primera imagen a la izquierda.

Si nos fijamos en la dispersión de resultados de válidas y erróneas, tan dispares unos de otros, hemos de preguntarnos inmediatamente a que se debe. ¿como es posible si todos son médicos con el grado terminado?.

La respuesta está en la naturaleza del examen y en las distintas circunstancias de los examinados. La naturaleza de un examen de esas características es la discriminación de unos frente a otros para poderlos ordenar y esas características se pueden medir. Las diferentes circunstancias de los examinados también se pueden estudiar desagregándolos en subconjuntos de características homogéneas.

Si desagregamos entre ellos, solo he podido hacerlo por baremo, nacionalidad y en algunos casos por género, comenzamos a encontrar respuestas. Encontraríamos más respuestas si conociéramos su edad y año de egresado, facultad de procedencia, etc. ¿Cuantos de ellos son recién egresados españoles?, ¿cuantos repetidores que no eligieron cuando se presentaron?, ¿cuantos repetidores que renunciaron a su plaza para repetir?, ¿cuantos repetidores desde otra especialidad terminada?

Solo sabemos por una encuesta que la edad media supera los 28 años de edad, al menos entre los que eligieron plaza. La edad es una variable importante para los resultados del MIR, entre otras.

A esa encuesta le siguió otra en el tiempo, siguiendo la estela de los Estudios para la planificación de profesionales sanitarios.

La pretensión de un examen de estas características, preguntas tipo test con respuestas múltiples, que penaliza un tercio la respuesta errónea, es discriminar entre los que más respuestas netas (combinación de válidas con erróneas) aciertan frente a los que menos, justo en el momento en que se realiza el examen.

Las materias de las que se puede preguntar son todas las contenidas en los planes de estudios de las diferentes facultades de los aspirantes que concurren al mismo, expresadas o no en casos clínicos. 

Es decir es una foto fija del conocimiento médico que juzga básicamente lo cuantitativo del saber médico general en un momento determinado de la vida de ese médico aspirante al MIR, y de una forma determinada, preguntas tipo test de respuesta múltiple, que penaliza las respuestas erróneas con un tercio del valor de las respuestas válidas.

El texto de la pregunta, la calidad de las respuestas erróneas respecto de la verdadera, determinan su calidad y la del examen, es  decir, su capacidad para poder discriminar entre los que saben más de los que saben menos. Es decir su ojo clínico. Todo ello en un tiempo limitado. Un examen de potencia y velocidad.

Un examen que abre la puerta y ordena para elegir plaza de formación de postgrado.

Para tratar de entender todo mejor, imaginemos dos ejemplos extremos.

Primer ejemplo, supongamos un especialista de una materia no general con diez años de ejercicio profesional y de probada calidad en la misma, de trato y pericial, un oftalmólogo por ejemplo. ¿Qué nota sacaría en el examen si se presenta al mismo sin más?. Seguramente no obtendría nº de orden para poder elegir su especialidad. 

Segundo ejemplo, pongamos otro caso extremo para entender lo que es una distribución de resultados, supongamos que todos los presentados clonan el examen, todos iguales, una réplica perfecta y empatan todos, supongamos además que todos tienen el mismo baremo académico y la puntuación total es igual para todos. ¿Quién sería el nº 1 y quién el último?. Un sorteo lo decidiría. Por lo tanto la distribución de nº de orden sería simétrica, es decir una distribución normal, mismo % a la derecha que a la izquierda de la mediana, una lista de nº de orden del nº 1 al último, y todos habían sacado la misma nota. 

Pero como vemos año tras año no hace falta llegar a ese caso extremo, la fiabilidad del examen es tal para cumplir su misión de discriminar, que él solito consigue realizarla en grado sumo, según se ve en la primera imagen a la izquierda. De los empates en el examen, tal y como se ha explicado en la entrada anterior del blog, se encarga el baremo académico, y si persisten entran en acción las normas de desempate especificadas en la Orden de 27 de junio de 1989 concretamente en el art. 10. 3 de la misma. 

Así que conviene repasar la serie de gráficas que se exponen en la cabecera para entender la naturaleza de la prueba, centrarla y desmitificarla. Es lo que es y lo cumple a la perfección, incluido el azar en la misma, que también se puede medir.

……………………………………………………..

Veamos ahora lo que ocurre en el examen MIR tipo test de respuestas múltiples, que penaliza las respuestas erróneas. 

Si respondes pocas preguntas y todas bien eres muy eficiente, no restas nada pero obtienes pocas respuestas netas, poco resultado, es decir no eres eficaz.

Si respondes cincuenta preguntas bien y ciento cincuenta mal, neutralizas las válidas con las erróneas y sacas un cero pelotero de resultado, ni eres eficiente ni eres eficaz, para postre no llegas a la nota de corte y no obtienes nº de orden.

Si respondes doscientas preguntas y todas son válidas seguro que serás el nº 1 del MIR, has sido eficiente y eficaz, pero difícilmente se dará ese caso, de hecho nunca se ha dado.

Parece evidente que si contestas doscientas preguntas, de doscientas veinticinco, alguna contestarás mal, y en ese cancha está el juego del MIR, el juego de buenas y malas, el juego del equilibrio entre contestar el máximo posible de preguntas y sumar el máximo restando el mínimo, en definitiva un juego de optimización pero sobre todo de maximización. 

Un juego donde prima la eficacia sobre la eficiencia, y como dice un entrenador conocido, un juego donde el que encesta gana, y para encestar hay que tirar. Un juego en el que no solo hay que estudiar para tirar sino que también, y sobre todo, hay que entrenar para tirar muchas veces antes del examen y encestar el máximo posible, asegurando el máximo de canastas fáciles, una buena parte de las canastas menos fáciles y algunas de las difíciles.

En eso consiste el MIR, en estudiar y entrenar, para tirar y encestar.

En estudiar priorizando el plan de entrenamiento, lo planificado cada día para tirar el máximo posible de pelotas hasta encontrar la forma de encestar, de acertar la respuesta válida. Quien más estudia lo planeado más tira, quien más se entrena a tirar más encesta, quien más encesta más puntos suma y por tanto mejor se clasifica. Todo para ordenar y poder elegir la plaza que quieres, ni más ni menos.

Todas las circunstancias de tu mochila, las que traes y las que se presentan en el camino de la preparación, procura que sumen, si son negativas al menos neutralízalas, porque de lo contrario restan. Esas son las reglas del juego para todos, en una prueba de todos, que explica la enorme dispersión de los resultados del examen. Un examen cuya naturaleza es discriminar a los que más y mejor contestan en ese día. ¿Alguien conoce otra forma mejor y más barata de hacerlo?. Es decir, una prueba anual y nacional, que sea factible y posible.

No hay otra, por eso la mayoría de los recién egresados saben que lo han de hacer, que no hay alternativa, que no hay tu tía, y se recluyen en la cueva elegida durante siete meses intensivos, invirtiendo tiempo y dinero, sacando la cabeza cuando toca descanso programado, para una vez realizado el examen abstraerse del mismo y comenzar una nueva etapa en la que priman otras circunstancias.

Una etapa en la que el nº de orden desaparece, se borra, y comienza lo cualitativo sumado a lo cuantitativo. Llegar a ser un buen médico. Pero primero hay que hacer el MIR, lo cuantitativo que es además cualitativo de forma latente, conviene entenderlo para no llevarse sorpresas. El MIR, algo que hay que entender, que hay que referenciar, y algo que hay que pasar.