domingo, 20 de abril de 2014

La justificación cuantitativa de la nota de corte...

Editada el día 07/04/2014 a las 11:32 horas AM.-


Adenda.- La gráfica expresa exclusivamente el resultado del examen, en respuestas válidas (color marrón), y en respuestas netas (color verde), referenciadas ambas en el eje Y, y en el eje X la combinación de ambas expresada con el percentil de respuestas netas. 

La gráfica canta como una perdigana, y refleja que la nota de corte elimina a aquellos que sus respuestas erróneas superan a sus respuestas válidas, algo que cuantitativamente parece de sentido común, independientemente de su valoración cualitativa.

Curiosamente hay dos datos cuantitativos a resaltar, que por cierto tienen que ver con lo cualitativo, el primero, el cruce de las funciones que representan a ambos parámetros, respuestas válidas y respuestas erróneas, si lo proyectamos sobre el eje X coincide aproximadamente con el P27 o punto que el propio Ministerio identificó en el estudio analítico de resultados del año pasado como punto débil, asunto que no es casual porque está fundamentado en estudios académicos de la disciplina que se ocupa del caso. Este año la nota de corte ha sido del 35% de la media aritmética de los diez mejores exámenes, y no la han superado el 27,47% de los examinados, lo que representa aproximadamente ese P27 denominado por el Ministerio como punto débil.

El segundo, es el valor de R cuadrado de ambas funciones, curiosamente la que representa las respuestas erróneas está influida significativamente por la enorme dispersión de su parámetro al final de la distribución de los resultados expresados en respuestas netas, ¿qué significa esto?

Significa que el ejercicio de la prueba, un test de 225+10 preguntas de respuestas múltiples, requiere no solo estudio, sino también entrenamiento, porque las respuestas erróneas penalizan y eso precisamente es un sesgo latente de juicio sobre el resultado del ejercicio, es decir, aquellos que contestan muchas preguntas y erróneas (sin preparación y entrenamiento suficiente), son penalizados (cada respuesta errónea resta 1 punto) y aquellos que contestan muchas y válidas son premiados (cada respuesta válida suma 3 puntos), por lo tanto no solo se juzga lo que sabes, en ese momento de incertidumbre al contestar, sino también lo que fallas. 

No vale solo con contestar, hay que contestar mucho y bien para sumar, porque si contestas mucho y mal restas, y si contestas poco y bien no llegas para tener buena nota. 

Si observamos la dispersión de resultados de las respuestas erróneas vemos que la progresión es brutal a partir de la mitad de la distribución, lo que indica que el ejercicio es un ejercicio de potencia, incertidumbre y velocidad, que no solo discrimina por los conocimientos que se tengan en esa momento sobre lo que se pregunta, sino por la capacidad de responder con incertidumbre y en un tiempo determinado, un ejercicio de riesgo y de velocidad, sin duda.

Ese sesgo latente se refleja en la nota final y hace que la primera mitad de la distribución no se parezca en nada a la segunda, de ahí la necesidad de la preparación y del entrenamiento previos.

Los que se preparan más y mejor, responden más rápido por entrenamiento del factor tiempo, haciendo test, exámenes pasados y simulacros, y responden dudando, pero dudando menos porque les suena más, por mayor estudio de los conceptos más repetidos y progresivamente del resto de conceptos a los que puedan llegar, y también por entrenamiento al sintetizar lo estudiado en resúmenes, al responder a las preguntas de cada tema, al repasar las preguntas que fallas, al darle vueltas a las materias y a los fallos, todo eso pasa a tu cabeza sin darte cuenta a lo largo de una preparación intensiva, sumando un conocimiento intuitivo de lógica difusa, que cuando lees y comprendes lo que te preguntan se va a la respuesta que más te suena y generalmente aciertas más que fallas, y a por otra que no hay tiempo de pensar, a sumar con la siguiente y casi siempre dudando.

Ese es el sesgo latente que te juzgan, 225 diagnósticos rápidos de la plantilla definitiva, acertados o fallados entre el conjunto de 225 preguntas + 10 preguntas de reserva, tu ojo clínico.

Sí sí, ya sé que el MIR es una putada, pero lo tienes que pasar, y como al fin y al cabo estudias sobre tu materia, sobre las materias de tu profesión, procura pasarlo lo mejor que puedas mientras te preparas y te entrenas, porque pensando en la putada solo perderás tiempo y puntos. Solo piensa en sumar para que la R cuadrado que te afecte sea la de la función de color marrón y no la de la función de color verde.

El MIR son números, el primero tu baremo académico que condensa en tu mochila seis años de esfuerzo hasta obtener el título, y después has de recargar la mochila con otros números, son las respuestas válidas que suman 3 puntos y las erróneas que restan 1, las dos te dan las respuestas netas, las puñeteras netas, y por fin, el baremo y las netas, multiplicados el uno y las otras por sus factores de corrección, te darán los puntos totales, que ordenados previamente de mayor a menor de todos los presentados te darán el nº de orden para poder elegir tu plaza, a partir de ahí te olvidarás del puñetero MIR y solo valdrá ser médico, tu y tus pacientes, ni más ni menos.

Y para terminar, la pregunta del millón:

 ¿Hay margen para subir la nota de corte, a la vista de la gráfica?

Teóricamente lo habría en un intervalo que iría entre el P27 y el percentil de la distribución de resultados del examen que marca la proyección, al eje de las X, del punto de cruce de las funciones que determinan las respuestas válidas y las respuestas erróneas, que este año sería aproximadamente el P30 de la distribución de resultados del examen, por lo que la desviación ha sido de tres percentiles, o lo que es lo mismo, un valor relativo del 3% de los examinados.

Conviene decir sin embargo que la nota de corte no viene definida por un percentil determinado de la distribución de resultados del examen, sino que la norma de referencia elegida ha sido un % determinado de la media aritmética de los diez mejores exámenes, por lo que será variable de un año a otro pero no muy variable, y dependerá de la dificultad sentida del examen por los diez primeros y por el resto respecto de los mismos. 

De cualquiera de las maneras, una nota de corte del 35% estará muy cercana en cualquier caso al P27 considerado por el Ministerio como límite que determina el punto débil de la distribución de resultados del examen, por lo que parece probable que se mantenga ese parámetro. Esa cercanía o lejanía de +/- del 3% de la distribución dependerá básicamente, como se ha dicho, de la dificultad sentida del examen por los diez mejores examinados, y por el resto, respecto de sí mismos, y respecto de los diez mejores. 

Con este paso el Ministerio consolida como referencia de partida, al igual que para los factores de corrección de examen y baremo, la máxima referencia probable determinada por la media de los diez mejores exámenes, y por tanto variable, y no la máxima referencia teórica posible, e igual todos los años, que sería un valor fijo que coincidiría con la máxima nota teórica, un examen con todas la preguntas contestadas, y contestadas bien. ¿Tiene sentido esa decisión?

Contestación a la pregunta formulada y otras reflexiones al hilo de la misma:

Sí, porque una vez producida la bajada de ponderación del baremo del 25% del resultado final de la prueba al 10% la diferencia de los multiplicadores de un año a otro es mínima. Esa decisión en su día, fue una medida de gestión que mató varios pájaros de un solo tiro, y que es muy probable que haga innecesario el cambio de sistema de baremar de una base cuatro a una base diez, por cuanto ese sistema tiene la virtud de compensar las posibles diferencias de calificar del conjunto de las facultades igualando a todos los aprobados, notables y sobresalientes, en cada uno de sus intervalos de notas numéricas.

Desde mi punto de vista solo faltaría eliminar en la baremación MIR la matrícula de honor por no ser obtenida a través de un examen público y voluntario entre sobresalientes y ser graciable. Esa eliminación en la baremación MIR no tendría consecuencias ni para las facultades, ni para los interesados como acceso a matrícula gratuita por los mismos créditos, ni para las normas del Ministerio de Educación, cuestiones todas ellas fuera del ámbito normativo del MIR y que subsistirían. 

Como autocrítica a la propuesta cualitativa de eliminar de la baremación del MIR la matrícula de honor o incluso el doctorado, haré una autocrítica cuantitativa tratando de invalidarla, para que quede claro una vez más que cualquier cuestión cualitativa ha de ser sometida, previamente a su implementación, a una revisión cuantitativa.

La autocrítica es la siguiente, cuanto más alta sea la media aritmética de los diez mejores baremos, menos contará el baremo académico en la nota final MIR para la totalidad de los examinados, porque el factor baremo como multiplicador del baremo académico de cada examinado es un cociente en el que el numerador es siempre el mismo (10) derivado de su ponderación del 10% en la prueba y sin embargo el denominador es variable, la media de los diez mejores baremos académicos, y por tanto cuanto mayor sea ese denominador variable MENOR será el cociente que no es otra cosa que el factor baremo que MULTIPLICA todos los baremos de los partícipes para transformarlos en puntos finales sumables a los puntos finales del examen, obtenidos por el mismo procedimiento, y cuyo resultado son los puntos totales de cada partícipe que ordenados de mayor a menor dan lugar a lista de nº de orden que es el resultado final.

Por lo tanto, aquello que pudiera parecer bien cualitativamente terminaría yendo en contra de lo deseado con la implementación de la medida cualitativa, que no sería otra cosa que el baremo académico reflejara mejor la realidad de la nota de los examinados.

Resumen, desde mi punto de vista con la bajada de la ponderación del baremo se han conseguido matar muchos pájaros de un tiro, sus consecuencias no rozan la suma perfección teórica, pero sí entiendo que son suficientemente eficientes, como medida de gestión, para conseguir equilibrar las cosas. Mi propuesta sería no tacar nada de cómo está ahora, ni doctorado ni matrícula de honor aunque todas mis dudas estén centradas en esos parámetros de baremación presisamente, pero ni eso tocaría a pesar de que su obtención, en el caso de la matrícula de honor, no se haga mediante un examen voluntario y público entre los que hayan obtenido sobresaliente en la asignatura, ¿por qué no tocaría nada?

Por que cuanto mayores sean los diez mejores baremos, en los que en todos o casi todos influye la baremación del doctorado y de las matrículas de honor, menor sería el cociente al ser constante el numerador (10) y por tanto como el cociente es el factor de corrección del baremo, que es el multiplicador de todos los baremos, menor sería la participación del mismo en el resultado final de todos los aspirantes. 

En cuanto a baremar en base de diez y no en base cuatro, más autocrítica, ya que el sistema actual de premiar los saltos de aprobado a notable, de notable a sobresaliente y de sobresaliente a matrícula de honor, tiene dos virtudes, la primera, se atreve a cuantificar en el MIR el premio de saltar de un intervalo de nota a otro, aquello que siempre ha distinguido el imaginario popular como premio de salto de intervalo pero solo en letra (aprobado-notable-sobresaliente-matrícula de honor), y la segunda, sirve para equilibrar, no de forma perfecta pero sí funcional, los posibles desequilibrios que se puedan producir entre las evaluaciones de unas facultades y otras, en el interior de esos intervalos, reduciendo el riesgo del posible desequilibrio a las notas fronterizas entre saltos. Sea dicho según mi leal saber y entender y siempre a riesgo de mejor criterio.

Adenda editada el día 20/04/2014 a las 21:21 horas PM.-

Entradas complementarias:

El MIR de este año en una sola gráfica...

El tajo de la nota de corte...

Estadísticos de los que no superaron la nota de corte...

24 comentarios:

  1. Anónimo7/4/14 21:06

    Me ha gustado mucho esta entrada. Muchas gracias José María. La próxima semana comienza el laberinto de la elección. Un abrazo.

    ResponderEliminar
    Respuestas
    1. Gracias a ti, para mi el laberinto serán doce horas de "secuestro" diario, pero sarna con gusto no pica xD

      Un abrazo.

      Eliminar
  2. Anónimo7/4/14 21:32

    ni mortifica?

    ResponderEliminar
  3. Anónimo8/4/14 14:32

    vales tu peso en oro

    ResponderEliminar
  4. Buenas tardes soy extracomunitaria en el puesto 6964 :( podre coger med.familiar o med.preventiva o de trabajo en madrid? .-habrá algún problema si llego a adjudicar con visa de estudiante( eh pedido prorroga me han dado resguardo) Muchas gracias

    ResponderEliminar
    Respuestas
    1. Si estás afectada por el cupo, no todos los extracomunitarios lo están, solo puedes tener acceso a las plazas que queden desiertas en el primer llamamiento porque el cupo de 246 plazas se agotará antes de tu nº de orden.

      La única referencia que tenemos para aproximar una respuesta a tu pregunta son las plazas que quedaron desiertas el año pasado y están en dos tabals de esta entrada:


      jueves, 27 de marzo de 2014
      Las plazas ofertadas el año pasado en el 2º llamamiento...

      http://gangasmir.blogspot.com.es/2014/03/las-plazas-ofertadas-el-ano-pasado-en_27.html

      Eliminar
    2. Anónimo21/4/14 7:58

      Hola, una pregunta a la alumna que ha pedido resguardo. Que documentacion te pidieron. ? y donde lo solicitaste. Yo tambien soy extracomunitaria y mi visa de estudiante expira el 30 de abril..viajo a españa este 23 de abril pero debo pedir prorroga de estancia en el pais. porque estoy en el puesto 3900 y creo que elegiria es el 6 de mayo. claro de ser posible. Si alguien sabe del tramite, o usted Don Jose Maria , me informa.
      Le estamos profundamente agradecido... no se que hariamos sin usted, su aporte es invalorable. bendiciones

      Eliminar
    3. La solicitas en el mismo sitio que solicitaste el NIE y la causa es evidente, el trámite de elegir plaza forma parte de las Pruebas Selectivas de 2013, las mismas en las que participaste, de todas formas no te contestarán en ese plazo así que lo que te interesa es tener el resguardo de haberla solicitado y con ese resguardo te identificas para elegir plaza, si consigues elegir, ya tienes la credencial para transformar la visa en trámite de prórroga en visa de estudios por formación MIR por un año sin tener que volver a tu país, y prorrogable por años al igual que el contrato de formación que firmes después de tomar posesión de la plaza.

      Esa es mi interpretación, salvo mejor criterio.

      Eliminar
    4. Anónimo22/4/14 5:48

      Muchas gracias Don Jose Maria una vez mas...me sintetiza de forma sencilla el panorama. listo

      Eliminar
  5. Anónimo9/4/14 11:53

    Piensas que alguien con el 5948 podria elegir anatomia patologica en alicante? (no afecta el cupo)

    ResponderEliminar
    Respuestas
    1. Poder claro que se puede pero la probabilidad depende de otros, fíjate lo que ocurrió el año pasado:

      5789 ALICANTE H. GENERAL UNIVERSITARIO DE ALICANTE
      5945 VALENCIA H. UNIVERSITARI I POLITECNIC LA FE
      6088 ELCHE H. GENERAL UNIVERSITARIO DE ELCHE
      6266 VALENCIA H. UNIVERSITARI I POLITECNIC LA FE
      6378 VALENCIA H. GENERAL UNIVERSITARIO DE VALENCIA

      cuando la muestra es pequeña cualquier cosa puede pasar, juegas con la ventaja de que mejores nº replegarán otras antes, a partir de ahí solo cabe esperar que le viento sople a favor...

      Eliminar
  6. Una pregunta Don Jose María.
    Este año está habiendo sorpresas. Que especialidades cree usted que me quedaran con un puesto de 4200? Saludos desde Alicante

    ResponderEliminar
  7. Gangas muchas gracias por tu labor desinteresada, te quería preguntar que tanto crees que aguante las plazas de Oncología médica en esta convocatoria, se que no.eres un adivino, pero con mi humilde 3900 me.gustaria saber si.tengo oportunidad , gracias

    ResponderEliminar
    Respuestas
    1. Esa pregunta me suena, y si no la contesté es porque no lo sé, sinceramente no lo sé.

      Esta misma respuesta sirve para la pregunta del comentario anterior.

      Eliminar
  8. Anónimo21/4/14 4:56

    sr Gangas cree que un puesto de 6948 no afectado por el cupo pueda agarrar medicina familiar en Malaga??

    ResponderEliminar
  9. Muy interesante. No obstante, pienso que la nota de corte no deberia de hacerse. Para un elector que quiera hacer Medicina de Familia o anatomia patologica tendra que estudiar mucho mas para poder pasar el corte, algo que es injusto ya que para esas especialidades no se demanda tanta nota. Por cierto, un grandisimo trabajo.

    ResponderEliminar
    Respuestas
    1. Perdón?!?! Esas especialidades cómo dices y sobretodo Familia, es la puerta de entrada al sistema de salud, sólo cuando refuercen ese primer nivel terminaremos de tener una sanidad en condiciones, los médicos de familia que superan la nota de corte y estudian, no son simple recetadores y derivadores cómo muchos piensan, son mucho más que eso, resuelven una gran cantidad de demandas de la población y sobretodo previenen enfermedades que es lo más importante y primordial y en lo que se debe insistir.... Asi que si, si no superas la nota de corte..... no sé yo si de verdad estan preparados para ser MÉDICOS.

      Eliminar
    2. Todos son médicos, desde que salen de la universidad. El examen MIR no hace o deja de hacer a uno médico. Mucho menos una nota de corte. Es la práctica lo que le hace a uno médico.El MIR sirve para ordenar y poco más.. la mayoría de los conceptos son para discriminar, no son patologías del día a día.Un saludo.

      Eliminar
    3. eso es verdad, este mir no discrimina conocimientos y menos el dete año que fue tan atípico y mal intencionado. No estoy de acuerdo con la nota de corte, pero si que haya un sistema s organizado de evaluaciones durante la residencia y no cada quien a su bola cumpliendo horario. DENTRO de la residencia si deberian haber programas de seminarios, examenes y mas cosas que se cumplen en algunos hospitales y no en todos... no valernos de este examen que lo que hace como dices ORDENAR un poco, pero no discrimina a nadie.

      Eliminar
  10. Anónimo2/5/14 14:17

    Tengo una duda con respecto a la entrada, estoy de acuerdo en casi todos los aspectos, pero no acabo de entender porque hacer el calculo de nota en base 10 en lugar de en base 4 evita que exista menos discriminación entre los saltos.
    Ahora mismo estoy en 5º de carrera, tengo una media en base 10 de 7,9 y sin embargo en base 4 es de 1,8 (parece ser que en mi facultad les apasionan los 8,9, que le vamos a hacer...)

    ResponderEliminar
    Respuestas
    1. Bien, esta es una buena pregunta, pongamos un ejemplo.

      Imaginemos que todas las facultades españolas fueran una sola y por tanto los programas formativos, los profesores, las prácticas, los exámenes, todo sería igual en esa idealización, por supuesto todos lo alumnos se someterían a todos los exámenes, y los profesores por supuesto los calificarían con los mismos criterios.

      El resultado sería de notas sería equitativo, no hablo de justo porque la justicia es un concepto subjetivo, y la equidad es un concepto medible.

      Entonces lo adecuado sería baremar en base 10

      Pero no hay una única facultad ni un único programa ni unos exámenes iguales y tampoco un mismo juicio de calificación.

      El MIR es una prueba unificadora de esos diferentes subconjuntos, y se planteó dar un valor al expediente académico, no solo en sí mismo sino que también sirve para desempatar los múltiples empates que se dan en el examen MIR, y lo primero que se plantearon fu su baremación, una baremación MIR, es decir propia, no tiene otra validez que para el resultado de la prueba, por lo tanto tiene reglas propias y no discute las reglas de Educación, es decir de las Facultades de Medicina ni del Ministerio de Educación, que tienen sus propias reglas sobre calificación, si las matrículas de honor se dan o no mediante examen público entre sobresalientes o se como se adjudican, gratuidad en créditos correspondientes a las MH, etc.

      Llegados a este punto los responsables de la prueba se encontraron además que al ser una prueba de libre concurrencia había diferentes aspirantes con diferentes planes de estudios, créditos o no, notas en letra o en número, y además aspirantes de otros países.

      Así que se decidió unificar un sistema de baremación de que atendiera la diversidad, y se optó porque todos los aprobados valieran lo mismo, de esa forma se unificaba a todos los aprobados, en perjuicio de los aprobados altos y en beneficio de los bajos, pero sobre todo unificaba los diferentes criterios de aprobar del conjunto de profesores, lo mismo para los notables, sobresalientes y MH.

      ¿Se podría haber optado por otro sistema?

      Sin lugar a dudas, se podía haber optado por ponderar las notas individuales con la media de la facultad y con la media del conjunto de facultades, de esta forma se produciría un equilibrio de ponderación para evitar los diferentes modos de calificar por facultades.

      Pero ese sistema requiere una comunicación obligatoria de las medias y su cálculo oficial y no se llegaría a tiempo.

      Esa es la razón, entiendo yo, de que se hiciera tal y como se hace.

      Llegados a este punto he de decir que tengo un estudio hecho con notas reales de personas con muchos notables altos, incluso un sobresaliente con 10 que no fue matrícula de honor en la asignatura.

      Esa persona perdía algo más de un 20 % en el baremo MIR.

      Todos esos problemas no has sido resueltos radicalmente con la nueva ponderación del 10 % en el resultado final de la prueba pero sí que los ha mitigado en buena medida.

      Esa es la razón por la que he cambiado de opinión en ese aspecto, y porque además el sistema en base cuatro pondera la forma de calificar entre facultades.

      Además los estudios estadísticos de resultados de la prueba expresan que los sobresaliente y notables no son gratuitos sino que existe correlación entre resultados MIR y baremo.

      Llegado a este punto, lo que no hemos podido todavía es desagregar de ese estudio a los recién egresados de los que lo fueron hace años, y tampoco se ha estudiado como cambiaría el resultado final si en lugar de baremar en base cuatro se hiciera en base diez, sería un buen trabajo de investigación.

      Como corolario final, la bajada de ponderación del baremo del 25 % al 10 % del resultado final se ha llevado por delante algunas de las objeciones que se le podían hacer al baremo MIR, no se ha resuelto idealmente pero si con eficiencia suficiente. El perjuicio para los que tienen muchos notables altos sigue existiendo pero se ha aminorado bastante.

      Salvo mejor criterio, naturalmente.


      Eliminar
    2. Anónimo2/5/14 16:47

      Muchas gracias por la aclaración! Me alegra saber que se ha mitigado el efecto de los notables y aprobados altos.
      Espero que se invierta la tendencia de medicina de familia en los proximos MIR, que como dijo un profesor mío de oncología "Es el actor principal, todos los demás médicos somos simples ayudantes".
      Felicitarle tambien por este blog tan estupendo, seguiré pendiente de nuevas entradas!

      Eliminar