miércoles, 31 de julio de 2019

El baremo MIR y el expediente académico...

... sus densidades expresadas en bloxpot de sus valores particulares y de sus puntos finales transformados por sus factores de corrección.

Las gráficas de esta entrada son complementarias al contenido de esta otra.

Adenda.- 

1.- Sobre la primera gráfica

Seguramente los promotores de la idea han pensado que los valores particulares del expediente académico son mayores que los valores particulares del baremo MIR y es lo que les ha llevado a su propuesta y final aceptación, tras buscar los apoyos suficientes para mecer la cuna, imponiendo de buena fe lo que ellos piensan que es de justicia.

2.- Sobre la segunda gráfica

Me cuesta creer que dichos promotores no sepan que los valores particulares de los baremos, sean los expresados en la mal llamada base 4 o sean los expresados por el expediente académico en base 10 no están expresados en la misma escala que los valores particulares del examen y que por lo tanto no se pueden sumar directamente para expresarlos en puntos totales. Los puntos totales de la prueba son la suma del examen y del baremo, previamente transformados en puntos finales para poderlos sumar en la misma escala, y así obtener los puntos totales que son la nota final de la prueba que se transforman en nº de orden.

Para hacer esa transformación se multiplican por el factor baremo correspondiente, que es el cociente con 11 decimales truncados, del peso ponderado del baremo en la prueba dividido por la media de los diez mejores baremos.

Así pues la segunda gráfica expresa los valores en puntos finales de la prueba del baremo MIR y del expediente académico, y es la prueba de la hipótesis mantenida por un servidor. 

Los valores en puntos finales del baremo MIR se expresan en una menor densidad, por lo tanto contribuyen a una mayor discriminación que los expedientes académicos. Ello es así por considerar el baremo MIR que es más "justo" igualar a todos los aprobados de todas las facultades, a todos los notables y a todos los sobresalientes, por conocer las bases de datos de las notas de cada universidad, que ni son iguales, ni tienen las mismas asignaturas.

El mal llamado baremo en base 4 no solo no es más "injusto" sino que consigue mejor que el impuesto en base 10 el contribuir a separar unos de otros. Tal y como demuestra la segunda gráfica el mal llamado baremo en base 4 es menos denso en su espacio intercuartílico de puntos finales que son los que cuentan en el resultado final, al contrario que ocurre con los expedientes académicos en base 10 que tienden más a las medidas centrales, más densos en su espacio intercuartílico, y que por tanto contribuirán, junto con el efecto de un ejercicio de examen de 175 preguntas en lugar de 225, a apelotonar el resultado final consiguiendo una distribución de resultados más puntiaguda, es decir, menos platicúrtica, en las que una neta se cotizará alrededor de 200 nº de orden en el intervalo más denso cuando con el sistema anterior no había pasado de 160 nº de orden

A ustedes les ha engañado "la evidencia de la vista" de la primera gráfica y les ha perdido no haber hecho, y publicado previamente la segunda, para poder parar a tiempo las consecuencias de "dicha evidencia". 

Se trata a mi entender de una concesión interesada de la mano que mece la cuna. Se los quita de encima y de paso ustedes ocultan una realidad, las diferentes formas de evaluar por universidad, que era lo que trataba de ponderar el sistema anterior

Para colmo ese cambio de variable se revuelve por la misma mano que mece la cuna con los otros cambios en un solo año. Hecho adrede o no. Ello conllevará mayor dificultad para asignar qué parte del cambio en el resultado final corresponde a cada una de las variables modificadas.

A un servidor no le ha hecho ninguna gracia hacer de Pepito Grillo frente a ustedes. Pertrechados de los datos que supuestamente justificaba el cambio, que no han difundido. Del presupuesto que les permitía haber hecho previamente un ceteris paribus y difundir el resultado que lo justificara. Ni ustedes ni quien se lo ha concedido. 

Las circunstancias del cambio de poder político han permitido la concesión interesada. Concesión gloriosa para ustedes. Ya tienen una parte de lo que querían a cambio de su silencio. Ahora a por la próxima.



PD.- Para ver con mayor claridad el tablón haz clik con el botón izquierdo encima del mismo, una vez se ha hecho más grande pon el ratón encima y aprieta el botón derecho del ratón. En el cuadro de diálogo que te sale haz clik en el que dice Abrir imagen en una pestaña nueva. Una vez se ha abierto una pestaña nueva en la parte superior, ábrela y pon el ratón encima. Te saldrá el signo (+) que significa lupa para aumentar el tamaño del tablón, haz clik con el botón izquierdo y tendrás mucho más legible el contenido del mismo.

19 comentarios:

  1. Inmenso como siempre don José María...un abrazo grande

    ResponderEliminar
  2. Buenos dias
    Mi hijo termino medicina y le han mandado el certificado academico personal con dos digitos 8,06
    En caso de ser con un decimal, ¿se aplicará redondeo?
    ¿Seria 8,0 o 8,1?
    Gracias

    ResponderEliminar
    Respuestas
    1. Se supone que el ministerio detallará sobre el tema en la convocatoria, por el momento no se sabe nada. No obstante los decimales no se redondean nunca. Se trunca. Pero toca esperar.

      Eliminar
  3. Sin duda es un punto de vista interesante. Sin embargo, no hay que olvidar que el baremo sobre 4 se obtiene de categorizar una variable cuantitativa y que en consecuencia se pierde demasiada información. De nada sirve una mayor discriminación si esta se consigue mediante un sistema azaroso, injusto y sesgado. Otro cantar es la reducción del número de preguntas a 175+10, el verdadero error del ministerio desde mi punto de vista (MIR de segundo año). Un saludo y enhorabuena por su trabajo.

    ResponderEliminar
    Respuestas
    1. Con el debido respeto. Sistema azaroso, injusto y sesgado es pensar que la evaluación de las diferentes universidades es igual.

      Este sistema de baremar por ponderación, se desarrolló para los premios finales y nacionales de fin de carrera, qué casualidad que una universidad determinada se llevaba la mayoría año tras año, hasta que a alguien se le ocurrió ponderar.

      En cuanto a los expedientes académicos de las diferentes universidades, en el caso de Medicina, los conoce Educación de todos los que egresan y Sanidad de todos los que se presentan a las pruebas, ¿por qué no los publican ninguno de los dos ministerios?

      Ellos saben las diferencias entre los de unas y otros universidades.

      Hay un caso conocido que puedo publicar, es el caso de la universidad Autónoma de Madrid con un baremo bajo y buenos resultados en el MIR, los mejores hasta hace dos años.

      Un saludo y gracias por tu reconocimiento.

      Eliminar
    2. Usted tiene toda la razón don José María..saludos

      Eliminar
    3. En primer lugar: gracias y felicidades por el blog.

      Si seguimos su hipótesis, los de la Universidad Autónoma de Madrid (con baremo bajo) ahora con el expediente académico (con menor capacidad discrininativa) podrán optar a números de orden más altos (más de los que ya vienen consiguiendo), ¿no?

      Entiendo su queja (porque creo que el MIR del próximo año tendrá menor poder discriminatorio que en años anteriores, ergo será más injusto), pero no termino de entender su "enfado" al citar a los de la Autónoma de Madrid, pues AHORA sus perfiles NO se verán tan discriminados por los de otras universidades (que conceden notas más altas).

      Otra cosa: yo supongo que el fallo del cambio a 175+10 viene del Ministerio de Sanidad, y que el fallo del cambio del baremo al expediente académico es fruto de la presión ejercida por los decanos. Estos últimos (habrá de todo en la viña del Señor) tendrán que agachar las orejas, o ponerse una diadema con las del burro, porque persiguiendo un objetivo van a conseguir justo el contrario.

      Para que así quien le lea a Vd. en su blog se haga una idea de inteligencia de los decanos universitarios, o al menos la que se desprende de su actuación conjunta.

      Eliminar
    4. 1.- Un servidor no se queja de la Autónoma de Madrid, no tengo la más mínima relación con dicha universidad, simplemente es un dato, por cierto ya publicado en algún trabajo.

      2.- En la cuestión expediente académico varias cosas:

      a) No todas las universidades son igual de "duras" a la hora de evaluar. Para dejar este asunto terciado bastaría que cada una de ellas publicara la distribución de expedientes académicos.

      b) Hay una forma de correlacionar expediente académico y resultado en el examen. Resulta relativamente sencilla y es el mejor medio para clasificar los resultados de los alumnos de las universidades en la prueba.

      3.- Al final, cualquier distribución se podrá expresar en nº de orden, incluso la de los propios expedientes académicos. El problema es como se resuelven los empates, que en el caso de los expedientes serían mucho mayores que en el caso del examen.

      4.- Todo este asunto, averiguar las consecuencias de reducir preguntas en el examen y de desterrar el sistema de ponderación anterior de los méritos académicos por el expediente académico, era de simple aritmética elemental.

      Cuantas menos preguntas tenga un examen de esta naturaleza, para más de 10.000 personas, más azaroso será. Si la suerte la echas de 2 a 1 pregunta la multiplicas por 2.

      En cuanto al expediente académico, no es difícil comprobar que es la relación del resultado del examen con el resultado del expediente académico la justifica la prueba individualmente, esa relación diferente por las razones que sean, es la que permite ordenar a los partícipes. Si esa relación fuera igual sería suficiente con ordenar por expediente académico.

      El perjuicio (mejores expedientes académicos y peores exámenes) o beneficio individual (al revés del anterior), ya se manifestaba en la situación anterior, solo que ahora se manifestará en mayor grado.

      Mezclar ambos cambios en un solo año puede hacer más difícil repartir responsabilidades para uno u otro, a nivel de leyenda urbana, pero también será una cuestión individual de la correlación entre el resultado del examen y el expediente académico. Cuanto más extrema sea a favor del resultado del examen más beneficio a título personal y al revés.

      5.- Para reducir el azar en el examen se pueden explorar otras soluciones:

      a) Aumentar el nº de preguntas y de exámenes y hacer la media como resultado final. Obviamente no es una medida muy popular y la opción ha sido la contraria.

      b) Anular las preguntas de peor discriminación psicométrica. La discriminación de un examen es la media de la discriminación de sus preguntas.

      Esa era la vía que se debería de haber explorado según mi leal saber y entender. Vía apoyada en la literatura sobre el tema.

      Eliminar
    5. Entonces discúlpeme, le había entendido mal con respecto a lo de la universidad autónoma de Madrid: ahora sí coincido con su tesis: "El perjuicio (mejores expedientes académicos y peores exámenes) o beneficio individual (al revés del anterior), ya se manifestaba en la situación anterior, solo que ahora se manifestará en mayor grado".

      Déjeme preguntarle desde la ignorancia y quizá metiendo la pata, pues yo soy médico y usted, por lo que veo en su perfil, es ingeniero y sepa probablemente más matemáticas que yo: ¿Es posible calcular en una cifra, en un porcentaje, la capacidad discriminativa de la prueba? ¿Podemos partir de la base de que un examen con 225 preguntas con el baremo clásico muestra un valor 1,0 y calcular la pérdida para discriminar del nuevo formato con 175 con expediente académico?

      Y otra cosa: ¿no cree que todo el estudio, cálculo y reflexión que hace usted sobre el examen MIR, el Ministerio de Sanidad debe haberlo hecho con una aproximación similar a la suya, máxime por la circunstancia de tener todos los datos a su disposición? ¿Cree usted que habrán abordado estos cambios SIN ninguna perspectiva matemática?

      En fin, gracias de nuevo y un saludo.

      Eliminar
    6. Sobre el tercero de sus párrafos.- Desconozco lo que hayan hecho los responsables de tomar la decisión sobre el cambio del procedimiento de baremar los méritos académicos anterior a asumir sin más el expediente académico educativo universitario. Advertidos estaban, al menos desde este blog, de que sería conveniente simular sus efectos en uno o varios de los años anteriores y mostrarlos públicamente comparando una situación y otra en el resultado final en la diferencia de nº de orden.

      También desconozco, más allá de lo publicado por la prensa, en qué se han basado para justificar la disminución de preguntas del examen.

      Por otra parte se verán obligados a baremar, no sé cómo, a un alto porcentaje, tal vez cercano al 50 % de los que se presenten este año, ya que ni a los procedentes de universidades extranjeras, sean extranjeros o españoles, no les son de aplicación directa sus expedientes académicos, como tampoco lo son a una buena parte de procedentes de universidades españolas de planes de estudio de promociones anteriores.

      Sobre el segundo de sus párrafos.-

      Existe una disciplina universitaria, la Psicometría, que se ocupa de lo que usted plantea. Lógicamente se hace a posteriori de la realización del ejercicio de examen. Se puede calcular la discriminación de cada una de las preguntas del mismo, y su media aritmética sería la discriminación del examen. Por lo tanto la respuesta es sí. No es necesario en este caso inventar nada, es algo que ya existe como disciplina universitaria.

      Supongamos que tenemos las matrices anonimizadas de las respuestas a cada una de las preguntas del ejercicio de 225+10 preguntas y la plantilla de respuestas. Se puede calcular la discriminación de cada pregunta y por tanto del examen (su media aritmética)

      Supongamos que hagamos lo mismo con el próximo ejercicio de examen de 175+10 si disponemos de su matriz de respuestas y de su plantilla. Simplemente sería cuestión de comparar las medias de ambos.

      ¿Ha publicado el ministerio esas matrices alguna vez?

      - No

      ¿Las publicará el año que viene, unas y otra, para poderlas comparar?

      - No lo sé.

      Por cierto, el ministerio publicó un estudio psicométrico sobre el examen de varias convocatorias en el año 1993 y desde entonces no lo ha publicado y desconozco si lo ha hecho o no para consumo interno.

      En la convocatoria 2012 publicó un breve análisis de las pruebas, incluso sobre los resultados por universidades. Posteriormente siguió haciéndolo hasta la convocatoria 2017 inclusive, dejándose de publicar en esa convocatoria la clasificación por universidades de los resultados por grupo fuerte, medio y débil. A fecha de hoy sigue sin publicar. Tampoco se ha publicado ninguno de los análisis correspondientes a la convocatoria pasada.

      Saludos

      Eliminar
    7. A aquellos que no les son de aplicación directa sus expedientes académicos, como tampoco la parte de procedentes de universidades españolas de planes de estudio de promociones anteriores, se les aplicará 5 sobre 10, ¿no?

      Le pongo dos escenarios a una pregunta cuya respuesta correcta es la n°4.

      1. El 25% puso la 1. El 25% puso la 2. El 25% puso la 3. El 25% puso la 4 (acertó).

      2. El 80% puso la 1. El 10% puso la 2. El 8% puso la 3. El 2% puso la 4 (acertó).

      ¿Sabría usted decir qué escenario es más discriminatorio?

      Eliminar
    8. 1.- A lo que pregunta en el primer párrafo.-

      Que yo sepa no se ha dicho nada sobre esa cuestión, así que habrá que esperar a lo que diga la convocatoria.

      2.- Sobre lo que pregunta sobre los escenarios.-

      Se dice que una pregunta tiene poder discriminativo si es capaz de distinguir (discriminar) entre los examinados que puntúan alto en el test y los que puntúan bajo.

      La discriminación se define como la correlación entre las puntuaciones de los examinados en una pregunta determinada y sus puntuaciones en el examen.

      Así pues una pregunta será tanto más discriminativa cuanto más se parezca su resultado para cada examinado al probable o esperado en función del resto respuestas dadas al resto de preguntas.

      Esto nos introduce al concepto de azar. Una pregunta será tanto más discriminativa cuanto menos % de azar se de en sus aciertos. Es decir, una pregunta será poco discriminativa, no tanto porque se acierte mucho o poco sino por el % de aciertos que sean azarosos, es decir, que se correspondan con aquellos que peor contestaron el resto.

      Si entramos a tratar de contestar a los dos escenarios planteados nos faltaría saber las respuestas del resto de preguntas de todos los examinados. Por ejemplo, el segundo escenario parece una pregunta muy difícil, la contestan bien muy pocos, pero imaginemos que esos pocos en su mayoría la contestan por azar, es decir, que son de los que contestaron mayoritariamente el resto de preguntas mal. Lo mismo serviría para el primer escenario en el % correspondiente de las acertadas.

      La dicriminación de una pregunta será tanto mayor cuanto sus contestaciones se correlacionen con lo esperado en función del conocimiento de los examinados medido en el resto de contestaciones.

      No hay una relación estricta entre la dificultad y la discriminación. La dificultad es una cuestión de proporción de aciertos respecto de las contestadas y la discriminación es una cuestión de correlación entre lo contestado como esperado o probable (en función del conocimiento demostrado en el resto de preguntas) y lo contestado realmente en esa pregunta.

      Cuando existe mucha correlación entre dificultad y discriminación se puede decir, en general, que la pregunta puede no estar bien construida, sea por falta de claridad en su texto, sea por la poca calidad del equilibrio entre las respuesta correcta y el resto de distractores.

      Resumen.- Una pregunta será tanto más discriminativa cuanto más capaz sea de predecir cómo contestarían los examinados a la misma en función de su nivel de conocimiento demostrado en la contestación del resto de preguntas.

      PD.- Para la formulación matemática de los índices de dificultad y de discriminación puedes verlas en una serie de artículos sobre el tema enlazados en el sidebar del blog.

      Eliminar
    9. Leeré el último, el 4. Muchas gracias!

      Eliminar
  4. Quizá sepan los datos, pero les interese más llevarse a bien con los promotores de esta decisión, que si no estoy mal informado, de leer en diarios médicos, son la Conferencia de Decanos (llevan años pidiéndolo) y qué casualidad, cambia el equipo directivo y se les concede este año... El poder es así, hoy por ti, mañana por mí, no?

    ResponderEliminar
  5. Interesantes sus escritos. He estado años en tribunales similares a éste; la solución técnica es muy sencilla y no me puedo creer que la desconozcan en el ministerio: hay que tipificar por facultades la nota de baremo y, una vez tipificada la nota de examen, obtener la media ponderada (las puntuaciones tipificadas si son operables matemáticamente) aplicando los coeficientes de ponderación de 9 (prueba) y 1 (expediente.
    Saludos
    Jesús Alberto García Riesco

    ResponderEliminar
  6. Estimado Jose María,
    ¿Alguna noticia si el baremo va a seguir como hasta ahora en el sentido del número de créditos? Con el baremo a ''base 4'' no contaba lo mismo una nota en una asignatura de 9 créditos como una nota en una asignatura de 3, ya que, se multiplicaba por el número de créditos y luego se dividía por el número de créditos totales.
    Muchas gracias,
    Un saludo

    ResponderEliminar
    Respuestas
    1. El sistema de baremación MIR de los méritos académicos desaparece y se sustituye por el expediente académico medio que certifique la facultad con un decimal tal cual.

      Esa interpretación se desprende de lo publicado en prensa. Que habrá que esperar a la convocatoria para ver como se concreta para los que no sean recién egresados españoles de otros planes de estudio y para los certificados académicos de universidades extranjeras.

      Eliminar
  7. Hola jose Maria
    He intentado buscar en la convocatoria cual sería el sistema empleado en cuanto a decimales para el baremo. En mi caso tengo 7'925 pero no se si el segundo decimal se ha redondeado o no y me han puesto 7'92 que piensas al respecto?

    ResponderEliminar
    Respuestas
    1. En las pruebas de acceso a la formación sanitaria especializada los decimales se truncan, no se redondean.

      Eliminar