martes, 7 de enero de 2014

MIDIENDO LA DIFICULTAD DEL EXAMEN


Nota.- Podemos determinar la dificultad del examen de diversas formas, en la tabla de la entrada se expresa una las posibles y discutibles.   

Para tratar de medirla primero he desagregado los subconjuntos de españoles y extranjeros y he ordenado las convocatorias por la mediana de netas del subconjunto españoles, que considero que es más estable demográficamente y de procedencia de formación. El resultado está expresado, de más difícil a menos, en la columna de color amarillo.  

Para gustos los colores xD

Adenda.- Añado la tabla con los resultados del examen ponderados a 225 preguntas, ello ha sido motivado por la pregunta realizada en el primer comentario de la entrada.


Si observamos la columna amarilla, que ordena de menos a más la mediana del resultado de respuestas netas del examen en el subconjunto de españoles, podemos pensar que expresa el orden de la dificultad percibida del examen por ese subconjunto como medida central del resultado del examen. Sería una forma de verlo sin atender a otras razones que nos llevarían al discurso.

Pero podemos cavilar sobre el tema y tener en cuenta alguna de esas otras razones. Por ejemplo, el comportamiento de quien determina las preguntas del examen, es decir si se plantea un examen de igual dificultad todos los años, caso de que sea posible determinarlo así, y luego sale como sale. Si influye el comportamiento de los preparadores, caso de que fuera cada año mejor, y por fin el comportamiento durante la preparación de los preparandos, que supuestamente cada vez se preparen mejor, al menos la mitad de ellos aproximadamente. No menciono la evolución de los baremos académicos porque parece un comportamiento mucho más estable según expresa la tabla.

Me quedo con la duda de si la dificultad percibida del examen por los examinados, dada su variabilidad, depende básicamente de la voluntad, y sobre todo del acierto, de quien lo determina. He incluido en una columna el número de recién egresados españoles para calcular por diferencia los que no lo son, al menos supuestamente, ya que aunque no sabemos si se presentan todos supongo que sí la mayoría. 

Justo pienso en estas cosas ahora, a punto de salir las listas definitivas de admitidos, y por tanto de saberse las Mesas de examen y los llamados a cada una de las mismas.

Imagino, simplemente imagino, que seguramente el examen ya está decidido, y supongo que se editará después de saber las Mesas con los llamados a examen a cada una de ellas, requisito imprescindible para editar, empaquetar y precintar las cajas con las diferentes versiones de los cuadernillos en función de los llamados a cada Mesa. De esa forma se podrían editar los cuadernillos, empaquetar en cajas y precintarlas de forma automática y mecánica, sin que ni un solo humano tuviera acceso a los mismos durante el proceso, para ser transportados y custodiados hasta ser llevados a cada Mesa el día del examen.

A la postre nadie tendría porqué tener acceso al examen, salvo una sola persona que lo repase antes de ser editado, porque todo, incluso la elección de las preguntas se podría mecanizar en varias fases hasta su resultado final. ¿Acáso ya se hace así?

18 comentarios:

  1. Anónimo8/1/14 0:11

    José María tengo una curiosidad sobre la tabla.
    En los exámenes previos a que hubiesen imágenes, ¿la P50 de netas que has publicado es sobre 250 preguntas, o lo has ponderado como si el examen hubiera sido de 225 preguntas?

    Muchas gracias.
    Un saludo.

    ResponderEliminar
    Respuestas
    1. Los datos son tal cual, con exámenes de 250 hasta la convocatoria de 2008/2009 inclusive, y a partir de esa con exámenes de 225

      Lo cual parecería que deja la tabla "inutilizada" a efectos de ordenamiento de la dificultad pero ello dará aún más valor para clasificar como los más fáciles de los doce años a las dos convocatorias pasadas.

      Si ponderas el resultado te darás cuenta que es curioso que los dos exámenes siguientes a incluir imágenes y reducir las preguntas a 225 sean los más difíciles de los últimos siete años, por resultado de medidas centrales obviamente, y los dos siguientes que son los dos últimos, sean por resultado los más fáciles de los últimos doce años.

      ¿Quiere eso decir algo?

      Gracias por contribuir a resaltarlo xD

      Eliminar
    2. Posteriormente a contestarte he subido la tabla con las netas ponderadas como si los exámenes hubieran sido de 225 preguntas, además he añadido la columna con el número de recién egresados y he hallado la diferencia.

      También he escrito un texto debajo de la tabla con algunas reflexiones.

      Eliminar
    3. Anónimo8/1/14 23:33

      La razón de mi pregunta era exactamente esa, que a mi parecer los dos últimos años han sido más "fáciles" (si al MIR se le puede considerar fácil...), sobre todo en comparación con 2009 y 2010.

      Muchas gracias por la otra tabla!!!

      Eliminar
  2. Anónimo8/1/14 10:22

    Hola gangas,

    Primero que nada felicitarte por la enorme ayuda que nos das, una gozada leerte.

    Te quería preguntar algo, soy español recién egresado, y tengo un baremo de 1,45 (bastante por debajo de la media). En cuanto a netas, aproximadamente, ¿cuantas tendría de desventaja por este hecho? Yo calculo que no serían más de 5 netas, pero lo hago a ojo y sin conocimiento de causa jejeje

    Muchas gracias por todo de antemano, toda ayuda es agradecida.

    Saludos!

    ResponderEliminar
    Respuestas
    1. Piensa en una equivalencia aproximada de 0,50 netas nada más por décima de baremo. Cuando el baremo ponderaba el 25% esa equivalencia era de 1,50 netas por décima aproximadamente.

      Eliminar
    2. Seguro? En las academias al poner los objetivos hay diferencias de 1 neta por decima de expediente, ejemplo: para hacer pediatria en santander a alguien con un 1'45 de baremo le hacen falta 145 netas y a alguien con un 2'5 le hacen falta 135

      Eliminar
    3. Seguro? En las academias al poner los objetivos nos dan a una neta por cada decima, ejemplo: hacer pediatria en santander le costaria 145 netas a alguien con un baremo de 1'45 y 135 a alguien con un baremo de 2'5, y lo mismo con los numeros de orden, hay 100 puestos de diferencia por cada decima

      Eliminar
    4. No te confundas, no se elige por netas sino por nº de orden, la distribución de resultados del examen tiene una densidad diferente según intervalos de netas, es decir su distribución no es simétrica, sin embargo la distribución de nº de orden es simétrica, ahí está la diferencia, los nº de orden van de uno en uno y la distancia en netas de los resultados de cada uno no es igual, no tiene la misma pendiente, y menos aún según sea en un intervalo u otro de la distribución de notas.

      En el examen solo hay examen, y en el nº de orden hay examen más baremo, son dos distribuciones distintas.

      En cuanto a los datos que das los tendría que transformar a nº de orden, saber de que año estamos hablando, y después comprobar los nº de orden de Pediatría de Santander para darte una opinión sobre lo que dices.

      Eliminar
    5. El año pasado con 1,45 y 145 netas se obtenía el nº de orden 2100 y con 2,50 para obtener un nº 2100 hubieran hecho falta 139,33 netas, esas son las cuentas para el año pasado.

      En Santander se asignaron cinco plazas de Pediatría con los nº 1194-1501- 1895-2040-2062

      Eliminar
    6. Gracias! Me qedo mas tranquila, he metido en las estimaciones de mi academia el puesto 2100 con 1'45 de baremo y me ha salido 149 netas, y con 2'5 de baremo 134, dada mi posicion me alegro de q la distancia sea mas corta entre baremos! :)

      Eliminar
  3. Anónimo8/1/14 16:08

    Alguna predicción sobre la posible dificultad del exámen Gangas?

    ResponderEliminar
    Respuestas
    1. Vaya pregunta, no tengo ni idea xD

      Eliminar
    2. Anónimo8/1/14 22:27

      Pero Gangas, tienes las llaves para estimar la dificultad. De toda España eres la persona que más conocimiento tiene sobre las distribuciones de muchisimas variables en relación al MIR. Con tanta información reconoce que alguna vez se te ha pasado por la cabeza entender cómo y por qué la dificultad del examen cada año ha sido la que ha sido. Y de ahi viene la magia, en base a esos datos, ser capaz de predecir, con cierto intervalo de confianza, el futuro xD

      Eliminar
    3. Vamos a ver, una cosa es que tenga estudiadas, calculadas y dibujadas las distribuciones de cada MIR, y por tanto sepa el intervalo de dificultad máxima (85,00 netas en 2009/2010) y mínima (101,67 en 2012/2013) en el que se ha movido dicha dificultad en su mediana (17,67 netas) y otra muy distinta que sepa este año en qué punto entre esos extremos estará.

      Ese saber donde estará es como si quien ponga el examen hace un viaje en coche cada año entre Madrid (pongamos 85,00 netas máxima dificultad) y Zaragoza (pongamos 101,67 netas mínima dificultad) y yo pretenda saber donde parará a tomar un café este año y de ahí no pase en el viaje.

      ¿Qué es lo que pienso y quiero yo?

      Pienso y quiero que este año llegue hasta Zaragoza y se tome el café aquí conmigo, es decir el examen sea igual de fácil que el año pasado.

      Además tendría cierta lógica que quiera o quieran hacerlo así porque sería el modo, con un examen fácil, de que quedaran el menor número posible de plazas desiertas, pero aún quedarían menos si fuera igual de fácil que el año pasado para la mayoría e igual de difícil que el 2010/2011 para los primeros, así teníamos una cola alta y una cabeza baja, ya que la nota de corte se calcula con la media de los diez mejores exámenes.

      Pero hay un pero, que ya está contemplado en el texto de la entrada, y es que hay que ser un figura para conseguir controlar eso poniendo un examen.

      ¿Se puede intentar?



      ¿Se puede conseguir?

      Eso ya no depende solo del figura que ponga el examen, sino que depende también de los figuras que se presenten al mismo, y en el momento que hay más de un figura en juego no se puede saber con precisión por donde puede salir cada uno, una cosa es acertar en la mediana, se puede aproximar el que lo pone, y otra cosa es acertar en la media de los diez mejores, lo puede intentar pero no depende solo de su intento sino de la respuesta de esos diez elegidos que ni ellos saben quienes van a ser ni lo que van a sacar.

      La media de los diez mejores exámenes en los últimos cuatro años, ha oscilado entre 183,00 netas que es la máxima dificultad percibida por los diez mejores en 2010/2011 y 193,67 netas que es la mínima en 2012/2013, lo que para una nota de corte del 35% suponen un corte mínimo para obtener nº de orden de 64,00 netas y uno máximo de 67,67 netas.

      Entre esas netas puede estar el corte y eso puede suponer, según sea la dificultad del examen, entre 6700 y 7300 que obtengan nº de orden este año reproduciendo la dificultad de esas dos convocatorias.

      Pero, ¿y si se tiene la tentación de conseguir una combinación de ambas, que pueda conseguir una nota de corte lo más baja posible por arriba y por abajo, y de esa manera consigo que en lugar de obtener nº de orden 7300 sean 7500?

      Para conseguir eso se requieren dos cosas, primero saberlo y quererlo, y segundo conseguirlo, y creo que es más fácil lo primero que lo segundo, lo primero solo depende de uno, lo segundo depende de muchos.

      Esas son las razones por las que he dicho que no tenía ni idea de como terminará la cosa, conozco el recorrido del coche de la dificultad pero no sé donde se parará a tomar café este año, si en Madrid, Guadalajara, Medinaceli, Ariza, Calatayud, La Almunia de Doña Godina, o Zaragoza... incluso se puede pasar de Zaragoza y se para en medio de los Monegros.

      ¡Vete tú a saber el lugar donde lo hará!

      Eliminar
  4. Anónimo9/1/14 18:33

    Eres genial!!

    ResponderEliminar
  5. Hola !!! ¿Se sabe cuántos admitidos hay definitivamente?

    ResponderEliminar
    Respuestas
    1. No, pero piensa en 11700 aproximadamente.

      Eliminar