lunes, 17 de agosto de 2015

El cambio de 5 a 4 y los resultados de los simulacros...

... 

si no estoy equivocado ya se habrán hecho uno o dos simulacros de cuatro opciones de respuesta en lugar de cinco, según academias...

Si quieres comunicar resultados, opinar si han subido o no los netas respecto del año pasado, o respecto de simulacros anteriores por encima de lo esperado, esta es tu ocasión...

Especialmente cuantas preguntas se están dejando sin contestar respecto de simulacros anteriores con cinco opciones de respuesta, y/o respecto de años anteriores... porque aquí está la madre del cordero del cambio propuesto para el próximo examen y comunicado en Nota de Prensa...

Puedes ver las entradas del blog dedicadas al tema, aquí...

1.- ¿Está siendo conforme a lo previsto o andaba confundido?...

Lo dicho, aquí puedes dejar tus comentarios sobre el tema...

¡Ah!... me dejaba la cuestión de la nueva plantilla, la del borrón o cruz, que todavía no se sabe, en lugar de escribir la respuesta con número...

2.- ¿Muchos errores o ya os habéis acostumbrado a transcribir las respuestas?...

Y sobre el tiempo de duración... 

3.- ¿Se nota una disminución efectiva o ni fu ni fa?...

Si te sobra tiempo para terminar el simulacro con la reducción de cinco opciones a cuatro, y repasas... 

4.- ¿Los supuestos errores corregidos se convierten en aciertos o no?...

19 comentarios:

  1. Son muy pocos simulacros pero parece que: sube la media nacional, se mantiene la relación netas-percentil en percentiles>95, y el tiempo se nota mucho para los que íbamos justos (>20 min de sobra frente a casi nada antes). También parece que la gente deja en blanco bastantes menos. Un saludo

    ResponderEliminar
  2. 1. Tedioso el "pintado" de los cuadros y con tendencia a fallar a la hora de transcribir a la hoja de respuestas.

    2. Ganancia de +/- 10 min de tiempo.

    3. +/- 10 netas personalmente (y en general creo yo).

    Por lo demás todo igual.

    ResponderEliminar
  3. Si coincido contigo en el último punto, a mi me da tiempo a acabar los simulacros contestando casi todas y antes iba justo de tiempo. Con respecto a la subida de netas yo no he notado gran diferencia en mis resultados.

    ResponderEliminar
  4. D. Jose María, ¿discriminará menos el examen con este cambio? Me preocupa que la mediana siga subiendo. Si el examen es fácil, como el del año pasado, podría ser que al final acabemos la mayoría concentrados en un intervalo de netas muy estrecho. De esta forma, 1 neta menos podría suponer un despeño de miles de puestos. Si al final ocurriese algo parecido, el examen fracasaría en su propósito de ordenar a los aspirantes por conocimientos, ya que 1 neta de diferencia no debería justificar diferencias tan abismales. Y es que 1 neta menos puede deberse a un despiste. Además, si nos apelotonamos mucho ¿no sube el peso relativo del expediente? Realmente no creo que sean necesarios tantos cambios, antes el examen parecía funcionar muy bien.

    ResponderEliminar
    Respuestas
    1. Creo que acabas de resumir la "falacia del MIR" y uno de los propósitos de esta web.

      Saludos

      Eliminar
    2. A estas alturas no me imagino que el MSSSI salga en septiembre, cuando se publique la convocatoria, cambiando el valor de las respuestas aunque todo puede ser.

      Por lo tanto contestando a tu pregunta, si no cambia el valor de las respuestas, válidas (3) y erróneas (-1) lo que ocurrirá se va a ver en los simulacros de la preparación:

      1.- Disminución de las no contestadas y práctica desaparición de las respuestas netas negativas.

      2.- A igualdad de dificultad del examen, y dividiendo de forma imaginaria la distribución de resultados en cuatro partes, en la primera parte se subirá alrededor de una neta, en las dos segundas partes alrededor de dos netas, y en la última parte alrededor de tres netas.

      Por tanto la media y la mediana pueden subir, solo por esta medida alrededor de dos netas.

      Lo enumerado más arriba propiciará que haya menos afección en % por la nota de corte, aunque ya el año pasado disminuyó del 28 % al 22% por aumentar las preguntas fáciles sobre las regulares.

      Por lo tanto la medida de cambio de cinco a cuatro opciones de respuesta propiciará menos discriminación todavía dependiendo su resultado final de como ajuste la dificultad del examen el examinador, que podría terminar "tragándose" los efectos aumentando las preguntas regulares respecto de las fáciles y muy fáciles.

      Respecto de un mayor apelotonamiento del P80 al P50 dependerá no solo del nº de opciones de respuesta sino como digo también del grado de dificultad del examen, si fuera tan fácil como el año pasado cabría esperar algo parecido, pero entiendo que el examinador (MSSSI) se pondrá las pilas y controlará más y mejor el grado de dificultad para evitarlo, es decir, debería de poner un examen más difícil en general que el del año pasado, aumentando las preguntas regulares respecto de las fáciles, dejando las difíciles +/- igual o aumentándolas ligeramente.

      Efectivamente, a igualdad de los diez mejores baremos el factor de corrección del baremo multiplicado por el baremo de cada uno sirve para desempatar entre exámenes empatados por eso es clave si aumentan los empates en el examen discriminando entre los empates, esa es la cusa de que sea conveniente que el examen discrimine en sí mismo cuanto más mejor.

      De todas formas la pregunta clave para vosotros es, ¿qué puedo hacer yo ante esta tesitura?

      a) no la puedes controlar porque no depende de ti, y todo aquello que no puedes controlar no debe de quitarte ni un minuto de tiempo ni aumentar tu preocupación porque perjudica tu estado de ánimo y la actitud es clave durante la preparación y entrenamiento y durante el examen.

      b) solo debes de estar a aquello que puedes controlar que es tu preparación y entrenamiento y tu estabilidad emocional antes y durante el examen.

      Por lo tanto más y mejor actitud y más y mejor estabilidad emocional antes y durante el examen, priorizar, sintetizar y relacionar las materias que más se preguntan, priorizar la eficiencia del tiempo de preparación (más calidad que cantidad sin abandonar la última), priorizar el entrenamiento de resolución de preguntas de test, aumentar el nº de preguntas contestadas ya que no han dicho nada de que vayan a cambiar el valor de las válidas y erróneas, y descansar el tiempo programado.

      Al final cada palo aguantará su vela (su mochila, su preparación y entrenamiento, y sus circunstancias) y se llevarán el gato al agua los que más y mejor se preparen y entrenen, todo lo que podamos estudiar del examen (el examen del examen) será a posteriori y vosotros solo podéis actuar a priori para estar lo mejor posible el día del examen, por eso es a lo que debéis de dedicar el tiempo y el empeño.

      Eliminar
    3. No he podido medir cuanto de lo que subió el año pasado, la media y mediana, se debía al aumento de recién egresados, tal vez fuera alrededor de dos netas (fueron alrededor de 700 más), y este año son alrededor de 450 más que el año pasado y eso también influirá. También influyó en la subida de la media y mediana la disminución de extranjeros presentada, y por fin influyó la mayor facilidad del examen, especialmente el paquete de preguntas fáciles respecto de las regulares.

      Un examen más difícil este año puede "templar" la tendencia natural a subir por las razones expuestas reconduciendo la discriminación solo por el examen para templar el apelotonamiento "natural" de la distribución normal.

      Por otra parte la discriminación pedida al examen no solo debe de regular la cabeza de la distribución y el centro de la misma sino también y muy especialmente la segunda parte de la misma para evitar que en ella el el azar y el baremo terminen aumentando su peso relativo porque ahí es donde curiosamente termina produciéndose la afección de la nota de corte.

      Por lo tanto la discriminación debe de producirse a lo largo de toda la distribución en igualdad de condiciones, y muy especialmente en el espacio intercuartílico (P75-P25), y para conseguir eso es muy importante el equilibrio entre preguntas difíciles, preguntas regulares, y preguntas fáciles.

      Ese es el "arte" del examinador y del examen.

      Salvo mejor criterio.

      Eliminar
    4. Sobre el comentario Anónimo17/8/15 18:16

      Vaya por delante, salvo que haya entendido mal tu comentario, que no tengo un "juicio previo" sobre el MIR y menos aún que ese juicio previo determine que el MIR sea una "falacia" (es decir, un engaño)

      Toda medición, y el resultado del MIR lo es, contiene su medición verdadera y su medición errónea. Mi dedicación al MIR, si se puede llamar así, es tratar de medir ambas mediciones, precisamente para reducir en lo posible la parte errónea de esa medida.

      El resultado del examen MIR no tiene nada que ver con el resultado de los exámenes de los anteriores ciclos del sistema educativo porque es un examen en sí mismo normalizador, es decir, debe de discriminar tanto que por sí solo sea capaz de "ordenar" a lo examinados con el menor número posible de empates, de ahí que recurra para conseguirlo no solo a su cálculo con diezmilésimas sino que introduce en el resultado final de la prueba un % del baremo académico, también a la diezmilésima, que consigue reducir al máximo los empates de la puntuación total, de tal manera que sean efectivas las normas de desempate.

      Para que el propio examen sea lo más "normalizador" posible (que de notas diferentes) ha de tener la capacidad de discriminar el máximo posible, y eso solo se puede conseguir con un equilibrio entre las preguntas muy difíciles, difíciles, regulares, fáciles y muy fáciles, tendiendo a un % de cada subconjunto del grado de dificultad que represente en sí mismo la distribución de resultados.

      Resumiendo, la medición de los resultados del constructo del examen MIR no se consigue solo "queriendo" medirlos sino afinando o "calibrando" los contenidos del instrumento de medida al máximo. Esos contenidos, preguntas o items, han de ser calibrados previamente y ese es el "arte y parte" del examinador.

      Arte y parte porque el examen no lo puede testar antes de que llegue a los examinados, y esa es la causa de que se repitan alrededor de la mitad de conceptos quedando la otra mitad al arte y parte del mismo, es decir, a la calibración de su dificultad para los examinados.

      En trece de los últimos catorce año el examen ha conseguido una fiabilidad del 97 % o del 0,97 y de 0,96 en el otro que resta. No es mal resultado precisamente, pero conviene que al menos se mantenga.

      Eliminar
    5. ... sigo...

      Si el MIR no fuera una prueba de ordenación o normalización para elegir plaza el interesado, sino una prueba de acreditación simplemente porque al interesado "lo eligieran" en alguno de los centros que "el eligiera" previamente, el examen podría ser de otra naturaleza y las calificaciones no necesitarían "medir" a la diezmilésima.

      Entender esa diferencia es clave para poder entender el MIR y lo "injusto" o "justo" del MIR, o dicho de otro modo la "falacia" o "no falacia" del MIR.

      El MIR no es un engaño (falacia) sino una prueba con normas y criterios de ordenación o normalización ("normalizar" es ordenar en una campana que tiende a la "normalidad" gaussiana, también conocida como distribución normal o simétrica, justo como lo es una distribución de nº de orden), exclusivamente para "elegir plaza el interesado" porque son los centros de formación los que la gestionan a través del MSSSI para evitarse la "murga" de una segunda elección a través de un comité de selección dentro de cada centro.

      Esa es la diferencia sustancial del MIR español respecto de otras pruebas de acreditación previa para que sean los centros de formación los que elijan a los aspirantes, después de ser acreditados simplemente y previamente por un órgano externo o agencia.

      Lo que aquí vemos como normal, el que elija el aspirante el centro de formación, en otros países y/o culturas les resulta extraño.

      Por eso el MIR es una prueba a la medida de esa característica.

      Es lógico resistirse a pensar que hay una diferencia de "conocimiento" entre una neta arriba o abajo, pero esa es la "servidumbre" y la "grandeza" del MIR, si tu elijes te tengo que ordenar de tal manera que consiga eliminar, en la práctica, los empates entre más de 12.000 presentados.

      Eso se puede interpretar como una "falacia" o como un "arte", a gusto del consumidor.

      Eliminar
    6. Por último intentaré una precisión, sobre la aleatoriedad del examen:

      El error aleatorio es aquel debido a la suerte del examinado, y es distinto del error sitemático.

      El error sistemático se puede reducir a magnitudes digeribles con la calibración adecuada del instrumento de medida.

      Así en una investigación, el error aleatorio vendría determinado por el hecho de tomar solo una muestra de una población para realizar inferencias.

      Las errores aleatorios, debidos a la suerte, los hay numerosos y pequeños pero su acumulación hace que las medidas fluctúen alrededor de una media. Sin embargo los hay de mayor magnitud pero en menor cantidad, son los "pinchazos" en el MIR o los "puntazos o remontadas", ambos menos probables pero posibles.

      El error aleatorio, se puede disminuir tanto más cuantas más veces se repita el examen, un examen de la misma naturaleza y distinto obviamente, calculando el resultado final por la media aritmética de los resultados.

      Así si lo repetimos si hacemos dos exámenes en dos días seguidos, reducimos la aleatoriedad en un 50 % en la mayoría de los casos. Si hacemos tres exámenes en tres días seguidos, reducimos la aleatoriedad el 75 %, y si lo hacemos en cuatro días seguidos, reducimos la aleatoriedad en prácticamente el 100 %. No sería así de radical pero sirva como ejemplo.

      De esa forma lograríamos "aislar" el error sistemático del error aleatorio.

      Cuanto más reduzcamos los errores, aleatorios y sistemáticos, más nos acercaremos a la puntuación verdadera del examen.

      Entre el objetivo de la perfección, imposible no solo por su coste sino por la disposición de todos, y lo posible, la situación actual, debería de buscarse un posición de consenso, tal vez dos ejercicios en dos días seguidos, siendo el resultado del examen la media de los dos ejercicios.

      La alternativa a los dos ejercicios sería investigar a posteriori de este año los resultados del examen para encontrar el valor adecuado de la respuesta válida y errónea para no primar el contestar todas las preguntas y reducir la aleatoriedad del resultado con el nuevo paradigma de cuatro opciones en lugar de cinco.

      Eliminar
  5. En CTO apenas llevamos 2 simulacros con 4 opciones (este sábado realizaremos el tercero) y de momento es difícil determinar, a mi parecer, si la subida en puntos se debe a la eliminación de un distractor o a que la preparación comienza a tener efecto.

    Lo que sí parece claro es que se ahorra tiempo (20 minutos en mi caso) y que pasar la plantilla es un poco más complejo y da más pie a errores. Estos dos aspectos se irán puliendo con el entrenamiento supongo.

    Además, CTO se ha tomado la licencia para "ponderar" los resultados en los simulacros y estimar el número de orden que hubiesen tenido los alumnos en el MIR anterior si este hubiese sido también con 4 opciones.

    En mi caso, con 139,67 netas en el último simulacro y un baremo de 1, la academia estima un puesto 3105. ¿Que opina de esta estimación? ¿Optimista? ¿Pesimista?

    Un saludo :)

    ResponderEliminar
    Respuestas
    1. Si tomas la calculadora GangasMIR 2014 (año pasado) la diferencia es de 1 neta (138,67) nada más, tal vez debieran de ser 2 pero esa diferencia carece de importancia.

      Lo importante es saber que esa es una referencia respecto del año pasado.

      Pero están por ver dos variables respecto del año pasado, los presentados al examen y el grado de dificultad del examen, y cualquiera de ellas si es significativa se llevará por delante esa diferencia.

      Por lo tanto como referencia sirve, porque la salvedad del contenido del párrafo anterior no la sabe nadie ahora mismo, ni el grado de dificultad del examen ni el nº de presentados al examen.

      Un examen más difícil requiere menos netas para el mismo nº de orden a igualdad de presentados y al revés, y cuantos más se presenten peor nº de orden a igualdad del grado de dificultad y al revés.

      Eliminar
  6. En lo personal me fue terrible con el cambio de la hoja de respuesta, demore muchísimo y me equivoque en varias oportunidades, lo que me género mayor retraso en la culminación del simulacro. Hubo 27 preguntes que no tuve oportunidad de ni siquiera leer. Baje casi 20 netas que en otros simulacros. Esperó que el practicar simulacros me ayude a llenar la hoja de respuesta en forma más rápida y precisa y me permita revisar la totalidad de las preguntas y así puntear en base a mis conocimientos.

    ResponderEliminar
  7. Es posible que el resultado general pueda subir por azar, en mi caso he hecho dos simulacros así, en uno baje bastante y en otro subí contestando todas las preguntas.
    Lo que si es cierto es que no he notado ningún cambio en la extensión del examen, menos preguntas pero muy largas... Y con el añadido de tener que rellenar cuidadosamente la hoja de respuestas, al final tardo lo mismo o incluso más que antes.

    ResponderEliminar
  8. 1.- Apenas llevamos 2 simulacros (algunos 3) en mi academia. En mi caso he aumentado muchas netas.

    2.- ¿Muchos errores o ya os habéis acostumbrado a transcribir las respuestas? Cometo al menos 5 errores a la hora de transcribir, supongo que ahora más que nunca existe el valor de los simulacros para practicar este aspecto.

    3.- ¿Se nota una disminución efectiva o ni fu ni fa?...
    Es mi segunda vez en el MIR y no se si sea por la pericia adquirida o la disminución de opciones, pero me rinde más el tiempo (uso 4 horas y antes iba justa); pero, al ser tan tediosa la plantilla modelo, se compensa el tiempo, ya que cuando antes pasaba un bloque de 50 preguntas en 1 minuto ahora duro 5; es decir, 20 minutos (al menos) al pasar todas las preguntas.

    4.- ¿Los supuestos errores corregidos se convierten en aciertos o no?
    Favorece a cometer muchos errores esta plantilla, en mi caso, casi todos convertidos a respuesta errónea estando bien respondidas :(
    ¡A practicar!

    ResponderEliminar
  9. Creo que queda claro que hay una ganancia de tiempo con el tipo test de 4 opciones, no queda tan claro si habrá una subida de netas significativa a nivel general (tiene pinta de que si)
    Espero que el ministerio haya analizado estas consecuencias y el dia del MIR haya más preguntas vinculadas a imágenes y mas preguntas tipo caso clínico para hacer perder tiempo, porque la mayoría de la gente se está preparando en las academias y si nos plantan un examen tipo el de este año la gente sacará muy buenas notas y estaremos todos apelotonados y pesará mucho más el expediente y la suerte a la hora de ordenar. Gracias Jose Maria por todo tu trabajo.

    ResponderEliminar