lunes, 29 de enero de 2018

Las 394 últimas plazas adjudicadas el año pasado...


Si quieres tener la referencia de las respuestas netas que fueron necesarias para elegirlas con tu baremo académico el año pasado, e incluso los años anteriores, puedes recurrir a la Calculadora GangasMIR®

Deberás introducir tu baremo académico y el nº de orden con el que se eligió la plaza y la calculadora te dará la respuesta. Has de tener en cuenta que el año pasado fue la convocatoria 2016 y ese es el año con el que se identifica la prueba y no el del examen. Tal y como hace el MSSSI.

Verás que cada convocatoria es un mundo. ¿De qué depende eso?

Eso depende de muchas variables, pero básicamente de dos. Del número de presentados y del grado de dificultad del examen. En la convocatoria actual podemos adelantar que el número de presentados girará alrededor de 13.200 pero del grado de dificultad del examen nadie sabe nada. 

El índice de dificultad del examen es, según el consenso de la literatura, una proporción del número de preguntas acertadas, corregido o no el azar, y en el caso del ejercicio que nos ocupa se podría tener en cuenta la penalización de las respuestas erróneas o falladas.

Por lo tanto el examinador so sabrá hasta después del examen si las cosas han ido a favor del aire que haya pretendido o no. 

Si la dificultad, según el consenso de la literatura, es una proporción de las preguntas acertadas entonces estamos a que en ese parámetro intervendrá el conocimiento de los examinados y por tanto el parámetro dificultad no sería un valor absoluto en sí mismo y previo al examen, sino relativo y posterior.

Lógicamente para aceptar la proposición de la literatura, y por tanto dejar a la métrica que calcule el parámetro objetivable, las preguntas tendrían que estar carentes de trucos y su redacción, el qué y el cómo se pregunta, debería de ser clara, concisa y comprensible, circunscribiendo la calidad de la misma a la diferencia entre la respuesta válida y el resto de distractores.

Cualquiera que redacta una pregunta ha pensado en la misma y en su respuesta. Pero ahí no queda todo, falta lo más importante, su redacción y la búsqueda y redacción de los distractores.

Ahí está el meollo de la cuestión. El qué se pregunta, el cómo se pregunta, y el cuánto mide la pregunta aquello que se pretende medir. Las dos primeras las ha de evaluar el juicio pericial, y su propuesta de anulación suele cantar como una perdigana después del debate existente entre los miles de examinados. La tercera es propia de la disciplina métrica al uso, la Psicometría. 

Para poder realizar la evaluación métrica del examen se requiere hacer la evaluación de todas y cada una de sus preguntas en sus diferentes parámetros y establecer un gradiente con los mismos. El consenso de la literatura sobre uno de ellos, el parámetro discriminación, es que todas aquellas preguntas que tengan un índice de discriminación negativo, cualquiera que sea la metodología empleada para su cálculo, han de ser susceptibles de anulación. El que sea negativo significa que las responden en mayor proporción aquellos que menos saben.

Si nos detenemos en la última frase estamos, al igual que en la dificultad, en que su cálculo habrá de hacerse a posteriori.

La discriminación no es una proporción sino una correlación. Así la discriminación de una pregunta sería la capacidad que tendría de distinguir entre los examinados que obtienen puntuaciones altas y bajas en el ejercicio de examen. De tal manera que una pregunta será discriminativa si los que la aciertan son mayoritariamente los que obtienen las puntuaciones más altas en el ejercicio.

No cuesta mucho darse cuenta que la consecuencia de eso, la igual que en el parámetro dificultad, será la obtención de un gradiente en los resultados de los cálculos de las 235 preguntas, y ordenados de menos a más tendremos fácilmente ante la vista aquellas preguntas el índice o los índices de discriminación negativos. Esas, como mínimo, serían candidatas a ser anuladas porque las habrían contestado en mayor proporción los que menos saben, es decir, los que menos preguntas han acertado respecto de los que más. Aquí está otra vez la cuestión del conocimiento, es decir, medimos respecto de algo, y ese algo siempre es el conocimiento demostrado a través de las respuesta dada a cada una de las preguntas.

Un ejercicio de examen tipo test de respuesta múltiple con penalización... ¿qué trata de medir para ordenar?... el conocimiento, el rasgo latente de ese conocimiento en el momento del examen. No el que adquirirás más adelante, ni siquiera el que adquiriste en su día.

El procedimiento establece que la prueba será de libre concurrencia, nacional y anual, a celebrar el mismo día y hora, en papel. La prueba es selectiva para ordenar con normas de valoración y de modulación para todos y específicas posteriores al examen para ordenar la demanda nacional e internacional. Por tanto el instrumento de medida trata de manifestar el conocimiento que el examinado es capaz de expresar en cada pregunta el día del examen. 

Después de leer la pregunta, tratar de comprender lo que se pregunta, el examinado elige dudando, más o menos, pero dudando. El instrumento de medida trata de medir el rasgo latente de ese conocimiento a través de 235 preguntas en 5 horas. El ojo clínico, corregido el azar, de quien responde con incertidumbre una media de una pregunta por minuto.

Las normas de valoración de las preguntas, aciertos*3 y fallos*-1, tratan de conseguir separar el resultado del ejercicio a la diezmilésima como mínimo, precisamente como referencia al número de presentados que en sus inicios superaba los 10.000. De los posibles empates se encargan las normas de desempate y la entrada en acción de las normas de valoración del baremo académico. 

Lo que he hecho, y hago, con estas reflexiones es intentar explicarme primero, y explicar después a los interesados, el procedimiento y el proceso.

Todo tu esfuerzo, absolutamente todo, se expresa en la prueba en números. 

Mi dedicación ha sido tratar de desentrañarlos primero y comprenderlos después. En el camino a base de fluir, ellos y yo, hemos confluido.  









PD.- Para ver con mayor claridad el tablón haz clik con el botón izquierdo encima del mismo, una vez se ha hecho más grande pon el ratón encima y aprieta el botón derecho del ratón. En el cuadro de diálogo que te sale haz clik en el que dice Abrir imagen en una pestaña nueva. Una vez se ha abierto una pestaña nueva en la parte superior, ábrela y pon el ratón encima. Te saldrá el signo (+) que significa lupa para aumentar el tamaño del tablón, haz clik con el botón izquierdo y tendrás mucho más legible el contenido del mismo.

2 comentarios:

  1. Hola D. José María. Quería preguntarle, dado que ya ha hecho publicaciones respecto a la psicometría y la capacidad de discriminación de las preguntas del MIR ¿Existe alguna referencia sobre la tendencia de cómo están redactadas las preguntas? Quiero decir ¿se ha estudiado cuántas preguntas en una determinada convocatoria se pueden contestar con "trucos" de técnica de examen y hacia donde tiende ese número de preguntas en los últimos años?

    Me sería de gran utilidad si tiene una respuesta a esta cuestión, dada la dicotómica que tienen algunas preguntas sobre si responder la opción que crees por intuición médica o responder la que parece que tiene algún "truco" en su redacción

    Muchas gracias.

    ResponderEliminar
    Respuestas
    1. Bien, aprovechemos la pregunta para decir lo siguiente:

      1.- El examen del examen trata de valorar, de cada pregunta, tres cualidades de la misma, la primera es sobre el qué se pregunta, la segunda es sobre el cómo se pregunta, y la tercera es sobre cuánto mide lo que se pretende medir.

      2.- La psicometría se ocupa de medir la tercera cualidad, para ello se fija esencialmente en dos parámetros de la misma, la dificultad y la discriminación.

      3.- Lo que denominas "trucos" afectaría sobre todo a la segunda cualidad, y su propuesta de anulación sería prioritaria, junto con la primera, antes de entrar a evaluar los parámetros dificultad y discriminación mediante el análisis psicométrico.

      Es decir, un examen de esta naturaleza no debería de admitir preguntas que puedan ser contestadas mediante "trucos". Del juicio sobre el qué se pregunta, y si está o no dentro de lo que se debe de preguntar, y del juicio sobre el cómo se pregunta (aquí se encontrarían la mayoría de "trucos"), se debería de ocupar, previamente al estudio psicométrico, el juicio médico pericial y señalar cuáles de las preguntas pasan o no el examen en cuanto al qué y al cómo se pregunta para evitar las preguntas con “truco”.

      La psicometría, los parámetros dificultad y discriminación, entraría a evaluar después, incluidas todas las preguntas , y señalaría en un gradiente de menos a más los valores de dichos parámetros las 235 preguntas. El conjunto de la evaluación daría lugar al Informe propuesta de preguntas anulables para ponerlo a disposición de la Comisión Calificadora.

      En cuanto al parámetro discriminación, no deberían de admitirse preguntas con un valor del negativo del mismo, porque ello indica que la probabilidad de acertar dichas preguntas se pone de favor de aquellos que contestan menos preguntas correctamente en el conjunto del examen respecto de los que más preguntas contestan correctamente. Lo que va contra natura. De este tipo de preguntas no debería de quedar ni una en la plantilla definitiva.

      De lo expuesto se deduce que deberían de hacerse tres evaluaciones previas a la emisión de la plantilla definitiva.

      a) La primera sobre si todas las preguntas pasan la prueba sobre el qué se pregunta, es decir, sobre si su contenido es o no apropiado para la prueba MIR.

      b) La segunda sobre si todas las preguntas pasan la prueba sobre el cómo se pregunta lo que se quiere preguntar, es decir, sobre su redacción, no solo de la pregunta sino también de las respuestas.

      c) La tercera sería el análisis psicométrico de todas las preguntas, especialmente sobre el parámetro discriminación y si es negativo o no.

      En el caso de que el conjunto de las preguntas anulables no llegasen a igualar a las de reserva, y en el supuesto de que las mismas tuviesen mejor valor discriminativo, se deberían de anular como mínimo, por el parámetro discriminación, hasta completar todas las de reserva. ¿Por qué?

      Porque la discriminación del examen es el promedio de la discriminación de sus preguntas, y por lo tanto la discriminación del examen aumentaría cuantas más preguntas se anularan por ese parámetro aunque su valor no fuera negativo, de ahí que convenga, como mínimo, anular en el conjunto total de la preguntas (sobre el qué, sobre el cómo, y sobre el cuánto) el mismo número de preguntas que las de reserva siempre que sean mejores que los anuladas.

      Ya no digo nada si las normas del examen se modificaran y en lugar de hablar de preguntas de reserva hablara de calidad de las mismas respecto de las tres cualidades a evaluar y de las 235 preguntas se quedara como escala de puntuación máxima teórica con las 200 mejores preguntas.

      Sea dicho salvo mejor criterio.

      Eliminar