martes, 4 de junio de 2013

¿POR QUÉ UN EXAMEN TIPO TEST?


Entrada editada el 03/03/2013.-

En la gráfica podemos observar tres distribuciones de los resultados de tres exámenes de una misma oposición en tres años diferentes. El editor del blog fue miembro del tribunal de las dos últimas.

Las dos primeras, a la izquierda, son las distribuciones de notas de dos exámenes escritos de desarrollo de un tema, y resultado de la distribución de notas por la calificación del tribunal, escuchando de viva voz la lectura del ejercicio por parte del opositor.

La tercera, a la derecha del observador, es el resultado de la distribución de notas de la corrección de un ejercicio de formato tipo test y corregido con plantilla, tal y como se hace en el MIR aunque pertenezca a otra prueba.

El contenido de los dos ejercicios primeros era un tema elegido previamente por el tribunal mediante deliberación, y el ejercicio de la gráfica derecha era tipo test de respuesta múltiple, y contenía preguntas de todo el temario de manera proporcional en cuanto a temas y en cuanto diferentes grados de dificultad de las preguntas, y las preguntas fueron elegidas aleatoriamente previa caracterización de tema y dificultad.

A veces uno se queda atónito escuchando determinadas opiniones sobre los exámenes y no le queda otra posibilidad que acudir a las matemáticas, por aquello de no apurar el discurso dialéctico.

En las dos primeras gráficas existía nota de corte previa al examen. Las gráficas nos dicen que el tribunal fue benevolente con aquellos que estaban cerca del aprobado y terminó aprobándolos, ya que la columna más alta es la moda de la prueba y nos lo indica así, separando los que superaron la prueba, a la derecha, de los que no la superaron, a la izquierda. Las dos gráficas de la izquierda dejan poco margen para la discusión de si hubo o no sesgo humano en la corrección. 

Así pues, previo informe técnico y propuesta razonada, se procedió a cambiar el formato de selección el año siguiente, y se estableció un ejercicio tipo test, antes de pasar al siguiente ejercicio de la prueba, para que cumpliera el papel de discriminar de forma objetiva y previa al resto de ejercicios.

El resultado de la distribución  fue la gráfica de la derecha en la imagen superior, una prueba de respuestas múltiples corregida con plantilla. Una distribución cuasi normal, discriminatoria de cabeza y cola, sin sesgo humano de corrección.

En esa misma distribución se pudo establecer la nota de corte mediante una decisión de criterio cualitativo, en cuanto al resultado y lo que significaba de preparación de todo el temario frente a un solo tema de los años anteriores, y además también frente a las decisiones subjetivas de los miembros del tribunal. 

La decisión de la nota de corte en el ejercicio tipo test estuvo avalada por un criterio matemático en función de la pendiente de la distribución sin que hubiera sesgo humano en su decisión, dando a elegir al tribunal entre cinco puntos de corte para decidir uno de ellos previa deliberación:

  
A la vista de todas las gráficas se puede deducir lo que persigue un ejercicio de respuestas múltiples, que no es otra cosa que discriminar entre los que más y menos respuestas netas tengan en el ejercicio propuesto en ese momento y corregido mediante una plantilla, sin decisiones cualitativas o subjetivas de los miembros de un tribunal. 

El MIR es hoy por hoy la prueba que mejor garantiza esa objetividad y su santa santorum de la subjetividad queda reducido a la persona o personas que deciden el examen, cuyo resultado puede ser sometido, a posteriori, a los cálculos necesarios para saber sus índices de fiabilidad, dificultad y discriminación. 

Quedando reducida, la discusión dialéctica del juicio médico, al ámbito de su validez, es decir, de lo cualitativo de la prueba, ¿porqué?, ¿para qué?, ¿qué pregunto? y ¿cómo?. 

El resto, lo cuantitativo del examen MIR, incluso parte de lo cualitativo, son matemáticas, ni más ni menos, y se refiere a su fiabilidad, dificultad y discriminación. 

Estoy seguro que el Ministerio se hace las preguntas de lo cualitativo y cuantitativo, se lo hizo en su día y lo publicó. Se prometieron así mismos los deseos de seguir haciéndolo, pero no cumplieron lo que se prometieron respecto a su publicación, desconozco la causa aunque la imagino, pero eso en una sociedad como la actual no parece de recibo, y eso que el examen MIR pasa la prueba del algodón con nota, en lo que yo he podido calcular:



La tabla analítica expresa la fiabilidad del examen en función de la nota media y de la desviación típica, frente a un índice de 1 la calificación de la fiabilidad iguala o supera en todos los casos el 0,96 que significa una fiabilidad muy alta para un test de evaluación de conocimientos en un tiempo determinado y con penalización de respuestas erróneas.

Respecto de la dificultad percibida del examen, la gráfica de debajo de la tabla explica el índice de dificultad del examen del año pasado y del anterior, lo expresa por su valor y su dispersión en función de la procedencia de los examinados y sus respuestas.

En cuanto a la capacidad de discriminación de las respuestas de cada pregunta no he podido estudiarla por carecer de las respuestas individualizadas de todas y cada una de ellas por el conjunto de los examinados anonimados. 

Los cálculos de la fiabilidad y de la dificultad los he realizado a través de los resultados por examinado que figuran en los listados y no por las respuestas individualizadas por el conjunto de los presentados a cada una de las preguntas por no disponer de ese dato.

Y por fin la gráfica de las distribuciones de los once últimos MIRes, que expresa la función de densidad de los mismos. En ella se aprecia la capacidad de discriminar los resultados totales de cada uno de los exámenes uno por uno y en conjunto, expresada en términos relativos por intervalo de respuestas netas en la distribución, ya que no he podido calcular los índices de discriminación en cada pregunta. Esa misma gráfica es una forma de acotar la variabilidad de la dificultad del examen.

A la vista de la misma, los tres índices, fiabilidad, dificultad y discriminación, pasarían la prueba del algodón, calculados sui generis por el editor del blog.


La mayor o menor variabilidad de cada intervalo de densidad, de unos años a otros, no solo obedece a la mayor o menor dificultad del examen, sino también a otras circunstancias como son la participación en la prueba de diferentes subconjuntos, según procedencia de los examinados, y su diferente preparación, a lo largo del decenio y con diferente sensibilidad a esa dificultad.

Se ha observado que en la primera mitad del decenio los comportamientos de los resultados eran menos extremos en las dos mitades de la distribución, frente a un cambio en la segunda mitad del decenio, en la que se ha notado que los comportamientos en los extremos de la distribución se han agudizado tanto en exámenes denominados fáciles como difíciles. 

Dicho fenómeno se explica, tanto por la procedencia de los examinados, como por el aumento de la intensidad de la preparación del examen por una parte importante de los mismos. Hay gente que se deja la piel en la preparación del MIR. 

El MIR, un examen donde se invierte un año de duración y que solo su gasto, para garantizar la paz social de la selección y ordenación de los examinandos, se lleva por delante más de cien millones de euros todos los años entre todos los que intervienen en la faena. 

¿Eso es un coste o una inversión?

13 comentarios:

  1. Anónimo3/3/13 11:36

    La verdad es que el examen MIR no se podría concebir de otra manera que no fuese tipo test. Es un sistema más justo, y además da la posibilidad de preguntar por una parte del contenido mayor que la que permitiría un examen escrito u oral. (Y la Medicina es amplísima)

    Otra cosa es que, teniendo en cuenta esa premisa, podamos entrar a valorar la calidad de algunas preguntas que forman parte de los exámenes MIR, que en mi opinión, deberían de ser más rigurosas y menos dadas a la ambiguedad.

    Y digo esto porque me resulta gracioso que en algunas preguntas del mismo examen, corregido por distintos profesionales (Ministerio, Academias, iniciativa 2.0), no haya el consenso correspondiente en la respuesta.

    Respecto a la última pregunta que formulas, mi opinión es que un buen puesto no tiene precio, por mucho que hayas pagado por tu formación en una academia determinada o facultad. Más bien es una inversión, no solo para lograr un objetivo (una especialidad), sino para seguir formándote como profesional.

    ResponderEliminar
    Respuestas
    1. Gracias por tu comentario.

      Efectivamente cada pregunta se puede estudiar a posteriori si fue +/- fiable, +/- difícil y +/- discriminativa, para eso existen técnicas.

      Esas técnicas sirven para mejorar SIEMPRE y no hay que tener miedo a dos cosas, a saber lo que es el MIR y a saber lo que no es el MIR.

      Una vez se sepa nadie debería de tener miedo que se publiquen los datos, los estudios pertinentes, etc.

      Cuando digo nadie, digo NADIE, ni Ministerio de Sanidad y Educación, ni facultades de Medicina, ni estudiantes, ni médicos.

      El MIR es un examen de libre concurrencia que trata de mantener la tensión de seleccionar ordenando, porque ordenar es seleccionar a unos por delante de otros, para elegir plaza, nada más ni nada menos.

      El MIR no juzga lo buenos o malos que SERÁN esos médicos en el ejercicio profesional sino los conocimientos de medicina general y actual en un momento determinado que es la fecha del examen, y es por esa razón, conocimientos de toda la medicina, y en un momento determinado, no se aprenden las cosas y duran toda la vida, por la que se requiere una preparación, y eso lo saben los que se presentan después de años sin preparar independientemente de su baremo académico.

      Además en los resultados del examen interviene cierta aleatoriedad, general (estadísiticos de la distribución) y específica (a nivel personal), la general puede estar en +/- 10% y la específica se puede disparar +/-.

      Pero se puede decir que aproximadamente un 75% de la gente que se prepara relativamente bien el examen se crece en el mismo, y que el 25% restante se decrece, se arruga, por las causas que sean.

      Dicho todo eso, del MIR lo único que hay que salvaguardar, es su tesoro, su santa santorum, cerrado bajo llave, con tuerca y contratuerca, el corazón de donde sale el examen, es su patrimonio, su único patrimonio, y donde se tiene que ganar su prestigio.

      El MIR no tiene alternativa y cuanto más estudios se hagan y publiquen sobre el mismo mejor. más tarde o más temprano todos los que intervienen en el mismo se tendrán que acreditar, y los resultados no son como se dicen, y nadie hace nada para enmendar eso, hay que dar los resultados proporcionales a toda la distribución, no de los cien, doscientos, ni de mil, ni de dos mil, etc. y que luego sumas los de unos y otros y los cien se convierten en ciento y pico, y así sucesivamente, etc. etc.

      Luz y taquígrafos en todas partes, en el anális técnico del examen, y en los datos que se distribuyen, luz en todas partes.

      Salvando con mil candados el santa santorum donde se cocina el examen.

      El examen del examen, aposteriori para su justificación ante los interesados y ante la sociedad que se gasta más cien millones en el mismo, en tiempo y dinero y me quedo corto.

      Eliminar
  2. Anónimo3/3/13 15:30

    ¿Alguien sabe cuanto está previsto el acto de asignación de plazas?
    Tengo un viaje a partir del 20 de abril y necesitaría saberlo.

    ¿Hay alguna otra cosa que hacer entre la elección y la toma de posesión de la plaza, o podemos disponer de ese tiempo libre?


    Gracias! :-)

    ResponderEliminar
    Respuestas
    1. Anónimo3/3/13 23:48

      Más abajo podras consultar una previsión del calendario de asignación de plazas según el señor gangas. Empezaría el 15 de abril.

      Eliminar
    2. Anónimo4/3/13 19:54

      ¡Gracias!

      ¿Y desde que coges la plaza hasta que te incorporas suele haber alguna otra cosa relacionada o puedes disponer de ese tiempo libre hasta que empiezas a trabajar?

      Eliminar
    3. Puedes disponer de ese tiempo libre como creas conveniente, hasta los días de toma de posesión que te has de incorporar.

      Eliminar
  3. Anónimo3/3/13 23:41

    Buenas noches señor Gangas, me gustaria preguntarle si existe alguna pagina fiable donde sea posible consultar los numeros de orden de asignacion de plazas en las ultimas convocatorias mir, ya que los facilitados por las academias no coinciden, gracias

    ResponderEliminar
    Respuestas
    1. Solo existen las que mencionas.

      Eliminar
  4. Anónimo4/3/13 3:36

    Hola gangas! Quisiera preguntarte si hay diferencias importantes en realizar el postgrado en un hospital privado en vez de uno publico??? Es que mi numero de orden es 3895, soy extra comunitario, afectado por el cupo, y pienso buscar la oportunidad de realizar el postgrado en un privado, para por lo menos garantizar una plaza. Que opinas? Valdrá la pena?? Agradezco de antemano tu respuesta!

    ResponderEliminar
    Respuestas
    1. Sobre centros privados hay muy poca oferta, y solo uno de ellos tiene un número de especialidades significativo.

      El título, al final de la formación, lo expide el Ministerio de Educación, y es igual para todos.

      La diferencia más importante es que existen unos centros privados, pocos, que sus plazas se adjudican igual que en los públicos, por nº de orden si más, y hay otros privados, cuatro exactamente, que sus plazas se adjudican por nº de orden y además te han de dar previamente, al hacer una entrevista, una carta de conformidad que has de presentar cuando te toca elegir plaza y la entregas al subir al estrado.

      En cuanto al funcionamiento, cada hospital tiene su impronta, sea público o privado, los privados pagan el salario de su preupuesto, y los públicos del suyo.

      Eliminar
  5. Anónimo4/3/13 13:22

    Gracias gangas por tu respuesta!! Me podrias decir cuales son esos 4 centros privados donde utilizan las cartas de conformidad y las entrevistas para adjudicar la plaza?? Y en cuanto a la calidad de educacion y formacion de los residentes los centros privados son iguales a los publicos?? Gracias!!

    ResponderEliminar
    Respuestas
    1. MARTES, 12 DE FEBRERO DE 2013

      PLAZAS EN CENTROS PRIVADOS QUE EJERCEN EL DERECHO DE CONFORMIDAD

      http://gangasmir.blogspot.com.es/2013/02/plazas-en-centros-privados-con.html

      Sobre la enseñanza, todos los centros que ofrecen plazas están previamente acreditados, sobre mi opinión personal, no tengo sobre ese aspecto, no soy médico.

      Eliminar
  6. Me parece muy bien el examen MIR, pero para quien quiera ser especialista. A los post95 sin MIR tras mil manifestaciones de 6=0 por toda España, nos jodió un decreto de ley. Antes eran al terminar la carrera capaces d trabajar en la sanidad publica, ahora 4 años mas....obviamente salimos mejor preparados que los pre95 pero no es justo. FDO un r2 de familia

    ResponderEliminar