Medir para mejorar, 2ª edición...

... editada el día 03/03/2018...

Las prisas son malas consejeras...

Esta es una revisión gráfica de esta otra entrada que edité por 1ª vez el día 28 de febrero...

La imagen es un montaje de tres imágenes gráficas diferentes aunque los datos de los que devienen son los mismos. El cambio se refiere a la gráfica de la derecha correspondiente a la discriminación ordenada de las preguntas. Tanto el parámetro dificultad, gráfica de la izquierda, como el parámetro discriminación, gráfica de la derecha, los he hecho acompañar de las respuestas válidas, erróneas, y no contestadas por cada una de las preguntas del ejercicio de examen. Debajo aparece la tercera imagen que representa la correlación entre ambos parámetros.

Pues bien, para editar la imagen de la derecha y de la izquierda se hace necesario ordenar las variables de cada una por separado lo que hago con un filtro. La edición 2 ª que incluyo aquí está motivada por un despiste que corrijo ahora. No activé el filtro para ordenar la imagen de la derecha y por tanto no ordenó de forma correspondiente las válidas, las erróneas y las no contestadas. Ahora sí que están debidamente ordenadas esas variables.

No era difícil darse cuenta de que estaba mal ya que el parámetro dificultad es una proporción y por tanto una vez ordenada la dificultad de menos a más, las válidas, las erróneas y las no contestadas siguen el mismo patrón de ordenación ligadas al valor del parámetro. Sin embargo la discriminación es una correlación entre el conocimiento demostrado en la contestación del resto de preguntas y la probabilidad de contestar bien o mal la pregunta que se trata de analizar. 

Obviamente si ordenas las preguntas por dicho parámetro, las válidas, erróneas y no contestadas no tienen porqué seguir ese mismo patrón porque precisamente en esa diferencia está su razón de ser. Así pues estando echando un vistazo me di cuenta del despiste de ordenación y puse el filtro para ordenar adecuadamente las variables ligadas al valor del parámetro y aquí está el resultado. 

Pido disculpas por el lapsus. Ahora sí las variables ligadas a la discriminación están bien ordenadas y como se ve sirve para ver la diferente naturaleza de ambos parámetros y que no siempre existe correlación entre dificultad y discriminación. 

Solo falta decir que el nº de cada pregunta de la v.0 está en el eje de las Y y para verlo es necesario ampliar la imagen una vez descargada. Si se hace se verá que no se corresponde el orden de las preguntas de ambas imágenes. Precisamente porque su correlación no es absoluta, tal y como dice la nube de puntos de la imagen inferior y la R cuadrado de la función. 

Lo curioso, que es lo que motiva esta entrada, es que al final de la imagen derecha se pueden ver, y por tanto detectar, las preguntas cuya discriminación es negativa, y en algún caso también pueden corresponder con alguna de las preguntas más difíciles que figuran en la parte baja de la imagen de la izquierda en el eje de las Y. Tiene su lógica. Coincide que son preguntas mal construidas que las han acertado más aquellos que en menor proporción han contestado bien el resto, y las han acertado menos aquellos que en proporción han acertado más el resto. Precisamente esto es lo que se trata de medir, aquellas que peor han medido aquello que debe de buscar el ejercicio de examen, separar o discriminar a unos de otros, es decir, ordenar por el conocimiento demostrado en el ejercicio de examen.

Espero que mi despiste, una vez corregido y explicado, sirva para entender mejor la diferente naturaleza del parámetro dificultad y del parámetro discriminación y también la correlación que se puede dar en algún caso entre ambos.

Cuando se ve el cambio de pendiente en la gráfica de la derecha, al final de la misma y antes de llegar a las preguntas con discriminación negativa, se entenderá mejor mi propuesta de anular con criterio psicométrico sobre el cuánto mide lo que se quiere medir, y no solo con juicio médico sobre el qué se pregunta  y sobre el cómo se pregunta.

Resumen.- La dificultad son habas contadas, una proporción de aciertos. La discriminación es la coherencia, o la falta de ella, entre lo que se debería de contestar, según el conocimiento medido por lo contestado en el resto de preguntas, y lo contestado realmente en la pregunta analizada. 

Ha habido un pájaro del alpiste que pone sus huevos en un medio de comunicación, que todavía sigue por ahí dando la tabarra con el récord del top de preguntas anuladas. Hacía y hace de palmero y altavoz sobre la bondad del examen porque según él, el MSSSI batía o no su propio récord de impugnaciones a la baja como si una menor cantidad de preguntas anuladas fuera sinónimo  de su bondad o validez, siendo justamente lo contrario. 

La garantía de su validez es el promedio del parámetro discriminación de todas y cada una de sus preguntas, y por tanto si anulas las de discriminación negativa, e incluso las de peor discriminación aunque su valor sea positivo, el promedio del parámetro del examen mejorará. Que así se mide justamente por el promedio de todas sus preguntas. Si anulas las de valor extremo negativo el promedio sube. Pero esto por lo que se ve no lo entiende.

Por otra parte sigue emperrado en adjudicarle al MSSSI las impugnaciones. No solo confunde impugnaciones con anulaciones sino que confunde las competencias del MSSSI con las de la Comisión Calificadora como si la misma fuera un orgánulo del MSSSI y no un órgano independiente y temporal de cada prueba específica de formación sanitaria especializada y distinta cada año. Son los examinados quienes impugnan las preguntas y es la Comisión Calificadora quien las anula, asistida o no por expertos, y no el MSSSI. 

Entre los expertos me temo que solo hay los que atienden al juicio médico sobre el qué y el cómo del contenido de las preguntas. Salvo error por mi parte entre ellos me temo que no hay ningún experto psicométrico. De ahí que ello me motive a editar esta entrada. 

El, o los, expertos psicométricos necesitarían, para emitir su informe, la matriz de los datos de las contestaciones a todas y cada una de las preguntas por todos y cada uno de los examinados de forma anonimizada. Además de la plantilla previa de respuestas consideradas como correctas. Exactamente igual que el resto de los expertos han necesitado saber el literal de las preguntas impugnadas por los examinados antes de emitir el correspondiente informe sobre las mismas. 

Una vez emitidos todos los informes, más la propia opinión de los componentes de la Comisión Calificadora, los mismos los debaten, deciden la plantilla definitiva y acto seguido quien hace de secretario de la Comisión levanta el Acta correspondiente, la firman y el MSSSI como gestor de la prueba la custodia.

Tal y como está la normativa actual la Comisión Calificadora no está obligada por el procedimiento a justificar nada. Pero los tiempos no pasan en balde y si el MSSSI no mueve ficha para acomodarse a los mismos se la moverán, más tarde o más temprano. 

La naturaleza de la materia y de la prueba lo requiere, y la literatura académica tiene la respuesta. No anular preguntas no supone mayor bondad o validez del examen, lo supone el parámetro correspondiente, y ese no se ha hecho público, ni pregunta por pregunta ni como promedio. Vale, no estáis obligados, pero quedaríais como dios si os obligaseis antes de que os obliguen.

Esta entrada, en su 1 ª edición, iba dirigida con el debido respeto al MSSSI y a la Comisión Calificadora. Pasado ya el día 28 solo se mantiene para el MSSSI y con el mismo respeto, y según mi leal saber y entender, si ustedes quieren innovar la prueba lo tienen muy fácil. Antes que meterse en el asunto de las tablets establezcan una forma técnica que justifique y haga transparente la causa de las anulaciones. Lo tienen fácil, está en la literatura académica sobre el tema. Recurran a la misma y nadie podrá decir ni mu.  

Por cierto... ¿alguien ha pensado que la prueba está regulada, entre otros marcos legislativos, por el marco de la Ley de Procedimiento Administrativo Común de las AAPP en cuanto a plazos y audiencia a los interesados?... ¿cómo se casa eso con hacer un ejercicio en una tablet que obliga además a contestar todas las preguntas y que salgan las notas al día siguiente o a los pocos días?... ¿donde estarían las impugnaciones a las preguntas y los plazos de audiencia a los interesados?... ¿acaso las preguntas se las encargarían a los dioses que evitarían los errores de construcción de las mismas y por tanto no habría anulaciones?... díganme por favor... ¿si la prueba selectiva es pública y por tanto un procedimiento administrativo, cómo puede sustraerse del mismo?... en fin, vayamos por orden y sea primero lo primero...

Póngase en el pellejo de quien construye preguntas, seguro que piensa a la vez la pregunta y la respuesta válida pero luego tiene que buscar tres distractores y los tres han de ser para eso, para distraer... ¡ahí está la calidad de la pregunta!... con ese instrumento se separa el conocimiento de unos y otros en el momento de contestarla. Un minuto para leer, comprender, relacionar y contestar, siempre con incertidumbre, sabiendo que en medicina dos y dos no tienen porqué ser cuatro. Esa es la causa, pájaro del alpiste, de que haya anulaciones de preguntas. Esa es la causa de que haya que medir en cada una de ellas el parámetro discriminación, es decir, su validez y coherencia para separar los que saben más de los que saben menos porque la aciertan los que más probabilidad tenían de acertarla y no los que menos, que por lo tanto lo hacen al azar, y eso lo dicen las matemáticas y no el juicio médico.

Así pues, no solo el juicio médico debe de ser motivo de anulación, no solo el qué se pregunta y el cómo se pregunta, también el cuánto mide lo que debe de medir. Por eso se hace una ordenación de las preguntas, por eso se construye una escala por intervalos de medida, y entonces a las preguntas que hay en cada intervalo de medida se las califica en letra, es decir, anulables, mejorables, aceptables, buenas y excelentes. 

Exactamente igual que se califica en letra a partir de las medidas en escala 0:10 en la facultad. De 0 a 4,99 suspenso, de 5 a 6,99 aprobado, de 7 a 8,99 notable, de 9 a 10 sobresaliente. 

Exactamente igual se debe de hacer con las preguntas, y las que suspendan deben de pasar de ser anulables a ser anuladas. Si te provees de un parámetro convenido y sostenido por la literatura, si tienes como calcularlo, si tienes una escala que califique las preguntas en letra... 

¿Tú gestor y examinador, a qué y a quién tienes miedo?... ¿quién te ha dicho que vas a suspender?... 

El promedio siempre tiende a las medidas centrales según la ley de los grandes números, por lo tanto seguro que no suspendes el examen, porque la nota del examen es el promedio de la nota de las preguntas del mismo... entonces... ¿para qué medir si voy a aprobar?...

Muy fácil, ya lo dice el título de la gráfica y de la entrada. Medir para mejorar. Porque seguro que habría, o podría haber, preguntas que lo suspendieran o que lo aprobaran por los pelos. Esas son las que hay que anular además de las del qué se ha preguntado y las del cómo se ha preguntado. 

Su anulación lo que haría sería subir el promedio del parámetro discriminación del examen. Es decir, medir para mejorar el promedio de la discriminación del examen, es decir, de la separación de los examinados, anulando como mínimo las preguntas con discriminación negativa, o mejor aún, también las que aprueban por los pelos.

Nota.- He cambiado también la imagen en la entrada original para evitar equívocos. El texto de la misma sigue siendo válido.

PD.- Para ver con mayor claridad los tablones haz clik con el botón izquierdo encima del mismo, una vez se ha hecho más grande pon el ratón encima y aprieta el botón derecho del ratón. En el cuadro de diálogo que te sale haz clik en el que dice Abrir imagen en una pestaña nueva. Una vez se ha abierto una pestaña nueva en la parte superior, ábrela y pon el ratón encima. Te saldrá el signo (+) que significa lupa para aumentar el tamaño, haz clik con el botón izquierdo y tendrás mucho más legible el contenido del mismo.