La cuestión de la evaluación del conocimiento...

...

Los ejercicios tipo test de respuesta múltiple se aplican al campo de la psicología para tratar de averiguar y medir sesgos latentes en grupos, y dio lugar a una literatura sobre los mismos con herramientas de medición de errores para tratar de que fueran instrumentos fiables de evaluación de aquel constructo que pretendían medir.

Como ese tipo de ejercicios concentraban lo cualitativo en plantear un constructo adecuado y concentraban lo cuantitativo, su medición, en normas y en validaciones matemáticas que terminaron formulando teorías consistentes de medición, fue una tentación extenderlos al mundo de la evaluación del conocimiento, especialmente en aquellos tipos de pruebas que eran de libre concurrencia donde los que se presentan a las mismas son multitud y los evaluadores no tenían conocimiento previo de los evaluados por no ser sus profesores. 

Mira por donde, cuando los creadores del MIR se plantearon una prueba selectiva mediante ordenación para acceder a la especialización en sus hospitales se pensó en una evaluación de este tipo que permitía una prueba anual, nacional y en papel, para el conjunto de todos los hospitales que ofertaban plazas, y desde entonces hasta hoy con ligeros cambios en sus normas.

Estos días, que rebullo con uno de los cambios anunciados en las normas, el pasar de cinco a cuatro opciones de respuesta manteniendo el mismo número de preguntas, pensaba en la naturaleza del saber médico, de su lógica... y en cómo evaluarla, y si los creadores del mismo, todos ellos médicos que compartían lo cualitativo del constructo, pensaron un tipo de prueba de evaluación a través de un ejercicio de respuestas múltiples que no solo evaluara el conocimiento sino también el desconocimiento por lo que implica en el saber médico... y ahí encontraron la justificación para penalizar las respuestas erróneas.

En este tipo de pruebas que no son de desarrollo... ¿cómo corriges el contestar al azar, es decir, el desconocimiento?...

La cuestión de la evaluación del desconocimiento.-

1.- El desconocimiento total

El desconocimiento total conduce a la contestación al azar. Hay dos maneras de combatirlo, o se introduce una fórmula correctora, hay varias, y que no se hace en el caso español, o se introduce una valoración negativa de las respuestas erróneas que penalice de hecho y de derecho, para reducir los efectos de la contestación al azar, que fue la decisión que se tomó, ligada a una relación con el número de opciones, que sin estar normativizado se fijó en cinco. 

Esas 5 opciones y ese -1 de valor para las respuestas erróneas están íntimamente ligados, son inseparables, están en relación, y es lo que permite controlar la tentación de responder al azar en el caso desconocimiento total, es decir, en el caso de dudar entre las cinco opciones.

Conforme se reduce el número de opciones sobre las que dudas nos introducimos en un camino que va desde el desconocimiento parcial al conocimiento total, que es justo el camino del conocimiento médico, a través de la lógica médica. La naturaleza de ese saber no es precisamente llegar al conocimiento total como si estuviera contenido en un temario cerrado como ofrecen otros saberes.

2.- El desconocimiento parcial

El desconocimiento parcial es el inicio del camino del saber médico, pero no solo eso, ese saber contiene tantas variables que se hace inabarcable, y por lo tanto difícilmente llegará el conocimiento del saber médico a ser total.

Ante esa tesitura, en el ejercicio del saber médico, se ha hecho preciso dominar la extracción de datos de carácter subjetivo a través de la empatía y del arte de la comunicación interpersonal, los enfermos son personas con sus circunstancias personales y sociales que influyen en su salud, y se han de conocer previamente por el médico interactuando con el enfermo a través de la entrevista clínica. Además se hace preciso saber extraer datos de carácter objetivo a través de pruebas diagnósticas que debes decidir o no pedirlas, no solo por su coste sino también por sus posibles efectos secundarios, y con toda esa información, recogida y relacionada, decidir sobre el diagnóstico y su posible tratamiento, casi siempre dudando e intentando escapar del error por las consecuencias que se pueden derivar del mismo, la afección al enfermo y a su entorno más próximo y también lejano porque vive en una sociedad interrelacionada, social y económicamente, máxime con un servicio de salud universal.

Un examen de evaluación a través de un ejercicio de respuestas múltiples con penalización le va como anillo al dedo al constructo del saber médico, porque permite medir el sesgo latente sobre el desconocimiento parcial, es decir, cuanto más te acerques al conocimiento total más posibilidades tienes de premio, 3 puntos por respuesta válida, y cuanto más te acerques al desconocimiento total más probabilidades tienes de castigo, -1 punto por respuesta errónea. Lo que significa una penalización efectiva en el caso de cinco opciones, pero no en el caso de cuatro opciones por mucho que se mantengan los valores de 3 y de -1. Sin penalización efectiva disminuye la discriminación y beneficias contestar con desconocimiento total.

Los que han preparado el MIR y se han examinado saben que casi siempre se contesta dudando entre dos o más opciones, son pocas veces las que no dudas. Esa es la esencia del examen, un examen de potencia y velocidad, de 225+10 preguntas en cinco horas, con distractores más o menos consistentes que hacer dudar.

La disminución de preguntas fomenta el azar, cuando el examen pasó de 250+10 se perdieron preguntas en el camino a cambio de hacerlo más largo introduciendo imágenes ligadas a otras preguntas, generalmente de casos clínicos. La medida de cambio que nos ocupa al pasar de cinco a cuatro se vende como una medida cualitativa que elimina el distractor menos consistente y permite ganar tiempo al examinado a pesar de que la literatura dice que si se hace eso se deben de aumentar las preguntas. Si no se aumentan las preguntas y además se deja la penalización con el valor actual, al eliminar una opción aumenta el azar gratuitamente, y todo parece ser que así será porque de lo contrario se habrían pronunciado sobre la cuestión en la Nota de Prensa. 

PD 1.- Esta tarde ha llegado a mis manos una información que no puedo confirmar.

Una posible contestación a una pregunta formulada por persona interesada al propio MSSSI en la que se le dice:

"Buenos días: 

Una vez recibida en el día de hoy la respuesta de la unidad competente en la materia, le trasladamos que, según nos comunican, en la Orden de convocatoria, que previsiblemente será publicada en la segunda quincena de septiembre, se detallarán todos los aspectos e instrucciones relativas a las pruebas selectivas de acceso a plazas de formación sanitaria especializada.

No obstante, en relación al sistema de puntuación de respuestas está previsto que se mantenga igual que en convocatorias anteriores, por lo que usted puede tomar como referencia el punto 2 del Anexo V.A de la Orden de convocatoria de 2014, donde se especifica lo siguiente:

“2. La puntuación del ejercicio de contestaciones múltiples, se obtendrá de acuerdo con las siguientes reglas:

Primera.- Cada contestación válida recibirá una valoración de tres puntos, se restará un punto por cada una de las respuestas incorrectas, se dejarán sin valorar las preguntas no respondidas y de las operaciones anteriores se obtendrá la valoración particular del ejercicio realizado por cada aspirante.”

Respecto a la plantilla de respuestas, indicarle que será autocopiativa y que cuando se disponga de un modelo similar al que se va a utilizar, se colgará en la página web del Ministerio de Sanidad, Servicios Sociales e Igualdad un modelo de la misma, donde se detallarán las instrucciones para poder modificar cualquier respuesta."

PD 2.- Gracias por hacerla llegar, quedando a la espera de su confirmación.

PD 3.- Esta entrada sin el correo final la había preparado esta mañana y la había dejado estar en el limbo de los justos. La he activado en cuanto me he enterado del supuesto correo.

PD 4.- No soy solo yo quien le da vueltas a la noria, y si bien un servidor había simulado las posibles consecuencias que habría tenido el año pasado en la media y en la mediana, ya hay quien se ha atrevido a hacerlo en el P25 y en el P75 de la distribución, y el resultado ha sido el esperado. Se confirma la hipótesis de que el cambio de cinco a cuatro opciones discrimina menos, exactamente 2,33 netas más de subida en el P25 que en el P75, lo que significa que a igualdad del resto de variables la nota de corte todavía hubiera afectado a menos de los que afectó. Sería una segunda prueba de la hipótesis sobre la menor discriminación del cambio propuesto en el caso de dejar los valores de válidas y de erróneas tal y como están ahora.

El año pasado, por ser un examen más fácil que el anterior, ya afectó la nota de corte a menos % que el anterior (el 20,80 % frente al 28,13 %), lejos del P27 o 27 % de afección teórica que Ebel definió como grupo débil en una distribución de evaluación del conocimiento.

¿Se habrá buscado este posible efecto para al menos contentar a aquellos que están en contra de la nota de corte?... ¿se busca desesperadamente que haya suficiente demanda que la pase para que no queden plazas sin cubrir como consecuencia de la demanda selectiva española, de especialidad, localidad y centro?

Tal y como decía en otra entrada, manejando la dificultad del examen estos efectos se pueden modular, pero a pesar de eso si se mantiene el valor del premio en 3 y el valor del castigo en -1 la penalización efectiva desaparece con unas preguntas con cuatro opciones de respuesta.

PD 5.- Buscando valores alternativos... de penalización efectiva con cuatro opciones de respuesta...