Exámenes y examinadores...

...

Exámenes de criterio.- En la enseñanza reglada, en el caso de una asignatura y para pasar de un curso a otro, el examinador establece un criterio de conocimiento mínimo de la materia impartida ese curso. En la evaluación de ese examen el examinador atiende a la consecución o no de ese conocimiento mínimo. En la enseñanza reglada los alumnos lo son por clase y profesores y alumnos han tenido ocasión de conocerse a lo largo del curso. Una vez superados los criterios de conocimiento mínimo a lo largo de un ciclo formativo, se obtiene un título que los acredita. El que un alumno empate o no en su calificación con otro carece de importancia.

Exámenes de normas.- Para pasar de ciclo formativo, y cuando al alumno se le concede la potestad de elegir centro para acceder al ciclo siguiente, se suelen plantear pruebas de ordenación y libre concurrencia de diferentes centros de formación, con el objetivo de ordenar a los examinados de forma prevalente. Son un ejemplo actual las pruebas de selectividad dentro de un distrito universitario determinado o lo son las pruebas de acceso a la formación sanitaria especializada, como es el caso.

Los examinadores, en ambos casos y para fines diferentes, tratan de averiguar a través de un constructo (el ejercicio de examen) un nivel determinado de conocimiento, aunque la finalidad del examen sea distinta.

Las consecuencias de que la finalidad sea distinta se expresan en los decimales del resultado. A los examinadores de criterio les dan igual los empates, lo que importa es saber si pueden pasar o no de curso. Sin embargo en las pruebas de ordenación se establecen unas normas de valoración que lo que buscan es evitar precisamente los empates porque a las mismas se presentan miles de aspirantes de diferentes centros cuyo resultado final se expresará, necesariamente con varios decimales. En el caso que nos ocupa exactamente con cuatro decimales, es decir a la diezmilésima, para tratar de conseguir el mínimo de empates, ya que esos resultados se convierten en nº de orden para elegir de forma prevalente.

Si bien en las pruebas de normas las hay específicas para desempatar, se utiliza sin decirlo expresamente, una más eficaz para ello. Esa norma es la valoración de los méritos académicos en el resultado final de la prueba. Para realizar la suma del resultado de examen y de los méritos académicos, expresados en escalas distintas, se transforman previamente a la misma escala. Ello se realiza a través de los factores de corrección expresados con once decimales. Los factores de corrección son los multiplicadores de los valores particulares del examen y del expediente académico de cada examinado. Su valor para cada uno de ellos respectivamente es el cociente de su peso en la prueba dividido por la media de los diez valores mejores.

Como se puede observar los exámenes de normas se llaman así por sus normas de valoración fijadas previamente y su finalidad es evitar el máximo posible de empates en el resultado final.

Una vez llegado a este punto, y dejando ya la introducción explicativa, vayamos con el examen y con los examinadores.

El examen es el constructo para tratar de conseguir el fin, ordenar con el mínimo de empates. En el caso que nos ocupa un ejercicio tipo test de respuesta múltiple con penalización de la respuesta errónea en un tercio de la respuesta válida (otra norma de valoración)

En el caso de los ejercicios de 225+10 preguntas, y según intervalo en la distribución de resultados, los empates en su resultado eran 10-20-30-40 y quedaban reducidos al mínimo con la entrada en acción de la valoración de los méritos académicos después de su suma a través de su conversión con los factores de corrección (más normas de valoración)

En el caso del nuevo ejercicio de 175+10 preguntas los empates aumentarán por intervalo en una proporción que tiene que ver con el porcentaje de disminución de las mismas. Influirá también en ello el nuevo procedimiento de valoración de los méritos académicos, que parte de dos decimales y no de cuatro, y sobre todo porque sus valores por la ley de los grandes números tenderán a su medidas centrales, situando su mediana por encima de 7,00 (tal vez entre 7,00 y 7,30). Eso contribuirá más aún a dificultar los desempates.

Pues bien, el examinador antes, y ahora aún más, asume la presión de valorar y atender a la variable dificultad del ejercicio de examen, y sobre todo a la variable discriminación.

Hay quien piensa que dificultad y discriminación se correlacionan. Siento llevarles la contraria. La dificultad tiene que ver con la proporción de aciertos y la discriminación tiene que ver con la correlación entre lo que se contesta y lo que se sabe. Por lo tanto la dificultad y la discriminación son valores relativos asociados al conocimiento expresado por los examinados. Esa correlación tiene que ser interpretada previamente por el examinador en la redacción de sus preguntas. Ese es el arte y parte del examinador. Eso se consigue echando la vista atrás en la mitad aproximada del contenido y en la intuición aproximadamente en la otra mitad. De esa forma se aproxima el examinador al conocimiento de los examinados. Eso es así porque la población de presentados se parece en buena parte de un año para otro por subconjuntos de partícipes. De ahí sale el equilibrio de la dificultad del examen. El que se prepara tiene que sentir que le compensa la preparación. Si no fuera así tiraría la toalla y el azar se apoderaría de la prueba. 

En la medida en que el examinador sea capaz de elaborar unas preguntas de examen en las que las respuestas de los examinados, pregunta por pregunta, aproximen su respuesta real a su respuesta esperable, según su conocimiento demostrado en el resto de preguntas, el resultado escapará del azar. Tanto más cuanto más se aproxime esa correlación.

Por eso dificultad y discriminación son dos conceptos diferentes. Aquellas preguntas que resultan muy difíciles y sin embargo sus respuestas válidas pertenecen en mayor proporción a examinados con menos preguntas acertadas del resto, son preguntas con discriminación mala, negativa, o azarosa. No sirven. Discriminan negativamente. Eso se puede calcular a posteriori del examen pero antes de proceder a las anulaciones correspondientes para que esa falta de calidad se pueda tener en cuenta a la hora de las anulaciones por la Comisión calificadora.

Por ende, construir una pregunta difícil con discriminación aceptable, buena o excelente, es muy difícil. Ese es el reto del examinador. Lo busca intuitivamente y trata de huir de lo contrario. Tiene que ver con un texto corto y claro, y con el equilibrio de dificultad entre la respuesta válida y las que oferta como distractoras. 

Existe una disciplina académica que trata de todas estas cuestiones. Una disciplina que utilizó el ministerio en su día. Publicó el resultado del análisis de varios años. A pesar de felicitarse y animarse a sí mismo a proseguir con dicho análisis, desde el año siguiente hasta hoy nunca más se supo. Lo mismo ha ocurrido con otro análisis diferente de las pruebas publicado en la página de la convocatoria desde 2012, todavía en espera de que se publique el de la convocatoria pasada. Desconozco las razones de uno y otro caso.

PD.- La redacción del próximo examen debe de estar en las últimas. Deseo a los examinadores que acierten al máximo en el parámetro discriminación de cada una de las preguntas, y al ministerio le deseo que se decida a hacer, y publicar, el examen del examen. Por los examinados y por la sociedad a la que atienden que financia las pruebas. 

Además de hacer el análisis del examen, y publicarlo después, el ministerio puede, y desde mi punto de vista debe, incluir de forma anonimizada, y descargable en excel, la matriz de las respuestas de los examinados a todas y cada una de las 175+10 preguntas, y la plantilla original de las respuestas correctas de las mismas. Con esos datos cualquier departamento universitario  al uso, o investigador individual interesado, lo podría realizar y publicar con el consiguiente contraste entre uno, el del ministerio, y los otros.