Las cartas no están echadas...

... a pesar de que pueda parecer una paradoja, teniendo en cuenta que las preguntas del ejercicio de examen ya están puestas y que el cuadernillo está en capilla imprimiéndose o impreso, dispuesto para salir hacia las ciudades de examen, custodiado en cajas de seguridad, y dispuesto para su distribución el día 2 en las Mesas de examen...

Adenda.- 

He preparado el siguiente tablón que prueba el título de la entrada con dos ejemplos. 

Hay dos variables en la prueba que determinan el coste del nº de orden. 

La primera de ellas es el nº de presentados, en la tabla figura como Nn. La segunda es la dificultad sentida por los examinados del ejercicio de examen puesto por el examinador.

En el ejemplo nº 1 aparece el efecto de una de las variables (Nn), manteniendo constante la dificultad y comparando el efecto producido en el coste del nº de orden por el aumento de Nn respecto del año anterior. (14.250 previsibles presentados al examen frente a 13.342 del año anterior, es decir, 1.008 probables presentados más) 

Lógicamente si mantenemos constante la variable dificultad del año anterior el coste del nº de orden aumentará o disminuirá de un año para otro, y todo su aumento se deberá exclusivamente a la variación de +/-Nn. Para su razonamiento no tenemos nada más que aplicar el teorema de la semenjanza, también conocido como teorema de Thales. En la mediana de netas el nº de orden empeoraría o mejoraría la mitad del aumento o disminución de Nn de un año para otro.

Desde esa perspectiva parece lógico que se quiera que se presenten pocos aspirantes al examen. Como las plazas se eligen por nº de orden y no por el resultado del examen. Como el nº de orden, a simple vista, depende en primer lugar del número de presentados (Nn), parece lógico pensar que cuantos menos aspirantes se presenten mejores nº de orden con las mismas respuestas netas. El mismo razonamiento también funcionaría al revés, cuantos más se presenten y obteniendo las mismas respuestas netas, peores nº de orden.

Bien, veamos ahora dos ejemplos, el nº 1 apoya esa hipótesis y el nº 2 se la lleva por delante y nos descubre que hay otra variable que influye en el nº de orden además de Nn.

Se denomina "ceteris paribus" al hecho de hacer constantes todas las variables del problema a resolver menos una que es la que sometemos a variación. Es el caso del ejemplo nº 1, todas las variables constantes excepto Nn. Así parece lógico pensar que la variación del resultado se deberá exclusivamente a la variación de Nn. Eso es en resumidas cuentas el resultado del cálculo del ejemplo nº 1 en las celdas correspondientes tintadas en negro por intervalo de respuestas netas que encabeza cada columna.

Por lo tanto, como resumen del ejemplo nº 1, en su mediana el aumento de nº de orden sería la mitad del aumentos de Nn. Es decir, de 1.008/2, lo que nos da un aumento de 504 nº de orden en la mitad de la distribución a igual dificultad que el año pasado.

Pero tenemos un ejemplo real de que esa variable (Nn) no es la única que entra en danza. 

Ese ejemplo real del que vamos a hablar es el ejemplo nº 2 y demuestra la hipótesis de que en el coste del nº de orden no solo cuenta la variable Nn. Ello nos lleva inexorablemente a tratar de identificar la otra o las otras variables que entran en danza.

Supongamos que hacemos una encuesta entre los examinandos. El resultado será un guirigay de respuestas. Como su deslinde resultará imposible de cuantificar y de medir, las meteremos a todas en un cajón de sastre lleno de agujas de todos los tamaños, lleno de botones de todos los colores, en definitiva un guirigay de variables. 

Por convenio a ese guirigay lo denominaremos dificultad. La dificultad es ese cajón de sastre. ¿por qué?... porque todas por separado no las puedo deslindar o desagregar, y aún menos medir. 

¿Entonces cómo medimos la dificultad?... la literatura viene en nuestra ayuda. La literatura ha convenido que la dificultad es una proporción medida a posteriori del examen. Una proporción de respuestas válidas en el examen. Pudiendo establecerse diferentes variantes de la misma según sean las circunstancias del instrumento de medida.

El ejemplo nº 2 es un ejemplo real en la serie de MIRes estudiados en el tablón. Ese ejemplo es la prueba de que el guirigay del cajón de sastre que es la dificultad tiene algo que decir en el coste del nº de orden al margen de Nn. Por supuesto ese ejemplo está elegido adrede como ejemplo de que las cartas no están echadas.

Para adelantar el resumen de la entrada diré ya, que a igualdad del resto de variables un examen sentido como difícil dará siempre mejores nº de orden para iguales netas, y al revés. 

Pues bien... ¿qué pasó en el MIR 2009/2010, que es el caso del ejemplo nº 2?

Que aumentó Nn (11.438) respecto del año anterior (9.471). Nada menos que 1.967 presentados más que el año anterior, lo que teóricamente indicaría que la mediana de la distribución hubiera aumentado en 1.967/2 posiciones, es decir, 984 puestos del ala peores. 

Pero no ocurrió eso ni mucho menos. El examen fue muy difícil, de los de salir llorando. Para asombro general los nº de orden en toda la distribución de ese año fueron mejores que los del año anterior a igualdad de netas... ¿como es posible que eso pudiera ocurrir después de leer el ejemplo nº 1 sabiendo que en ese MIR hubo un aumento de Nn considerable (+1.967) respecto del año anterior?

A la visto de lo ocurrido parece lógico pensar que hay más variables que gobiernan el nº de orden además del valor de Nn. Esas variables son lo que denomino cajón de sastre. Cajón de sastre que convenimos en llamar dificultad. Dificultad del examen impresa por el examinador en sus preguntas, y dificultad sentida por los examinados durante su lectura, su reacción ante la presión de esa dificultad sobre el control mental, sobre el control del tiempo. Todo ello a una media de pregunta por minuto.

En el caso del ejemplo nº 2 fue tal el aumento de la dificultad que muchos salieron llorando de las aulas, y la cara de todos ellos reflejaba esa dificultad sentida al leerlo. La variable dificultad, como cajón de sastre, no solo contrarrestó el aumento de presentados (+1.967) anulándolo. Se pasó al lado contrario y su previsible efecto de un peor nº de orden no solo lo contrarrestó sino que se lo llevó por delante. El resultado fue una bajada espectacular del coste del nº de orden. Esa bajada se refleja en cada celda tintada en negro en las celdas correspondientes del ejemplo. Cada una de ellas para cada intervalo de respuestas netas que encabeza cada columna del tablón.

Así pues, las tornas cambiaron cuando se publicaron los resultados, no solo en respuestas netas de examen, sino en nº de orden. Que es en definitiva con lo que se eligen las plazas y no con las netas. 

Los llantos se tornaron en sonrisas para muchos. Con las mismas netas que el año anterior se obtuvo mejor nº de orden. Mucho mejor. Un año elegido adrede para demostrar la hipótesis formulada de que no solo Nn gobierna el coste del nº de orden. El año siguiente tampoco se quedó atrás de dificultad, pero el aumento de Nn fue mucho menor. No llegó a 200 presentados más y no nos sirve como ejemplo de lo que pretendo señalar.

Estos dos ejemplos (1º y 2º) reflejan bien una de las paradojas de la prueba. El resultado del examen se transforma en nº de orden. Eso es así porque en el caso de España es el examinado quien elige centro de formación y no al revés. 

Si fuera al revés no haría falta nº de orden. Sería suficiente con emitir como resultado un percentil de respuestas netas de examen respecto de 225 preguntas del mismo. 

Así pues la servidumbre de la prueba es que ha de expresar el resultado no solo en netas sino en nº de orden, porque es precisamente con el que se elige la plaza de formación de forma prevalente. 

Aún hay más paradojas, no solo la prueba viene obligada a ser selectiva por mandato legal sino para evitar empates al máximo para que el salto de notas, a la diezmilésima, sea lo más parecido al salto de nº de orden, a la unidas. Pero no se queda ahí la cosa, resulta que no solo la prueba es selectiva sino que también lo es la demanda. No solo elige quien puede sino que además de poder hace falta querer. Si cuando te toca elegir no te interesa, por la circunstancia que sea, no eliges y dejas pasar al siguiente con su nº de orden.

Elegir el examinado la plaza y no el centro es para muchos la grandeza de la prueba. Grandeza que se convierte para otros en su servidumbre. Esa servidumbre obliga a la prueba a evitar al máximo los empates entre los más de 10.000 presentados, porque entre un nº de orden y el siguiente tan apenas hay 1-2-3 diezmilésimas. Es decir, el conocimiento es prácticamente el mismo entre nº de orden contiguos, pero uno ha de elegir antes que el otro.

Es el precio que se paga por elegir de forma prevalente el centro y no que te elija a ti el centro. Si los centros eligiesen a los interesados el resultado de la prueba sería suficiente con expresarlo en percentiles con dos decimales en una escala de 225. Ese percentil es el que se presentaría en el centro pero no sería lo determinante para que te eligieran o no. La diferencia de conocimiento entre décimas de percentil les daría igual. Se verían obligados a requerir otros datos para elegir a los candidatos. En España esa tarea se les evita a los centros desde el origen de la prueba. La servidumbre para los centros es que han de admitir lo que les llegue. Solo vale el nº de orden. 

Así resulta que lo peor del MIR es que está abocado a que se confunda ordenación con clasificación. Nadie quiere que lo clasifiquen, que lo pongan en fila india. Pero resulta que si preguntas nadie quiere que lo elijan, prefiere elegir. Lo cojas por donde lo cojas, paradojas.

¿Qué pasará en el examen del día 2 de febrero?

Nadie lo sabe. Ni siquiera el examinador. Por eso digo que las cuentas no están echadas. El ejemplo de ello fue el MIR 2009/2010 tal y como se ve en los cálculos del ejemplo nº 2

De primeras nadie quiere que el examen sea difícil. Pero si recapacitamos es lo mejor que puede pasar. Especialmente para los que mejor se hayan preparado. ¿Por qué?... porque la dificultad determina la densidad de los resultados en la primera parte de la distribución y esa densidad de resultados es la que determina los nº de orden. No es que no influyan las respuestas netas. Es que las respuestas netas solo influyen cada año. No son comparables las de un año con otro porque la dificultad del examen no es la misma un año y otro. Las respuestas netas solo son una referencia durante la preparación y solo son para ti. Para ver tu progresión a la larga. Nada más. 

Durante la preparación y durante el examen solo compites contigo mismo, con tus circunstancias y tu respuesta ante ellas. La competición entre todos solo comienza después del examen. Es el tiempo en el que los resultados del examen de ese año se transforman en nº de orden de ese año. Mientras tanto las cartas no están echadas.

PD.- Para ver con mayor claridad cada tablón haz clik con el botón izquierdo encima del mismo, una vez se ha hecho más grande pon el ratón encima y aprieta el botón derecho del ratón. En el cuadro de diálogo que te sale haz clik en el que dice Abrir imagen en una pestaña nueva. Una vez se ha abierto una pestaña nueva en la parte superior, ábrela y pon el ratón encima. Te saldrá el signo (+) que significa lupa para aumentar el tamaño del tablón, haz clik con el botón izquierdo y tendrás mucho más legible el contenido del mismo.