Exámenes de criterio y exámenes de normas...

... 

La posible confusión existente para algunos sobre la naturaleza de la prueba MIR en España tal vez venga de no reparar con claridad en las diferencias sobre su naturaleza entre los exámenes basados en criterios y los exámenes basados en normas.

Exámenes de criterio son aquellos en los que para acreditar la adquisición de la suficiencia se establece un mínimo de conocimientos y habilidades sobre la materia o profesión a evaluar. No se posiciona a nadie en función de la posición de los resultados obtenidos por otros en la distribución de los mismos, simplemente se califican los resultados como suficientes y cuanto de suficientes, o insuficientes y cuanto de insuficientes. Da igual que haya empates en las notas y cuantos sean esos empates. De ordinario la escala de puntuación utilizada en el sistema educativo español ha sido de 0:10 (de 0 a 4,99 para la insuficiencia y de 5 a 10 para la suficiencia).

Los exámenes de criterio son propios del sistema educativo en general, bien sean para calificar el conocimiento en una asignatura determinada bien sean el conjunto de asignaturas de un curso, bien sean el conjunto de exámenes teóricos y prácticos necesarios para acreditar el ejercicio profesional que garantiza la obtención de tu título académico.

También lo son aquellos exámenes que el propio sistema educativo establece en régimen de libre concurrrencia como acreditación de suficiencia de un período educativo, sea de primaria, secundaria, o universitario, entre alumnos de diferentes colegios, institutos, o universidades.

En España, salvo las antiguas reválidas de bachiller elemental y superior, y el Preu, o la selectividad actual para ingreso en la universidad, o los de premios nacionales de fin de carrera, no existen exámenes de acreditación en libre concurrencia de alumnos de diferentes centros dentro del sistema educativo. 

¿A donde quiero ir a parar?

Una vez más a reflexionar sobre la naturaleza del examen MIR y la prueba a la que pertenece, que no es un examen de criterios sino de normas o de normalización, lo que comúnmente se conoce como ordenación, que requiere por eso mismo una escala muy amplia y un formato que permita discriminar suficientemente. En este caso la escala es de -x:675 que se transformará en puntos a la diezmilésima, para evitar el máximo posible los empates. 

Esa necesidad es imperiosa porque cada resultado se convierte posteriormente en un nº de orden y como se presentan alrededor de 10.000 médicos en libre concurrencia, de diferentes universidades, de diferentes promociones, de diferentes países, recién egresados, repetidores, recirculantes, especialistas, si se produjeran muchos empates en el examen habría que sortear los nº de orden una vez agotadas las normas de desempate por cada intervalo de empate, y para ese viaje no serían necesarias tantas alforjas. 

¿Por qué hablo de confusión?

Porque no solamente existe en el imaginario popular dicha confusión sino que ese imaginario se trasladó, nada más ni nada menos, que a la propia LOPS diciendo lo que había que evaluar, conocimientos y habilidades, desnaturalizando en parte su naturaleza exclusivamente ordenadora en la prueba española y nadie se ha atrevido a criticar ese hecho, es más, incluso esa confusión se ha trasladado al propio sistema educativo pero al revés, en algún caso convirtiendo los exámenes que deberían de ser de criterios mínimos a superar para cada alumno en exámenes de normas u ordenación del alumno respecto de los primeros alumnos de su clase, fijando un corte de suficiencia no en sí mismo sino respecto de otros. Como si eso fuera un criterio de suficiencia independiente cuando justamente lo hacen depender, por comparación, del resultado de los mejores. ¿Y si el resultado de los mejores varía, varía también la magnitud del conocimiento necesario como suficiente?. Eso ocurre especialmente en algunas facultades de Medicina lo que resulta muy curioso, y esto sí que ha sido criticado por algún que otro profesor de alguna facultad en algún estudio publicado llamando la atención con toda la razón del mundo.

La facultad de Medicina tiene las competencias para fijar los criterios de conocimientos y habilidades mínimas necesarias para su adquisición y ser suficientes en sí mismas y no por comparación con otros. Lo mismo que vale para una asignatura vale para todas y por tanto para acreditar o no la obtención del título, amén de otros criterios específicos que han de reunir los médicos para el ejercicio general de la profesión y que no deberían de pasar el filtro al margen de que fueran suficientes los conocimientos adquiridos. Los acreditará o no una vez realizadas las pruebas correspondientes sean teóricas para los conocimientos, sean prácticas para las habilidades, o sean determinados reconocimientos sobre otros aspectos necesarios.

¿Por qué persiste la confusión?

Porque en otros sistemas universitarios existen exámenes de acreditación, en libre concurrencia de los alumnos egresados en las diferentes facultades o escuelas de Medicina, y lo son para acreditar la habilitación para el ejercicio profesional. Incluso pueden concurrir a los mismos egresados de otros países, y esos exámenes teóricos y prácticos son además los de entrada al período de especialización posterior. Generalmente en esos sistemas, además de la acreditación certificada, se requerirá para elegir especialidad y centro donde cursarla la conformidad previa del centro elegido una vez presentado el certificado de acreditación, el curriculum y superando una entrevista. 

En España, por las razones que sean, se organizó el procedimiento y el proceso de selección para elegir plaza de especialización a través de una prueba normalizadora, organizada desde fuera de la universidad por los ministerios de Educación y Sanidad. Pudo hacerse como prueba acreditadora o de habilitación para el ejercicio profesional, pero no se hizo así. La acreditación y habilitación la siguió manteniendo la universidad, y los dos ministerios se quedaron con la prueba y con la organización de la enseñanza de ese postgrado fuera del sistema universitario tradicional como prueba selectiva y de ordenación para elegir plaza por parte del examinado entre las ofertadas por el conjunto de centros del SNS. 

Tal vez de esa separación de ambos espacios y procedimientos vengan no solo las confusiones sino todos los malos entendidos entre unos y otros, al margen de los diferentes vasos comunicantes existentes.

Para terminar de confundir la cosa, en España la homologación de títulos extranjeros es simplemente un procedimiento administrativo a través de documentos y a voluntad del interesado (ad libitum). No hay un examen de acreditación de conocimientos, ni teóricos ni prácticos, y piensan los extranjeros, al igual que algunos españoles, que el examen MIR cumple esa misión.

Una anécdota curiosa es que algunos de los homologados extranjeros piensan que como entregaron los papeles en el Ministerio de Educación para su homologación no es necesario entregar el certificado del expediente académico de su universidad cuando se inscriben en la prueba MIR que gestiona el Ministerio de Sanidad, y se extrañan de que su baremo académico MIR sea el equivalente a un mero aprobado (1,0000) porque el MSSSI no puede ponerle ni más ni menos. No puede ponerle más baremo porque no presentó el certificado en cuestión y le ponen un 1,0000 porque al haber entregado el título homologado al menos se supone que aprobó las asignaturas y el aprobado en todos es un baremo de 1,0000. El certificado de calificaciones de su universidad ha de entregarse no solo en el Ministerio de Educación para su homologación sino también con el Modelo 790 de inscripción en la prueba que gestiona el Ministerio de Sanidad.

Los exámenes de acreditación constan lógicamente de dos partes, una teórica y una práctica porque habilitan para el ejercicio profesional.

Los exámenes de normas no tienen porqué tener una parte práctica porque los que concurren ya están juzgados y acreditados profesionalmente para el ejercicio profesional por las facultades de procedencia, teórica y prácticamente. Cuando nació la prueba solo era para los licenciados españoles, y solo habían de ser ordenados para elegir plaza de formación especializada.

La última confusión para algunos ha sido el establecimiento de una nota de corte mínima para poder ser adjudicatario de nº de orden y por tanto poder optar a elegir plaza.

Han confundido esa norma de selección como si fuera un criterio mínimo para acreditar para el ejercicio profesional.

Para desmontar esa confusión bastaría imaginar a un especialista reconocido en lo suyo que se presentara al MIR después de diez años de ejercicio profesional... ¿le suspenderías como médico si no superaba la nota de corte?

Evidentemente no, seguiría siendo médico. El MIR no suspende ni aprueba, selecciona conforme a unas normas, de formato y de métrica, con una escala de -x:625 que obliga a discriminar posteriormente a su transformación en puntos a la diezmilésima entre más de 10.000 examinados garantizando el mínimo de empates posible por intervalo de puntos y terminando de desempatar con el baremo académico y con normas de desempate si fuera necesario. 

Quien no obtiene nº de orden en el MIR, por no superar la nota de corte, no deja de ser médico, el MIR al no acreditar no le puede quitar el título ni le puede prohibir el ejercicio de la profesión si alguien le contrata o ejerce como médico por su cuenta. El examinado simplemente no obtiene nº de orden porque así lo dice una norma de comparación no de acreditación de mínimos (la nota de corte se fija en un % de la nota media de los diez mejores exámenes), por lo tanto la nota de corte no es un criterio de conocimientos mínimos para ejercer la profesión o no. Además al ser norma de comparación la nota de corte no es igual todos los años, dependiendo por tanto de como sientan la dificultad del examen los diez mejores resultados y de como la sienta el resto de los examinados.

Corolario final.-

1.- Un examen de acreditación se hace para calificar por haber adquirido o no unos conocimientos mínimos fijados previamente mediante un criterio por quien los imparte. Su formato, su escala, y su calificación están determinados por ese criterio mínimo establecido para superarlos por cada uno de los alumnos individualmente y no respecto del nivel del grupo de cabeza.

2.- Un examen de normalización u ordenación se hace, entre quienes habiendo sido calificados y acreditados previamente, para ordenarlos o posicionarlos de mayor a menor resultado mediante su comparación respecto de una media de las calificaciones de un grupo de cabeza. Su formato, su escala, su métrica, y su calificación y ordenación por comparación, están establecidos previamente por normas.

3.- Criterio y normas son conceptos distintos. El primero se refiere a la superación de unos mínimos (el criterio fijado previamente al examen para adquirir la suficiencia) y su curva de distribución no tiene por que ser normal o gaussiana. El segundo es de ordenación por comparación respecto de un máximo determinado de los mejores resultados y su curva de distribución, por definición, siempre será normal o gaussiana. Normalizar es ordenar, término estadístico utilizado por Gauss para nominar una distribución normal o gaussiana, que es simétrica, es decir, su media y mediana coinciden en el centro de la distribución, representada por la curva que recibe su nombre. 

En el caso de las pruebas que nos ocupan las calificaciones finales se sustituyen por nº de orden y esa es la razón última de su normalidad. Hacer coincidir la normalidad de las calificaciones con la normalidad de los nº de orden es el arte y parte del examinador para conseguir la discriminación más eficiente de las posibles para el examen. Justamente esa coincidencia en la normalidad de las dos distribuciones sería el arte del examinador.

PD 1.- Para quienes tengan curiosidad pueden leer una contestación a un comentario en esta entrada, que explica indirectamente cuestiones colaterales.

Como pliego de descargos diré que todas estas cuestiones que se me han cruzado en el camino las he tenido que ir desbrozando por mi cuenta, poco a poco, tratando de entender el porqué de las cosas desde el principio y situándome en las circunstancias históricas en las que tuvieron lugar.

Eso no significa que tenga que estar necesariamente de acuerdo con las mismas, ni siquiera que mi análisis sea el acertado, pero he necesitado darme explicaciones para entender el trabajo que hacía y seguir adelante con el mismo.

PD 2.- Aún me quedan cuestiones por aclarar y por estudiar, por ejemplo el examen del examen tal y como escribí en una Memoria en diciembre de 2010, una Memoria de 20+1 páginas que aquí no ha visto la luz, y que si la tuviera que reescribir en su parte metodológica llevaría un buen repaso de poda y clarificación para poder hacer el examen del examen y la propuesta de anulación de las preguntas anulables de forma automática, que de algo ha de servir el tiempo transcurrido y las investigaciones realizadas en el camino no necesariamente publicadas. Automatizar procesos productivos es un reto para cualquier ingeniero.

¿Será posible?... ¿será probable?... ¿será?... cada día que pasa lo veo más claro pero también más lejos... no por mi voluntad sino por otras... siempre cuestiones formales y miramientos que tienen que ver con los procedimientos para facilitar los datos precisos...

Lo estudiado hasta aquí, más de diez años dedicado al tema, no ha sido en balde ni de balde... lo que he aprendido lo tengo en mi cabeza pero también en mi corazón... no tengo la menor duda que se hará algún día pero no se cuando ni por quién... mi sorpresa es que siendo las pruebas de esta naturaleza, únicas en España, no haya habido ninguna universidad interesada en hacer esos trabajos aunque nada más fuera como proyecto de investigación... un esporádico estudioso aseguraba no hace mucho que no había encontrado nada escrito sobre el MIR... 

PD 3.- Salvando las distancias sobre esas preguntas que me hacía en el PD 2.- me recuerda esto otro estudio en el que me vi envuelto... un estudio para el que me pidieron ayuda supongo que porque no disponían de un duro para estipendios y daban por hecho que entraría al trapo. El trabajo encomendado lo terminé en un fin de semana. A su entrega incluso pedí al coordinador no aparecer en la relación de su autoría porque me imaginaba lo que iba a pasar... el estudio final, con su ampliación en una segunda versión realizada por otras personas, tardó lógicamente más tiempo y a pesar de haber pasado los controles reglamentarios de dos revistas en su día... sigue esperando el sueño de los justos en el baúl de los recuerdos porque alguien se opuso a su publicación alegando que los datos eran de su propiedad... un país de caínitas... quítate tu para ponerme yo... si lo publico yo sí y si no... naranjas de la China que para eso son mías... 

Pero mira por donde... mira mira... mira por donde... como caza la perrica... al poco lo publicaron los del MSSSI y de toda la población. Aún guardo el otro bajo llave porque soy un hombre de palabra... pero el resultado de la censura fue en vano y el esfuerzo de muchos de sus compañeros tirado por la ventana por unos pocos... y luego dando lecciones... mucho que les importó el trabajo de sus compañeros... lo querían capitalizar ellos arrebatando el trabajo a los que lo hicieron... impidiendo su publicación y luego van dando lecciones de ética...

Los dos párrafos anteriores de este postdata tienen destinatario... por si lo lee o por si se lo pasan. El mismo día que lo conocí, tiempo después de hacerse el estudio y haber impedido él al coordinador del mismo su publicación, le contesté desde la tarima a una afirmación suya desde el auditorio, que no califico aquí, que más tarde o más temprano otros publicarían lo mismo con mejores datos que los que él ocultó a los demás, por propia iniciativa por el puesto que representaba o mancomunado con otros tal cual... y mira por donde no me equivoqué. 

No solo los ha publicado el MSSSI sino también un equipo de investigación en un artículo sobre un período mucho más amplio... eso sí, codificando las universidades para que no se reconocieran no vaya a ser que se enfaden algunos por la persistencia de los resultados de unas y otras... 

A favor de las del posible enfado habría que decir que del estudio convendría desagregar a los alumnos recién egresados de los que no lo son, ¿por qué?...

Porque curiosamente en los resultados estudiados se suman dos sesgos que desequilibran los mismos. A saber, el primero de ellos es que la edad de los examinados es un predictor del resultado, y el segundo es repetitivo y acumulativo al primero, son precisamente los alumnos de las facultades peor clasificadas los que más repiten, y por tanto los de más edad media y lo peor es que el segundo sesgo retroalimenta al primero. No solo repiten por razones obvias, sus resultados no les satisfacen, sino curiosamente coincide su ámbito geográfico con los mercados de trabajo más precarios para ellos en una buena parte de los casos. 

Vean si no las diferencias entre los recién egresados estimados, los admitidos, y por fin los presentados y los que se adjudican plaza... aquí, o aquí en una pestaña nueva y dispuesta para ser ampliada con la lupa (+), haz clik sobre la imagen (+) con el botón izquierdo del ratón.

PD 4.- No se pueden poner puertas al campo nada más que durante un tiempo... y menos aún a la necesidad y a la curiosidad... si se tratan de contener ambas, más tarde o más temprano, revientan por los cuatro costados y sin ningún tipo de control...