jueves, 15 de agosto de 2013

RECORDATORIO...

para incrédulos (yo mismo lo fui durante un tiempo) que tratan de comprender la distribución de resultados en el MIR.

- Entrada publicada el miércoles día 5 de diciembre de 2012:


- Entrada publicada el jueves día 6 de diciembre de 2012: 


- Dos entradas más publicadas el mismo día, sábado 15 de diciembre de 2012:



Aunque en el examen MIR los resultados de los que se presentan fueran los mismos, habría una lista de orden desde el nº 1 al último, de uno en uno. Para conseguirlo, como todos estarían empatados en resultados, simplemente se sortearían los nº de orden.

¿Porqué siendo todos médicos graduados no solo no obtienen resultados parecidos sino que en los mismos se obtiene una variabilidad brutal?

Quien comprenda esto habrá entendido la naturaleza del examen MIR y su capacidad de discriminación, que no tiene otra explicación que la naturaleza del examen, la naturaleza cambiante del saber médico, y las diferentes circunstancias personales de los que se presentan al mismo:

¿Para qué se realiza?: Para ordenar a los que se presentan en la elección de la oferta de plazas para formación especializada.

¿Qué se pregunta?: Toda la medicina enseñada en los programas docentes de todas las facultades actualizada hasta la fecha del examen.

¿Cómo se pregunta?: Formato de 225 + 10 preguntas tipo test de cinco posibles respuestas con penalización. La válida suma tres y la errónea resta uno. Todo ello en un tiempo máximo de cinco horas. Sean las preguntas casos clínicos o no, con imágenes de apoyo o no.

¿A quién se pregunta?: A todos los médicos admitidos a la prueba de libre concurrencia, de diferentes orígenes y edades, sean españoles o extranjeros, sean recién graduados o no, estuvieran ejerciendo o no, sean repetidores o no, sean recirculantes o no, sean ya especialistas o no, se hayan preparado el examen o no, de una forma u otra o ninguna, por la circunstancias que sean. Nada que ver con cualquier examen de los que se realizan de forma ordinaria durante el grado. Insisto de forma ordinaria. Lo más parecido por comparación sería decir que es una especie de reválida de actualización general de conocimientos, y algunos se han presentado y se presentan simplemente para probarse como andan de actualizados, no son muchos pero los hay.

Las causas enumeradas en la primera parte del párrafo anterior, además de lo que significa el baremo académico respecto de los conocimientos adquiridos, y de hábito de estudio, y no otras, son el origen de la tremenda variabilidad de los resultados siendo todos médicos graduados, ejercientes o no. Por lo tanto solo se trata de discriminar lo que se sabe en ese momento de todo lo que se pregunta y en la forma en que se pregunta, con la única pretensión de ordenar, justo en ese momento y no en otro por lo que se pregunta. De lo contrario no existiría el examen y se ordenaría por baremo académico como si lo memorizado y comprendido durante la carrera permaneciera para siempre sin olvido.

Esa es la causa, para muchos incompresible, de la gran variabilidad de los resultados, desde notas negativas hasta notas altísimas. La naturaleza del saber médico, requerido de actualización permanente, y la naturaleza del examen, de potencia (nº y extensión de las preguntas), y velocidad (una media de un minuto por pregunta para contestar, y que penaliza si contestas mal), y el batiburrillo de diferentes circunstancias de los miles de presentados (alrededor de 12.000), son la causa de resultados tan dispares, tan variables, tal y como muestran las gráficas de nubes de los mismo. 

Comentaba un profesor universitario padre de examinada/o, ¿cómo es posible sacar una neta con un baremo académico cercano a tres?. Es perfectamente posible porque los conocimientos médicos no son como los conocimientos de matemáticas o de física, cuyos conceptos suelen ser más estables en el tiempo. Pero para poderle contestar, además habría que conocer las circunstancias personales de todos los presentados, que no son recién egresados, y que influyen tanto en tener actualizados todos los conocimientos médicos estudiados en la carrera. Porque los resultados del examen son predecibles, altamente predecibles si sabemos las circunstancias de cada uno de los presentados, es decir si los desagregamos en subconjuntos. Si si, hay predictores de resultados del MIR, y no uno ni dos, y algunos están estudiados.

- ¿Causalidad o casualidad en el MIR?

Nota.- Todos los resultados que se exponen de la distribución son descriptivos y no inferidos.

9 comentarios:

  1. Muy interesantes como siempre tus reflexiones José María, tanto esta como la anterior sobre el cuaderno de examen. Sobre los predictores, aunque serán muchos, en vista de los datos publicados por el ministerio este año por vez primera: ¿hasta que punto predice el resultado la universidad de origen? Por otra parte, siempre me he preguntado quiénes y dónde ponen realmente las preguntas del examen y cómo es posible opacificar todo el proceso tan complejo de elaboración del cuaderno para que nada trascienda... ¿Alguna vez has tocado este tema o podrías iluminar nuestra curiosidad al respecto? Feliz día.

    ResponderEliminar
    Respuestas
    1. Sobre tu primera pregunta:

      Cuando el Ministerio publique una serie histórica de resultados por universidades se comprobará la consistencia de lo publicado para el año pasado. Ahora bien, se hace necesario desagregar de los mismos a los que no sean de la última promoción, para darle esa consistencia que se busca. Es decir, no vale mezclar los alumnos de la ultima promoción con los de las anteriores, porque sesgan la consistencia que se busca.

      Sobre tu segunda pregunta:

      Si, ese tema está tratado recientemente, y aunque es una suposición está razonado.

      1.- Me preguntaban:

      07/03/13 13:32
      Hola, Sr. Jose Maria. Desde muy temprano en la facultad he tenido la duda sobre como se garantiza de que el examen Mir aunque no sea completo no llegue a manos de nadie por lo menos 1 hora antes de la prueba. Quien se encarga de esconder semejante santo grial ?? como no se cuela nada?? que mi opinión personal es que algo debe colarse, alguien con un baremo de 1.97 meter 198 netas es que no me cuadra. Es que es un examen vulgarmente castroficamente super excelente, no se ni como describir eso.

      2.- Contestaba:

      gangas07/03/13 18:47
      Voy a dar mi opinión sobre el comentario primero y originario del hilo:

      El patrimonio del MIR es el santa santorum que determina el examen, desconozco como lo hacen, pero lo he imaginado cientos de veces, y sin ninguna duda se puede generar un examen en el que solo una persona, después de generarlo una máquina, lo lea por la necesidad de repasarlo previamente a su impresión, eso no significa necesariamente que lo memorice o que lo pueda sustraer, porque después de su lectura y visto bueno, todo el proceso de edición, impresión, empaquetado, sellado y lacrado de paquetes y transporte y custodia de los mismos hasta su traslado a las Mesas de examen puede hacer sin que un solo humano pueda disponer del mismo.

      El MIR solo tiene un patrimonio, y ese es, el santa santorum donde se genera el examen, y el procedimiento y proceso de impresión, empaquetado y sellado, transporte y custodia, y traslado a las Mesas.

      Si un solo eslabón de la cadena hubiera fallado ya se habría sabido y se habría montado una pirula en los papeles, y el prestigio ganado se iría por los suelos, ¿a quién de los que hay en el Ministerio le puede interesar eso?

      El que haya profesores a los que les encargan preguntas, no significa que salgan ese año, ni todas, ni parte, ni tal cual las ha redactado, y una vez cobrado por ellas ya son del Ministerio y punto, quien prepare el examen sabe muy bien que es lo que tiene que hacer, y los que están por encima de él también.

      Es lo que imagino, salvo mejor criterio.

      Se me ha olvidado decir que el record de netas cuando eran 250 preguntas está en 218 y con 225 estaba en 196

      Este año el mejor examen han sido 197 netas y por tanto record, y con un baremo que pasa ligeramente de 2 y es el nº 13 de la distribución. Mi enhorabuena, sin ningún tipo de duda ni sombra.

      Eliminar
    2. 3.- En otra entrada he encontrado este comentario y su contestación, en la que en un párrafo tiene que ver con lo que preguntas:

      Anónimo03/03/13 11:36
      La verdad es que el examen MIR no se podría concebir de otra manera que no fuese tipo test. Es un sistema más justo, y además da la posibilidad de preguntar por una parte del contenido mayor que la que permitiría un examen escrito u oral. (Y la Medicina es amplísima)

      Otra cosa es que, teniendo en cuenta esa premisa, podamos entrar a valorar la calidad de algunas preguntas que forman parte de los exámenes MIR, que en mi opinión, deberían de ser más rigurosas y menos dadas a la ambiguedad.

      Y digo esto porque me resulta gracioso que en algunas preguntas del mismo examen, corregido por distintos profesionales (Ministerio, Academias, iniciativa 2.0), no haya el consenso correspondiente en la respuesta.

      Respecto a la última pregunta que formulas, mi opinión es que un buen puesto no tiene precio, por mucho que hayas pagado por tu formación en una academia determinada o facultad. Más bien es una inversión, no solo para lograr un objetivo (una especialidad), sino para seguir formándote como profesional.

      gangas03/03/13 13:10
      Gracias por tu comentario.

      Efectivamente cada pregunta se puede estudiar a posteriori si fue +/- fiable, +/- difícil y +/- discriminativa, para eso existen técnicas.

      Esas técnicas sirven para mejorar SIEMPRE y no hay que tener miedo a dos cosas, a saber lo que es el MIR y a saber lo que no es el MIR.

      Una vez se sepa nadie debería de tener miedo que se publiquen los datos, los estudios pertinentes, etc.

      Cuando digo nadie, digo NADIE, ni Ministerio de Sanidad y Educación, ni facultades de Medicina, ni estudiantes, ni médicos.

      El MIR es un examen de libre concurrencia que trata de mantener la tensión de seleccionar ordenando, porque ordenar es seleccionar a unos por delante de otros, para elegir plaza, nada más ni nada menos.

      El MIR no juzga lo buenos o malos que SERÁN esos médicos en el ejercicio profesional sino los conocimientos de medicina general y actual en un momento determinado que es la fecha del examen, y es por esa razón, conocimientos de toda la medicina, y en un momento determinado, no se aprenden las cosas y duran toda la vida, por la que se requiere una preparación, y eso lo saben los que se presentan después de años sin preparar independientemente de su baremo académico.

      Además en los resultados del examen interviene cierta aleatoriedad, general (estadísiticos de la distribución) y específica (a nivel personal), la general puede estar en +/- 10% y la específica se puede disparar +/-.

      Pero se puede decir que aproximadamente un 75% de la gente que se prepara relativamente bien el examen se crece en el mismo, y que el 25% restante se decrece, se arruga, por las causas que sean.

      Dicho todo eso, del MIR lo único que hay que salvaguardar, es su tesoro, su santa santorum, cerrado bajo llave, con tuerca y contratuerca, el corazón de donde sale el examen, es su patrimonio, su único patrimonio, y donde se tiene que ganar su prestigio.

      El MIR no tiene alternativa y cuanto más estudios se hagan y publiquen sobre el mismo mejor. más tarde o más temprano todos los que intervienen en el mismo se tendrán que acreditar, y los resultados no son como se dicen, y nadie hace nada para enmendar eso, hay que dar los resultados proporcionales a toda la distribución, no de los cien, doscientos, ni de mil, ni de dos mil, etc. y que luego sumas los de unos y otros y los cien se convierten en ciento y pico, y así sucesivamente, etc. etc.

      Luz y taquígrafos en todas partes, en el anális técnico del examen, y en los datos que se distribuyen, luz en todas partes.

      Salvando con mil candados el santa santorum donde se cocina el examen.

      El examen del examen, a posteriori para su justificación ante los interesados y ante la sociedad que se gasta más cien millones en el mismo, en tiempo y dinero y me quedo corto.

      Eliminar
    3. Por último decir lo siguiente:

      Creo que hay alguna entrada y algún comentario que no encuentro que redondea más la contestación pero redactaré aquí en lugar de buscar.

      1.- Sabemos que el examen MIR contiene del orden de la mitad de preguntas con conceptos repetidos e incluso en algún caso con la misma redacción, eso está estudiado y comprobado año a año.

      2.- Digamos que eso sería el comportamiento básico del examen, lo que ante una preparación de una parte fundamental los examinandos le asegura una parte de un comportamiento básico sobre su dificultad primaria.

      3.- La elección de esas 100-120 preguntas se podría asegurar de forma aleatoria haciéndolo informáticamente al banco de preguntas históricas, o base de datos de las mismas. Lógicamente con unas caracterizaciones previas de cada pregunta, especialmente su grado de dificultad y su pertenencia a un tronco determinado por ejemplo. Para ello puedo solicitar al banco tres veces más de preguntas de las que elegiré manualmente un tercio, e incluso las volveré a redactar utilizando el concepto preguntado y las respuestas podrán ser las mismas o incluso cambiar alguna.

      4.- Una vez tengo la parte básica del examen procedo a buscar otras preguntas del examen de otros conceptos examinables que constan en el propio banco de preguntas y que sean nuevas, ampliando el campo de visión y sobre todo que tengan un grado de dificultad mayor, aquí el nº de preguntas puede variar según vea quien las elige, y también se podría elegir mecánicamente y podarlas posteriormente, eligiendo y reelaborando.

      Luego faltaría un último grupo de preguntas de mayor dificultad pero de posible contestación dentro del ámbito de lo preguntable que determinarían una discriminación mayor entre los examinandos, hasta tener el examen prácticamente terminado.

      Por último, una ver terminada su redacción y clasificación faltaría aleatorizar sus respuestas para evitar el sesgo humano del orden de la respuesta correcta.

      5.- ¿Se puede eso hacer sin filtraciones?

      Si, cuantos menos lo sepan mejor, y si solo es una persona mejor que mejor.

      6.- A partir de ahí la cadena anónima hasta que se abren los cuadernillos es perfectamente posible, tal y como desarrollo en un párrafo de un comentario superior.

      Se puede imprimir, encuadernar, empaquetar, sellar, distribuir, custodiar en cajas fuertes, y por fin llevar a las sedes sin que ningún humano tenga acceso a los mismos.

      7.- Por fin en la sede se le comunica a cada examinando que mire antes de comenzar su cuadernillo por si le faltara algo y si no está correcto que pida una versión 0 del mismo y se identifique figurando en el acta que se levanta por parte de la Mesa de examen.

      8.- Así es como lo imagino, y ese entiendo que es su patrimonio, y no se pueden a arriesgar a perderlo, ese día se caería por tierra toda la confianza ganada durante años.

      Eliminar
    4. Corolario.-

      Nadie en su sano juicio puede pensar que la dificultad del examen, su acotamiento, que es a lo que he dedicado mi esfuerzo durante todos estos años, puede conseguirse aleatoriamente.

      El MIR es el examen más medido que conozco, y es por esa razón por la que su comportamiento es predecible dentro de lo que llamo área de incertidumbre, el recorrido dentro de ese área ya es más difícil de predecir, y entiendo que será el resultado de la pretensión de quien lo determina y de su habilidad para conseguirlo. Ya que la única manera de medir la dificultad con efectividad es a posteriori, es decir después de haberse realizado por parte de los examinados, y con sus resultados.

      Yo he formado parte de tribunales de oposiciones, y he procurado, en la medida que he podido proceder así o de forma parecida para salvaguardar la confidencialidad.

      Por lo tanto todo lo escrito solo son imaginaciones mías, porque evidentemente no he tenido ni tengo el más mínimo contacto con lo que yo llamo el santa santorum del MIR.

      Lo que el primer comentarista llama el Santo Grial.

      Eliminar
  2. Muchas gracias por tu respuesta!

    Verás, en la Universidad donde he estudiado varios profesores afirmaban que enviaban con regularidad preguntas del MIR pero que de pronto dejaron de pedírselas. Sin embargo, cuando se desplazan a mi ciudad para impartir las clases de la academia profesores de Madrid o Barcelona, sí que dicen conocer a jefes de servicio, profesores, etc., que redactan preguntas. Lo mismo ocurre con los profesores de mi universidad, conocen a profesionales de dichas ciudades que las envían. Nadie duda que en la distintas universidades las cosas se hacen de manera muy distinta, mejor o peor, pero teniendo en cuenta que en cada universidad u hospital sus docentes enseñan lo que consideran más adecuado, ¿no habría riesgo de introducir un sesgo en la selección de las preguntas? A tenor de los datos publicados por el ministerio, y haciendo todos los ajustes que fueran precisos, yo creo que seguiría existiendo una diferencia atribuible únicamente a la procedencia. Además, no hay más que ver como los primeros puestos son copados mayoritariamente año tras año por tres o cuatro universidades. Nadie duda que impartirán una enseñanza de mejor calidad, pero sería interesante conocer si el origen de las preguntas y/o de los conceptos que se preguntan no está realmente sesgado...

    ResponderEliminar
    Respuestas
    1. Tocas un tema muy interesante, mucho.

      Lo será todavía más cuando se confirme la serie histórica de resultados por facultades que solicitan los representante de los alumnos, si se publica claro. Mi punto de vista es que de hacerse se haga desagregando los alumnos recién egresados del los que no los son. ¿Porqué?

      Porque tal y como se ha podido comprobar por medias de resultados, cada año que pasa desde el que se egresa se pierde comba, y por tanto, si se quiere llegar a lo que tu planteas, necesariamente se ha de desagregar previamente en función del año de egresado para evitar el sesgo de esa variable.

      A partir de ahí lo que planteas sería evitable siempre que se cumplan ciertas premisas:

      1ª.- Que el banco de preguntas se nutra de diferentes fuentes de origen.

      2ª.- Que las preguntas nuevas encargadas no necesariamente hayan de salir ese año.

      3ª.- Que quien sea la persona encargada de su selección las reelabore una vez estén el banco de preguntas, por lo que lógicamnte ha de disponer de conocimientos y de tiempo.

      Por último decir lo siguiente, en mi opinión en algunas facultades que nacieron posteriormente a otra más clásicas en el tiempo, lease la UAM, CLM (Albacete), MH, y Navarra entre las privadas, han tenido una característica especialmente competitiva respecto de las demás, una personalidad específica querida y deseada de distinguirse frente a las más clásicas y eso no solo en el modelo de enseñanza sino en el de evaluación o exámenes.

      Otra cuestión es estar acostumbrado a realizar exámenes tipo test con penalización, tal y como ocurre hace tiempo en algunas facultades y en algunas asignaturas especialmente.

      Y por último decir que en algunas facultades clásicas se obtienen muy buenos resultados, y tal vez tenga en eso que ver que la enseñanza, a partir de tercer curso, se traslada, se da y se recibe en los hospitales en grupos más reducidos.

      Es decir, para poder comparar los resultados de unas facultades y otras habría que tener en cuenta una serie de variables que se pueden protocolizar, no solo el origen de las preguntas, que también.

      Los estudios que se hagan pueden dar luz para consumo interno del Ministerio y para consumo externo de los interesados, que garantice la transparencia, no solo de que se hagan las cosas lo mejor posible, sino de que no queden trazas oscuras que permitan crear incertidumbre.

      Este tema es muy interesante pedagógicamente hablando, y puede arrojar mucha luz para mejorar.

      Voy a poner un ejemplo, con el único inconveniente de que la muestra no es suficientemente amplia, se trata de los resultados de los examinados de Chile, también de otro país, pero me remito al primero porque tengo referencias de su sistema de enseñanza en hospitales el mayor tiempo del grado.

      Los estudios que se hagan no han de servir simplemente para el curioseo de galería, entonces más vale que no se hagan, han de servir para establecer que sistemas de enseñanza son mejores para le aprendizaje, y conducirse hacia ellos.

      Los resultados que se han publicado se conocen hace tiempo, simplemente no se habían publicado, ¿han sido utilizados por los decanos para establecer algún tipo de mejora?, no es una crítica hacia ellos que andan flojos de presupuesto, pero imagino que en todas las facultades andarán por el estilo.

      Así que sí, el estudio publicado, cuando se refine, tal ves nos pueda arrojar luz, con la condición de que se definan las variables a estudiar y su intención sea que sirva más para mejorar que para denunciar.

      Es mi opinión salvo mejor criterio.

      Eliminar
    2. Por cierto, el año pasado se denunció en la prensa una filtración del examen en Chile, y se estableció una comisión de investigación de la que no tengo noticias en qué quedo la cosa.

      Si alguien lo sabe se agradecerían las referencias.

      Eliminar
  3. Supongo que ese carácter diferenciador común a las universidades que nombras influirá en su buen hacer... Por otra parte todo lo que se estudie bien, como en este blog, y con espíritu constructivo, bueno es. Yo, como recién egresado, creo que más allá de los factores individuales existen diferencias académicas importantes entre las facultades y sistemas más atractivos para formarse que otros...

    ResponderEliminar