Memoria sobre la evaluación del examen
José María Romeo Ladrero
Editor del blog MIRentrelazados
Noviembre de 2012 – Enviado al MSSSI en Diciembre
1.- Antecedentes
1.1- En la revista de Sanidad e Higiene Pública. 63, 117-133, año LXIII, septiembre-octubre de 1989, se publicó un trabajo de investigación sobre Validez y adecuación estructural del examen nacional de acceso a la formación médica especializada. Evaluación de la prueba correspondiente a la convocatoria 1988-89.
Autores, Saturno Hernández, P. J. y Mataix González, Rosa de la Subdirección General de Planificación Sanitaria y Formación del Ministerio de Sanidad y Consumo.
Los autores decían en su introducción que se había hecho para satisfacer una necesidad socialmente ineludible y además para ser utilizado en tres niveles diferentes y complementarios:
- Disponer de unos datos y valoraciones explícitas de la bondad del instrumento de selección en su conjunto y en sus principales componentes, que contribuya a su mejora en futuras ediciones, y sobre los que basar las eventuales discusiones.
- Proporcionar a los coordinadores de los cuestionarios una información pormenorizada que les permita discriminar al máximo nivel práctico de detalle las fuentes y características de las preguntas inadecuadas.
- Sentar públicamente, y por lo tanto sometidas a debate de la comunidad científica y entre los sectores interesados, las bases metodológicas para que esta evaluación se convierta en rutinaria.
En el trabajo se confiesa que evaluaciones semejantes se han realizado en años anteriores, pero sin seguir un patrón uniforme y sin hacerlas públicas, concluyendo que un análisis objetivo y transparente del examen ha de ser útil para mejorar la necesaria selección de aspirantes.
Había material, datos sobre los resultados de la prueba, y había metodología en la literatura científica en la que apoyarse para hacerlo, así se podría responder sobre las cuestiones elegidas: la fiabilidad del examen, su grado de dificultad y su poder de discriminación, es decir sobre el equilibrio y validez de su contenido.
Antes de comenzar las conclusiones el trabajo en cuestión decía lo siguiente:
Este ejercicio debería quizás ser sustituido en próximas ediciones por un análisis de fiabilidad, dificultad y, sobre todo, discriminación del examen por Facultad de procedencia.
Los desequilibrios de contenido y los fallos importantes en la equidad del examen se han de traducir en desequilibrios a su vez en la fiabilidad y discriminación de la prueba.
Las conclusiones del trabajo publicado en 1989 fueron:
- El examen nacional de acceso a la formación médica especializada correspondiente a la convocatoria 1988-89 resultó ser fiable (r"=0,94), de una dificultad a niveles óptimos (índice de dificultad de 57) y una discriminación calificable de muy buena (poder de discriminación de 0,35).
- En el análisis por materias destacan como revisables, por su elevada proporción de preguntas incorrectas y consiguientes índices de discriminación inadecuados, Obstetricia y Ginecología, Bioquímica, Farmacología y Psiquiatría. El índice de discriminación corresponde a las preguntas de Bioquímica. En esta materia fueron incorrectas 5 de cada 6 preguntas.
- El análisis de contenidos muestra una importancia porcentual de las preguntas clínicas mayor que la existente como media para estas materias en los contenidos de los planes de estudio oficiales. A ello se une una práctica ausencia de preguntas sobre materias de tipo social, humanístico y metodológico (Medicina Preventiva y Salud Pública, Estadística, Medicina Legal, Historia de
- La variabilidad de las preparaciones de cada materia en los diferentes planes de estudio existentes y la cuestionabilidad de tomar este patrón como referencia para valorar la validez de contenido del examen. Tal como está estructurado en la actualidad se selecciona a los candidatos con mejor base de conocimientos clínicos.
- Es preciso establecer rutinariamente una evaluación explícita del examen como la que presentamos para mejorar la adecuación de la prueba a la necesaria selección de aspirantes.
El resumen del trabajo decía:
- En el presente artículo, como parte de un informe más amplio de la convocatoria nacional de acceso a la formación especializada 1988-89 presentamos la evaluación del examen correspondiente a los Licenciados en Medicina.
- Esta evaluación se ha hecho en base a las respuestas dadas a las preguntas del test por los 18.198 participantes en la prueba.
- Entre las características del examen, analizamos específicamente su fiabilidad, dificultad y poder de discriminación. También, y hasta donde los datos lo permiten, el equilibrio y la validez de contenido del mismo.
- El examen en su conjunto resultó ser fiable, de una dificultad a niveles óptimos y una discriminación calificable de muy buena.
- El análisis de materias destaca como revisables Obstetricia y Ginecología, Bioquímica, Farmacología y Psiquiatría. El resto de las materias básicas, las materias médicas y quirúrgicas y
- En cuanto a los contenidos, el examen muestra una mayor importancia porcentual de las preguntas clínicas que la existente para estas materias en los contenidos de los planes de estudios oficiales, así como una práctica ausencia de materias de tipo social, humanístico y metodológico (Medicina Preventiva y Salud Pública, Estadística, Medicina Legal, Historia de
- Otras importantes conclusiones extraíbles del análisis son la necesidad aún no expresada de definir el tipo de candidato que se quiere seleccionar para adecuar a ello los contenidos del examen, y la necesidad de establecer de manera rutinaria una evaluación explícita de examen como la que presentamos, con el fin de mejorar la adecuación de la prueba a la necesaria selección de los aspirantes.
1.2.- En el año 1993 el Ministerio de Sanidad y Consumo publicó un libro y un apéndice sobre las Pruebas selectivas para el acceso a plazas de formación de médicos especialistas (1982-1992) Validez estructural, diseño y capacidades exploradas en los exámenes de las convocatorias referenciadas.
Autores:
-Gutiérrez Morlote, Jesús (Director General de Ordenación de Profesional)
-Escanero Marcén, Jesús Fernando (Subdirector General de Desarrollo de Recursos Humanos)
-Gómez-Escolar, Ignacio (Subdirector General de Planificación y Ordenación de Recursos Humanos)
-Ramírez Díaz-Bernardo, Jesús (Subdirector General de Organización de Recursos Humanos)
-Mataix González, Rosa (Jefe de Servicio. Subdirección General de Planificación y Ordenación de Recursos Humanos)
-Riesgo Moreno, Covadonga (Jefa de Área. Subdirección General de Desarrollo de Recursos Humanos)
-Rojo Fernández, Vicente (Ex-Subdirector General de Investigación y Docencia)
-Sánchez Chamorro, Emilia (Consejera Técnica. Subdirección General de Planificación y Ordenación de Recursos Humanos)
-Hernando Avendaño, Luis (Vicepresidente de la SEDEM )
El libro fue dedicado a Fernando de la Torriente Oria , que había fallecido en Barcelona el año anterior (29/05/1992) siendo Subdirector General de Planificación, Desarrollo y Recursos Humanos del Ministerio de Sanidad y Consumo.
El libro fue prologado por Marcos Peña Pinto, Secretario General de Salud.
Parece evidente que existe un nexo de unión-continuación entre el trabajo de Saturno y Mataix y el siguiente en el que también figura como coautora Mataix. No solo son relativamente cercanos en el tiempo y en el propósito, sino que la convocatoria estudiada en el primero vuelve a incluirse en el segundo, o bien el primer trabajo en realidad es un adelanto de una parte del segundo.
1.3.- A pesar de los propósitos que se hacían los autores, y sus recomendaciones, el Ministerio de Sanidad no ha vuelto a publicar ningún trabajo posterior sobre evaluación de la prueba.
Hay que esperar al año 1996 para que se publique, externamente, un trabajo en forma de libro con parecido propósito, y posteriormente hay que esperar hasta el 2011 que se publicó el último, también externo como un trabajo de investigación.
1.3.1.- El trabajo publicado en 1996 por el Servei de Publicacions de la UAB es un libro titulado La prova d’accés a metge intern resident. Pertinència i capacitats explorades envers l’exercici de la professió mèdica. Son sus autores Esteve Pont Barceló, Ferran Ferrer Julià, Lluís Bohigas Santasusagna.
El trabajo publicado se realiza sobre los resultados de las convocatorias 1991 y 1992 y sigue la pauta y metodología del trabajo del estudio previo del Ministerio, estudia la fiabilidad, la dificultad y la discriminación.
El trabajo sin embargo amplía la visión crítica de la prueba, entra a valorar la pertinencia de su contenido, y realiza una serie de propuestas de mejora.
1.3.2.- El siguiente y último trabajo, por el momento, ha sido publicado en la revista Gaceta Sanitaria, 2012;26(3);231-235 con el título Pruebas de acceso a la formación sanitaria especializada para médicos y otros profesionales sanitarios en España: examinando el examen y los examinados. Es su autor Albert Bonillo, del Departamento de Psicobiología y Metodología de Ciencias de la Salud de la UAB.
Se centra en el estudio de varias de las pruebas, no solo la de médicos, referidas a las convocatorias 2005 y 2006 siendo su objetivo evaluar la calidad de los exámenes y explorar las variables de los aspirantes que permiten predecir la puntuación final.
Se realiza un análisis de los ítems a partir de las respuestas de los aspirantes para así evaluar la fiabilidad de las pruebas. Se calculan modelos de regresión lineal para estudiar qué variables permiten predecir la puntación final de un aspirante.
Finalizando con la conclusión de que las pruebas tienen una excelente calidad psicométrica, que sería optimizable reduciendo el número de alternativas y eliminando algunos ítems más a posteriori, por último afirma que los alumnos españoles son los que mejor nota media ajustada logran.
Adenda posterior de artículos publicados referidos al proyecto de investigación "El examen del examen MIR" en su parte psicométrica.-
Los tres han sido publicados en la revista de la FEM. Antes del título figura, el año, el nº, páginas y mes de publicación. Al final, entre paréntesis, figura el número de descargas que se han realizado de cada uno de ellos en el repositorio de la revista desde su publicación.
PD.- La descarga es gratuita si eres suscriptor de la revista. Puedes suscribirte aquí.
| FEM 2017; 20 (4): 161-175 (Agosto 2017) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Propuesta metodológica para la detección de preguntas susceptibles de anulación en la prueba MIR. Aplicación a las convocatorias 2010 a 2015 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| F. Sánchez-Lasheras, J. Baladrón, T. Villacampa, J.M. Romeo-Ladrero, P. Jiménez-Fonseca, J. Curbelo, A. Fernández-Somoano | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Descargar PDF (74) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| FEM 2017; 20 (1): 29-38 (Febrero 2017) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| El examen MIR 2015 desde el punto de vista de la teoría de respuesta al ítem | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| F. Sánchez-Lasheras, J. Baladrón, T. Villacampa, J.M. Romeo-Ladrero, P. Jiménez-Fonseca, J. Curbelo, A. Fernández-Somoano | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Descargar PDF (69) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| FEM 2016; 19 (4): 217-226 (Agosto 2016) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| El examen al examen MIR 2015. Aproximación a la validez estructural a través de la teoría clásica de los tests | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| J. Baladrón, J. Curbelo, F. Sánchez-Lasheras, J.M. Romeo-Ladrero, T. Villacampa, A. Fernández-Somoano | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Descargar PDF (306) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
No hay comentarios:
Publicar un comentario