viernes, 5 de febrero de 2016

El arte y parte de anular preguntas...


... reflexionaba en una entrada de días atrás titulada Comportamientos... que lo que importaba para hacer "el examen del examen", es decir, para hacerle la prueba del algodón de su calidad métrica, era estudiar el comportamiento de los examinados en cada pregunta.

Por lo que lo que cuenta no es el examen global sino cada pregunta en particular, que es en definitiva la que se ha de anular o no. Siendo la calidad métrica del examen el resultado de la calidad métrica del conjunto de sus preguntas no anuladas.

Eso justificaría que las preguntas se anularan por su calidad para medir lo que han de medir, y para eso amigos no hay "peso" que valga en el nº de impugnaciones porque eso tiene trampa y es el criterio general para solicitarlas.

La Comisión Calificadora debería de disponer de un estudio previo "métrico" de todas y cada una de las preguntas una vez realizado el examen para poder tomar decisiones al respecto.

Eso hoy en día se puede hacer en un "plís plás" analíticamente y gráficamente.

¿Se hizo así la convocatoria pasada?...

Adenda de preguntas.- 

¿Qué gobierna la calidad métrica de una pregunta?

¿Algún país utiliza en exámenes de este tipo algún sistema métrico automático para proponer al equivalente a la Comisión Calificadora la propuesta de preguntas a anular?

¿Ha de haber un máximo de preguntas a anular o podrían anularse todas las que no tuvieran una calidad métrica mínima?

¿Qué es una calidad métrica mínima?

Respuesta.- 

Que al menos su pendiente de discriminación no sea negativa.

¿Cuándo una pregunta tiene su pendiente de discriminación negativa?

Respuesta.- 

Cuando la probabilidad de contestarla bien esté a favor de los que menos conocimientos tienen frente a la de los que más conocimientos tienen que la contestan mal. Medida su calidad métrica por sus resultados en el examen por parte de todos los examinados que la contestan. 

Corolario final y propuestas de mejora según mi leal saber y entender.-

1.- Todas las preguntas con pendiente de discriminación negativa deberían de ser anuladas automáticamente por su mala calidad métrica, es decir, por no medir lo que deberían medir. 

A partir de ahí el resto de preguntas deberían de ser clasificadas según su pendiente de discriminación y otras variables analíticas

Las preguntas con pendiente de discriminación negativa y al menos un subconjunto de preguntas a determinar según el resultado de esas variables deberían de ser sometidas a deliberación de la Comisión Local con un análisis razonado. Dentro de ese análisis se presentaría además un análisis de las impugnaciones presentadas porque así lo obliga el procedimiento administrativo que rige las pruebas. 

Caso de tener que anular más preguntas que las de reserva no pasaría nada, simplemente se acomodaría la escala final y punto. No hay nada escrito sobre ello en las normas y por lo tanto no tiene un factor administrativo limitante. La posible consecuencia de aumentar la aleatoriedad de los resultados en el supuesto caso de disminución de las preguntas más allá de las 225 ordinarias quedaría compensada con creces con la implementación de la segunda propuesta de mejora que se expone.

2.- Para corregir el azar en el resultado del examen, es decir, el contestar por azar, entiendo que se debería de introducir la fórmula académica de corrección del mismo que ya se utiliza en algún otro tipo de prueba y que se explicó en la entrada: El azar en el examen y su posible corrección...  y en esta otra entrada se estudiaron sus consecuencias... 

La corrección del azar en el examen se vería facilitada por haber neutralizado la "penalización" anterior de contestar al azar como consecuencia de haber cambiado de cinco a cuatro respuestas por pregunta al mantener el valor de la respuesta válida (+3) y errónea (-1).

PD.- 

1.- No olvidemos que la impugnación de preguntas está motivada fundamentalmente por aquellos que más la han fallado no siendo ese necesariamente el criterio cualitativo para su anulación, es decir, el "peso" de las impugnaciones es uno más de los que deben de tenerse en cuenta.

2.- No olvidemos tampoco que las respuestas netas de examen cambian con la entrada en acción de las anulaciones y de las preguntas de reserva por taxativo orden de las mismas. No olvidemos tampoco que la supuesta mejora global con la entrada en acción de las reservas es solo global y no necesariamente individual, ya que si bien la mayor parte de las anuladas lo son por ser preguntas "malas" no en todos los casos es así, dándose el caso de preguntas anuladas que no deberían de haberlo sido por su calidad métrica a pesar de haberlo sido por su "peso".

3.- Tratar con el debido rigor métrico las posibles preguntas a anular es un asunto obligado para atender los principios constitucionales de igualdad, mérito y capacidad que obliga en las pruebas públicas, y la Admón Pública no basta con que tenga buena intención sino que viene obligada a utilizar los últimos medios técnicos a su alcance para conseguir la aplicación de esos principios. Siéndole de aplicación el principio de que no solo tiene que ser eficiente sino parecerlo, es decir, publicar las causas entendibles por los interesados sobre la anulación de las preguntas anuladas.

4.- No conozco población más mansa, entrenada y entregada en esa mansedumbre que el colectivo médico que se presenta al MIR, que supongo viene de aquel comentario que dice que lo que de verdad se aprende a fuego en la facultad es a sufrir. Será por eso. 

5.- Si quieres de verdad llevar la delantera, marcar la pauta del debate, andar con el rigor por delante, haz de forma automática y el examen del examen y hazlo público. Esa misma herramienta te servirá en tiempo y forma para plantear las preguntas a anular a la Comisión Calificadora. Te servirá además para mejorar el banco de preguntas, y como remate te servirá para adquirir "autoritas" dando prestigio a las pruebas.

No hay comentarios:

Publicar un comentario