Vas a sacar cinco de cinco en un examen de un tema que no has estudiado nunca.
Antes de cualquier explicación, contesta este examen. Es de tratamiento térmico del acero, un tema que esta academia no enseña y que la mayoría de quienes llegan aquí no ha estudiado nunca. Contéstalo igual, adivinando si hace falta.
No hay truco en las instrucciones: contesta las cinco, aprieta el botón y mira lo que sale.
Cada uno de los cinco tenía una pista distinta metida en la redacción, y ninguna de las cinco tiene que ver con el acero. Ábrelos uno por uno y mira dónde estaba escondida cada una.
Un instrumento con pistas mide dos cosas mezcladas: lo que la persona sabe del tema y lo que la persona sabe de exámenes. La segunda se aprende con la práctica de contestar exámenes y no aparece en ningún objetivo. Cuando alguien saca ochenta en una prueba así, no hay manera de saber qué parte de ese ochenta corresponde a lo que se enseñó, y esa incertidumbre no se arregla subiendo la nota de corte.
Estos seis reactivos son del examen final que León puso al curso de la biblioteca. Cuatro tienen un defecto y dos están limpios. Debajo de cada opción está su longitud en caracteres, medida por la página: no es un adorno, es la manera más rápida de ver la primera pista.
—Yo los escribí en una tarde. Nadie me dijo que hubiera reglas.
Haladyna, Downing y Rodríguez revisaron en 2002 veintisiete manuales de construcción de pruebas y la investigación empírica disponible, y destilaron treinta y una reglas de redacción de reactivos. Buena parte de ellas exige juicio experto, y cinco no: se comprueban contando, que es algo que una página puede hacer sola.
Pega abajo un reactivo tuyo, o uno que hayas heredado, y el medidor te devuelve las cinco cuentas. Funciona con el que sea, y conviene estrenarlo con uno que te importe.
La correcta mide ciento dieciocho caracteres y las otras tres suman ochenta y tres entre las tres. Cualquiera que no haya leído el material acierta, y por eso ese reactivo no informa de nada sobre quien lo contesta.
Repáralo eligiendo tres de las seis candidatas, tres y no cuatro, porque el motivo está en la siguiente secuencia; el medidor comprueba después lo que hayas armado.
Ante una petición imprecisa en el mostrador, ¿qué conviene hacer primero?
Rodríguez publicó en 2005 un metaanálisis sobre una discusión que llevaba ochenta años abierta: cuántas opciones conviene poner. Reunió veintisiete estudios y el resultado fue que tres opciones funcionan tan bien como cuatro o cinco, y se escriben y se contestan en menos tiempo. La cuarta opción rara vez está haciendo un trabajo.
Aquí está lo que eligieron treinta y dos personas en el examen de León. Marca los distractores que nadie tomó en serio: los que se llevaron menos del cinco por ciento.
De cada reactivo salen dos cuentas después de aplicarlo. La dificultad es la proporción de personas que lo acertaron. La discriminación compara cómo les fue en ese reactivo a quienes sacaron mejor nota en el examen completo frente a quienes sacaron peor; cuando es negativa, el reactivo premia a los que menos saben, y eso es una señal de que algo está roto dentro.
Cada punto del plano es un reactivo del examen de León. Haz clic en uno, lee sus dos números y decide qué hacer con él.
Eres el comité. Llegan nueve reactivos candidatos y el examen necesita exactamente seis. Apruebas o devuelves; si devuelves, tienes que decir qué defecto viste, y equivocarte de defecto también cuenta.
Si apruebas los seis y alguno venía con pista, el examen sale con la pista dentro. Si devuelves de más, te quedas sin reactivos y el examen no se puede aplicar.
Lee el reactivo con las longitudes medidas al lado. Si está limpio, apruébalo. Si tiene pista, devuélvelo y señala cuál. El examen se cierra cuando junten seis aprobados o cuando se acaben los candidatos. Se gana con seis aprobados, todos limpios y sin haber devuelto ninguno bueno.
Un examen sin pistas puede seguir siendo un mal instrumento, y las cinco cuentas de esta lección no detectan ninguna de las cuatro cosas de abajo.
Las dos primeras traen su origen marcado y vienen de la unidad 2 y de la lección de ayer.
León volvió a su examen con la regla de las cinco cuentas y tardó cuarenta minutos en pasar los veinte reactivos. Encontró once con al menos una pista, y en nueve de esos once la pista era la longitud.
—Lo peor es que la escribía larga porque quería que la correcta quedara bien explicada.
Es el origen de casi todas las pistas de longitud, y no se arregla escribiendo peor la correcta: se arregla escribiendo los distractores con el mismo cuidado.