Gabriel no dejó escribir una pantalla más hasta que alguien dijera qué iba a mirar.
Secuencia 1 de 12Antes de que nadie explique
Gabriel acercó una silla al mostrador, sentó a una señora que traía una petición confusa y le hizo una seña a Noemí. Después se giró hacia Mara y le dijo que no se escribía ni una pantalla más del material hasta que alguien contestara una pregunta.
Gabriel Soria
—Cuando esto termine, ¿qué vas a mirar tú para decidir si Noemí puede o no puede?
Contesta tú primero. Esta lección no te va a explicar nada hasta que hayas decidido; la explicación llega después, hecha con lo que decidiste.
Sin teoría todavía
¿Qué vas a mirar?
Y ahora elige, entre estas cuatro, la que se parezca más a lo tuyo.
Dos instrumentos que ya existían en la biblioteca
Uno es el cuestionario de diez preguntas que le dio nueve de diez a Noemí el martes. El otro es una lista de verificación que la coordinadora usaba para evaluar turnos y que nadie había cuestionado en cuatro años. Ábrelos y marca, reactivo por reactivo, qué mide cada uno de verdad.
Gabriel puso tres cosas sobre la mesa y dijo que fuera de ahí no había nada más: lo que la persona produce, lo que la persona hace mientras lo produce, y el rastro que queda después sin que nadie estuviera mirando. Cualquier evidencia de aprendizaje es una de las tres o una mezcla.
El producto es lo más cómodo de recoger y lo más engañoso: una hoja bien llenada puede venir de haberla copiado, y un presupuesto correcto puede haberlo hecho el hijo. El proceso observado es lo más caro y lo más informativo, porque es donde se ve dónde se traba la persona y qué hace cuando se traba. El rastro es el que menos se usa y el que suele estar tirado por ahí: cuántas veces se reabrió un ticket, si la visitante volvió a preguntar lo mismo la semana siguiente, si el registro de préstamo quedó con credencial.
La elección no es de gusto. Depende del destino que escribiste en la lección anterior: si el destino dice acompañar sin tomar el teclado, el producto no puede probarlo, porque el recurso solicitado se ve igual lo haya buscado quien lo haya buscado. Ahí hace falta proceso, y por eso Gabriel acercó una silla en vez de repartir un cuestionario.
Producto
Lo que queda hecho: una ficha, un presupuesto, un correo, una pieza montada. Barato de recoger, y no distingue quién lo hizo ni cómo.
Proceso observado
Lo que la persona hace mientras trabaja: qué pregunta, dónde duda, qué salta. Caro, porque exige a alguien mirando, y es lo único que revela el cómo.
Rastro
Lo que el sistema, el turno o la semana siguiente dejan escrito solos. Nadie tiene que estar presente y por eso es el más honesto de los tres.
Empareja
Seis destinos y la evidencia que de verdad los prueba
Grant Wiggins y Jay McTighe publicaron en 1998 un método con un nombre modesto, diseño hacia atrás, y una consecuencia que incomoda a todo el que produce materiales. Dice que el trabajo tiene tres etapas y que hay que hacerlas en un orden que nadie respeta: primero se decide qué tiene que poder hacer la persona, después se decide qué contaría como evidencia de que lo puede hacer, y solo entonces se diseña la experiencia.
El orden habitual salta la segunda etapa. Se define un objetivo y se produce el contenido. Al final, cuando ya no queda tiempo ni presupuesto, se añade una evaluación que mida lo que se alcanzó a cubrir. Ese salto explica por qué tantas evaluaciones parecen pegadas con cinta: no organizaron nada, llegaron cuando todo estaba organizado.
Lo interesante de la segunda etapa es lo que le hace a la tercera. Cuando ya sabes que Noemí va a ser observada acompañando a una visitante con una petición ambigua, sin poder tocar el teclado, la lista de lo que hay que enseñar deja de discutirse: quedan dentro las cosas que hacen falta para eso y se caen solas las demás. La evaluación diseñada primero no es un examen adelantado; es el instrumento que decide el contenido.
Lo que le costó al equipo
Cuando Mara escribió la situación de prueba antes que las pantallas, de los 13 bloques del guion original quedaron 6 y no hubo que discutirlo con León: los otros 7 no aparecían en ningún momento de la situación. El diseño hacia atrás no ahorra tiempo de producción, ahorra tiempo de discusión, que en la mayoría de los proyectos es el caro.
El salto de la primera a la tercera es tan común que tiene su propia consecuencia: la evaluación acaba midiendo lo que se alcanzó a producir.
La autenticidad no es un interruptor
Wiggins escribió en 1990 que una evaluación es auténtica cuando le pide a la persona lo mismo que le pediría la situación real. Eso significa tres cosas: un problema desordenado, criterios conocidos de antemano y los recursos que usaría de verdad. Es una idea buena que se aplica mal casi siempre. Se lee como una orden de reproducir la realidad entera, y no lo es.
Reproducir la realidad entera no se puede y tampoco conviene. Lo que sí se puede es graduar, y hay tres palancas que se mueven por separado. La primera es el contexto: desde un ejercicio aislado hasta el mostrador con una visitante de verdad. La segunda es la complicación: desde un caso limpio hasta uno con la petición ambigua, alguien esperando y el sistema caído. La tercera es el apoyo: desde tener la guía delante hasta ir sin nada.
Las tres suben la autenticidad y las tres suben el costo, el riesgo y la dificultad de repetir la prueba. Una evaluación con las tres palancas al máximo mide el desempeño real. También se puede hacer una sola vez, con una sola persona, y si sale mal alguien se lleva un mal rato de verdad. Una con las tres al mínimo se puede aplicar a cien personas y no dice nada. El oficio consiste en encontrar, para cada destino, el punto más bajo que todavía mide lo que hace falta.
Subir una palanca no es siempre mejor. Es siempre más caro, y a veces además mide otra cosa.
Diseña la situación con la que se va a probar a Noemí
Mueve las tres palancas. Abajo se arma sola la situación que estás construyendo, con lo que se puede observar en ella, lo que cuesta y lo que deja fuera. Cuando te convenza, la sometes a las cuatro comprobaciones del banco.
El destino que hay que probar es el de la lección anterior: acompañar una búsqueda hasta que la visitante encuentre y solicite un recurso, sin tomar el teclado.
Cuatro instrumentos y una grúa que va sumando peso
Cada instrumento aguanta hasta cierto punto. Súbele peso —condiciones reales, una a una— y observa dónde cede: no se rompe con estruendo, deja de medir lo que dice medir y sigue dando un número igual de convincente.
Grúa de carga · cuatro instrumentos
Instrumento 1 de 4
Se prueba un instrumento a la vez. Vas añadiendo pesos, uno por turno, eligiendo cuál. Antes de cada peso puedes declarar que ahí cede: si aciertas el punto exacto, ganas el instrumento; si te pasas, el instrumento se rompe y cuenta como fallido. El objetivo es acertar el punto de cedencia de los 4. Con Tab se recorren los pesos y con Enter se añaden.
Instrumentos leídos0de 4
Wiggins insistía en algo que suena administrativo y no lo es: en una evaluación auténtica, la persona conoce los criterios antes de actuar. No después, cuando ya se puede discutir la calificación; antes, cuando todavía puede usarlos para decidir qué hacer.
La razón es que un criterio conocido de antemano deja de ser un instrumento de juicio y se convierte en parte de la enseñanza. Si Noemí sabe que se va a mirar si la visitante vio la pantalla, va a girar el monitor; y girar el monitor es exactamente lo que queremos que aprenda. Ocultarlo para que la prueba sea más pura solo consigue medir su capacidad de adivinar qué se espera de ella.
Arma la rúbrica
Cuatro criterios, y para cada uno el descriptor que se puede mirar
De las tres versiones de cada criterio, elige la que dos personas distintas aplicarían igual.
Cuatro maneras de estropear una evaluación auténtica
La autenticidad tiene mala prensa merecida en algunos sitios, y casi siempre por lo mismo: se aplicó como consigna en vez de como criterio. Estas cuatro fronteras vienen de proyectos que salieron mal.
Una advertencia sobre el costo
Observar a una persona durante 8 minutos, con alguien dedicado a mirar y anotar, cuesta más que aplicar un cuestionario a 40. Esto no es un argumento contra observar: es la razón por la que hay que elegir muy bien qué se observa. En la biblioteca se observó una sola cosa, la del destino, y todo lo demás se dejó en manos del rastro que el sistema ya guardaba.
La prueba que quedó cabe en 8 minutos y una hoja. Lo que la hace cara no es su duración: es que alguien tiene que estar mirando.
La segunda etapa de tu proyecto
Tienes un destino con acción, condición y criterio. Ahora escribe la situación con la que vas a comprobarlo, antes de diseñar una sola pantalla. Si al escribirla descubres que tu destino no se puede probar, la que está mal es el destino y conviene enterarse hoy.
Siete decisiones, dos que regresan
Las dos primeras vienen de atrás y están marcadas. Si alguna se te fue, la devolución dice de qué lección viene para que sepas adónde volver.
Lo que decidiste antes de saber nada
Tu primera respuesta, con la evaluación puesta al lado
Compromisos
Lo que vas a sostener con tu proyecto
La primera vez que hicieron la prueba de verdad, Noemí giró el monitor a los 40 segundos, que era lo que hacía falta, y a los 3 minutos volvió a tomar el teclado sin darse cuenta. Gabriel no la interrumpió. Anotó la hora, el gesto y lo que la visitante hizo después, que fue quedarse callada.
Gabriel Soria
—Ya sabemos qué hay que enseñarle. Y no es buscar en el catálogo.
Ocho minutos de mirar dieron más material de diseño que las tres semanas anteriores de reuniones.
—Ya tenemos destino y prueba. Falta comprobar que apuntan al mismo sitio.
Siguiente lección · La línea que no debe romperse