Gabriel Soria coloca una silla frente al mostrador y le hace una seña a Noemí para que atienda a una visitante que espera.
Unidad 2 · Empieza por el final35 minLección 2.2
El Taller del Otro Lado

La prueba antes de la explicación

Gabriel no dejó escribir una pantalla más hasta que alguien dijera qué iba a mirar.

Secuencia 1 de 12Antes de que nadie explique

Gabriel acercó una silla al mostrador, sentó a una señora que traía una petición confusa y le hizo una seña a Noemí. Después se giró hacia Mara y le dijo que no se escribía ni una pantalla más del material hasta que alguien contestara una pregunta.

Contesta tú primero. Esta lección no te va a explicar nada hasta que hayas decidido; la explicación llega después, hecha con lo que decidiste.

Sin teoría todavía

¿Qué vas a mirar?

Y ahora elige, entre estas cuatro, la que se parezca más a lo tuyo.

Dos instrumentos que ya existían en la biblioteca

Uno es el cuestionario de diez preguntas que le dio nueve de diez a Noemí el martes. El otro es una lista de verificación que la coordinadora usaba para evaluar turnos y que nadie había cuestionado en cuatro años. Ábrelos y marca, reactivo por reactivo, qué mide cada uno de verdad.

Sobre la mesa de trazos, tres objetos alineados: una hoja terminada, un cronómetro junto a una libreta de observación y un registro impreso del sistema.

Gabriel puso tres cosas sobre la mesa y dijo que fuera de ahí no había nada más: lo que la persona produce, lo que la persona hace mientras lo produce, y el rastro que queda después sin que nadie estuviera mirando. Cualquier evidencia de aprendizaje es una de las tres o una mezcla.

El producto es lo más cómodo de recoger y lo más engañoso: una hoja bien llenada puede venir de haberla copiado, y un presupuesto correcto puede haberlo hecho el hijo. El proceso observado es lo más caro y lo más informativo, porque es donde se ve dónde se traba la persona y qué hace cuando se traba. El rastro es el que menos se usa y el que suele estar tirado por ahí: cuántas veces se reabrió un ticket, si la visitante volvió a preguntar lo mismo la semana siguiente, si el registro de préstamo quedó con credencial.

La elección no es de gusto. Depende del destino que escribiste en la lección anterior: si el destino dice acompañar sin tomar el teclado, el producto no puede probarlo, porque el recurso solicitado se ve igual lo haya buscado quien lo haya buscado. Ahí hace falta proceso, y por eso Gabriel acercó una silla en vez de repartir un cuestionario.

Producto

Lo que queda hecho: una ficha, un presupuesto, un correo, una pieza montada. Barato de recoger, y no distingue quién lo hizo ni cómo.

Proceso observado

Lo que la persona hace mientras trabaja: qué pregunta, dónde duda, qué salta. Caro, porque exige a alguien mirando, y es lo único que revela el cómo.

Rastro

Lo que el sistema, el turno o la semana siguiente dejan escrito solos. Nadie tiene que estar presente y por eso es el más honesto de los tres.

Empareja

Seis destinos y la evidencia que de verdad los prueba

Inés dibuja en la pizarra tres casillas numeradas y tacha una flecha que iba de la primera a la tercera saltándose la segunda.

Grant Wiggins y Jay McTighe publicaron en 1998 un método con un nombre modesto, diseño hacia atrás, y una consecuencia que incomoda a todo el que produce materiales. Dice que el trabajo tiene tres etapas y que hay que hacerlas en un orden que nadie respeta: primero se decide qué tiene que poder hacer la persona, después se decide qué contaría como evidencia de que lo puede hacer, y solo entonces se diseña la experiencia.

El orden habitual salta la segunda etapa. Se define un objetivo y se produce el contenido. Al final, cuando ya no queda tiempo ni presupuesto, se añade una evaluación que mida lo que se alcanzó a cubrir. Ese salto explica por qué tantas evaluaciones parecen pegadas con cinta: no organizaron nada, llegaron cuando todo estaba organizado.

Lo interesante de la segunda etapa es lo que le hace a la tercera. Cuando ya sabes que Noemí va a ser observada acompañando a una visitante con una petición ambigua, sin poder tocar el teclado, la lista de lo que hay que enseñar deja de discutirse: quedan dentro las cosas que hacen falta para eso y se caen solas las demás. La evaluación diseñada primero no es un examen adelantado; es el instrumento que decide el contenido.

Lo que le costó al equipo

Cuando Mara escribió la situación de prueba antes que las pantallas, de los 13 bloques del guion original quedaron 6 y no hubo que discutirlo con León: los otros 7 no aparecían en ningún momento de la situación. El diseño hacia atrás no ahorra tiempo de producción, ahorra tiempo de discusión, que en la mayoría de los proyectos es el caro.

Infografía: las tres etapas del diseño hacia atrás con lo que se decide en cada una y el salto habitual que las convierte en dos.
El salto de la primera a la tercera es tan común que tiene su propia consecuencia: la evaluación acaba midiendo lo que se alcanzó a producir.

La autenticidad no es un interruptor

Wiggins escribió en 1990 que una evaluación es auténtica cuando le pide a la persona lo mismo que le pediría la situación real. Eso significa tres cosas: un problema desordenado, criterios conocidos de antemano y los recursos que usaría de verdad. Es una idea buena que se aplica mal casi siempre. Se lee como una orden de reproducir la realidad entera, y no lo es.

Reproducir la realidad entera no se puede y tampoco conviene. Lo que sí se puede es graduar, y hay tres palancas que se mueven por separado. La primera es el contexto: desde un ejercicio aislado hasta el mostrador con una visitante de verdad. La segunda es la complicación: desde un caso limpio hasta uno con la petición ambigua, alguien esperando y el sistema caído. La tercera es el apoyo: desde tener la guía delante hasta ir sin nada.

Las tres suben la autenticidad y las tres suben el costo, el riesgo y la dificultad de repetir la prueba. Una evaluación con las tres palancas al máximo mide el desempeño real. También se puede hacer una sola vez, con una sola persona, y si sale mal alguien se lleva un mal rato de verdad. Una con las tres al mínimo se puede aplicar a cien personas y no dice nada. El oficio consiste en encontrar, para cada destino, el punto más bajo que todavía mide lo que hace falta.

Infografía: las tres palancas de autenticidad con cuatro posiciones cada una y lo que gana y pierde la evaluación al subir cada palanca.
Subir una palanca no es siempre mejor. Es siempre más caro, y a veces además mide otra cosa.

Diseña la situación con la que se va a probar a Noemí

Mueve las tres palancas. Abajo se arma sola la situación que estás construyendo, con lo que se puede observar en ella, lo que cuesta y lo que deja fuera. Cuando te convenza, la sometes a las cuatro comprobaciones del banco.

El destino que hay que probar es el de la lección anterior: acompañar una búsqueda hasta que la visitante encuentre y solicite un recurso, sin tomar el teclado.

Cuatro instrumentos y una grúa que va sumando peso

Cada instrumento aguanta hasta cierto punto. Súbele peso —condiciones reales, una a una— y observa dónde cede: no se rompe con estruendo, deja de medir lo que dice medir y sigue dando un número igual de convincente.

Grúa de carga · cuatro instrumentos
Instrumento 1 de 4

Se prueba un instrumento a la vez. Vas añadiendo pesos, uno por turno, eligiendo cuál. Antes de cada peso puedes declarar que ahí cede: si aciertas el punto exacto, ganas el instrumento; si te pasas, el instrumento se rompe y cuenta como fallido. El objetivo es acertar el punto de cedencia de los 4. Con Tab se recorren los pesos y con Enter se añaden.

Instrumentos leídos0de 4
Inés pega en la pared cuatro tiras de papel con criterios escritos a mano, a la altura de los ojos, antes de que empiece la prueba.

Wiggins insistía en algo que suena administrativo y no lo es: en una evaluación auténtica, la persona conoce los criterios antes de actuar. No después, cuando ya se puede discutir la calificación; antes, cuando todavía puede usarlos para decidir qué hacer.

La razón es que un criterio conocido de antemano deja de ser un instrumento de juicio y se convierte en parte de la enseñanza. Si Noemí sabe que se va a mirar si la visitante vio la pantalla, va a girar el monitor; y girar el monitor es exactamente lo que queremos que aprenda. Ocultarlo para que la prueba sea más pura solo consigue medir su capacidad de adivinar qué se espera de ella.

Arma la rúbrica

Cuatro criterios, y para cada uno el descriptor que se puede mirar

De las tres versiones de cada criterio, elige la que dos personas distintas aplicarían igual.

Cuatro maneras de estropear una evaluación auténtica

La autenticidad tiene mala prensa merecida en algunos sitios, y casi siempre por lo mismo: se aplicó como consigna en vez de como criterio. Estas cuatro fronteras vienen de proyectos que salieron mal.

Una advertencia sobre el costo

Observar a una persona durante 8 minutos, con alguien dedicado a mirar y anotar, cuesta más que aplicar un cuestionario a 40. Esto no es un argumento contra observar: es la razón por la que hay que elegir muy bien qué se observa. En la biblioteca se observó una sola cosa, la del destino, y todo lo demás se dejó en manos del rastro que el sistema ya guardaba.

Infografía: la situación de prueba final de la biblioteca con sus criterios, lo que se observa, lo que se deja al rastro y lo que se decidió no medir.
La prueba que quedó cabe en 8 minutos y una hoja. Lo que la hace cara no es su duración: es que alguien tiene que estar mirando.

La segunda etapa de tu proyecto

Tienes un destino con acción, condición y criterio. Ahora escribe la situación con la que vas a comprobarlo, antes de diseñar una sola pantalla. Si al escribirla descubres que tu destino no se puede probar, la que está mal es el destino y conviene enterarse hoy.

Siete decisiones, dos que regresan

Las dos primeras vienen de atrás y están marcadas. Si alguna se te fue, la devolución dice de qué lección viene para que sepas adónde volver.

Lo que decidiste antes de saber nada

Tu primera respuesta, con la evaluación puesta al lado

Compromisos

Lo que vas a sostener con tu proyecto

Noemí, de pie tras el mostrador, gira el monitor hacia la visitante mientras Gabriel anota en una hoja sin intervenir.

La primera vez que hicieron la prueba de verdad, Noemí giró el monitor a los 40 segundos, que era lo que hacía falta, y a los 3 minutos volvió a tomar el teclado sin darse cuenta. Gabriel no la interrumpió. Anotó la hora, el gesto y lo que la visitante hizo después, que fue quedarse callada.

—Ya tenemos destino y prueba. Falta comprobar que apuntan al mismo sitio. Siguiente lección · La línea que no debe romperse