Guías de valoración: mejorando la calificación de las respuestas abiertas

Las guías de valoración son uno de los instrumentos que generalmente se utilizan en los cuestionarios cognitivos para valorar preguntas que requieren de la respuesta a una cuestión concreta pero lo suficientemente abierta como para generar incertidumbre a la hora de puntuarla.

Contexto

En los cuestionarios cognitivos, lo que en la escuela se conoce como prueba escrita, control o examen...se recogen evidencias del aprendizaje de nuestro alumnado con diferentes preguntas. Las más comunes, en los cuestionarios de pruebas a gran escala, son las de elección múltiple u otro tipo de preguntas o ítems de respuesta cerrada (verdadero-falso o alternativa simple, asociación, elección múltiple compleja u ordenación). Por el contrario, salvo alguna excepción, en las pruebas de clase o en las de acceso a la universidad (PAU) se suele utilizar respuestas de tipo abierto, bien sea de completar huecos con alguna respuesta muy concreta o de redactar algunas líneas o incluso textos más largos de cualquier género discursivo. Es especialmente en este tipo de respuestas concretas, pero complejas, donde vamos a necesitar las guías de valoración.

¿Qué es una guía de valoración?

Es una escala que describe cualitativamente los niveles de desempeño de una respuesta concreta pero compleja, asignando una puntuación a cada uno de ellos. 

En el contexto internacional también recibe el nombre de rúbrica. Desde luego, si es una rúbrica sería holística (a esto también dedicaremos una entrada, en partes). Aunque personalmente considero que estaría a caballo entre una escala de valoración y una rúbrica en toda regla.

Ejemplo

Estímulo de la Unidad de Evaluación: Plano de la biblioteca, PISA 2012. Fuente: Marcos y pruebas de evaluación de PISA 2012: Matemáticas, Lectura y Ciencias. 

Pregunta: Explica por qué puede haberse elegido ese lugar para las Novedades. (la pregunta anterior era de elección múltiple y sólo sirve para completar la respuesta a esta pregunta, por sí sola no da puntos. La pregunta y las opciones eran:Pregunta: ¿Dónde están situadas las novedades? a) En la sección de ficción, b) En la sección de no ficción, c) Cerca de la entrada, d) Cerca del mostrador de información.

Características del marco de evaluación:

• Situación: Pública
• Medio: Impreso
• Formato de texto: Discontinuo
• Tipo de texto: Descripción
• Aspecto: Reflexionar y valorar: Reflexionar sobre el contenido de un texto y valorarlo
• Finalidad de la pregunta: Formular hipótesis sobre la ubicación de un elemento de un plano recurriendo a los conocimientos y a las experiencias personales.
• Formato de pregunta: Respuesta construida abierta.

Guía de valoración

(adaptada de la original)

¿Dónde, cuándo y para qué se utiliza?

Se utiliza en cuestionarios cognitivos. Por lo tanto, no se trata de un instrumento en sí mismo la mayor parte de las ocasiones, sino que se pone al servicio de los cuestionarios cognitivos y contribuye al conjunto de la escala de ese cuestionario junto a la puntuación de otras preguntas.

Se utiliza para valorar respuestas abiertas y con cierto grado de complejidad que responden generalmente a un descriptor, indicador, criterio de evaluación o estándar muy específico y sólo a uno. En cualquier caso, suelen referirse la mayoría a niveles cognitivos de relativa complejidad y contenido concreto (explicar, demostrar, analizar, sintetizar, reflexionar, criticar...).

Para respuestas abiertas que están vinculadas a más de un criterio de evaluación, indicadores de logro o estándares de aprendizaje evaluables, y que además su el desarrollo del contenido es amplio, y obviamente complejo, se recomienda el uso de rúbricas (por ejemplo un ensayo).

Pasos para elaborar guías de valoración

Requisito inicial: La pregunta ha de estar relacionada (alineada) con un indicador, descriptor... del dominio a evaluar (conjunto de contenidos y procesos, y su concreción en indicadores de una asignatura o competencia, en su conjunto, o parcialmente (unidad o unidades en un trimestre).

1. Analizar el desempeño 

Se recogen ejemplos reales de respuestas de alumnos y alumnas. Se clasifican en dos o tres niveles de desempeño (la del ejemplo tiene tres niveles). Se decide aquí el número de niveles, aunque puede cambiar si su gradación es confusa, no ayuda a distinguir entre determinados niveles contiguos.

2. Describir y ejemplificar los niveles de desempeño

En función de lo que tengan en común las respuestas de los alumnos y alumnas clasificadas en cada nivel, se describe la respuesta tipo y dejamos los ejemplos que mejor representan la descripción.

3. Asignar puntuaciones

Se asignan puntuaciones a cada uno de los niveles. Generalmente son números enteros.

4. Mejorar la fiabilidad de la guía

Se prueba la guía con otros alumnos (de otras aulas, los del curso siguiente...). Se prueba con otros compañeros que pueden utilizarla con los mismos alumnos para comprobar si se llega a los mismos resultados.