Content Assessment Systems

Published on 01/15/2009 - Games and methodologies

Self-management, Games, P2P, ICTs, Analogies of digital, Collective decision-making, Collective moderation, Web 2.0, Communication tools

Contributors: Ismael Peña-López

BCK 2008 - Collective Evaluation

From page 1

c) Material
- papel
- bolígrafos
- clips
- papel carbón u hojas de evaluación: en función de la disponibilidad de papel carbón, se utilizará una de las siguientes opciones:
1 - utilizar, por participante, 4 copias (en función del número de evaluadores) de la "Hoja de Dibujo y Evaluación" anexa, intercalando entre todas ellas papel carbón, y uniéndolas con clips para asegurar un calcado óptimo;
2 - utilizar, por participante, 1 "Hoja de Dibujo" + 2 (en función del número de evaluadores) "Hojas de Evaluación" anexas. La "Hoja de Dibujo" lleva impresa, por detrás, una "Hoja de Evaluación".

d) Descripción de las acciones
- Se introducen las bases del funcionamiento de la "revisión por pares" del sistema académico tradicional.
- Se propone la publicación (ficticia) de una revista especializada en un tema: "comida para gatos". Entendemos que es un tema sobre el que cualquier participante puede aportar algo, a la vez que erigirse en "experto", sendos roles que forman parte del taller.
- El grupo nombra un editor y dos o tres evaluadores o árbitros (según el número total de participantes en el taller) en función de su conocimiento profesional / personal del tema (por ejemplo, que tengan un gato). El resto de participantes serán autores (los evaluadores también se consideran autores).
- El papel del autor es crear una obra (un dibujo) y someterla a evaluación para su publicación en la revista (una ilustración que acompañará un texto).
- El papel del editor es recoger todas las obras, descartar las que se separen claramente de la línea editorial de la revista, repartir el resto entre los evaluadores y, en función del veredicto de estos y su propio criterio, aceptar 2 o 3 obras para su publicación.
- El papel de los evaluadores es, como su nombre indica, valorar las obras presentadas para su publicación.
- Se da a todos los autores (incluidos los editores) una "Hoja de Dibujo" (y las correspondientes "Hojas de Evaluación" y papel carbón) o la "Hoja de Dibujo y Evaluación", en las que harán una ilustración sobre el tema "comida para gatos". Las "Hojas de Dibujo" son anónimas: es importante que, sobre todo, los evaluadores no presencien la elaboración de los dibujos del resto de autores. Los dibujos irán identificados, no obstante, con un número que asignará el editor a cada autor.
- El editor recoge las "Hojas de Dibujo", descarta las que, en su opinión, se separan demasiado de la línea editorial y, con las que acepta, hace tantos mazos como evaluadores haya.
- El editor asigna un mazo a cada evaluador, quien rellena la "Hoja de Evaluación" según su criterio. El evaluador declinará rellenar dicha hoja si le tocase en suerte evaluar su propia obra. En un caso real, el editor nunca asignaría su propio dibujo a un evaluador.
- Finalizada una primera ronda de evaluaciones, se repite el proceso, rotando los mazos de dibujos entre los evaluadores, hasta que todos hayan evaluado todos los dibujos.
- El editor recoge las "Hojas de Evaluación" de los evaluadores y, en función de ellas, decide qué dibujos utilizaría, cuáles devolvería al ilustrador para su mejora o retoque, y cuáles rechazaría. Se devuelven los originales a los autores, acompañados de las "Hojas de Evaluación".
- El editor comenta su elección con el grupo. Los evaluadores explican el criterio personal que han seguido para la elección (dentro de los límites puestos previamente en las "Hojas de Evaluación").
- Se comentan con todo el grupo los puntos fuertes y débiles del sistema.

e) Cuestiones a mejorar o que no quedan reflejadas en la adaptación
- Aplicar el sistema a un sistema de contenidos más complejo (texto).
- Posibilitar la mejora de la ilustración y someterla nuevamente a evaluación.
- Evitar una práctica tediosa y aburrida por su alto componente "protocolario".


2. Digg / Menéame

a) Objeto en el que se inspira

To page 3

Attribution-Noncommercial-No Derivative Works 3.0 SpainPage: 1| 2| 3| 4
Suported by:
Platoniq

BCK 2008 - Collective Evaluation

Sistemas de evaluación de contenidos. Cápsula grabada en el Mercado de Intercambio de Conocimientos Libres, organizado por Platoniq (Barcelona, 2008).

MORE MEDIA: