Content Assessment Systems

Published on 01/15/2009 - Games and methodologies

Self-management, Games, P2P, ICTs, Analogies of digital, Collective decision-making, Collective moderation, Web 2.0, Communication tools

Contributors: Ismael Peña-López

BCK 2008 - Collective Evaluation

From page 2

Sistema de puntuación de contenidos híbrido entre DiggMenéameSlashdotBarrapunto, pero sin el sistema de karma.

b) Objetivo
- Establecer un sistema para evaluar de forma rápida contenidos (artículos, noticias, etc.) que llegan a una comunidad de forma participativa y flexible.
- Primar los valores de participación de toda la comunidad (democracia participativa) frente a la reputación establecida (democracia representativa).
- Primar la rapidez y la flexibilidad frente al rigor y transparencia en los procedimientos.
- Sacar provecho de los conocimientos de todos los participantes (wisdom of crowds).
- Poner de manifiesto los puntos fuertes y los puntos débiles de un sistema de revisión particular frente a otros sistemas.

c) Material
- 10-15 fotografías sobre una temática en sentido muy amplio: "comida para gatos". Habrá más o menos ilustraciones según el número de participantes. En el caso de haber hecho el ejercicio de revisión por pares, se pueden utilizar los dibujos de dicho ejercicio.
- papel
- bolígrafos
- cronómetro
- gomets (adhesivos de colores)

d) Descripción de las acciones
- Se introducen las bases del funcionamiento del voto de Digg / Menéame.
- Se propone la publicación (ficticia) de una revista especializada en un tema: "comida para gatos". Entendemos que es un tema sobre el que cualquier participante puede aportar, a la vez que erigirse en "experto", los dos roles que forman parte del ejercicio.
- Se presenta un mazo de ilustraciones y se colocan una al lado de la otra en una mesa.
- Se pide a cada miembro del grupo que puntúe las ilustraciones en función de unos criterios de evaluación (ver la Hoja de Evaluación) para incluir dichas ilustraciones en la publicación.
- Cada miembro del grupo tiene 5 adhesivos de colores (pequeños) para efectuar sus votaciones: los participantes se ponen en fila en un lugar donde no puedan ver las ilustraciones. El primero de la fila dispone de 30 segundos para pegar un adhesivo (y solamente uno) en las cinco ilustraciones que él prefiera. El dinamizador del ejercicio controla el tiempo.
- Finalizada su "votación", se reordenan –lo hace el mismo dinamizador– las ilustraciones, de más votadas a menos votadas.
- Las ilustraciones con más adhesivos se colocarán a la izquierda de las ilustraciones con menos adhesivos.
- Si dos ilustraciones tienen igual número de adhesivos, se respetará el orden (de izquierda a derecha) original de las ilustraciones.
- Se repite el proceso para cada uno de los participantes.
- Hechas las evaluaciones, se agrupan las ilustraciones en tres grupos: qué fotografías se utilizarían en la publicación, cuáles se devolverían al fotógrafo / diseñador gráfico para su mejora o retoque, y cuáles se rechazarían.
- Los participantes ponen en común el criterio que han seguido para hacer sus votaciones.
- Se comentan con todo el grupo los puntos fuertes y débiles del sistema.

e) Cuestiones a mejorar
- Aplicar el sistema a un sistema de contenidos más complejo (texto).
- Ajustar la fidelidad del taller al modelo real e intentar incorporar el factor "karma".
- Evitar alargar demasiado la actividad con grupos muy numerosos:
- dividiendo los grupos en subgrupos,
- reduciendo el grupo de ilustraciones a evaluar,
- reduciendo el tiempo disponible para evaluar las ilustraciones,
- reduciendo el número de ilustraciones que cada componente puede votar.


3. Wikipedia

a) Objeto en el que se inspira
Sistema de puntuación de contenidos híbrido inspirado en la Wikipedia y el funcionamiento de Swarmsketch.

b) Objetivo
- Establecer un sistema para evaluar de forma rápida contenidos (artículos, noticias, etc.) que llegan a una comunidad de forma participativa y flexible.
- Primar los valores de participación de toda la comunidad (democracia participativa) frente a la reputación establecida (democracia representativa).
- Primar la rapidez y la flexibilidad frente al rigor y transparencia en los procedimientos.
- Sacar provecho de los conocimientos de todos los participantes (wisdom of crowds).
- Poner de manifiesto los puntos fuertes y los puntos débiles de un sistema de revisión particular frente a otros sistemas.

To page 4

Attribution-Noncommercial-No Derivative Works 3.0 SpainPage: 1| 2| 3| 4
Suported by:
Platoniq

BCK 2008 - Collective Evaluation

Sistemas de evaluación de contenidos. Cápsula grabada en el Mercado de Intercambio de Conocimientos Libres, organizado por Platoniq (Barcelona, 2008).

MORE MEDIA: