The idea is comparing the traditional academic system of double blind peer review with other systems emerging on the Information Society to assess content in online communities, like the ones used in Wikipedia, Slashdot or Digg. But without using computers: everything off-line, analogue.

A project within the framework of the Bank of Common Knowledge, the idea is to help communities — online or offline, whatever — to evaluate their incoming content in order to assess its suitability for their purposes. To do so, we created a workshop were the rudiments of several systems (three, so far) were explained, compared and practiced in simulations of situations where such content had to be evaluated — in no more than an hour.

Adapting online systems for offline use — no computers used — has been quite a challenge and, of course, not all features of online systems could be included, for both reasons of time or feasibility. One of this (sadly) missing features is all the karma system which, in some way, is the core reputation system — explicit or implicit — of many online communities, the problem being that karma is cumulative along time and requires lots of interaction, direct or indirect voting on the user and his contributions, etc., something the workshop just cannot aim at achieving. In other words: content and reputation of the user creating or promoting this content are becoming, as time passes, two sides of the same coin, something that not necessarily has been this was in analogue systems like the scientific peer review, where double blindness is usually a must.

I'm in terrible debt with the Platoniq collective (especially Olivier Schulbaum and Susana Noguero) for inviting me (and putting up together such a terrific project like the Bank of Common Knowledge), the beta testers that provided much valuable feedback unselfishly, and Pau Alsina for his networking aptitudes.

Unfortunately, this Method hasn't been translated yet. Please read Spanish Text:

Introducción

Uno de los principales problemas de la ciencia (y de toda transmisión de conocimiento en general) es cómo validar las afirmaciones que uno hace. Establecido el método científico, basado en la medida de evidencias observables y empíricas, la solución pasa por evaluar en qué medida se ha seguido dicho método. El problema aparece entonces en cómo garantizar que dicha evaluación es objetiva, independiente, no interesada y exenta de amiguismos.

A mediados del siglo XX se establece la revisión por pares para evaluar los artículos presentados para ser publicados en una revista científica. Pasado un primer filtro por el editor, más centrado en temas formales (formato, tema, etc.), una serie de árbitros –reputados en su campo– evalúan de forma anónima los escritos, comentándolos y proponiendo, al final, la publicación o no publicación de los mismos.

Aunque con muchas ventajas, el sistema goza también de algunos inconvenientes. Algunos de ellos derivan de la construcción del mismo sistema: para garantizar el anonimato, la transparencia de todo el sistema se resiente, convirtiéndose en debilidad lo que se planeó como la mayor fortaleza. Por otra parte, y por cuestiones de coste en tiempo y recursos, la evaluación no puede ser llevada a cabo más que por unos pocos árbitros. El reducido número de árbitros hace que existan riesgos de sesgo –por ser una muestra poco representativa del área de conocimiento– así como de (irónicamente) poca reputación, dadas las limitaciones humanas para ser experto en un gran número de campos.

En los siguientes ejercicios se plantea una simulación muy simplificada del sistema de revisión por pares, así como nuevas formas de revisión / reputación aparecidas a la luz de las Tecnologías de la Información y la Comunicación para validar los contenidos que aparecen en foros o sistemas de recomendación de noticias (por ejemplo, Digg) o para la producción colectiva de documentos (por ejemplo, Wikipedia).


1. Sistema académico - revisión por pares

a) Objeto en el que se inspira
Sistema Académico Tradicional de revisión de escritos por pares (peer review; también arbitraje o refereeing).

b) Objetivos

To page 2→