Ranking-Filter Prototyp

Am 16.12.2005 sind die ersten von Nutzern verfassen Artikel in unser Satire-Portal Sensation! eingegangen. Sensation! ist ein auf Joomla! basierendes Nachrichtenportal für kreative Schnellschreiber, welches wir für die Berliner Tageszeitung "Der Tagesspiegel" entwickelt haben.

Ein paar Worte zu Sensation!:

"Wir geben Ihnen 1 Thema, 4 Wörter und 5 Minuten Zeit! Mehr nicht. Jetzt sind Sie dran: Erstellen Sie in den 5 Minuten eine möglichst originelle Story, die auf das Thema eingeht und die vorgegebenen vier Worte sinnvoll integriert!

Noch vor Ablauf der Zeit – also innerhalb der 5 Minuten – müssen Sie Ihren Text abgeschickt haben. Nun wird er von mehreren Mitspielern, den anderen Autoren, bewertet. Nur die besten Stories schaffen es auf die Titelseite von Sensation! oder eine der Ressortseiten."

Jeden Tag wird hier eine neue, komplett von Nutzern verfasste und bewertete Titelseite präsentiert. Dabei haben wir von Anfang an mit unterschiedlichsten Mechanismen versucht, ein möglichst gerechtes und motivierendes Bewertungsklima zu schaffen. Das Bewertungsprinzip bei Sensation! folgt anderen Regeln als auf bekannten UGC-Portalen. Das Ranking der Artikel wird nicht durch Hits, Rocks, Diggs oder werweißwas ermittelt, sondern durch das anonyme Bewerten vom System vorgegebener ebenfalls anonymer Artikel.

Der Ranking-Filter

Einer dieser Mechanismen war der Bewertungsfilter, oder die "Ausreißeranalyse", wie sie mal genannt wurde. Der Ranking-Filter, kurz Filter, funktioniert für das Sensation!-Format recht gut und hat schon so manche ungerechte Bewertung wieder geradegebogen. Trotzdem gibt es auch bei Sensation! immer wieder Nutzer welche fantastische Verschwörungstheorien spannen (Redaktion zieht aus politischen Ambitionen bestimmte Artikel runter) oder auch mal komplett Amok laufen (Ausweiskontrolle für jeden registrierten Autor).

Zur Zeit basteln wir an Konzepten und Prototypen für eines neuen UGC-Portal. Falls sich das Format in die Richtung entwickelt, welche uns vorschwebt, benötigen wir einen etwas höher entwickelten Filter, als er bei Sensation! zum Einsatz kommt.

Aus diesem Grund habe ich unseren momentanen Prototypen online gestellt, um von der Sensation! Community und allen die daran Interesse haben etwas Feedback zu bekommen.

Der Umgang wird auf der Seite des Filters relativ detailiert beschrieben.

Bewertungen filtern? Was soll der Quatsch!?

Stellen Sie sich vor, sie haben DEN Artikel Ihres (kurzen) Blogger-Lebens geschrieben und stellen ihn auf einem Portal ein, um von anderen Bloggern bewertet zu werden und gegen deren Artikel anzutreten. Und tatsächlich bekommen Sie auf der Notenskala von Eins bis Sechs ausgezeichnete Bewertungen! Vier Einsen und eine Zwei sind dabei. Doch dann sprechen sich zwei neidische Blogger ab und drücken Ihnen eine Fünf und eine Sechs rein. Boom! Ihr Notendurchschnitt von 1.2 sinkt auf tragische 2.43 womit Sie auf dem Ranking komplett abgeschlagen sind.

Zugegeben, das hört sich etwas kleinkarriert an. Bei Fehlen eines Filters kann das bei Interessen getriebenenen Communitys jedoch schnell zu Frustration großer Teile der Community führen.

Grundlegendes

Wer sich mit dem Prototypen auseinandersetzen will, sollte folgendes wissen: Das Ziel ist einerseits herauszufinden, ob mit dem momentanem Filter grundsätzlich zufriedenstellende Ergebnisse erzielbar sind, und andererseits welcher Schwellenwert allgemein als gerecht empfunden wird.

Der Schwellenwert

Einfach formuliert gibt der Schwellenwert (Schwelle) an, wie "hart" beziehungsweise "tolerant" der Filter vorgeht. Eine hohe Schwelle (z. B. 5) verhält sich toleranter gegenüber stark schwankenden Bewertungen. Eine extrem niedrige Schwelle (z. B. 0.1) filtert schon weniger abweichende Bewertungen.

Obwohl der Sensation!-Filter anders aufgebaut ist, beinhaltet auch er eine Schwelle. Durch verschiedene Tests hat sich herausgestellt, dass diese Schwelle etwas härter eingestellt ist, als unser Richtwert für den neuen Filter. Das liegt daran, das seinerzeit die Sensation!-Community viel Feedback für die Einstellung der "richtigen" Schwelle gegeben hat. So werden bei Sensation! schon relativ leichte Abweichungen gefiltert, was als gerecht empfunden wird. Dies hat natürlich auch Nachteile, denn der Filter arbeitet auf beiden Seiten der Notenskala. So wird bei einer härteren Einstellung auch mal eine 1 gefiltert, wo sonst nur Noten um die 3 liegen. Eine weichere Einstellung des Filters zeigt sich bei einer hohen Anzahl an Bewertungen als praktikabler.

Für Sensation!-Autoren

Als erstes sollten Sie wissen, dass der neue Filter nur ein Experiment ist und KEINEN EINFLUSS AUF DIE BEWERTUNG BEI SENSATION! hat. Sie können mit dem Prototypen spielen und Vorschläge aller Art einbringen.

Es besteht die Möglichkeit, sich die Ergebnisse des neuen Filters bei Sensation! parallel zur echten Story-Note anzeigen zu lassen. So können Sie jederzeit sehen, wie sich der neue Filter im Vergleich zum Alten verhält. Um die Anzeige zu aktivieren, müssen Sie registrierter Sensation!-Autor sein. Gehen Sie in Ihrem Profil auf "Profil bearbeiten" und aktivieren Sie ganz unten den "Remote Filter".

Danach sollten sie bei den Storys der Woche folgendes sehen:

Remote-Was??! Da sich der Prototyp auf einem anderen Server als Sensation! befindet, wird der neue Filter von einem entfernten Server geholt. Unser Entwickler nannte das ganze dann "Remote-Filter". Am besten nicht drüber nachdenken...
Das nette dabei ist, dass Sie auf die neue Note klicken können, direkt auf dem Prototypen landen und mit dieser, von Sensation! stammenden Bewertung auf dem Prototypen rumspielen können.

Falls Sie sich wundern, dass der neue Filter grundsätzlich immer die selben Ergebnisse liefert wie der alte Sensation! Filter kann ich Sie beruhigen: Das tut er auch meistens. Einerseits wird bei Sensation! meistens gerecht bewertet und andererseits geht die Anzahl der Votes selten über Zehn hinaus. Falls Sie eine Abweichnung der beiden Filter finden, sollten Sie diese genauer unter die Lupe nehmen und überlegen welcher der Filter hier sinnvoller vorgeht.

Für alle anderen

Wer von Sensation! noch nie etwas gehört hat, kann zwei Dinge tun. Erstens: Autor werden und den oberen Absatz lesen. Zweitens: Einfach den Filter auf Herz und Nieren testen. Es können automatisch generierte Bewertungen als Basis genommen werden, um z. B. zu sehen, wie sich der Filter bei vielen Votes verhält. Es können auch manuelle Votes getestet werden, um damit den Schwellenwert auf eine tausendstel Stelle nach dem Komma zu justieren.

Wie funktioniert der Filter?

Als Basis der Berechnungen dienen Formeln der beschreibenden Statistik. Obwohl ich persönlich kein Freund von Konstanten bin und häufig versuche Lösungen "aus dem System" zu entwickeln, hat sich bei dieser Aufgabe einen solche "Eselei", also der Schwellenwert, als bis jetzt flexibelste Lösung erwiesen. Die ersten Tests verschiedener neuer Filter führte ich bei Google Docs durch und dabei entstand folgendes:

Die Grafik unten zeigt den Schwellenwert von F9, also 2.35 in Blau, und die Varianzen der einzelnen Bewertungen im Vergleich dazu. Liegt eine Varianz über dem Schwellenwert, wird deren Note gefiltert. In diese Berechnung fließen noch einige andere Faktoren, aber das wäre das Grundprinzip. Was eine Varianz ist, muss man nicht wissen, auch sind die ganzen grauen Zahlen unwichtig.

Bevor Sie sich über die Zahl 2.35 (momentane Schwelle) beschweren:

Sind Sie sicher, dass Ihr Vorschlag verschiedenensten Bewertungsszenarien Stand hält? Sie finden es blöd, dass bei einer Bewertung wie 1,2,2,4 nicht die Vier gefiltert wird? Aber was passiert, wenn Sie aus einer der Zweien eine Eins machen?

Wenn Sie alle möglichen Szenarien probiert haben, versuchen Sie folgende Bewertung: 1,1,1,1,6,6,6. Welche Noten sollten Ihrer Meinung hier gefiltert werden? Meiner Meinung nach keine, solange keine der beiden Seiten deutlich überhand gewinnt.

Das ist natürlich ein Extrembeispiel, welches z. B. bei Sensation so noch nie vorkam. Allerdings wird der Filter, welcher sich hier bewährt, bei den meisten (meistens gerechten) Bewertungen keine Schwierigkeiten haben.

• Der Ranking-Filter Prototyp
• Remote-Filter im Sensation!-Profil aktivieren

8 Kommentare

Zeige/Verstecke Kommentareingabe