Testauswertung: Instant Usability Report

Endauswertung durchführen

 

Nach der letzten Testperson wird eine max. zweistündige ausführliche Endauswertung durchgeführt. Dabei werden die als Usability Problem eingestuften Beobachtungen (rote Klebezettel) analysiert, die Problembeschreibung wird konkretisiert, so dass sie später für Nicht-Anwesende Mitarbeiter verständlich ist, und Problemursachen oder konkrete Verbesserungsvorschläge werden ergänzt. Zusätzlich wird für jedes Problem der Schweregrad, die aktuelle Relevanz und die Anzahl der Testnutzer, bei denen das Problem aufgetreten ist, ergänzt.

Der Schweregrad unterscheidet die drei Stufen gering, ernst und katastrophal. Er bezieht sich auf die Usability der Software und wird von den Usability Experten (i.d. R. Testleiter und Protokollant)  eingestuft. Die Relevanz beinhaltet die Abstufungen wenig relevant, relevant, stark relevant und sehr stark relevant und bezieht sich auf die aktuellen Entwicklungsphase. Sie wird von einem Produktverantwortlichen Unternehmensvertreter eingestuft.

Für beide liegt eine Anleitung mit Beschreibung vor (siehe Tabelle Schweregrad und Relevanz).

	Stufe	Beschreibung
Schweregrad	Gering (S1)	Verzögert Nutzer kurz.
	Ernst (S2)	Verzögert Nutzer wesentlich, erlaubt ihnen aber letztlich die Aufgabe zu erfüllen.
	Katastrophal (S3)	Hindert Nutzer an der Aufgabenerfüllung.
Relevanz	Wenig relevant (R1)	Muss aktuell nicht bearbeitet werden.
	Relevant (R2)	Sollte bearbeitet werden, sobald hierfür die nötige Zeit frei wird.
	Stark relvant (R3)	Wichtig: Sollte unbedingt bearbeitet werden, sobald hierfür Zeit frei gemacht werden kann.
	Sehr stark relevant (R4)	Top-Priorität: Unbedingt zu bearbeiten – möglichst als erstes und möglichst schnell.

Schweregrad und Relevanz

Ergebnisreport zusammenstellen

Für den Ergebnisreport wird das zweite Set der ausgedruckten Screens verwendet. Die analysierte roten Klebezettel werden individuell auf dem zugehörigen Screen platziert und fotografiert, so dass ein Fotoreport mit einzeln aufgeführten Usability Problemen entsteht (problembezogen).

Alle weiteren Klebezettel (grün, gelb und blau) werden zusammen auf einem Screen fotografiert (seitenbezogen). Sie dienen als zusätzliche Information und Inspiration und werden nicht individuell ausgewertet.

Der Ergebnisreport dient als Gedächtnisstütze für eine zeitnahe Verarbeitung in den nächsten Iterationszyklen. Er bietet keine ausführliche Beschreibung der aufgetretenen oder zugrundeliegenden Probleme, weshalb zur korrekten Einordnung der Erkenntnisse die Anwesenheit eines Unternehmensvertreters während der Testung erforderlich ist.

Management Summary erstellen

Neben dem Ergebnisreport wird noch eine kurze Executive Summary erstellt. Darin wird der Gesamteindruck sowie die wichtigsten Erkenntnisse oder übergeordnete Probleme, die nicht explizit auf den Klebezetteln vorhanden sind, festgehalten.

Die Executive Summary wird gemeinsam von Testleiter, Protokollant und Unternehmensvertreter erstellt und sollte nicht nicht länger als eine DinA4 Seite sein.

Fotoreport und Management Summary können direkt im Anschluss an den Unternehmensvertreter ausgehändigt werden.

Präsentation zur Vorstellung der Methode und deren Evaluation 

Download der Präsentation
Download Paper der Methodenevaluation