HCI/sem-bericht/chapters/50_test.tex

136 lines
8.3 KiB
TeX

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\chapter{Usability Test - CloudMan}\
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\chapterstart
% 1. Jede Gruppe führt mit dem interaktiven Prototyp einen Usability Test mit
% 4 Personen durch (ein Pilottest, drei echte Tests)
\section{Zusammenfassung}
\subsection{Testumgebung}
Um für alle Testpersonen die gleichen Voraussetzungen zu schaffen wurde als Testumgebung ein Android Endgerät verwendet.
\subsubsection{Hardware}
Auf dem besagten Gerät wurde wie in Abbildung~\ref{fig:chrome-version} zu sehen der Chrome Browser der
Version 71.0.3578.99 verwendet. Das Gerätedisplay bietet eine Auflösung von 1440 x 2560 Pixel bei einer größe von 5,5 Zoll.
Der Zugriff auf den Hochleistungswebserver erfolgte über das mobile Internet von A1, wobei bei allen Tests eine Verbindungsqualität von zumindest 3G (HSDPA) erreicht wurde.
\begin{figure}
\begin{center}
\includegraphics[width=0.6\textwidth]{./images/usability_test/chrome-version.PNG}
\caption[Für den Test verwendeter Browser]{Chrome Browser mit Version 71.0.3578.99}
\label{fig:chrome-version}
\end{center}
\end{figure}
\subsubsection{Raum}
Der Usability Test von CloudMan wurde von allen ProbandInnen in einer entspannten Umgebung z.B. auf der Wohnzimmercouch durchgeführt.
Diese Räumlichkeit wurde gewählt um eine möglichst ungestörte, gemütliche sowie gewohnte Atmosphere zu schaffen.
So kann davon ausgegangen werden, dass die resultierenden Testergebnisse nicht durch die Nervosität der ProbandInnen beeinflusst wurden.
\subsection{Testobjekt}
Das Testobjekt diente der in Kapitel~\ref{ch:prototype} beschriebene Prototyp mit voreingestellter Konfiguration (Produkte, Login, etc.).
\subsubsection{Beschreibung des Objekts}
Der Prototyp bietet der jeweiligen Testperson die Grundfunktionalitäten von CloudMan.
\begin{itemize}
\item Küchenübersicht
\item Schankübersicht
\item Tischübersicht
\begin{itemize}
\item Aufnahme einer Bestellung
\begin{itemize}
\item Bestellung aufnehmen
\item Bestellung bearbeiten
\item Bestellung als zugestellt markieren
\item Bestellung kassieren
\end{itemize}
\end{itemize}
\end{itemize}
\subsection{Testbeschreibung}
Vor Testbeginn wurde bereits die entsprechende Webseite geöffnet und das mobile Endgerät übergeben,
damit alle Testpersonen auf der Login-Seite von CloudMan starten konnten.
Nach einer kurzen Erklärung des Testszenarios wurden durch den Moderator verschiedene Aufgaben erteilt.
Diese galt es so schnell wie möglich zu lösen.
\subsubsection{Methode}
Bevor konkrete Aufgaben gestellt wurden, wurde den ProbandInnen ein fiktives, jedoch realitätsgetreues Testszenario vorgestellt.
Dabei sollen sich die drei TeilnehmerInnen in jeweils eine der nachfolgend beschriebenen Zielpersonen versetzen.
Das Szenario ist ein Feuerwehrfest. Die Zielpersonen sind der Veranstalter Luis, der Großeventveranstalter Franz sowie Jamie O., ein leidenschaftlicher Koch aus England.
Wie oben genannt sollen die ProbandInnen vorgegebene Aufgaben lösen und währenddessen nicht sprechen.
Da ein erklärtes Ziel von CloudMan die einfache Handhabung ist, gab es für die Testpersonen auch keinerlei Hilfestellung bei der Erledigung.
\subsubsection{Testplan}
CloudMan könnte beispielsweise für kurzweilige oder nicht ortsgebundene Veranstaltungen eingesetzt werden.
Sowohl die einfache Bedienung der Software als auch das Geschäftsmodell sind darauf ausgerichtet.
Der Ziel des Tests ist es vor allem die adequate Umsetzung der einfachen Bedienbarkeit durch nicht zuvor ausgebildete Personen zu verifizieren.
Dabei stehen nur Basisfunktionen, nicht der vollständige Funktionsumfang der Anwendung zur Verfügung.
\subsubsection{Aufgabenliste}
Insgesamt wurden drei Aufgabenstellungen erarbeitet und in einem Vortest durch einen der Entwickler getestet.
Für den ersten Test (einloggen, bestellen) benötigte der Tester 43 Sekunden.
Der zweite (Dashboards erkunden) war nach 28 Sekunden abgeschlossen.
Nach 37 Sekunden konnte auch die Erkundung des Finanzdashboards abgeschlossen werden.
Der Vortest wurde innerhalb des lokalen Netzwerks durchgeführt. \href{https://home.wolfmajer.at/index.php/s/XdFHt3AQ7536kPP}{(siehe Video)}.
\begin{itemize}
\item Aufgabe 1 - einloggen, bestellen
\begin{itemize}
\item Bitte einloggen und Tisch fünf auswählen.
\item Bestellung auslösen.
\item Tisch fünf abrechnen.
\end{itemize}
\item Aufgabe 2 - Dashboards (kurze Beschreibung von CloudMan)
\begin{itemize}
\item Schank- und Küchendashboards erkunden
\item Fragestellung: Welche Aktion würdest du ausführen um ein Produkt (Bsp. Grillhendl) als erstellt zu kennzeichnen.
\end{itemize}
\item Aufgabe 3 - Finanzielles
\begin{itemize}
\item Finanzdashboard öffnen und erkunden (ohne nähere Positionsbeschreibung)
\item Finanzdashboard Erkenntnisse / Eindrücke mitteilen
\item Feedback ob Informationen dort nützlich sind
\end{itemize}
\end{itemize}
Durch das simple Design sollte es auch nicht mit CloudMan vertrauten Personen möglich sein die Aufgaben in maximal 50 Sekunden zu lösen.
\subsection{Testpersonen}
Insgesamt nahmen am Test drei Frauen im Alter von 24, 26 und 28 Jahren teil,
wobei nur eine noch keine Erfahrungen im Bereich des Gastgewerbes vorweisen konnte.
Alle drei sind mit dem Betriebssystem Android vertraut, da sie auch privat ein Android Smartphone verwenden.
\subsection{Ergebnisse}
\subsubsection{Testperson 1 - Szenario: }
Ausgangssituation: Franz ist beauftragt das Feuerwehrfest der FF Voitsberg zu organisieren.
Er soll insbesondere die Umsatzzahlen des Tages, sowie Trends bei den Produkten beobachten.
Zudem soll er die beste Kellnerin/ den besten Kellner nach der Veranstaltung belohnen.
Die Testerin löste die Aufgabe in 45 Sekunden und erklärte, dass es sich bei der Ansicht um eine Übersicht über Umsatzzahlen handelt.
Zudem meinte sie, dass diese genau passend zur Aufgabenstellung neben dem Tagesumsatz, den besten Kellner (Luis),
sowie das meistverkaufte Produkt des Tages (Würstel).
\subsubsection{Testperson 2}
Ausgangssituation: Luis ist für die Bestellungen und Abrechnung zuständig.
Ihm ist es wichtig, alles schnell erledigen zu können, damit er am Ende des Tages den größten Beitrag zum
Tagesumsatz besteuern kann.
Die Aufgabe eins, wurde von der zweiten Testperson in 63 Sekunden gelöst.
Die Schritte Bestellung auslösen und Tisch fünf abrechnen funktionierten dabei ohne Probleme.
Probleme gab es vor allem beim Login.
Die Testerin versuchte ihre Email Adresse einzugeben, wobei dies beim Prototypen nicht erforderlich war und verbrauchte dabei 17 Sekunden.
\subsubsection{Testperson 3}
Ausgangssituation: Jamie O. ist für die Küche verantwortlich. Ihm ist ein perfekter Ruf des Feuerwehrfestes, insbesondere für sein Essen ein Anliegen.
Vor allem am Abend muss er jedoch auch in der Schank aushelfen, da weniger in der Küche los ist.
Für die Erkundung der beiden Dashboards (Küche und Schank), wurden nur 20 Sekunden benötigt.
Die Frage wie ein Produkt als fertig markiert werden kann wurde auch ohne zu zögern richtig beantwortet.
\subsubsection{Analyse}
Da es vor allem beim Login zu Missverständnissen kam, muss hier bei weiteren Tests eine besser Aufklärung über den Umfang des Prototypen erfolgen.
Überdies ist auch für die Produktivsoftware eine alternative Anmeldemöglichkeit in Erwägung zu ziehen.
\subsubsection{Empfehlungen}
\begin{itemize}
\item Alternative Anmeldemethode mittels QR-Code.
\item Gegebenenfalls den Fingerabdrucksensor des Smartphones bzw. FaceID verwenden.
\end{itemize}
\subsection{Resümee}
Der Prototyp kam sehr gut bei den ProbandInnen an. Es gab zu den Funktionen wenig negatives Feedback.
Das Hauptziel der einfachen Bedienbarkeit von CloudMan kann gut umgesetzt werden, wobei insbesondere auf
eine komfortablere Login Funktionalität geachtet werden muss.
% des Usability Tests und Empfehlungen zur Verbesserung (ggf. inkl. annotierte Abbildungen)
% --> Abgabe über Lernplattform
\chapterend