Abstrakt
Testovanie použiteľnosti je dôležitým, ale často prehliadaným aspektom seriózneho vývoja hier. Problémy v použiteľnosti môžu výrazne ovplyvniť užívateľské skúsenosti, a preto je tento článok zameraný nielen na vysvetlenie dôležitosti a prínosov testovania použiteľnosti, ale zároveň predstavuje a objasňuje najpoužívanejšie metódy, s ktorými sa pri testovaní môžete stretnúť.
Testovanie použiteľnosti
Testovanie použiteľnosti je kľúčovým krokom pre vytvorenie úspešného projektu, či už ide o hru alebo aplikáciu. Takéto testovanie slúži predovšetkým na odhalenie chýb testovanej hry z hľadiska použiteľnosti, obtiažnosti, hrateľnosti a užívateľského rozhrania. Zabezpečí, aby heterogénna populácia mohla ľahko komunikovať s inovatívnymi aplikáciami a nemusela prekonávať výzvy a rušivé aspekty, ktoré neboli dizajnované developermi. (1)
Nikto nechce hrať hru, ktorá je frustrujúca alebo príliš obtiažna z nesprávnych dôvodov. Preto tá najlepšia cesta ako sa uistiť, že nežiadúce či skryté problémy neuberajú hráčovi pôžitok a radosť z hry, je zamerať sa na testovanie použiteľnosti už počas vývoja. (2)
Ideálne riešenie, ktoré šetrí čas a prináša hmatateľné výsledky je obrátiť sa s testovaním použiteľnosti na profesionálov, ktorí majú v tejto oblasti dlhoročné skúsenosti.
Prečo je testovanie použiteľnosti take dôležité
Je vela dôvodov, prečo je testovanie použiteľnosti v hrách take významné. Jedným z nich je fakt, že hry sú postavené na báze dobrovoľnosti. Teda narozdiel od webových stránok, ktorých používanie je viac menej nevynutné, v hre je akákýkoľvek aj menší problem, či nevyhovujúce užívateľské prostredie, uberajú hráčovi na zábave a zážitku z hry. Teda nič mu nebráni hru vypnúť, alebo začať hrať inú, novú, z ktorej má viac radosti a väčší pôžitok. Aj tá najmenšia chyba tak môže zmeniť vo svojej podstate dobrú hru na nepríjemný zážitok, ktorý si už hráč nebude chcieť zopakovať.
Druhým rovnako významným dôvodom, prečo je kvalitná použiteľnosť v hrách extrémne dôležitá je veľká konkurencia na trhu internetových hier. Hráči si môžu vybrať z obrovského množstva podobných a bezplatných hier, vďaka čomu si môže vyskúšať a vybrať iba takú hru, ktorá sa sa používa najjednoduchšie a prináša mu najlepší zážitok. Z tohto dôvodu sú práve prvé minúty hrania pri tomto type hier tie najdôležitejšie. (2)
Udržať si konkurenčnú výhodu je preto pre každého developera hry kľúčové. Práve kvalitým testovaním vám vieme zabezpečiť, že váš užívateľ už nebude mať dôvod skúšať konkurenčné hry a bude sa stále vracať práve tej vašej aj naďalej.
Testovanie použiteľnosti Vám prinesie dokonalé porozumenie potrebám užívateľov, ktoré maximalizuje efektívnosť, účinnosť, optimalizuje úlohy, redukuje stres, prináša jednoduchú orientáciu v užívateľskom rozhraní a samozrejme neobmedzenú radosť z hry, bez zbytočných komplikácií, čo vedie k uspokojeniu potrieb užívateľa a k naplneniu jeho očakávaní.
Najefektívnejšie metódy používané pri testovaní
Expertné hodnotenie
Expert review je hodnotenie jedného alebo viacerých skúsených odborných konzultantov, ktorý majú potrebné znalosti a vedomosti a dostatočné predošlé skúsenosti na nájdenie možných funkčných chýb a problémov.
Názor odborníka alebo odborníkov je jednou z obvyklých metód používaných na otestovanie hernej použiteľnosti. Je rýchla, lacná a nie je potrebné žiadne špeciálne vybavenie. Môže vývojárom poskytnúť veľa dôležitých informácií a je to skvelá metóda na odštartovanie väčšieho herného projektu. Dôležitou a silnou výhradou voči tejto metóde môže byť fakt, že celý testovací proces prebehne bez akéhokoľvek kontaktu s užívateľmi. Takto sa stráca skvelá príležitosť pozorovať hráčov ako komunikujú s hrou a vďaka tomu pochopiť samotných hráčov, ako oni hru vnímajú, aké majú potreby a túžby, čo ich motivuje. Toto je pridaná hodnota výskumu, pretože pochopenie užívateľov môže zlepšiť nielen súčasné, ale aj budúce hry. (3)
Testovanie jeden na jedného
Táto metóda využíva účastníkov, spadajúcich do profilu cieľových hráčov, ktorý hrajú hru za pomoci a podpory moderátora. Ten im počas hry,počas toho ako narážajú na prekážky, kladie otázky, ktoré mu pomáhajú pochopiť hráča a jeho rozpoloženie, spoznať jeho prístup a spôsob hry.
Testovanie hry metódou „1-na-1“ (1 hráč a 1 tester, resp.moderátor) poskytuje množstvo kvalitných a relevantných „do hĺbky“ idúcich informácí. Vďaka tomu, že moderátor hráča priamo sleduje a koncentruje sa iba na neho (nie je rozptylovaný ďalšími hráčmi), môže skúmať jeho správanie a pátrať po dôvodoch jeho konania oveľa detailnejšie, ako pri iných metódach testovania.(4)
Skupinové testovanie použiteľnosti
Táto metóda sa používa na testovanie viacerých hráčov naraz. Spolu s nimi je v miestnosti aj jeden alebo dvaja moderátori, ktorí im v prípade potreby pomáhajú a zároveň sa snažia čo najviac si všímať ich správanie a reakcie na hru.
Táto metóda umožňuje otestovať viacero hráčov, než metóda 1-na-1, s takými istými finančnými nákladmi. Avšak s tým súvisí zníženie presnosti a možná strata dôležitých údajov, kedže moderátory sa musia koncentrovať na viacerých hráčov naraz a strácajú možnosť ísť pri získavaní informácií do hĺbky. To môže ovplyvniť ich kvalitu a relevantnosť. Môžu sledovať ako sa hráči vysporiadavajú s objavujúcimi sa problémami, avšak bez toho aby sa ich dôkladne povypytovali, nemusia zistiť prečo sa objavujú a ako k nim dochádza. Pri porovnaní s ostatnými metódami, nedôjde k úplnému pochopeniu hráčov, ich myslenia a správania.
Ďalším nedostatkom skupinového testovania je tzv. „groupthink“. Tento problém o to výraznejší, ak sapočas testovania využíva verbálny feedback. Pri kladení otázok a odpovedaní na ne sa môžu hráči navzájom ovplyvnovnyť, a tak aj zmeniť svoje správanie.(5)
Denníkové štúdie
Pri testovaní hier prostredníctvom tejto metódy si hráči píšu denník, do ktorého zapisujú informácie o hre. Zbierajú dáta, ktoré im zadefinuje tester, resp. výskumný tím a to z pohodlia vlastného domova.
Denníky sú zaujímavou metódou ako pochopiť hráčov. Skutočne otvárajú okno do ich života, myslenia a spôsobu hry. Výsledkom je množstvo dát, ktoré môže výskumník použiť. Tak ako metóda „1-on-1“, aj tento spôsob (vďaka tomu, že zachytáva dlhšie obdobie) umožňuje naplno pochopiť hráčov a ich potreby, motiváciu, túžby a zvyky.
Najvýraznejšími nedostatkami denníkových štúdií je veľká časová náročnosť (je potrebný dlhší čas na zozbieranie údajov od hráčov, ako aj na ich následné vyhodnotenie) a množstvo úsilia potrebného na spracovanie získaných údajov. Vedenie si podrobných záznamov vplýva aj na hráčov, čo ich psychicky postupne vyčerpáva a má za následok negatívny vplyv na obsah denníkov. Okrem toho patria k finančne náročnejším metódam.(6)
Spätná väzba užívateľov
Feedback je často používanou technikou na zlepšovanie a upravovanie hier (najmä sociálnych hier, kedže ich vývoj často trvá dlhšiu dobu aj po ich spustení). Môže byť „studnicou“ nápadov, najmä v prípade možného budúceho vývoja sociálnych aspektov hry.
Tak ako denníková metóda, aj feedback sa spolieha na schopnosť hráčov sledovať svoje správanie, z čoho vyplýva, že je menej efektívny pri hľadaní chýb vo funkčnosti hry (napr.: nie je vhodný na zistenie s akými chybami sa hráč stretol v úvode hry – „tutorial“).
Nedostatkom je fakt, že feedback poskytujú žiaľ iba tí hráči, ktorí sú dostatočne motivovaní na kontaktovanie vývojárov. Môže sa stať, že nezahrnie cieľovú skupinu hráčov, pre ktorých má byť vylepšená. (7)
Kontextové interview
V priebehu tohto typu interview, výskumný pracovník pozoruje a počúva účastníka v jeho prirodzenom prostredí (doma apod.), a nie v „laboratóriu“, resp. miestnosti určenej na testovanie. Kontextové interview býva spravidla uvoľnenejšie a prirodzenejšie, s výsledkami, ktoré sú niekedy realistickejšie a spoľahlivejšie, než tie získané pri inych typoch rozhovorov. Bývajú tiež menej formálne a nepoužívajú sa pri nich scenáre a nezadávajú úlohy.
Pre pochopenie účastníkovej činnosti a jeho myslenia, sa pozorovateľ pýta otázky počas toho ako sa účastník pohybuje po stránke alebo prechádza aplikáciou. Výsledkom sú skôr kvalitatívne údaje získané pozorovaním, ako kvantitatívne údaje získané meraním. (8)
Testovanie na diaľku
Testovanie účastníkov na diaľku umožňuje viesť výskum s užívateľmi v ich prirozdenom prostredí pomocou softvéru na zdieľanie obrazoviek alebo prostredníctvom využitia vhodných online služieb. Spravidla zaberie testovanie 15 – 30 minút a skladá sa z 3 až 5 úloh.
Počas moderovaného testovania na diaľku sú účastníci pozorovaní zatiaľ čo plnia požadované úlohy. Moderované testovanie je vhodné na zložité úlohy, ktoré nemajú štruktúrovaný postup krokov alebo v prípadoch, kedy väčšia interakcia a kladenie otázok prinesie testovaniu úžitok. V priebehu nemoderovaného remote testovania plnia účastníci úlohy samostate bez interakcie s moderátorom. Nemoderované testovanie je o to efektívnejšie, ak je potrebné získať odpovede na otázky, akým spôsobom užívatelia používaju UI pri relatívne jednoznačných úlohách. (9)
Dôležité body pri testovaní použiteľnosti:
- Analýza cieľových skupín a ich potrieb
- Príprava scenárov testovania
- Výber testovacích používateľov, podľa požiadaviek a cieľovej skupiny
- Samotné testovanie použiteľnosti
- Vypracovanie záverečnej správy s návrhmi a funkčnými riešeniami
pre optimalizáciu hry
Koľko zvoliť testovacích subjektov?
Podľa Jakoba Nielsena dokáže najlepšie výsledky zabezpečí päť subjektov. Teda namiesto testovania s desiatkami rôznych používateľov sa odporúča spraviť čo najviac testov s maximálne piatimi testovanými osobami. Jeho hlavným argumentom je, že ak zistíme veľký problem s používaním aplikácie už pri prvých troch užívateľoch, len veľmi málo dosiahneme tým, že budeme sledovať ako majú rovnaký problém ďalší dvadsiati. Podľa výskumu Jakoba Nielsena a Toma Landauera bolo zistené, že počet nájdených problémov s použiteľnosťou pri n testovaných používateľoch je definovaný vzťahom:
N je celkový počet problémov použiteľnosti a L je podiel problémov použiteľnosti zistených pri testovaní jedného používateľa. Bežná hodnota pre L je priemerne 31%. Pomocou tejto rovnice môžeme získať nasledujúci graf:
Obrázok 1: Počet nájdených chýb vzhľadom k počtu testovaných používateľov
Zdroj: http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
Z grafu môžeme jasne vidieť, že pri jednom testovanom používateľovi dokážeme objaviť tretinu všetkých problémov. Po testovaní s druhým používateľom zistíme, že robí pár vecí rovnakých, ako prvá testovaná osoba. Niektoré z chýb na ktoré poukáže sa budú prekrývať. Pretože sú ľudia rozdielni, určite narazíme aj na niektoré nové problémy. Určite ich však nebude tak veľa, ako objavil prvý testovaný. A takto pokračujeme ďalej.
Tretí testovaný používateľ bude nás upozorní na veľa vecí, ktoré už predtým opísal prvý aj druhý používateľ. Niektoré z nich budú pravdepodobne rovnaké u všetkých troch. Samozrejme nám pomôže odhaliť aj niektoré nové problémy. Rozhodne ich však bude menej ako pri prvom a druhom testovanom.
Ako budeme pridávať viac a viac používateľov, tým menej nových problémov nám každý jeden z nich objaví. Väčšinou budú vidieť znovu tie isté chyby, na ktoré narazili už tí pred nimi. Preto nie je potrebné, aby sme pozorovali rovnakú vec niekoľkokrát. Po piatom testovanom používateľovi začíname strácať čas tým, že sledujeme rovnaké problémy a prichádzame len na veľmi málo nových.
Krivka nám takisto ukazuje, že ak chceme objaviť všetky problémy, potrebujeme testovať aspoň 15 ľudí. Namiesto spravenia jedného testu s 15 ľuďmi je výhodnejšie využiť financie na 3 testy po 5 ľudí. Po každom teste sa snažíme odstrániť nájdené problémy. Keď ich odstránim testujeme znovu s ďalšími piatimi ľuďmi. Výsledky od nich nám napovedia, či sa nám podarilo chyby skutočne odstrániť alebo či sme nevytvorili omylom niektoré ďalšie. Okrem overenia správnej opravy chýb, nám druhý test pomôže odhaliť aj niektoré menšie chyby o ktorých sme doteraz nevedeli.
Zdroje:
- Advances in Human-Computer Interaction (2012).[Citované 10.04.2015]. Dostupné na internete: <http://www.hindawi.com/journals/ahci/2012/369637/
- S. Laitinen : Better Games Through Usability Evaluation Testing (2005) [Citované 01.04.2015]. Dostupné na internete: http://www.gamasutra.com/view/feature/130745/better_games_through_usability_.php
- Molich, R. and Nielsen, J., Improving a human- computer dialogue, Communications of the ACM, 33(3), 338-348, (1990).
- Benefits of Usability testing. [Citované 01.04.2015] Dostupné na internete: https://www.blastam.com/benefits-of-usability-testing.aspx
- Focus Groups. [online].[Citované 07.02.2015]. Dostupné na internete: <http://www.usability.gov/how-to-and-tools/methods/focus-groups.html>
- Usability Sciences [Citované 01.04.2015] Dostupné na internete: http://www.usabilitysciences.com/services/diary-study
- In usability.gov [Citované 01.04.2015] Dostupné na internete: http://www.usability.gov/how-to-and-tools/methods
- Improving the user experience. [Citované 01.04.2015] Dostupné na internete: http://www.usability.gov/how-to-and-tools/methods/contextual-interview.html
- “Remote Research: Real Users, Real Time, Real Research” by Nate Bolt Rosenfeld Media; 1st edition (February 8, 2010)
- NIELSEN, J.: Why You Only Need to Test with 5 Users. In Nngroup.com. [online]. 2000. [Citované 14.04.2015]. Dostupné na internete: <http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/>
- S. Laitinen : Better Games Through Usability Evaluation Testing (2005) [Citované 01.04.2015]. Dostupné na internete: http://www.gamasutra.com/view/feature/130745/better_games_through_usability_.php?page=2
Autori:
Denisa Brnkaľáková
Pracovisko:
MAD Studios, s.r.o.
Brnianska 2, 911 05 Trenčín
Ing. Jaroslav Vojtechovský, PhD.
Pracovisko:
Department of Information Systems
Faculty of Management
Comenius University in Bratislava
Odbojárov 10,
820 05 Bratislava 25,
Slovakia
Recenzenti:
prof. RNDr. Michal Greguš, PhD.
Ing. Jaroslava Kniezova, PhD.
Pracovisko: Fakulta managementu UK, Odbojárov 10, Bratislava
Vydanie:
Digital Science Magazine, Číslo 1, Ročník IV.
