Usability group playtestin
Táto metóda sa používa na testovanie viacerých hráčov naraz. Počas testovania produktu týmto spôsobom je v testovacích priestoroch niekoľko účastníkov naraz, spolu s jedným (alebo v prípade potreby viacerými) moderátorom. V priebehu sedenia sa snažia všetci individuálne vyriešiť, resp. splniť, zadané úlohy bez interakcie s ostatnými účastníkmi (okrem prípadov, keď sa testuje sociálny prvok hry, ktorý vyžaduje odpovedanie na žiadosti od priateľov, ktorými v rámci testovania môžu byť ostatní účastníci – avšak nerozprávajú sa nahlas a komunikujú spolu iba prostredníctvom sociálnych sietí, resp. médií). Spolu s účastníkmi sú s nimi v miestnosti aj jeden alebo dvaja moderátori, ktorí im v prípade potreby pomáhajú a zároveň sa snažia čo najviac si všímať ich správanie a reakcie na hru. Silná stránka tejto metódy sa ukazuje najmä pri testovaní sociálnych hier. Ako už bolo spomenuté, účastníci testovania môžu hrať hru spolu a zároveň využívať a skúšať fungovanie sociálneho aspektu hry. Možno však namietnuť, že je to veľmi umelý a neprirodzený spôsob testovania sociálnej hry – zo všetkými „priateľmi“ v tej istej miestnosti. Ale ako už bolo spomenuté, pri testovaní je veľmi zložité vytvoriť prirodzené prostredie.(1)
NEVÝHODY
Táto metóda umožňuje otestovať naraz viacero hráčov, než metóda 1-na-1, s takými istými finančnými nákladmi. S tým však súvisí zníženie presnosti a možná strata dôležitých údajov, pretože moderátori sa musia koncentrovať na viacerých hráčov naraz a strácajú možnosť ísť pri získavaní informácií do hĺbky. To môže ovplyvniť ich kvalitu a relevantnosť. Moderátori sledujú ako hráči riešia problémami, avšak bez toho aby sa ich dôkladne povypytovali, nemusia zistiť prečo sa objavujú a ako k nim dochádza. Pri porovnaní s ostatnými metódami, nedôjde k úplnému pochopeniu hráčov, ich myslenia a správania. Ďalším nedostatkom skupinového testovania je tzv. „groupthink“ (skupinové myslenie). Tento problém je o to výraznejší, ak sa počas testovania využíva verbálny feedback. Pri kladení otázok a odpovedaní na ne sa môžu hráči navzájom ovplyvňovať, a tak meniť svoje správanie. Tento problém možno eliminovať požiadaním hráčov, aby miesto verbálneho feedbacku, písomne vyplnili dotazníky. Ich vzájomné ovplyvňovanie sa však úplne nezmizne (naďalej ich bude ovplyvňovať napr.: reč tela alebo náhodné komentáre typu „to je super“ alebo „nefunguje to“ apod. )
PÁR TIPOV „AKO NA TO“ (2)
1. Použitie účastníkov reprezentujúcich cieľových užívateľov.
Pri tvorbe testu je potrebné poznať typ užívateľov, pre ktorých je produkt vyvíjaný (na ktorých je cielený). I keď sa môže zdať, že je pre každého, je chybou pristupovať k jeho dizajnu s myšlienkou „je pre všetkých“. V tejto situácii pomôže vymyslieť si fiktívne postavy zodpovedajúce cieľovým užívateľom (napr. „Martin, 22-ročný, vlastní iPhone“) a následne získať účastníkov, ktorí popisu zodpovedajú.
2. Prevedenie skúšobného testu pred skutočným testovaním
Skôr než sa uskutoční samotný test, je potrebné spraviť skúšobný test s každým, kto sa podieľal na jeho príprave. Tak sa možno uistiť, že skutočné testovanie prebehne hladko, plynulo a podľa očakávaní. Pri skúšobnom teste sa odstránia možné chyby, problémy, prekážky a zároveň sa jeho prostredníctvom podarí naladiť celý tím na jednu vlnu.
3. Odstránenie napätia a nátlaku na účastníkov.
Koncept testovania je ešte stále nový a pre bežného človeka úplne neznámy. Účastníci môžu byť neistí, lebo nevedia čo sa od nich očakáva a čo sa bude diať. Táto neistota spolu s nervozitou môže mať negatívny dopad na výsledky testovania. Preto je dôležité postarať sa o to, aby sa cítili príjemne a mohli sa koncentrovať na testovaný produkt a poskytli oveľa lepší a efektívnejší feedback. Účastníkov treba uistiť, že je testovaná hra, nie oni a že zámerom je nájsť miesta alebo oblasti, kde majú nejaký problém, pretože zmyslom testovania je hru vylepšiť. Účastníci by sa nemali báť poskytnúť úprimný (aj negatívny) feedback. Moderátori nie sú dizajnérmi, sú pozorovateľmi a sú pri testovaní práve preto, aby si vypočuli aj kritiku.
4. Vyplnenie dotazníku.
Po ukončení sedenia vyplnia účastníci pripravený dotazník. Ak má moderátor nejaké otázky, tak ich môže počas vypĺňania dotazníka položiť. Dôvod prečo je dôležité mať dopredu pripravený dotazník je, aby testovací tím získal rovnaké dáta (resp. dáta týkajúce sa tých istých vecí ) od všetkých účastníkov a následne ich potom vedel relevantne vyhodnotiť. Správne naformulovaný dotazník napomáha nielen získaniu relevantných a efektívnych informácií, ale jednoduchšiemu a rýchlejšiemu spracovaniu nazbieraných údajov. Otázky musia byť naformulované tak, aby sa priamo dotýkali cieľov testovania. V prípade, že účastníci testovanú hru vôbec nepoznajú, môže sa stať, že výrazy, ktoré sú normálne, resp. jasné a bežné pre tím vývojárov, môžu byť pre hráčov nejasné a mätúce. Z toho dôvodu je dôležité prispôsobiť používané frázy a výrazy, a teda používaný slovník, vybraných a zainteresovaným účastníkom testovania.
5. Súhrnná, resp. celková, analýza.
Po testovaní má testovací tím k dispozícii výsledky a poznámky od množstva rôznych účastníkov a pozorovateľov. Dáta je potrebné rýchlo zanalyzovať a zhrnúť dokopy tak, aby sa následne prezentovali, resp. zdieľali ako zosumarizovaná skupina. Ak jeden hráč považoval hru za príliš jednoduchú, stáva sa podstatnou otázkou fakt, či to tak videli aj ostatní. Ak viacerí povedali, že hra bola príliš ťažká, tak nie je smerodajný údaj jedného hráča. Po zosumarizovaní dát je dôležité identifikovať problémové prvky, ktoré testovanie odhalilo, určiť priority a podľa toho naplánovať ďalšie kroky. Z údajov nazbieraných počas testovania (od poznámok o emocionálnom stave účastníkov až po počet zlyhaných pokusov stlačiť tlačidlo) by malo byť vždy možné dospieť k nejakým záverom a úlohám pre tím. Ak sa zo získaných údajov nedajú vytvoriť žiadne závery je potrebné upraviť štruktúru testovania a dotazníka.
Focus groups
„Focus group“ je riadená diskusia, ktorej sa spravidla zúčastňuje, okrem moderátora, od 5 do 10 ľudí, ktorým moderátor predvedie hru a následne im kladie otázky na zistenie ich názorov a návrhov na jej zlepšenie. Prostredníctvom diskusie možno preniknúť do postoja potenciálnych hráčov, ich presvedčení, túžieb, očakávaní a reakcií na hru.(3) Skúmanie testovacej skupiny sa často využíva na odhadnutie rozsahu hráčovej akceptácie. Je menej vhodná na odhaľovanie funkčných chýb, keďže (tak ako aj pri feedbacku) to ako hráči hru hrajú sa líši od ich tvrdení ako ju hrajú. Táto metóda je odlišná v tom, že pri nej účastníci nekonajú, ale rozprávajú. To znamená, že rozprávajú o svojich očakávaniach, zážitkoch a skúsenostiach, pričom tester nemá možnosť ich pri ich získavaní pozorovať. Na rozdiel od ostatných metód, pri ktorých možno účastníkov pozorovať (a počúvať) a z ich správania vyvodzovať závery.(4) Z hľadiska financií to je výhodný nástroj na získanie prístupu a kontaktovaniu potenciálnych hráčov, umožňujúci ich lepšie pochopenie.
Nedostatkom tejto metódy je, že môže dôjsť k vzájomnému ovplyvňovaniu sa účastníkov. Možno tomu predísť (resp. zjemniť) tak, že dostanú za úlohu si pred diskusiou doma hru zahrať alebo vyskúšať si podobné hry apod. (v prípade potreby si môžu svoje dojmy niekam zapísať, aby ich nezabudli). Tak získajú dostatok času na premyslenie svojho dojmu z hry a premyslenie názoru. A keď sa stretnú s ostatnými, neovplyvnia ich iné názory tak ľahko. Táto metóda sa tiež spolieha na hráčovu schopnosť sebareflexie (sledovať svoje vlastné správanie), a preto nie je najvhodnejšia na hľadanie špecifických chýb vo funkčnosti hry.
ČO JE DÔLEŽITÉ (5)
Pri vyberaní členov diskusie je dôležité vybrať predstaviteľov cieľovej skupiny užívateľov, pričom zaujímavými faktormi sú, okrem iného, vek, zamestnanie, skúsenosti, vzdelanie, etnika apod.. Pri tejto metóde záleží na:
- vybrať škálu tém (otázok), ktoré chcú výskumníci pokryť
- uistiť sa, že otázky sú zrozumiteľné, jasné a logické
- použiť otvorené otázky na vyvolanie (povzbudenie) diskusie
- kladenie otázok v prirodzenom poradí v súlade s tokom diskusie
- zaangažovať skúseného moderátora na vedenie diskusie
- pripraviť „scenár“, aby moderátor vedel na čo sa pýtať a aké témy pokryť
- umožniť moderátorovi zmeniť poradie otázok, tak aby prirodzene zapadali do hladkéh toku diskusie
- približne určiť ako dlho má diskusia trvať (najčastejšie dve hodiny)
- zaznamenávať diskusiu (či už prostredníctvom zapisovateľov alebo zaznamenávajúceho zariadenia, aby nedošlo k prípadnej strate dôležitých informácií)
FOCUS GROUPS:
- pomôžu nadviazať kontakt s ľuďmi bez veľkých finančných nákladov
- pomôže získať jasnejšiu predstavu o cieľových užívateľoch, čo si myslia a čo chcú
- možno získať iba názory, domnienky na koncepty a nápady, nie nakoľko by ľudia prvky reálne využívali
- skupinová komunikácia je dvojsečná zbraň: na jednej strane sa nápady jednotlivcov môžu navzájom ovplyvňovať, vyvíjať, rozširovať alebo upadať – výsledkom môže byť vznik úplne nových nápadov; na druhej to znamená, že názory nemusia byť úplne spoľahlivé, keďže stačí 1 výrečná osoba na ovplyvnenie všetkého čo bude následne povedané
Kedy použiť?
- v začiatočnej fáze projektu
- keď je k dispozícii málo, resp. žiadne, reálne poznatky o cieľových užívateľoch
- v prípade vývoja niečoho úplne nového a nie je jasné aké na to budú reakcie
- finančne náročnejší
- poskytne detailnejší obraz o jednotlivých účastníkoch (myšlienky, dojmy a názory)
- oveľa spoľahlivejší (účastníci sa navzájom neovplyvňujú, resp. iba málokedy)
- koncentruje sa na interakciu so systémom, resp. webstránkou, to znamená že ukáže ako presne užívatelia testovaný produkt používajú
- ukáže, kde a prečo prípadne robia chybu, resp. kde a v čom je problém a čo pôsobí mätúco a nejasne
- pri tvorbe novej stránky alebo systému s použitím prototypu
- pri úprave existujúceho systému alebo webstránky
- v pravidelných intervaloch počas celého vývojového procesu
- na spoznanie funkčnosti daného produktu
SUS (system usability scale)
Metóda SUS funguje ako rýchly a „nečistý“, ale spoľahlivý nástroj na meranie, resp. ohodnotenie, použiteľnosti testovaného produktu. Pozostáva z dotazníka skladajúceho sa z 10 otázok, pričom na každú možno odpovedať jednou z piatich možností (úplne súhlasí, skôr súhlasí, neviem, skôr nesúhlasí a rozhodne nesúhlasí). Tento systém pôvodne vytvoril John Brooke v roku 1986. S jeho pomocou možno hodnotiť širokú škálu produktov a služieb, vrátane hardvéru, softvéru, mobilných zariadení, webstránok a aplikácií.6 SUS sa, s prihliadnutím na odporúčania vo viac ako 1300 článkoch a publikáciách, stala priemyselným štandardom. Medzi najvýznamnejšie výhody patrí:
- jednoduchý rebríček na použitie (hodnotenie) pre užívateľov
- možno použiť aj pri menšom počte účastníkov s dosiahnutím spoľahlivých výsledkov je efektívny – dokáže rozlíšiť použiteľný a funkčný systém od nefunkčného
ČO ZVÁŽIŤ PRED POUŽITÍM SUS
- bodovací systém získaných výsledkov je o niečo zložitejší
- fakt, že skóre je bodované na škále od 0 do 100, zvádza k pokušeniu interpretovať ho ako percentá
- najlepší spôsob ako interpretovať výsledky zahŕňa „normalizáciu“ skóre na vytvorenie percentilného hodnotenia
- nemá diagnostickú funkciu, teda neurčí, resp. neodhalí, konkrétny problém – jej využitie spočíva v klasifikovaní jednoduchosti používania webstránky, aplikácie či testovaného zariadenia
Ako už bolo vyššie spomenuté, pri použití SUS metódy musia účastníci vyplniť dotazník obsahujúci 10 otázok, resp. tvrdení, a vybrať 1 z 5 odpovedí, podľa toho s ktorou najviac súhlasia. Tvrdenia:
- Myslím, že by som chcel tento systém pravidelne používať.
- Systém sa mi zdal zbytočne komplikovaný.
- Myslím, že systém je jednoduchý na používanie.
- Myslím, že by bola nutná podpora (pomoc) technického pracovníka, aby som bol schopnýpoužívať tento systém.
- Myslím, že sú jednotlivé funkcie veľmi dobre zaintegrované do systému.
- Myslím, že systém je príliš nesúrodý.
- Viem si predstaviť, že sa väčšina ľudí veľmi rýchlo naučí pracovať s týmto systémom.
- Používanie systému mi prišlo byť veľmi ťažkopádne / nešikovné / nepohodlné.
- Bol som si istý používaním systému.
- Predtým než som mohol začať používať systém, som sa musel naučiť veľa vecí.
Remote testing
Testovanie účastníkov na diaľku umožňuje viesť výskum s užívateľmi v ich prirodzenom prostredí pomocou softvéru na zdieľanie obrazoviek alebo prostredníctvom využitia vhodných online služieb. Spravidla zaberie testovanie 15 – 30 minút a skladá sa z 3 až 5 úloh. Remote usability testy môžu byť moderované (rovnakým spôsobom ako keby sa účastníci nachádzali v prostredí testovacej miestnosti) alebo aj nemoderované (keď účastníci plnia úlohy samostatne). (7)
KEDY POUŽIŤ?
- náročný časový plán môže zabrániť alebo obmedziť možnosti osobného testovania účastníkov
- cieľoví užívatelia sú príliš geograficky rozptýlení a cestovanie by bolo priveľmi komplikované a zložité
- účastníci potrebujú špeciálne pracovné zariadenia kvôli softvéru alebo bezpečnostným požiadavkám
- účastníci majú problémy s dostupnosťou, resp. s prístupom, kvôli čomu potrebujú používať vlastný softvér alebo vybavenie
- testovací tím môže zorganizovať a spustiť niekoľko testov naraz
- eliminuje potrebu špeciálnej testovacej miestnosti a vplyv takého prostredia na účastníkov
- odstraňuje nutnosť nájsť vhodné ubytovanie pre účastníkov
- vo všeobecnosti býva menej nákladná než osobné testovanie vo výskumnej miestnosti
- v prípade nemoderovaného testovania, umožňuje predĺžiť „testovací deň“, a tak získať prístup k väčšiemu množstvu vhodných účastníkov
- umožňuje otestovať viac účastníkov, než by bolo možné ubytovať
NEVÝHODY:
- môže byť ohrozená bezpečnosť a diskrétnosť pri testovaní citlivých a významných informácií alebo duševného vlastníctva
- obmedzená alebo žiadna možnosť pozorovania reči tela účastníkov
- technické problémy, ak účastníci: – nevedia pracovať s používanou technológiou
– koliduje ich softvér alebo vybavenie s testovacím – nie sú schopní zdieľať obrazovku cez internet
– majú nespoľahlivé alebo pomalé pripojenie na sieť
– testovanie vyžaduje špeciálne zariadenie alebo stiahnutie špeciálneho softvéru alebo doplnkov, pričom ich stiahnutie môžu účastníci odmietnuť
- naplánovanie testu a výber úloh, ktoré budú účastníci plniť, ich poradie a všetky s tým súvisiace otázky
- časové rozvrhnutie sedení
- ponechať časovú rezervu počas sedení pre technologické problémy, ktoré by prípadne mohli nastať
Počas moderovaného sedenia je možné:
- použiť úlohy založené na princípe rozhovoru
- pýtať sa sprievodné a s úlohou súvisiace otázky
- zabezpečiť dokončenie úlohy
- testovať a analyzovať podľa plánu
NEMODEROVANÝ REMOTE USABILITY TESTING
V priebehu nemoderovaného remote testovania plnia účastníci úlohy samostatne bez interakcie s moderátorom. Nemoderované testovanie je o to efektívnejšie, ak je potrebné získať odpovede na otázky ohľadom spôsobu, akým užívatelia používajú UI pri relatívne priamočiarych úlohách. Na prípravu nemoderovaného remote testingu je, okrem spomenutých bodov, dôležité aj:
- naplánovanie testu a výber úloh, ktoré budú účastníci plniť, ich poradie a všetky s tým súvisiace otázky
- rozhodnúť kto sa testu zúčastní
- mnoho nástrojov na prevedenie nemoderovaného testovania umožňuje zachytiť užívateľov priamo na firemnej webstránke alebo použiť zoznam možných účastníkov poskytnutý priamo vývojárom daného nástroja
- pred testovaním zistiť či systém na zdieľanie obrazoviek umožňuje testovanie nahrávať alebo či umožňuje použitie vlastného nahrávacieho vybavenia alebo softvéru
- brať do úvahy, že PIP („picture-in-picture“ – „obraz v obraze“) alebo webkamery nemusia fungovať ak používaný softvér nepodporuje, resp. nedovoľuje použiť viac než len jeden video vstup
- byť si istý, žer vybraní účastníci skutočne reprezentujú cieľovú skupinu (alebo skupiny) užívateľov
- zahrnúť do testovania aj kvalitatívne výskumné úlohy (ak je to možné) a analýzu feedbacku poskytnutého účastníkmi
- venovať pozornosť dĺžke trvania úloh a otvorenému feedbacku na vylúčenie účastníkov, ktorý by sa snažili zúčastniť testovania iba z dôvodu získania kompenzácie
Počas nemoderovaného sedenia je nevyhnutné:
- spustiť test a rozoslať účastníkom cez e-mail pozvánky na jeho absolvovanie
- hneď po skončení sedenia analyzovať výsledky
- mnohé nástroje na nemoderované testovanie analýzu automaticky vygenerujú
ZDROJE:
(1) BAXEVANIS, Alex. Top Methods for Social Game Usability Testing [online]. [cit. 2015-02-23]. Dostupné na: http://www.webcredible.com/blog-reports/web-usability/social-game-usability.shtml#all
(2) JOHN, Vincent St.. Best Practices: Five Tips for Better Playtesting [online]. 2013. [cit. 2015-02-27]. Dostupné na: http://www.gamasutra.com/view/feature/185258/best_practices_five_tips_for_.php?
(3) Focus Groups [online]. [cit. 2015-02-27]. Dostupné na: http://www.usabilityfirst.com/usability-methods/focus-groups
(4) BAXEVANIS, Alex. Top Methods for Social Game Usability Testing [online]. [cit. 2015-02-23]. Dostupné na: http://www.webcredible.com/blog-reports/web-usability/social-game-usability.shtml#all
(5) Focus Groups [online]. [cit. 2015-02-27]. Dostupné na: http://www.usability.gov/how-to-and-tools/methods/focus- groups.html
(6) System Usability Scale (SUS) [online]. [cit. 2015-02-28]. Dostupné na: http://www.usability.gov/how-to-and- tools/methods/system-usability-scale.html
(7) Remote Testing [online]. [cit. 2015-02-28]. Dostupné na: http://www.usability.gov/how-to-and-tools/methods/remote- testing.html
Autor: Anna Macháčova
