Testujemy aplikacje, serwisy i formularze na realnym zadaniu. W jednej sesji rejestrujemy ścieżkę wzroku, mimikę i aktywność EEG, a zaraz po zadaniu przeprowadzamy wywiad. Najciekawsze w tym badaniu jest zwykle to, co pomiar pokazuje, a deklaracja przemilcza.
Każda metoda odpowiada na inne pytanie i każda ma granicę, za którą przestaje być wiarygodna. Dlatego zestawiamy je razem, a nie dobieramy jednego pod tezę.
Które elementy ekranu zostały zauważone, w jakiej kolejności i po jakim czasie od wyświetlenia. Widać z tego, co użytkownik pomija bez czytania, gdzie wraca po potwierdzenie i które pola sprawdza wzrokiem, zanim ich dotknie.
Fiksacja nie znaczy zrozumienie. Wzrok może stać na komunikacie, którego użytkownik nie przyswoił, i to widać dopiero w zestawieniu z pozostałymi metodami.
Kierunek reakcji i poziom zaangażowania w czasie, liczone z zapisu twarzy. Daje znacznik czasu dla zaskoczenia, dezorientacji i zniecierpliwienia, czyli dla momentów, których użytkownik po zadaniu zwykle nie potrafi wskazać.
Sam sygnał nie mówi, co reakcję wywołało. Przyczynę wskazuje dopiero nagranie ekranu w tej samej sekundzie i pytanie zadane po zadaniu.
Poziom koncentracji i wyciszenia w trakcie kolejnych kroków. Pokazuje, ile uwagi kosztuje dany etap procesu i w którym momencie użytkownik przestaje pracować nad zadaniem, choć wciąż patrzy w ekran.
Pomiar dotyczy stanu, nie miejsca. Nie wskaże pola ani przycisku, więc bez okulografii nie da się przypisać kosztu do konkretnego elementu interfejsu.
Rozmowa zaraz po zadaniu, przy świeżej pamięci, prowadzona wokół konkretnych momentów z nagrania. Stąd biorą się powody rezygnacji, oczekiwania wobec procesu i lista rzeczy, których w interfejsie zabrakło.
To deklaracja, więc podlega pamięci i uprzejmości. Użytkownik oceni formularz jako prosty i w tej samej rozmowie opisze krok, przy którym pomiar pokazał spadek koncentracji i reakcję negatywną.
Moment oczekiwania na załadowanie ekranu nie zostawia śladu w deklaracji. Użytkownik go nie pamięta albo tłumaczy własnym łączem. W zapisie widać go jednak od razu: wzrok nie ma czego szukać, reakcja schodzi poniżej poziomu spoczynkowego, koncentracja spada. To nie jest opinia o interfejsie, tylko zdarzenie z konkretną sekundą, którą da się pokazać zespołowi rozwijającemu produkt.
Zestawienie czytamy wierszami. Większość pytań ma jedną naturalną metodę, ale ostatni wiersz nie ma jej wcale, bo zgodności deklaracji z zachowaniem nie da się sprawdzić żadną metodą osobno.
| Pytanie zamawiającego | Wzrok | Mimika | EEG | Wywiad |
|---|---|---|---|---|
| Czy element został zauważony? | Wzrok: odpowiada | Mimika: nie odpowiada | EEG: nie odpowiada | Wywiad: nie odpowiada |
| W jakiej kolejności użytkownik czytał ekran? | Wzrok: odpowiada | Mimika: nie odpowiada | EEG: nie odpowiada | Wywiad: nie odpowiada |
| Co zostało pominięte bez czytania? | Wzrok: odpowiada | Mimika: nie odpowiada | EEG: nie odpowiada | Wywiad: nie odpowiada |
| W którym momencie pojawiła się frustracja? | Wzrok: nie odpowiada | Mimika: odpowiada | EEG: odpowiada | Wywiad: nie odpowiada |
| Czy reakcja na komunikat była pozytywna? | Wzrok: nie odpowiada | Mimika: odpowiada | EEG: nie odpowiada | Wywiad: nie odpowiada |
| Ile uwagi kosztował ten krok? | Wzrok: nie odpowiada | Mimika: nie odpowiada | EEG: odpowiada | Wywiad: nie odpowiada |
| Dlaczego użytkownik wrócił na początek? | Wzrok: nie odpowiada | Mimika: nie odpowiada | EEG: nie odpowiada | Wywiad: odpowiada |
| Czego w interfejsie zabrakło? | Wzrok: nie odpowiada | Mimika: nie odpowiada | EEG: nie odpowiada | Wywiad: odpowiada |
| Czy deklaracja zgadza się z zachowaniem? | Wzrok: odpowiada | Mimika: odpowiada | EEG: odpowiada | Wywiad: odpowiada |
Użytkownik dostaje jedno konkretne zadanie z ustalonymi parametrami, a pozostałe decyzje podejmuje po swojemu. Scenariusz przesądza, na co badanie odpowie, więc układamy go razem z Wami, zanim ktokolwiek usiądzie do pomiaru.
Kryterium to nie sama metryczka. Do testu procesu wnioskowego zapraszamy osoby, które takich procesów faktycznie używają i zrobiły to niedawno, bo ktoś, kto widzi taki formularz pierwszy raz w życiu, mierzy naukę obsługi, a nie użyteczność.
Aplikacja działa normalnie, na telefonie albo na ekranie, bez makiet i bez klikania przez moderatora. Okulograf, kamera i EEG pracują równolegle, zsynchronizowane co do sekundy, więc każdy sygnał da się później przypisać do widocznego wtedy ekranu.
Rozmowa idzie po momentach z nagrania, nie po ogólnej ocenie. Dzięki temu deklaracja trafia na tę samą oś czasu co pomiar i widać, gdzie jedno rozjeżdża się z drugim.
Każdy ekran procesu dostaje mapę uwagi, ścieżkę wzroku, wycinek sygnałów z zaznaczonym momentem i zestaw deklaracji. Pod spodem stoi wniosek, a obok niego rekomendacja w tej samej linii, żeby dało się z niej zrobić zadanie w backlogu.
Raport w formie, z której da się zrobić zadania dla zespołu, oraz surowe dane, jeśli chcecie policzyć coś po swojemu.
Stacjonarne
Mobilne
VR i AR
