Wizja komputerowa

Analiza behawioralna w sklepie

Narzędzie zamienia obraz z kamer w zagregowane wskaźniki zachowania: po co klienci przychodzą, co ich zatrzymuje przy ekspozycji i które materiały w sklepie zbierają uwagę. Modele wizyjne pracują na urządzeniu w sklepie, a wynikiem są zdarzenia ze znacznikiem czasu. Wdrożenie zaczynamy od pilotażu w dwóch sklepach.

  1. Sylwetkawykrycie osoby i śledzenie jej przez kolejne klatki
  2. Strefaprzypisanie sylwetki do bloku ekspozycji
  3. Zdarzeniezatrzymanie, sięgnięcie, odłożenie, odejście bez wyboru
  4. Czaskażde zdarzenie ze znacznikiem na osi nagrania
Zakres pomiaru

Sześć modułów na jednym strumieniu wideo

Ten sam zapis obsługuje wszystkie moduły. Zakres uruchomiony w danym sklepie zależy od pytania zamawiającego i od tego, co obejmują istniejące kamery.

Ruch i struktura wizyty

Wejścia, ścieżki, mapy gęstości, strefy pomijane, czas wizyty, kolejność kategorii, powroty do tej samej półki.

Misja i profil odbiorcy

Misja zakupowa odczytana z przebiegu zachowania, wielkość grupy, pora i kontekst wizyty. Wyłącznie w postaci zagregowanej.

Zachowanie przy półce

Zatrzymanie, zwrot ciała i głowy, sięgnięcie, odłożenie produktu, porównanie dwóch opakowań, czas decyzji.

Uwaga na materiały

Kontakt wzrokowy z materiałem POS i ekranem, liczba kontaktów, czas patrzenia, udział w uwadze strefy.

Obsługa i kolejka

Długość i dynamika kolejki, czas oczekiwania, rezygnacje z zakupu, wybór kasy samoobsługowej.

Kontekst i stan sklepu

Braki na półce, zaburzony planogram, zablokowane przejście, zgodność ekspozycji z ustaleniem handlowym.

Architektura

Cztery warstwy przetwarzania

Granica między warstwami mówi, co opuszcza sklep. Obraz jest przetwarzany na miejscu, a na zewnątrz wychodzą ustandaryzowane zdarzenia bez cech osobowych. Dzięki temu ten sam model pracuje w sklepie z trzema kamerami i w sieci z tysiącem lokalizacji.

  1. 01

    Akwizycja

    Kamery sufitowe sklepu i moduł przy nośniku reklamowym. Obliczenia prowadzone lokalnie, bez transmisji obrazu.

    wyjście: klatki i strefy
  2. 02

    Percepcja

    Detekcja i śledzenie osób, trajektorie, poza ciała, kierunek głowy, dłoń przy produkcie.

    wyjście: sygnały
  3. 03

    Semantyka

    Model wizyjno-językowy opisuje epizody zachowania: zatrzymanie, wahanie, sięgnięcie, rezygnację.

    wyjście: zdarzenia
  4. 04

    Wnioskowanie

    Połączenie zdarzeń z danymi kasowymi i planogramem, zapytania w języku naturalnym, raporty okresowe.

    wyjście: wskaźniki
Przykład

Odczyt z jednego ujęcia

Po lewej ujęcie wyjściowe, po prawej ten sam kadr po wyznaczeniu stref ekspozycji. Z tego materiału model odczytał trzy sylwetki, sześć stref i dwa pobrania produktu.

Ujęcie wyjściowe, czternaście sekund z alejki spożywczej. Materiał pochodzi z banku wideo; nie jest zapisem z naszego badania.
Kadr z alejki sklepowej z wyrysowanymi obrysami stref ekspozycji i podpisami kategorii: pieczywo, przekąski, płatki śniadaniowe, sosy i warzywa w puszkach, makarony, konserwy
Ten sam kadr po wyznaczeniu stref. Granice i nazwy ustala się przed analizą, bo od nich zależy, do czego przypisane zostanie zdarzenie.
3
osoby w kadrze
6
stref ekspozycji
2
pobrania produktu

Przebieg zachowania w kadrze

Dla każdej sylwetki powstaje ten sam zestaw danych: czas obecności, strefa, w której się zatrzymała, liczba pobrań i kolejność zdarzeń.

Osoba w kadrzeCzas w kadrzeStrefaPobraniaPrzebieg
Mężczyzna w niebieskiej koszulipierwszy plan00:00 do 00:14Płatki śniadaniowe1
  • 00:01 do 00:04sięga po opakowanie z górnej półki
  • 00:05 do 00:07ogląda je i wkłada do koszyka
  • 00:08 do 00:14przegląda sąsiednie półki, bez kolejnego sięgnięcia
Mężczyzna w garniturzedrugi plan00:00 do 00:14Pieczywo i wyroby piekarnicze1
  • 00:00 do 00:04stoi przed półką, zwrócony w jej stronę
  • 00:05 do 00:06bierze opakowanie ze środkowej półki
  • 00:07 do 00:14trzyma je w obu dłoniach, stroną z opisem do siebie
Kobieta w swetrzetrzeci plan00:00 do 00:09Sosy i warzywa w puszkach0
  • 00:00 do 00:03dotyka słoików na prawej półce
  • 00:04 do 00:09odchodzi w głąb alejki, nic nie zabierając

Ostatnia kolumna zawiera odczyt z obrazu. Nie jest to relacja uczestnika: zapis „trzyma opakowanie stroną z opisem do siebie” opisuje pozycję rąk przez siedem sekund. O tym, czy opis został przeczytany i zrozumiany, rozstrzyga pomiar okulograficzny albo rozmowa po zakupach.

Przykład pokazuje sposób odczytu na jednym ujęciu. Nie jest wynikiem projektu badawczego: w badaniu kadr ustawiamy pod konkretną ekspozycję, a zestawienia obejmują cały okres rejestracji.

Strefy wyznaczone na tym kadrze

  1. 01
    Pieczywo i wyroby piekarniczeGórne i środkowe półki lewego regału
  2. 02
    Przekąski i ciastkaDolne półki lewego regału
  3. 03
    Płatki śniadanioweŚrodek lewego regału, przy przejściu
  4. 04
    Sosy i warzywa w puszkachGórne i środkowe półki prawego regału
  5. 05
    MakaronyPrawy regał, bliżej kadru
  6. 06
    Konserwy, mięso i rybyDolne półki prawego regału
Wskaźniki

Zestawienie z całego okresu rejestracji

Każdy etap kontaktu z ekspozycją ma własną miarę na wspólnej bazie. Spadek między etapami wskazuje miejsce, w którym kontakt się urywa: materiał nie zatrzymuje, opakowanie nie skłania do sięgnięcia albo decyzja przerywa się już po wzięciu produktu do ręki.

Lejek kontaktu z ekspozycją020406080100Przechodzący obok strefybaza pomiaru100Zatrzymanistop rate34Sięgnięcie po produktengage rate17Zakupclose rate9na 100 osób przechodzących obok strefy
Ryc. 1. Lejek kontaktu z ekspozycją, wszystkie etapy na wspólnej bazie stu przechodzących. Liczby ilustracyjne; realne wartości ustala pomiar w sklepie pilotażowym.
Zdarzenia przy półce w podziale na porę dnia0204060801008–1010–1212–1414–1616–1818–20przedział godzinowyzdarzenia na godzinę rejestracjiOsoby przy półceKontakt z produktemWłożenie do koszyka
Ryc. 2. Rozkład liczby zdarzeń na godzinę rejestracji, w podziale na porę dnia. Dane przykładowe, wygenerowane na potrzeby tej strony; nie pochodzą z pomiaru. Pudełko obejmuje rozstęp ćwiartkowy, kreska w środku to mediana, wąsy sięgają wartości skrajnych, kółka oznaczają obserwacje odstające.
Zdarzenia przy półce w podziale na dzień tygodnia020406080100ponwtśrczwptsobniedzdzień tygodniazdarzenia na godzinę rejestracjiOsoby przy półceKontakt z produktemWłożenie do koszyka
Ryc. 3. Ten sam zestaw zdarzeń w podziale na dzień tygodnia, na tej samej skali co rycina 2, więc obie da się zestawić. Dane przykładowe, wygenerowane na potrzeby tej strony.

Z takiego zestawienia odczytuje się przede wszystkim proporcje między kolejnymi etapami. W szczycie popołudniowym przy ekspozycji zatrzymuje się najwięcej osób, a udział tych, którzy kończą włożeniem produktu do koszyka, rośnie wolniej niż samo natężenie ruchu. Przyczyny tej różnicy nie da się ustalić z zapisu z kamery; wymaga ona pomiaru okulograficznego albo rozmowy z kupującym.

Retail media

Pomiar widoczności nośników

Widoczność pojedynczego nośnika nie wymaga analizy całego sklepu. Wystarczy moduł kamery przy ekranie albo ekspozycji, liczący kontakty i czas uwagi w polu widzenia nośnika. Ten sam schemat obsługuje ekran cyfrowy, stojak i strefę promocyjną, więc wszystkie nośniki trafiają na jedną skalę porównawczą.

Kontakty
Osoby w polu widzenia nośnika, z podziałem na przechodzące i zatrzymane.
Sekundy uwagi
Skumulowany czas patrzenia w stronę nośnika. Miara porównywalna z metrykami stosowanymi w planowaniu mediów cyfrowych.

Udział nośników w uwadze strefy

  1. Ekran przy kasie43%
  2. Stojak przy chłodni30%
  3. Wobbler na półce17%
  4. Naklejka podłogowa10%

Wartości ilustracyjne. Udział liczony w obrębie jednej strefy sklepu.

Segmentacja

Segmentacja misji zakupowych

W formacie convenience demografia wyjaśnia niewiele. Ta sama osoba rano kupuje kawę w pół minuty, w południe składa lunch, a wieczorem uzupełnia kolację. Segmentujemy więc wizyty, a profil odbiorcy i porę dnia nakładamy dopiero na rozpoznaną misję.

Sygnały wejściowe
Czas wizyty, kolejność i liczba stref, tempo marszu, koszyk albo ręka, powroty do półki, pora dnia i dzień tygodnia, długość kolejki.
Wynik segmentacji
Udział misji w ruchu sklepu, ich rozkład w dobie, wartość koszyka i konwersja kategorii w każdej z nich.
Zwyczaje i rytm
Powtarzalne wzorce w skali tygodnia: piki misji, sparowane kategorie, sklepy o zbliżonym profilu ruchu.
Zastosowanie
Planogram i ekspozycja dobrane do misji dominującej o danej porze, komunikat na ekranie zmieniany razem z profilem ruchu, obsada zmian.
Zgodność

Prywatność jako warunek wdrożenia

  • Przetwarzanie na urządzeniu w sklepie, bez transmisji i bez przechowywania nagrań.
  • Brak identyfikacji osób, brak wzorców twarzy, brak rozpoznawania tej samej osoby między wizytami.
  • Dane wyłącznie zagregowane, z progiem minimalnej liczności grupy.
  • Dokumentacja modeli, ocena skutków dla ochrony danych i informacja dla klientów sklepu.

Czego nie wnioskujemy z obrazu

Wnioskowanie wrażliwych cech osoby z obrazu, w tym poglądów, wyznania i orientacji, jest zakazane w regulacji europejskiej i nie wchodzi do rozwiązania. Zakres dopuszczalny obejmuje klasyfikację stylu ubioru i kontekstu wizyty na poziomie zagregowanym: strój roboczy, sportowy, szkolny, wieczorowy. Pozwala to różnicować ofertę w ciągu doby bez kategoryzacji biometrycznej.

Zakres wnioskowania

Ograniczenia metody

Zatrzymanie w strefie nie jest dowodem uwagi w sensie poznawczym. Z zapisu z kamery odczytuje się pozycję ciała, tor przejścia i ruch rąk. Kierunek spojrzenia pozostaje poza zakresem tej rejestracji, więc rozróżnienie między wariantem obejrzanym a pominiętym w obrębie jednej półki wymaga pomiaru okulograficznego.

Analiza obrazu opisuje zatem skalę i kontekst: liczbę osób, strefy, w których się zatrzymały, oraz zdarzenia przy półce. Przebieg percepcji opisuje okulografia, prowadzona na mniejszej próbie uczestników. Obie rejestracje synchronizujemy na wspólnej osi czasu, co pozwala zestawiać ich wyniki.

Wdrożenie

Pilotaż w dwóch sklepach

Pierwsza faza trwa sześć tygodni i kończy się raportem. Obejmuje dobór dwóch kontrastowych lokalizacji, inwentaryzację istniejących kamer, kalibrację stref oraz audyt zgodności rozpoznanych zdarzeń z obserwacją prowadzoną przez człowieka. Ten audyt rozstrzyga, które moduły mają w danym sklepie wystarczającą trafność, i od niego zależy zakres dalszych prac.

Kolejne fazy ustalamy po pilotażu: objęcie pomiarem nośników reklamowych i wspólna skala ich porównania, a następnie stały pomiar w panelu sklepów z integracją danych kasowych i planogramu.