Jakość wyników w badaniach typu tajemniczy klient

W dzisiejszym artykule omówimy powody, dlaczego niektóre przeprowadzone badania tajemniczego klienta nie przynoszą spodziewanych efektów.

Pierwszym, często popełnianym błędem, który znacząco może wpłynąć na wynik całościowy badania, jest nieprawidłowa rekrutacja i selekcja kandydatów na audytorów, m.in.

– angażowanie ciągle tych samych audytorów bez okresu karencji w badaniach, co powoduje rutynowe zachowania, a w konsekwencji wpływa na ocenę kompetencji pracowniczych,

– angażowanie znajomych i przyjaciół do realizacji zleceń; ile warta będzie ocena takiego audytora? Przecież efekt lubienia wpływa na ocenę (nie podejrzewamy tutaj oczywiście żadnych reperkusji),

– zbyt krótki czas realizacji przeznaczony na proces selekcyjny kandydatów. Proces selekcyjny to nie funkcja robocza pt. „zaznacz i wyszukaj z bazy”, ale przede wszystkim zwrócenie uwagi na stopień adekwatności i jakości  kompetencji kandydata na audytora  do charakteru projektu. Im bardziej specjalistyczny projekt badania tajemniczy klient, tym bardziej potrzebne będą nam złożone kompetencje audytora,

– przekonanie osoby rekrutującej o nieomylności doświadczenia kandydata na stanowisko tajemniczego klienta. Dlatego też przyjęcie za pewnik, że kandydat na tajemniczego klienta  ma już doświadczenie w tego typu badaniach może być zdradliwe (doświadczenie nie musi korelować z ciekawością poznawczą).

– wynagrodzenie za zrealizowany pomiar/ wizytę w punkcie. Maksyma, pracownik dobrze wynagradzany – pracownik zaangażowany, sprawdza się również w naszej branży. Nie będziemy opisywać średnich stawek wynagrodzenia tajemniczego klienta, ale jeżeli jakaś agencja płaci 10,00 zł za wizytę w punkcie i to trwającą jeszcze 40 minut, to pytanie do odbiorcy  – jakich kompetencji możemy oczekiwać do kandydata za 10,00 zł?

Drugie potencjalne zagrożenie – kwestionariusz obserwacji uczestniczącej (przez niektórych zwany ankietą). Zdarza się często, że klient zamawiający badanie ma gotowe narzędzie wg przyjętych standardów. W innych przypadkach, kwestionariusz należy opracować od podstaw. Zanim przystąpimy do wykorzystania narzędzia w badaniu, warto zapytać klienta, co jest dla niego standardem: a) tylko przyjęte procedury i normy b) zarówno normy i procedury oraz jakość jaką wyznacza klient. Może się okazać bowiem, że problemy, które porusza narzędzie klienckie, nie są już aktualne – strategiczne. Lub odwrotnie, obszary badawcze będą dobrze zdefiniowane, ale narzędzie jest wadliwe konstrukcyjnie pod kątem pomiarowym, np. dublowanie pytań, wieloznaczność problemu, pytanie wielowątkowe, błędna skala pomiarowa. Możemy mieć też do czynienie z sytuacją, w której klient życzy sobie 70 pytań w kwestionariuszu. Jak postąpić w takim przypadku. To, że pamięć robocza ma swoje ograniczenia większość z nas wie, ale w takich projektach prawdopodobnie rolę audytorów pełnią cyborgi lub hybrydy, gdzie zamiast oczu mają kamery, a zamiast mózgu – twardy dysk z funkcją zapisu. Nie wiem jak Państwo, ale my nie kupujemy tezy nieomylności ludzkiego umysłu. Dlatego też w badaniu tajemniczego klienta warto skoncentrować się na kluczowych obszarach kompetencji pracowniczych i ograniczyć liczbę pytań.

Kolejne potencjalne czynniki, które mogę w bardzo prosty sposób storpedować jakość danych, leżą w strefie przygotowania audytora do zadania w projekcie:

– szkolenie tematyczne. Teraźniejszość wymusza na nas presję czasu, nie wspominając już o tym, że większość z nas kocha robić rzeczy na skróty. Wyobraźmy sobie dwa przypadki; pierwszy, w którym kandydat przeszedł pozytywnie proces selekcji wg najwyższych standardów (wymaganych kompetencji) i otrzymuje materiał projektowy na maila lub też jest on dostępny w panelu online. Następnie zapoznaje się z problemem, jeżeli nie ma pytań to akceptuje zlecenie i może przystąpić do realizacji. W przypadku drugim, kandydat również przeszedł proces selekcji i otrzymał materiał projektowy, ale:

– po zapoznaniu się z materiałem musiał uczestniczyć w teście obszarów problemowych Zamawiającego, gdzie warunkiem przejścia do dalszego etapu było osiągnięcie wyniku nie mniej niż 85%

– osoba odpowiedzialna za szkolenie przeprowadziła rozmowę weryfikacyjną z kandydatem i upewniła się czy materiał jest zrozumiały, rozwiała wątpliwości,

– kandydat uczestniczył w szkoleniu behawioralnym wg scenariusza *

Jak Państwo mogę się domyśleć (nie trzeba być doświadczonym badaczem kompetencji) różnice będą kardynalne; w przypadku pierwszym nie kontrolujemy potencjalnych zmiennych zakłócających badanie; w drugim poprzez działania minimalizujemy wpływ tych zmiennych. Pojawia się seria trzech kolejnych pytań:

–   jak dział analiz podejdzie do interpretacji danych?

–   jaka będzie użyteczność wyników z badania dla Zamawiającego?

– jakie przełożenie wyniki będę miały na efekt organizacyjny czy ekonomiczny Zamawiającego?

Ostatni kluczowy aspekt badania – liczba pomiarów w badaniu.

Są klienci, którzy świadomie podchodzą do problemu diagnozy kompetencji pracowniczych oraz są tacy, których należy wspomóc, wytłumaczyć i pokazać, jakie są plusy i minusy badania z jedną wizytą w punkcie. Poniżej krótka charakterystyka:

  • Podczas jednej wizyty zarówno audytor, jak i oceniany pracownik/ pracownicy  punktu mogą mieć obniżoną sprawność psychofizyczną np.  złe samopoczucie.  Wprowadzając minimalnie 2 pomiary na punkt (przy 1-2 pracowników; powyżej 2 pracowników + 1 pomiar więcej – progresywnie) minimalizujemy wpływ zmiennych zakłócających
  • Podczas jednej wizyty ocena audytora wydawana jest na podstawie jego zdolności poznawczych tj. przetwarzania informacji, szybkość asymilacji, interakcji danych z doświadczeniem. Analogicznie jak powyżej, ocena obiektywna to nic innego jak suma subiektywnych ocen
  • Wpływ czynnik losowych na audytora np. drastyczne załamanie pogody, pozytywna informacja o dostaniu się dziecka na studia, awans zawodowy (w takich przypadkach, wszyscy oceniani pracownicy wypadają najlepiej)

Reasumując, jeżeli planując proces badawczy będziemy świadomie oceniali ryzyka i zagrożenia projektowe, uchronimy naszego Klienta przed potencjalnymi konsekwencjami np. niewłaściwym zarządzaniem ścieżką kariery pracowników. Zawsze w pierwszej kolejności (już na etapie ofertowania) informujmy Klienta o plusach i minusach rozwiązań jakie zaproponował – Klient nie musi się znać na badaniach, oczekuje profesjonalnego doradztwa.

W kolejnym artykule opiszemy jak zbadać czy nasi pracownicy stosują techniki zwielokratniające sprzedaż.

* O ile w przypadku badań tajemniczy klient  w branży FMCG nie jest standardem stosowanie zindywidualizowanych scenariuszy zachowania tajemniczego klienta, to w przypadku tych bardziej wymagających np. ICT, elektronarzędzia, budownictwo, doradztwo, edukacja, nieruchomości czy usługi jest to warunek powodzenia wizyty audytora (pod katem oceny jak i uniknięcia demaskacji).