Ł. Zieliński: Firmy badawcze powinny bardziej stawiać na dodatkową weryfikację swoich respondentów

O pozycji firmy badawczej na rynku decyduje jakość zbieranych przez nią danych. Kluczowa jest weryfikacja respondentów, zwłaszcza w coraz częściej prowadzonych badaniach online. Dzięki technologii i właściwym algorytmom wykluczane są odpowiedzi osób zarejestrowanych w kilku panelach pod różnymi adresami e-mailowymi. Oczywiście decydujące są kompetencje badaczy. Mogą oni zaszywać w kwestionariuszach pytania sprawdzające m.in. uczciwość i zaangażowanie ankietowanych. Ostatnio w branży coraz głośniej mówi się też o założeniu, by respondent nie dostawał ankiet częściej niż np. co 2-3 dni. Jednak w praktyce karencyjność często wynika z celów samego projektu.

W Polsce od dawna stosowane są dobre praktyki w zakresie weryfikacji i kontroli danych gromadzonych w badaniach CAWI. Jakość uzyskiwanych wyników jest jednym z głównych czynników decydujących o pozycji firmy badawczej i zaufaniu do niej.

Obecnie na naszym rynku jest ok. 80 paneli badawczych i kilkaset przedsiębiorstw zajmujących się badaniami. Wśród nich są agencje badawcze i reklamowe, domy mediowe, firmy consultingowe i badacze prowadzący działalność gospodarczą. Niektóre podmioty są zrzeszone w organizacjach branżowych, np. OFBOR. Mają też wdrożone polskie standardy PKJPA lub międzynarodowe – ESOMAR.

Wiele firm, mimo nieposiadania certyfikatów, działa w oparciu o przyjęte normy. Stosuje też własne procedury kontroli respondentów i jakości gromadzonych danych. Trzeba podkreślić, że weryfikacja respondentów to stały proces. Wymaga on inwestycji m.in. w nowe rozwiązania technologiczne. Samo zdobywanie certyfikatów nie wystarcza do tego, by wyróżniać się na rynku. Liczy się ciągły rozwój.

Niektórzy zakładają, że respondent powinien dostawać ankiety np. co 2-3 dni. Można też spotkać się z wytycznymi mówiącymi o tym, że nie może on brać udziału w badaniach częściej niż raz na pół roku. Zwykle dotyczą one jednak wywiadów bezpośrednich face-to-face w miejscu zakupu lub w domu i obejmują raczej testy produktów.

W praktyce liczba realizowanych wywiadów, ich tematyka i kryteria rekrutacji powodują, że karencyjność często wynika z celów projektu badawczego. Samo zarządzanie panelem polega na utrzymywaniu odpowiedniej motywacji respondentów, często finansowej, a także właściwego wskaźnika response rate. Należy więc poszukiwać złotego środka pomiędzy częstotliwością wysyłania zaproszeń do badań a jakością otrzymywanych danych, w zależności od poszczególnych grup ankietowanych.

[ANALIZA] Kolejny miesiąc z rzędu spada dynamika wzrostu cen w sklepach. Jednak trend może się odwrócić

Dynamika wzrostu cen nadal spada. Obecnie w sklepach jest już tylko o ponad 2% drożej niż rok temu. W czołówce najszybciej drożejących kategorii są dodatki spożywcze, chemia gospodarcza, słodycze i desery, a także środki higieny osobistej.

Rozwiązaniem stosowanym już od dłuższego czasu jest dodatkowa weryfikacja respondenta. Polega to na sprawdzeniu, czy dana osoba nie wypełniała więcej niż jednej ankiety. Ustala się to np. po adresie IP, strefie czasowej, godzinie czy innych parametrach komputera. Technologia oraz odpowiednie algorytmy z powodzeniem wychwytują przypadki, w których jeden człowiek jest zarejestrowany w kilku panelach jednocześnie pod różnymi adresami e-mailowymi. Dzięki temu nie ma ryzyka, że w danym projekcie badawczym udział weźmie dwa lub więcej razy ta sama osoba.

O tego typu technikaliach często rozmawia się z nowymi klientami. Sam fakt, że o nie pytają, wiele mówi o ich świadomości i oczekiwaniach wobec badań online. Trzeba podkreślić, że w ostatnich latach, a szczególnie w tym roku w związku z izolacją społeczną, zyskują one na znaczeniu i popularności. Coraz więcej decyzji biznesowych podejmuje się właśnie w oparciu o ich wyniki.

W branży mówi się o tym, że weryfikację respondentów można prowadzić także po stronie samej ankiety, zadając pytanie sprawdzające, czy np. ankieter jest kobietą czy mężczyzną. W kwestionariuszach często są też zaszywane pytania, na które badacz zna odpowiedź. Taka osoba jest pytana m.in. o to, na jakim urządzeniu wypełnia ankietę lub gdzie się obecnie znajduje. Tu wiele zależy od kompetencji realizatora. Jego zadaniem jest przygotowanie kwestionariusza wywiadu w taki sposób, aby jakość danych była najwyższa.

Z jednej strony, wysyłając zaproszenie do badania online wiadomo, jaka jest grupa docelowa. W systemie można wskazać, że pytania zostaną skierowanie np. wyłącznie do kobiet w wieku od 26 do 36 lat lub do mieszkańców Warszawy. Odpowiedzi metryczkowe z poszczególnych projektów są weryfikowane z danymi systemowymi. Jednak z drugiej strony, w kwestionariuszu wywiadu często zaszywane są pytania lub odpowiedzi sprzeczne ze sobą bądź nielogiczne, otwarte albo półotwarte. Na ich podstawie weryfikowana jest jakość odpowiedzi. Wywiady z wykluczającymi się informacjami są odrzucane na etapie analizy.

W 2023 roku kwota wstrzymanych zasiłków chorobowych poszła w górę o ponad 33 proc. r/r

Jak wynika z danych ZUS-u, w ub.r. przeprowadzono o ponad 7% więcej kontroli osób posiadających zaświadczenie o czasowej niezdolności do pracy niż w 2022 r. Z kolei o przeszło 21% wzrosła rdr. liczba wydanych zaświadczeń o skróceniu zasiłku chorobowego.

Dodatkowo bardzo popularne są tzw. pytania kontrolne, często zaszyte pomiędzy odpowiedziami lub blokami pytań. Respondent jest proszony o zaznaczenie wskazanej odpowiedzi w pytaniu. Jeśli nie wskaże poprawnej, wpisywany jest na tzw. czarną listę. Trzy pomyłki, świadczące o nieczytaniu pytań, powodują, że jest wykluczany z kolejnych, potencjalnych projektów.

W ankietach można czasem jeszcze zadawać dodatkowe pytania kontrolne w celu sprawdzenia koncentracji i zaangażowania respondenta, prosząc np. o podanie miesiąca, którego nazwa zaczyna się na konkretną literę. Jednak nie ma jednej w 100% skutecznej metody weryfikacji. Zależnie od projektu badawczego jest to połączenie ww. technik kontroli.

I tak np. w przypadku wywiadów z dziećmi, realizowanych za zgodą rodziców, warto zwracać uwagę na czas wypełnienia ankiety. Jeśli została uzupełniona np. po godz. 23.00, jest to wyraźny sygnał do tego, aby przyjrzeć się bardziej respondentowi.

Klienci branży badawczej podnoszą też często argument, że respondenci zbyt szybko odpowiadają, przez co wyniki mogą być zafałszowane. Oczywiście są możliwości techniczne do tego, aby przycisk „przejdź dalej” pojawił się po paru lub kilku sekundach. W praktyce jest to stosowane przy pytaniach dotyczących m.in. oceny materiałów filmowych czy fragmentów tekstów. Jednak wtedy też nie ma 100% pewności, że respondent zapoznał się z treścią. Niemniej czas udzielania odpowiedzi na wybrane pytania jest weryfikowany na etapie analizy.

Podsumowując, bardzo pomocne są algorytmy mierzące czas odpowiedzi na poszczególne pytania oraz identyfikujące te same osoby z kilku paneli. Trzeba jednak pamiętać o tym, że respondenci mają naprawdę różne opinie na poszczególne tematy. Czasami wydają się one na pozór mało logiczne. Badacz musi mieć to na uwadze na etapie weryfikacji odpowiedzi.

***

Autorem publikacji jest Łukasz Zieliński,

Prezes Zarządu SYNO Poland