RAPORT: Firmy badawcze powinny bardziej stawiać na dodatkową weryfikację swoich respondentów

Eksperci przekonują, że jednym z najpoważniejszych zagrożeń dla trafności wyników badań online są zawodowi respondenci. Panele kuszą ich do zbierania punktów za wypełnianie jak największej liczby ankiet. Jednak firmy badawcze walczą o wysoką jakość uzyskiwanych danych, stosując m.in. kwarantannę czasową i pytania kontrolne. Inwestują w nowoczesną technologię, by rozpoznawać osoby, które figurują w kilku panelach na raz. Do tego obserwują zachodnie praktyki. W zależności od projektu, łączą różne techniki kontroli. Własne analizy prowadzą też klienci. Zdarza się, że zgłaszają problem zbyt szybkich odpowiedzi na pytania.

Konieczna weryfikacja

Jak podkreśla Mariusz Mroczek z Grupy 4P, klienci firm badawczych przykładają ogromną uwagę do szczegółów. Niektórzy samodzielnie analizują spójność odpowiedzi ankietowanych na pytania w otrzymywanych bazach. Trudno się temu dziwić. Wyniki badań często wpływają na kluczowe decyzje biznesowe. Dlatego badacze muszą mieć pewność, że uniknęli ewentualnych błędów na każdym etapie prac.

– Transparentny proces realizacji badania i kontroli respondentów daje klientowi nie tylko poczucie bezpieczeństwa, ale także pozwala wspólnie szukać rozwiązań najlepiej dopasowanych do specyfiki danego projektu. Zamawiający zarówno z biznesu, jak i administracji publicznej czy trzeciego sektora jest coraz bardziej doświadczony. Wie, czego potrzebuje. Dzięki temu staje się partnerem, z którym razem projektujemy cały proces badawczy – zauważa Jakub Wróblewski z ProVision Solutions.

Należy jednak pamiętać o tym, że użytkownicy paneli internetowych otrzymują wynagrodzenie za wypełnianie ankiet lub inne zadania udostępniane przez agencje badawcze. W opinii Olgi Orzechowskiej z firmy badawczej PBS, dążenie tych osób do zdobycia jak największej liczby punktów za aktywność jest jednym z najpoważniejszych zagrożeń dla jakości uzyskiwanych danych. Dlatego istotne jest, by zwrócić szczególną uwagę na sposób doboru grupy docelowej. Kluczowe są takie elementy, jak treść zaproszeń do udziału w badaniu, kwestionariusz rekrutacyjny oraz wskazówki i instrukcje dla respondentów, które pozwalają minimalizować ryzyko uzyskiwania nierzetelnych odpowiedzi.

– Wysyłając zaproszenie do badania online, wiadomo, jaka jest grupa docelowa. W systemie można wskazać, że pytania zostaną skierowane np. wyłącznie do kobiet w wieku od 30 do 40 lat. Odpowiedzi metryczkowe z poszczególnych projektów są weryfikowane z danymi systemowymi. Ale i tak zdarza się, że w kwestionariuszach są sprzeczne ze sobą treści. Takie ankiety badacz musi odrzucać. Jednocześnie powinien mieć na uwadze to, że respondenci mają różne opinie na poszczególne tematy, czasem na pozór mało logiczne, ale jednak prawdziwe – mówi Łukasz Zieliński z SYNO Poland, firmy dostarczającej badaczom dane i respondentów.

Światowe standardy

Natomiast Alina Lempa z IQS zapewnia, że wszędzie na świecie weryfikacja badanych osób wiąże się z konsolidacją danych o respondencie pochodzących z różnych źródeł, w tym z analizy zachowań w Internecie. Polski rynek nie odbiega w tym względzie od innych. Jednak systemy kontroli i ich złożoność każdorazowo leżą w gestii firm prowadzących badania. Procesy weryfikacji nie są więc jednolite, a zasady ich prowadzenia stanowią swoiste know-how firm badawczych.

– W mojej ocenie, rodzime panele internetowe nie odbiegają jakością i standardami od zagranicznych. Współpracując z takimi firmami nie tylko w Polsce, ale również za granicą, zauważam, że procesy weryfikacji uczestników i samego wypełnienia ankiet są bardzo zbliżone – przekonuje Daniela Jasińska-Kłoda z Research&Grow.

Zdaniem Agaty Woźniakowskiej z Zymetrii, godną naśladowania praktyką zachodnią jest tworzenie społeczności badawczych. Pozwalają one na długoterminowe budowanie lojalności i poczucia wspólnoty panelistów. To zdecydowanie podnosi jakość uzyskiwanych danych. Ponadto warto wprowadzać elementy gamefikacji zarówno do treści ankiet, jak i do uczestnictwa w panelu.

Sprawy frankowe w sądach mają zdecydowanie przyspieszyć. Eksperci zgłaszają wątpliwości

Trwają prace nad regulacjami, które pozwolą na szybsze rozpoznawanie spraw frankowych. Eksperci komentujący te doniesienia, przedstawiają wątpliwości w kwestii skuteczności wybranych pomysłów. Ale nie brakuje też opinii, że przygotowywane zmiany poprawią sytuację w sądach.

Kwarantanna czasowa

– Niektórzy zakładają, że respondent powinien dostawać ankiety np. co 2-3 dni. Część branży mówi, że nie może on brać udziału w badaniach częściej niż raz na pół roku. Takie wytyczne zwykle dotyczą jednak wywiadów bezpośrednich face-to-face w miejscu zakupu lub w domu i obejmują raczej testy produktów – tłumaczy Łukasz Zieliński.

Tymczasem Damian Badzmirowski Prezes agencji CeBRiS uważa, że kwarantanna czasowa ma sens tylko wtedy, kiedy trwa minimum dwa miesiące. Ekspert tłumaczy, że taka przerwa jest konieczna z uwagi na zawodowych panelistów. Dla większości ankietowanych główną motywacją do udziału w projektach badań marketingowych są punkty, zniżki albo pieniądze. Nikt do tej pory nie zbadał, jaki procent stanowią autentyczni pasjonaci, gotowi do bezinteresownego dzielenia się opiniami.

– Liczba realizowanych wywiadów, ich tematyka i kryteria rekrutacji powodują, że karencyjność wynika z celów projektu badawczego. Samo zarządzanie panelem polega na utrzymywaniu odpowiedniej motywacji respondentów i właściwego wskaźnika response rate. Należy więc szukać złotego środka między częstotliwością wysyłania zaproszeń do badania i jakością otrzymywanych danych, w zależności od poszczególnych grup ankietowanych – zwraca uwagę ekspert z SYNO Poland.

Technologiczne weryfikacje

W branży coraz częściej mówi się też o konieczności prowadzenia dodatkowej weryfikacji, czy dana osoba nie wypełniała czasem więcej niż jednej ankiety. Monika Kunkowska ze Spotlight Research twierdzi, że można zapobiegać takiemu zjawisku. Bardziej zaawansowane narzędzia badawcze mają możliwość wykrywania „zawodowych respondentów” i fałszerstw, w oparciu o pliki cookie oraz unikalne identyfikatory przechowywane w HTML5, eTAG oraz Flash.

– Obecna technologia wychwytuje przypadki, w których jeden człowiek jest zarejestrowany w kilku panelach pod różnymi adresami e-mailowymi. Ustala się to np. po adresie IP, strefie czasowej, godzinie i innych parametrach komputera. O takich możliwościach często rozmawia się z nowymi klientami. Fakt, że o nie pytają, wiele mówi o oczekiwaniach wobec badań online – zaznacza Łukasz Zieliński.

Z kolei Monika Kunkowska informuje, że niektórzy dostawcy narzędzi badawczych pracują nad rozwiązaniem strict detection, opartym na tzw. cyfrowych odciskach palców przeglądarki i komputera. Jednak korzystanie z niego wymaga zainwestowania w zaawansowaną technologię.

W trzy kwartały 2024 roku na rynku pojawiło się ponad 221 tys. nowych firm. 149 tys. wznowiło działalność

W trzech kwartałach 2024 r. do rejestru CEIDG wpłynęło ponad 221 tys. wniosków dotyczących zarejestrowania jednoosobowej działalności gospodarczej. To o 4,6% mniej niż w analogicznym okresie ubiegłego roku.

– Weryfikacja respondentów wymaga ciągłego inwestowania w najnowsze rozwiązania technologiczne, m.in. w sztuczną inteligencję czy uczenie maszynowe. Bardzo pomocne są algorytmy mierzące czas odpowiedzi na poszczególne pytania oraz identyfikujące te same osoby z kilku paneli – ocenia ekspert z SYNO Poland.

Pytania sprawdzające

Weryfikację respondentów można prowadzić też w samej ankiecie, np. zadając pytania kontrolne, sprawdzające skupienie i zaangażowanie respondenta. Według eksperta z PBS, to dobra praktyka, o ile nadmiernie nie wydłuża czasu badania i nie odwraca uwagi ankietowanego od podstawowego zadania. Tego typu rozwiązania zalecane są przy długich kwestionariuszach. W krótkich są wprowadzone inne sposoby weryfikacji. Jednym z nich jest np. kontrola wizualna czy captcha.

– Pytania kontrolne powinny być standardem w badaniach, szczególnie dotyczących konsumenta mainstreamowego. Niekiedy nie są one praktykowane, gdyż wydłużają samą ankietę. Mogą być też źle odebrane przez respondenta, który zda sobie sprawę z tego, że jest kontrolowany. Myślę jednak, że włączenie kilku nietuzinkowych pytań sprawdzających może wręcz uatrakcyjnić ankietę – twierdzi Marta Bierca z Frost & Sullivan.

W opinii eksperta z SYNO Poland, w ankietach warto zadawać pytania sprawdzające, na które badacz zna odpowiedź. Respondent jest pytany m.in. o to, na jakim urządzeniu wypełnia ankietę lub gdzie się znajduje. Czasem można prosić go np. o podanie miesiąca, którego nazwa zaczyna się na konkretną literę. Według Krzysztofa Zycha z UCE RESEARCH, tego typu pytania powinny podnosić poziom koncentracji respondenta poprzez element zaskoczenia. I można je zastosować na każdym etapie kwestionariusza.

Za szybkie odpowiedzi

– Punktem krytycznym jest zazwyczaj czas wypełnienia ankiety przez wszystkich respondentów. Poniżej 40% mediany jest oznaczony jako podejrzany. Niewiarygodni są też respondenci, którzy na skalach 1-5 odpowiadają w ten sam sposób oraz bezsensownie uzupełniają pytania otwarte. Prawdopodobnie wypełniają ankietę głównie w celu zdobycia punktów, a nie podzielenia się swoją faktyczną opinią – wskazuje Piotr Szeryński z Frost & Sullivan.

Z obserwacji Olgi Orzechowskiej z PBS wynika, że zdarzają się rozbieżności między oczekiwanym a rzeczywistym czasem odpowiedzi na pytania. W celu rozwiązania tego problemu warto oszacować minimalny zakres czasowy. Ekspert dodaje, że prawidłowe zrozumienie pytania to nie tylko kwestia tempa jego czytania. Treść musi być dobrze skonstruowana i jednoznaczna. Natomiast ekspert z UCE RESEARCH ostrzega, że sprawdzanie uważności respondenta poprzez stosowanie skomplikowanych zdań może skutkować obniżeniem jakości odpowiedzi lub wręcz ich brakiem.

– Klienci firm badawczych sami zwracają uwagę na to, że respondenci zbyt szybko odpowiadają. Obawiają się, że przez to wyniki mogą być zafałszowane. Oczywiście są możliwości techniczne do tego, aby przechodzenie do kolejnych pytań następowało po kilku sekundach. Jednak wtedy też nie ma 100% pewności, że respondent dokładnie zapoznał się z treścią. Tak naprawdę nie istnieje jedna skuteczna metoda weryfikacji ankietowanych. W zależności od projektu badawczego jest to połączenie kilku ww. technik kontroli – podsumowuje Łukasz Zieleński z SYNO Poland.