Badania rynku mogą wspierać bardzo różne decyzje biznesowe – od oceny potencjału nowego produktu, przez wybór skuteczniejszej kreacji reklamowej, aż po analizę satysfakcji klientów. Niezależnie od celu projektu już na etapie jego planowania pojawia się jednak podstawowe pytanie: ilu respondentów właściwie trzeba przebadać?

Intuicyjna odpowiedź może brzmieć: im więcej, tym lepiej. W praktyce zależność nie jest tak prosta. Zbyt mała próba może nie zapewnić wystarczającej precyzji i ograniczać możliwość analizowania interesujących firmę grup. Z drugiej strony zwiększanie liczby respondentów wiąże się z kosztami, a kolejne setki czy tysiące odpowiedzi nie zawsze przynoszą proporcjonalny wzrost wartości badania.

Dlatego wielkość próby powinna być dopasowana przede wszystkim do celu projektu i sposobu, w jaki przedsiębiorstwo zamierza wykorzystać jego wyniki.

Od czego zależy wielkość próby w badaniu?

Próba badawcza to grupa osób uczestniczących w badaniu, na podstawie której chcemy wyciągać wnioski dotyczące szerszej populacji. Populacją mogą być na przykład dorośli Polacy, użytkownicy określonej kategorii produktów, klienci banków, osoby robiące zakupy przez internet albo pracownicy konkretnej organizacji.

Nie istnieje jedna liczebność próby odpowiednia dla każdego badania. Jej wielkość zależy m.in. od tego, o jakiej populacji chcemy wnioskować, jakiej precyzji oczekujemy, ile grup zamierzamy analizować oraz jakie porównania chcemy przeprowadzić.

W praktyce biznesowej oznacza to, że zupełnie innych założeń może wymagać ogólnopolskie badanie znajomości marki, a innych projekt służący porównaniu kilku nowych konceptów produktu. Jeszcze inaczej będzie wyglądać badanie satysfakcji pracowników jednej organizacji, gdzie cała interesująca nas populacja może liczyć kilkaset osób.

Istotne jest również to, że wielkość populacji nie zawsze przekłada się bezpośrednio na wymaganą wielkość próby. W przypadku dużych populacji znacznie większe znaczenie ma oczekiwana precyzja wyników. Liczebność całej populacji staje się natomiast bardziej istotna wtedy, gdy jest ona stosunkowo mała, a badana próba stanowi jej znaczącą część.

Czy 1000 respondentów to złoty standard?

Liczba 1000 respondentów często pojawia się w kontekście badań ilościowych i może sprawiać wrażenie uniwersalnego standardu. Tymczasem próba n=1000 w jednym projekcie może być wystarczająca, w drugim niepotrzebnie duża, a w trzecim – zbyt mała.

Warto w tym miejscu wyjaśnić pojęcie marginesu błędu. Pomaga on określić precyzję, z jaką wynik z próby pozwala szacować wartość dla całej populacji – przy założeniu odpowiedniego losowego schematu doboru.

Dla wyniku na poziomie 50% i przy poziomie ufności 95% maksymalny margines błędu wynosi orientacyjnie około ±9,8 punktu procentowego przy próbie 100 osób, ±4,4 p.p. przy 500 osobach oraz ±3,1 p.p. przy 1000 respondentów.

Ważna z perspektywy biznesowej jest zależność pomiędzy zwiększaniem próby a uzyskiwaną precyzją. Podwojenie liczby respondentów nie powoduje zmniejszenia marginesu błędu o połowę. Przykładowo zwiększenie próby z 500 do 1000 osób ogranicza maksymalny margines błędu z około ±4,4 do ±3,1 p.p.

Oznacza to, że korzyści z pozyskiwania kolejnych respondentów stopniowo maleją. Większa próba może oczywiście być uzasadniona, ale warto oceniać ją również pod kątem relacji między dodatkowym kosztem a rzeczywistym wzrostem precyzji.

Duża próba nie zawsze oznacza reprezentatywne badanie

Kolejnym częstym uproszczeniem jest utożsamianie wielkości próby z jej reprezentatywnością. Tymczasem są to dwie różne kwestie.

Można zebrać odpowiedzi od 10 000 osób, a mimo to uzyskać dane, które źle opisują interesującą nas populację. Stanie się tak na przykład wtedy, gdy respondenci zostaną niewłaściwie dobrani lub istotna część populacji praktycznie nie będzie miała możliwości znalezienia się w badaniu.

Znaczenie ma więc nie tylko liczba uczestników, lecz także sposób ich rekrutacji, struktura próby oraz zgodność badanej grupy z populacją, o której chcemy wyciągać wnioski.

Dobrze pokazuje to prosty przykład biznesowy. Jeżeli producent chce zbadać osoby planujące w najbliższym czasie zakup samochodu, odpowiednią populacją nie będą wszyscy dorośli Polacy. Nawet bardzo duża próba ogólnopolska może zawierać zbyt mało osób należących do grupy faktycznie interesującej firmę.

Najważniejsza pułapka: duża próba, mały segment

W badaniach biznesowych bardzo istotna jest nie tylko całkowita liczba respondentów, ale również wielkość grup, które firma chce później analizować oddzielnie.

Załóżmy, że przedsiębiorstwo przeprowadza badanie na 1000 konsumentów. Na poziomie całej próby pozwala ono uzyskać stosunkowo wysoką precyzję. Firma chce jednak dokładniej przyjrzeć się klientom w wieku 18–24 lata i okazuje się, że w badaniu uczestniczyło tylko 100 takich osób.

Wyniki dla tego segmentu mają precyzję odpowiadającą próbie n=100, a nie n=1000.

Problem pojawia się w wielu typowych analizach biznesowych. Firma może chcieć osobno porównywać klientów własnej marki i konkurencji, mieszkańców poszczególnych regionów, klientów korzystających z podstawowego i premium wariantu usługi albo osoby kupujące określoną kategorię regularnie i okazjonalnie.

Im bardziej szczegółowo dzielimy wyniki, tym mniejsze stają się poszczególne grupy. Przy bardzo małych podstawach procenty mogą być niestabilne. Dla przykładu przy n=50 jedna odpowiedź odpowiada aż 2 punktom procentowym wyniku, podczas gdy przy n=500 jest to zaledwie 0,2 punktu.

Nie oznacza to, że wyników małych grup nie można wykorzystywać. Mogą dostarczać wartościowych informacji kierunkowych. Należy jednak interpretować je ostrożniej i nie przypisywać im takiej samej precyzji jak wynikom opartym na kilkuset obserwacjach.

Z perspektywy przedsiębiorstwa oznacza to, że przy określaniu wielkości badania warto patrzeć nie tylko na całkowite n, lecz także na liczebność najważniejszych segmentów, które mają być później przedmiotem analiz.

Test produktu, reklamy lub ceny – kiedy próba szybko się dzieli

Szczególne znaczenie ma to w projektach służących porównywaniu kilku rozwiązań. Firma może chcieć sprawdzić, która z trzech kreacji reklamowych wywołuje najlepszą reakcję, porównać kilka nazw nowej marki albo ocenić alternatywne koncepty produktu.

Załóżmy, że w badaniu uczestniczy 600 respondentów, których losowo dzielimy pomiędzy trzy testowane warianty. Każdy z nich zostanie oceniony przez około 200 osób. Z perspektywy porównania nie mamy więc jednej próby n=600, ale trzy grupy po około n=200.

Ma to znaczenie dla możliwości interpretacji różnic. Im mniejsze różnice pomiędzy wariantami chcemy wiarygodnie wykrywać, tym większej próby zazwyczaj potrzebujemy. Przy niewielkich grupach pozornie interesująca przewaga jednego konceptu może mieścić się w zakresie przypadkowych wahań wyników.

W praktyce może to dotyczyć decyzji o znaczących konsekwencjach finansowych – na przykład wyboru produktu do wprowadzenia na rynek, opakowania kierowanego do masowej sprzedaży czy kreacji, na której zostanie oparta duża kampania reklamowa.

Wielkość próby warto więc rozpatrywać w kontekście rodzaju decyzji, którą mają wspierać wyniki, oraz różnic, które firma chce być w stanie wychwycić.

Większa próba czy lepsze badanie?

Zwiększenie próby jest uzasadnione przede wszystkim wtedy, gdy zależy nam na wysokiej precyzji wyników, chcemy analizować wiele segmentów, interesuje nas stosunkowo rzadka grupa albo zamierzamy porównywać kilka produktów, reklam czy innych wariantów. Większe próby są również przydatne w badaniach powtarzanych, jeżeli celem jest obserwowanie stosunkowo niewielkich zmian pomiędzy kolejnymi pomiarami.

Nie należy jednak traktować liczby respondentów jako uniwersalnego miernika jakości badania.

Duża próba ogranicza niepewność związaną z przypadkowymi wahaniami wyników, ale nie rozwiązuje problemów wynikających z błędów w konstrukcji projektu. Nie pomoże, jeżeli przebadano niewłaściwą grupę osób, kryteria kwalifikacji respondentów zostały źle określone, pytania są niejasne lub sugerujące albo kwestionariusz w rzeczywistości nie mierzy zjawiska, które interesuje przedsiębiorstwo.

Z biznesowego punktu widzenia celem nie powinno być więc zebranie maksymalnej liczby odpowiedzi w ramach dostępnego budżetu. Chodzi raczej o takie wykorzystanie środków, aby badanie zapewniało poziom precyzji odpowiadający decyzjom, które mają zostać podjęte.

Dobrze dobrana próba nie musi być największą próbą, na jaką przedsiębiorstwo może sobie pozwolić. Powinna być natomiast wystarczająco duża, aby umożliwić odpowiedź na postawione pytania badawcze – również wtedy, gdy dotyczą one konkretnych segmentów klientów lub porównania kilku wariantów.

Ostatecznie to nie sama liczba respondentów decyduje o wartości badania. Równie ważne są właściwe zdefiniowanie populacji, sposób doboru uczestników, konstrukcja kwestionariusza oraz dopasowanie całego projektu do informacji, których rzeczywiście potrzebuje organizacja.

Źródło: Artykuł został opracowany na podstawie materiału „Jak dobrać wielkość próby badawczej do badania ilościowego?” opublikowanego przez Ogólnopolski Panel Badawczy Ariadna: https://panelariadna.pl/wiedza/dobor-wielkosci-proby-badawczej