Mixed-mode
Stosowanie zestawu technik
w badaniu sondażowymProf. dr hab. Jarosław Górniak
Instytut Socjologii
Uniwersytet Jagielloński

Co to jest mixed-mode w sondażu?
➔ Stosowanie w jednym badaniu sondażowym więcej niż jednej techniki
gromadzenia danych przy wykorzystaniu tego samego kwestionariusza(w sensie brzmienia i kolejności pytań), np: ankieta pocztowa, CAWI, CATI,
wywiad osobisty:→ na etapie inicjacji kontaktu;→ na etapie rekrutacji/screeningu;→ w gromadzeniu odpowiedzi:– jedna próba, jeden czas, jeden kwestionariusz – różne osoby z próby;– jedna próba, jeden czas – różne części kwestionariusza (dla niektórych osób;– jedna próba – różne punkty czasu, pewne osoby objęte pomiarem w różnym czasie;– różne próby, różne techniki, niekiedy różny czas i kwestionariusze(zwłaszcza dla potrzeb badań porównawczych);→ w zachęcaniu i przypominaniu.
➔ Faktycznie stosowane jest od dawna, np. listy
zapowiednie wysyłane pocztą do wywiadów
osobistych, ankieta pocztowa wspomagana
przez przypomnienie telefoniczne.

 Nie mylić z mixed-method:
zastosowaniem wielu metod w badaniu
danego problemu celu uzyskania
triangulacji metodologicznej.
2

Po co mixed-mode?
➔ Kompensowanie słabości poszczególnych technik w stosunku do różnychgrup respondentów.
➔ Zwiększenie stopy realizacji prób.
➔ Zmniejszenie kosztu badań.
 Nie mówimy tu o stosowaniu różnych technik do różnych części
kwestionariusza, co może wynikać ze specyfiki pomiaru.

3

Zakres stosowania➔ Faktycznie stosuje się od dawna, choć badania nad wpływem na wynikipojawiły się niedawno (wcześniej badano wpływ technik na rozkładyodpowiedzi).
➔ W USA i niektórych krajach Zachodniej Europy staje się standardem.
➔ W Japonii prawie wcale nie stosowane w sondażach.

4

Sposób stosowania➔ Zwykle, w celu uzyskania oszczędności zaczyna się od techniki najtańszej(np. ankiety pocztowej), a najtrudniejszych respondentów bada się techniką
najdroższą (np. wywiad osobisty), np. w American Community Survey:
poczta-telefon-wywiad osobisty.
➔ Wybór i kolejność technik zależy od badanej zbiorowości, np. w przypadku
przedsiębiorstw może to być: telefon, web/mail, fax/poczta.
➔ Dwa podejścia: badacz decyduje o kolejności stosowania technik zaczynając od najtańszej –częściej stosowane w przypadku badania w gospodarstwach domowych, respondent ma możliwość wyboru na etapie wstępnego kontaktu jegoostatecznej formy – częściej stosowane w badaniach grup szczególnych,
w tym establishmentu (por. De Leeuw 2005).

5

Dylematy➔ Trade-off pomiędzy kosztami badań i błędami badań:→ błędami operatów (pokrycie),→ błędami wynikającymi z braków w realizacji,→ błędami pomiaru.

6

Jak techniki wpływają na wyniki➔ E. De Leeuuw (1992) metaanaliza
67 artykułów prezentujących porównanie
technik:→ wyraźne, choć niewielkie różnice
między wywiadami z jednej strony,a innymi technikami – z drugiej,→ ankieta pocztowa to słabsza realizacjai więcej braków danych w pozycjach,ale uzyskane odpowiedzi charakteryzujewiększa jakość/mniejsze obciążenie
tendencją do udzielania odpowiedzi
bardziej społecznie akceptowanych,→ różnice między wywiadami osobistymi
i telefonicznymi znikome; mniejsza
liczba braków danych w pozycjach
w f2f.
➔ De Leeuuw przeprowadziła także badania
eksperymentalne (1992), w których
potwierdziła powyższe konkluzje. Mniejszeróżnice w przypadku prostych pytań,większe – w przypadku złożonych (korzyściz zachęt w f2f).

➔ Bishop i in. (1988) – mniejszy wpływ
kolejności pytań i odpowiedzi w ankietachsamodzielnie wypełnianych.
➔ D. Dillman (2000) stwierdził w wynikubadań, że różnice pomiędzy rozkładami
odpowiedzi na pytania w sekwencyjnym
stosowaniu różnych technik mogą zostać
przypisane raczej wpływowi technik niżzmianie opinii; dotyczy to pytań o kwestiedrażliwe i dotyczące zachowań społeczniepożądanych, ogólnie różnice nie są duże,zwłaszcza w pytaniach o zdarzenia i stany
faktyczne.

➔ Nie uzyskano jednorodnych wyników dla
porównań CAWI z ankietą pocztową.
➔ Ogólnie wpływ techniki badania na wyniki
nie jest duży, największy wynika z efektu
ankieterskiego, nie ma jednej najlepszej
techniki.
7

Dalsze obserwacje➔ Dillman et al. (2008) zauważyliw dużych badaniach (prawie 9000),
że zastosowanie mieszanych technik
istotnie zwiększa realizację, natomiastw przypadku technik słuchowych(CATI, IVR – interactive voiceresponse) występowała tendencja doudzielania bardziej skrajnych
odpowiedzi niż w przypadku technik
wizualnych (CAWI, poczta).

➔ Voogt i Saaris (2005) wykonali
specjalne badanie przy okazji
wyborów parlamentarnych
w Holandii w 1998. Porównali efekt
selekcji (wynikający z możliwościuzyskania odpowiedzi) i efekt
transformacji (różnice wynikającez rodzaju kontaktu). Konkluzja:
mixed-mode daje zdecydowaniewyższy stopień realizacji (stosowalipodejście sekwencyjne + opcja pytańkluczowych dla twardych
nie-respondentów), stosowanieróżnych technik daje pewne
zakłócenie standaryzacji pomiaru,
ale korzyści zdecydowanie
przewyższają te wady.
8

Dlaczego realizacja jest tak ważna
➔ Peytcheva i Groves (2009) pokazali w wyniku metaanalizy
23 reprezentatywnych badań amerykańskich i europejskich,że obciążenie rozkładów zmiennych demograficznych wynikającez braków w realizacji jest słabo predykcyjne dla obciążeń statystyk
zmiennych substantywnych. Różnice między respondentami
i nie-respondentami w przypadku statystyk dla zmiennych
demograficznych nie są skorelowane z różnicami dla zmiennych
substantywnych.
➔ Ważenie poststraftyfikacyjne może być nieskuteczne!

9