Meting gaan oor wat u respondente dink en doen van wat hulle sê.
Benewens probleme van verteenwoordiging, toon die totale oorsig foutraamwerk dat die tweede groot foutfout meting is : hoe ons afleidings maak van die antwoorde wat die respondente aan ons vrae gee. Dit blyk dat die antwoorde wat ons ontvang, en daarom die afleidings wat ons maak, krities kan afhang - en soms op verrassende maniere - presies hoe ons vra. Miskien illustreer niks hierdie belangrike punt beter as 'n grap in die wonderlike boek. Vrae deur Norman Bradburn, Seymour Sudman en Brian Wansink (2004) :
Behalwe hierdie spesifieke grap, het opname navorsers baie sistematiese maniere gedokumenteer dat wat jy leer hang af van hoe jy vra. Trouens, die probleem in die wortel van hierdie grap het 'n naam in die opname navorsingsgemeenskap: vraagvorm-effekte (Kalton and Schuman 1982) . Om te sien hoe vraagvorm-effekte moontlik werklike opnames kan beïnvloed, oorweeg hierdie twee baie soortgelyke opname vrae:
Alhoewel beide vrae dieselfde blyk te wees, het hulle verskillende resultate in 'n werklike opname-eksperiment (Schuman and Presser 1996) opgelewer. By navraag gevra, het ongeveer 60% van die respondente gerapporteer dat individue meer skuldig bevind is aan misdaad, maar by die ander kant het sowat 60% gerapporteer dat sosiale toestande meer verantwoordelik was (figuur 3.3). Met ander woorde, die klein verskil tussen hierdie twee vrae kan navorsers tot 'n ander gevolgtrekking lei.
Figuur 3.3: Resultate van 'n opname-eksperiment wat bewys dat navorsers verskillende antwoorde kan kry, afhangende van presies hoe hulle die vraag gevra het. 'N Meerderheid van die respondente het ooreengekom dat individue meer skuld as sosiale toestande vir misdaad en wetteloosheid. En 'n meerderheid van die respondente het met die teenoorgestelde ooreengekom: dat sosiale toestande meer verantwoordelik is as individue. Aangepas uit Schuman and Presser (1996) , tabel 8.1.
Benewens die struktuur van die vraag, kan respondente ook verskillende antwoorde gee, afhangende van die spesifieke woorde wat gebruik word. Byvoorbeeld, om menings oor regeringsprioriteite te meet, is die respondente die volgende gevra:
Daarna is die helfte van die respondente gevra oor "welsyn" en die helfte is gevra oor "hulp vir die armes." Alhoewel dit soos twee verskillende frases vir dieselfde ding lyk, het hulle baie verskillende resultate opgelewer (figuur 3.4); Amerikaners rapporteer dat hulle baie meer ondersteun van "hulp aan die armes" as "welsyn" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
Figuur 3.4: Uitslae van 'n opname-eksperiment wat toon dat respondente baie meer ondersteun van "hulp aan die armes" as "welsyn." Dit is 'n voorbeeld van 'n vraag-bewoordende effek waarmee die antwoorde wat navorsers ontvang, afhang van presies watter woorde hulle gebruik in hul vrae. Aangepas van Huber and Paris (2013) , tafel A1.
Soos hierdie voorbeelde oor vraagvorm-effekte en bewoordingseffekte toon, kan die antwoorde wat navorsers ontvang beïnvloed word deur hoe hulle hul vrae stel. Hierdie voorbeelde lei soms tot navorsers om te wonder oor die korrekte manier om hul opname vrae te vra. Terwyl ek dink daar is 'n paar verkeerde maniere om 'n vraag te stel, dink ek nie daar is altyd een korrekte manier nie. Dit is dus nie beter om te vra oor "welsyn" of "hulp vir die armes nie"; Dit is twee verskillende vrae wat twee verskillende dinge meet oor die houding van die respondente. Hierdie voorbeelde lei soms ook tot navorsers om af te lei dat opnames nie gebruik mag word nie. Ongelukkig is daar soms geen keuse nie. In plaas daarvan dink ek die regte les om uit hierdie voorbeelde te trek, is dat ons ons vrae noukeurig moet opstel en ons nie onantwoorde antwoorde moet aanvaar nie.
Meest konkreet beteken dit dat as jy die opname data wat deur iemand anders versamel is, ontleed, maak seker dat jy die werklike vraelys gelees het. En as jy jou eie vraelys skep, het ek vier voorstelle. Eerstens stel ek voor dat u meer lees oor Bradburn, Sudman, and Wansink (2004) (bv. Bradburn, Sudman, and Wansink (2004) ); daar is meer hieraan as wat ek hier beskryf het. Tweedens stel ek voor dat u kopie-woord vir woordvrae van hoë gehalte opnames. As jy byvoorbeeld respondente wil vra oor hul ras / etnisiteit, kan jy die vrae wat gebruik word in grootskaalse regeringsopnames, soos die sensus, kopieer. Alhoewel dit dalk as plagiaat kan lyk, word kopieervrae aangemoedig in opname-navorsing (solank jy die oorspronklike opname noem). As jy vrae van hoë gehalte opnames kopieer, kan jy seker wees dat hulle getoets is, en jy kan die antwoorde op jou opname vergelyk met antwoorde van ander opnames. Derdens, as jy dink dat jou vraelys belangrike vrae bewoordingseffekte of vraagvorm-effekte kan bevat, kan jy 'n opname-eksperiment uitvoer waar die helfte van die respondente een weergawe van die vraag ontvang en die helfte ontvang die ander weergawe (Krosnick 2011) . Ten slotte stel ek voor dat jy jou vrae met 'n paar mense uit jou raambevolking toets. opname navorsers noem hierdie proses vooraf toetsing (Presser et al. 2004) . My ervaring is dat die opname vooraf toets baie nuttig is.