Met die oog op die soort foute wat kan gebeur wanneer afleidings uit die respondente om die groter bevolking te verstaan, laat ons kyk na die literêre Digest strooi poll wat probeer het om die uitslag van die 1936 Amerikaanse presidensiële verkiesing voorspel. Hoewel dit meer as 75 jaar gelede was, hierdie debakel het steeds 'n belangrike les om navorsers te leer vandag.
Literêre Digest was 'n gewilde algemene belang tydskrif, en begin in 1920 het hulle begin hardloop strooi stembusse om die uitkomste van die presidensiële verkiesings voorspel. Om hierdie voorspellings te maak wat hulle wil stembriewe te stuur na baie van die mense, en dan net klop op die stembriewe wat teruggekeer; Literêre Digest trots berig dat die stembriewe wat hulle ontvang het nie "geweeg, aangepas of geïnterpreteer word." Hierdie prosedure korrek die wenner voorspel van die verkiesings in 1920, 1924, 1928 en 1932. in 1936, in die middel van die Groot Depressie, Literêre Digest uitgestuur stembriewe tot 10 miljoen mense, wie se name hoofsaaklik afkomstig van telefoongidse en in die motor registrasie rekords. Hier is hoe dit beskryf hul metode:
"DIE DIGEST se gladde-hardloop masjien beweeg met die vinnige akkuraatheid van dertig jaar se ervaring te raai om harde feite te verminder. . . .Dit Week 500 penne uitgekrap meer as 'n kwart van 'n miljoen adresse per dag. Elke dag, in 'n groot kamer bo-motoriese linten versier Vierde Laan, in New York, 400 werkers behendig gly 'n miljoen stukke van drukwerk-genoeg om veertig stad blokke-in die gerig enveloppen [sic] baan. Elke uur in die Digest eie Poskantoor substasie, drie trillings posgeld meting masjiene verseël en gestempel die wit oblongs; geskoolde Postal werknemers omgekeer hulle in bult mailsacks; vloot Digest vragmotors jaag hulle pos-treine te druk. . . Volgende week sal die eerste antwoord van hierdie tien miljoen begin die gety van gemerkte stembriewe, trippel-nagegaan, geverifieer, vyf keer kruis-geklassifiseerde en beloop te wees. Wanneer die laaste figuur is totted en nagegaan, as vorige ondervinding is 'n maatstaf, sal die land leer ken om binne 'n breukdeel van 1 persent van die werklike stemme van 40.000.000 [kiesers]. "(22 Augustus 1936)
Die Digest se fetishization van grootte is onmiddellik herkenbaar aan enige "groot data" navorser vandag. Van die 10 miljoen stembriewe versprei, is 'n ongelooflike 2,4 miljoen stembriewe terugbesorg-dis min of meer 1000 keer groter as die moderne politieke meningspeilings. Van hierdie 2,4 miljoen respondente die uitspraak was duidelik: Literêre Digest het voorspel dat die uitdager Alf Landon gaan die plig Franklin Roosevelt verslaan. Maar, in werklikheid, gebeur presies die teenoorgestelde. Roosevelt verslaan Landon in 'n grondverskuiwing. Hoe kan Literêre Digest skeefloop met soveel data? Ons moderne begrip van steekproefneming maak foute Literêre Digest se duidelike en help ons voorkom dat soortgelyke foute in die toekoms.
Dink duidelik oor monsterneming vereis dat ons vier verskillende groepe mense (Figuur 3.1) oorweeg. Die eerste groep mense is die teikenpopulasie; dit is die groep wat die navorsing definieer as die bevolking van belang. In die geval van Literêre Digest was die teikenpopulasie kiesers in die 1936 presidensiële verkiesing. Na die besluit oor 'n teikenpopulasie, 'n navorser volgende moet 'n lys van mense wat gebruik kan word vir monsterneming te ontwikkel. Hierdie lys word 'n steekproefraamwerk en die bevolking op die steekproefraamwerk is die raam bevolking genoem. In die geval van Literêre Digest was die raam bevolking die 10 miljoen mense wie se name kom hoofsaaklik uit telefoongidse en in die motor registrasie rekords. Die ideaal is die teikenpopulasie en die raam bevolking sal presies dieselfde wees, maar in die praktyk is dit dikwels nie die geval nie. Verskille tussen die teikenpopulasie en raam bevolking geroep dekking fout. Dekking fout nie, op sigself waarborg probleme. Maar, as die mense in die raam bevolking stelselmatig anders as mense nie in die raam bevolking daar sal dekking vooroordeel wees. Dekking fout was die eerste van die groot foute met die Literêre Digest meningspeiling. Hulle wou om te leer oor die kiesers-dit was hul teikenpopulasie-maar hulle gebou 'n steekproefraamwerk hoofsaaklik uit telefoongidse en in die motor registrasies, bronne wat oorverteenwoordig ryker Amerikaners wat meer geneig om Alf Landon (Onthou ondersteun dat beide van hierdie tegnologie is, wat is algemeen vandag, was relatief nuut op die tyd en dat die VSA was in die middel van die Groot Depressie).
Figuur 3.1: Voorstelling foute.
Na die definisie van die raam bevolking, die volgende stap is om 'n navorser by die steekproefpopulasie kies; En dit is die mense wat die navorser sal poog om 'n onderhoud. As die monster het verskillende eienskappe as die raam bevolking, dan kan ons steekproeffout te stel. Dit is die soort van fout gekwantifiseer in die marge van die fout wat gewoonlik gepaard gaan skattings. In die geval van die Literêre Digest fiasko, is daar eintlik geen monster; Hulle het probeer om almal te kontak in die raam bevolking. Selfs al was daar geen steekproeffout, was daar natuurlik nog fout. Dit maak dit duidelik dat die marge van foute wat tipies berig met skattings van opnames is gewoonlik misleidend klein; Dit sluit nie al die bronne van die fout.
Ten slotte, 'n navorser poog om almal 'n onderhoud in die steekproefpopulasie. Daardie mense wat suksesvol is 'n onderhoud is die respondente genoem. Ideaal gesproke sou die steekproefpopulasie en die respondente presies dieselfde wees, maar in die praktyk is daar nie-reaksie. Dit wil sê, mense wat gekies is in die monster te weier om deel te neem. As die mense wat reageer is anders as diegene wat nie reageer nie, dan kan daar nie-reaksie vooroordeel wees. Nie-reaksie vooroordeel was die tweede grootste probleem met die Literêre Digest meningspeiling. Slegs 24% van die mense wat 'n stembrief ontvang gereageer, en dit blyk dat mense wat Landon ondersteun was meer geneig om te reageer.
Verder as net 'n voorbeeld om die idees van verteenwoordiging in te voer, die Literêre Digest peiling is 'n dikwels-herhaalde gelykenis, waarsku navorsers oor die gevare van lukraak monsters. Ongelukkig het ek dink dat die les wat baie mense te trek uit hierdie storie is die verkeerde een. Die mees algemene moraal van die storie is dat navorsers nie enigiets van nie-waarskynlikheid monsters kan leer (dit wil sê, monsters sonder streng-waarskynlikheid gebaseer reëls vir die keuse van deelnemers). Maar, soos ek later in hierdie hoofstuk sal wys, dit is nie heeltemal reg. In plaas daarvan, Ek dink daar is eintlik twee moraal van hierdie storie; morele waardes wat as ware is vandag soos hulle in 1936 die eerste plek was, sal 'n groot hoeveelheid van die lukraak ingesamelde data nie waarborg 'n goeie skatting. Tweede, navorsers nodig om rekenskap te gee hoe hul data versamel wanneer hulle maak ramings daaruit. Met ander woorde, omdat die data-insamelingsproses in die literêre Digest peiling stelselmatig skeef na 'n paar respondente, moet navorsers om 'n meer komplekse skatting proses gebruik wat gewigte sommige respondente meer as ander. Later in hierdie hoofstuk, sal ek jou een so 'n gewig prosedure-post-stratifikasie-wat jy kan in staat stel om beter skattings met nie-waarskynlikheid monsters wys.