Bit By Bit - Running eksperimente - 4.4.3 Meganismes
Eksperimente te meet wat gebeur het. Meganismes te verduidelik waarom en hoe dit gebeur het.
Die derde sleutel idee om verder as eenvoudige eksperimente te beweeg, is meganismes . Meganismes vertel ons hoekom of hoe ' n behandeling 'n effek veroorsaak het. Die proses om meganismes te soek word soms ook genoem om intervensie veranderlikes of bemiddelende veranderlikes te gebruik . Alhoewel eksperimente goed is vir die raming van oorsaaklike effekte, word hulle dikwels nie ontwerp om meganismes te openbaar nie. Digitale eksperimente kan ons help om meganismes op twee maniere te identifiseer: (1) hulle stel ons in staat om meer prosesdata te versamel en (2) hulle in staat stel om baie verwante behandelings te toets.
Aangesien meganismes moeilik is om formeel te definieer (Hedström and Ylikoski 2010) , begin ek met 'n eenvoudige voorbeeld: limes en skurfte (Gerber and Green 2012) . In die agtiende eeu het dokters 'n redelike goeie verstand gehad dat wanneer matrose limiete geëet het, nie skurfte gekry het nie. Scurvy is 'n verskriklike siekte, so dit was kragtige inligting. Maar hierdie dokters het nie geweet hoekom limes skurfte voorkom nie. Dit was eers 1932, byna 200 jaar later, dat wetenskaplikes betroubaar kon wys dat vitamien C die rede was dat kalk skurvy voorkom (Carpenter 1988, 191) . In hierdie geval is vitamien C die meganisme waardeur limiete skurfte voorkom (figuur 4.10). Natuurlik, die identifisering van die meganisme is ook baie belangrik wetenskaplik-baie wetenskap is oor die verstaan ​​waarom dinge gebeur. Identifiserende meganismes is ook prakties baie belangrik. Sodra ons verstaan ​​waarom 'n behandeling werk, kan ons potensieel nuwe behandelings ontwikkel wat nog beter werk.
Figuur 4.10: Limense voorkom skeurbuik en die meganisme is vitamien C.
Ongelukkig is isolerende meganismes baie moeilik. In teenstelling met limes en skeurbuik, in baie sosiale instellings, behandel behandelings waarskynlik deur middel van baie verwante paaie. In die geval van sosiale norme en energiegebruik het navorsers egter probeer om meganismes te isoleer deur prosesdata en toetsverwante behandelings te versamel.
Een manier om moontlike meganismes te toets, is om prosesdata te versamel oor hoe die behandeling moontlike meganismes beïnvloed het. Byvoorbeeld, onthou dat Allcott (2011) gewys het dat Home Energy Reports mense veroorsaak het om hul elektrisiteitsverbruik te verlaag. Maar hoe het hierdie verslae die gebruik van elektrisiteit verminder? Wat was die meganismes? In 'n opvolgstudie het Allcott and Rogers (2014) saamgewerk met 'n kragmaatskappy wat deur middel van 'n kortingsprogram inligting gekry het oor wat verbruikers hul toestelle opgradeer na meer energie-doeltreffende modelle. Allcott and Rogers (2014) bevind dat 'n bietjie meer mense wat die Home Energy Reports ontvang, hul toestelle opgradeer. Maar hierdie verskil was so klein dat dit slegs 2% van die afname in energieverbruik in die behandelde huishoudings kon uitmaak. Met ander woorde, toestelopgraderings was nie die oorheersende meganisme waardeur die huishoudelike verslag die elektrisiteitsverbruik verminder het nie.
'N Tweede manier om meganismes te bestudeer, is om eksperimente met effens verskillende weergawes van die behandeling uit te voer. Byvoorbeeld, in die eksperiment van Schultz et al. (2007) en al die daaropvolgende Home Energy Report eksperimente, is deelnemers voorsien van 'n behandeling wat twee hoof dele (1) wenke oor energiebesparing en (2) inligting oor hul energieverbruik ten opsigte van hul eweknieë gehad het (Figuur 4.6). Dit is dus moontlik dat die energiebesparende wenke was wat die verandering veroorsaak het, nie die eweknie-inligting nie. Om die moontlikheid te bepaal dat die wenke alleen voldoende was, het Ferraro, Miranda, and Price (2011) saam met 'n watermaatskappy naby Atlanta, Georgië, saamgewerk en 'n verwante eksperiment oor waterbewaring gehou wat ongeveer 100,000 huishoudings behels. Daar was vier voorwaardes:
'n groep wat wenke ontvang het om water te bespaar
'n groep wat wenke ontvang het om water te bespaar, plus 'n morele appèl om water te bespaar
'n groep wat wenke ontvang het om water te bespaar, plus 'n morele appèl om water te bespaar, plus inligting oor hul watergebruik relatief tot hul eweknieë
Die navorsers het bevind dat die wenke-enigste behandeling geen invloed gehad op waterverbruik in die kort (een jaar), medium (twee jaar) en lang (drie jaar) termyn nie. Die wenke plus appèlbehandeling het veroorsaak dat deelnemers waterverbruik verminder, maar net op kort termyn. Ten slotte het die wenke plus appèl plus peer-inligting-behandeling veroorsaak dat die gebruik op kort, medium en lang termyn verminder is (figuur 4.11). Hierdie soort eksperimente met ontbondelde behandelings is 'n goeie manier om vas te stel watter deel van die behandeling of watter dele saam is - die een wat die effek veroorsaak (Gerber and Green 2012, sec. 10.6) . Byvoorbeeld, die eksperiment van Ferraro en kollegas wys ons dat waterbesparende wenke alleen nie genoeg is om waterverbruik te verminder nie.
Figuur 4.11: Resultate van Ferraro, Miranda, and Price (2011) . Behandelings is gestuur op 21 Mei 2007 en effekte is gedurende die somer van 2007, 2008 en 2009 gemeet. Deur die ontbondeling van die behandeling het die navorsers gehoop om 'n beter gevoel van meganismes te ontwikkel. Die wenke-enigste behandeling het in wese geen effek gehad in die kort (een jaar), medium (twee jaar) en lang (drie jaar) termyn nie. Die wenke plus appèlbehandeling het veroorsaak dat die deelnemers waterverbruik verminder, maar net op kort termyn. Die advies plus appèl plus portuurinligtingbehandeling het veroorsaak dat deelnemers die waterverbruik op kort, medium en lang termyn verminder. Vertikale stawe is geskatte vertrouensintervalle. Sien Bernedo, Ferraro, and Price (2014) vir die werklike studiemateriaal. Aangepas uit Ferraro, Miranda, and Price (2011) , tabel 1.
Ideaal gesproke sal 'n mens verder gaan as die uitleg van komponente (wenke, wenke plus appèl, wenke plus appèl plus eweknie-inligting) tot 'n volledige fakulteitontwerp - ook soms 'n \(2^k\) fakulteitsontwerp genoem - waar elke moontlike kombinasie van die drie elemente word getoets (tabel 4.1). Deur elke moontlike kombinasie van komponente te toets, kan navorsers die effek van elke komponent ten volle en in kombinasie evalueer. Byvoorbeeld, die eksperiment van Ferraro en kollegas onthul nie of peervergelyking alleen genoeg sou wees om langtermynveranderinge in gedrag te veroorsaak nie. In die verlede is hierdie volledige fakulteitsontwerpe moeilik om te hardloop omdat hulle 'n groot aantal deelnemers benodig en vereis dat navorsers 'n groot aantal behandelings presies kan beheer en lewer. Maar in sommige situasies verwyder die digitale era hierdie logistieke beperkings.
Tabel 4.1: Voorbeeld van Behandelings in 'n Volledige Faktoriese Ontwerp met Drie Elemente: Wenke, Appèl, en Portuurinligting
4 Portuur Inligting
5 Wenke + appèl
6 Wenke + portuur inligting
7 Appèl + portuur inligting
8 Wenke + appèl + portuur inligting
Samevattend, meganismes-die paaie waardeur 'n behandeling 'n effek het, is ongelooflik belangrik. Digitale leeftyd eksperimente kan navorsers help om te leer oor meganismes deur (1) prosesdata te versamel en (2) volledige faktoriale ontwerpe te maak. Die meganismes wat deur hierdie benaderings voorgestel word, kan dan direk getoets word deur eksperimente wat spesifiek ontwerp is om meganismes te toets (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .
In totaal bevat hierdie drie konsepte-validiteit, heterogeniteit van behandelingseffekte en meganismes 'n kragtige stel idees vir die ontwerp en interpretasie van eksperimente. Hierdie konsepte help navorsers om meer as eenvoudige eksperimente te beweeg oor wat "werk" na ryker eksperimente wat strenger koppel aan die teorie het, wat openbaar waar en waarom behandelings werk, en dit help selfs navorsers om doeltreffender behandelings te ontwerp. Gegewe hierdie konseptuele agtergrond oor eksperimente, gaan ek nou na hoe jy eintlik jou eksperimente kan laat gebeur.