Bit By Bit - Running eksperimente - 4.5.4 Saam met die kragtige
Partnering kan koste te verminder en die verhoging van die skaal, maar dit kan die soorte deelnemers, behandelings verander, en uitkomste wat jy kan gebruik.
Die alternatief om dit self te doen, is 'n vennootskap met 'n kragtige organisasie soos 'n maatskappy, regering of NRO. Die voordeel van die werk met 'n maat is dat hulle jou in staat stel om eksperimente uit te voer wat jy nie self kan doen nie. Byvoorbeeld, een van die eksperimente wat ek hieronder van u sal vertel, het betrekking op 61 miljoen deelnemers. Geen individuele navorser kon daardie skaal bereik nie. Terselfdertyd verhoog die vennootskap wat jy kan doen, dit beperk jou ook. Byvoorbeeld, die meeste maatskappye sal jou nie toelaat om 'n eksperiment uit te voer wat hul besigheid of hul reputasie kan benadeel nie. Werk met vennote beteken ook dat wanneer dit tyd is om te publiseer, u onder druk kan kom om u resultate te "herram", en sommige vennote kan selfs probeer om die publikasie van u werk te blokkeer as dit hulle sleg laat lyk. Ten slotte kom partnering ook met koste verbonde aan die ontwikkeling en instandhouding van hierdie samewerking.
Die kern uitdaging wat opgelos moet word om hierdie vennootskappe suksesvol te maak, is 'n manier om die belange van beide partye te balanseer en 'n nuttige manier om te dink oor die balans is Pasteur se Kwadrant (Stokes 1997) . Baie navorsers dink dat as hulle aan iets prakties werk, iets wat van belang kan wees vir 'n maat, dan kan hulle nie werklike wetenskap doen nie. Hierdie ingesteldheid maak dit baie moeilik om suksesvolle vennootskappe te skep, en dit gebeur ook heeltemal verkeerd. Die probleem met hierdie manier van dink word wonderlik geïllustreer deur die baanbrekende navorsing van die bioloog Louis Pasteur. Terwyl hy op 'n kommersiële fermentasieprojek gewerk het om biesap in alkohol te omskep, het Pasteur 'n nuwe klas mikro-organismes ontdek wat uiteindelik tot die kiemteorie van siekte gelei het. Hierdie ontdekking het 'n baie praktiese probleem opgelos - dit het gehelp om die proses van fermentasie te verbeter - en dit het gelei tot 'n groot wetenskaplike voorskot. Dus, eerder as om te dink aan navorsing met praktiese toepassings as in stryd met ware wetenskaplike navorsing, is dit beter om as twee afsonderlike dimensies aan te dink. Navorsing kan gemotiveer word deur gebruik (of nie), en navorsing kan fundamentele begrip soek (of nie). Kritiek, sommige navorsingsagtige Pasteur's-kan gemotiveer word deur gebruik te maak en fundamentele begrip te soek (figuur 4.17). Navorsing in Pasteur se Kwadrant-navorsing wat inherent twee doelwitte vorder - is ideaal vir samewerking tussen navorsers en vennote. Gegewe die agtergrond, sal ek twee eksperimentele studies met vennootskappe beskryf: een met 'n maatskappy en een met 'n NRO.
Figuur 4.17: Pasteur se Kwadrant (Stokes 1997) . Eerder as om te dink aan navorsing as óf "basies" of "toegepas", is dit beter om te dink aan dit as gemotiveerd deur gebruik (of nie) en om fundamentele begrip te soek (of nie). 'N Voorbeeld van navorsing wat beide gemotiveer word en 'n fundamentele begrip het, is Pasteur se werk om beetsaap in alkohol te omskep wat tot die kiemteorie van siekte lei. Dit is die soort werk wat die beste geskik is vir vennootskappe met die kragtige. Voorbeelde van werk wat deur gebruik gemotiveer word, maar wat nie fundamentele begrip soek nie, kom van Thomas Edison, en voorbeelde van werk wat nie gemotiveerd is nie, maar wat begrip soek, kom van Niels Bohr. Sien Stokes (1997) vir 'n deeglike bespreking van hierdie raamwerk en elk van hierdie gevalle. Aangepas uit Stokes (1997) , figuur 3.5.
Groot maatskappye, veral tegnologie maatskappye, het ongelooflike gesofistikeerde infrastruktuur ontwikkel vir die uitvoer van komplekse eksperimente. In die tegnologiebedryf word hierdie eksperimente dikwels A / B toetse genoem omdat hulle die effektiwiteit van twee behandelings vergelyk: A en B. Sulke eksperimente word gereeld uitgevoer vir dinge soos toenemende deurkliektempo's op advertensies, maar dieselfde eksperimentele infrastruktuur kan ook gebruik word vir navorsing wat wetenskaplike begrip bevorder. 'N Voorbeeld wat die potensiaal van hierdie soort navorsing illustreer, is 'n studie wat uitgevoer word deur 'n vennootskap tussen navorsers by Facebook en die Universiteit van Kalifornië, San Diego, oor die uitwerking van verskillende boodskappe oor die opkoms van die kiesers (Bond et al. 2012) .
Op 2 November 2010 - die dag van die Amerikaanse kongres verkiesings - almal 61 miljoen Facebook gebruikers wat in die Verenigde State geleef het en was 18 en ouer het deelgeneem aan 'n eksperiment oor stem. By die besoek van Facebook is gebruikers lukraak toegewys in een van drie groepe, wat bepaal watter banner (indien enige) bo-aan hul Nuusvoer geplaas is (figuur 4.18):
'n informatiewe boodskap oor die stem met 'n klikbare "I Voted" -knoppie en 'n toonbank (Info)
'n inligtingsboodskap oor die stem met 'n klikbare "I Voted" -knoppie en 'n toonbank plus name en foto's van hul vriende wat reeds die "I Voted" (Info + Social) gekliek het
Bond en kollegas het twee hoofuitkomste bestudeer: gerapporteer stemgedrag en werklike stemgedrag. Eerstens het hulle bevind dat mense in die Info + Sosiale groep ongeveer twee persentasiepunte meer waarskynlik is as mense in die Info-groep om "I Voted" te kliek (ongeveer 20% teenoor 18%). Nadat die navorsers hul data met openbare beskikbare stemrekords vir sowat ses miljoen mense saamgesmelt het, het hulle bevind dat mense in die Info + Sosiale groep 0,39 persentasiepunte meer waarskynlik sou stem as dié in die kontrolegroep en dat mense in die Info-groep was net so geneig om te stem as dié in die kontrolegroep (figuur 4.18).
Figuur 4.18: Resultate van 'n uit-die-stryd-eksperiment op Facebook (Bond et al. 2012) . Deelnemers in die Info-groep het teen dieselfde koers as dié in die kontrolegroep gestem, maar mense in die Info + Sosiale groep het teen 'n effens hoër koers gestem. Bars verteenwoordig geraamde 95% vertrouensintervalle. Resultate in die grafiek is vir die ongeveer ses miljoen deelnemers wat ooreenstem met stemrekords. Aangepas uit Bond et al. (2012) , figuur 1.
Die resultate van hierdie eksperiment toon dat sommige aanlyn-uit-die-stemmingsboodskappe doeltreffender is as ander en dat 'n navorser se skatting van die effektiwiteit kan afhang van of die uitslag gerapporteer word of stemgereed is. Hierdie eksperiment bied ongelukkig geen leidrade oor die meganismes waardeur die sosiale inligting - wat sommige navorsers speurlik 'n "gesigstap" -verhoging genoem het. Dit kan wees dat die sosiale inligting die waarskynlikheid verhoog dat iemand die banier opgemerk het of dat dit die waarskynlikheid verhoog het dat iemand wat die banier waargeneem het, eintlik gestem het of albei. So, hierdie eksperiment bied 'n interessante bevinding wat ander navorsers waarskynlik sal verken (sien bv. Bakshy, Eckles, et al. (2012) ).
Benewens die bevordering van die doelwitte van die navorsers, het hierdie eksperiment ook die doel van die vennootorganisasie (Facebook) bevorder. As jy die gedrag wat bestudeer word van stem tot seep, verander, kan jy sien dat die studie presies dieselfde struktuur het as 'n eksperiment om die effek van aanlyn-advertensies te meet (sien bv. RA Lewis and Rao (2015) ). Hierdie advertensie doeltreffendheid studies meet gereeld die effek van blootstelling aan aanlyn-advertensies-die behandelings in Bond et al. (2012) is basies advertensies om te stem-op vanlyn gedrag. So, hierdie navorsing kan bevorder Facebook se vermoë om die effektiwiteit van aanlyn-advertensies te bestudeer en kan help Facebook oortuig potensiële adverteerders dat Facebook-advertensies is effektief by die verandering van gedrag.
Alhoewel die belange van die navorsers en vennote meestal in hierdie studie was, was hulle ook gedeeltelik in spanning. In die besonder was die toekenning van deelnemers aan die drie groepe-beheer, Info, en Info + Sosiale - geweldig onbalans: 98% van die steekproef is toegeken aan Info + Social. Hierdie onevenwichtige toewysing is ondoeltreffend statisties en 'n veel beter toekenning vir die navorsers sou een derde van die deelnemers in elke groep gehad het. Maar die onevenwichtige toekenning het gebeur omdat Facebook wou hê dat almal die Info + Sosiale behandeling ontvang. Gelukkig het die navorsers hulle oortuig om 1% te hou vir 'n verwante behandeling en 1% van die deelnemers vir 'n kontrolegroep. Sonder die kontrolegroep sou dit basies onmoontlik gewees het om die effek van die Info + Sosiale behandeling te meet omdat dit 'n 'perturb and observe'-eksperiment sou wees eerder as 'n gerandomiseerde beheerde eksperiment. Hierdie voorbeeld bied 'n waardevolle praktiese les om met vennote te werk. Soms skep jy 'n eksperiment deur iemand te oortuig om 'n behandeling te lewer en soms skep jy 'n eksperiment deur iemand te oortuig om nie 'n behandeling te lewer nie (dit wil sê om 'n kontrolegroep te skep).
Vennootskap hoef nie altyd tegnologie maatskappye en A / B toetse met miljoene deelnemers te betrek nie. Byvoorbeeld, Alexander Coppock, Andrew Guess en John Ternovski (2016) saamgewerk met 'n omgewings-NGO, die Liga van Bewaringsvotaers, om eksperimente uit te voer wat verskillende strategieë toets om sosiale mobilisering te bevorder. Die navorsers het die NGO se Twitter-rekening gebruik om beide publieke tweets en privaat direkte boodskappe uit te stuur wat probeer het om verskillende soorte identiteite voor te berei. Hulle het dan gemeet watter van hierdie boodskappe die doeltreffendste was om mense aan te moedig om 'n petisie te onderteken en inligting oor 'n petisie weer te gee.
Tabel 4.3: Voorbeelde van eksperimente wat vennote tussen navorsers en organisasies betrek
Effek van Facebook Nuusvoer op inligting deel Bakshy, Rosenn, et al. (2012)
Effek van gedeeltelike anonimiteit op gedrag op aanlyn-datingwebwerf Bapna et al. (2016)
Effek van Huis Energieverslae oor elektrisiteitsverbruik Allcott (2011) ; Allcott and Rogers (2014) ; Allcott (2015) ; Costa and Kahn (2013) ; Ayres, Raseman, and Shih (2013)
Effek van programontwerp op virale verspreiding Aral and Walker (2011)
Effek van verspreidingsmeganisme op diffusie SJ Taylor, Bakshy, and Aral (2013)
Uitwerking van sosiale inligting in advertensies Bakshy, Eckles, et al. (2012)
Effek van katalogus frekwensie op verkope deur katalogus en aanlyn vir verskillende tipes kliënte Simester et al. (2009)
Effek van gewildheidsinligting oor potensiële werksaansoeke Gee (2015)
Effek van aanvanklike graderings op gewildheid Muchnik, Aral, and Taylor (2013)
Effek van boodskapinhoud op politieke mobilisering Coppock, Guess, and Ternovski (2016)
Oor die algemeen bied vennootskap met die kragtige u in staat om op 'n skaal te werk wat andersins moeilik is om te doen, en tabel 4.3 verskaf ander voorbeelde van vennootskappe tussen navorsers en organisasies. Partnering kan baie makliker wees as om jou eie eksperiment te bou. Maar hierdie voordele kom met nadele: vennootskappe kan die tipe deelnemers, behandelings en uitkomste beperk wat jy kan studeer. Verder kan hierdie vennootskappe lei tot etiese uitdagings. Die beste manier om 'n geleentheid vir 'n vennootskap te vind is om 'n werklike probleem op te los wat jy kan oplos terwyl jy interessante wetenskap doen. As jy nie gewoond is aan hierdie wêreldbeskouing nie, kan dit moeilik wees om probleme in Pasteur se Kwadrant te bespeur, maar met die praktyk begin jy hulle meer en meer opmerk.