Bit By Bit - Skep massasamewerking - 5.2.2 Menigte-kodering van politieke manifeste
Soortgelyk aan die Galaxy Zoo, is daar baie situasies waar sosiale navorsers 'n prent of teks wil kode, klassifiseer of etiketteer. 'N Voorbeeld van hierdie soort navorsing is die kodering van politieke manifes. Tydens die verkiesing produseer politieke partye manifes wat hul beleidsposisies beskryf en filosofieë rig. Byvoorbeeld, hier is 'n stuk van die manifes van die Labour Party in die Verenigde Koninkryk vanaf 2010:
Hierdie manifes bevat waardevolle inligting vir politieke wetenskaplikes, veral diegene wat verkiesings bestudeer en die dinamika van beleidsdebatte. Ten einde inligting uit hierdie manifes sistematies te onttrek, het navorsers The Manifesto Project geskep, wat 4000 manifeste van byna 1000 partye in 50 lande ingesamel het en dan politieke wetenskaplikes georganiseer het om hulle sistematies te kodeer. Elke sin in elke manifes is gekodeer deur 'n deskundige wat 'n 56-kategorie skema gebruik. Die resultaat van hierdie gesamentlike poging is 'n massiewe datastel wat die inligting in hierdie manifes opsom, en hierdie datastel is in meer as 200 wetenskaplike referate gebruik.
Kenneth Benoit en kollegas (2016) besluit om die manifesto-koderingstaak te neem wat voorheen deur kundiges uitgevoer is en omskep in 'n menslike berekeningsprojek. As gevolg daarvan het hulle 'n koderingsproses geskep wat meer reproduseerbaar en buigsaam is, om nie goedkoper en vinniger te noem nie.
Benoit en sy kollegas het 18 manifeste ontwikkel wat tydens ses onlangse verkiesings in die Verenigde Koninkryk gegenereer is. Benoit en kollegas het die strategie vir skeuring gebruik met werkers van 'n mikrotaskarbeidsmark (Amazon Mechanical Turk and CrowdFlower is voorbeelde van mikrotaskarbeidsmarkte; vir meer op sulke markte , sien Hoofstuk 4). Die navorsers het elke manifes geneem en dit in sinne verdeel . Vervolgens het 'n persoon die koderingskema toegepas op elke sin. In die besonder is lesers gevra om elke sin te klassifiseer as verwysing na ekonomiese beleid (links of regs), na die sosiale beleid (liberaal of konserwatief), of nie (figuur 5.5). Elke sin is gekodeer deur ongeveer vyf verskillende mense. Laastens is hierdie graderings gekombineer met behulp van 'n statistiese model wat verantwoordelik was vir beide individuele-effek-effekte en probleme-van-sin-effekte. In totaal het Benoit en kollegas 200 000 graderings van sowat 1500 mense ingesamel.
Figuur 5.5: Koderingskema van Benoit et al. (2016) . Lesers is gevra om elke sin te klassifiseer as verwysing na ekonomiese beleid (links of regs), na die sosiale beleid (liberaal of konserwatief), of nie. Aangepas uit Benoit et al. (2016) , figuur 1.
Om die gehalte van die skare-kodering te bepaal, het Benoit en kollegas ook sowat 10 kundige professore en gegradueerde studente in die politieke wetenskap gehad - dieselfde manifes gebruik deur 'n soortgelyke prosedure te gebruik. Alhoewel die graderings van lede van die skare meer veranderlik was as die graderings van die kenners, het die konsensus-skare-gradering aansienlike ooreenkoms met die konsensus-deskundige beoordeling (figuur 5.6) gehad. Hierdie vergelyking toon dat, soos by die Galaxy Zoo, menslike berekeningsprojekte hoë gehalte resultate kan lewer.
Figuur 5.6: Deskundige ramings ( \(x\) -axis) en skare ramings ( \(y\) -axis) was in merkwaardige ooreenstemming by die kodering van 18 party manifes van die Verenigde Koninkryk (Benoit et al. 2016) . Die manifeste wat gekodeer is, was van drie politieke partye (Konserwatiewe, Arbeid en Liberale Demokrate) en ses verkiesings (1987, 1992, 1997, 2001, 2005 en 2010). Aangepas uit Benoit et al. (2016) , figuur 3.
Gebaseer op hierdie uitslag, Benoit en kollegas het hul skare-koderingstelsel gebruik om navorsing te doen wat onmoontlik was met die kundigheid-lopende koderingstelsel wat deur die Manifesto-projek gebruik word. Byvoorbeeld, die Manifesto-projek het nie die manifes oor die onderwerp van immigrasie gekodeer nie, want dit was nie 'n belangrike onderwerp toe die koderingskema in die middel-1980's ontwikkel is nie. En op hierdie punt is dit logisties onuitvoerbaar dat die Manifesto-projek teruggaan en hul manifes herroep om hierdie inligting vas te lê. Daarom blyk dit dat navorsers wat belangstel om die politiek van immigrasie te studeer, nie geluk het nie. Benoit en kollegas kon egter hul menslike berekeningstelsel gebruik om hierdie kodering vinnig en maklik aan hul navorsingsvraag te doen.
Om immigrasiebeleid te studeer, het hulle die manifes vir agt partye in die 2010 algemene verkiesing in die Verenigde Koninkryk gekodeer. Elke sin in elke manifes is gekodeer of dit verband hou met immigrasie, en indien wel, of dit pro-immigrasie, neutraal of anti-immigrasie was. Binne 5 uur nadat hulle hul projek bekend gestel het, was die resultate. Hulle het meer as 22 000 antwoorde teen 'n totale koste van $ 360 ingesamel. Verder het die skattings van die skare merkwaardige ooreenkoms met 'n vroeëre opname van kundiges getoon. Toe, as 'n finale toets, twee maande later, het die navorsers hul skare-kodering gereproduseer. Binne 'n paar uur het hulle 'n nuwe skare gekodeerde datastel geskep wat hul oorspronklike skare gekodeerde datastel pas. Met ander woorde, menslike berekening het hulle in staat gestel om kodering van politieke tekste te genereer wat met deskundige evaluasies ooreengekom en reproducerbaar was. Verder, omdat die menslike berekening vinnig en goedkoop was, was dit maklik vir hulle om hul data-versameling aan te pas by hul spesifieke navorsingsvraag oor immigrasie.