**Joukkouttaminen** (tai **joukkoistaminen**, **yleisön osallistaminen**, **talkoistaminen**) kuvaa yleisesti hajautettua ongelmanratkaisu- ja tuotantomallia, jossa toimeksiantaja hyödyntää yhteisön osaamista rajattua tehtävää varten.

Ensimmäisenä termin joukkouttaminen (engl. *crowdsourcing*; crowd = yleisö, (ihmis)joukko; outsourcing = ulkoistaa) esitteli amerikkalainen Jeff Howe artikkelissaan The Rise of Crowdsourcing, joka julkaistiin *Wired*-lehdessä kesäkuussa 2006. Artikkelissaan Howe esittää, että teknologisen kehityksen myötä ammattilaisten ja harrastelijoiden kuilu on kaventunut. Joukkouttaminen on liitetty hyvin usein toisiin samankaltaisiin ilmiöihin, kuten avoimeen innovaatioon ja avoimen lähdekoodin hankkeisiin. Joukkouttamista on myös esimerkiksi joukkorahoitus.

Yleistä
-------

Sanastokeskus TSK:n julkaiseman sosiaalisen median sanaston mukaan joukkouttamisessa ongelma annetaan ratkaistavaksi tai tehtävä suoritettavaksi ennalta määrittelemättömälle joukolle avoimen kutsun avulla. Työn teettäjä saattaa maksaa osallistujille korvauksen, mutta työn suorittaminen voi tapahtua myös ilman rahallista korvausta. Avoin kutsu julkaistaan tavallisesti internetissä. Joukkouttamista voidaan lähtökohtaisesti käyttää yritysten ja organisaatioiden kaikilla osa-alueilla. Siihen voivat osallistua kunkin alan ammattilaisten lisäksi harrastajat ja muuten alasta kiinnostuneet.

Sanalla crowdsourcing ei ole vakiintunutta suomenkielistä vastinetta. Termejä joukkouttaminen ja joukkoistaminen on ehdotettu internetin keskustelupalstoilla. Sosiaalisen median sanastossa sanan suomenkieliseksi vastineeksi on ehdotettu termejä joukkouttaminen, joukkoistaminen, yleisön osallistaminen sekä joukolle ulkoistaminen. Termiä talkoistaminen on ehdotettu kuvaamaan joukkoistamista, jossa osallistujille ei tarjota rahallista korvausta. Yleinen suomalainen asiasanasto tarjoaa crowdsourcing-termistä suomenkielistä vastinetta joukkoistaminen.

Historia
--------

Ensimmäisenä joukkouttamishankkeena voi pitää vuonna 1714 järjestettyä kilpailua. Siinä Iso-Britannian hallitus tarjosi huomattavaa palkkiota henkilölle, joka kykenisi kehittämään ratkaisun pituusaste- eli longitudiongelmaan. Kilpailun voitti John Harrison ja hän sai palkkioksi 20 000 puntaa.

Vuonna 1955 Toyota järjesti kilpailun, jonka tarkoituksena oli suunnitella yritykselle uusi logo. Kilpailuun osallistui 27 000 suunnitelmaa ja kilpailun voitti logo, jossa kolme japanilaista kirjainta muodostivat ympyrän.

Joseph Cahill, silloinen Australian Uuden Etelä-Walesin osavaltion pääministeri, järjesti vuonna 1955 kilpailun, jonka tarkoituksena oli suunnitella rakennus Sydneyn satamaan. Kilpailuun osallistui 233 suunnitelmaa 32 eri maasta ja kilpailun voitti tanskalainen arkkitehti Jørn Utzon, joka suunnitteli Sydneyn oopperatalon.

Joukkouttamisena voidaan pitää myös vuonna 2002 alkanutta American Idol -kilpailua. Vastaavanlaisia kilpailuja on järjestetty vuoden 2002 jälkeen paljon. Niitä voidaan pitää julkisina joukkoistamishankkeina, joiden tarkoituksena on kehittää esimerkiksi albumi, keittokirja tai supertähti.

Hyödyt
------

Toimeksiantajan joukkouttamisesta saamat hyödyt perustuvat hyvin usein kollektiiviseen älykkyyteen, edullisuuteen sekä tehtävän suoritusnopeuteen. James Surowiecki teki vuonna 2004 tunnetuksi kollektiivisen älykkyyden kirjassaan *Joukkojen viisaus*. Hän osoitti, miten on mahdollista saada laadukas vastaus kysymykseen kerättäessä itsenäisiä ehdotuksia suurelta ja monimuotoiselta joukolta. Myös muut tutkijat ovat päätyneet samansuuntaisiin tuloksiin. Tutkittuaan joukkouttamista Morgan ja Wang havaitsivat vuonna 2010, että mitä monipuolisempi joukko on kyseessä, sitä paremmin se sopii ongelmanratkaisuun. Kollektiivinen älykkyys vaatii kuitenkin toimiakseen vastaajien riippumattomuuden toisistaan, koska yhteistyö voi vääristää tuloksia.

Tutkijat Chanal ja Caron-Fasan (2010) totesivat vuonna 2010 julkaistussa artikkelissaan, että avaamalla liiketoimintamalleja sekä joukkouttamalla heidän tutkimansa yritykset pystyivät tehostamaan toimintaansa, eli vähentämään kustannuksiaan tutkimuksessa ja tuotekehityksessä hyödyntämällä ulkopuolista tietotaitoa. Toimeksiantajan joukkouttamisesta saamaa taloudellista hyötyä voivat selittää useat tekijät. Joukkouttamisessa ja avoimessa innovaatiossa yleensä tehtävän toimeksiantaja voi saada hetkellisesti käyttöönsä laajemman ja monipuolisemman osaamisen kuin muuten olisi taloudellisesti mahdollista.. Brabham sekä Morgan ja Wang havaitsivat tutkimuksissaan, että yleisestä käsityksestä poiketen joukkouttamiseen osallistuvat ovat yleensä oman aihealueensa ammattilaisia. Tämä havainto vaikuttaa olevan ristiriidassa yleisesti vallalla olevan käsityksen kanssa, että joukkouttamiseen osallistuu ainoastaan tylsistyneitä harrastelijoita.

Organisaation ulkopuolisen osaamisen hyödyntämisen lisäksi toimeksiantajat voivat hyötyä joukkouttamisen edullisuudesta ja nopeudesta. Joukkouttamisessa on tyypillistä, että toimeksiantaja ei maksa ehdotuksista lainkaan rahallista korvausta.. Korvaus saatetaan maksaa ainoastaan voittavista ehdotuksista. Korvauksen suorittaminen ainoastaan voittavista ehdotuksista voi muodostua ongelmalliseksi joukon kannalta, koska se siirtää muun muassa toimeksiantajan liiketoimintariskiä joukolle. Joukkouttamalla tuotteista tulee sellaisia, kuin asiakkaat haluavat. Tuotekehitys voi olla myös nopeampaa verrattuna siihen, että työ tehtäisiin alusta alkaen organisaation sisällä. Joukkouttaminen saattaa myös lisätä asiakkaiden sitoutumista brändiin tai yritykseen osallistumista. Asiakkiden osallistuessa tuotekehitykseen heidän suhteensa yritykseen tiivistyy.

Business-to-business -tyypin yrityksen on katsottu olevan ongelmallinen joukkoistamisen kannalta, koska tuotteiden kehittämiseen liittyvät tehtävät vaativat usein niin joukkoistajalta kuin joukoltakin erikoistunutta osaamista. Yritys ei myöskään voi käyttää asiakkaitaan joukkona samalla tavalla kuin kuluttajayritys. Asiantuntijat on löydettävä muualta kuin asiakkaista esimerkiksi joukkoistamisalustoilta, jotka kokoavat yhteen tuhansia eri alojen asiantuntijoita.

Yksilön motivaatiotekijöitä osallistumiselle
--------------------------------------------

Tutkijat ovat pyrkineet löytämään syitä sille, miksi useat asiantuntijat, ammattilaiset sekä harrastelijat haluavat osallistua joukkouttamiseen. Motivaatiotekijät voidaan yleisesti jaotella sekä sisäisiin että ulkoisiin. Suorituksen sisäisiä motivaatiotekijöitä ovat ne, joita saa aikaan työn tekeminen itsessään. Tällaisia voivat olla esimerkiksi talkootyön tekeminen, informaation jakaminen sekä sivistäminen.. Tämä näkyy esimerkiksi Wikipediassa. Haichao ja muut havaitsivat tutkimuksessaan vuonna 2011, että sisäiset tekijät, kuten autonomian mahdollisuus, motivoivat ihmisiä osallistumaan joukkouttamiseen ulkoisia motivaatiotekijöitä tehokkaammin. Brabham puolestaan tunnisti tutkimuksessaan neljä pääasiallista motivaatiotekijää, joiden perusteella ihmiset osallistuivat joukkouttamiseen. Näitä ovat mahdollisuus rahalliseen korvaukseen, mahdollisuus kehittää omia luovia taitoja, mahdollisuus freelance-työhön, sekä rakkaus toimeksiantajaa kohtaan. Näiden tekijöiden lisäksi Chanal ja Caron-Fasan totesivat vuonna 2010, että mahdollisuus luovaan työhön, yhteisön tai toimeksiantajan huomio, sekä mahdollisuus maineeseen voivat motivoida ihmisiä itsessään osallistumaan joukkouttamiseen.

Joukkouttamista hyödyntäviä hankkeita
-------------------------------------

Joukkouttamisen lisääntyminen 2000-luvulla on johtanut tutkijat selvittämään, minkälaisiin tehtäviin joukkouttaminen soveltuu parhaiten ja mihin se ei sovi. Vuonna 2012 julkaistussa artikkelissaan Hirth ja muut jakavat joukkouttamissovellukset kolmeen ryhmään tehtävän vaatiman osamisen mukaan. Näitä ovat rutiinitehtävät, monimutkaiset tehtävät sekä luovuutta vaativat tehtävät. Rutiinitehtävät ovat hyvin yksinkertaisia, joiden suorittaminen ei vaadi lainkaan erityisosaamista. Monimutkaiset tehtävät vaativat puolestaan jonkinasteista yleisosaamista käsiteltävästä alueesta. Tällaisia voi olla esimerkiksi annetun tekstin uudelleenkirjoitus. Luoviksi tehtäviksi arvioidaan esimerkiksi erilaiset ideakilpailut, sekä tutkimus- ja tuotekehitystehtävät.

Eräs merkittävä joukkouttamisprojekti on Amazonin palveluihin kuuluva Amazon Mechanical Turk (MTurk), jossa työnantajat voivat valjastaa käyttöönsä ihmisen älyn suorittamaan tehtäviä, joihin tietokoneet eivät vielä pysty. Muun muassa Corney ja muut havaitsivat tutkimuksessaan vuonna 2010, että joukkouttaminen soveltuu juuri tämänkaltaisiin tehtäviin joustavuudeltaan ja tehokkuudeltaan hyödyntämällä erilaisia tekoälysovelluksia paremmin musta laatikko -ongelmanratkaisua. Amazonin sovelluksen toimintaperiaate on yksinkertainen. Ensin työnantajat ilmoittavat työtehtävän ja palkkiosumman sivustolle, jonka jälkeen käyttäjät selailevat sivustoa ja suorittavat haluamiaan tehtäviä rahapalkkiota vastaan. Palkkiosummat tehtävää kohti ovat usein hyvin pieniä. 

Toisenlainen joukkouttamista hyödyntävä verkkosivusto on Threadless. Sivusto myy painettuja t-paitoja, joiden painokuvioiden suunnittelusta vastaavat ulkopuoliset tekijät. Kuka tahansa voi lähettää sivustolle oman paidan painosuunnitelmansa, joista sivuston vierailijat äänestävät omia suosikkejaan. Viikoittain valitaan noin kymmenen uutta suunnitelmaa tuotantoon ja näiden suunnittelijat saavat palkkioksi rahaa ja lahjakortin Threadlessin verkkokauppaan.*lähde?*

Wikipediaa pidetään usein esimerkkinä toimivasta joukkouttamista hyödyntävästä verkkosivustosta. Se hankkii sisältönsä lisäksi palvelun ylläpitämiseen vaaditun rahoituksen lahjoituksina, joka voidaan laskea joukkorahoittamiseksi. Myös Facebook on hyödyntänyt joukkouttamista luodessaan sivustostaan kielellisesti paikallistettuja versioita.

### Ideakilpailut

Ideakilpailut ovat yksi joukkouttamisen ilmentymismuodoista. Niissä toimeksiantaja hakee ratkaisuehdotuksia ongelmaan julkaisemalla sen internetissä. Ideakilpailuissa on yleistä, että toimeksiantaja maksaa rahallisen korvauksen joko yhdestä tai useammasta parhaaksi näkemästään ehdotuksesta. Tutkittuaan useita erilaisia joukkouttamissovelluksia Morgan ja Wang kehittivät vuonna 2010 viitekehyksen, jonka avulla voidaan selvittää, miten hyvin tietty tehtävä soveltuu ideakilpailuun ja miten optimaalinen pakkiojärjestelmä tulisi suunnitella. Heidän keskeinen havaintonsa oli, että ideakilpailuihin soveltuu parhaiten sellaiset tehtävät, missä ratkaisun kehittäminen ei ole riippuvainen muiden ehdotuksista. Lisäksi Haichao ja muut totesivat vuonna 2011, että tehtävien tulisi olla hyvin tarkasti määritettyjä, suhteellisen yksinkertaisia sekä niissä pitäisi vaatia monialaista osaamista.

Morganin ja Wangin lisäksi Trewiesch ja Xu tutkivat artikkelissaan vuonna 2008 ideakilpailujen optimaalisia palkitsemisjärjestelmiä. Heidän mukaansa palkitsemisjärjestelmän kehittämisessä tulee ottaa huomioon muun muassa tehtävän luonne, vaadittu tietotaito, kehittämiseen vaatimat resurssit sekä oletettavissa olevien ratkaisuehdotusten määrä. Yksi palkitsemisjärjestelmä ei sovellu kaikkiin ideakilpailuihin, vaan se tulee suunnitella tapauskohtaisesti.

### Ulkomaisia joukkouttamishankkeita

Kritiikkiä herättäneen Uber-yrityksen taksipalvelun voidaan katsoa hyödyntävän joukkouttamista toimintaperiaatteissaan. Kuka tahansa voi ryhtyä palvelun kuljettajaksi yrityksen järjestämän lyhyen koulutuksen jälkeen, kunhan täyttää lisäksi auton ajamiseen yleiset vaatimukset. Uber-palvelun toimintaperiaate rakentuu yrityksen Uber-sovellukselle. Sen avulla kuljettajat ja asiakkaat pystyvät löytämään toisensa. Joukkoistaminen konkretisoituu, kun yritys tarjoaa ja ylläpitää mahdollisuuksia tällaiselle taksitoiminnalle, mutta taksipalvelun toteuttaminen ja tarjoaminen tapahtuu kuljettajien toimesta. Uber laajeni nopeasti ympäri maailmaa tällä liiketoimintastrategiallaan ja se saavutti sekä median, että viranomaisten huomion. Suomessa Taksiliiton mielestä Uber-toiminta on laitonta liikennettä.*lähde?*

Valven Steam-peli- ja sovellusalusta hyödyntää joukkoistamista monella tapaa. Valve on mahdollistanut joukkoistamisen esimerkiksi tarjoamalla käyttäjille mahdollisuuden peliarvosteluiden kirjoittamisen ja luonut Greenlight –nimisen palvelun pelikehittäjille. Greenlight-palvelun tarkoitus on tarjota pelikehittäjille mahdollisuus viestiä pelaajayhteisön kanssa julkaisemalla tietoja, kuvakaappauksia ja videoita. Greenlight-palvelun tavoitteena on tarjota pienemille kehittäjätiimeille näkyvyyttä ja lopulta saada heidän tuotteensa levitykseen Steamin verkkokauppaosioon. Positiivisen vastaanoton lisäksi Greenlight-palvelu on kohdannut yleisiä joukkoistamiseen liittyviä ongelmia, jotka liittyvät erityisesti sisältötulvaan ja laadunhallintaan.

### Suomalaisia joukkouttamishankkeita

Soneran AIVO-verkkopalvelun tarkoituksena oli avata keskustelua yrityksen ja sen asiakkaiden kanssa, sekä saada uusia ehdotuksia ja ideoita yrityksen toimintaan ja kehitykseen. AIVO-palvelu suljettiin vuonna 2011. 

Kansalliskirjaston ja Microtaskin yhteistyössä järjestämä Digitalkoot-projektissa indeksoidaan käyttäjien avulla vanhoja sanomalehtiä hakukelpoisiksi internetiin.*lähde?*

Puhelinyhtiö Nokia järjesti yhteistyössä Audiodraftin kanssa syksyllä 2011 kilpailun, jossa haettiin uutta versiota yhtiön vanhasta tunnussoittoäänestä, Nokia Tunesta. Voittajalle sekä neljälle muulle finaaliviisikkoon yltäneelle luvattiin rahapalkinnot. Kilpailuun tuli ehdotuksia yli 6 200.

Vuodesta 2010 alkaen järjestetyn Apps4Finland-kilpailun tarkoituksena oli innostaa rahapalkinnoilla ideanikkareita, sovelluskehittäjiä ja kaikkia muita hyödyntämään vapaasti saatavilla olevaa julkishallinnon tuottamaa avointa dataa ja luomaan siitä kiinnostavia ideoita, sovelluksia ja visualisointeja. Vuonna 2011 kilpailuun osallistui 140 ehdotusta.

Marraskuussa 2012 aloitti toimintansa suomalainen graafisen suunnittelun online-markkinapaikka Designtopia.net. Verkkopalvelu nojaa kansainvälisten esikuvien mukaisesti joukkoistettuun suunnitteluun, jossa graafista suunnittelua tarvitseva asiakas voi etsiä parasta toteutusta projektilleen suunnittelukilpailun muodossa. Asiakkaat laativat palveluun ensiksi toimeksiannon, minkä jälkeen suunnittelijat yrittävät vastata asiakkaan toiveisiin omilla suunnitelmillaan tai luonnoksillaan. Asiakas voi sitten valita mieleisensä kymmenistä ehdotuksista.

Coreorient Oy:n Piggy Baggy -palvelussa kuka tahansa tilata tai kuljettaa kimppakyytejä tavaroille. Yksi palvelun hyödyistä on vähentää yksityisautoilun tarvetta ja tarjota tavaroiden kuljetuksen vaihtoehto henkilöautottomille.*lähde?*

Valtioneuvoston tulevaisuusselonteko 2030 on hyödyntänyt joukkouttamista eri vaiheissa. Myös valmis teksti on kenen tahansa kommentoitavissa. Selonteossa joukkouttamisen syynä on se, että laajalta kansanjoukolta voidaan saada mahdollisimman erilaisia tulevaisuuden visioita.

Suomen kansalaisaloitelaki hyödyntää joukkoistamista antamalla äänioikeutetuille mahdollisuus ehdottaa uutta lakia, lakimuutosta tai kumoamista. Lakia varten on tehty nettipalvelu, joka tarjoaa helppokäyttöisen käyttöliittymän lakialoitteiden aloittamiselle ja niiden kannattamiselle. Sivustolle tunnistautuminen tapahtuu pankkitunnuksilla, mobiilivarmenteella tai sirullisella henkilökortilla. Moderni nettipalvelu on tuonut lain hyödyntämisen helposti lähestyttäväksi. Kansalaisaloitetta käsitelleessä tutkimuksessa huomattiin kansalaisten luottamuksen hallintoon olevan sidoksissa heidän kannattamiensa lakiehdotusten läpimenemiseen.

Suomalaisista business-to-business-yrityksistä Konecranes-nosturivalmistaja hyödyntää mekaniikkasuunnittelijoiden joukkoistamisalustaa GrabCAD-yhteisöä tuotteiden konseptoinnin tukena.*lähde?* Aktiivikaiuttimia valmistava Genelec on hyödyntänyt joukkoistamista asiakastuessaan luomalla ympärilleen yhteisön. Yhteisö sisältää käyttäjiä ja asiantuntijoita, joiden palautetta on käytetty hyväksi ongelmakohtien ratkaisemisessa ja tuotekehityksessä.*lähde?*

Arvostelu
---------

Yhtenä suurimmista joukkouttamisen ongelmista pidetään informaation epäsymmetriaa toimeksiantajan sekä joukon välillä – joukko ei tiedä ratkaisun todellista arvoa yritykselle, ellei sitä paljasteta. Tämä voi johtaa siihen ongelmaan, että toimeksiantaja tai muu jäsen pyrkii hyötymään taloudellisesti joukon kollektiivisesti tekemästä työstä maksamatta siitä heille oikeudenmukaista korvausta. Tästä tulee ongelma, jos työtä ei tehdä puhtaasti harrastemielessä, vaan joukko koostuu pääasiassa ammattilaisista ja asiantuntijoista, jotka osallistuvat joukkouttamiseen ansaitakseen elantonsa.

Toinen joukkouttamisen ongelma on Hirthin ja muiden mukaan erilaiset huonoihin ehdotuksiin liittyvät laatuongelmat. Joukossa voi tutkijoiden mukaan olla epärehellisiä jäsenia, jotka pyrkivät vain maksimoimaan oman taloudellisen hyötynsä osallistumalla mahdollisimman moneen tehtävään kerralla, vaikka heidän aikomksenaan ei olisikaan tehdä tehtävää tai vain tehdä se huonosti. Ongelma voi tulla erityisen hankalaksi monimutkaisissa ja luovuutta vaativissa tehtävissä, koska jokainen ehdotus voidaan joutua käymään huolellisesti läpi. Ongelma ei ole niin merkittävä MTurk:in kaltaisissa sovelluksissa tai ideointikilpailuissa, missä huonoja ehdotuksia voidaan jättää huomioimatta esimerkiksi erilaisilla tilastollisilla menetelmillä tai korvaus riippuu suoraan ehdotusten laadusta.

Joukkouttamista ja avointa innovaatiota on myös arvosteltu siitä, se saattaa tulla yritykselle lopulta kalliimmaksi ja hitaammaksi kuin työn ulkoistaminen tai tekeminen itse.

Joukkouttaminen-termin tunnettuja kritisoijia ovat muun muassa mediakriitikko ja kirjailija Douglass Rushkoff.

Wikipedian perustaja Jimmy Wales on todennut joukkoistamis-termin uskomattoman ärsyttäväksi. Hänen mukaansa mikä tahansa yritys, joka aikoo rakentaa verkoston ulkoistamalla kaiken työn sen käyttäjille, ei ainoastaan halveksi sen käyttäjiä, vaan epäonnistuu täysin ymmärtämään, mitä sen pitäisi tehdä. Walesin mukaan tehtävänä on luoda rakenne käyttäjien väliseen yhteistyöhön, ja se vaatii paljon työtä.

Joukkouttamisen hyödyntämistä voivat hidastaa ongelmat lainsäädäntöjen kanssa. Mikäli lainsäädännöllisiä seikkoja ei oteta huomioon ajoissa toiminnan suunnittelussa, lakirikkomuksista tulevat viivästykset ja kulut saattavat ylittää joukkouttamisesta saatavan hyödyn.

Joukkoistamisen valtava kasvu internetin aikakaudella on saanut aikaan keskustelua siihen liittyvistä eettisistä ongelmista. Eettisiksi ongelmiksi ovat tulleet esimerkiksi työn todellinen arvo, immateriaalioikeudet sekä ilmainen työ. Kritiikkiä yrityksiä kohtaan on annettu erityisesti työstä maksettavista korvauksista, jotka ovat osoittautuneet tapauksissa kymmeniä kertoja halvemmiksi verrattuna muihin ratkaisuihin. Yksilön tarve kuulua yhteisöön on luonut tilanteita, joissa ihmisiä käytetään hyväksi joukkoistamisessa ilmaisen työn muodossa. Yritykset ovat joukkoistamisprojekteissa ryhtyneet tekemään sopimuksia, joissa immateriaalioikeudet siirtyvät täysin yritykselle. Ongelmia syntyy, kun joukkoistamista koskeva lainsäädäntö ei ole selvä ja yksilön immateriaalioikeuksia on vaikea turvata. Ihmisiä hyväksikäyttävä joukkoistamisprojekti tai yritys huomataan yhteisön toimesta ja sen hyväksikäyttö tuodaan ilmi.

Katso myös
----------

* Engagement-markkinointi
* Käyttäjätuotanto
* Netiketti
* Tekijänoikeus
* Web 2.0
* Yhteiskehittely

Lähteet
-------

1. 1 2  Kuukauden sana, toukokuu 2012, Kotus
2. 1 2 3 4 5  Brabham, D.C.: The Myth of Amateur Crowds.  *Information, communication & society*, 2012, 15. vsk, nro 3, s. 394-410.
3. ↑  Howe, Jeff: The Rise of Crowdsourcing.  *Wired*, 2006, kesäkuu, 14.06. vsk. Artikkelin verkkoversio.  (englanniksi)
4. 1 2 3  Sanastokeskus TSK: *Sosiaalisen median sanasto*. Helsinki: {{{Julkaisija}}}, 2010. ISBN 978-952-9794-26-3. Teoksen verkkoversio (PDF).
5. ↑  Hintikka, Kari A.: Joukkoäly internetissä (PDF)  13.3.2008. Tietoasiantuntijat.
6. ↑  Yleinen suomalainen asiasanasto *yso.fi*.
7. ↑  Sydney Opera house Architect - Jorn Utzon *sydneyoperahouse.com*. Sydeneyoperahouse.com.  (englanniksi)
8. ↑  DesignCrowd: Crowdsourcing is not new - The History of Crowdsourcing (1714 to 2010) *blog.designcrowd.com*.  28.10.2010.  (englanniksi)
9. 1 2 3  Sloan, P.: The brave new world of open innovation.  *Strategic Direction*, 2011, 27. vsk, nro 5, s. 3-4.
10. 1 2  Surowiecki, J.: *The Wisdom of Crowds: Why the Many Are Smarter Than the Few and How Collective Wisdom Shapes Business, Economies, Societies and Nations*, s. 320. Doubleday, 2004. ISBN 0385503865.
11. 1 2  Haichao, Z. Dahui, L. & Wenhua, H.: Task Design, Motivation, and Participation in Crowdsourcing Contests.  *International Journal of Electronic Commerce*, 2011, 15. vsk, nro 4, s. 57.
12. 1 2  Chanal, V. Caron-Fasan, M-L.: The Difficulties involved in Developing Business Models open to Innovation Communities: the Case of a Crowdsourcing Platform.  *Management*, 2010, 13. vsk, nro 4, s. 318-340.
13. 1 2  Hintikka, Kari A. ja Rongas, Anne: E-oppimisen uusia liiketoimintamalleja - ELMA-esiselvitys 2010 (PDF) *digibusiness.fi*.  2010.
14. ↑  Chesbrough, W.H.: *Open Innovation: The New Imperative for Creating And Profiting from Technology*, s. 272. Harvard Business Review Press, 2005. ISBN 1422102831.
15. 1 2 3 4  Morgan, J. & Wang, R.: Tournaments for Ideas.  *California Management Review*, 2010, 52. vsk, nro 2, s. 77-97.
16. 1 2  Puurtinen, Mirva: Web 2.0 - Crowdsourcing (PDF) *Knowledge management*.  29.11.2010.  Arkistoitu 24.12.2013. Viitattu 12.12.2011.
17. ↑  Wexler, M.N.: Reconfiguring the sociology of the crowd: exploring crowdsourcing.  *The International Journal of Sociology and Social Policy*, 2011, 31. vsk, nro 1/2, s. 6-20.
18. 1 2  Brabham, D.C.: Moving the Crowd at Threadless.  *Information, communication & society*, 2010, 13. vsk, nro 8, s. 1122-1145.
19. 1 2 3  Trewiesch, C. & Xu, Y.: Innovation Contests, Open Innovation, and Multiagent Problem Solving.  *Management Science*, 2008, 54. vsk, nro 9, s. 1529-1543.
20. ↑  Mari Lehtonen: Tutkimus: Joukkoistaminen voi mullistaa teollisuuden *ek.fi*.  24.9.2014. Elinkeinoelämän keskusliitto.  (suomeksi)
21. 1 2 3  Hirth, M. Hoßfeld, T. & Tran-Gia, P.: Analyzing costs and accuracy of validation mechanisms for crowdsourcing platforms.  *Mathematical and Computer Modelling*, 2012, In Press. vsk.
22. ↑  J.R. Corney, J.R. Torres-Sánchez, C. Jagadeesan, A.P. Yan, X.T. Regli, W.C. & Medellin, H.: Putting the crowd to work in a knowledge-based factory.  *Advanced Engineering Informatics*, 2010, nro 3, s. 243-250.
23. ↑  Nathan Grayson: Valve To Crowdsource Game Library With Steam Greenlight *rockpapershotgun.com*.  9.7.2012. RockPaperShotgun.  (englanniksi)
24. ↑  Kalevi Nikulainen: Sonera avasi aivomyrskyn asiakkaiden ideoille *itviikko.fi*.  18.9.2008. It-viikko.  (suomeksi)
25. ↑  Juuso: Nokia tune Remake -kilpailu saa hittinsä miljoonien kuultavaksi *aani.nokia.fi*.  10.10.2011. Nokia Ääni.  Arkistoitu 13.12.2011. Viitattu 12.12.2011.
26. ↑  Jaakko Rajaniemi: Kovatasoinen Apps4Finland-finaali merkittävä loikka avoimelle datalle Suomessa *apps4finland.fi*.  23.11.2011. Viitattu 17.01.2012. [vanhentunut linkki]
27. ↑  Designtopia.net: Uusi verkkopalvelu joukkoistaa graafisen suunnittelun *designtopia.net*.  14.11.2012. www.designtopia.net.  Arkistoitu 1.2.2013. Viitattu 14.11.2012. (suomeksi)
28. ↑  Valtioneuvoston kanslia: Tulevaisuusselonteon kansalaiskommentointi *tuse.2030.fi*.  30.11.2013. www.2030.fi.  Arkistoitu 10.3.2014. Viitattu 5.12.2013.
29. ↑  Christensen, H. S. Karjalainen, M. and Nurminen, L. (2015), Does Crowdsourcing Legislation Increase Political Legitimacy? The Case of Avoin Ministeriö in Finland. Policy & Internet, 7: 25–45. doi:10.1002/poi3.80
30. ↑  Niskanen, Ilkka: Tule meille töihin. Ilmaiseksi..  *Voima*, 2011, nro 1, s. 36. Artikkelin verkkoversio.  (Arkistoitu – Internet Archive)
31. ↑  Graham, Fiona: Crowdsourcing work: Labour on demand or digital sweatshop? *bbc.co.uk*.  21.10.2010. BBC News.  (englanniksi)
32. ↑  Knudsen, M.P. & Mortensen, T.B.: Some immediate – but negative – effects of openness on product development performance.  *Technovation*, 2011, 31. vsk, nro 3, s. 54-64.
33. ↑  Sarah Cove: What Does Crowdsourcing Really Mean? *wired.com*.  07.12.07. Wired.com.  (englanniksi)
34. ↑  McNichol, Tom. "The Wales Rules for Web 2.0", *Business 2.0*, 2007-07-02. Luettu 2008-02-19. "I find the term 'crowdsourcing' incredibly irritating," Wales says. "Any company that thinks it's going to build a site by outsourcing all the work to its users not only disrespects the users but completely misunderstands what it should be doing. Your job is to provide a structure for your users to collaborate, and that takes a lot of work."
35. ↑  Wolfson, S. M. and Lease, M. (2011), Look before you leap: Legal pitfalls of crowdsourcing. Proc. Am. Soc. Info. Sci. Tech. 48: 1–10. doi:10.1002/meet.2011.14504801135
36. ↑  Ellyne Phneah: Crowdsourcing faces ethical, legal risks *zdnet.com*.  4.6.2013. ZDNet.  (englanniksi)
37. ↑  Vanessa Williamson: Can crowdsourcing be ethical? *brookings.edu*.  8.2.2016. Brookings Institution.  (englanniksi)