DEIM Forum 2019 E6-2

リファラルベーストクラウドソーシングにおけるワーカの行動分析蓑内あかね†

松原 正樹††

渡辺知恵美††

森嶋 厚行††† 筑波大学 情報学群情報メディア創成学類 〒 305-8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア系 〒 305-8550 茨城県つくば市春日 1-2
E-mail: †akane.minouchi.2018b@mlab.info, ††{masaki,chiemi,mori}@slis.tsukuba.ac.jp
あらまし

本論文では，リファラルベーストクラウドソーシングにおけるワーカの行動分析を行う．リファラルベー

ストクラウドソーシングとは人の紹介を元にして不特定多数の人に再帰的に作業を依頼し、問題解決を図ることをいう. 実験のためのプラットフォームを構築し，成功報酬分配方法と紹介報酬を変更しながら，これらがリファラルベー
ストクラウドソーシングにおいてワーカの行動にどのように影響を与えるかを調査する. 我々は現実世界で実験を行なった. その結果, 成功報酬分配方法の違いではワーカの行動に変化はみられなかったが, 紹介報酬を高額にすることで紹介する人の割合が増えた.
キーワード クラウドソーシング, ワーカコミュニケーション, 集合知

1 はじめにクラウドソーシングとは，ネットワークを通して不特定多数の人に作業を委託し問題解決を目指すものである. 委託する作業を「タスク」，作業を委託する人を「リクエスタ」，作業を行う人を「ワーカ」と呼ぶ．クラウドソーシングは機械では処理することが難しいタスクを解決する手段として広く受け入れられている [1].
リファラルベーストクラウドソーシングとは, 人の紹介を元にして不特定多数の人に再帰的に作業を委託し, より早く問題解決を図ることをいう [2](図 1).
リファラルベーストクラウドソーシングは自分より詳しい人

図 1 リファラルベーストクラウドソーシングの全体像にタスクを委託する特性があるため, インターネットで調べることができないローカルな問題や特定の人物に聞かなければ答
えが見つからない問題の解決に有効であると考えられる.

クラウドソーシングについて定義した [2].

Naroditskiy らは Cancer Research というウェブサイトでキャ

リファラルベーストクラウドソーシングの例として有名でンペーンを行い, そのキャンペーンに新規ログインした人が多あるのは，2009 年アメリカ国防高等計画局 DARPA がネットいのはどの条件なのかを検証した [4]. その結果, 紹介された人

ワークチャレンジを行った際の MIT チームの戦略である [3].

が新規ログインすると紹介した人に指数関数的にポイントが追DARPA が行ったネットワークチャレンジではアメリカ合衆国

加されるインセンティブよりも, 紹介された人が新規ログインのどこかに風船を 10 個飛ばし, どこにあるかの調査を委託し,すると紹介した人に 3 ポイントが追加されるという単純なイン全ての風船を見つけたチームに報酬として 40,000 ドルを渡す

センティブの方が, 新規ログインする人の数が多いということというものだった. ネットワークチャレンジは開始の 1 ヶ月前がわかった. 比較する条件は４つで, 異なるインセンティブを用に DARPA によって事前告知された.

い, 現実世界で実験を行った. ワーカをグラフの頂点としたとき

MIT チームはリファラルベーストクラウドソーシングを採にワーカからワーカの最短道の長さををワーカ間の距離とし,用し，風船を見つけた人だけでなく風船を見つけてくれそうな

これを n で表す. 比較した 4 つのインセンティブは次の通りで人を紹介した人にも報酬を与える, いわゆるネズミ講のインセある.

ンティブを用いた. 正解者から指数関数的に報酬金額が減って•新規ログインしても追加ポイントはない

いく分配方法をとった. その結果 MIT チームが最も早く, 開始•

新規ログインすれば 1 ポイント追加されるから 9 時間で全ての風船を見つけて優勝した. この作戦で MIT•

新規ログインすれば 3 ポイント追加されるチームが募集したワーカは 1 ヶ月で約 5,000 人であった. [3].

•新規ログインすれば指数関数的に 0.5n−1 ポイント追加さ

リファラルベーストクラウドソーシングを用いた実験が以前にも行われている. Naroditskiy らは初めてリファラルベースト

れる
実験方法は紹介用リンクを発行し, それを Twitter や Facebook,E メールで拡散してもらうというものだった. 紹介用リンクは•ワーカリクルーティングに関する研究

一意の ID で追跡されている. この条件で比較したところ, 紹介•

ワーカコミュニケーションに関する研究した人が新規ログインすれば 3 ポイント追加される条件が総合
的にもっとも高い合計値であった.
本研究ではワーカは出題された問題に回答するのに対し,Naroditskiy らによる研究ではワーカは新規ログインを行うため,ワーカが行う作業内容が異なる.
新規ログインすることや出題された問題に回答することだけ
でなく, リファラルベーストクラウドソーシングは他にも様々な応用が可能である．例えば，知識や情報を集めること, また集めたものを共有するのに役立つ [5]. 具体的には, 交通事故があった時に「XX 月 YY 日にこの交差点で交通事故がありました. 目撃した人は警察に連絡してください」という立て看板が設置されることがある. この場合, 「XX 月 YY 日」という時間の条件, 「この交差点」という場所の条件, そして「交通事故を目撃した」という人物の条件が当てはまる人のみが「目撃した人」に該当する. しかし, この「目撃した人」を見つけるのは容易ではなく, 一般的には近隣住民への聞き込みなどで調査されている. この状況下でリファラルベーストクラウドソーシングを用いると, 「目撃した人」をより早く発見でき, より効果的に調査を行うことができる可能性がある.

DARPA によるネットワークチャレンジではリファラルベー
ストクラウドソーシングは成功したが, 40,000 ドルという高額な報酬は現実的ではないという問題がある. 本研究では, 正解し2. 1 リファラルベーストクラウドソーシングに関する研究
これまでに行われたリファラルベーストクラウドソーシングについての研究を紹介する.
西らはソーシャルネットワークのように一部のワーカ同士が知り合いであることを仮定し, 「他のワーカを推薦できる」仕組みを追加したクラウドソーシングを提案した [6]. シミュレー
ションの結果, ワーカを推薦をしない場合と比較して, ワーカを推薦をするとクラウドソーシングの正解率が 8%向上することを示した. 本研究では現実世界で実験を行った. 西らによる研究
ではシミュレーションを用いた実験を行っており, 実験を行う
環境が異なる.

Pickard らは DARPA によるネットワークチャレンジで優勝した MIT チームの手法の理論および実用的特性を分析し, 他の手法と比較した [7]. Picker らがネットワークチャレンジ時のTwitter を分析したところ, MIT チームの投稿は長期に渡って投稿数が持続していた. 一方で, 他のチームが Twitter のフォロワーが多いインフルエンサーの拡散力を利用したところ, 一時的に投稿数が増えたものの持続はしなかった. そしてネットワーク
チャレンジ終了後, マスコミによって MIT チームが優勝したと報道されたところ, MIT チームの Twitter の投稿数が減少した.
このことから Twitter の投稿数が持続した原因は MIT の知名度た場合にリクエスタから報酬を受け取ることができる報酬該当

やマスコミによる報道の力ではなく, 指数関数的に報酬が手にメンバーに支払う成功報酬の分配方法や紹介した場合に支払う

入るインセンティブにあるとわかった. 本研究でも Twitter を利

紹介報酬など，リファラルベーストクラウドソーシングの設計用するが, 利用するアカウントは非営利・公益・学術目的のクにおけるいくつかの構成要素を変更し，それらがワーカの行動

ラウドソーシングプラットフォームである Crowd4U 1 のアカウにどのように影響を与えるかを調査する．ここでワーカの行動ントである. このアカウントのフォロワーは 195 人である. 本実とは次の 2 点とする.(1) 他の人に紹介すること (2) 回答を送信すること. 具体的には成功報酬の分配を等分配にするか指数関
数的に分配するかを Twitter を用いてリファラルベーストクラ
ウドソーシング実験を行うことを事前告知する,
本稿の構成は次の通りである．第 2 節では関連研究について説明する．第 3 節では現実世界で行った実験の手法について説明する．第 4 節で予備実験, 第 5 節で実験と実験結果について説明する. 第 6 節でその結果を考察する. 第 7 節はまとめと今後の課題を述べる．

2 関連研究験ではあくまでも知人ネットワークでの紹介を想定している.

2. 2 ワーカリクルーティングに関する研究
ワーカリクルーティングとはクラウドソーシングでワーカを募集することである. ワーカリクルーティングの研究は、ワー
カをより効率的に集めることに主眼が置かれている.
リファラルベーストクラウドソーシングでは特定の場所で生じた問題について解決を図る.
タスクに参加できるワーカが限られるクラウドソーシングで使用されるタスクに, ランドマークや花火の動画や写真の撮影,
駐車スペースの有無の確認などがある. 今までにリアルタイム
で行うワーカリクルーティング方法に関しては今までに様々なリファラルベーストクラウドソーシングでは, ワーカがワー研究がされてきた [8] [9] [10] [11] [12] [13]. 本研究では, 特定のカにタスクを委託するという点において通常のクラウドソーシ

場所の情報だけでなく, 特定の時間に遡らなければわからない

ングと異なっており, リクルーティング方法に特徴がある. 本研

問題について出題した. リアルタイムでのタスク割り当てでは

究ではワーカ同士がコミュニケーションをとることで, 答えのなく, 特定の時間に遡る状況でのワーカリクルーティング方法

範囲が狭くなり, より早く正解にたどり着くのではないかと仮は研究されていない.

定し, 伝言板を用意した. そして伝言板でのワーカ同士のコミュ

クラウドソーシングにおいてインセンティブは重要な役割をニケーションの様子を分析した. その観点から今までに行われ持つ. クラウドソーシングでは時間がたつにつれ, タスクに参加てきた研究を以下の通りに分類し, 説明する.

するワーカが減少し, 正解するワーカも減少することが報告さ•

リファラルベーストクラウドソーシングに関する研究
1：https://twitter.com/crowd4u jp/

れている [5]. そこで最後に正解した人には追加のインセンティ

https://?recieved̲token=5000

ブを与える手法が Yang らによって提案されている.

紹介

Kaufmann らはクラウドソーシングのインセンティブは 5 種

https://?recieved̲token=1000

類に分類できると説明している [14]. これらのインセンティブ
紹介

は本研究にも応用できる. 表 1 にでの応用例をまとめる.

Krause らはデジタルゲームを利用するユーザに対してワーカ
リクルーティングを行った. ワーカはゲーム内でタスクを行う.
そのためデジタルゲームはクラウドソーシングプラットフォー

紹介用リンクhttps://?recieved̲token=6000

紹介用リンクhttps://?recieved̲token=5000

https://?recieved̲token= null
紹介用リンクhttps://?recieved̲token=1000

ムの現実的な代替案となる. ゲーム形式のタスクと支払い形式のタスクの品質を比較したところ, 単純なタスクでは差が出な
かったが, 難しい複雑なタスクではゲーム形式のタスクの品質のほうが良い結果となることを示された [15]. 本研究では, もっ

図 2 実験システムを用いたリファラルベーストクラウドソーシングの流れ

とも早く正解した人とその人の紹介に直接的または間接的に貢献した人を報酬該当メンバーとしている. スピードが要求されファラルベーストクラウドソーシングにおけるワーカ同士がコるクラウドソーシングではゲームのような競争に対するおもしミュニケーションを図ることができるように伝言板を用意しろさがインセンティブとしてはたらく.

た. DARPA が行ったネットワークチャレンジでは 1 ヶ月前から

現在, コンテスト形式のクラウドソーシングでは参加者に負ネットワークチャレンジが行われることが事前告知されていた担がかかり, かつ参加者は参加すれば必ず入賞するとは限らなことを受け, 我々は問題, 報酬金額, 伝言板の有無, 事前告知の有いため, コンテストの結果は保証されない. Sarne らはコンテス

無の条件を変え, 比較し実験を行った.

トへの貢献度によって決まる, 重みのある報酬の決め方について提案した [16]. 本研究では, クラウドソーシングに参加しても正解がわからないこともあり, 紹介した人が 1 番早く正解にた
どり着かなかった場合は報酬を手に入れることができない.

2. 3 ワーカコミュニケーションに関する研究
ワーカ同士がコミュニケーションをとり, 確認しあうことでタスクの品質を向上させる研究がある.

Revolt らは, あるワーカの回答を別のワーカに見せ, 評価させ,
そしてその評価を別のワーカに見せて回答を変えることができる仕組みを使った [17]. 本研究ではワーカ同士のコミュニケー
ションツールとして伝言板を用意した. はじめに考えた答えが伝言板で否定されることもあるため, 伝言板はワーカ同士のコ
ミュニケーションだけでなく, フィードバックに繋がる.

Vaish らは CrowdResearch という, お互いに研究成果を評価
し, 協力をすることで, オープンな研究を図るクラウドソーシン
グの手法を提案した [18]. 本研究では, クラウドソーシングに参加した全てのワーカの書き込みを見ることができるオープンな

3. 1 用語の定義
表 2 に実験手法の説明で使う用語について定義する.

3. 2 実 験 概 要
このリファラルベーストクラウドソーシングに参加するワー
カにはトークンとコードが割り当てられる.
リクエスタはクラウドソーシングプラットフォームを用いてワーカに作業を委託する. 作業を委託されたワーカは問題の答えがわかる場合は, リクエスタに回答を送信する. 作業を委託されたワーカは問題の答えがわからない場合, 別のワーカを紹介する. 作業を委託されたワーカは紹介用リンクを SNS または E
メールなどで送信することで, 紹介元のワーカのトークン情報を所持したまま別のワーカにタスクを紹介することができる.

Recommend worker への紹介方法は First worker が自由に決めて良いものとする. 例として SNS 投稿やチャットツール, SNSのダイレクトメッセージ機能がある.

3. 3 システム構成

条件と, ワーカが紹介した人と以後その人が紹介した人のみがタスクページの URL にパラメータとしてワーカのトークン情

書き込みを見ることができるクローズな条件を比較し, 実験を報を追加したものを各ワーカに紹介用リンクとして 1 人ずつ用行う. そのため CrowdResearch とは, クローズな条件を用いてい意する. ワーカにはその紹介用リンクを Twitter, Instagram, LINEるという点が異なる.

などの SNS や E メール, チャットツールで紹介してもらう.

他にも, ワーカ同士がコミュニケーションをとることでよりよいアイディアを出し, 商品を作る研究がなされている [19]. 本
研究では伝言板を用いてコミュニケーションをとることによって, よりよい結果が得られると仮説をたてた.

図 2 に我々が使った実験システムを用いたリファラルベース
トクラウドソーシングの流れを示す.
図 3 に報酬該当メンバーの決定方法を示す. 報酬該当メン
バーとはもっとも早く正解した人とその人の紹介に直接的または間接的に貢献したメンバー全員のことを指す. 報酬該当メン

3 実験手法バーのトークンを Twitter で開示し, トークンを持っているワー

本研究は DARPA が行ったネットワークチャレンジで MITカはトークンとコードを併記した E メールをリクエスタに送信チームがとった作戦を元に, 実験手法を決定した. さらにリ

する. リクエスタはトークンとコードがタスク発行時のものと一致していることを確認した後, 該当する金額相当の Amazon

インセンティブの分類

説明

Enjoyment Based Motivation

factors that lead to that lead to the sensation offunthat might be perceived by the worker

Community Based Motivation the acting of workers guided by the platform community
Immediate Payoﬀ

all kinds of immediately received compensations for the work on crowdsourcing tasks

Delayed Payoﬀs

all kind of benefits that can be used strategically to generate future material advantages

Social Motivation

the extrinsic counterpart of intrinsic motivation by community identification
表 1 Kaufmann ら [14] によるインセンティブの分類
表 2 実験手法の説明で使う用語の定義

用語

定義

紹介

問題の答えを知っていそうな人に回答を委託する

my token

ワーカ 1 人につき 1 つずつ割り当てられる重複がないランダムな 4 桁の数字

received token

自分に紹介した人の my token

トークン

my token と received token の総称

コード

ワーカ 1 人につき 1 つずつ割り当てられる重複がないランダムな 8 桁の英数字

First worker

リクエスタから 1 ワーカ目にあたるワーカ

Recommend worker リクエスタから 2 ワーカ目以降にあたるワーカ
事前告知

リファラルベーストクラウドソーシング開始前にリファラルベーストクラウドソーシングを行うと Twitter で投稿すること

伝言板

タスクに参加したワーカが自由に書き込むことができるフォーム, 条件によって見れる書き込みが異なる

表 3 予備実験の設定
予備実験 (1) 予備実験 (2)予備実験 (3)

等分配する報酬

1,000 円

1,000 円

2,000 円

事前告知

なし

あり

あり

にあるエレベーターの数を答えてもらうタスクを実施した. 問
題内容は「この建物にあるエレベータの数を教えてください (図図 3 報酬該当メンバーの決定方法

4 を提示)」とした. この建物はウェブ上で間取り図が公開されている. その間取り図にはエレベーターの場所は記されているギフト券の送付を行った.

4 予備実験

が, エレベーターの数については記されていない. 報酬は 1,000円とした. この実験では事前告知を行わなかった.
結果, 正解にたどり着くまでに 26 時間かかった. タスクに参加した人数は 4 人で, 報酬該当メンバーは 2 人となった.

我々は以下の目的で予備実験を行った. まず, 我々が用いた実その後, リファラルベーストクラウドソーシングを用いない

験システムの挙動を確認し, 実験方法を確立する. 次に, リファ

場合として, 写真に写っている建物がどこにあるのか知らない

ラルベーストクラウドソーシングを用いる場合と用いない場合

ワーカ 1 名に探しに行ってもらった. ワーカのスタート地点はとで正解にたどり着く時間を比較する.
予備実験では, 報酬該当メンバーのうち, もっとも早く正解し建物から約 3.3km 離れた場所となった. その結果, 建物を探し,
エレベーターの数を当てるまでに 1 時間かかった. 図 4 に実際た人とその人の紹介に直接的または間接的に貢献したメンバーに使用した写真を示す.

全員で報酬を等分配した金額の報酬を支払う設定とした.

（ 2 ） レリーフにかたどられた人物の氏名

4. 1 筑波大学内で行った実験
日常的に筑波大学に出入りする人々約 20,000 名 [20] を対象に, リファラルベーストクラウドソーシングを検証する実験を 3回行った. 各予備実験の設定を表 3 に示す.
（ 1 ） 写真に写っている建物のエレベーター数（ 2 ） レリーフにかたどられた人物の氏名（ 3 ） プレートのついた自転車に書かれたキーワード
問題内容の設定はいずれもインターネット検索では正解が得られないという点が共通している. 以下に結果を述べる.
（ 1 ） 写真に写っている建物のエレベーター数
リクエスタが建物が写った写真を用意し, ワーカにその建物

校舎内に飾られているレリーフを探し, そのレリーフの場所
をリクエスタが把握していないという状況を想定し, ワーカにはそのレリーフにかたどられた人物の氏名を答えてもらうタスクを実施した. 問題内容は「筑波大学には国際総合学類第 13期生から送られたレリーフが飾られていますが, それは誰をかたどったものですか？」とした. この実験は実施の 2 日前から

Twitter で事前告知を行った.
結果, 正解にたどり着くまでに所要時間は 2 時間であった. タスクに参加した人数は 4 人で, 報酬の該当メンバーは 2 人であった. 報酬の該当メンバーもっとも早く正解した人とその人の紹介に直接的または間接的に貢献したメンバー全員で 1,000 円を

その周りの駐車場・駐輪場をさす. 報酬は 2,000 円とした. この実験は実施の 2 日前から Twitter で事前告知を行った. 図 6 に告知に使用した Twitter 投稿画面を示す.

図 4 エレベータの数を尋ねるタスクで実際に使用した写真

図 6 Twitter で行った事前告知の様子. 投稿時刻は GMT-8 で示されている等分配した.
その後, リファラルベーストクラウドソーシングを用いない場
合として, レリーフがどこにあるのか知らないワーカ 1 名に探しに行ってもらった. ワーカのスタート地点は建物から約 3.3km
離れた場所であった. その結果, レリーフを探すまでに 50 分か
かった.
図 5 に対象のレリーフを示す.

結果, 正解にたどり着くまでに 45 分かかった. タスクに参加した人数は 3 人で, 報酬該当メンバーは 2 人であった. Twitter
ではタスクに参加せず, リツイートのみを行うユーザが見られた. この実験ではリファラルベーストクラウドソーシングを用いない場合と所要時間を比較することはしていない. 図 7 に配置された自転車の様子を示す.

図 7 配置された自転車の様子. 右端がプレートをつけた自転車である
図 5 筑波大学 3L 棟に設置されている秋野豊氏のレリーフ. レリーフの下に氏名がかかれている.
表 4 筑波大学内で行った予備実験の結果
予備実験 1 予備実験 2（ 3 ） プレートのついた自転車に書かれたキーワード
あるキーワードがかかれたプレートをつけた自転車を人通りの多い場所におき, リクエスタがその自転車の場所を把握していないという状況を想定し, ワーカにそのキーワードを答えてもらうタスクを実施した. 問題内容は「第 3 エリアのどこかに実験中と書かれたプレートのついた自転車があります. そこにはキーワードが書かれています. そのキーワードは何ですか？
」とした. 第 3 エリアとは筑波大学内のある範囲内の建物群と報酬該当人数2人

2人

予備実験 3

2人

タスク参加人数

4人

4人

3人

所要時間

26 時間

2 時間

45 分

表 5 Yahoo!クラウドソーシングで用いた 4 つの条件

バーに支払う成功報酬の分配方法が異なる. 実験 (1) と実験 (2)

伝言板あり

伝言板なし

と実験 (3)(4)(5) では紹介報酬が異なる. 実験 (1)(2) では Yahoo!

紹介あり

A

B

クラウドソーシングを使っているワーカ全員に回答権がある

紹介なし

C

D

が, 実験 (3)(4)(5) では関東地方に住むワーカのみに回答権を与えた. 実験 (1)(2)(3)(4) は Amazon ギフト券で報酬を支払ったが,

4. 2 地方紙に掲載されている広告を使用した実験

実験 (5) では Yahoo!クラウドソーシング上で報酬を支払った.

我々はワーカのコミュニケーションがタスク結果に有用であ

実験 (2)(3) で用いた Google form はファイルアップロード時にるかどうか, また 別のワーカに作業を委託することでタスク結

Google アカウントにログインしなければならないが, (4)(5) で果に差異が見られるかどうかを検証するために 4 つの条件で比用いた Custom Form では, ログインする必要がなく, より匿名性

較実験を行った. ここで用いた 4 つの条件について表 5 に示し,が高い. 実験ではもっとも早く正解した人とその人の紹介に直それぞれ説明する.

接的または間接的に貢献した人全員が報酬を受け取ることがでワーカのリクルーティングに Yahoo!クラウドソーシングを用いた.

2

そして実際の実験データの収集には Crowd4U を使用しきる. 問題の答えがわからない場合は, 答えを知っていそうな友達や知り合いに回答を委託しても良い.

•た [21].

実験 (1)

条件 A では紹介ができるようになっており, 条件 A での伝言

1,000 円の報酬を等分配する設定で行った. 回答を E メール

板はワーカが紹介した人と以後その人が紹介した人だけが書きや SNS で委託してもらい, その会話履歴や SNS 投稿完了画面込みを見ることができる. 条件 B では紹介はできるが, 伝言板はなどの紹介の証拠を E メールに添付し, リクエスタに送信した

用意されていないのでワーカはワーカ同士のコミュニケーショ

ワーカのアカウント 1 つにつき, 15 円相当の Amazon ギフト券

ンをとることができない. 条件 C では紹介はできないが, 伝言を送付した.

板が用意されており, 条件 C での伝言板はこのタスクに参加し•た全てのワーカが書き込んだ全ての書き込みを見ることができ

実験 (2) では報酬は等分配ではなく指数関数的に分配する

る. 条件 D は紹介ができず, 伝言板も用意されていない, 通常の方法をとる. これは DARPA のネットワークチャレンジで MIT

クラウドソーシングである. これをベースラインとする.

チームが行った作戦と同様である. まずリクエスタが 2000 円用

実験 (2)

Yahoo!クラウドソーシング上では参加者全員に対して報酬を意し, 正解者に 1000 円を分け与え. 正解者を直接紹介した人に与える作業としてタスクを掲載することで各条件につき 300 名1000 円の半分である 500 円, さらにその人を紹介した人に 500ずつ、計 1200 名の参加者を公募した. このワーカが First worker

円の半分である 250 円を分け与える, 正解者からの距離が長くにあたる. 実験に最後まで回答した参加者には，回答の是非をなればなるほど報酬が減っていくという仕組みである. 今回は問わず 2 円相当の報酬を支払った. 「地方紙に掲載されている

匿名性を高めるため, 紹介の証拠は E メールで送信するのでは広告について調査しています」という見出しでワーカを募集しなく, Google form のファイルアップロード機能を使って募集した. 問題内容は「茨城新聞では毎日広告が掲載されますが, 2018

た. 紹介報酬を 100 円とし, 成功報酬分配方法を変化させて実験

年 12 月 11 日 (火) の一面に掲載されていた広告 (例を参照) はを行った.

どこの会社でしたか」とした. 表 5 の 4 つの条件で比較実験を•

実験 (3)

実験 (3) では成功報酬分配方法を変えずに対象の新聞を京都行った.
その結果, どの条件も正解にたどり着くことはできなかった.

新聞から神戸新聞に変更した. また, 紹介報酬を 200 円に変更のべ 1200 人からの回答の収集には 52 時間かかった. この問題した.

の正解は「大洗水族館」ではないが, C の条件では伝言板に書き•込まれた「大洗水族館」という書き込みのあとから「大洗水族実験 (4) は実験 (3) と同じ実験設定で行ったが, 出題する問題

館」という回答が増えた.

実験 (4)

内容を変更して, 再度実験を行った. タスクの内容は「2019 年

2 月 8 日 (金) の京都テレビのテレビ欄の写真をアップロードし5 実

験

予備実験では我々が用いた実験システムの挙動を確認することができた. 本実験は成功報酬分配方法と紹介報酬を変更し, それらがワーカの行動にどのように影響を与えるかを調査するために行う.
表 6 に実験の設定を示す. 全ての実験でクラウドソーシング
プラットフォームである Yahoo!クラウドソーシングを使用した.
実験 (1) と実験 (2)(3)(4)(5) では正解した場合に報酬該当メンてください。新聞は全国紙でも地方紙でも構いません。ただし
日付と京都テレビの欄の上部が映るように撮影してください。
」とした. タスク実施と同時にワーカにアンケートを行なった. ア
ンケートは事前にいくつか選択肢を用意しておき, 複数回答できるものとした. 「知ってそうな人に紹介し, その人が正解すれば 500 円の報酬がもらえますが, ほとんどの人が紹介しません.
それはなぜだと思いますか？」という質問内容であった.

•

実験 (5)

実験 (5) は実験 (4) と同じ実験設定で行ったが, 回答送信後にリクエスタが回答内容の確認を行わず, すぐに報酬を支払った.

2：https://crowdsourcing.yahoo.co.jp/

表 6 実験の設定
実験 (1)

実験 (2)

実験 (5)

実験 (6)

成功報酬分配方法

等分配

指数関数的に分配 指数関数的に分配 指数関数的に分配指数関数的に分配指数関数的に分配

紹介報酬

15 円

100 円

200 円

200 円

200 円

100 円

対象のコンテンツ

京都新聞 京都新聞

神戸新聞

京都テレビのテレビ欄

京都テレビのテレビ欄

京都で買い物をしたレシート

対象のワーカ

だれでも だれでも

関東限定

関東限定

関東限定

関東限定

•

実験 (3)

実験 (4)

出題した問題の内容について, 今回は実験として取り扱いや

実験 (6)

実験 (6) は出題した問題内容を京都テレビ欄から期間内に京すい内容を出題したが, ワーカにはなぜその問題が解決される

都府内で発行されたレシートを探す問題に変え, さらに紹介報べきなのかが理解できないと予想できるため, モチベーション

酬を 200 円から 100 円に変更している.

に繋がらなかった可能性がある. 今後は人探しや紛失物の捜索

5. 1 結果

表 7 に実験結果を示す. 5 回の実験のうち正解にたどり着いたものは 2 回であった. 実験 (1)(2) での紹介報酬は 15 円, 100円と設定した場合より, 実験 (3)(4)(5) で 200 円と設定した方が,紹介するワーカが増えることが示唆される結果が得られた. 実
験 (1)(2) を比較した場合, 紹介した人が増えるが, 正解者は出な
いという結果が得られたことにより, 成功報酬分配方法では正解者を見つける可能性に差がないとわかった. いずれの実験も伝言板には有益な情報は書き込まれず, 有効なはたらきは見らなど解決されるべき問題について扱う予定である.
実験に協力するモチベーションとして, 興味をひく見出しであることや, 親しみやすい内容が大切であるということがわかった, ワーカにタスクに参加してもらうために, どのような情報を与えるべきかを議論する予定である.
今回は Yahoo!クラウドソーシングや SNS を用いて実験を行ったが, ワーカの中にはサブアカウントを持っているおそれがある. その場合に同一人物が繰り返しタスクに参加してしまう場
合がある. 今後はタスクが行われたデバイスの IP アドレスの取得などで対策をする予定である.

れなかった. 実験 (5)(6) を比較した場合, 報酬が減額してもタスクに参加する人は一定数いるということがわかった.

6 考

察

7 まとめと今後の課題
本研究ではリファラルベーストクラウドソーシングにおけるワーカの行動分析について調査した. 成功報酬分配方法の違い

実験 (1)(2) と実験 (3)(4)(5) を比較すると紹介報酬の 15 円と100 円の違いは見られず, 紹介報酬を 200 円にすれば, 紹介する人の割合が増えるということがわかった. 今回は成功報酬分配
方法では差が見られなかった. これは準備した金額が 1000 円と2000 円で少額あったためであると考えられる 10 万円, 20 万円など, 成功報酬をより高額にすると本実験と異なり, さらに多く

ではワーカの行動の違いは見られなかった. 紹介報酬を高額にすることで紹介する人の数は増えるが, 報酬以外のインセンティブの影響も大きいことがわかった.
今後の課題としては, 問題, 報酬金額, 伝言板の有無, 事前告知の有無の条件を変え, 比較し実験を行う. その条件下でワーカの行動に変化が見られるのかを調査することが挙げられる.

の人が紹介し, 参加する結果が得られた可能性が大きい. リファ
ラルベーストクラウドソーシングでは紹介にある程度の報酬が謝辞必要であり, 少額の金額では成功できないことがわかった. これは我々が想定した以上に, 紹介することへのハードルが高いとい本研究の一部は JST CREST (#JPMJCR16E3) 及び JSPS 科研

うことが原因にあげられる. 紹介することは, 自分が他人からど費 (JP16K16460, JP15K01056) の支援による. タスクに参加いたう思われるのかを気にするなど, 精神的なハードルが高いのでだいた Crowd4U のワーカの皆さんに感謝いたします．ワーカ

はないかと考えられる. 正解までたどり着くことができた場合の一部リストは crowd4u.org に掲載しています.

もあるため, リファラルベーストクラウドソーシングは適切な金額の紹介報酬を用意することで, 成功できることがわかった.
タスク実施時にワーカにアンケートへの回答を求めた. アン
ケート結果より, 紹介することがめんどうくさいという声がワー
カからあがった. 今回は紹介する方法は SNS やチャットツールなど, ワーカが自由に決めて良いものとしていたため, システムが複雑になり, 紹介する作業量が多かったことが原因としてあげられる.
また, アンケート結果よりタスクの内容に対して怪しむ人が多いということがわかった. 実験 (1)(2) 報酬を配布する連絡先についてタスク内で登録する必要があった. これは紹介する人が少なかった原因の一つとして考えられる.

文

献[1] Ju Fan, Guoliang Li, Beng Chin Ooi, Kian-lee Tan, and Jianhua Feng.
icrowd: An adaptive crowdsourcing framework. In Proceedings ofthe 2015 ACM SIGMOD International Conference on Managementof Data, pp. 1015–1030. ACM, 2015.
[2] Victor Naroditskiy, Iyad Rahwan, Manuel Cebrian, and Nicholas R
Jennings. Verification in referral-based crowdsourcing. PloS one,Vol. 7, No. 10, p. e45924, 2012.
[3] John C Tang, Manuel Cebrian, Nicklaus A Giacobe, Hyun-Woo Kim,
Taemie Kim, and Douglas Beaker Wickert. Reflecting on the darpa
red balloon challenge. Communications of the ACM, Vol. 54, No. 4,
pp. 78–85, 2011.
[4] Victor Naroditskiy, Sebastian Stein, Mirco Tonin, Long Tran-Thanh,
Michael Vlassopoulos, and Nicholas R Jennings. Referral incentives

表 7 実験結果 正解にたどり着いた時点で実験を終了している.

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

実験の結果

実験 (1)

実験 (2)

実験 (3)

実験 (4)

実験 (5)

実験 (6)

報酬該当人数

0人

0人

1人

0人

1人

2人

正解者

0人

0人

1人

0人

1人

1人

他の人に紹介した人数

0人

2人

2人

1人

2人

20 人

紹介割合

0%

1%

2.30%

1%

19%

11.40%

かかった時間

正解者出ず 正解者出ず

in crowdfunding. In Second AAAI Conference on Human Computation and Crowdsourcing, 2014.
Jiang Yang, Lada A Adamic, and Mark S Ackerman. Crowdsourcing and knowledge sharing: strategic user behavior on taskcn. In
Proceedings of the 9th ACM conference on Electronic commerce, pp.
246–255. ACM, 2008.
西智樹, 小出智士, 大野宏司, 長屋隆之. ソーシャルネットワークを用いたクラウドソーシングの品質向上. 人工知能学会全国大会,(第 27 回), 2013.
Galen Pickard, Wei Pan, Iyad Rahwan, Manuel Cebrian, Riley Crane,
Anmol Madan, and Alex Pentland. Time-critical social mobilization.
Science, Vol. 334, No. 6055, pp. 509–512, 2011.
Leyla Kazemi and Cyrus Shahabi. Geocrowd: enabling query answering with spatial crowdsourcing. In Proceedings of the 20th international conference on advances in geographic information systems,
pp. 189–198. ACM, 2012.
Yongxin Tong, Jieying She, Bolin Ding, Libin Wang, and Lei Chen.
Online mobile micro-task allocation in spatial crowdsourcing. In
Data Engineering (ICDE), 2016 IEEE 32nd International Conference on, pp. 49–60. IEEE, 2016.
Hien To. Task assignment in spatial crowdsourcing: challenges andapproaches. In Proceedings of the 3rd ACM SIGSPATIAL PhD Symposium, p. 1. ACM, 2016.
Hien To, Liyue Fan, Luan Tran, and Cyrus Shahabi. Real-time task
assignment in hyperlocal spatial crowdsourcing under budget constraints. In Pervasive Computing and Communications (PerCom),
2016 IEEE International Conference on, pp. 1–8. IEEE, 2016.
Peng Cheng, Xiang Lian, Zhao Chen, Rui Fu, Lei Chen, Jinsong Han,
and Jizhong Zhao. Reliable diversity-based spatial crowdsourcing
by moving workers. Proceedings of the VLDB Endowment, Vol. 8,
No. 10, pp. 1022–1033, 2015.
Vasilis Vlachokyriakos, Rob Comber, Karim Ladha, Nick Taylor,
Paul Dunphy, Patrick McCorry, and Patrick Olivier. Postervote: expanding the action repertoire for local political activism. In Proceedings of the 2014 conference on Designing interactive systems, pp.
795–804. ACM, 2014.
Nicolas Kaufmann, Thimo Schulze, and Daniel Veit. More than fun
and money. worker motivation in crowdsourcing-a study on mechanical turk. In AMCIS, Vol. 11, pp. 1–11, 2011.
Markus Krause and René Kizilcec. To play or not to play: Interactions between response quality and task complexity in games andpaid crowdsourcing. In Third AAAI Conference on Human Computation and Crowdsourcing, 2015.
Michael Lepioshkin David Sarne. Eﬀective prize structure for simple crowdsourcing contests with participation costs. Proceedings of
AAAI HCOMP 2017, 2017.
Joseph Chee Chang, Saleema Amershi, and Ece Kamar. Revolt: Collaborative crowdsourcing for labeling machine learning datasets. In
Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, pp. 2334–2346. ACM, 2017.
Rajan Vaish, Snehalkumar (Neil) S. Gaikwad, Geza Kovacs, Andreas Veit, Ranjay Krishna, Imanol Arrieta Ibarra, Camelia Simoiu,
Michael Wilber, Serge Belongie, Sharad Goel, James Davis, andMichael S. Bernstein. Crowd research: Open and scalable university
laboratories. In Proceedings of the 30th Annual ACM Symposium
on User Interface Software and Technology, UIST ’17, pp. 829–843,
New York, NY, USA, 2017. ACM.

6 時間 7 分 正解者出ず 1 時間 18 分 7 分 5 秒[19] Barry L Bayus. Crowdsourcing new product ideas over time: An
analysis of the dell ideastorm community. Management science,Vol. 59, No. 1, pp. 226–244, 2013.
[20] 筑波大学. 数字でみる筑波大学 — japan-expert (学士) プログラム｜筑波大学. https://jp-ex.tsukuba.ac.jp/education/facts figures/.
[21] Crowd4u. http://crowd4u.org/ja/.