DEIM Forum 2018 G6-5

タスク介入によるクラウドワーカの品質推定精度の改善
松田

義貴†

鈴木

優†

中村

哲†

† 奈良先端科学技術大学院大学 情報科学研究科 〒 630–0101 奈良県生駒市高山町 8916-5
E-mail: †{matsuda.yoshitaka.mq2,ysuzuki,s-nakamura}@is.naist.jp
あらましクラウドソーシングでは，能力が無いワーカや意図的に不適切な作業を行うワーカが存在するため，作業から排除もしくは指導することができれば，作業結果の品質向上や金銭的や時間的なコストの低下につながる．そこ
で，重要な課題となるのが自動的なワーカの品質推定である．本研究では，ワーカの品質を正しい作業結果を納品する確率と定義する．近年，ワーカの振る舞いからワーカの品質を推定する研究が行われているが，ワーカの振る舞いを取得することが難しいタスクに適用することは困難である．この原因として，ワーカの振る舞いのパターンが少な
いために，良質なワーカと悪質なワーカの間に振る舞いの差が見られないことが挙げられる．そこで本研究では，タスクに対してワーカの振る舞いを取得する仕組みを追加し，多くの振る舞いを取得することによって，ワーカの品質をより高精度に推定する手法を提案する．提案手法では，低品質なワーカを再現率 0.84 で検出することができた．一方で，処理時間やワーカの離脱率とはトレードオフの関係があった．
キーワード クラウドソーシング，ワーカの品質，振る舞い，タスク設計

1. は じ め に難である．なぜならば，取得できる振る舞いの種類が少ないと，ワーカの品質がその取得した振る舞いと関係があるとは限らなマイクロタスク型のクラウドソーシングは，安価に大量のタいためである．さらに，少数の振る舞いだけでは優秀なワーカ

スクを発注できるというメリットがある．一方で，依頼者が期の品質を正確に判断できない．例えば，処理時間だけでワーカ待するような結果を必ずしも得ることができるとは限らない．

の品質を判断しようとすると，早く正確に処理できるワーカの依頼者が監視できない環境下で，不特定多数のワーカがタスク

品質を低く見積もってしまう可能性がある．

に従事するというクラウドソーシング特有の労働環境によって，そこで本研究では，タスクに介入することによって今まで扱依頼者が期待するような結果を納品することができないワーカ

われてこなかった振る舞いを取得する手法を提案する．つまり，が存在する．例えば，タスクの難易度や分野によっては正しい

振る舞いを取得するための仕組みをタスクに導入し，ワーカの答えを導くことができないワーカがタスクに従事すると，正し

品質推定精度の向上を目指す．ベースラインと比較し，提案手い作業結果を依頼者は得ることができない．また，金銭目的な法では，低品質ワーカの再現率が最低でも 12%向上した．また，

ど悪意を持って不適切な作業を意図的に行うワーカが存在する

タスク介入によって取得可能となったコンテンツの閲覧時間やことも知られている [1]．本研究では，正しい作業結果を納品

回数などの新しい振る舞いがワーカの品質推定に重要な役割をする確率をワーカの品質とし，正しい作業結果を納品する確率

果たしていることが分かった．一方で，処理時間やワーカの離が低いワーカを低品質ワーカと呼ぶ．

脱率とはトレードオフの関係が確認できた．本研究で得られた

低品質ワーカがタスクに従事することを禁止したり指導した
りすることによって，できる限り多くの高品質ワーカを雇用することで，誤った作業結果が生成される可能性が低くなる．そこで重要な課題となるのが，各ワーカが低品質ワーカか高品質

知見は，ワーカの品質推定精度とワーカへの負担のバランスを考えた今後のシステム設計の指針となる．

2. 関 連 研 究

ワーカかを推定することである．しかし，依頼者が作業結果を本章では，ワーカの品質を推定する三つのアプローチを紹介

一つひとつ確認し，ワーカの品質を算出することはクラウドする．ここでは特に，ワーカの振る舞いを用いた研究を紹介

ソーシングを行うメリットがなくなるため，自動的にワーカのする．

品質を算出する仕組みが必要となる．

ワーカの品質を推定する手法は 1) ゴールドタスクによる測近年，ワーカの振る舞いからワーカの品質を推定するアプ

定，2) 作業結果の分析による推定，3) 振る舞いの分析によるローチが注目されている [2–5]．ワーカの作業画面上における振推定の 3 種類の手法が提案されている．一つ目のゴールドタス

る舞いのログをプログラムにより自動的に取得し，機械学習にクによる測定では，あらかじめ答えの分かっているゴールドタ

よって品質を推定するアプローチである．既存の研究では，振スクをワーカに課し，ワーカの品質を測定する [6]．個々のタる舞いの分析方法ばかりに焦点が当てられてきた．しかし，振スクに対して，ワーカの品質を正しく見極めるゴールドタスク

る舞いの取得に関する議論はされておらず，ワーカが回答のたを作成する必要があり，タスク依頼者の手間とコストが発生す

めに行うマウスやキーボード操作などの振る舞いの一部しか扱る．二つ目の作業結果の分析による推定では，冗長化によってわれていないため，2 値分類などの単純なタスクには適用が困

複数の作業結果を獲得し，その作業結果からワーカの品質を推•

京都の様子が分かる．

り当て，複数の作業結果を統合し，最終的な作業結果を導く手•

その様子は京都観光において有益である．

法である [9]．依頼者にとっては，冗長化させるワーカ数に比ワーカは，はい，いいえ，ツイートが表示されないのいず

例して，金銭的や時間的なコストが増大してしまう．そして近れかを選択する．我々の構築したクラウドソーシングプラット

年では，ワーカの振る舞いからワーカの品質を推定する研究がフォームでは，ワーカの作業時に twitter からツイート内容をなされている [2–5]．ゴールドタスクの作成や，冗長化を必要

WebAPI により取得するため，ツイート投稿者や twitter 社がとしないため，手間やコストを増大させない手法であると言えツイートを削除した場合，当該ツイートを作業画面に表示する

る．また，アンケートや自由記述のような答えが一意に定まらことができない．そのため，ツイートが表示されないという選ないタスクにも適用可能である．また，これら 3 つのアプロー

択肢を用意した．ワーカはツイートを読み，三つの選択肢からチは併用することが可能であり，競合することはない．

答えを選択する．送信ボタンを押すと，次のツイートが表示さ定する [7, 8]．冗長化とは，複数のワーカに対して同じ作業を割Zhu ら [2] は，クラウドソーシングにおける作業中の振る舞れ，この作業を繰り返す．

いはワーカによって異なることを示した．ワーカの振る舞いを

3. 2 品質推定手法

ワーカの品質推定に初めて用いたのは Rzeszotarski ら [3] であ

本節では，3. 1 節で説明したタスクにおいてワーカの振る舞る．Rzeszotarski らは，マウスやキーボード操作のタイミング

いからワーカの品質を推定する手法について説明する．手法のや回数，処理時間などをワーカの振る舞いとして用いた．他に概念や特徴量の設計は Kazai ら [5] の手法を可能な範囲で模倣も，Hirth ら [4] は，ページのスクロールやラジオボタンのクしている．ワーカの品質推定には教師あり学習を用いる．つまリック間隔からワーカがどの問題を解いてるかを推定し，問題り，ワーカの振る舞いを入力としてワーカの品質を出力する分ごとの処理時間をワーカの振る舞いとして用いた．そして彼ら

類器を構築する．本研究では，分類の対象となるワーカを 100

は，ワーカの振る舞いを入力とした機械学習アルゴリズムに回以上のタスク処理をしたワーカに限定する．

よってワーカの品質を推定した．Kazai ら [5] は，充分に訓練

3. 2. 1 分類器の入力と出力されたワーカと通常のワーカの振る舞いに差があることを示し

最初に，分類器への入力となるワーカの振る舞いと特徴量のた．さらに，ワーカの品質推定のための機械学習モデルの学習抽出について説明する．我々はワーカのタスク処理をプログラ時に，訓練者の振る舞いを用いることによってワーカの品質推ムにより自動的に監視し，表 1 に示すワーカの振る舞いを取得

定精度を向上させた．

する．これらの振る舞いはワーカが一つのツイートを分類する

これらの既存の研究では，ワーカの振る舞いの扱い方や分析ごとに取得する．つまり，100 回ツイートを分類したワーカに方法ばかりに焦点が当てられてきた．例えば，機械学習への入はそれぞれの振る舞いが 100 個ずつ存在する．ワーカごとに取力となる振る舞いの特徴量設計の工夫や，学習方法が工夫さ得したそれぞれの振る舞いの平均値，中央値，最大値，最小値，れている．しかし，振る舞いの取得に関する議論はされていな

標準偏差，エントロピーをそれぞれ計算し，ワーカの特徴量とい．つまり，振る舞いを取得する工夫はなく，簡単に取得できする．さらに，ワーカ w のタスク総処理回数 Nw と総処理時間

る振る舞いだけを使用してワーカの品質が推定されている．そTw も特徴量として用いる．つまり，ワーカ w の振る舞い Biの理由としては，豊富な種類の振る舞いが存在するタスクが研の統計量 xi を式（1）のように表すと，ワーカ w の特徴量 xw

究対象となっているためだと考えられる．しかし，マウスカー

は式（2）で表すことができる．

ソルの動きやページのスクロールがほとんど発生しない単純なタスクでは，取得される振る舞いの種類が限定され，既存の研究をそのまま適用することは困難である．既存の研究で取得している振る舞いは，マウスやキーボード操作など表に現れる振る舞いだけであるが，実際には問題文を読んだり考えたりしている時間がある．そこで本研究では，既存の研究では扱われなかった振る舞いに着目し，ワーカの品質推定に与える影響を検証する．

3. ベースライン

xiw = [ BiAve BiM ed BiM in BiM ax BiStd BiEnt ],xw = concat[ Nw Tw x1w

x2w

x3w

x4w

x5w ]

(1)
(2)

次に，分類器の出力となるワーカの品質について説明する．
ワーカ w の品質 Qw は低品質（-1）か高品質（1）の 2 値とする．つまり，特徴量 xw から品質 Qw を推定する．これは，式（3）における f を機械学習によって推定することを意味する．
ここで，x と Q はそれぞれ任意のワーカの特徴量と品質である．

{}
f : x 7→ Q ∈ −1, 1(3)

本章では，本研究で行ったクラウドソーシングのタスクについて説明する．さらに，既存の研究に倣ったワーカの品質を推定する手法を説明し，その手法を本研究でのベースラインとする．

3. 1 タ ス ク
本節では我々が行なったクラウドソーシングのタスクについて説明する．タスク内容は，与えられたツイートが以下の２点を満たすかどうかの分類である．

3. 2. 2 分類器の構築
分類器 f の構築方法について説明する．本手法では教師あり学習を用いているため，事前に複数ワーカの振る舞いを取得し，品質を算出しなければならない．まず，各ツイートに対して n
人のワーカを割り当て，多数決で各ツイートの正解ラベルを付与することによって，式（4）で表される正答率 rw を求める．
本研究では n = 10 とした．

表 1: 取得するワーカの振る舞い

ID

振る舞い

説明

B1

処理時間

作業ページがロードされてから送信ボタンを押すまでの時間（秒） 5, 10, 60

B2

１文字あたりの処理時間 処理時間をツイートの文字数で割った値（秒）0.05, 0.1, 1

B3

回答時間

5, 10, 60

B4

１文字あたりの回答時間 回答時間をツイートの文字数で割った値（秒）0.05, 0.1, 1

B5

回答回数

1, 2, 5

rw =

サンプル

作業ページがロードされてから回答を選択するまでの時間（秒）回答を変更した回数（回）

Mw
× 100
Nw

(4)

ここで，Mw はワーカ w の総タスク処理回数のうち正しい答えを選んだ回数である．そして，ワーカ w の品質 Qw を式 (5) で定義する．β は下位 α% に位置するワーカの正答率である．

−1 （rw < β ）
=
Qw =
(5)
1 （r > β ）w

図 1: ワーカの作業例

分類器にはランダムフォレスト [10] を用いる．本研究においえられる．例として，処理時間だけでワーカの品質を推定するて特徴量となるワーカの振る舞いには外れ値だと考えられる値場合を考える．意図的に不適切な作業を行う低品質なワーカは，が存在する．例えば，ワーカが作業画面を開いたまま作業を放ツイートをほとんど読まずに回答だけ行うことが予想される．

置した場合，処理時間が 1 時間を超えることがある．ランダム

そのため，処理時間は短くなる．また，慎重な作業を行う高品

フォレストはこのような外れ値に対して影響を受けにくいとい質なワーカの処理時間は長くなることが考えられる．しかし，う性質がある [11]．さらに，ワーカの品質に関係がない振る舞

早く正確に処理できる非常に高品質なワーカの処理時間は短く

いが特徴量に含まれていても影響を受けにくい [11]．ランダムなる．このような非常に高品質なワーカの振る舞いは低品質なフォレストのハイパーパラメータはグリッドサーチによって決ワーカの振る舞いと似ているため，品質を低く見積もる可能性

定した．

がある．

サンプル数が不均衡なデータをそのまま学習に用いた場合，クラウドソーシングでは，誰にも監視されていない状況でイ

全てのワーカが多数派のクラスに分類されてしまう可能性があ

ンターネット上で作業ができるという特徴から，ワーカ B のよる．そこで，SMOTE アルゴリズム [12] を用いて比率が 1:1 にうに他のことを行いながら作業が行われている場合があることなるように少数クラスのサンプルを仮想的に増やすことにより，が予想される．例えば，パソコンで他の作業を行ったりテレビ

学習サンプル数の不均衡を解消する．

を見ながら作業を行ったりしていることが考えられる．そのた

4. 提 案 手 法め，作業ページが開かれてから作業結果を提出するまでの時間は必ずしも実際に作業を行った時間と一致しない．したがって，本章では，ワーカの品質を推定する提案手法について説明す
る．まず，提案手法となるタスク介入アイデアについて述べる．
次に，タスク介入の具体的な手法について説明する．最後に，ワーカの品質を推定する手法について説明する．

より正確な作業時間を獲得することが必要であり，閲覧部分の振る舞いを取得することがその一つとなり得る．
また，注意深いワーカはワーカ C のように回答を選択した
後，ツイートをもう一度読み直すかもしれない．しかし，ワー

4. 1 ア イ デ ア

カ A や B のように読み直さないワーカもいることが予測され

本研究では，既存の研究では扱われていないワーカの振る舞る．閲覧部分の振る舞いを取得することができれば，このよういに着目する．まず，3. 1 節で説明したツイート分類タスクにな振る舞いの差も考慮することができる．

おける作業の流れを考える．ワーカの作業の流れの例を図 1 に

以上のようなことから，閲覧部分の振る舞いを取得すること示す．タスクを解くことだけを考えると，ワーカ A のようにツができれば，より高精度にワーカの品質を推定することが可能

イートを閲覧し，回答するという流れになる．つまり，作業はであると考えた．そこで，閲覧部分の振る舞いを取得する仕組

1) 閲覧，2) 回答の二つに分けることができる．従来の研究でみをタスクに導入することが本研究の提案手法である．本研究は，マウスやキーボード操作が表に現れる回答部分と全体的なでは，閲覧部分の振る舞いとして閲覧時間と閲覧回数を取得す

処理時間が主な振る舞いとして扱われてきた．しかし，ツイー

ることをタスク介入によって実現する．従来の研究では扱われト分類タスクのような単純なタスクでは，回答のために必要なてこなかったこのような振る舞いがワーカの品質推定に与える操作の回数や種類が少なく，回答部分の振る舞いだけでは低品影響を検証することが本研究の主題となる．

質なワーカと高品質なワーカの振る舞いに差異が出にくいこと

4. 2 タスク介入手法が考えられる．差異があったとしても，少数の種類の振る舞い

閲覧時間と閲覧回数を取得するための具体的なタスク介入手

だけではワーカの品質推定を誤る可能性が大きくなることが考ここを押してツイートを表示

これは，標準的なクラウドソーシングの賃金（1.38 ドル/時間）

ここを押してツイートを表示とほとんど等しい [13]．
ワーカは自身のタイミングで作業の中断や再開，離脱するこ

人身事故の影響で京都駅が混雑しています．

とができる．つまり，作業を行ったツイート数が 100 個以下で

XX:YY – 20XX/YY/ZZ

質問:
京都観光に関する場所の様子が分かりますか？
はいいいえ

ツイートが表示されない

質問:
京都観光に関する場所の様子が分かりますか？
はいいいえ

ツイートが表示されないあったため報酬を得ずに離脱したワーカや，1 万ツイート以上のタスクに従事したワーカも存在する．

5. 2 収集データの概要

送信送信(a) ボタンを押していない時(b) ボタンを押している時提案手法とベースライン手法で我々が雇用したワーカの数やツイートの分類総数などについて表 3 にまとめる．ここで，総ワーカ数とは我々のタスクに応募し 1 回でもタスクに従事した

図 2: 提案タスクのスクリーンショット

ワーカの総数のことを指し，対象ワーカ数とは 100 回以上タス法について説明する．タスクの内容はツイートの分類であり，クに従事した本実験で扱うワーカを指す．総タスク処理回数とベースラインと変わらない．しかし，提案手法では，初期状態

は，全てのワーカでのタスクの処理回数である．また，我々はではツイートを表示しない．その代わりにツイートを表示させこの全てのタスク処理においてワーカの振る舞いを取得しているためのボタンを設置する．作業画面を図 2 に示す．図 2b はる. ツイート数とはワーカが一人でも分類を行ったツイート数

ツイート表示ボタンを押していない時の作業画面で，図 2a はである．我々は一つのツイートに対して 10 人のワーカを割りツイート表示ボタンを押している時の作業画面である．ワーカ

当てた．ただし，ツイートが削除され，作業画面に表示できながこのボタンを押下している時だけツイートが表示され，ボタくなった場合は，ワーカの割り当てを取りやめた．

ンを離せばツイートは非表示となる．そうすることで，ツイー

5. 3 ワーカの品質推定

トの閲覧時間や閲覧回数が取得可能となる．

本節では，ベースライン手法と提案手法それぞれのワーカの4. 3 品質推定手法

品質推定結果について説明する．また，提案手法でのツイート提案手法では，表 1 の振る舞いに加えて表 2 に示す振る舞

表示ボタンによって取得可能となった振る舞いの有効性を検証

いを取得する．ベースラインと同様に，各振る舞いの統計量をする．さらに，正しく推定できたワーカとできなかったワーカ

ランダムフォレストの特徴量として用いて，ワーカの品質を推の性質を分析する．

定する．つまり，ワーカの特徴量として用いる振る舞いだけが5. 3. 1 推 定 結 果

ベースラインと異なり，特徴量の設計やワーカの品質推定は同ランダムフォレストを用いて，ワーカの品質が高品質である様に行う．提案手法におけるワーカ w の特徴量 xw は式（6）か低品質であるかの分類を 5 分割交差検証で評価した．すなで表すことができる．

わち，本実験で用いるデータを 5 分割し，四つのデータを学習データとして用い，残りの一つのデータで評価することを 5 回

xw = concat[ Nw Tw x1w x2w x3w ・
・
・ x11
w ]

(6)

繰り返した．
まず，α = 10 としてワーカの品質を推定した．すなわち，正5. 評 価 実 験
本章では，提案手法におけるタスク介入によって取得した振る舞いがワーカの品質推定に有益であるか検証するための評価
実験について述べる．また，ワーカの品質推定とボタンを設置
しタスクに介入したことによるワーカへの影響の関係を調査する．

5. 1 実 験 手 順
我々は独自のプラットフォームを作成し，ワーカは我々のプ
ラットフォーム上で作業を行う．また，Javascript と jQuery ラ
イブラリを使用してワーカの振る舞いを取得する．ワーカの募集と作業報酬の支払いは既存のクラウドソーシングのプラット
フォーム（Crowdworks （注 1））を通して行う．
我々のタスクに応募したワーカは全員雇用する．つまり，我々は雇用するワーカを事前に選別はしない．
ワーカは 100 ツイート分類するごとに 30 円の作業報酬を得ることができる．平均的なワーカは１時間に約 450 ツイート分
類した．つまり，ワーカは１時間で 135 円稼ぐことができる．
（注 1）：https://www.crowdworks.jp

答率が下位 10%のワーカを低品質ワーカ，それ以外のワーカを
高品質ワーカと定義する．この時，低品質ワーカと高品質ワー
カの境界となる正答率 β はベースライン手法で 65.5%，提案手法で 62.7%となった．
ベースライン手法と提案手法それぞれにおいて，5 回分の分類結果をそれぞれまとめた混同行列を表 4a，4b に示す．また，
表 4c には，用いる振る舞いをベースライン手法と同じ振る舞
いに限定にした場合の提案手法での分類結果も示す．以後，用いる振る舞いをベースライン手法と同じ振る舞いに限定にした
場合の提案手法のことを限定的提案手法と呼ぶ．この分類結果を用いてワーカの排除や指導を行うことを考えた時，排除や指導に該当する低品質ワーカをできるだけ見逃さないことが重要である．なぜならば，低品質ワーカは作業結果の品質を低下させる原因だからである．つまり，低品質ワーカの再現率が重要であると言える．ベースライン手法では低品質ワーカの再現率
が 0.72 であった．一方で，提案手法では 0.84 に向上した．また，限定的提案手法では 0.64 であり，提案手法が低品質ワー
カをより高精度に検知することができた．また，適合率や F 値を見ても，提案手法が最も良い精度であった．しかし，高品質

表 2: 追加で取得するワーカの振る舞い

ID

振る舞い

説明

サンプル

B6

閲覧回数

ツイート表示ボタンを押した回数（回）

1, 2, 5

B7

閲覧時間

ツイート表示ボタンを押している間の合計時間（秒）5, 10, 60

B8

１文字あたりの閲覧時間

閲覧時間をツイートの文字数で割った値（秒）0.05, 0.1, 1

B9

1 回あたりの閲覧時間

閲覧時間を閲覧回数で割った値（秒）5, 10, 60

B10

1 文字 1 回あたりの閲覧時間 1 回あたりの閲覧時間をツイートの文字数で割った値（秒） 0.05, 0.1, 1

B11

閲覧割合

処理時間のうちの閲覧時間の割合

0.1, 0.5, 0.8

表 3: 収集したデータの規模
総タスク処理回数（回）

ツイート数（個）ベースライン手法

総ワーカ数（人） 対象ワーカ数（人）

439

250

132,594

–

提案手法

486

255

108,836–

合計（重複無し）

793

439

241,430

26,713ワーカを低品質と予測するケースが多く，改善の余地がある．

5. 3. 3 推定結果の分析

同様に，低品質ワーカを下位 5%と 15%としてワーカの品質提案手法によって正しく分類できたワーカと，提案手法でもの推定を行った．表 5 に β の値をまとめる．また，それぞれの正しく推定できなかったワーカの特徴を分析する．まず，最もβ でそれぞれの手法で分類した時の分類結果を表 6 に示す．下

正答率が悪いワーカに着目し，このワーカをワーカ D と呼ぶ

位 5%と 15%のワーカを低品質ワーカと定義した時にも，提案ことにする．ワーカ D は限定的提案手法では高品質ワーカと手法が再現率だけでなく，適合率や F 値においても最も良い精誤って分類されたが，提案手法では低品質ワーカと正しく分類度であった．これは，α によらず提案手法が効果的であることされた例である．ワーカ D の処理時間の平均は約 6 秒であり，を示している．しかし，下位 10%のワーカを低品質ワーカと定平均的なワーカに比べ処理時間が短い．しかし，5. 3. 2 項にも義した時と同様に，高品質ワーカを低品質と予測するケースが述べたのと同様に，処理時間が短くても高品質なワーカも存在

多く存在した．

する．そのため，ワーカ D を低品質なワーカだと断定すること

5. 3. 2 重要な振る舞いは難しい．しかし，ワーカ D は 9 割以上のタスクで 1 回もツランダムフォレストでは，特徴量の重要度を計算することがイートを閲覧していない．さらに，閲覧した場合でも閲覧時間できる．本実験では 5 分割交差検証を行ったため，5 回の分類

は 2 秒に満たず，ワーカ D は明らかに適切な作業をしているとそれぞれで重要度が計算される．ここでは，5 回の重要度の平は言えない．このように，提案手法によって取得した閲覧時間

均値をその特徴量の重要度として用いる．提案手法における重や閲覧回数によって低品質ワーカであると判断することが可能

要な特徴量の上位 5 件を図 3 に示す．α の値，すなわち，低品になったと考えられる．

質ワーカと高品質ワーカの境界に関わらず，重要度が高い特徴

次に，2 番目に正答率が悪いワーカに着目する．このワーカ

量の多くはタスクに介入したことによって得ることができた振をワーカ E と呼ぶことにする．ワーカ E は提案手法でも高品る舞いの特徴量である．つまり，提案手法でなければ取得でき質ワーカと誤って分類された例である．ワーカ E の閲覧回数はない振る舞いが分類に重要な役割を果たしたと言える．

平均 1.5 回以上であり，閲覧時間の平均も約 12 秒である．平

例えば，1 回あたりの閲覧時間の最小値は 3 種類の分類すべ

均的なワーカの閲覧時間の約 6.5 秒であり，約 2 倍ツイートをてで重要な振る舞いの上位 3 件に入った．1 回あたりの閲覧時読んでいることになる．ワーカ E の正答率は低いが，振る舞い間の最小値と正答率の関係を図 4 に示す．一つひとつの点はが不適切であるとは言い難い．そのため，提案手法でも高品質

ワーカを表している．1 回あたりの閲覧時間の最小値が大きい

ワーカと分類してしまったと考えられる．ワーカ E は真面目に

ワーカは正答率が高い傾向がある．そのため，1 回あたりの閲作業をしているが，タスクの内容を正確に理解できていない可覧時間の最小値から高品質なワーカを検出することは容易で能性がある．本手法では振る舞いのみでワーカを判断するため，ある．しかし，1 回あたりの閲覧時間の最小値が小さいからとこのようなワーカを低品質ワーカと判断することはできなかっ言って正答率が低いとは限らないが，正答率が低いワーカは概た．正答率が悪い低品質なワーカを検知するためには，振る舞

ね 1 回あたりの閲覧時間の最小値が小さい．そのため，低品質

いだけでなく，作業結果も見る必要があると考えられる．

なワーカを検知することもできるが，高品質なワーカを低品質

5. 4 提案手法が及ぼすワーカへの影響と誤判別してしまう．これは，表 4 の混同行列にも表れている．

提案手法では，ツイートを読むためにボタンを押し続ける作

また，閲覧回数も分類に重要な役割を果たしていることが図業をワーカに対して課しているが，この作業自身はタスクの遂

3 から分かる．高品質なワーカは回答を選択した後にもツイー

行に直接関係無い．これはワーカの品質推定のために行ったこ

トを閲覧し直すなど，複数回閲覧していると考えられる．

とであるが，作業結果の品質を低下させることや，ワーカが集
まらないなどの問題があっては意味がない．そこで本節では，

表 4: 混同行列(a) ベースライン手法

正解(b) 提案手法(c) 限定的提案手法

予測

予測

低品質 高品質

低品質 高品質

低品質

18

7

高品質

69

156

正解

予測

低品質

21

4

高品質

72

158

正解

 

 

 

 

 





 









 







高品質

低品質

16

9

高品質

65

165




 

(a) α = 5

低品質



(b) α = 10(c) α = 10

図 3: 重要な特徴量の上位 5 件 （*は提案手法で新たに取得した振る舞い）

表 5: 低品質ワーカと高品質ワーカの境界となる正答率

5%
10%
15%

手法

境界となる正答率 β

ベースライン

65.5%

提案手法

62.8%

ベースライン

73.0%

提案手法

72.6%

ベースライン

80.7%

提案手法

78.7%

正答率（%）

α

1回あたりの閲覧時間の最小値（秒）表 6: 分類結果

5%

10%

15%

手法

適合率 再現率

F値

ベースライン

0.17

0.55

0.26

提案手法

0.21

0.75

0.33

限定的提案手法

0.16

0.58

0.25

ベースライン

0.21

0.72

0.32

提案手法

0.23

0.84

0.36

限定的提案手法

0.20

0.64

0.30

ベースライン

0.22

0.62

0.33

提案手法

0.32

0.79

0.45

限定的提案手法

0.27

0.71

0.39

図 4: 1 回あたりの閲覧時間の最小値と正答率の関係提案手法での正答率（%）α

提案手法がワーカに与える影響についての分析結果の説明と議論を行う．ワーカへの影響として，タスクの難易度，処理時間とモチベーションの三つの観点から評価する．

ベースラインでの正答率（%）

図 5: 両方のタスクに従事したワーカの正答率

5. 4. 1 タスクの難易度
提案手法のタスクとベースライン手法のタスクでの正答率の違いと分布からタスクの難易度を評価する．まず，両方のタスクに従事した対象ワーカ 66 人を対象として，提案手法とベースライン手法でのそれぞれの正答率を図 5 に示す．横軸がベースライン手法での正答率，縦軸が提案手法での正答率を表し，一つひとつの点が各ワーカを表している．相関係数は 0.78 となっており，強い正の相関が見られる．

さらに，両方のタスクに従事したワーカの正答率の分布を図6 に示す．横軸が正答率，縦軸がその正答率のワーカ数である．
提案手法とベースライン手法でのタスクのそれぞれの正答率をウィルコクソンの符号順位検定を用いて検定したが有意な差は認められなかった（p > 0.05）．つまり，タスクの難易度が異なるとは言えない．
提案手法とベースライン手法での正答率には強い正の相関がワーカ数（人）ベースライン
提案手法

正答率（%）
図 6: 両方のタスクに従事したワーカの正答率の分布

ベースライン

処理時間（秒）

ワーカ数（人）

提案手法

タスク処理回数（回）図 8: ワーカの離脱のタイミング
ベースライン

提案手法
ベースライン

図 7: タスク処理時間の分布
ワーカ数（人）あり，有意差が認められないことから，タスクの難易度の差は提案手法無い．さらに，正答率は，提案手法とベースライン手法のユー
ザインタフェースによって差がないことから，本実験のタスク
におけるワーカの品質と言うことができる．つまり，ワーカの品質はユーザインタフェースに依存するものではない．

タスク処理回数（回）

図 9: 対象ワーカのタスク処理回数の分布

5. 4. 2 処 理 時 間
提案手法では，ツイートを読むためにはツイート表示ボタン

れだけ続けたかの処理回数を用いる．まず最初に，作業からのを押し続けなければならないため，ツイートを読む度にマウス離脱について議論する．表 3 の総ワーカ数から対象ワーカ数を

カーソルをツイート表示ボタンへ移動させなければならない．

引いた人数が離脱したワーカの人数となる．つまり，ベースラ

その結果，ベースライン手法と比べ多くの処理時間を要するこ

イン手法では 43.1%の 189 ワーカが途中で作業から離脱した．

とが予想される．

一方で，提案手法では，47.5%の 231 ワーカが途中で作業からそれぞれの手法の処理時間の分布の箱ひげ図を図 7 に示す．

離脱した．提案手法では 4.4%離脱率が増加した．

グラフの縦軸は処理時間であるが，対数目盛となっている．ベー

次に，離脱したタイミングを図 8 に示す．横軸がタスク処理

スライン手法では処理時間の中央値が 6 秒であった．対して，

回数，縦軸がそのタスク処理回数で離脱したワーカ数である．

提案手法では 9 秒となった．我々の予想通り，提案手法では処

作業報酬額は同じであったが，提案手法では 10 回以内に離脱す

理時間が 3 秒増加し，ワーカへ時間的な負担を与えることが分るワーカがベースライン手法よりも明らかに多いことが分かる．

かった．さらに，タスク依頼者にとっても依頼する全てのタス

図 9 に対象ワーカのタスク処理回数の分布を示す．提案手法

クが処理されるまでにより多くの時間が必要となる．

とベースライン手法ではタスクの処理回数の分布には大差がまた，ベースライン手法と提案手法の双方で，処理時間がない．以上の結果をまとめると，提案手法では作業開始直後に1,000 秒を超えるようなケースも存在する．Twitter の文字数

ワーカが離脱してしまう最初のハードルを越えるとベースライは最大 140 字であり，これほど多くの時間が必要であるとは考ン手法と同様にワーカを確保することが可能であると言える．

えにくい．これは 4. 章で述べたように，ワーカは常にタスクに

6. お わ り に集中している状況ではなく，他のことを行いながら作業を行っていたり，休憩を挟んでタスクに取り組んでいたりすることが表れている．

本論文では，クラウドソーシングの単純なタスクにおいて，ワーカの品質を振る舞いから推定する手法を提案した．既存の5. 4. 3 モチベーション

研究では振る舞いの分析に焦点が当てられてきたが，我々は振ワーカのモチベーションを測定する指標として，作業単位でる舞いの取得に焦点を当てた．提案手法では閲覧時間や閲覧回ある 100 ツイートに満たず作業から離脱した割合と，作業をど数などのより正確な振る舞いを取得するために，コンテンツを表示するためのボタンを設置した．提案手法では，適合率を下げることなく再現率を向上させ，低品質ワーカをより高精度に検出することができた．特に，低品質ワーカの定義を正答率が下位 10%のワーカとした時，再現率は最も高い 0.84 となった．
また，1 回あたりの閲覧時間や閲覧回数など，ボタンの設置によって取得可能となった振る舞いがワーカの分類に重要な役割を果たしていることが分かった．ボタンを設置したことによるデメリットとしては，処理時間が増えることや，ワーカの離脱率が上がってしまうことが挙げられる．
今後の課題としては，以下のようなことが挙げられる．一つ目の課題は，高品質なワーカを低品質と分類してしまう例が多いことや十分まじめに作業しているが正答率が悪いワーカを高品質と分類してしまうことである．つまり，素早く適切な作業を行えるワーカやタスクの内容を正しく理解していないワーカを誤判別しないように，振る舞いだけでなく作業結果を含めてワーカの品質を判断するなどの工夫が必要である．二つ目の課
題は，提案手法の汎用性を検証することである．本論文では，一種類のタスクに対して実験を行った．我々は翻訳タスクや記事執筆タスクなどは対象外としているが，あるコンテンツを見て簡単な評価を与えるようなタスクには提案手法を適用することが可能であると考えている．例えば，画像のラベリングやアンケートなどが挙げられる．また，本研究で行ったタスクは多くのワーカの正答率が 90%程度あり，容易であった．ワーカの能力によって正答率にばらつきが出るタスクや全体的な正答率が低くなるタスクでも検証するべきである．三つ目の課題は，他のタスク介入方法を検討することである．提案手法ではコンテンツを表示するボタンを設置したが，より正確な振る舞いが取得でき，よりワーカに負担が少ない方法を検討することを今後の課題とする．
謝辞 本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものです．

文

献[1] Aniket Kittur, Ed H Chi, and Bongwon Suh. Crowdsourcing user studies with mechanical turk. In Proceedings of the
SIGCHI conference on human factors in computing systems, pp. 453–456. ACM, 2008.
[2] Dongqing Zhu and Ben Carterette. An analysis of assessor
behavior in crowdsourced preference judgments. In SIGIR
2010 workshop on crowdsourcing for search evaluation, pp.
17–20, 2010.
[3] Jeﬀrey M Rzeszotarski and Aniket Kittur. Instrumenting
the crowd: using implicit behavioral measures to predicttask performance. In Proceedings of the 24th annual ACM
symposium on User interface software and technology, pp.
13–22. ACM, 2011.
[4] Matthias Hirth, Sven Scheuring, Tobias Hoßfeld, Christian
Schwartz, and Phuoc Tran-Gia. Predicting result quality incrowdsourcing using application layer monitoring. In Communications and Electronics (ICCE), 2014 IEEE Fifth International Conference on, pp. 510–515. IEEE, 2014.
[5] Gabriella Kazai and Imed Zitouni. Quality management incrowdsourcing using gold judges behavior. In Proceedingsof the Ninth ACM International Conference on Web Searchand Data Mining, pp. 267–276. ACM, 2016.

[6] Gabriella Kazai, Jaap Kamps, Marijn Koolen, and Natasa
Milic-Frayling. Crowdsourcing for book search evaluation:
impact of hit design on comparative system ranking. In Proceedings of the 34th international ACM SIGIR conference
on Research and development in Information Retrieval, pp.
205–214. ACM, 2011.
[7] Vikas C Raykar, Shipeng Yu, Linda H Zhao, Anna Jerebko,
Charles Florin, Gerardo Hermosillo Valadez, Luca Bogoni,
and Linda Moy. Supervised learning from multiple experts:
whom to trust when everyone lies a bit. In Proceedings of the
26th Annual international conference on machine learning,
pp. 889–896. ACM, 2009.
[8] Alexander Philip Dawid and Allan M Skene. Maximum
likelihood estimation of observer error-rates using the em
algorithm. Applied statistics, pp. 20–28, 1979.
[9] Padhraic Smyth, Usama M Fayyad, Michael C Burl, Pietro
Perona, and Pierre Baldi. Inferring ground truth from subjective labelling of venus images. In Advances in neural
information processing systems, pp. 1085–1092, 1995.
[10] Leo Breiman. Random forests. Machine learning, Vol. 45,
No. 1, pp. 5–32, 2001.
[11] Jerome Friedman, Trevor Hastie, and Robert Tibshirani.
The elements of statistical learning, Vol. 1. Springer series
in statistics New York, 2001.
[12] Nitesh V Chawla, Kevin W Bowyer, Lawrence O Hall, andW Philip Kegelmeyer. Smote: synthetic minority oversampling technique. Journal of artificial intelligence research, Vol. 16, pp. 321–357, 2002.
[13] John Joseph Horton and Lydia B Chilton. The labor
economics of paid crowdsourcing. In Proceedings of the
11th ACM conference on Electronic commerce, pp. 209–
218. ACM, 2010.