DEIM Forum 2014 E2-5

クラウドソーシングの回答品質向上のための既知ラベル数決定手法
久保田琢也†

眞鍋 雄貴††

有次 正義††† 熊本大学工学部情報電気電子工学科 〒 860–8555 熊本県熊本市中央区黒髪二丁目 39–1†† 熊本大学大学院自然科学研究科情報電気電子工学専攻 〒 860–8555 熊本県熊本市中央区黒髪二丁目 39–1
E-mail: †kubota@dbms.cs.kumamoto-u.ac.jp, ††{y-manabe,aritsugi}@cs.kumamoto-u.ac.jp
あらまし クラウドソーシングによるラベリングタスクにおいて，ラベリングの精度は重要な問題の一つである．これまで，各回答者の正答率に基づいて，回答結果から正しいラベルを推定する研究がなされてきた．しかし，回答者
集団の多数がスパマーで占められている状況では正確にラベル推定を行うことが困難である．ラベルの推定精度の向上のために回答データ中にラベルの真値が既知のデータを加える手法がある．だが，用いる既知ラベル数が少なくては推定精度を向上させることができない．一方で多くの既知ラベルを用いることはコストの増大につながる．本論文
では，用いるべき既知ラベルの適切な数を推定する手法を提案する．
キーワード クラウドソーシング，EM アルゴリズム，ラベリング精度，スパマー，既知ラベル

1. は じ め に

有用性を点数化することにより，ランダムに回答するスパマー
はほとんど誤答する回答者よりも有用性が低いことを示した．

近年，インターネットを通じて不特定多数のクラウド (群集)Raykar と Yu は，回答者がスパマーである可能性を点数化すにタスクを依頼して解決してもらうクラウドソーシングが世界ることにより，回答者の集団からランダムにラベルづけを行う

規模で使われている [1]．Amazon Mechanical Turk をはじめスパマーを検出して，スパマーを回答者集団から除外することとするクラウドソーシングサービスを使って解決するタスクのでラベルの真値をスパマーのいない環境で推定する手法を提案

一つとして，データのラベルづけがあげられる．ラベルづけをした [6]．以上の既存研究により高い精度でスパマーを排除しラ専門家に依頼する手法は時間とコストがかかることが課題であ

ベルの真値を推定できるようになった．しかし，回答者集団にるが，クラウドソーシングすることで安価で，時間をかけずに占めるスパマーの割合が高くなるほど，スパマーを検出できる

ラベルづけを行うことができるようになる [2]．データにラベル

精度が下がり，ラベルの真値をうまく推定できなくなるというづけをすることにより，例えば分類器の教師データを作成する問題がある (3 章を参照)．

ことができる [3]．

また，EM アルゴリズムを用いたラベリングの精度を向上す

クラウドは熟達者，初心者，スパマーなどを含む様々な人々

ることを目的に，既知の情報を用いる研究がある．Kajino らの集合として成り立っているため，回答が必ず正しいという保は回答者集団の中に完璧な回答をするエキスパートを導入する証はない．正しい回答を得るために，複数の回答者から回答をことによってラベルの推定精度を向上する手法を提案した [3]．

得てラベルの真値を推定する研究が行われてきた [4] [5] [6]．こまた，Tang と Lease は，ラベルの真値が未知のデータ (未知ラ

れらの研究では，各回答者の回答の傾向を探った上でラベルのベル) と既知のデータ (既知ラベル) の両方を使ってラベルの推真値を推定している．複数の回答から正答を単純な多数決に定精度を向上させる手法を提案した [8]．Tang と Lease の手法

よって決める手法では，回答者の半数以上が正しい回答を行うを用いることでスパマーを検出できる精度が上がり，ラベルのという前提がなければ真値を推定することはできないためで真値の推定精度を向上できる．しかし，ラベルの真値が既知のある．
高精度にラベル付けする手法の一つとして，EM アルゴリズ
ムを用いる Dawid と Skene が提案した手法がある [7]．これは，データを多くタスクに加えることはコストの増大につながる．
この問題を解決するためには，既知ラベル挿入数を適切に設定する必要がある．

各回答者の正答率の推定と，正答率の高い回答者の回答を重要

そこで本論文では，適切な既知ラベル挿入数を決定する手法視したラベルの真値の推定とを EM アルゴリズムを用いて交を提案する．併せて，Condorcet の陪審定理 [9] を拡張して，ラ互に行う手法である．その研究は元来医療分野に用いられるよ

ベル推定精度の上限を計算する手法も提案する．提案手法では

うに提案されたが，以下に述べる研究等においてクラウドソー

はじめに，各回答者の正答率をもとに，EM アルゴリズムでラシングの分野に応用されている．Yan らは，データ毎によってベルの真値を推定した際のラベル推定精度の上限を計算する．

各回答者の正答率の値を変えてラベルの真値を推定する手法を

その際，ラベル推定精度の上限に対する許容誤差から，許容す提案した [4]．また，Ipeirotis らは，各回答者の正答率をもとる精度を定める．次に，データにラベルの真値を仮に設定し，に，各回答者の回答の有用性を点数化する手法を提案した [5]．

各回答者の正答率をもとに回答候補を作る．この回答候補をも

とに，Raykar と Yu が提案した手法を用いてラベルの真値をの値が 0 に近いほどスパマーである可能性が高いことがいえる．

推定する．その後，推定されたラベルの精度を，許容する精度

2. 2 尤度関数と事前確率分布と比較する．推定されたラベルの精度が許容する精度に達して各回答者のパラメータに関する尤度関数と事前確率分布を定いない場合，許容する精度に達するまで既知ラベル挿入数を増義し，ベイズの定理を応用した最大事後確率推定法を用いてパやしてラベルの真値を推定する．

ラメータを推定する．計算を簡単にするため，尤度関数の対数

また，提案した手法を用いて，ラベルの推定精度がよくなるをとった対数尤度関数を尤度関数として用いる．

か評価する．回答者集団にスパマーがいる環境といない環境をM 人の全回答者が N 個の全データに回答した回答デー

比べると，スパマーの割合が多い環境でのラベルの推定精度がタ を D = {yi1 , ..., yiM }N
i=1 ，ラ ベ ル の 真 値 の 集 合 を y =悪い．そのため，回答者集団にスパマーがいない環境といる環{y1 , ..., yN }，全データに占めるラベルの真値が 1 であるデー

境に分けて評価する．結果として，ラベルの推定精度が改善さ

タの割合を p，各回答者のパラメータの集合と前述の p をれることがわかった．

θ = {α1 , β 1 , ..., αM , β M , p}，とすると，対数尤度関数は，以下

本論文は以下のように構成される．次章で既存研究を紹介すの式で与えられる．

る．はじめに Raykar と Yu の既存研究を，回答者の正答率をモデル化する手法，ラベルの真値の推定手法，スパマーの検出

log P r(D, y | θ) =i=1

手法を紹介する．その後，Condorcet の陪審定理を紹介する．
3 章で，ラベル推定精度の上限を求める手法と，適切な既知ラ
ベル挿入数を求める手法を提案する．4 章で，提案した手法の評価を行う．5 章で，まとめと今後の課題を述べる．

N∑{yi log pai +(1−yi ) log(1−p)bi } (4)ただし，ai =
j
1−yi

αj )

j

j yi

β )

，bi =

∏M

j
∏M
j
j
j yi
j=1 P r(yi | yi = 1, α ) =j=1 (α ) (1 −
j
∏
M
j
j
j 1−yi(1−
j=1 P r(yi | yi = 0, β ) =j=1 (β )∏Mである．

次に，各回答者のパラメータの分布を与える事前確率分布を

2. 既 存 手 法

定義する．回答者集団からスパマーを検出したいため，回答者
各回答者の正答率とラベルの真値とを推定する手法 [7] を，スがスパマーである可能性を示す式 (3) に関する正規分布としてパマーを検出し排除することができるように拡張した Raykar

確率分布を与える．回答者集団のほとんどがスパマーである環と Yu の手法 [6] を本研究で用いる．それに加え，Condorcet の境を想定して平均を 0，分散の逆数を表す精度パラメータを λj

陪審定理 [9] を拡張して用いる．この章では，2.1 節で回答者のとして，以下の式で定義する．

正答率をモデル化する手法を紹介し，2.2 節で正答率の尤度関数と事前確率分布を定義する．さらに，2.3 節で EM アルゴリ

P r(αj , β j | λj ) =λj (αj + β j − 1)2
1
exp(−
)
N (λj )
2(5)ズムを用いたラベルの真値と正答率の推定手法を紹介し，2.4用いた手法である．加えて，2.5 節で Condorcet の陪審定理を

ただし，N (λj ) は正規化関数であり，
∫1∫1
j
j
j
−1)2
)dαj dβ j で与えられる．全N (λj ) = 0 0 exp(− λ (α +β
2

紹介する．

データ中のラベルの真値が 1 であるデータの出現率を考慮した

節でスパマー排除手法を紹介する．これらは，Raykar と Yu が

2. 1 回答者の正答率のモデル化

ベータ関数を Beta(p | p1 , p2 )，各回答者のパラメータ θ を制

本論文では，各データに与えたいラベルは二択である状況を御するパラメータを λ = {λ1 , ..., λM , pi , p2 } と置くと，各回答想定し，ラベルの値を 0 または 1 と定義する．ラベルの真値が者のパラメータの事前確率分布は以下の式で与えられる．

未知の N 個のデータが与えられ，データ i ∈ {1, ..., N } に対して未知の真のラベル yi ∈ {0, 1} が存在する．回答者は M 人与P r(θ | λ) = Beta(p | p1 , p2 )M∏P r(αj , β j | λj )

(6)

j=1

えられ，データ i に対して回答者 j ∈ {1, ..., M } が yij ∈ {0, 1}という形式で回答ラベルを与える．回答者 j が持つパラメータ

2. 3 EM アルゴリズム

は，下記の式でモデル化される．

最大事後確率推定を，対数尤度関数の式 (4) と事前確率分布

αj = P r(yij = 1 | yi = 1), β j = P r(yij = 0 | yi = 0)の式 (6) の対数を取った式を用いた以下の式の値を最大にする(1)θ を推定することで行う．

すなわち，αj が真のラベルの値が 1 である場合の正答率であlog P r(D | θ) + log P r(θ | λ)り，β j が真のラベルが 0 である場合の正答率である．

(7)

スパマーはランダムな回答をすると考えられるため [6]，スパ

欠損データがある際に最尤法を用いて解とパラメータを反復しマーは回答ラベル yij を真のラベル yi に関係なく与える．すなて推定する EM アルゴリズムを，最大事後確率推定法を用いてわち，下記の式が成り立つ．

反復推定するように応用することで各回答者のパラメータ推定

P r(yij = 1 | yi = 1) = P r(yij = 1 | yi = 0)(2)とラベルの真値の推定を行う．この計算は尤度関数の期待値を求める E ステップと尤度関数の期待値を最大化するパラメータ式 (2) を式 (1) を用いて式変形すると，αj + β j − 1 = 0 となの値を求める M ステップを，値の変化が収束するまで反復実る．したがって，行して行う．
αj + β j − 1

(3)

•

れる．

E ステップあるデータ i の真値が 1 である確率を µi = P r(yi = 1 |yi1 , ..., yiM , θ) とすると，対数尤度関数の式 (4) の期待値はN∑{µi log pai + (1 − µi ) log(1 − p)bi }

(8)

i=1

δj

λj =

(14)
(αˆj + βˆj − 1)2 + σ j√√
2πλj erf ( λj /2)√
た だ し ，δ j = 2 − √ j，σ j =j
2πλ erf ( λ /2)+2exp(−λj /2)−2∫√x∂
T r(H −1 (θ̂, λ) ∂λπ 0 (−t2 )dt であj H(θ̂, λ)) ，erf (x) = 2/
り，H はヘッセ行列である．

で表され，µi はベイズの定理を用いて以下の式で更新する．
ai p
µi =
ai p + bi (1 − p)(9)

EM アルゴリズムを用いた最大事後確率推定によってパラメータを推定した後，パラメータをもとに λj の値を更新し，λjの値が一定以上の回答者をスパマーと判定して回答者集団からE ステップで求めた µi を用いて，ラベルの真値は，µi が 0.5未満であれば 0，0.5 以上であれば 1 が推定されたと考えること

除外し，更新後の λj の値を用いて EM アルゴリズムによりパラメータを推定する．

ができる．既知ラベルの場合，式 (9) の推定を行わずに µi = yi

2. 5 Condorcet の陪審定理に固定する．これによって，M ステップにて回答者の正答率をCondorcet の陪審定理とは，多数決で物事を決める際，各投票者が正しい判断をする確率が 50%より高ければ投票者の人数

誤って推定することを防ぐ．
•

が多いほど多数決により正しい判断が下される確率が高くなる

M ステップ式 (7) の値が最大になるようなパラメータを推定する．対数定理である [9]．各投票者の正答率を全員同じ値 p，投票者数を関数であるため，式 (7) を各パラメータに関して微分して 0 にn とすると多数決によって正しい判断が下される確率は，n がなるときのパラメータを求めればよい．p は式 (10) によって求奇数である場合はjj

めることができる．α と β は式 (11) と式 (12) を 2 元 3 次方

n
∑

k
n−k
n Ck p (1 − p)程式として解くことで求められる．
p=∑p1 − 1 + N
i=1 µip1 + p2 − 2 + N(10)で与えられ，n が偶数である場合はn∑λ (α ) +(β − 2)λ (α ) +
j

j 3

j

j

j 2

(λj − β j λj −N∑µi )αj +

i=1

N
∑

j 3

j

{λj − αj λj −jk

(1 − p)n−k +k=n/2+1µi yij = 01
n/2(1 − p)n/2 (16)n C(n/2) p2で与えられる．この式は n 人の投票者による回答として起こり

i=1

うる 2n 通りの組合せのうち多数決により正しい判断が下され

j 2

る組合せを選び出し，それらの組合せが起こる確率の和を求めNN∑∑(1 − µi )}β j +(1 − µi )(1 − yij ) = 0
i=1

n Ck p(11)λ (β ) + (α − 2)λ (β ) +j(15)

k=(n+1)/2

i=1

(12)
2. 4 スパマー排除手法
式 (5) の事前確率分布の精度パラメータ λj を制御することにより，式 (3) が 0 に近い値を取る確率を制御することができ
る．λj の値が小さければ式 (3) が 0 に近い値を取る確率が低くなり，スパマーと判断される可能性が低くなる．一方，λj の値が大きければ式 (3) が 0 に近い値をとる確率が高くなり，スパ
マーと判断される可能性が高くなる．したがって，良い回答者の精度パラメータ λj の値は小さく，スパマーの精度パラメー
タ λj の値は大きく設定したい．そのため，各回答者ごとに適切な λj の値を定める必要がある．また，λj の値を定めること
により，この値が大きければスパマーであると判断することができる．
λj はパラメータ θ を制御するパラメータであるため，経験ベイズ法を用いて下記の周辺尤度を最大にする λj を求める．
∫(13)
P r(D | λ) = P r(D | θ)P r(θ | λ)dλ
θ

ることによって多数決で正しい判断が下される確率を計算している．

3. 提 案 手 法
本論文の提案手法でははじめに，Condorcet の陪審定理を，
多数決でなく EM アルゴリズムによってラベルを推定する手法に適用できるように拡張する．これにより，ラベル推定精度の上限を求める．次に，ラベル推定精度が上限に達するまで既知
ラベル数を徐々に増やしながら，ラベルの推定を行う．
3. 1 ラベル推定精度の上限
Condorcet の陪審定理を EM アルゴリズムによるラベルの推定手法に適用できるよう拡張する．ある回答者 j が正しい判断をする確率を q j とすると q j = αj p + β j (1 − p) である．ここで，あるデータ i に対して正しい回答をすると 1，間違った回答をすると 0 になる変数 rij を導入する．すると，n 人の回答
者による回答として起こりうる組合せのうち，EM アルゴリズ
ムによるラベル推定アルゴリズムによって正しい判断が下される組合せは以下の式の値が 0.5 以上になる組合せである．
∏n
∏n

j

j

最大事後確率推定によって推定されたパラメータ α ，β ，θをそれぞれ αˆj ，βˆj ，θ̂ と表記すると，λj は以下の式で求めら

j=1 (qj=1 (q

j

j

j

j ri
) (1 − q j )1−ri
jj )ri (1 − q j )1−ri +∏nj=1 (1 − qjjj )ri (q j )1−ri

また，各回答者の回答がその組合せになる確率は

(17)

表1

るものとして，各回答者が持つ固有の正答率 αj をもとに当該既存研究をもとにした評価結果

8 割正解の回答者数 1

3

5

5

データにラベル付けを行う．データの残りの 1 − r% も同様に

5 割正解のスパマー数 24

75

100

0

ラベルの真値が 0 であるものと仮定して各回答者の β j をもと

正しく推定されたラベル数の平均

50.9 63.6 84.7 92.4

正しく推定されるべきラベル数の上限 80n∏89.6 94.3 94.3にラベル付けを行う．r の値は，データの種類によって適切に定めるものとする．
それから，この回答候補データをもとにラベルの真値を推定

jj(q j )ri (1 − q j )1−ri

(18)

j=1

である．正しい判断が下される全ての組合せにおいて，式 (18)の値を求める．それらの和を求めることによって，ラベル推定
精度の上限を求めることができる．
上記の手法で求められるラベルの推定精度の上限を用い，Raykar と Yu によって提案された手法を評価した．正答率が 8割の回答者とスパマーによって構成される回答者集団に 100 個のデータに回答させる動作を 100 回行った．その結果を表 1 に示す．
8 割正解する 5 人の回答者がいる環境で推定精度の上限に達するためには，スパマーが 100 人の場合は間違って推定される
ラベル数をあと 9.6 個減らさなければならない．これに対し，する．推定結果をラベル付けしたいデータに仮に置いたラベルの真値と比較し，ラベル推定精度と許容する精度とを比較す
る（注1）．ラベルの推定精度が許容する精度に達していない場合
はデータに既知ラベルを 1 つ加えたうえで再び回答候補データを作成する．これをラベルの推定精度が許容する精度に達するまで繰り返す．
ラベル推定精度が許容する精度に達した時点における，デー
タに加えた既知ラベル数が，ラベルの推定精度を改善するために必要な最小の既知ラベル数である．この結果をもとに，実際のクラウドソーシングサービスで各回答者に回答を依頼する際に推定精度が最適になる既知ラベル数をラベル付けの依頼者に提案することができる．

4. 評

価

スパマーが 0 人の場合はあと 1.9 個である．このことから，回答者集団にスパマーが多い場合は推定精度が落ちることがわ
かる．
また，8 割正解の回答者が 1 人いる環境，3 人いる環境，5 人いる環境を比較すると，8 割正解する回答者の人数が少ない環
境では，多い環境と比べて推定精度が下がることがわかる．
これらのいずれの場合も，ラベルの推定精度の上限には達していない．そのため，まだ改善の余地があるといえる．
3. 2 既知ラベル挿入数を決める手法
適切な既知ラベル挿入数を決めるために，既知ラベル挿入数
を変えながらラベル推定精度を測る．
ここで，既知ラベル挿入数を決める前に，ラベル推定精度の上限に対する許容誤差を予め決めておく．ラベル推定精度が上限に達した際にラベルづけを誤ると推定されるデータ数を s 個，許容誤差を t% とすると，ラベルづけを誤る個数が (1 + t/100)s個に達した際に許容する精度に達したとする．許容誤差は，タスクの依頼者がラベルに求める精度によって適切に定めるものとする．
はじめに，各回答者の過去の作業履歴から作業タスク数に占

3. 1 節で評価したように，スパマーが多い環境ではスパマーがいない環境と比較して既存の手法ではラベルの推定精度が劣る．スパマーが多く含まれる環境において，提案手法を用いることでラベルの推定精度を上げることができるのか，またスパ
マーが多い環境と比べて推定精度が高い環境であるスパマーがいない環境において，提案手法によってさらに推定精度を向上させることができるのかを調べるために評価を行った．
スパマーがいない環境での評価では，各回答者の正答率にばらつきがある場合と全く同じ場合で結果に変化があるのかを見るために 2 つの条件を設定した．
本章におけるすべての評価では回答者は実在する人物ではなく計算機上で作成した回答者を用いた．また，ラベルづけしたいデータ中のラベルの真値が 1 である割合を 50%，ラベル推定
精度の上限に対する許容誤差を 10% と設定して評価した．
4. 1 スパマーでない 5 人の回答者のみの環境での評価
まずはじめに，スパマーではない回答者 5 人が，100 個のデータにラベル付けをする設定で評価を行った．5 人の正答率を表 2 の通り設定した．この 5 人によるラベルの推定精度の上める正答タスク数をラベルの推定値ごとに計算し，正答率 αj

限は 0.9345 である．100 個のデータにラベル付けするとき，平と β j の値を決定する．過去の作業履歴がない作業者において均で 6.55 個のデータに付けられたラベルが誤りである場合に，は，初めはスパマーと仮定して αj + β j − 1 = 0 となるような推定精度が最良であると考えることができる．

αj と β j を設定する．作業履歴のない回答者をスパマーと仮定することによって，仮に彼らの一部または全員がスパマーでなければラベルの推定値の精度が良い結果が得られるのと同時に，
仮に全員が本当にスパマーであるならば全員を排除することが可能になるためである．

推定精度が最良であるときの誤推定数は 6.55 個である．予め設定した許容誤差が 10% であるため，誤って推定されるラベルの個数が 7.205 個以下になるまで既知ラベル数を徐々に増やすことで評価を行った．図 1 はその結果を示したグラフである．ただし，許容する推定精度まで改善された後も，既知ラベ

次に，各回答者の正答率と，ラベル付けしたいデータの数とをもとに，各回答者から期待される回答データの候補を作成す（注 1）：ただし，この一連の手法において，各データに仮に定めたラベルの真値

る．ラベル付けしたいデータの r% は，ラベルの真値が 1 であは真値推定のアルゴリズムにおいて真値が未知であるものとして計算し，新たに加えた既知ラベルは真値が既知であるものとして計算する．

図1

正答率が異なる 5 人の回答者による評価でのラベルの誤推定数の推移

図 2 正答率が同じ 5 人の回答者による評価でのラベルの誤推定数の推移

表 2 正答率が異なる 5 人の回答者による評価での 5 人の正答率
回答者番号 αj

βj

1 0.9 0.9
2 0.8 0.8
3 0.7 0.8
4 0.8 0.7
5 0.7 0.7

るコストを考えたうえで，23 個の既知ラベルを用いる必要があ
るかをラベル付けの依頼者が判断する必要がある．
また，既知ラベル数が 24 個以上 100 個以下の環境での誤推定数の平均は 7.10 個であり，ラベル推定精度が最良であるときの誤推定数との誤差は 8.40%であった．また，誤推定数がラベル推定精度が最良であるときの誤推定数を下回ったケースは既知ラベル数が 100 個の際の誤推定数 6.24 個の時のみであり，

ル数を増やして評価した．ラベルの真値が誤って推定された数をグラフの縦軸，加えた既知ラベル数が横軸である．加えた既知ラベル数それぞれについて 100 回評価した際の平均を示しており，エラーバーは標準偏差である．また，ラベル推定精度が最良であるときの誤推定数を縦軸と垂直な破線で示した．
その結果，既知ラベル挿入数が 23 個のときに許容する推定精度にまで達した．このことから，既知ラベルを適切な数加えることによりラベルの推定精度に改善がみられることがわかる．
しかし，既知ラベルを加える数が少ない場合は全く加えない場合と比較して推定精度が悪くなった．ただし，推定精度が悪くなった状況下の誤推定数の標準偏差が大きくなっていることから，100 回の評価における誤推定数にばらつきが多いことがわかる．
加えた既知ラベル数が 23 個のときのラベルの誤推定数の平均が 6.94 個であったのに対して，加えた既知ラベル数が 0 個のときのラベルの誤推定数の平均が 7.61 個であった．その差は0.67 個であったため，既知ラベルを加えることによって発生す

その際のラベル推定精度が最良であるときの誤推定数との誤差は 4.73%であった．
次に，全回答者が同じ正答率である条件で評価を行った．スパ
マーでない 5 人の回答者の正答率は全員同じ値 αj = β j = 0.8とした．ラベルの推定精度の上限は 0.94208 である．100 個のデータにラベル付けする評価を複数回行ったとき，平均して5.792 個の誤りがある場合，推定精度は最良である．前述と同様に 10%の誤差を許容し，誤推定ラベル数が 6.3712 個以下に減少するまで既知ラベル数を増やして評価を行った．その結果が図 2 である．ただし，許容する推定精度に達した後も既知ラベル数を増やして評価を行った．
すると，既知ラベル挿入数が 2 個の時に許容する推定精度まで達した．各回答者の正答率にばらつきをつけた前回の評価結果と異なり，許容する誤差に達するまでは，ラベルの誤推定数
は既知ラベル挿入数が増えるごとに単調減少した．
また，既知ラベル数が 3 個以上 100 個以下の場合において，
誤推定数の平均は 6.04 個であり，ラベル推定精度が最良である
ときの誤推定数との誤差は 4.28%であった．また，誤推定数が表3

作業履歴のない回答者の正答率
正解率

合

計

人

数

αj

0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1

βj

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

1

0

0

0

0

1

0

0

0

0

5

0

0

1

1

1

1

1

0

0

10

1

1

1

1

2

1

1

1

1

15

1

1

2

2

3

2

2

1

1

20

2

2

2

2

4

2

2

2

2

25

2

3

3

3

3

3

3

3

2

30

3

3

3

4

4

4

3

3

3

35

3

4

4

4

5

4

4

4

3

40

4

4

4

5

6

5

4

4

4

45

5

5

5

5

5

5

5

5

5

50

5

5

6

6

6

6

6

5

5

55

6

6

6

6

7

6

6

6

6

60

6

6

7

7

8

7

7

6

6

マーとおいた人数を 25 人に設定した評価では 20 人の設定と比

65

7

7

7

7

9

7

7

7

7

べて必要な既知ラベル数は減った．同様に，スパマーとおいた

70

7

8

8

8

8

8

8

8

7

人数が 40 人の時，55 人の時，70 人の時はそれぞれスパマー

図 3 作業履歴のない作業者数を変える評価でのラベルの誤推定数の推移結果から，スパマーとおいた人数が増える毎に必要な既知ラベル数は増えていく傾向があることがわかる．ただし，スパ

とおいた人数が 5 人少ない時と比較して必要な既知ラベル数がラベル推定精度が最良であるときの誤推定数を下回ったケース

減った．そのため，必ずしもスパマーとおいた人数が増えるとは 97 例中 26 例あり，最も誤推定数が少なかったケースは既知

必要な既知ラベル数が増えるとは限らない．

ラベル挿入数が 88 個の時の誤推定数 5.35 個であり，ラベル推5. お わ り に

定精度が最良であるときの誤推定数との誤差は 7.63%である．
この 2 つの結果を比較すると，スパマーがいないという環境

本論文ではラベリングの精度を向上させることを目的とし，では既知ラベル挿入数を増やした際の誤推定数の推移の仕方はラベル付けしたいデータに加える既知ラベルの適切な数を決定

回答者集団によって異なることがわかる．したがって，回答者する手法を提案した．併せて，その過程で必要となるラベル推

集団ごとにシミュレーションを行い，データに加えるべき既知

定精度の上限を算出する手法を提案した．

ラベル数を決める手法をとることが有効である．また，いずれ

データにラベル付けを行う際に，既知ラベルを適切な数だけの場合も，許容する精度に達した後も既知ラベル挿入数を増や混ぜる手法を用いることでラベルの真値が未知のデータのラベ

すとラベル推定精度が上限まで改善できた．

ル推定精度を上限まで改善できることが評価によりわかった．
ただ，既知ラベルを加える数が適切な数より少ない場合は，

4. 2 作業履歴がない回答者による影響
次に，スパマーでない回答者が 1 人だけの環境に，作業履

既知ラベルを加えない場合よりも精度が劣る場合もあることが歴がない回答者を追加するとどのような影響が出るのかを調わかった．したがって，加えるべき既知ラベルの数を正しく推べるために評価を行った．スパマーでない回答者の正答率を定することは重要である．そのためには，本論文で示した手法

jj

α = β = 0.8 と設定し，作業履歴がない回答者の人数を変えながら評価した．スパマーと仮定する，作業履歴がない回答者

により適切な既知ラベル挿入数を見積もることが有効である．
また，スパマーがいない環境では，スパマーが多い環境と比j較して既存研究を用いた場合のラベルの推定精度が良い．そのの値，3 行目は β j の値であり，これらが 3 行目以降の，3 列目

ため提案手法により改善される精度はスパマーが多い環境と比から 11 列目に記されている各回答者の正答率を定義している．

べて低い．そのことから，ラベル付け作業の依頼者に評価結果

2 列目が作業履歴のない回答者の合計人数であり，その同じ行を見せ，既知ラベルを増やすことによるコストと，見込まれるの 3 列目以降に記された人数がその内訳である．

改善精度を比較検討してもらう必要があると考えられる．ゆえの人数と正答率は表 3 に沿って設定した．表 3 の 2 行目は α

スパマーでない 1 人の回答者の正答率から求められるラベルに，既知ラベルを加えることによって改善する精度と，既知ラの推定精度の上限は 0.8 である．前回の評価と同様に，ラベルベルを加えることによって生じるコストとを比較して既知ラベ付けするデータ数は 100 であり，誤推定数が 20 個のときが最ルを加える個数を判断する手法を検討することが今後の課題で良の推定精度であるが，前述の評価と同様に 10%の誤差を容認ある．

して誤推定数が 22 個以下になるまで既知ラベル数を増やす評謝辞価を行った．作業履歴のない回答者の数を表 3 に沿って変化させながら，それぞれの場合において，データに加えるべき既知クラウドソーシングに関して活発な議論を行い，本研究に有ラベルの最適な数を算出した．図 3 はその結果を示したグラフ

益な情報を頂いた熊本大学大学院自然科学研究科情報電気電子である．縦軸が既知ラベル挿入数であり，横軸が作業履歴のな

工学専攻博士前期課程 2 年大久保佑紀さんに感謝する．

い作業者数である．

文

献[1] Aniket Kittur, Jeﬀrey V. Nickerson, Michael S. Bernstein, Elizabeth M. Gerber, Aaron Shaw, John Zimmerman,
Matthew Lease, and John J. Horton “The Future of Crowd
Work”, Proceedings of the 2013 conference on Computer
supported cooperative work (CSCW), pp.1301-1318, 2013
[2] Rion Snow, Brendan O’Connor Daniel Jurafsky and Andrew Y. Ng “Cheap and Fast ― But is it good? Evaluating
Non-Expert Annotations for Natural Language Tasks”, Proceedings of the Conference on Empirical Methods in Natural
Language Processing (EMNLP 08), pp.254-263, 2008[3] Hiroshi Kajino, Yuta Tsuboi, Issei Sato, and Hisashi
Kashima “ Learning from Crowds and Experts” Proceedings of the 4th Human Computation Workshop, pp.107-113,
2012[4] Yan Yan, Rómer Rosales, Glenn Fung, Mark Schmidt, Gerardo Hermosillo, Luca Bogoni, Linda Moy, and Jennifer G.
Dy “Modeling annotator expertise: Learning when everybody knows a bit of something”, Proceedings of the Thirteenth International Conference on Artifical Intelligence andStatistics (AISTATS 2010), pp.932-939, 2010[5] Panagoiotis G. Ipeirotis, Foster Provost, and Jing Wang
“Quality Management on Amazon Mechanical Turk”, Proceedings of the ACM SIGKDD Workshop on Human Computation (HCOMP’10), pp.64-67, 2010[6] Vicas C. Raykar and Shipeng Yu “Eliminating Spammers and Ranking Annotators for Crowdsourced LabelingTasks”, Journal of Machine Learning Research, Vol. 13,
pp.491-518, 2012
[7] A. P. Dawid and A.M. Skene “Maximum likelihood estimation of observer error-rates using the EM algorithm”,
Journal of the Royal Statistical Society Series C (Applied
Statistics), Vol. 28, No.1, pp.20-28, 1979
[8] Wei Tang and Matthew Lease “Semi-Supervised Consensus Labeling for Crowdsourcing”, SIGIR 2011 Workshop on
Crowdsourcing for Information Retrieval, pp.36-41, 2011[9] Nicholas R. Miller “Information, Electorates, and Democracy: Some Extensions and Interpretations of the Condorcet Jury Theorem”, Grofman, Bernard and Guilermo
Owen, eds., Information Pooling and Group Decision Making, pp.173-192, 1986