DEIM Forum 2023 4b-8-5

クラウドワーカの模倣モデルと投票作業の一致率を用いた結果集約方法
太田 奈那†

鈴木優†† 岐阜大学工学部電気電子・情報工学科 〒 501–1193 岐阜県岐阜市柳戸 1 番 1
E-mail: †{y3033029@edu.gifu-u.ac.jp，ysuzuki@gifu-u.ac.jp}
あらましクラウドソーシングは，インターネットを介して人を募集するためスパムワーカが一定数存在する．スパ

ムワーカが行った作業結果も含めて集約を行うと，作業依頼者の求める結果が得られないことがある．そこで，全データを集約した全体の結果と個人の作業結果との一致率が高いほど品質の高いワーカであるとし，品質の低いワー
カの影響力を抑える結果集約手法を提案する．本手法では，ワーカの模倣モデルによって得られた結果をもとに算出した一致率を用いて，各ワーカの票に重み付けして多数決を行う．票の重みをワーカごとに変えることによって品質の低いワーカの影響力を抑えることができ，品質の高いワーカの作業結果が反映されやすくなると考えた．それにより，複数人の作業に対する多数決にて付与された評価ラベルと比較して，手法を適用させることによって付与された評価ラベルの方が作業依頼者の求めるものに近い作業結果を得ることができると考えた．そこで，本手法の有効性を確かめるために実験を行った．その結果，本手法を適用することによって集約した結果の Accuracy は 0.6685 となり，品質の低いワーカの影響力を抑え，作業依頼者の求める結果に近い作業結果が得られることを確認した．
キーワード 機械学習，クラウドソーシング，一致率を含めて結果集約を行った場合，作業依頼者の求める結果を得

1 はじめにクラウドソーシング [1] とは，インターネット上で募集した
不特定多数の人に作業を委託することである．クラウドソーシ
ングを行うことにより，複雑な作業や一人で行うには困難な作業を複数の人に分担して行ってもらうことができる．そのため，一人ひとりの作業は単純になり，一人にかかる負担を軽減できる．また，インターネット上で作業が行われるため，誰でも簡単に好きな時間に好きな場所で作業を行うことができる．
しかし，インターネットを介してワーカを募集しているため，スパムワーカと呼ばれる品質の低いワーカが一定数存在する．
スパムワーカとは，数をこなすためだけに故意に不適切な作業をするワーカである．スパムワーカが存在する状態で結果集約を行うとスパムワーカの影響を受けてしまい，作業依頼者の求める結果が得られないことがある．スパムワーカは他のワーカと違う結果を出すため，スパムワーカを取り除くことができるのではないかと考えられる．そのためには，作業に対する正しい評価が必要になる．そして，その評価は作業依頼者が求める結果に近い作業結果となっていなければならない．
作業依頼者が求める結果を得るためには，より多くのワーカの意見が必要であると考えた．しかし，より多くのワーカの意
見を集めるには時間や費用がかかる．そこで，ワーカの作業を模倣する分類器を構築することにより，擬似的にワーカを増やすことができると考えた．擬似的にワーカを増やすことによって，時間や費用を抑えた上で多くのワーカの意見を集めることが可能になる．そして，その意見を集約することにより作業依頼者の求める結果を得ることができると考えられる．
模倣モデルを構築するワーカの中には，先ほど述べたスパム
ワーカが存在している可能性がある．スパムワーカの作業結果ることは難しい．そこで，ワーカの品質を考慮した結果集約を行うことによって，スパムワーカの影響力を抑えることができるのではないかと考えた．ワーカ個人が付与した評価ラベルと複数人の作業に対する多数決にて付与された評価ラベルとの一致率をもとにワーカの品質を求める．その品質を用いて結果集約を行い，作業依頼者の求める結果を得ることを目指す．
本研究では，クラウドソーシングの質を向上させるための異なる三つの結果集約手法を提案する．一つ目は，一致率をもとにワーカの選定を行って多数決をとる手法である．品質の低い
ワーカを取り除いて品質の高いワーカの作業のみを使用することにより，作業依頼者の求める結果が得やすくなると考えた．
二つ目は，一致率をもとにワーカの品質を求め，その品質を用いて各ワーカの票に重み付けして多数決をとる手法である．票の重みをワーカごとに変えることにより，品質の低いワーカの影響力を抑えることができると考えた．三つ目は，一致率をもとにワーカが一つのデータに対して投票できる確率を算出し，無効票を決定して多数決をとる手法である．集約時にデータを使用するかどうかを確率的に決定することにより，品質の低い
ワーカが行った作業の中に含まれる有用なデータが使用される可能性を残せると考えた．
これら三つの手法で共通している点は，ワーカの一致率をもとにした多数決を行うことである．そのため，一致率が高い
ワーカの作業結果は多数決に反映されやすく，低いワーカの作
業結果は多数決に反映されにくくなる．これにより，模倣モデルを構築したワーカの中にスパムワーカが含まれていたとしても，その影響は小さくなる．そして，作業依頼者の求める結果に近い作業結果を得ることができるのではないかと考えられる．
提案手法がクラウドソーシングの質の向上に有効であるかど
うかを確かめるために評価実験を行った．各手法を用いて付与される評価ラベルに加えて，複数人の作業に対する多数決にての高い結果を得ている．上記の研究ではワーカの品質に着目す付与された評価ラベルが，作業依頼者の求める結果とどの程度ることにより，クラウドソーシングの質の向上を目指している．

一致するかを比較することにより手法の有効性を確かめた．

本研究では，ワーカごとの模倣モデルを作成し，模倣モデル

三つの手法を用いてそれぞれ実験を行ったところ，品質を票を用いて作業データを増量することによってクラウドソーシンの重みとする手法を用いた場合に Accuracy は 0.6685 となり，グの質の向上を目指す．一つのデータに対する作業結果を増や作業依頼者が求める結果と一致したデータが最も多いという結すことによって多くの意見を得ることができ，作業依頼者の求果が得られた．ワーカの選定をして多数決をとる手法や無効票める結果に近い評価を得ることができるのではないかと考えた．

を確率的に決定する手法を用いると，品質の低いワーカの作業

そのため，上記の研究とはクラウドソーシングの精度向上を目

データを取り除くことは可能であるが，そのワーカの有用な作指す点では同じであるが，精度を向上させるためのアプローチ

業データまで取り除かれてしまうことがある．また，無効票をとして作業データの増量をしているという点で異なっている．

確率的に決定する手法では品質の高いワーカの作業結果であっまた，結果集約手法に関する研究もいくつか存在する．Dawidても取り除かれてしまうことがあり，正しい評価ラベルを得る

ら [7] の研究では，EM アルゴリズムを用いたラベル付与の手ことが難しいと考えられる．一方，品質を票の重みとする手法

法について提案している．ワーカが各ラベルを回答したときのでは品質の低いワーカであっても作業結果が残るため，有用な正解率を EM アルゴリズムを用いて推定する．推定して得られ作業データが取り除かれることもなく，評価ラベルを決める際た正解率が最も高いラベルを真のラベルとしてデータに付与すに少なからず影響を与えることが可能である．そのため，品質るという手法である．小山ら [8] の研究では，高精度なラベルが低いワーカの影響を抑えつつ，正しい評価ラベルを得ること

統合方法について提案している．ワーカに行った作業の処理結が可能であったのではないかと考えられる．

果をどの程度確信しているのかを申告してもらい，その確信度

本稿における貢献は以下のとおりである．

をもとにワーカの評価がラベルを付与する際に必要な情報であ•ワーカの模倣モデルを構築し，モデルの精度を確かめた．

るかどうかを確率的に判断している．また，自己申告した確信•

ワーカの模倣モデルによる評価ラベルと投票作業から得度は正解率と相関があると考えており，確信度を用いることにた評価ラベルの一致率を用いてクラウドソーシングの質を向上させることができた．

よって高い精度で適切なラベルを付与している．
本研究では，クラウドワーカの模倣モデルを作成することによって求めた一致率を用いてワーカごとの票の重みを設定した

2 関連研究クラウドソーシングの質の向上に関する研究はいくつか存在
する．西ら [2] の研究では，ソーシャルネットワークを用いたワーカの品質向上を目指している．作業を行うワーカは他一人に作業を委託することができ，報酬は作業に正解したワーカとそのワーカに作業を委託したワーカに支払われる．こうすることによって，能力の低いワーカは能力の高いワーカに作業を委託するようになり，品質の高いワーカの作業結果を得られる．

り，一致率をもとにワーカが一つのデータに対して投票できる確率を算出して無効票を決定したりすることによって多数決をとってラベルを付与する．そのため，作業結果の質を高めるた
めに品質の低いワーカの評価が結果に現れにくくするという点で上記の研究と異なる．また，我々が一致率を求めることによりワーカが自己申告する必要がなく，ワーカへの負担が少ない．

3 提案手法芦川ら [3] [4] の研究では，ワーカに作業の適性があるかどうか

本研究は，クラウドワーカの模倣モデルによる予測結果と複のフィルタリングを行うことにより，クラウドソーシングの質

数人の作業に対する多数決にて付与された評価ラベルとの一致の向上を目指している．ワーカの作業前，作業中，作業後に加率を用いた結果集約手法によって，クラウドソーシングの質をえて，得られた結果を用いて推測された未知データの結果精度向上させることを目的とする．模倣モデルによる予測結果と複を用いてフィルタリングを行う．フィルタリングを行ってワーカ

数人の作業に対する多数決にて付与された評価ラベルとの一を絞ることにより，クラウドソーシングの精度を向上させてい致率が高いほど品質の高いワーカであると考えられる．そのた

る．Halpin ら [5] の研究では，スパムワーカの検出手法を提案

め，一致率を用いた結果集約手法を用いることによってより良している．ワーカごとに作業数や一つの作業を行うのにかかっいワーカの結果を反映させることができ，作業依頼者の求めるた平均時間などの特徴を用い，機械学習を行うことによってス

結果に近い作業結果が得られるのではないかと考えた．

パムワーカの検出を行っている．松原ら [6] の研究では，ワーカに適した作業の割り当てを行っている．提案されている手法では，複数のタスクをワーカに割り当てる場合において，まず各ワーカに希望するタスクの優先順位をつけさせる．各ワーカがつけたタスクの優先順位をもとに各ワーカに対して作業を割り当て，虚偽の順位をつけたワーカに対して不利益が生じるように設定する．そのため，ワーカは真実の優先順位をつけることとなり，ワーカごとに適した作業を割り当てることにより精度

そこで本研究では，以下の異なる三つの結果集約手法によってクラウドソーシングの質を向上させることを目指す．

(1) 一致率をもとにワーカの選定をして多数決をとる(2) 一致率をもとに各ワーカの票に重み付けして多数決をとる(3) 一致率をもとに各データに対して投票できる確率を算出
し，無効票を決定して多数決をとる
各手法について 3. 2. 1 項から 3. 2. 3 項で詳しい説明を行う．

3. 1 分類器の構築
作業結果

本研究では，各ワーカの作業を模倣するような分類器を構築する．ワーカの模倣モデルを構築する際，東北大学の乾・鈴木

Step 1

研究室で構築された訓練済み日本語 BERT モデル 1 を使用し模倣モデルて，テキストデータに対して評価ラベルを予測するような分類器を構築する．ファインチューニング時には，BERT モデルの最終層のパラメータのみを更新するように設定した．ここで，新たな作業結果を追加

Step 2
Step 3

Step 3

⼀致率

作業終了

作業継続

以下の異なる二種類の方法を用いて BERT モデルのファイン
図1

チューニングを行う．

一致率によるワーカの選定の概要

ワーカ個人の作業結果を集めたデータセットを用

Model 1

いて，BERT モデルをファインチューニングする．

Model 2式 (2) は，ワーカ wi の模倣モデルによって付与された評価ラベルと複数人の作業に対する多数決にて付与された評価ラベル(i) 複数人の作業に対する多数決にて評価ラベルを比較したとき，一致していたら 1，異なっていたら 0 を出力を付与したデータセットを使用して，BERT

する関数である．式 (1) を用いて算出された一致率 Ai を使用

モデルをファインチューニングする．

して三つの結果集約手法で多数決をとる作業を行う．

(ii) ワーカ個人の作業結果を集めたデータセットを使用して，(i) で構築したモデルをファイン
チューニングする．

3. 2. 1 一致率によるワーカの選定
構築した模倣モデルによって得られた一致率 Ai をもとにワーカを選定し，多数決をとる手法について説明する．この手法でModel1 では，ワーカのデータ数が少なかった場合に精度の高は逐次的にワーカの作業の質を確認して，品質の低いワーカを

い分類器を構築することは難しい．そこで，Model2 を用いる

除去する．手法の概要は図 1 に示す通りである．

ことによってデータ数の少なさを補うことができ，どのようなワーカも精度の高い分類器を構築することができるのではない

Step 1 ワーカ wi が行った作業結果を訓練データとして模倣モデルを作成する．

かと考えた．そのため，上記に示した二種類の方法を用いて各

Step 2 作成した模倣モデルを用いてワーカ wi が作業を行っワーカの模倣モデルを構築する．

ていないデータの評価ラベルを予測し，複数人の作業

3. 2 結果集約手法

に対する多数決にて付与された評価ラベルとの一致率

本節では，異なる三つの結果集約手法について説明する．三Ai を算出する．

つの結果集約手法に共通する，模倣モデルによる予測結果と投票作業による作業結果の一致率を算出する手順を説明する．
各ワーカを wi ∈ W ，i = 1, 2, · · · , n とし，各ワーカが実際に作業したデータを集めたデータセットを Di とする．ここでn はワーカの人数とする．そして，複数人の作業に対する多数
決にて評価ラベルを付与したデータセットを Dall とする．また，評価ラベルを付与するテキストデータの総数を N とし，各データを dj ，j = 1, 2, · · · , N とする．複数人の作業に対する多数決にて評価ラベルを付与したデータセット Dall の中から，
ワーカ wi が作業していないデータ dj を抽出してデータセット

Di′ = {dj |dj ∈ Dall , dj ∈/ Di } を作成する．構築した模倣モデルにて予測したデータセット Di′ に含まれるデータ dj の評価予
測を，データ dj の評価ラベルとして付与する．このとき，ワー
カ wi の模倣モデルによって付与されたデータ dj の評価ラベル
を li (dj ) と表す．評価ラベル li (dj ) と複数人の作業に対する多数決にて付与された評価ラベル lall (dj ) を比較して，一致率 Aiを求める．ワーカ wi の一致率 Ai は以下のように算出する．

∑N

Ai =

j=1

M (li (dj ), lall (dj ))N

M (li (dj ), lall (dj )) =

(1)

{
1

(li (dj ) = lall (dj ))0(li (dj ) =| lall (dj ))1：https://github.com/cl-tohoku/bert-japanese(2)

Step 3 算出した一致率 Ai が閾値を上回っていたら作業を継続し，下回っていたらその時点で作業を終了する．

Step3 で算出した一致率 Ai が閾値を上回っていた場合は作業を継続し，新たな作業結果を追加して Step1 から Step3 の手
順を繰り返し行う．ワーカの作業の質を逐次的に確認する作業を繰り返し行うのは，最初は真面目に作業を行っていても途中から適当にこなしていたり，判定することが簡単なデータが作業序盤に割り振られていることにより作業の質が一時的に良くなっていたりする可能性があるためである．最終的に一致率 Aiが閾値を下回らなかったワーカの作業結果を使用して多数決をとる．ここで，Step1〜3 の手順を繰り返し行っている回数をm，k クラス分類のチャンスレートを C(C = k1 )，閾値の最大値を θmax として閾値 θm を以下の式を用いて定める．このとき，最大の閾値 θmax は C < θmax <= 1 の範囲で値をとる．

θm = 2 (θmax − C) sigmoid
sigmoid(x) =1
1 + exp(−x)

(

m
5

)

− θmax + 2C

(3)
(4)

式 (4) はどのような入力値も 0.0〜1.0 の範囲の数値に変換して出力することができるシグモイド関数である．式 (3) を用いて閾値を定めることによって，入力値が正の数のときにチャンス3. 2. 3 一致率による無効票の決定
ワーカの模倣モデルによって得られた一致率をもとに算出し0.35た確率を用いて，無効とする票を決めて多数決をとる手法につ0.30

いて説明する．この手法では，品質の低いワーカの作業結果を0.25

集約結果に反映されにくくするために，作業集約時に無効票を

0.20

確率的に決定する．ワーカ wi の一致率 Ai を算出する流れについては 3. 2. 2 項の StepA と同じである．また，算出した一致

0.15

率 Ai をもとに無効票を決める流れは StepC の手順で行う．
10

20

m

30

40

50

Step C-1 模倣モデルを用いてデータセット Di′ に含まれる

図 2 8 クラス分類で最大の閾値を 0.35 としたときの閾値の推移

データ dj の評価ラベルを予測する．

C-2 A-2 で算出した一致率 Ai の値をもとにワーカ wi
レートから閾値の最大値までの範囲の中で数値を出力することができる．閾値の最大値とは，手順を繰り返し行うごとに増加する θm が最終的に収束する値のことである．この値を自身で定めることにより，使用するデータセットの難易度に合わせた閾値を定めることができるようになる．また，下限としてチャンスレートを用いることにより，無作為に選んだ場合よりも一致率の低い分類器を取り除き，ワーカの選定をすることができる．図 2 は，8 クラス分類の分類器を構築する際に最大の閾値
を 0.35 としたときの閾値の推移の例を表している．

の票が有効か無効を決定する．

C-2 では，A-2 で算出した一致率 Ai の値をもとにワーカ wi のデータ dj に対する票を有効とする確率 pi を決定している．各
ワーカの一致率のうち最大となる値を Amax とし，確率 pi を
以下の式を用いて算出する．

(

pi = sigmoid 10 ×

Ai
−5
Amax

)
(6)

式 (6) はシグモイド関数をもとにしており，Ai = Amaxのとき
2

pi = 0.5 となる．そのため，一致率 Ai が Amax
を上回ると票2

3. 2. 2 一致率による票の重み設定
ワーカの模倣モデルによって得られた一致率をもとに，各ワーカの票に重み付けすることにより多数決をとる手法について説明する．この手法では，品質の低いワーカの作業結果が集約結果に反映されにくくなるように，多数決をとる際に各ワーカの票に重み付けして集約をする．ワーカ wi の一致率 Ai を算出する流れについては StepA，算出した一致率 Ai をもとに票の重みを設定して多数決をとる流れは StepB の手順で行う．

Step A-1 データセット Di から無作為に抽出したデータを訓練データとして学習を行い，ワーカ wi の模倣モデルを構築する．

が有効になる確率 pi が高くなり，意見が反映されやすくなる．
一方で，一致率 Ai が Amax
を下回ると票が有効になる確率 pi2が低くなり，意見が反映されにくくなる．このようにして無効票を決定することによって多数決をとる．

4 評価実験
本研究では，異なる三つの結果集約手法を提案した．そこで，各手法が有効であるかどうかを確かめるための実験を行った．

4. 1 データセット
本研究では，岐阜大学鈴木研究室にてクラウドソーシングに

A-2 模倣モデルを用いてデータセット Di′ に含まれるより構築されたデータセットを使用する．このデータセットは

テキストデータ dj の評価ラベルを予測し，複数人

605 人のクラウドワーカによって作業されたデータで構築され，の作業に対する多数決にて付与された評価ラベル

全部で 250,354 件のデータが含まれている．このデータはワーとの一致率 Ai を算出する．

カ ID，ツイート ID，ツイート内容，評価ラベルの四つのカラ

Step B-1 A-2 で算出した一致率 Ai をもとに票の重みを設ムで構成されている．またこのデータセットは，ツイート内に定し，作業結果に対して重み付けを行う．

含まれる「笑」がポジティブな意味を持つのかネガティブな意

B-2 同じデータに対して評価を行ったワーカのデータ

味を持つのか，ネガティブの中でもどのような場面で使用されを集約し，結果を出す．

ているのかを知ることを目的に作成されたものである．評価ラB-1 で行われるワーカ wi の票の重み設定は以下の手順で行う．

ベルは表 1 に示した 8 種類のラベルを使用している．データ

ワーカ wi の品質を qi として，最大値 1，最小値 0 となるようセットを構築する際，評価ラベルは以下の手順で付与される.

に一致率 Ai を正規化する．正規化する際に k クラス分類のチャ(1) 「笑」を含むテキストデータに対してポジティブ，ネガ

ンスレート C を含めることによって，全ワーカの一致率 Ai がティブ，ニュートラル，ポジ＋ネガ，その他の中から一つ

チャンスレート C を上回っていたとき，全ワーカが投票権を得の評価ラベルを付与する．

ることができる．ワーカの一致率 Ai とチャンスレート C を含(2) (1) でネガティブが付与されたテキストデータに対して攻む集合 Q = {x|x = C, Ai (i = 1, 2, · · · , n)} を用いて，ワーカ

撃性あり，攻撃性なし，自虐，判断できないの中から一つの品質 qi を以下のように求め，ワーカ wi の票の重みとする．

の評価ラベルを付与する．

Ai − xmin
qi =xmax − xmin(5)

このように段階を踏むことによって，ネガティブの評価ラベル

が付与された場合にさらに細かい評価ラベルを付与した．以上で述べた作業は，一つのデータに対して 5 人のワーカによって行われることが想定されている．

4. 2 実験 1：一致率によるワーカの選定
本節では，3. 2. 1 項で説明した，一致率をもとにワーカを選定することによって多数決をとる手法の有効性を確かめるため

上記のデータセットは一つのデータに対して複数のワーカのの実験について述べる．

作業結果が存在しているため，多数決をとり評価ラベルを一つ

4. 2. 1 実 験 手 順に決定する．データセットの中には作業人数が 5 人に満たない

本実験では，4. 1 節で説明したワーカ wi のデータセット Di

データが存在するため，5 人の作業結果が残っているデータのを使用して模倣モデルを構築する．このとき，データに評価ラ

みを用いて多数決をとることにする．複数人の作業に対するベルを付与した手順と同様の手順で評価ラベルの予測を行うた

多数決にて評価ラベルを付与したデータセットの作成方法につめ，二つの模倣モデルを構築する．一つ目は，ネガティブかポいて説明する．クラウドソーシングによって構築されたデータ

ジティブかなどを判定するモデルである．二つ目は，ネガティ

セットの中から，作業人数が 5 人のテキストデータを抽出する．

ブの中でさらに細かい評価ラベルを判定するモデルである．ここの抽出したテキストデータに評価ラベルを付与する際，上記の二つのモデルを組み合わせることによってデータ dj に対すで述べた手順 (1)，(2) に倣い 5 人のワーカの作業結果を使用しる評価ラベルを予測する．また，3. 1 節で説明した Model1 にて多数決をとる．多数決にてただ一つの評価ラベルに決まったて模倣モデルを構築する．なお，3. 2. 1 項で説明した手法は，

データを集め，データセットを作成する．投票作業にてただ一逐次的にワーカの作業の質を確認する手法であるため，データ

つの評価ラベルが付与されたデータは全部で 29,711 件である．

セットの中から任意のデータ数を一纏まりとして実験を行った．

4. 2 節から 4. 4 節の実験では，投票作業によって得られた

ワーカ wi のデータセット Di から抽出するデータを 200 件

データセット Dall と，実際に作業を行ったデータが 500 件以とし，このデータを訓練データとして模倣モデルを構築する．

上あるワーカのデータセット Di を使用する．ここで作業デー

訓練データは，各評価ラベルのデータ数が等しくなるように，

タが 500 件以上あるワーカを対象にした理由は，データ数が少

データ数が最も多い評価ラベルのデータ数に合わせてデータのないとワーカの特徴を捉えたモデルを構築することが難しいと複製を行う．模倣モデルを構築する際，300 エポックの学習を考えたためである．このワーカのデータセット Di は，クラウ行う．また，データセット Di′ から抽出した 6,000 件のデータ

ドソーシングによって得られたデータの中から，ワーカ ID ををデータセット Di′′ とする．構築した模倣モデルを用いてデー

用いてデータを抽出することによって作成する．

タセット Di′′ の評価ラベルを予測する．予測にて付与された評作業データが 500 件以上あるクラウドワーカは 127 人で価ラベルと複数人の作業に対する多数決にて付与された評価ラあったため n = 127 として，これらのデータセット Di (i =ベルとの一致率を式 (1) を用いて算出する．算出した一致率 Ai

1, 2, · · · , 127) を使用して三つの結果集約手法の有効性を確かめが定めた閾値を上回っているかどうかを判定する．このときのるための実験を行う．また，多数決をとるデータとして，ワー閾値は，k = 8, θmax = 0.35 として式 (3) に従って定める．一カ wi (i = 1, 2, · · · , 127) 以外のワーカの作業データを取り除い

致率 Ai が閾値を上回っていた場合，訓練データを 200 件増やた後に残ったデータのうち，5 人のワーカ wi によって評価ラベ

して，模倣モデルを構築する作業から一致率の判定をする作業

ルが付与されているデータを使用する．このデータの中から無までの流れを再び行う．一致率 Ai が閾値を下回る，あるいは，作為に抽出した 2,000 件のデータを集めたデータセット Deva

データセット Di に含まれるすべてのデータを使用して模倣モを使用して多数決をとり，それぞれの手法の評価を行う．

デルを構築した場合は作業を終える．一致率 Ai が閾値を下回っ

手法の評価を行うにあたって，データセット Deva に含まれたワーカの作業データは取り除き，取り除かれなかったワーカ

るデータ dj に対してあらかじめ著者が正解ラベルを付与した．

の作業データを使用してデータセット Deva に含まれるデータ

この正解ラベルが付与されたデータセットを Dtrue とする．この評価ラベルを多数決にて付与し，Accuracy を算出する．

の付与された正解ラベルと，それぞれの実験で付与された評価

4. 2. 2 結果・考察

ラベルや複数人の作業に対する多数決にて付与された評価ラベ

Model1 を用いてワーカの品質を測定することによってワー

ルをそれぞれ比較して Accuracy を算出する．ここで得られたカの選定を行い，多数決をとった結果を表 2 の実験 1 に示す．

Accuracy をもとに実験の結果を比較していく．

また，表中の baseline は，複数人の作業に対する多数決にて集約された結果である．複数人の作業に対する多数決にて集約さ

表1

評価ラベルの内容と正解ラベルの数

ラベル番号

ラベル内容

データ数 (件)

0

ポジティブ

8,955

1

ニュートラル12,801

2

ポジ+ネガ

表2

各手法を適用した際の Accuracy

Accuracy

1,188

baseline

706

実験 1

3

その他

4

攻撃性あり

1,382

5

攻撃性なし

3,116

6

自虐

1,524

7

判断できない

39

実験 2
実験 3

0.66250.5845Model10.6685Model2

0.6625Model10.5710Model20.5910

れた結果の Accuracy と比較すると，実験 1 の手法を用いて算に票の重みを設定することによって，多数決をとる手法の有効出した Accuracy の方が低くなっていることがわかる．

性を確かめるための実験について述べる．

Step1〜3 を繰り返し行うことによって取り除かれたワーカは

4. 3. 1 実 験 手 順

127 人中 4 人のみであった．取り除かれたワーカが実際に行っ

4. 1 節で説明したワーカ wi のデータセット Di を使用して模た作業結果と複数人の作業に対する多数決にて付与された評価

倣モデルを構築する．このとき，4. 2 節と同様にポジティブかラベルとの一致率を確認したところ，他のワーカと比べて少しネガティブかなどを判定するモデルと，ネガティブの中でさら低い値になっていた．しかし，取り除かれたワーカよりも一致に細かい評価ラベルを判定するモデルの二つの模倣モデルを構率の低いワーカが存在していた．そのため，必ずしもワーカが築する．モデルの構築には 3. 1 節で説明した二種類の方法を用実際に行った作業結果と複数人の作業に対する多数決にて付与

いて，合計で四つのモデルを構築する．また，模倣モデルを構された評価ラベルとの一致率の低いワーカが取り除かれるわけ

築するとき 4. 2 節と同様に 300 エポックの学習を行う．データ

ではないと考えられる．また，訓練データとして使用するデー

セット Di を訓練データ 6 割，検証データ 2 割，テストデータ

タ数が多くなるほど閾値が大きくなるため，作業データ数の多2 割に分けて学習を行う．このとき，訓練データは 4. 2 節と同いワーカの方が取り除かれやすい傾向にあると考えられる．

様に最もデータ数が多い評価ラベルのデータ数に合わせてデー

表 3 の実験 1 に示すのは，複数人の作業に対する多数決にてタの複製を行う．構築した二種類の模倣モデルを用いて評価ラ付与された評価ラベルが，3. 2. 1 項にて説明した手法を用いる

ベルの予測を行い，3. 2 節の式 (1) を用いて各ワーカの一致率

ことによって変化したツイートの例である．一つ目のツイート

Ai を算出する．算出した全ワーカの一致率と 8 クラス分類のは，複数人の作業に対する多数決にて付与された評価ラベルは

チャンスレート 0.125 を用いて最大値 1，最小値 0 となるよう不正解であったが，手法を適用して付与されたラベルは正解でに正規化を行い，ワーカ wi の品質 qi を求める．この品質 qi をあった例である．ワーカによって付与されたラベルはネガティ

ワーカ wi の票の重みとしてデータセット Deva に含まれるデーブが多数であり，投票作業によって「攻撃性なし」が付与されタの評価ラベルを多数決にて付与し，Accuracy を算出する．

た．しかし，手法を適用して付与されたのは「ニュートラル」

4. 3. 2 結果・考察であった．そのため，ネガティブと評価したワーカは，一致率

Model1 と Model2 のそれぞれを用いて算出した一致率をもが閾値を下回ったために取り除かれた品質の低いワーカであるとにワーカの品質を求め，その品質を用いて各ワーカの票に重と考えられる．また，複数人の作業に対する多数決にて付与さみ付けして多数決をとった結果を表 2 の実験 2 に示す．複数人れた評価ラベルが不正解であり，手法を適用して付与されたラの作業に対する多数決にて集約された結果と二種類のモデルをベルが正解であったデータは 2 件のみであった．このことから，用いて手法を適用した結果を比較すると，Model1 を用いて手本実験にて取り除かれたワーカ以外にも品質の低いワーカが存法を適用させた場合の Accuracy が最も高くなっている．

在し，その全てを取り除くことができなかったと考えられる．

Model2 では，各ワーカ用にファインチューニングする前の二つ目のツイートは，複数人の作業に対する多数決にて付与

モデルが，ワーカの一致率を出す際の正解のデータを使用してされた評価ラベルは正解であったが，手法を適用して付与され学習している．そのため，データ数が少ないワーカほどファイた評価ラベルは不正解であった例である．手法を用いることにンチューニングによるパラメータの変化量が少なく，各ワーカ

よって，評価ラベルが「攻撃性なし」から「ニュートラル」にの特徴が捉えきれない．それにより，ファインチューニング前

変化した．このことから，ネガティブの評価ラベルを付与したとほぼ同じ予測をするため，ワーカの質に関係なく一致率が高ワーカは，手法を用いたことによって取り除かれた品質の低い

くなりやすく，全体を通して一致率の差が現れにくい．そのたワーカであると考えられる．しかし，手法を用いて付与されため，ワーカ wi の品質 qi を票の重みとして設定したとしても，評価ラベルが正解ラベルと一致しなかったことから，取り除か複数人の作業に対する多数決にて付与された評価ラベルと変われたワーカの作業結果の中にも有用なデータがあったと考えららない評価ラベルが付与されやすくなる．実際に，複数人の作れる．また，複数人の作業に対する多数決にて付与された評価

業に対する多数決にて付与された評価ラベルと，Model2 を用

ラベルが正解であり，手法を用いて付与された評価ラベルが不いて評価ラベルの予測をした場合に付与された評価ラベルが変

正解のデータは 210 件であった．このことから，取り除かれた化していたデータは 2,000 件のうち 9 件のみであった．

ワーカの作業データを全て取り除いてしまうと，有用なデータまで取り除かれてしまうということが考えられる．

一方，Model1 を用いると，ワーカ wi の特徴をそのまま反映させたモデルが構築できる．そのため，ワーカ wi の本来の本実験では，品質の低いワーカを全て取り除くことはできず，

一致率 Ai を算出することができると考えられ，複数人の作業

質の悪い作業データが残った．そのため，正解ラベルと同じ結に対する多数決にて付与された評価ラベルに依存しない品質 qi

果を得ることができなかったと考えられる．また，必要なデーを求めることができる．そして，より品質の高いワーカの作業

タが取り除かれてしまったという結果から，取り除かれたワー

結果が反映されやすくなると考えられる．また，複数人の作業

カの作業データの中にも有用なデータがあったと考えられる．

に対する多数決にて付与された評価ラベルと，Model1 を用い

4. 3 実験 2：一致率による票の重み設定
本節では，3. 2. 2 項で説明した，一致率をもとにワーカごとて評価ラベルの予測をした場合に付与された評価ラベルが変化していたデータは 2,000 件のうち 85 件であった．
表 3 の実験 2 に示すのは，複数人の作業に対する多数決にて

表3

各手法によって付与された評価ラベルが変化したツイート例「笑」を含むツイート

vote

最寄りのゲーセン 10km 以上離れてんの笑！
？
実験 1
え、ちょっと確認！今週の金曜日に虹会 20 時から？？えっ、待てよ、！
！部活とか、
帰りの時間で、見れんかもじゃん、やばいやばい！
！え、終わった…笑
今週末の楽しみ無くなりそうーさすがにやさぐれそうだわ笑
実験 2
そやゆとって何でこんなにいいの？ふたりの全部がいい笑

Model

攻撃性なし

2 ニュートラル 攻撃性なし ニュートラル

自虐1

ニュートラル

2

攻撃性なし

2

自虐

1

攻撃性なし

2

自虐

3

ポジティブ

3

ニュートラル

2

ポジティブ

3
2

リズム感がないのでシェーカーは難易度が高いし、前々から思ってたけど私時々

ニュートラル2

変なところで拍を入れてしまうんだけどつまりは耳が追いかけてるのがどの音な

攻撃性なし

1

自虐

2

のかがわかるよね…。笑baseline2

ニュートラル

おはよう夜勤に向けて寝溜め中。笑
実験 3

true

ニュートラル

Model2
-

攻撃性なし

攻撃性なし

ニュートラル

-

攻撃性なし

自虐

攻撃性なし

自虐

ポジティブ

ポジティブ

ニュートラル ポジティブ

ニュートラル

ポジティブ

ニュートラル ポジティブ

自虐

自虐

ニュートラル

自虐付与された評価ラベルが，3. 2. 2 項にて説明した手法を用いる

一致率 Ai を算出する．本節でも模倣モデルは 4. 2 節と同様にことによって変化したツイートの例である．

二つ構築する．モデルの構築には 3. 1 節で説明した二種類の方

一つ目のツイートは，複数人の作業に対する多数決にて付与法を用いて行い，合計で四つのモデルを構築する．また，模倣された評価ラベルは不正解であったが，Model1 と手法を適用

モデルの構築については 4. 3 節と同様の手順で行う．一致率 Ai

して付与された評価ラベルは正解であった例である．ワーカにの値をもとにワーカ wi のデータ dj に対する票が有効になる確

よって付与された評価ラベルは「攻撃性なし」が 2 票，
「自虐」

率 pi を算出する．例えば，確率 pi が 0.6 のワーカ wi の票は 6が 3 票であったため，複数人の作業に対する多数決にて付与さ割の確率で有効になり，4 割の確率で無効となる．3. 2. 3 項で説れた評価ラベルは「自虐」となっている．しかし，Model1 と明した手法をデータセット Deva に含まれるデータに対して行手法を適用して付与された評価ラベルは「攻撃性なし」となっい多数決をとって評価ラベルを付与し，Accuracy を算出する．

ており，正解ラベルと一致している．このことから，「攻撃性な

4. 4. 2 結果・考察

し」の評価ラベルを付与したワーカの品質が高いということがModel1 と Model2 のそれぞれを用いて算出した一致率をも予想できる．また，品質の低いワーカの影響力を抑えることがとに，ワーカが一つのデータに対して投票できる確率を算出しできたため，正しい結果を得ることができたと考えられる．

て，無効票を決定して多数決をとった結果を表 2 の実験 3 に示

二つ目のツイートは，複数人の作業に対する多数決にて付与

す．Model1 と手法を適用した場合と Model2 と手法を適用したされた評価ラベルは正解であったが，Model1 と手法を適用し場合を比較すると，Model2 と手法を適用した場合の Accuracyて付与された評価ラベルは不正解であった例である．一つ目のが高くなっている．しかし，どちらの方法を用いた場合でも，ツイートと同様に，ワーカによって付与された評価ラベルが 2

複数人の作業に対する多数決にて集約した結果の Accuracy よ

票と 3 票に割れている．しかし，Model1 と手法を適用して付り低くなっている．4. 3. 2 項にて述べたように，Model2 はワー与された評価ラベルは 2 票しか付与されなかった評価ラベルでカの品質に関わらず一致率が高くなりやすくなっている．そのある．品質の低いワーカによって付与された多数派の評価ラベ

ため， Amax
を上回る一致率が多く，ほぼ全てのワーカの確率
2

ルではなく，品質の高いワーカによって付与された少数派の評が 1 に近くなる．一方，Model1 はワーカ本来の品質を求める

価ラベルが集約結果として得られたと考えられる．このことかことができ，それに伴い確率の値にも差がみられた．しかし，ら，提案手法を用いることによって，品質の低いワーカの影響

票が有効になるか無効になるかの 2 択となっているため，確率力を抑えることができたと考えられる．しかし，その評価ラベの値が低いワーカの作業データに含まれる有用なデータまで

ルは正解ラベルと一致していないことから，品質の高いワーカ

取り除かれてしまう．そのため，Model2 を用いた場合よりもの評価が常に正しいとは限らないということが考えられる．まAccuracy が低くなったと考えられる．

た，品質の低いワーカが行った作業データの中にも有用なデー

表 3 の実験 3 に示すのは，複数人の作業に対する多数決にてタが存在すると考えることができ，全ての作業データに対して付与された評価ラベルが，3. 2. 3 項にて説明した手法を用いる

影響力を抑えることが良いわけではないと考えられる．

ことによって変化したツイートの例である．一つ目のツイート

4. 4 実験 3：一致率による無効票の決定
本節では，3. 2. 3 項で説明した，一致率をもとにワーカがデー
タに対して投票できる確率を算出して，無効票を決めて多数決をとる手法の有効性を確かめるための実験について述べる．

は，複数人の作業に対する多数決にて付与された評価ラベルは不正解であったが，Model1 と手法を適用して付与されたラベルは正解であった例である．複数人の作業に対する多数決にて付与された評価ラベルは多数派のラベルであったが，Model1と手法を適用して付与されたのは少数派のラベルであった．こ4. 4. 1 実 験 手 順のことから，少数派のラベルを付与したワーカの品質が高く，

4. 3 節の実験と同じようにワーカ wi の模倣モデルを構築し，票が有効となる確率が高くなったのではないかと考えられる．

しかし，Model2 と手法を適用して付与された評価ラベルを見三つ目の実験は，一致率をもとにワーカが一つのデータに対ると，複数人の作業に対する多数決にて付与されたラベルと同して投票できる確率を算出して無効票を決定して多数決をとるじであることがわかる．Model2 を用いた場合の方が一致率 Ai

手法を用いて行った．その結果，Model1 と手法を適用して集が高くなりやすく差が出にくいため，票が有効となる確率 pi が約した結果の Accuracy は 0.5020 であり，Model2 と手法を適高いワーカが多くなる．このことから，Model1 を用いた際に用して集約した結果の Accuracy は 0.5590 であった．どちら正解ラベルと同じラベルが付与されたことは，必ずしも結果がのモデルにおいてもワーカごとの一致率が低く，その値をその改善されたとは言えないと考えられる．

まま確率として用いているためほとんどの票が無効票となって二つ目のツイートは，複数人の作業に対する多数決にて付与された評価ラベルは正解であったが，Model1 と手法を適用ししまっている．そのため，有用な作業データも取り除かれてしまったと考えられる．

て付与されたラベルは不正解であった例である．元々は多数派

一つ目と三つ目の手法では，作業データを取り除くというアであったネガティブの投票数が，少数派であった「ニュートラ

プローチを行ったため，有用な作業データまで取り除かれてしル」の投票数を下回ったために少数派である評価ラベルが付与まうという結果となった．しかし，二つ目の手法では，品質のされた．このことから，有用なデータが無効票となり取り除か低いワーカの影響力を抑えるだけで，そのワーカが行った有用れてしまったと考えられる．

な作業データを活用することができる．そのため，他の手法と比べて良い結果を得ることができた．これらの手法は作業の依

5 おわりに
本研究では，クラウドワーカの品質を考慮した結果集約方法
を行うことにより，クラウドソーシングの質を向上させることを目的としている．クラウドワーカの中にはスパムワーカと呼ばれるワーカが一定数存在しており，その影響を受けることによって作業依頼者の求める結果を得られないことがある．しかし，スパムワーカは他のワーカとは違う作業を行うため，正しい作業結果と比較することによってスパムワーカを見つけ出し
取り除くことが可能である．そこで本稿では，ワーカの模倣モ

頼が終了してデータが揃った状態に適用しているため，依頼終了後にしか品質の低いワーカの特定ができない．そのため，品質の低いワーカに割り振られる作業数が増えてしまう．
今後の展望として作業依頼中に適用できるように拡張することを考えている．それによって，品質の低いワーカの特定が早まり，途中でそのワーカを取り除くことができるようになる．
そして，品質の低いワーカに割り振られる予定だった作業を品
質の高いワーカに割り振る機会が増え，クラウドソーシングの質が向上すると考えられる．

デルを構築して算出する一致率を用いた異なる三つの結果集約方法を提案した．構築した模倣モデルを使用して得られた予測結果をもとに算出した一致率を用いて結果集約を行うことによって，スパムワーカによる影響を抑えられ，作業依頼者の求める結果に近い作業結果を得られることを考えた．提案手法の有効性を確かめるために実験を行った．
一つ目の実験は，逐次的にワーカの品質を測定することによってワーカの選定を行い，取り除かれなかったワーカの作
業結果のみを用いて多数決をとる手法を用いて行った．その結果，手法を適用して集約した結果の Accuracy は 0.5845 であった．一方，複数人の作業に対する多数決にて集約した結果の Accuracy は 0.6625 であり，手法を適用して付与された結果の方が低くなったことがわかった．この結果から，品質の低いワーカとして取り除かれたワーカの作業データの中に含まれる有用な作業データまで取り除かれてしまったと考えられる．
二つ目の実験は，模倣モデルを用いて算出した一致率をもとにワーカの品質を求め，その品質を各ワーカの票の重みとして多数決をとる手法を用いて行った．その結果，Model1 と手法を適用して集約した結果の Accuracy は 0.6685 であり，Model2と手法を適用して集約した結果の Accuracy は 0.6625 であった．Model1 を用いた場合の Accuracy が高くなった理由は，より各ワーカの特徴を捉えたモデルを構築できたことによって，ワーカ本来の品質を求めることができたためであると考えられる．そのため，品質の低いワーカの作業結果の重みが小さくな
り，評価ラベルを付与する際に及ぼす影響力が抑えられた．

謝辞 本研究の一部は JSPS 科研費 19H04218 および越山科
学技術振興財団の助成を受けたものです．
文

献[1] Jeﬀ Howe, et al. The rise of crowdsourcing. Wired magazine,
Vol. 14, No. 6, pp. 1–4, 2006.
[2] 西智樹, 小出智士, 大野宏司, 長屋隆之. ソーシャルネットワークを用いたクラウドソーシングの品質向上. 人工知能学会全国大会
論文集 第 27 回 (2013), pp. 3M3OS07d4–3M3OS07d4. 一般社団法人 人工知能学会, 2013.
[3] 芦川将之, 川村隆浩, 大須賀昭彦. プライベートクラウドソーシ
ングにおける精度向上手法. 人工知能学会全国大会論文集 第 28
回 (2014), pp. 1J5OS18b4–1J5OS18b4. 一般社団法人 人工知能学会, 2014.
[4] 芦川将之, 川村隆浩, 大須賀昭彦. マイクロタスク型クラウドソー
シングプラットフォーム環境における精度向上手法の導入と評
価. 人工知能学会論文誌, Vol. 29, No. 6, pp. 503–515, 2014.
[5] Harry Halpin and Roi Blanco. Machine-learning for spammer detection in crowd-sourcing. In Workshops at theTwenty-Sixth AAAI Conference on Artiﬁcial Intelligence,
2012.
[6] 松原繁夫, 水島拓也. クラウドソーシングにおける複数タスク割当て. 人工知能学会全国大会論文集 第 27 回 (2013), pp.
3M4OS07e3–3M4OS07e3. 一般社団法人 人工知能学会, 2013.
[7] Alexander Philip Dawid and Allan M Skene. Maximum
likelihood estimation of observer error-rates using the em
algorithm. Journal of the Royal Statistical Society: Series
C (Applied Statistics), Vol. 28, No. 1, pp. 20–28, 1979.
[8] 小山聡, 馬場雪乃, 櫻井祐子, 鹿島久嗣. クラウドソーシングにおけるワーカーの確信度を用いた高精度なラベル統合. 人工知能学会全国大会論文集 第 27 回 (2013), pp. 2M5OS07b2–
2M5OS07b2. 一般社団法人 人工知能学会, 2013.